需要有特定的題才能求的哦。
創(chuàng)新互聯(lián)建站長期為上千家客戶提供的網(wǎng)站建設(shè)服務(wù),團隊從業(yè)經(jīng)驗10年,關(guān)注不同地域、不同群體,并針對不同對象提供差異化的產(chǎn)品和服務(wù);打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為陽谷企業(yè)提供專業(yè)的成都做網(wǎng)站、網(wǎng)站設(shè)計、外貿(mào)營銷網(wǎng)站建設(shè),陽谷網(wǎng)站改版等技術(shù)服務(wù)。擁有十多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。
拓展:
模型方差
模型的方差是模型在擬合不同的訓(xùn)練數(shù)據(jù)時性能的變化大小。它反映特定數(shù)據(jù)對模型的影響。
“方差指的是,用不同訓(xùn)練數(shù)據(jù)進行模型評估時,模型表現(xiàn)的變化程度。”
——《統(tǒng)計學(xué)習(xí)及其在R中的應(yīng)用》2014年版,第34頁
一個高方差的模型在訓(xùn)練數(shù)據(jù)集發(fā)生細小變化時預(yù)測結(jié)果會發(fā)生很大變化。相反,對于低方差的模型,訓(xùn)練數(shù)據(jù)發(fā)生或大或小的改變時,預(yù)測結(jié)果的變化都很小。
低方差:訓(xùn)練數(shù)據(jù)集的變化對于模型來說影響很小。
高方差:訓(xùn)練數(shù)據(jù)集的變化對于模型來說影響很大。
方差一定是正值。
不可約誤差
整體而言,模型的誤差包含可約誤差和不可約誤差。
模型誤差 = 可約誤差 + 不可約誤差
可約誤差是我們可以去優(yōu)化的成分。在模型通過學(xué)習(xí)訓(xùn)練集后這一數(shù)值會下降,我們會努力讓這一數(shù)值盡可能地接近于零。
不可約誤差是我們無法從模型中剔除的誤差,在任何模型中都不可能被去除。
這一誤差源于不可控因素,例如觀測中的統(tǒng)計噪聲。
“……通常會稱之為“不可約噪聲”,且不能在建模過程中剔除。”
——《預(yù)測模型應(yīng)用》2013年版,第97頁
同樣的,盡管我們能夠把可約誤差壓縮到接近于零或者非常小的值,甚至有時能夠等于零,但不可約誤差依然會存在。這決定了模型性能的下限。
“有一點是我們是需要牢牢記住的,那就是不可約誤差始終會作為我們對目標Y預(yù)測精確率的下限值,這個邊界在實踐中永遠是未知的。”
——《統(tǒng)計學(xué)習(xí)及其在R中的應(yīng)用》2014年版,第19頁
這提醒我們?nèi)魏文P投疾皇峭昝赖摹?/p>
偏差-方差的權(quán)衡
對于模型的表現(xiàn)來說,偏差和方差是有關(guān)聯(lián)的。
理想情況下,我們希望一個模型能有低偏差和低方差,但是在實際操作中這是非常具有挑戰(zhàn)性的。實際上這是機器學(xué)習(xí)建模的目標。
降低偏差很容易使方差升高。相反,降低方差也會使得偏差升高。
“這被稱之為一種‘權(quán)衡’,因為一般的方法很容易得到極低的偏差和很高的方差……或很低的方差和很高的偏差……”
——《統(tǒng)計學(xué)習(xí)及其在R中的應(yīng)用》2014年版,第36頁
這種關(guān)系一般被稱為“偏差與方差的權(quán)衡”。這是一個關(guān)于思考如何選擇模型和調(diào)整模型的概念框架。
我們可以基于偏差和方差來選擇模型。簡單的模型,例如線性回歸和邏輯回歸,通常具有高偏差和低方差。而復(fù)雜的模型,例如隨機森林,通常具有低偏差和高方差。
我們通常會基于模型的偏差和方差所造成的影響來調(diào)整模型。對于K-近鄰算法來說,超參數(shù)k控制著模型的偏差-方差權(quán)衡。k取值較小,例如k=1,會得到低偏差高方差的結(jié)果。反之k取值較大,如k=21,導(dǎo)致高偏差和低方差。
高偏差和高方差都不一定是壞的,但他們有可能會導(dǎo)致不良的結(jié)果。
我們時常要對一組不同的模型和模型參數(shù)進行測試,從而在給定的數(shù)據(jù)集中得到最好的結(jié)果。一個高偏差的模型有可能會是過于保守的,出現(xiàn)欠擬合。相反的,一個高方差的模型可能會出現(xiàn)過擬合。
我們有可能會選擇提高偏差或方差,來減少模型的整體誤差。
#計算e的值(精度為10**-6)
sum,tmp = 1,1
for i in range(1,20):
tmp*=i
sum += 1/tmp
print("e的近似值(精度為10**-6)為%.6f"%sum)
對于氣象繪圖來講,第一步是對數(shù)據(jù)的處理,通過各類公式,或者統(tǒng)計方法將原始數(shù)據(jù)處理為目標數(shù)據(jù)。
按照氣象統(tǒng)計課程的內(nèi)容,我給出了一些常用到的統(tǒng)計方法的對應(yīng)函數(shù):
在計算氣候態(tài),區(qū)域平均時均要使用到求均值函數(shù),對應(yīng)NCL中的dim_average函數(shù),在python中通常使用np.mean()函數(shù)
numpy.mean(a, axis, dtype)
假設(shè)a為[time,lat,lon]的數(shù)據(jù),那么
需要特別注意的是,氣象數(shù)據(jù)中常有缺測,在NCL中,使用求均值函數(shù)會自動略過,而在python中,當(dāng)任意一數(shù)與缺測(np.nan)計算的結(jié)果均為np.nan,比如求[1,2,3,4,np.nan]的平均值,結(jié)果為np.nan
因此,當(dāng)數(shù)據(jù)存在缺測數(shù)據(jù)時,通常使用np.nanmean()函數(shù),用法同上,此時[1,2,3,4,np.nan]的平均值為(1+2+3+4)/4 = 2.5
同樣的,求某數(shù)組最大最小值時也有np.nanmax(), np.nanmin()函數(shù)來補充np.max(), np.min()的不足。
其他很多np的計算函數(shù)也可以通過在前邊加‘nan’來使用。
另外,
也可以直接將a中缺失值全部填充為0。
np.std(a, axis, dtype)
用法同np.mean()
在NCL中有直接求數(shù)據(jù)標準化的函數(shù)dim_standardize()
其實也就是一行的事,根據(jù)需要指定維度即可。
皮爾遜相關(guān)系數(shù):
相關(guān)可以說是氣象科研中最常用的方法之一了,numpy函數(shù)中的np.corrcoef(x, y)就可以實現(xiàn)相關(guān)計算。但是在這里我推薦scipy.stats中的函數(shù)來計算相關(guān)系數(shù):
這個函數(shù)缺點和有點都很明顯,優(yōu)點是可以直接返回相關(guān)系數(shù)R及其P值,這避免了我們進一步計算置信度。而缺點則是該函數(shù)只支持兩個一維數(shù)組的計算,也就是說當(dāng)我們需要計算一個場和一個序列的相關(guān)時,我們需要循環(huán)來實現(xiàn)。
其中a[time,lat,lon],b[time]
(NCL中為regcoef()函數(shù))
同樣推薦Scipy庫中的stats.linregress(x,y)函數(shù):
slop: 回歸斜率
intercept:回歸截距
r_value: 相關(guān)系數(shù)
p_value: P值
std_err: 估計標準誤差
直接可以輸出P值,同樣省去了做置信度檢驗的過程,遺憾的是仍需同相關(guān)系數(shù)一樣循環(huán)計算。
代碼如下所示:import numpy as npfrom matplotlib import pyplot as pltfrom scipy.interpolate import interp1dx=np.linspace(0,10*np.pi,num=20)y=np.sin(x)f1=interp1d(x,y,kind='linear')#線性插值f2=interp1d(x,y,kind='cubic')#三次樣條插值x_pred=np.linspace(0,10*np.pi,num=1000)y1=f1(x_pred)y2=f2(x_pred)plt.figure()plt.plot(x_pred,y1,'r',label='linear')plt.plot(x,f1(x),'b--','origin')plt.legend()plt.show()plt.figure()plt.plot(x_pred,y2,'b--',label='cubic')plt.legend()plt.show()
因變量是你自己確定的,一般主成分得分是作為自變量的,叫主成分回歸分析
本文標題:python估計函數(shù)誤差 python誤差分析
本文來源:http://m.kartarina.com/article8/hgcpip.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供靜態(tài)網(wǎng)站、建站公司、App開發(fā)、企業(yè)網(wǎng)站制作、品牌網(wǎng)站建設(shè)、Google
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)