TensorFlow實現指數衰減學習率的方法-創新互聯

在TensorFlow中，tf.train.exponential_decay函數實現了指數衰減學習率，通過這個函數，可以先使用較大的學習率來快速得到一個比較優的解，然后隨著迭代的繼續逐步減小學習率，使得模型在訓練后期更加穩定。

創新互聯是一家專業提供彭澤企業網站建設,專注與成都做網站、網站設計、H5網站設計、小程序制作等業務。10年已為彭澤眾多企業、政府機構等服務。創新互聯專業的建站公司優惠進行中。

tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase, name)函數會指數級地減小學習率，它實現了以下代碼的功能：

#tf.train.exponential_decay函數可以通過設置staircase參數選擇不同的學習率衰減方式

#staircase參數為False（默認）時，選擇連續衰減學習率：
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step / decay_steps)

#staircase參數為True時，選擇階梯狀衰減學習率：
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step // decay_steps)

①decayed_leaming_rate為每一輪優化時使用的學習率；

②leaming_rate為事先設定的初始學習率；

③decay_rate為衰減系數；

④global_step為當前訓練的輪數；

⑤decay_steps為衰減速度，通常代表了完整的使用一遍訓練數據所需要的迭代輪數，這個迭代輪數也就是總訓練樣本數除以每一個batch中的訓練樣本數，比如訓練數據集的大小為128，每一個batch中樣例的個數為8，那么decay_steps就為16。

當staircase參數設置為True，使用階梯狀衰減學習率時，代碼的含義是每完整地過完一遍訓練數據即每訓練decay_steps輪，學習率就減小一次，這可以使得訓練數據集中的所有數據對模型訓練有相等的作用；當staircase參數設置為False，使用連續的衰減學習率時，不同的訓練數據有不同的學習率，而當學習率減小時，對應的訓練數據對模型訓練結果的影響也就小了。

接下來看一看tf.train.exponential_decay函數應用的兩種形態（省略部分代碼）：

①第一種形態，global_step作為變量被優化，在這種形態下，global_step是變量，在minimize函數中傳入global_step將自動更新global_step參數（global_step每輪迭代自動加一），從而使得學習率也得到相應更新：

import tensorflow as tf
 .
 .
 .
#設置學習率
global_step = tf.Variable(tf.constant(0))
learning_rate = tf.train.exponential_decay(0.01, global_step, 16, 0.96, staircase=True)
#定義反向傳播算法的優化方法
train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy, global_step=global_step)
 .
 .
 .
#創建會話
with tf.Session() as sess:
 .
 .
 .
 for i in range(STEPS):
 .
 .
 .
  #通過選取的樣本訓練神經網絡并更新參數
  sess.run(train_step, feed_dict={x:X[start:end], y_:Y[start:end]})
  .
 .
 .

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

文章標題：TensorFlow實現指數衰減學習率的方法-創新互聯
網頁網址：http://m.kartarina.com/article16/ccijgg.html

成都網站建設公司_創新互聯，為您提供商城網站、網站收錄、虛擬主機、服務器托管、Google、小程序開發

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯