原標(biāo)題:亞馬遜云科技DeepRacer模型訓(xùn)練指南及標(biāo)準(zhǔn)硬件配置流程
Amazon DeepRacer介紹
Amazon DeepRacer是一個(gè)綜合性的學(xué)習(xí)系統(tǒng),可供各個(gè)水平的用戶(hù)用來(lái)學(xué)習(xí)和探索強(qiáng)化學(xué)習(xí)以及試驗(yàn)和構(gòu)建自動(dòng)駕駛應(yīng)用程序。
DeepRacer可分為兩個(gè)主要部分:
Amazon DeepRacer Console:在線訓(xùn)練和評(píng)估強(qiáng)化學(xué)習(xí)模型在模擬自動(dòng)駕駛環(huán)境;
Amazon DeepRacer車(chē)輛:1/18比例的RC車(chē)輛,導(dǎo)入訓(xùn)練好的Amazon DeepRacer模型上運(yùn)行推理用于自動(dòng)駕駛。
本文從兩個(gè)主要部分討論DeepRacer的使用:
DeepRacer在線訓(xùn)練:從獎(jiǎng)勵(lì)函數(shù)、賽車(chē)知識(shí)和強(qiáng)化學(xué)習(xí)參數(shù)3個(gè)方向出發(fā),優(yōu)化模型線上及線下的性能;
DeepRacer物理賽車(chē):提供DeepRacer硬件使用過(guò)程中的標(biāo)準(zhǔn)流程,避免錯(cuò)誤的配置流程導(dǎo)致性能不佳,包括:初次開(kāi)箱配置、再次使用時(shí)的檢查流程,以及debug流程。
獎(jiǎng)勵(lì)函數(shù)基本思想
DeepRacer底層技術(shù)基于強(qiáng)化學(xué)習(xí),在強(qiáng)化學(xué)習(xí)中,agent(智能體)學(xué)習(xí)的目標(biāo)被表示為reward(收益),收益通過(guò)environment(環(huán)境)傳遞給agent reward在每個(gè)時(shí)間點(diǎn)上是一個(gè)標(biāo)量。而agent的目標(biāo),是最大化收到的總體reward。因此,與計(jì)算機(jī)中的貪心算法不同,強(qiáng)化學(xué)習(xí)的agent的目標(biāo)并非最大化當(dāng)前的reward,而是最大化長(zhǎng)期reward的累計(jì)公式。
在DeepRacer訓(xùn)練中,模擬器通過(guò)給agent返回reward來(lái)與其交互,而agent根據(jù)reward來(lái)更新自己的策略。在《Reinforcement learning: An introduction》一書(shū)中,reward由狀態(tài),動(dòng)作和下一個(gè)狀態(tài)共同決定。
在強(qiáng)化學(xué)習(xí)項(xiàng)目中,reward function的設(shè)計(jì)是其中重點(diǎn),也是最耗費(fèi)時(shí)間的部分,因?yàn)樵谔岣遖gent能力的同時(shí),還要避免agent投機(jī)取巧,找到提高獎(jiǎng)勵(lì)值的方法。
使用上面的獎(jiǎng)勵(lì)函數(shù),通?梢杂(xùn)練出一個(gè)比較穩(wěn)定的模型,然而DeepRacer競(jìng)賽評(píng)判的標(biāo)準(zhǔn)除了穩(wěn)定,還關(guān)注速度,因此,我們可以將更多的params提供的參數(shù)用上。
強(qiáng)化學(xué)習(xí)的參數(shù)理解
深度強(qiáng)化學(xué)習(xí)算法
DeepRacer的底層算法是深度強(qiáng)化學(xué)習(xí),其中可以選擇的算法有兩個(gè),我們可以根據(jù)訓(xùn)練的時(shí)間和賽道類(lèi)型選擇合適的模型:
PPO(Proximal Policy Optimization):基于Policy Gradient的思想,是主流的深度強(qiáng)化學(xué)習(xí)算法之一。PPO對(duì)樣本的利用效率較低,訓(xùn)練時(shí)需要大量樣本,魯棒性較高,對(duì)超參數(shù)不敏感,收斂效果較好。
SAC(Soft Actor-Critic):基于DDPG的思想,與PPO相比,對(duì)樣本的利用程度更高,所需要的樣本數(shù)更少。但SAC魯棒性較低,對(duì)超參數(shù)敏感,收斂效果較差。
超參數(shù)
深度強(qiáng)化學(xué)習(xí)的底層是神經(jīng)網(wǎng)絡(luò)結(jié)合強(qiáng)化學(xué)習(xí),因此我們可以配置的超參數(shù)分為2大類(lèi):
強(qiáng)化學(xué)習(xí)超參數(shù)
神經(jīng)網(wǎng)絡(luò)超參數(shù)
深度學(xué)習(xí)參數(shù)的簡(jiǎn)介如下:
Gradient descent batch size:從經(jīng)驗(yàn)緩沖區(qū)中隨機(jī)采樣的最近車(chē)輛經(jīng)驗(yàn)數(shù),用于更新基礎(chǔ)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)權(quán)重。
Number of epochs:在梯度下降期間,遍歷訓(xùn)練數(shù)據(jù)(經(jīng)驗(yàn)緩沖區(qū)的隨機(jī)樣本)以更新神經(jīng)網(wǎng)絡(luò)權(quán)重的次數(shù)。
Learning rate:更新權(quán)重時(shí),新權(quán)重的占比。
Entropy:不確定性概率,模型有一定概率選擇隨機(jī)探索。
Discount factor:未來(lái)獎(jiǎng)勵(lì)對(duì)預(yù)期獎(jiǎng)勵(lì)的影響程度。
Loss type:損失函數(shù)的類(lèi)型。分為Mean squared error loss(均方誤差損失)和Huber loss(Huber損失)類(lèi)型。
Number of experience episodes between each policy-updating iteration:經(jīng)驗(yàn)緩沖區(qū)的大小,用于記錄過(guò)去的經(jīng)驗(yàn)。
根據(jù)以上超參數(shù)的定義,有如下調(diào)參建議:
如果獎(jiǎng)勵(lì)函數(shù)過(guò)于激進(jìn),導(dǎo)致模型不易收斂,可以嘗試降低learning rate或選擇huber loss,讓學(xué)習(xí)的過(guò)程更加平滑;
如果模型在過(guò)彎時(shí)反應(yīng)不夠靈敏,或轉(zhuǎn)彎時(shí)機(jī)總是比較晚,可以嘗試提高discount factor,讓模型更注重遠(yuǎn)期獎(jiǎng)勵(lì);
反之,如果模型在過(guò)彎時(shí)過(guò)于靈敏,過(guò)早轉(zhuǎn)彎,可以嘗試降低discount factor,避免模型過(guò)于關(guān)注遠(yuǎn)期獎(jiǎng)勵(lì),同時(shí),也可以使用waypoints來(lái)解決;
Reward的延遲也要在discount factor的設(shè)置中考慮,如果reward設(shè)置的的延遲較高時(shí),可以適當(dāng)提高discount factor值;而reward實(shí)時(shí)性較好時(shí),可以降低discount factor值;
Batch size與epoch越大,模型在訓(xùn)練的權(quán)重更新則越平滑。但如果Batch size或epoch過(guò)大,會(huì)導(dǎo)致訓(xùn)練速度降低及收斂至局部最優(yōu),因此可以聯(lián)合調(diào)試Batch size和epoch的值;
適當(dāng)增加經(jīng)驗(yàn)緩沖區(qū)大小,會(huì)提升模型的收斂的穩(wěn)定性,如果模型始終不收斂或性能震動(dòng)較大,可以嘗試適當(dāng)增加經(jīng)驗(yàn)緩沖區(qū)的大小;
與PPO模型相比,在使用SAC模型時(shí),建議使用更高的epoch來(lái)緩解算法本身對(duì)超參數(shù)敏感的問(wèn)題;
如果模型訓(xùn)練過(guò)程中的性能提升過(guò)于緩慢,可以適當(dāng)增加entropy值,提升模型隨機(jī)探索的可能性;
如果模型的性能提升過(guò)于緩慢或變動(dòng)較小,可以適當(dāng)增加entropy值;反之,如果模型在收斂過(guò)程中震蕩較大,可以適當(dāng)降低entropy值。
Action Space
Action space指的是agent可選的動(dòng)作范圍,在DeepRacer訓(xùn)練配置中,可以選擇下面兩種action space:
Continuous action space:連續(xù)動(dòng)作空間,提供速度和轉(zhuǎn)角的上下限,agent可在范圍中尋找合適的值;
Discrete action space:離散動(dòng)作空間,提供action的組合(速度+轉(zhuǎn)角)。
通常情況下,continuous action space較難收斂,需要更多的訓(xùn)練時(shí)間和更精細(xì)的獎(jiǎng)勵(lì)函數(shù)配置。
投稿郵箱:chuanbeiol@163.com 詳情請(qǐng)?jiān)L問(wèn)川北在線:http://m.sanmuled.cn/