本文是一篇決策模擬論文，本文通過高精度、高運(yùn)算效率的浸沒邊界-格子Boltzmann方法以及柔性演員-評(píng)論家深度強(qiáng)化學(xué)習(xí)算法搭建計(jì)算平臺(tái)，分別通過數(shù)值手段構(gòu)建魚類肉體、魚類大腦以及流場(chǎng)生境，同時(shí)，提出一種用于平臺(tái)數(shù)據(jù)交換的智能接口，保證了整個(gè)平臺(tái)模擬的一體化、智能化和連續(xù)性，通過典型的魚類游泳行為從多方面驗(yàn)證了計(jì)算平臺(tái)的可靠性以及魯棒性。
第一章  緒論
1.1 研究背景與意義
自然界中的生物經(jīng)過上千萬(wàn)年的進(jìn)化，已經(jīng)在各自的生存領(lǐng)域積累了豐富的運(yùn)動(dòng)經(jīng)驗(yàn)和卓越的運(yùn)動(dòng)技能，比如：候鳥能夠精準(zhǔn)感知大氣中的環(huán)流而完成遷徙，獵豹能夠以極為優(yōu)異的生物運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)完成捕食狩獵過程，劍魚在水中的游泳速度能夠達(dá)到驚人的130 Km/h等，在漫長(zhǎng)的進(jìn)化中，各種魚類也已經(jīng)進(jìn)化出了極為優(yōu)秀的游泳性能[1]，由于魚類身體兩側(cè)的側(cè)線感受器官對(duì)水流的刺激尤為敏感，所以能幫助魚確定水流的速度和識(shí)別方向，從而使其在復(fù)雜的流場(chǎng)環(huán)境下完成捕食、洄游產(chǎn)卵等游泳動(dòng)作[2]。上述樣本均為人類認(rèn)識(shí)自然提高人類社會(huì)生產(chǎn)力提供了寶貴的經(jīng)驗(yàn)。魚類作為熟練掌握并運(yùn)用流體動(dòng)力學(xué)原理的高手之一，在過去的幾十年里一直受到研究者的廣泛關(guān)注，魚類靈活、敏捷的運(yùn)動(dòng)方式和極高的游泳效率是任何人工載具都無法媲美的，因此，國(guó)內(nèi)外研究人員致力于揭示魚類游動(dòng)的流體力學(xué)機(jī)制，以便為智能水下裝備的研究、魚類水生生物的保護(hù)等提供理論依據(jù)和實(shí)驗(yàn)參考。
對(duì)魚類游泳的研究一般通過物理實(shí)驗(yàn)和數(shù)值模擬方法進(jìn)行，傳統(tǒng)物理實(shí)驗(yàn)可以客觀反應(yīng)真實(shí)自然界的魚類行為，但存在著諸多限制，如無法表征魚體受力、非接觸式測(cè)量手段受限、實(shí)驗(yàn)成本高等。數(shù)值模擬方法因其模擬環(huán)境可控性、獲取信息的豐富性等優(yōu)勢(shì)廣受研究人員青睞，然而，傳統(tǒng)數(shù)值模擬方法只能模擬魚體的被動(dòng)運(yùn)動(dòng)，魚體行為都是預(yù)先通過計(jì)算機(jī)程式設(shè)定的，模擬的魚尚無主動(dòng)感知、主動(dòng)決策以及與環(huán)境交互的能力，對(duì)魚類游動(dòng)問題的工具和方法有待進(jìn)一步更新。
...................
1.2 國(guó)內(nèi)外魚類游泳運(yùn)動(dòng)的研究方法的研究進(jìn)展
1.2.1 傳統(tǒng)流體力學(xué)實(shí)驗(yàn)
對(duì)魚類的游泳運(yùn)動(dòng)研究在早期一般通過實(shí)驗(yàn)的方式進(jìn)行。對(duì)于實(shí)驗(yàn)研究，一般討論以下主題：1、湍流對(duì)魚類游泳的影響；2、魚類在具有復(fù)雜漩渦的流場(chǎng)中的游泳運(yùn)動(dòng)學(xué)和節(jié)能游泳行為；3、量化魚類在湍流中的游泳成本；4、魚群的游泳行為學(xué)與動(dòng)力學(xué)機(jī)制，研究手段往往通過魚類游泳運(yùn)動(dòng)學(xué)分析、魚體流場(chǎng)可視化、肌電圖、運(yùn)動(dòng)呼吸計(jì)量法和感知屏蔽手術(shù)等來從多方面研究魚類游泳的物理機(jī)制和生物學(xué)代價(jià)。學(xué)者們利用先進(jìn)的實(shí)驗(yàn)方法，取得了一系列豐富的、具有實(shí)踐意義的成果，為大壩生態(tài)調(diào)度、漁業(yè)管理、水下航行機(jī)器人研究和生物學(xué)領(lǐng)域中種群層次等問題作出了重要的貢獻(xiàn)。
① 湍流對(duì)魚類游泳的影響
關(guān)于湍流對(duì)魚類游泳的影響的結(jié)論，目前仍然存在較大的爭(zhēng)議，根據(jù)研究中特有的水動(dòng)力條件，魚可能會(huì)被湍流吸引或排斥。有研究表明，魚類不喜歡湍動(dòng)強(qiáng)度過大、混亂程度過高的水流，而更偏好湍動(dòng)強(qiáng)度較低、具有較好可預(yù)測(cè)性的水流。當(dāng)湍流強(qiáng)度較大時(shí)，湍流作為一種極為混亂與無序的流動(dòng)，已經(jīng)被證明會(huì)增加魚類游泳運(yùn)動(dòng)的成本[3–5]。當(dāng)湍流強(qiáng)度較小時(shí)，湍流具有類較高的穩(wěn)定和可預(yù)測(cè)性從而能夠被游動(dòng)的魚類感知和利用。大量的野外和實(shí)驗(yàn)室研究表明，魚類可以通過利用水中的漩渦或其他魚類的游泳產(chǎn)生的漩渦來降低移動(dòng)成本[6–10]。在上述情況下，湍流對(duì)魚類游泳的行為學(xué)和動(dòng)力學(xué)是有一定益處的。
河道中往往存在各種各樣的障礙物，當(dāng)水流達(dá)到一定流速時(shí)，將在障礙物后方產(chǎn)生同樣的渦街。對(duì)于魚類的在卡門渦街中的游泳，Liao等[11]發(fā)現(xiàn)魚類將以一定體長(zhǎng)的距離作為標(biāo)準(zhǔn)，在非定?？ㄩT渦街中進(jìn)行穩(wěn)定的卡門步態(tài)，當(dāng)魚在D形柱后面游泳時(shí)，魚能感知流場(chǎng)中的能量變化，這使得它們能夠在不同Strouhal數(shù)的渦街中同步它們的身體運(yùn)動(dòng)擺動(dòng)頻率與障礙物后的渦脫落頻率，以達(dá)到節(jié)省游泳能量的目的。
...........................
第二章  基本理論與方法總結(jié)
2.3 強(qiáng)化學(xué)習(xí)理論
馬爾科夫鏈（Markov Decision Process, MDP）是強(qiáng)化學(xué)習(xí)的基礎(chǔ)，它可以用(S,A,P,R,?)五元組來描述。其中 S表示狀態(tài)矩陣，A表示動(dòng)作矩陣，P為狀態(tài)遷移概率，R為獎(jiǎng)勵(lì)函數(shù)，?表示計(jì)算累計(jì)獎(jiǎng)勵(lì)時(shí)的折扣因子。對(duì)于無模型（Model-free）類問題，一般無法得到狀態(tài)轉(zhuǎn)移概率P，所以用轉(zhuǎn)移過程四元組()s,a,r,s'來表示每次訓(xùn)練的基本單元，其中：s'表示經(jīng)過動(dòng)作a從狀態(tài)s轉(zhuǎn)移到新的狀態(tài)，并在這個(gè)過程中得到獎(jiǎng)勵(lì)r。
傳統(tǒng)強(qiáng)化學(xué)習(xí)大致可以分為基于值、基于策略和二者結(jié)合三大類方法。接下來本文將介紹前兩種基本分類及其對(duì)應(yīng)的代表性算法。
......................
2.4 深度學(xué)習(xí)理論
2006年，深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支被首次提出。深度學(xué)習(xí)的模型開發(fā)受到了人類大腦中數(shù)億個(gè)神經(jīng)元的相互交感的啟發(fā)。研究者們通過創(chuàng)建多層隱藏層和多層感知器的深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）來從技術(shù)上實(shí)現(xiàn)這一模型。相較于淺層神經(jīng)網(wǎng)絡(luò)（Shallow Neural Network，SNN），深度神經(jīng)網(wǎng)絡(luò)的性能得到全面增強(qiáng)，能夠從大量訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到更多特征表示。自從Krizhevsky等[59]在ImageNet圖像分類比賽中獲勝后，深度學(xué)習(xí)也開始快速發(fā)展并廣泛應(yīng)用于多個(gè)領(lǐng)域。多層感知機(jī)（Multilayer Perceptron，MLP）是深度學(xué)習(xí)的核心，相對(duì)于單層感知機(jī)，它具有更多的隱藏層和輸出層，能夠?qū)W習(xí)更復(fù)雜的特征信息，輸出多個(gè)值解決例如分類、回歸、降維和聚類等各類問題，MLP結(jié)合不同的激活函數(shù)能夠進(jìn)一步增強(qiáng)模型的表達(dá)能力。

決策模擬論文怎么寫

...........................
第三章 智慧魚體自主行為決策模擬平臺(tái)設(shè)計(jì) .................... 19
3.1 引言 ........................................ 19
3.2 智慧魚體流場(chǎng)生境流固耦合模塊設(shè)計(jì) ......................... 19
第四章 魚類捕食游泳行為模擬 ............................ 32
4.1 引言 .......................................... 32
4.2 實(shí)驗(yàn)環(huán)境及參數(shù)配置 ................................. 32
第五章 復(fù)雜渦流場(chǎng)中魚類游泳行為模擬 ........................... 44
5.1 引言 ...................................... 44
5.2 結(jié)合側(cè)線感知機(jī)的智能仿生魚計(jì)算平臺(tái)搭建 ............................ 44
第五章  復(fù)雜渦流場(chǎng)中魚類游泳行為模擬
5.1 引言
本文第四章搭建的智慧魚體自主行為決策模擬平臺(tái)對(duì)于深度強(qiáng)化學(xué)習(xí)這一類的智能算法應(yīng)用還處于較為初級(jí)的階段。但是，由于僅僅通過將流場(chǎng)的一些特征參數(shù)輸入智慧魚的狀態(tài)空間來進(jìn)行端到端學(xué)習(xí)，無法使上文初級(jí)計(jì)算平臺(tái)所模擬的智能魚擁有對(duì)當(dāng)前所處的流場(chǎng)環(huán)境進(jìn)行定性識(shí)別和分類的能力，而且可能造成算法難以收斂，訓(xùn)練好的游泳策略也無法多個(gè)游泳環(huán)境之間順利遷移，從而造成已有計(jì)算成果的浪費(fèi)，這與真實(shí)自然界魚類的行為模式也仍然是存在一定出入的。本章參考魚類的側(cè)線功能，設(shè)計(jì)了一種智能仿生魚的流場(chǎng)識(shí)別與記憶移植方法，通過側(cè)線感知機(jī)對(duì)當(dāng)前流場(chǎng)的參數(shù)進(jìn)行初步感知、識(shí)別，結(jié)合宏動(dòng)作系統(tǒng)，可使已有的游泳策略在陌生的流場(chǎng)環(huán)境下適用，將其引入智慧魚體自主行為決策模擬平臺(tái)，得到了一個(gè)更加魯棒的、泛化能力更強(qiáng)、模擬行為更接近自然界真實(shí)魚類的智能魚體游動(dòng)控制器。在具有復(fù)雜漩渦的紊流場(chǎng)中進(jìn)行了魚類復(fù)雜游泳行為模擬，流場(chǎng)中的非線性漩渦會(huì)對(duì)魚體的運(yùn)動(dòng)造成強(qiáng)干擾，這非?？简?yàn)智慧魚的游泳決策能力，在三種不同來流流速的卡門渦街下進(jìn)行了游動(dòng)模擬，分別對(duì)比了屏蔽所述系統(tǒng)和不屏蔽所述系統(tǒng)的情況下，對(duì)魚體的控制效果，結(jié)果表明：激活所述系統(tǒng)的魚，維持自身在紊流場(chǎng)中運(yùn)動(dòng)的能力顯著增加，運(yùn)動(dòng)穩(wěn)定性顯著增強(qiáng)，魚體在三種工況下的所有回合的運(yùn)動(dòng)時(shí)間均達(dá)到了設(shè)置回合上限時(shí)間100 T。

決策模擬論文參考

..........................
第六章  總結(jié)與展望
6.1 全文總結(jié)
6.1.1 主要內(nèi)容與結(jié)論
對(duì)于魚類游動(dòng)的行為學(xué)和動(dòng)力學(xué)研究，傳統(tǒng)物理實(shí)驗(yàn)存在著實(shí)驗(yàn)成本高、可采集信息與非接觸式測(cè)量手段有限等不足，傳統(tǒng)計(jì)算流體力學(xué)數(shù)值模擬方法存在著無法實(shí)現(xiàn)魚體主動(dòng)感知和決策、智能模擬魚體被動(dòng)運(yùn)動(dòng)等不足。本文目標(biāo)在于針對(duì)以上問題，結(jié)合更加先進(jìn)的人工智能算法搭建與傳統(tǒng)流固耦合算法相結(jié)合的計(jì)算平臺(tái)，并以具體的應(yīng)用實(shí)例佐證計(jì)算平臺(tái)的優(yōu)越性。為此，本文通過高精度、高運(yùn)算效率的浸沒邊界-格子Boltzmann方法以及柔性演員-評(píng)論家深度強(qiáng)化學(xué)習(xí)算法搭建計(jì)算平臺(tái)，分別通過數(shù)值手段構(gòu)建魚類肉體、魚類大腦以及流場(chǎng)生境，同時(shí)，提出一種用于平臺(tái)數(shù)據(jù)交換的智能接口，保證了整個(gè)平臺(tái)模擬的一體化、智能化和連續(xù)性，通過典型的魚類游泳行為從多方面驗(yàn)證了計(jì)算平臺(tái)的可靠性以及魯棒性?，F(xiàn)將主要工作內(nèi)容總結(jié)如下：
（1）為了解決傳統(tǒng)CFD方法只能模擬魚體被動(dòng)運(yùn)動(dòng)等問題，通過自編程手段構(gòu)建了智慧魚體自主行為決策模擬平臺(tái)。首先，通過高精度、高運(yùn)算效率的浸沒邊界-格子Boltzmann方法實(shí)現(xiàn)魚體游動(dòng)流固耦合數(shù)值模擬模塊，模擬魚類肉體運(yùn)動(dòng)和魚類流場(chǎng)生境的相互作用，提供訓(xùn)練數(shù)據(jù)和執(zhí)行游動(dòng)指令，該模塊采用C++語(yǔ)言編譯；然后，通過基于柔性演員-評(píng)論家的深度強(qiáng)化學(xué)習(xí)算法實(shí)現(xiàn)魚腦高效訓(xùn)練學(xué)習(xí)和決策任務(wù)，該模塊采用基于Python語(yǔ)言的Pytorch開源庫(kù)編譯；同時(shí)，針對(duì)跨平臺(tái)、跨語(yǔ)言編程間通信的通信問題，提出一種用于智慧魚體自主行為決策模擬平臺(tái)數(shù)據(jù)交換的智能接口，保證了整個(gè)平臺(tái)的一體化以及訓(xùn)練過程的智能化與連續(xù)性；
（2）通過水箱里兩小球下沉算例以及柔性體靜水前游算例驗(yàn)證流固耦合求解器可靠性，通過一級(jí)牛頓擺、一級(jí)倒立擺兩個(gè)控制工程領(lǐng)域的經(jīng)典非線性控制算例驗(yàn)證深度強(qiáng)化學(xué)習(xí)決策模塊的可靠性，為后續(xù)模擬奠定基礎(chǔ)；
參考文獻(xiàn)（略）