神經(jīng)網(wǎng)絡技術演變

• 曾理偉 2023年8月3日 來源：中研網(wǎng) 417 20
• 繁體

人工神經(jīng)網(wǎng)絡是由大量的簡單基本元件—神經(jīng)元相互聯(lián)接而成的自適應非線性動態(tài)系統(tǒng)。每個神經(jīng)元的結(jié)構和功能比較簡單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復雜。人工神經(jīng)網(wǎng)絡的基本結(jié)構模仿人腦，反映了人腦功能的若干基本特性，能夠自身適應環(huán)境、總結(jié)規(guī)律、完成某種

欲了解更多神經(jīng)網(wǎng)絡行業(yè)的未來發(fā)展前景，可以點擊查看中研普華產(chǎn)業(yè)院研究報告《2022年版5G通信技術背景下邊緣計算+AI發(fā)展趨勢及應用專項研究報告》

人工神經(jīng)網(wǎng)絡是由大量的簡單基本元件—神經(jīng)元相互聯(lián)接而成的自適應非線性動態(tài)系統(tǒng)。每個神經(jīng)元的結(jié)構和功能比較簡單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復雜。人工神經(jīng)網(wǎng)絡的基本結(jié)構模仿人腦，反映了人腦功能的若干基本特性，能夠自身適應環(huán)境、總結(jié)規(guī)律、完成某種運算、識別或過程控制。人工神經(jīng)網(wǎng)絡具有并行處理特征，可以大大提高工作速度。

1943年，心理學家W·Mcculloch和數(shù)理邏輯學家W·Pitts在分析、總結(jié)神經(jīng)元基本特性的基礎上首先提出神經(jīng)元的數(shù)學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。因而，他們兩人可稱為人工神經(jīng)網(wǎng)絡研究的先驅(qū)。1945年馮·諾依曼領導的設計小組試制成功存儲程序式電子計算機，標志著電子計算機時代的開始。

1948年，他在研究工作中比較了人腦結(jié)構與存儲程序式計算機的根本區(qū)別，提出了以簡單神經(jīng)元構成的再生自動機網(wǎng)絡結(jié)構。但是，由于指令存儲式計算機技術的發(fā)展非常迅速，迫使他放棄了神經(jīng)網(wǎng)絡研究的新途徑，繼續(xù)投身于指令存儲式計算機技術的研究，并在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯(lián)系在一起的，但他也是人工神經(jīng)網(wǎng)絡研究的先驅(qū)之一。

50年代末，F(xiàn)·Rosenblatt設計制作了“感知機”，它是一種多層的神經(jīng)網(wǎng)絡。這項工作首次把人工神經(jīng)網(wǎng)絡的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效制作感知機，分別應用于文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而，這次人工神經(jīng)網(wǎng)絡的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因為當時數(shù)字計算機的發(fā)展處于全盛時期，許多人誤以為數(shù)字計算機可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經(jīng)網(wǎng)絡體積龐大，價格昂貴，要制作在規(guī)模上與真實的神經(jīng)網(wǎng)絡相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異或這樣的基本問題，而且多層網(wǎng)絡還不能找到有效的計算方法，這些論點促使大批研究人員對于人工神經(jīng)網(wǎng)絡的前景失去信心。60年代末期，人工神經(jīng)網(wǎng)絡的研究進入了低潮。

另外，在60年代初期，Widrow提出了自適應線性元件網(wǎng)絡，這是一種連續(xù)取值的線性加權求和閾值網(wǎng)絡。后來，在此基礎上發(fā)展了非線性多層自適應網(wǎng)絡。當時，這些工作雖未標出神經(jīng)網(wǎng)絡的名稱，而實際上就是一種人工神經(jīng)網(wǎng)絡模型。隨著人們對感知機興趣的衰退，神經(jīng)網(wǎng)絡的研究沉寂了相當長的時間。

80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術提高到新的水平，完全付諸實用化，此外，數(shù)字計算機的發(fā)展在若干應用領域遇到困難。這一背景預示，向人工神經(jīng)網(wǎng)絡尋求出路的時機已經(jīng)成熟。美國的物理學家Hopfield于1982年和1984年在美國科學院院刊上發(fā)表了兩篇關于人工神經(jīng)網(wǎng)絡研究的論文，引起了巨大的反響。人們重新認識到神經(jīng)網(wǎng)絡的威力以及付諸應用的現(xiàn)實性。隨即，一大批學者和研究人員圍繞著Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經(jīng)網(wǎng)絡的研究熱潮。

神經(jīng)網(wǎng)絡的云集成模式還不是很成熟，應該有發(fā)展?jié)摿Γ窠?jīng)網(wǎng)絡有自己的硬傷，不知道能夠達到怎樣的效果，所以決策支持系統(tǒng)中并不是很熱門，但是神經(jīng)網(wǎng)絡無視過程的優(yōu)點也是無可替代的，云網(wǎng)絡如果能夠?qū)ι窠?jīng)網(wǎng)絡提供一個互補的輔助決策以控制誤差的話，也許就能使神經(jīng)網(wǎng)絡成熟起來人工神經(jīng)網(wǎng)絡產(chǎn)生的背景自古以來，關于人類智能本源的奧秘，一直吸引著無數(shù)哲學家和自然科學家的研究熱情。

生物學家、神經(jīng)學家經(jīng)過長期不懈的努力，通過對人腦的觀察和認識，認為人腦的智能活動離不開腦的物質(zhì)基礎，包括它的實體結(jié)構和其中所發(fā)生的各種生物、化學、電學作用，并因此建立了神經(jīng)元網(wǎng)絡理論和神經(jīng)系統(tǒng)結(jié)構理論，而神經(jīng)元理論又是此后神經(jīng)傳導理論和大腦功能學說的基礎。在這些理論基礎之上，科學家們認為，可以從仿制人腦神經(jīng)系統(tǒng)的結(jié)構和功能出發(fā)，研究人類智能活動和認識現(xiàn)象。另一方面，19世紀之前，無論是以歐氏幾何和微積分為代表的經(jīng)典數(shù)學，還是以牛頓力學為代表的經(jīng)典物理學，從總體上說，這些經(jīng)典科學都是線性科學。然而，客觀世界是如此的紛繁復雜，非線性情況隨處可見，人腦神經(jīng)系統(tǒng)更是如此。復雜性和非線性是連接在一起的，因此，對非線性科學的研究也是我們認識復雜系統(tǒng)的關鍵。為了更好地認識客觀世界，我們必須對非線性科學進行研究。人工神經(jīng)網(wǎng)絡作為一種非線性的、與大腦智能相似的網(wǎng)絡模型，就這樣應運而生了。所以，人工神經(jīng)網(wǎng)絡的創(chuàng)立不是偶然的，而是20世紀初科學技術充分發(fā)展的產(chǎn)物。

人工神經(jīng)網(wǎng)絡的發(fā)展人工神經(jīng)網(wǎng)絡的研究始于40年代初。半個世紀以來，經(jīng)歷了興起、高潮與蕭條、高潮及穩(wěn)步發(fā)展的遠為曲折的道路。1943年，心理學家W.S.Mcculloch和數(shù)理邏輯學家W.Pitts提出了M—P模型，這是第一個用數(shù)理語言描述腦的信息處理過程的模型，雖然神經(jīng)元的功能比較弱，但它為以后的研究工作提供了依據(jù)。

1949年，心理學家提出突觸聯(lián)系可變的假設，根據(jù)這一假設提出的學習規(guī)律為神經(jīng)網(wǎng)絡的學習算法奠定了基礎。1957年，計算機科學家Rosenblatt提出了著名的感知機模型，它的模型包含了現(xiàn)代計算機的一些原理，是第一個完整的人工神經(jīng)網(wǎng)絡，第一次把神經(jīng)網(wǎng)絡研究付諸工程實現(xiàn)。由于可應用于模式識別，聯(lián)想記憶等方面，當時有上百家實驗室投入此項研究，美國軍方甚至認為神經(jīng)網(wǎng)絡工程應當比“原子彈工程”更重要而給予巨額資助，并在聲納信號識別等領域取得一定成績。

1960年，B.Windrow和E.Hoff提出了自適應線性單元，它可用于自適應濾波、預測和模式識別。至此，人工神經(jīng)網(wǎng)絡的研究工作進入了第一個高潮。

1969年，美國著名人工智能學者M.Minsky和S.Papert編寫了影響很大的Perceptron一書，從理論上證明單層感知機的能力有限，諸如不能解決異或問題，而且他們推測多層網(wǎng)絡的感知機能力也不過如此，他們的分析恰似一瓢冷水，很多學者感到前途渺茫而紛紛改行，原先參與研究的實驗室紛紛退出，在這之后近10年，神經(jīng)網(wǎng)絡研究進入了一個緩慢發(fā)展的蕭條期。這期間，芬蘭學者T.Kohonen提出了自組織映射理論，反映了大腦神經(jīng)細胞的自組織特性、記憶方式以及神經(jīng)細胞興奮刺激的規(guī)律；美國學者S.A.Grossberg的自適應共振理論（ART）；日本學者K.Fukushima提出了認知機模型；ShunIchimari則致力于神經(jīng)網(wǎng)絡有關數(shù)學理論的研究等，這些研究成果對以后的神經(jīng)網(wǎng)絡的發(fā)展產(chǎn)生了重要影響。美國生物物理學家J.J.Hopfield于1982年、1984年在美國科學院院刊發(fā)表的兩篇文章，有力地推動了神經(jīng)網(wǎng)絡的研究，引起了研究神經(jīng)網(wǎng)絡的又一次熱潮。

1982年，他提出了一個新的神經(jīng)網(wǎng)絡模型——hopfield網(wǎng)絡模型。他在這種網(wǎng)絡模型的研究中，首次引入了網(wǎng)絡能量函數(shù)的概念，并給出了網(wǎng)絡穩(wěn)定性的判定依據(jù)。1984年，他又提出了網(wǎng)絡模型實現(xiàn)的電子電路，為神經(jīng)網(wǎng)絡的工程實現(xiàn)指明了方向，他的研究成果開拓了神經(jīng)網(wǎng)絡用于聯(lián)想記憶的優(yōu)化計算的新途徑，并為神經(jīng)計算機研究奠定了基礎。

1984年Hinton等人將模擬退火算法引入到神經(jīng)網(wǎng)絡中，提出了Boltzmann機網(wǎng)絡模型，BM網(wǎng)絡算法為神經(jīng)網(wǎng)絡優(yōu)化計算提供了一個有效的方法。

1986年，D.E.Rumelhart和J.LMcclelland提出了誤差反向傳播算法，成為至今為止影響很大的一種網(wǎng)絡學習方法。

1987年美國神經(jīng)計算機專家R.Hecht—Nielsen提出了對向傳播神經(jīng)網(wǎng)絡，該網(wǎng)絡具有分類靈活，算法簡練的優(yōu)點，可用于模式分類、函數(shù)逼近、統(tǒng)計分析和數(shù)據(jù)壓縮等領域。

1988年L.Ochua等人提出了細胞神經(jīng)網(wǎng)絡模型，它在視覺初級加工上得到了廣泛應用。為適應人工神經(jīng)網(wǎng)絡的發(fā)展，1987年成立了國際神經(jīng)網(wǎng)絡學會，并決定定期召開國際神經(jīng)網(wǎng)絡學術會議。1988年1月NeuralNetwork創(chuàng)刊。1990年3月IEEETransactiononNeuralNetwork問世。

我國于1990年12月在北京召開了首屆神經(jīng)網(wǎng)絡學術大會，并決定以后每年召開一次。1991年在南京成立了中國神經(jīng)網(wǎng)絡學會。IEEE與INNS聯(lián)合召開的IJCNN92已在北京召開。這些為神經(jīng)網(wǎng)絡的研究和發(fā)展起了推波助瀾的作用，人工神經(jīng)網(wǎng)絡步入了穩(wěn)步發(fā)展的時期。

90年代初，諾貝爾獎獲得者Edelman提出了Darwinism模型，建立了神經(jīng)網(wǎng)絡系統(tǒng)理論。同年，Aihara等在前人推導和實驗的基礎上，給出了一個混沌神經(jīng)元模型，該模型已成為一種經(jīng)典的混沌神經(jīng)網(wǎng)絡模型，該模型可用于聯(lián)想記憶。Wunsch在90OSA年會上提出了一種AnnualMeeting，用光電執(zhí)行ART，學習過程有自適應濾波和推理功能，具有快速和穩(wěn)定的學習特點。

1991年，Hertz探討了神經(jīng)計算理論，對神經(jīng)網(wǎng)絡的計算復雜性分析具有重要意義；Inoue等提出用耦合的混沌振蕩子作為某個神經(jīng)元，構造混沌神經(jīng)網(wǎng)絡模型，為它的廣泛應用前景指明了道路。1992年，Holland用模擬生物進化的方式提出了遺傳算法，用來求解復雜優(yōu)化問題。

1993年方建安等采用遺傳算法學習，研究神經(jīng)網(wǎng)絡控制器獲得了一些結(jié)果。1994年Angeline等在前人進化策略理論的基礎上，提出一種進化算法來建立反饋神經(jīng)網(wǎng)絡，成功地應用到模式識別，自動控制等方面；廖曉昕對細胞神經(jīng)網(wǎng)絡建立了新的數(shù)學理論和方法，得到了一系列結(jié)果。HayashlY根據(jù)動物大腦中出現(xiàn)的振蕩現(xiàn)象，提出了振蕩神經(jīng)網(wǎng)絡。

1995年Mitra把人工神經(jīng)網(wǎng)絡與模糊邏輯理論、生物細胞學說以及概率論相結(jié)合提出了模糊神經(jīng)網(wǎng)絡，使得神經(jīng)網(wǎng)絡的研究取得了突破性進展。Jenkins等人研究光學神經(jīng)網(wǎng)絡，建立了光學二維并行互連與電子學混合的光學神經(jīng)網(wǎng)絡，它能避免網(wǎng)絡陷入局部最小值，并最后可達到或接近最理想的解；SoleRV等提出流體神經(jīng)網(wǎng)絡，用來研究昆蟲社會，機器人集體免疫系統(tǒng)，啟發(fā)人們用混沌理論分析社會大系統(tǒng)。

1996年，ShuaiJW’等模擬人腦的自發(fā)展行為，在討論混沌神經(jīng)網(wǎng)絡的基礎上提出了自發(fā)展神經(jīng)網(wǎng)絡。1997、1998年董聰?shù)葎?chuàng)立和完善了廣義遺傳算法，解決了多層前向網(wǎng)絡的最簡拓樸構造問題和全局最優(yōu)逼近問題。

2006年之后的進展人們用CMOS創(chuàng)造了用于生物物理模擬和神經(jīng)形態(tài)計算的計算設備。最新的研究顯示了用于大型主成分分析和卷積神經(jīng)網(wǎng)絡的納米設備具有良好的前景。如果成功的話，這會創(chuàng)造出一種新的神經(jīng)計算設備，因為它依賴于學習而不是編程，并且它從根本上就是模擬的而不是數(shù)字化的，雖然它的第一個實例可能是數(shù)字化的CMOS設備。

在2009到2012年之間，Jürgen Schmidhuber在Swiss AI LabIDSIA的研究小組研發(fā)的循環(huán)神經(jīng)網(wǎng)絡和深前饋神經(jīng)網(wǎng)絡贏得了8項關于模式識別和機器學習的國際比賽。例如，Alex Gravesetal.的雙向、多維的LSTM贏得了2009年ICDAR的3項關于連筆字識別的比賽，而且之前并不知道關于將要學習的3種語言的信息。IDSIA的DanCiresan和同事根據(jù)這個方法編寫的基于GPU的實現(xiàn)贏得了多項模式識別的比賽，包括IJCNN2011交通標志識別比賽等等。他們的神經(jīng)網(wǎng)絡也是第一個在重要的基準測試中（例如IJCNN2012交通標志識別和NYU的揚·勒丘恩（Yann LeCun）的MNIST手寫數(shù)字問題）能達到或超過人類水平的人工模式識別器。

類似1980年Kunihiko Fukushima發(fā)明的neocognitron和視覺標準結(jié)構（由DavidH.Hubel和Torsten Wiesel在初級視皮層中發(fā)現(xiàn)的那些簡單而又復雜的細胞啟發(fā)）那樣有深度的、高度非線性的神經(jīng)結(jié)構可以被多倫多大學杰弗里·辛頓實驗室的非監(jiān)督式學習方法所訓練。

2012年，神經(jīng)網(wǎng)絡出現(xiàn)了快速的發(fā)展，主要原因在于計算技術的提高，使得很多復雜的運算變得成本低廉。以Alex Net為標志，大量的深度網(wǎng)絡開始出現(xiàn)。

2014年出現(xiàn)了殘差神經(jīng)網(wǎng)絡，該網(wǎng)絡極大解放了神經(jīng)網(wǎng)絡的深度限制，出現(xiàn)了深度學習的概念。構成典型的人工神經(jīng)網(wǎng)絡具有以下三個部分：1、結(jié)構（Architecture）結(jié)構指定了網(wǎng)絡中的變量和它們的拓撲關系。例如，神經(jīng)網(wǎng)絡中的變量可以是神經(jīng)元連接的權重（weights）和神經(jīng)元的激勵值（activities of the neurons）。2、激勵函數(shù)（Activation Rule）大部分神經(jīng)網(wǎng)絡模型具有一個短時間尺度的動力學規(guī)則，來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動來改變自己的激勵值。一般激勵函數(shù)依賴于網(wǎng)絡中的權重（即該網(wǎng)絡的參數(shù)）。3、學習規(guī)則（Learning Rule）學習規(guī)則指定了網(wǎng)絡中的權重如何隨著時間推進而調(diào)整。這一般被看做是一種長時間尺度的動力學規(guī)則。一般情況下，學習規(guī)則依賴于神經(jīng)元的激勵值。它也可能依賴于監(jiān)督者提供的目標值和當前權重的值。例如，用于手寫識別的一個神經(jīng)網(wǎng)絡，有一組輸入神經(jīng)元。輸入神經(jīng)元會被輸入圖像的數(shù)據(jù)所激發(fā)。在激勵值被加權并通過一個函數(shù)（由網(wǎng)絡的設計者確定）后，這些神經(jīng)元的激勵值被傳遞到其他神經(jīng)元。這個過程不斷重復，直到輸出神經(jīng)元被激發(fā)。最后，輸出神經(jīng)元的激勵值決定了識別出來的是哪個字母。

• 相關深度報告REPORTS

  

  2023-2028年生食行業(yè)市場深度分析及發(fā)展規(guī)劃咨詢綜合研究報告

  生食即刺生（魚蝦，海鮮，生牛肉），蔬果，谷類，不經(jīng)過烹飪直接生吃。生的食物保留毒素和營養(yǎng)，促進人體新陳代謝正常化，除去各種廢棄物，幫助預防糖尿病、癌癥、肥胖、便秘等成人疾病，恢復并...

  查看詳情

延伸閱讀

推薦閱讀

猜您喜歡