陳永偉/文 神經(jīng)網(wǎng)絡(luò)的誕生

1935年的一天，英國哲學(xué)家伯特蘭·羅素（Bertrand　Russel）收到了一封來自美國底特律的信。寫信人自稱叫沃爾特·皮茨（Walter　Pitts），在閱讀羅素和其老師懷特海（Alfred　North　Whitehead）合著的《數(shù)學(xué)原理》時發(fā)現(xiàn)了幾處錯誤，因而特別來信指出。讀完信，羅素找來《數(shù)學(xué)原理》進(jìn)行了一番核對，發(fā)現(xiàn)來信人確實(shí)言之有理。于是，他立即向皮茨回信表示了感謝，并邀請皮茨來劍橋大學(xué)跟隨他攻讀研究生。

然而，皮茨并沒有接受這個邀請。這并不是因?yàn)樗^于傲慢，而是因?yàn)樗?dāng)時只有12歲，甚至連高中都還沒上。當(dāng)時，皮茨生活的街區(qū)治安并不好，他經(jīng)常被街頭的小混混欺負(fù)。在家里，他脾氣暴躁的父親又經(jīng)常對他拳打腳踢。為了避免挨打，他經(jīng)常將社區(qū)圖書館作為庇護(hù)所。那天，他又出于同樣的目的來到了圖書館，并偶然發(fā)現(xiàn)了書架上的《數(shù)學(xué)原理》。然后，他奇跡般地只用三天就看完了這部2000頁的皇皇巨著，并發(fā)現(xiàn)了其中的問題給羅素寫了信。

盡管皮茨不能跟隨羅素去讀研究生，但通過這番通信，兩人也算成了熟人。1938年，皮茨聽說羅素要去芝加哥講學(xué)，就果斷離家出走，來到了芝加哥。在芝加哥大學(xué)，皮茨終于見到了自己的筆友。羅素十分高興，并將他推薦給了在芝加哥任教的著名哲學(xué)家魯?shù)婪?middot;卡爾納普（Rudolf　Carnap）?？柤{普把他留在了芝加哥，還為他找了一份清潔工的工作用以維持生計。于是，皮茨就成了芝加哥大學(xué)的一位旁聽生。

在芝加哥大學(xué)期間，皮茨的天才引起了很多人的注意，其中就包括一位叫杰羅姆·萊特文（Jerome　Lettvin)的醫(yī)學(xué)院研究生。萊特文對這位神童十分欽佩，不久后又將他介紹給了著名的神經(jīng)學(xué)家沃倫·麥卡洛克（Warren　McCuloch）。在麥卡洛克結(jié)識皮茨時，他已經(jīng)42歲，但他卻發(fā)現(xiàn)自己和這位比自己小25歲的年輕人聊得十分投機(jī)——可能，這是因?yàn)閮扇硕汲绨萑R布尼茨，并且都讀過《數(shù)學(xué)原理》。當(dāng)時，皮茨在芝加哥沒有住所，麥卡洛克就干脆邀請他住到了自己的家中。此后，這對同住一個屋檐下的神經(jīng)學(xué)家和數(shù)學(xué)神童就經(jīng)常在一起探討問題、交流思想。

那段時間，麥卡洛克正在嘗試用邏輯運(yùn)算對大腦進(jìn)行建模。作為一名神經(jīng)學(xué)家，他在實(shí)驗(yàn)中觀察到：在大腦中，每個神經(jīng)元都與其他神經(jīng)元相連，當(dāng)神經(jīng)元興奮時，就會向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元內(nèi)的電位；如果某個神經(jīng)元的電位超過了一個閾值，它就會被激活，即興奮起來，并向其他神經(jīng)元發(fā)送化學(xué)物質(zhì)。他覺得，這種現(xiàn)象似乎可以和《數(shù)學(xué)研究》中的邏輯概念聯(lián)系起來。具體來說，每一個神經(jīng)元信號就像是一個命題，它們像邏輯門一樣運(yùn)行，接收多種信號的輸入，并產(chǎn)生單獨(dú)的輸出信號。通過變更神經(jīng)元的放電閾值，神經(jīng)元就可以表現(xiàn)出連接、分離、否定等行為，而它們就正好對應(yīng)于邏輯中的“與”“或”和“非”?；谶@個認(rèn)識，他想把神經(jīng)元的運(yùn)動模式用一個數(shù)學(xué)模型表示出來。遺憾的是，麥卡洛克本人的數(shù)學(xué)能力并不強(qiáng)，所以他沒能完成這個模型。

麥卡洛克將這個想法告訴了皮茨，希望他可以用自己的數(shù)學(xué)天才幫助自己。皮茨沒有辜負(fù)他的希望，一番努力之后，他將麥卡洛克的想法發(fā)展成一個數(shù)學(xué)模型。模型中，神經(jīng)元被描述成了一個邏輯門，它會將來自周邊神經(jīng)元的信號加權(quán)求和，然后將得到的值代入一個非線性函數(shù)中，這個函數(shù)會根據(jù)輸入的值來決定神經(jīng)元究竟是關(guān)閉還是打開。通過這樣的設(shè)定，神經(jīng)元的法則就被表示成了一個數(shù)學(xué)模型。雖然這個模型看似十分簡單，但通過組合，它可以表達(dá)復(fù)雜的腦神經(jīng)活動。麥卡洛克對皮茨的工作十分滿意，他很快將這個模型整理成了一篇論文，還讓自己的女兒為論文配上了手繪插圖。

1943年，這篇名為《神經(jīng)活動中思想內(nèi)在性的邏輯演算》（ALogicalCal－culusofIdeasImmanentinNervousAc－tivity）正式發(fā)表，“麥卡洛克—皮茨模型”（簡稱M-P模型）也因此而被人所知。這個模型，就是神經(jīng)網(wǎng)絡(luò)領(lǐng)域的開山之作。直至今天，神經(jīng)網(wǎng)絡(luò)的大部分研究都依然以此作為基礎(chǔ)。

憑著這篇開創(chuàng)性論文，皮茨獲得了芝加哥大學(xué)的準(zhǔn)學(xué)士學(xué)位——由于他在芝加哥大學(xué)沒有學(xué)籍，所以他并沒有能獲得正式的學(xué)生學(xué)位。不過，在當(dāng)時那個年代，學(xué)位并不是一件大不了的事，相比于一紙文憑，那篇開創(chuàng)性的論文更加可以證明皮茨的天賦。

不久之后，皮茨在萊特文的引薦下認(rèn)識了麻省理工學(xué)院的數(shù)學(xué)家維納（NorbertWiener）。對于這位年紀(jì)輕輕就寫出重量級論文的年輕人，維納也十分欣賞，于是就破格收下他作為自己的博士生。那時，維納正著手創(chuàng)建“控制論”（Cybernetics），一門旨在用數(shù)學(xué)的方法描述機(jī)器、生命和社會的一般規(guī)律的新學(xué)科。皮茨順理成章地成為了他的助手。

維納的器重，讓皮茨感到了前所未有的溫暖。但他不知道的是，這其實(shí)是他后半生悲劇的開始。幾年之后，維納莫名與皮茨反目，這讓一直對維納敬愛有加的皮茨精神備受打擊，從此一蹶不振。關(guān)于維納與皮茨師徒反目的原因，外人并不能確知。有人說維納躁狂的性格導(dǎo)致了這一切，也有人說，這是由于他們在研究思路上出了分歧。從后來的證據(jù)看，后一種說法似乎更有道理，因?yàn)樵诰S納的本來思路中，控制論包括對神經(jīng)網(wǎng)絡(luò)的研究，但師徒二人分道揚(yáng)鑣后，這一塊內(nèi)容從維納的研究版圖中被抹去了。無論如何，這場決裂確實(shí)毀掉了一個天才，此后，皮茨就終日借酒澆愁，直到二十多年后在貧病交加中孤獨(dú)死去。

通向魔宮的道路

當(dāng)皮茨跟隨維納攻讀博士時，還有一位比他年輕三歲的學(xué)生，名叫奧利弗·塞弗里奇（OliverSelfridge），也在跟隨維納學(xué)習(xí)。塞弗里奇本來是學(xué)習(xí)數(shù)學(xué)的，但在皮茨和萊特文的熏陶之下，他也開始對神經(jīng)網(wǎng)絡(luò)感興趣。幾年后，麥卡洛克也來到了麻省理工學(xué)院，于是麥卡洛克、皮茨、萊特文和塞弗里奇這四人就經(jīng)常在一起討論問題、交流思想。

后來，維納和皮茨的那場決裂顯然波及了塞弗里奇，維納也因此和他斷絕了往來。這導(dǎo)致了塞弗里奇沒有能拿到博士學(xué)位。不過，憑借著優(yōu)秀的數(shù)學(xué)和工程能力，他還是順利地在麻省理工學(xué)院的林肯實(shí)驗(yàn)室找到了工作，并參與了第一個擴(kuò)頻系統(tǒng)的建造。在工作之余，他還是熱衷于神經(jīng)網(wǎng)絡(luò)方面的研究。

1959年，塞弗里奇讀到了一篇由他的昔日老友麥卡洛克、皮茨、萊特文，以及另一位智利生物學(xué)家馬圖拉納（HumbertoMaturana）合寫的論文《青蛙的眼睛告訴青蛙的大腦什么》（WhattheFrog’sEyeTellsFrog’sBrain）。這篇文章講了一個顛覆常識的故事：過去，人們認(rèn)為眼睛作為感覺器官，只是負(fù)責(zé)接受信息，信息的處理都是由大腦完成的。但實(shí)驗(yàn)表示，眼睛在接收了信息之后，至少進(jìn)行了部分解釋工作，然后再將它傳遞給大腦。大腦是在此基礎(chǔ)之上進(jìn)一步進(jìn)行的計算。比如，當(dāng)青蛙看到有蟲子飛過來時，其眼睛就會立即將蟲子的信息傳遞給大腦；而當(dāng)一般的環(huán)境變化時，蛙眼則不會傳遞任何信息。這表明，蛙眼在接受信息之后，確實(shí)會首先對其進(jìn)行一次識別，然后再決定是否將其傳遞給大腦。

這篇老友的作品讓塞弗里奇大受啟發(fā)，一個信息識別過程的模型慢慢在他的腦中浮現(xiàn)。不久之后，他就將這個想法整理成了一個模型，并將這個模型起了一個十分聳人聽聞的名字——“魔宮模型”（PandemoniumModel，Pande－monium是傳說中撒旦的宮殿）。這個模型將信息識別的過程比作了進(jìn)入魔宮的過程。在通往魔宮的道路上，共有四道門，每一道門后面都站著不同類型的妖魔。在第一道門背后站著的是“圖像魔鬼”，它們負(fù)責(zé)記錄和傳遞輸入數(shù)據(jù)或圖像；第二道門背后站的是“特征魔鬼”，它們負(fù)責(zé)從輸入的信息中提取某些特征；第三道門背后站的是“認(rèn)知魔鬼”，它們負(fù)責(zé)根據(jù)各種特征整理出有用的信息；第四道門背后站的是“決策魔鬼”，它們負(fù)責(zé)最后確認(rèn)并輸出結(jié)果。所有這些“群魔”集中在一起，就可以共同完成對外部信息的識別。以識別手寫的單詞為例，“圖像魔鬼”將負(fù)責(zé)感知信息；“特征魔鬼”將負(fù)責(zé)提取出文字中的各種特征，如“弧形”“彎鉤”等；“認(rèn)知魔鬼”將負(fù)責(zé)根據(jù)特征識別出一個個的字母；最后“決策魔鬼”將所有識別出的文字加在一起，就得到了要識別的單詞。

當(dāng)然，所謂的“魔宮”“群魔”，只不過是塞弗里奇為了引起讀者注意而故意搞的怪。事實(shí)上，這一個個亂舞的群魔完全可以被正式地表述成M-P模型中所刻畫的神經(jīng)元。這樣，通往魔宮的道路就變成了一張多層的神經(jīng)網(wǎng)絡(luò)。因而，“魔宮模型”實(shí)際上第一次向人們展示了用神經(jīng)網(wǎng)絡(luò)識別圖形和文字信息的方法，而塞弗里奇也因這個成就被后人尊為了“模式識別之父”。

感知機(jī)的成與敗

“魔宮模型”的提出在理論上揭示了用神經(jīng)網(wǎng)絡(luò)來進(jìn)行模式識別的可能性，那么，人們是否可以用這一原理來制作用以識別圖形或文字的機(jī)器呢？答案是肯定的。事實(shí)上，早在塞弗里奇構(gòu)建他的“魔宮”之前，就已經(jīng)有人做出了用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖形識別的機(jī)器。這個機(jī)器就是著名的“感知機(jī)”（Percep－tron）。

創(chuàng)造“感知機(jī)”的人叫弗蘭克·羅森布拉特（FrankRosenblatt），是康奈爾大學(xué)的心理學(xué)教授。作為一位心理學(xué)家，羅森布拉特對腦的構(gòu)造十分感興趣。他讀過麥卡洛克和皮茨的那篇經(jīng)典論文，并敏銳地意識到這個神經(jīng)網(wǎng)絡(luò)模型可以用來從事圖形識別等工作。

為了驗(yàn)證這個想法，羅森布拉特在一臺IBM704機(jī)器上進(jìn)行了嘗試。具體來說，他根據(jù)M-P模型的思路，構(gòu)建了一個神經(jīng)網(wǎng)絡(luò)。這個網(wǎng)絡(luò)的輸入端可以用來讀取寫有字母的卡片，然后這個神經(jīng)網(wǎng)絡(luò)會提取其中的特征信息，對信息進(jìn)行加工后，機(jī)器就會輸出其判斷的結(jié)果。一開始，羅森布拉特的“感知機(jī)”運(yùn)作得并不好，但通過他對模型參數(shù)的精心調(diào)整，“感知機(jī)”的表現(xiàn)就明顯改善了。

1958年7月，羅森布拉特在美國國家氣象局向人們展示了“感知機(jī)”的用處。當(dāng)計算機(jī)成功地識別出了印在卡片上的一個個字母后，在場的觀眾無不驚嘆不已。第二天，羅森布拉特和他的“感知機(jī)”就登上了各大報刊的頭版。美國海軍、美國郵政局等單位也紛紛向羅森布拉特投來了橄欖枝，希望將這項發(fā)明用于實(shí)踐。

所謂“福兮禍之所伏”，當(dāng)時“感知機(jī)”的技術(shù)還十分不成熟，這樣過度的贊譽(yù)對它而言絕不是一件好事。不久之后，它的缺陷就暴露了。人們發(fā)現(xiàn)，這臺機(jī)器只能識別規(guī)范印刷的字母，對于手寫的字母卻無能為力。這意味著，這時的“感知機(jī)”至多只是一個華而不實(shí)的東西，并無實(shí)際的用途。其實(shí)，從現(xiàn)在的觀點(diǎn)看，“感知機(jī)”的最關(guān)鍵問題在于它僅用了一層的神經(jīng)網(wǎng)絡(luò)，而沒有像“魔宮模型”所建議的那樣采用多層神經(jīng)網(wǎng)絡(luò)，這極大地限制了“感知機(jī)”在處理上的靈活性。本來，如果給羅森布拉特更多的時間，他或許可以想到如何對自己的發(fā)明進(jìn)行改進(jìn)的辦法。但一個人的出現(xiàn)，改變了這一切。這個人就是馬文·明斯基（MarvinMinsky）。

在人工智能的歷史上，明斯基是一個舉足輕重的人物。正是他和約翰·麥卡錫（JohnMcCarthy）等幾位教授一起推動了1956年的達(dá)特茅斯會議，人工智能才得以成為了一門獨(dú)立的學(xué)科。早年，他也對神經(jīng)網(wǎng)絡(luò)很感興趣，并親手打造了一臺名叫SNARE的機(jī)器——這可能是歷史上第一個真正的人造神經(jīng)網(wǎng)絡(luò)。但很快，他就轉(zhuǎn)變了看法，認(rèn)為用神經(jīng)網(wǎng)絡(luò)這種模仿人腦來創(chuàng)建人工智能的方法是低效的。機(jī)器或許更適合用符號和邏輯規(guī)則來實(shí)現(xiàn)智能。

在看到羅森布拉特的“感知機(jī)”爆火后，明斯基寫了一本關(guān)于神經(jīng)網(wǎng)絡(luò)的書，并故意將其命名為《感知機(jī)》。在書中，明斯基指出了神經(jīng)網(wǎng)絡(luò)的許多不足，例如它無法處理邏輯上的異或關(guān)系等，從理論上為感知機(jī)宣判了死刑。

雖然明斯基的批評顯得很不厚道，但客觀地說，這些批評確實(shí)指出了當(dāng)時神經(jīng)網(wǎng)絡(luò)的不足之處。羅森布拉特在幾次改進(jìn)失敗后，逐步放棄了完善感知機(jī)的計劃。而隨著明斯基和羅森布拉特的爭論，剛剛誕生不久的人工智能學(xué)科也逐漸分裂成了兩大陣營——推崇符號和邏輯的“符號主義”和推崇神經(jīng)網(wǎng)絡(luò)的“連接主義”。

1971年，羅森布拉特在一次帆船事故中去世。隨著這位標(biāo)志性人物的意外身故，“連接主義”也進(jìn)入了漫長的低谷期。

神經(jīng)網(wǎng)絡(luò)的再起

羅森布拉特去世后的幾十年，符號主義主導(dǎo)了人工智能的發(fā)展。在這個學(xué)派看來，構(gòu)建人工智能的關(guān)鍵在于讓機(jī)器建立起邏輯推理的能力。至于這種能力是用類似人腦的模式實(shí)現(xiàn)的，還是按照其他的方式實(shí)現(xiàn)的則無關(guān)緊要。沿著這個思路，研究者們?nèi)〉昧艘幌盗幸俗⒛康某删?，?ldquo;邏輯理論家”、啟發(fā)式搜索、專家系統(tǒng)、知識庫和知識圖譜等，都是這一研究思路下的產(chǎn)物。與符號主義研究的日漸興盛形成鮮明對比的是神經(jīng)網(wǎng)絡(luò)研究的凋敝。從事這類研究的學(xué)者不僅很難申請到經(jīng)費(fèi)，甚至在會議宣講論文時都會被視為是騙子或神棍。

不過，即使在這種惡劣的情形之下，依然有一群連接主義的信徒在默默努力。在他們看來，機(jī)器通過模仿大腦來實(shí)現(xiàn)人工智能絕非天方夜譚，只不過當(dāng)前的人們還沒有找到其中的奧秘而已。在當(dāng)時的學(xué)界，這群人被戲稱為“地下神經(jīng)網(wǎng)絡(luò)”。

杰弗里·辛頓（GeoffreyHinton）就是“地下神經(jīng)網(wǎng)絡(luò)”的一員。辛頓出生于英國的一個學(xué)術(shù)世家，其家族曾出過大批知名學(xué)者。他的父親是劍橋大學(xué)教授，著名的昆蟲學(xué)家。不過，家族的榮耀并沒有讓辛頓的學(xué)術(shù)之路一帆風(fēng)順，恰恰相反，他的前半生可謂是一路蹉跎。

高中時，辛頓從一位同學(xué)那里了解到了大腦神經(jīng)網(wǎng)絡(luò)的一些知識，從此迷上了這個領(lǐng)域。大學(xué)時，他選擇了物理專業(yè)，卻因數(shù)學(xué)能力不足而轉(zhuǎn)去了哲學(xué)系，隨后又轉(zhuǎn)到了實(shí)驗(yàn)心理學(xué)系，最終，又從實(shí)驗(yàn)心理學(xué)系退學(xué)。隨后，他干脆離開了學(xué)界，干起了木匠。

在做木匠期間，他閱讀了加拿大心理學(xué)家赫布（DonaldHebb）的《行為組織》（TheOrganizationofBehavior）一書，了解了神經(jīng)元通過發(fā)送電信號彼此聯(lián)系、傳遞信息的過程。在這本書的引導(dǎo)下，他對大腦的興趣被重新點(diǎn)燃了，于是就決心重回學(xué)術(shù)界。于是，在父親的幫助之下，他進(jìn)入了愛丁堡大學(xué)，跟隨朗吉特—希金斯（ChristopherLonguet-Hig－gins）學(xué)習(xí)人工智能。朗吉特—希金斯曾是一位出色的理論化學(xué)家，被人工智能的理念吸引而轉(zhuǎn)入了這個行業(yè)。本來，希金斯他更傾向于連接主義。但在辛頓入學(xué)之前他讀了明斯基的書，觀點(diǎn)轉(zhuǎn)向了符號主義。在這樣的背景下，他和辛頓的師徒關(guān)系就可想而知了。

1978年，辛頓從愛丁堡大學(xué)畢業(yè)。但在當(dāng)時，他很難在英國找到工作，于是不得不遠(yuǎn)渡重洋來到美國的學(xué)界謀生。盡管在美國，連接主義依然處于邊緣地位，但相比于英國，這兒的學(xué)術(shù)環(huán)境要相對寬松，這讓他得以按照自己的想法，自由地探索神經(jīng)網(wǎng)絡(luò)的奧秘。盡管收入微薄、研究條件惡劣，但辛頓憑借自己的努力，在短短幾年內(nèi)就完成了兩個重大的成就——“反向傳播”（Backpropagation，簡稱BP）算法和玻爾茲曼機(jī)（BoltzmannMachine）。

如前所述，羅森布拉特的“感知機(jī)”之所以失敗，是由于單層神經(jīng)網(wǎng)絡(luò)過于簡單，因而它確實(shí)如明斯基所說的那樣，連“抑或”這樣的邏輯運(yùn)算都不能實(shí)現(xiàn)。因而，要提升神經(jīng)網(wǎng)絡(luò)的功能，它就必須要多層化。但一旦神經(jīng)網(wǎng)絡(luò)多層化了，參數(shù)的調(diào)整就會成為設(shè)計者的噩夢。對于參數(shù)較少的單層網(wǎng)絡(luò)，他們可以很容易地通過試錯來完成這一切，但當(dāng)網(wǎng)絡(luò)層數(shù)和參數(shù)變得更多后，全憑經(jīng)驗(yàn)調(diào)整就幾乎是不可能的。“反向傳播”算法的基本思想來自微積分中的鏈?zhǔn)椒▌t，這一參數(shù)給出了每一個參數(shù)的變化與下一層各參數(shù)變化之間的關(guān)系。借助這層關(guān)系，設(shè)計者們就可以從最后的輸出結(jié)果出發(fā)，按照從后往前的順序一層層對參數(shù)進(jìn)行調(diào)整。通過這一方法，調(diào)參的效率就可以得到大幅度地提升。玻爾茲曼機(jī)本質(zhì)上就是一個兩層的神經(jīng)網(wǎng)絡(luò)模型。辛頓設(shè)計了這個模型，并用反向傳播算法調(diào)整了它的參數(shù)。這樣，這個模型就不僅可以用來識別圖形，還可以用來完成很多其他的工作。

當(dāng)辛頓完成了上述工作后，他非常想把這一切及時分享給學(xué)界，并告訴大家：神經(jīng)網(wǎng)絡(luò)可以做到這些了。他興奮地來到了人工智能的大會，把自己的論文發(fā)給每一個參會者，但卻很少有人重視。他也把論文給了明斯基，但明斯基甚至都懶得翻一下論文，走時就把它遺落在了會場。

在那個時代，辛頓的遭遇絕非偶然。但和他類似的連接主義者們并沒有因此放棄自己的理念。在他們的努力之下，遞歸神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）、卷積神經(jīng)網(wǎng)絡(luò)（Convo－lutionalNeuralNetworks，CNN）等工具被陸續(xù)發(fā)展出來。這個曾經(jīng)被宣布已經(jīng)死亡的學(xué)科又正在悄悄復(fù)活。

現(xiàn)在，是時候向全世界證明連接主義的價值了，從哪兒跌倒，就從哪兒站起來！當(dāng)年，“感知機(jī)”因未能達(dá)到圖形識別的預(yù)期能力，才被人們認(rèn)為是失敗的產(chǎn)品，那么重新證明神經(jīng)網(wǎng)絡(luò)模型能力的復(fù)仇戰(zhàn)就依然從圖形識別開始吧。

連接主義者的“回歸秀”發(fā)生在2012年的“ImageNet大規(guī)模視覺識別競賽”（簡稱ILSVRC）上。ILSVRC是由斯坦福大學(xué)的華裔教授李飛飛發(fā)起的一個挑戰(zhàn)項目，是計算機(jī)視覺領(lǐng)域最著名的挑戰(zhàn)賽之一。在每一年的ILSVRC中，主辦方都會由李飛飛教授建立的ImageNet數(shù)據(jù)集——一個包含有1400萬張帶有標(biāo)注的圖片的數(shù)據(jù)集中抽取部分樣本，要求參賽者用自己的算法進(jìn)行識別，最終準(zhǔn)確度最高的算法將會勝出。最初兩年，ILSVRC的參賽者使用的大多是支持向量機(jī)等傳統(tǒng)機(jī)器學(xué)習(xí)算法，最終優(yōu)勝者的識別準(zhǔn)確度大多在70%左右。到了2012年的ILSVRC，情況發(fā)生了根本性的改變，由辛頓和他的兩個學(xué)生伊利亞·蘇茨克沃（IlyaSutskever）、亞歷克斯·克里切夫斯基（AlexKrizhevsky）設(shè)計的AlexNet以85%左右的識別準(zhǔn)確率一舉斬獲了當(dāng)年大賽的優(yōu)勝，一下子把準(zhǔn)確率記錄提升了10%以上。

AlexNet是一個八層的神經(jīng)網(wǎng)絡(luò)，其中前三層為卷積神經(jīng)網(wǎng)絡(luò)層，后三層則為全連接層，整個模型包含65萬個神經(jīng)元，參數(shù)量在6千萬以上。容易看到，從構(gòu)架上看，它就是塞弗里奇“魔宮”的一個擴(kuò)展，只不過原本在塞弗里奇的構(gòu)想中，“魔宮”只有四道門，而辛頓等人則把它擴(kuò)建到了有八道門。而65萬個神經(jīng)元，就像魔宮中的群魔一樣，守在各道門后。早在數(shù)十年前，塞弗里奇就預(yù)言，只要參數(shù)設(shè)定得當(dāng)，人們就可以順利地從圖形中提煉出其中的信息，就如同魔宮中的群魔在訓(xùn)練之后，就可以提取人的靈魂一樣。不過，在塞弗里奇那個時代，人們并沒有找到訓(xùn)練這些魔鬼的魔法，因而并沒有人真正馴服群魔。而在這個時候，辛頓已經(jīng)掌握了“反向傳播算法”，利用這個“魔法”，他把魔宮中的群魔訓(xùn)練成了強(qiáng)大的魔軍。在這支魔軍面前，之前被人們認(rèn)為不可能完成的任務(wù)被輕而易舉地完成了。

從學(xué)科發(fā)展的角度看，AlexNet的成功無疑是具有里程碑意義的。它讓被人們忽視已久的神經(jīng)網(wǎng)絡(luò)重新被人們認(rèn)識，連接主義在被符號主義壓制數(shù)十年之后，終于成為了人工智能發(fā)展的主流。對于辛頓個人，這一次成功也是一起非常重要的事件?，F(xiàn)在，他終于不再會遭人白眼，不再會被人視為三流學(xué)者，他的論文開始被人爭相閱讀，引用量開始成千上萬。他，那個曾經(jīng)的小木匠，成了人工智能領(lǐng)域的英雄！

或許是出于憂慮神經(jīng)網(wǎng)絡(luò)這個長期被符號主義者污名化的詞不利于傳播，辛頓專門為他的研究改名叫深度學(xué)習(xí)——即用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)之意也。而由于對深度學(xué)習(xí)這個領(lǐng)域的貢獻(xiàn)，他本人就被冠上了“深度學(xué)習(xí)之父”的名號。

學(xué)術(shù)的反向傳播

AlexNet的大獲成功讓人們看到了深度學(xué)習(xí)的巨大潛力。由此，大量的人才開始涌入這個領(lǐng)域，大量的資本也開始對其追捧。在這些要素的推動之下，神經(jīng)網(wǎng)絡(luò)這個被壓抑了幾十年的研究領(lǐng)域迎來了前所未有的爆發(fā)。從Al－phaGO（阿爾法圍棋）戰(zhàn)勝人類圍棋高手，到AlphaFold（阿爾法折疊）預(yù)測上億的蛋白質(zhì)組合，再到ChatGPT（人工智能聊天機(jī)器人）的橫空出世，神經(jīng)網(wǎng)絡(luò)不斷地向人們證明了自己的實(shí)力?，F(xiàn)在，神經(jīng)網(wǎng)絡(luò)這個工具的用途早已超越了圖形識別，而幾乎被用在了各行各業(yè)。

對于連接主義的信奉者而言，這一切當(dāng)然是非常值得欣慰的。不過，在巨大的成功背后，還有一個棘手的問題有待回答：現(xiàn)在的神經(jīng)網(wǎng)絡(luò)究竟在多大程度上和人腦的神經(jīng)系統(tǒng)具有相似性？

現(xiàn)在神經(jīng)網(wǎng)絡(luò)技術(shù)之所以可以被普遍應(yīng)用，反向傳播算法起到了非常關(guān)鍵的作用。但正如我們所見，這個算法的靈感是來自數(shù)學(xué)而非腦科學(xué)。那么，在大腦當(dāng)中，是否也存在著類似的機(jī)制呢？長期以來，即使是最堅定的連接主義者都對此表示了懷疑，甚至連其發(fā)明人辛頓都曾考慮過是否應(yīng)該放棄這個算法。

直到2020年，這個問題才終于有了一個相對明確的答案。那年的《自然評論：神經(jīng)科學(xué)》雜志發(fā)表了一篇題為《反向傳播和大腦》（BackpropagationandtheBrain）的論文。論文指出，大腦在學(xué)習(xí)的過程中，確實(shí)會對神經(jīng)元之間的突觸進(jìn)行調(diào)節(jié)。大腦在調(diào)整的過程中，會根據(jù)目標(biāo)和活動結(jié)果的差異來對錯誤進(jìn)行編碼，并以此指導(dǎo)突觸權(quán)重的變化。這一切，就好像人們在練習(xí)打球時，如果發(fā)現(xiàn)球飛得高了，下一次就會自動降低發(fā)球的角度和力度，讓其更低一些；而如果發(fā)現(xiàn)球飛得低了，則會增加發(fā)球的角度和力度，讓它更高一些一樣——只不過，所有的這一切都是在神經(jīng)元的層面上進(jìn)行的，并且會通過突觸在不同神經(jīng)元之間傳播進(jìn)行。

這種機(jī)制幾乎是和人工智能領(lǐng)域的反向傳播算法如出一轍。更確切地說，這種算法原本就存在于大腦的神經(jīng)系統(tǒng)當(dāng)中，只不過原先神經(jīng)科學(xué)家們并沒有注意到這個機(jī)制，而人工智能專家們的成果則反過來啟發(fā)人們重新認(rèn)識了它。

值得一提的是，作為反向傳播算法的發(fā)現(xiàn)者，辛頓也是這篇論文的作者之一?？v觀辛頓的學(xué)術(shù)生涯，他原本感興趣的是腦科學(xué)，但卻陰差陽錯地從人工智能出發(fā)，再反過來探索人腦的奧秘，這又何嘗不是一種學(xué)術(shù)上的反向傳播呢？

從永生回到凡人

從麥卡洛克和皮茨合作提出M-P模型，到“深度學(xué)習(xí)革命”如今的如火如荼，神經(jīng)科學(xué)學(xué)科已經(jīng)為人工智能學(xué)科做出了相當(dāng)?shù)呢暙I(xiàn)。那么，在未來，神經(jīng)科學(xué)學(xué)科還可以繼續(xù)給人工智能學(xué)科提供更多的靈感和啟發(fā)嗎？答案當(dāng)然是肯定的。事實(shí)上，盡管現(xiàn)在的人工智能在很多方面已經(jīng)超越了人腦，但在其他的不少方面，人腦依然有著更為優(yōu)越的表現(xiàn)。比如，在記憶、直覺、情感生成等方面，人腦的表現(xiàn)都遠(yuǎn)非人工智能可比。從這個意義上看，人工智能可以向人腦學(xué)習(xí)的地方還有很多。

在人腦的眾多優(yōu)勢當(dāng)中，最為突出的一點(diǎn)是它在學(xué)習(xí)的效率上要比人造的神經(jīng)網(wǎng)絡(luò)高出很多?，F(xiàn)在，人們雖然可以訓(xùn)練出參數(shù)量巨大的人工智能，其中一些的參數(shù)量甚至已經(jīng)超過了人腦神經(jīng)元的數(shù)量，但這么做的代價卻是巨大的。比如，在訓(xùn)練GPT（生成預(yù)訓(xùn)練變換器）模型時，OpenAI（開放人工智能公司）就動用了上萬張顯卡，訓(xùn)練一次的耗電就高達(dá)上千兆瓦時。而相比之下，人腦在學(xué)習(xí)時消耗的能量卻非常少。那么，人腦究竟是如何做到這一點(diǎn)的？人工智能是否可以模仿人腦做到這一點(diǎn)？圍繞著這兩個問題，一個被稱為“類腦計算”的全新領(lǐng)域正在蓬勃發(fā)展。

在類腦計算的各個技術(shù)路線中，由辛頓提出的“凡人計算”（MortalComputation）是一個非常值得關(guān)注的方向。這個思想來自一個非常重要的觀察，即大腦的運(yùn)作并非只是單純的神經(jīng)元之間的信息傳遞，它是和其大腦的物理基礎(chǔ)緊密相關(guān)的。換言之，大腦本身就是一個軟硬件一體化的機(jī)器，它的軟件，即思想不能脫離其硬件存在，如果大腦毀滅了，思維活動也就隨之停止了。相比之下，人造的神經(jīng)網(wǎng)絡(luò)則是建筑在經(jīng)典的馮·諾伊曼架構(gòu)上的，它產(chǎn)生的信息可以脫離硬件存在的，可以從一臺機(jī)器轉(zhuǎn)移到另一臺機(jī)器，因而可以說是一種“永生運(yùn)算”（ImmortalComputation）。聽起來，“永生運(yùn)算”要比“凡人運(yùn)算”有吸引力得多，但其代價就是，它會需要消耗更多的能量，因?yàn)樵谟郎\(yùn)算中，信息需要不斷在存儲介質(zhì)上進(jìn)行寫入和擦除，由此將會產(chǎn)生巨大的能量消耗。如果由此產(chǎn)生的成本超過了硬件成本，那么永生運(yùn)算在效率上看就不如凡人運(yùn)算?；谶@一認(rèn)識，辛頓建議未來的人們在構(gòu)建神經(jīng)網(wǎng)絡(luò)時，可以考慮同時仿照人腦，開發(fā)更適合它們的一次性硬件。雖然這會讓運(yùn)算失去永生，但考慮到它能節(jié)約巨大的能耗，那么這一切依然是值得的。

幾十年前，當(dāng)皮茨剛剛拜入維納門下時，維納曾和馮·諾伊曼（JohnvonNeumann）聊起他這位新弟子創(chuàng)造的M-P模型。一開始，馮·諾伊曼覺得這個模型很有意思，覺得它潛力巨大。但隨后，他又對維納表示了憂慮。他擔(dān)心一旦人們過于將注意力放在神經(jīng)元的運(yùn)作問題，對大腦物理結(jié)構(gòu)的關(guān)注就可能隨之減少，可能讓人們忽視了真正重要的東西。當(dāng)我們重新回看馮·諾伊曼的這段評論，就不得不感嘆他的敏銳?，F(xiàn)在，神經(jīng)網(wǎng)絡(luò)的研究已經(jīng)證明了其價值，以后相關(guān)科學(xué)研究的重點(diǎn)可能要重新回到對大腦物理結(jié)構(gòu)的認(rèn)知上來了。

結(jié)語

回顧人工智能數(shù)十年的發(fā)展史，我們不難發(fā)現(xiàn)，它的成功很大程度上來自不同學(xué)科之間的相互啟迪和相互激發(fā)。只有當(dāng)神經(jīng)科學(xué)、數(shù)學(xué)、物理學(xué)、工程學(xué)這些學(xué)科之間彼此合作時，人工智能才能得到迅速的發(fā)展。而當(dāng)學(xué)者們出于門派之見彼此隔絕，甚至彼此攻擊時，學(xué)科的發(fā)展速度就會減慢。從這個意義上講，雖然現(xiàn)在連接主義已經(jīng)成為了人工智能領(lǐng)域絕對的主導(dǎo)思想，但如果研究者們能夠抽空讀讀西蒙（HerbertSimon）、紐厄爾（AllenNewell）等符號主義大師的作品，那他們也一定可以從中找到有益的啟發(fā)。

傳說中，神由于害怕人們合力造出能夠通向天庭的巴別塔，所以施法變亂了他們的語言，讓他們難以交流?，F(xiàn)在的研究者為了突破科學(xué)的邊界，就必須齊心協(xié)力，人為地制造隔閡，是無益于科學(xué)，也無益于自己的。