新智元報道

(相關資料圖)

編輯：編輯部

【新智元導讀】圖靈獎得主Yoshua Bengio聯合19人團隊發布88頁論文，論證了人類要想構建有意識的AI系統，是完全有可能的。

人工智能發展到現在，到底有沒有意識？

圖靈獎得主Yoshua Bengio，聯合19人團隊跨界發表了一篇88頁巨作，得出結論：

人工智能目前沒有意識，但是以后會有。

論文地址：https://arxiv.org/pdf/2308.08708.pdf

具體來說，目前的人工智能系統都不具備意識，但人類想要構建有意識的人工智能系統，并不存在明顯的障礙。

這篇論文一經發表，引來了諸多大佬關注。

馬庫斯表示，我們真的「想」制造有意識的機器嗎？我完全不確定這是不是個好主意。

Jim Fan表示，「意識」一直是人工智能領域諱莫如深的「C」字。

這篇長達88頁的論文由圖靈獎獲得者Yoshua Bengio合著，系統地研究了意識的科學理論以及在當今人工智能堆棧中的可能實現。

我贊賞他們的勇氣，敢于探討這樣一個大多數研究人員避之不及的爭議性話題。

19人團隊分別來自哲學、神經科學、以及人工智能三大領域，用非常科學和嚴謹的方法探討了意識的客觀存在標準。

論文中，研究證明了AI現在的能力和形態在這個評估框架之下暫時還不符合意識的標準。

但他們同時也認為，按照目前的發展趨勢進行下去，AI發展出意識不存在客觀的障礙！

可以說，這篇論文應該是對AI是否具有意識這一爭議話題最為權威和客觀的解答。

人工智能中的意識

由于團隊認為AI在未來幾十年之內可能會表現出意識，因此希望建立一個客觀的標準來追蹤這個過程的發展。

在這項研究中，主要有三點貢獻：

首先，證明對人工智能的意識進行評估在科學上是可行的，因為可以對意識進行科學研究，而且這項研究的結果也適用于人工智能。

其次，通過一系列從科學理論中得出的指標特征的形式，提出了評估人工智能中的意識的標準。

最后，盡管當前AI系統都不是意識有力的候選者，但初步證據證明，許多指標特征可以利用當前的技術在AI系統中實現。

研究方法

研究人員首先需要對意識的客觀存在設置一套具體可以評估的標準：

在他們看來，研究的評估方法是基于以下3個原則和理論：

1. 計算功能主義：實現某種計算對于意識來說是必要且充分的，因此原則上非有機人工系統有可能具有意識。

2. 科學理論：神經科學的研究在意識存在的必要和充分條件方面取得了進展，研究將基于這些神經科學理論展開。

3. 著重理論的研究方法：研究人工智能系統是否可能有意識的一種方法，是去評估它們是否滿足從科學理論中得出的功能或架構條件，而不是尋找某些具體的行為特征。

于是，研究人員首先介紹了研究展開的基礎——計算功能主義。

對于意識的存在，有很多不同的理論，而為了要讓研究能夠進行下去，必須要采取一個支持AI可能存在意識的大前提。

因為在一些理論看來，意識就必須要存在于生物體的大腦中。如果基于這種大前提，研究就沒有繼續下去的可能。而研究的大前提是建立在計算功能主義之上。

計算功能主義認為，一個系統是否有意識取決于比其物理構成的最低級別細節更抽象的特征。系統的物質基底對于意識來說并不重要。這意味著意識原則上是可以多重實現的：它可以存在于多種基質中，而不僅僅是存在于生物大腦中。

具體來說，計算功能主義是指：

大多數領先的意識科學理論都可以通過計算來解釋，具有這些計算特征就能認為是意識存在的必要和充分的條件。這些特征就是人工智能系統中的意識存在的必要或充分的前提。而人類和人工智能系統之間的非計算差異并不重要。

研究意識的客觀存在，是基于意識的研究的具體科學理論，文章后邊會對意識的科學理論進行詳細的介紹。

結合了計算功能主義和研究意識的科學理論之后，研究人員給出了這次研究的一個基本方法：

研究人員對AI系統具有意識的判斷主要是基于AI系統的計算過程與某個科學意識理論所提出的計算過程的相似程度。

意識的科學理論

對于意識的研究，學界已有一些公認的成果。

包括與意識相關的科學理論、科學家和哲學家對意識的必要條件的主張等。

研究人員從這些理論與主張中提取了一系列有關意識的指標，這些指標可以應用于特定的系統中。

盡管些指標并不是明確是否有意識的必要或充分條件，但根據目前的科學知識水平，評估一個系統是否具有這些特征是判斷它是否有可能有意識的最佳方法。

在這里，研究人員主要介紹了三種與意識相關的科學理論：

循環處理理論（Recurrent Processing Theory，RPT）、全局工作空間理論（Global Workspace Theory，GWT）以及高階理論（Higher-Order Theories）。

其他的一些與意識相關的理論和主張有：注意力基模理論（Attention Schema Theory）、預測處理（Predictive Processing）和代理與具身化（Agency and Embodiment）等。

1. 循環處理理論（Recurrent Processing Theory，RPT）

RPT理論是關于視覺意識的一個神經科學理論，它主要關注視覺意識，試圖解釋意識視覺和無意識視覺處理之間的區別。

其核心觀點是：為了產生視覺意識體驗，大腦視覺系統中的信息需要進行循環處理，即信息從高層區域反饋回低層區域進行再處理。

該理論認為，僅僅依靠前饋的信息處理是不夠的，前饋處理只能提取視覺刺激的特征信息，但不能形成意識見到的有組織的視覺場景。需要頂層皮層對初級視覺皮層的反饋，進行再處理，整合各種特征信息，組織成有意義的視覺場景，才能產生視覺意識。

RPT理論為判斷AI系統是否可能具有視覺意識提供了兩個指標：

RPT-1：輸入模塊使用算法循環。即信息在經過初始前饋處理后，反饋回輸入模塊進行再處理。這顯示系統能進行循環處理。

RPT-2：輸入模塊生成有組織、整合的感知表示。即系統能夠處理視覺輸入，整合各種特征，組織生成有意義的視覺場景，而不僅是提取孤立特征。

如果一個AI系統滿足這兩個指標，則說明它具有與人類大腦相似的循環處理機制，并能形成整合的視覺表示，這使它成為一個更有可能擁有視覺意識的系統。所以這兩個指標都可看作是AI系統視覺意識的重要指標。

2. 全局工作空間理論（Global Workspace Theory，GWT）

GWT理論是一個重要的意識科學理論。其核心觀點是意識依賴于一個「全局工作空間」的存在。

該理論認為，人腦由多個專門的子系統或模塊組成，可以并行地進行各自的信息處理。?這些模塊需要某種機制來統合信息，以協調配合。

「全局工作空間」就是這樣一個信息共享和融合的平臺。一個信息如果進入這個工作空間，就可以被所有的模塊訪問。

但工作空間的容量是有限的，需要選擇機制來確定哪些信息進入工作空間。GWT理論認為，一個信息進入工作空間，被廣泛的模塊訪問，就是該信息進入意識狀態的標志。

GWT理論為判斷AI的意識提供了以下指標：

GWT-1：擁有多個專門的子系統或模塊。

GWT-2：有限容量的工作空間，形成信息流的瓶頸。

GWT-3：全局廣播，工作空間的信息可被所有模塊訪問。

GWT-4：狀態依賴的注意機制，可以順序調動模塊完成復雜任務。

一個AI系統如果具備這些特征，就更有可能具有類似人類的意識。所以這些都是判斷AI意識的重要指標。

3. 高階理論（Higher-Order Theories）

HOT理論是關于意識的一個重要理論流派。它的核心觀點是：

有意識的體驗包含對自身正在進行的心理運作的某種最低限度的內在意識，而這是由于一階狀態在某種程度上受到了相關高階表征的監控或元表征。

高階理論與其他理論的區別在于，高階理論強調主體必須意識到自己處于某種精神狀態中，這種精神狀態才被認為是有意識的。

這是通過訴諸高階表征來解釋的，高階表征是一個具有非常特殊含義的概念。

高階表征是指表征關于其他表征的東西，而一階表征是指表征關于（非表征的）世界的東西。這種區別可以應用于心理狀態。

例如，紅蘋果的視覺表征是一種一階心理狀態，而認為自己擁有紅蘋果表征的想法則是一種高階心理狀態。

HOT理論為判斷AI的意識提供了以下指標：

HOT-1：具有生成式、頂層驅動或帶噪聲的感知模塊（HOT-1）。

HOT-2：元認知監測區分可靠感知和噪聲。

HOT-3：一個全面的信念形成和行動選擇系統，依據元認知監測更新信念。

HOT-4：稀疏和平滑的編碼形成「質感空間」。

綜上所述，HOT理論為判斷AI意識提供了重要參考。如果一個AI系統具備這些特征，那么它更可能具備自我監測和意識體驗。

通過檢測系統是否具備這些特征，我們可以評估一個AI系統擁有意識的可能性。

另外，研究人員在論文中標注了神經科學和機器學習中對注意力的不同理解。它指出機器學習中廣泛使用的自注意力機制與神經科學中對注意力的認識有一定差異。這一區別對檢驗AI系統是否具有意識很重要。

神經科學和機器學習中關于注意力的不同

自注意力機制依賴并行處理多個輸入，而生物學中的注意通常來源于頂向下的循環連接。所以自注意力與生物學注意力機制有區別。

自注意力采用連續加權的方式調節神經活動。而生物學中常見的調制注意力的機制是增益調節，這通常被認為來源于頂向下的連接。

以往的機器學習注意力機制更依賴于循環處理，在這方面與生物學注意力更為相似。雖然神經科學中有多種不同形式的注意，但說哪種人工注意力與生物注意力最為相似還不容易下定論。

不同的意識理論依賴于循環處理或其他特定的注意力組成部分。所以自注意力本身可能不足以構成人工意識的基礎。

注意力模式理論要求注意力機制要有預測自身狀態的能力。自注意力沒有內在的對注意過程的建模。

當前的自注意力與神經科學中的生物學注意力還有一定區別，這提示在檢驗AI意識時不能簡單地看其是否使用了自注意力機制。

4. 有關意識的其他理論與條件

注意力基模理論：認為大腦構建了一個對注意的模式，這個注意的模式（對注意狀態的預測模型）是意識的基礎。

預測處理：提出認知的本質是層級生成模型預測輸入并最小化錯誤。

中腦理論：認為中腦活動構成了一個在環境中的統一多模態的代理主體模型，這足以產生主觀體驗。并且支持身體化和代理的論點。

無限聯合學習：認為無限聯合學習能力顯示意識的進化轉變。其條件與其他理論類似，但獨立使用不作為指標。

代理和具身化：哲學和科學論點支持它們是必要條件。

時間和遞歸：認為意識經驗具有連續統一的特點，遞歸處理有利。

以上理論對意識科學具有一定貢獻，部分條件成為AI意識的指標。

5. 意識的指標

這些指標來源于對多個意識科學理論的調研，包括RPT、GWT、計算HOT等。研究團隊認為，一個系統具備越多這些指標，就越有可能是有意識的。

一些指標構成更有力的意識證據，例如結合GWT-1到GWT-4更有說服力。

一些指標單獨存在不一定代表意識存在，如RPT-1只能作為基礎條件。

一些指標相互依賴，例如GWT-3和GWT-4都依賴于GWT-1和GWT-2。

一些指標獨立存在，例如RPT-2與RPL-1基本獨立。

但研究人員指出：每個指標的含義都需要進一步解釋，不存在絕對精確的定義。對現有AI系統進行評估時，需要考慮這些指標的不精確性。

AI對意識的實現

研究人員將依次討論AI系統有沒有可能，或者如何實現RPT，PP，GWT，PRM，AST這幾個意識理論，然后再結合Transformer，PaLM-E，「virtual rodent」以及ADA來討論實際的AI系統中是否符合意識理論。

AI不能完全實現RPT和PP指標

算法遞歸（RPT-1）是許多深度學習架構都具有的特征，包括遞歸神經網絡（RNN）、長短期記憶網絡（LSTM）和門控遞歸單元網絡（GRU）。

因此，構建具有RPT-1指標特性的系統是非常簡單的。雖然它們的應用不太廣泛，但也有在人工系統中實現預測編碼（這是算法遞歸的一種形式）的方法。

這些AI系統符合PP-1指標。此外，根據預測任務訓練并優化能效的遞歸神經網絡會自我組織成不同的「預測」和「錯誤」單元群。

至于感知組織（RPT-2），深度卷積神經網絡（DCNN）等人工視覺模型已經取得了巨大成功。可以認為是符合RPT-2指標的。

接受過物體分類訓練的DCNN對局部形狀和紋理的敏感度高于對整體形狀的敏感度，而且往往會忽略物體各部分之間的關系，這表明DCNN并未采用綜合場景的表征。

最近也有其他研究發現，圖像生成模型DALL-E 2在生成一個以不熟悉的方式排列物體的場景時表現不佳。

總結起來，從RPT的角度來看，有關模型能夠對視覺刺激的特征進行分類，據說這種功能在人類中是在無意識的情況下執行的，但卻不能執行進一步的功能，包括生成有組織的、綜合的視覺場景表征，其中有些可能需要意識。

然而，目前的其他系統，包括預測編碼網絡，確實可以執行其中一些進一步的功能。

AI實現GWT指標

指標GWT-1規定，系統必須有能夠并行工作的專用系統或模塊。為實現全局廣播，這些模塊必須由遞歸神經網絡實現，除非它們是整個系統的「輸出」模塊，不向工作空間提供信息。這些模塊的輸入可能是：

1. 一種或多種模式的感官輸入。

2. 少量其他模塊的輸入，這些模塊通常協同工作。例如，「囊狀視線」模塊可能會從「視覺突出」模塊獲取輸入，以便快速自下而上地對潛在的重要物體進行囊狀視線。

3. 來自「全局工作空間」執行模塊的自上而下的信號。

這些模塊可以針對狹小的任務進行獨立訓練。或者，它們也可能與工作空間一起進行端對端聯合訓練，以實現某些全系統目標。子任務的模塊專業化也就自然而然地產生了。

實現GWT的第二個要素是容量有限的工作空間，它是另一個具有不同屬性的神經模塊。限制工作空間容量的最簡單方法是限制工作空間的數量。

最簡單的方法是限制其活動空間的維數。另一種有趣的方法是訓練一個表現出吸引子動力學的遞歸神經網絡。吸引子是動態系統中的一個狀態，當該狀態 動態系統中的一種狀態，當達到該狀態時，在沒有輸入或噪聲的情況下，它仍能保持穩定。

吸引子動力學限制容量的原因是，它導致了一個從神經軌跡中的初始條件到吸引子的多對一映射（進入吸引子盆地的任何神經軌跡都會向該吸引子靠攏）。因此，這些吸引子動態收縮了穩定狀態空間的大小，從而誘發了信息瓶頸。

對于指標GWT-3，即全局廣播，在GWT中的基本要求是所有模塊都以工作空間表征作為輸入。

這意味著必須有一些機制確保所有模塊都能使用這些輸入。在由Dehaene和同事開發的全球神經工作空間理論中，要想將表示置于工作空間并進行全局廣播，必須通過循環來維持。

盡管這是否為基本條件尚不清楚，但如果在人工智能（AI）中使用展示吸引子動力學的網絡來實現工作空間，則這種行為可能在AI中得以復制。

在這種情況下，廣播機制可能包括一個動力學緩慢的泄露神經整合器，以至于需要持續的輸入來將其置于特定狀態。在缺乏這些持續輸入的情況下，它會回到某種基線狀態（就像基于證據累積的決策模型中一樣）。這種廣播機制將生成饋送到每個專門模塊的自上而下的信號。

指標GWT-4包括系統必須使用狀態相關的注意機制，并且工作空間必須能夠通過連續的查詢組合模塊以執行復雜任務。

對于狀態相關的注意機制，之前有兩項研究都提出了使用鍵-查詢注意機制，這在當前的AI模型中很常見。

在這種情況下，查詢任務可以從工作空間的當前狀態中計算出來，而所有其他模塊都可以計算出鍵。

工作空間查詢與特定模塊的鍵之間的相似性將通過所有其他模塊之間的相似性進行歸一化，以引入模塊之間的競爭。這些歸一化的相似性將決定每個模塊的值對工作空間的凈輸入的貢獻程度。

換句話說，標準的鍵-查詢注意機制將在每個時間點應用于計算工作空間的輸入，這取決于其當前狀態。

所描述的模型將能夠滿足GWT-4的第二部分，即通過時間展開，使用工作空間連續查詢模塊以執行復雜任務的能力。

由于工作空間和模塊之間存在計算循環，當模型在時間上展開時，這種能力將會顯現出來。雖然模塊從自下而上的感覺輸入和少量其他模塊接收輸入，但它們也從工作空間接收自上而下的輸入。

這意味著，例如，一個模塊可以通過控制工作空間中的內容來控制其他模塊。工作空間通過連續招募模塊在系統的計算能力范圍內，因此如果在訓練過程中有益，這種連續招募的能力可能會出現。

然而，這樣的系統需要適當的訓練，以便學習如何以有意義的方式組合模塊并執行復雜任務。構建適當的訓練方案可能是實施GWT的一個重要挑戰。

AI實現PRM

指標HOT-4指出系統必須具有稀疏且平滑的編碼來生成「質量空間」。事實上，有證據表明，當前DNN學習的感知表示空間已經與人類視覺系統的感知表示空間非常相似，這意味著它們相應的「質量空間」可能已經基本對齊。

指標HOT-1和HOT-2表明模型必須包含感官數據的一階感知表示和為特定一階表示分配可靠性或「真實性」度量的高階表示。為了滿足這些條件，大量已知的深度學習解決方案都是可能的。

（一階）神經網絡將傳感數據和/或自上而下的信號作為輸入，并產生分布在層次結構中的許多感知表示。并行的層（2），一系列單獨的（高階，特別是二階）神經網絡，每個神經網絡都將一階層的激活作為輸入，然后輸出一個標量，表示該層的一階表示的概率是真實的。

滿足條件的解決方案主要在二階網絡的訓練方式方面有所不同。

如果偶爾存在監督信號，為二階網絡提供有關一階表示可靠性的「基本事實」，則可以訓練二階網絡以通過標準監督學習來估計正確性的概率。獲得這個真實信號可能很困難，但并非不可能。

AI實現AST

Wilterson和Graziano在他們的研究中提出的AI系統，在每層200個神經元的三層神經網絡上使用強化學習來學習接住落在不可預測路徑上的球。

這個非常簡單的AI系統確實能實現指標屬性AST-1的一部分，即注意力模式，因為它使用類似注意力機制的表示來控制該機制，從而提高了性能。

另一項研究測試了在多智能體強化學習任務上采用鍵-查詢-值注意的幾種不同系統。他們的系統涉及三個主要元素：注意力層、用于「內部控制」的循環神經網絡和策略網絡。

在他們最準確地實現注意力模式的版本中，注意力層被應用于系統的輸入，并將信息發送到生成動作的策略網絡，內部控制網絡都學習預測注意力的行為層并影響這種行為。該系統的性能優于其他系統，其不同的架構由相同的組件組成，并在多智能體強化學習任務上進行了測試。

AI實現代理和具身化

剩下的指標是代理性和具身化。正如研究人員所描述的那樣，強化學習對于代理來說可以說是足夠的（「從反饋中學習并選擇輸出以追求目標」），因此滿足指標AE-1的這一部分可能非常簡單。

指標AE-1的第二部分表示，如果系統表現出「對競爭目標的靈活響應」，意識的可能性就會提高到更大程度。激發該條件的例子是平衡多種穩態驅動的動物：這需要對環境變化敏感的優先順序。

在此項研究中的實施指標AE-2指出系統應該使用輸出輸入模型（也稱為前向模型）進行感知或控制。

但是學習與感知和控制相關的任務的輸出輸入模型很常見，但當前滿足這些具體描述的人工智能系統的例子很少。

Transformer實現GWT的案例研究

在實踐中，某個具體的AI系統是否具有意識某一項指標屬性并不好判斷。一是研究人員沒有對每一項指標給出絕對精確的定義。

另一個原因是深度學習系統的工作方式，包括它們在中間層所代表的內容，通常是不透明的。

在Transformer中，一種稱為「自注意力」機制用于整合來自輸入不同部分的信息，這些部分通常位于序列中的位置。

如果研究人員將處理來自每個位置（注意力頭）的信息的系統元素視為模塊，那么Transformer架構和全局工作空間之間存在基本相似之處：都集成來自多個模塊的信息。

Transformer由兩種類型的層組成，這些層交替出現：注意力層（執行自注意力操作、在位置之間移動信息）和前饋層。

考慮到殘差流的概念，可以認為Transformer擁有指標屬性GWT-1到GWT-3，即它們具有模塊、容量有限的工作空間引入了瓶頸，并且全局廣播。

存在「全局廣播」，即殘差流中特定層中的信息可以被下游注意頭用來影響任何位置的進一步處理。

添加到給定層殘差流的信息還取決于較早層殘差流的狀態，因此根據這種解釋，人們可能會認為Transformer滿足GWT-4中狀態相關的注意力要求。

Transformers缺乏具有全局工作空間的系統的整體結構，因為沒有一個獨特的工作空間集成其他元素。

基于Transformer的大型語言模型幾乎沒有擁有任何GWT派生的指示符屬性。

對AI是否有意識的錯誤認知的影響

過度漠視AI存在意識的可能性：

在人類意識到AI具有意識之前，就已經讓他們承受了過多的痛苦。人類對AI的使用可能就會像虐待動物一樣造成道德風險。

除非能夠構建有意識地去承受痛苦的AI，才可能阻止它們承受痛苦，避免這種道德風險。

過度認為AI具有意識：

另一方面，人類也很有可能過度地認為AI具有意識——事實上，這似乎已經發生了——也存在與此類錯誤相關的風險。

最直接的是，當我們的努力更好地致力于改善人類和非人類動物的生活時，我們可能會錯誤地優先考慮人工智能系統的感知利益，從而導致資源分配的問題。

其次，如果我們判斷一類人工智能系統是有意識的，這應該導致我們以不同的方式對待它們——例如以不同的方式訓練它們。

原則上，這可能與確保人工智能系統以造福社會的方式開發的工作發生沖突。第三，過度歸因可能會干擾寶貴的人際關系，因為個人越來越多地轉向人工智能來進行社交互動和情感支持。這樣做的人也可能特別容易受到操縱和剝削。

參考資料：

https://arxiv.org/abs/2308.08708

關鍵詞：