【AlphaGo Zero】AlphaGo Zero橫空出世,DeepMind Nature論文解密不使用人類知識掌握圍棋


 新智元報道  

來源:Nature;DeepMind

編譯:聞菲,劉小芹

 

【新智元導讀】新智元AI World 2017世界人工智能大會倒計時進入20天,DeepMind 如約公布了他們最新版AlphaGo論文,也是他們最新的Nature論文,介紹了迄今最強最新的版本AlphaGo Zero,使用純強化學習,將價值網絡和策略網絡整合為一個架構,3天訓練后就以100比0擊敗了上一版本的AlphaGo。AlphaGo已經退休,但技術永存。DeepMind已經完成圍棋上的概念證明,接下來就是用強化學習創造改變世界的價值。


今年5月烏鎮圍棋大賽時,DeepMind CEO Hassabis 表示,將在今年晚些時候公布戰勝了柯潔的那版AlphaGo的技術細節。今天,這個承諾如約兌現,DeepMind在他們最新發表於Nature的一篇論文中,描述了迄今最強大的一版AlphaGo—— AlphaGo Zero 的技術細節。


AlphaGo Zero完全不依賴於人類數據,因此,這一系統的成功也是朝向人工智能研究長期以來的目標——創造出在沒有人類輸入的條件下,在最具挑戰性的領域實現超越人類能力的算法——邁進的一大步。


作者在論文中寫道,AlphaGo Zero 證明了即使在最具挑戰的領域,純強化學習的方法也是完全可行的:不需要人類的樣例或指導,不提供基本規則以外的任何領域知識,使用強化學習能夠實現超越人類的水平。此外,純強化學習方法只花費額外很少的訓練時間,但相比使用人類數據,實現了更好的漸進性能(asymptotic performance)。


在很多情況下,人類數據,尤其是專家數據,往往太過昂貴,或者根本無法獲得。如果類似的技術可以應用到其他問題上,這些突破就有可能對社會產生積極的影響。


是的,你或許要說,AlphaGo已經在今年5月宣布退休,但AlphaGo的技術將永存,並進一步往前發展、進化。DeepMind已經完成圍棋上的概念證明,接下來,就是用他們的強化學習改變世界。


這也是為什么接下來我們要介紹的這篇論文如此重要——它不僅是很多人期盼已久的技術報告,也是人工智能一個新的技術節點。在未來,它將得到很多引用,成為無數AI產業和服務的基礎。



迄今最強大的圍棋程序:不使用人類的知識



DeepMind這篇最新的Nature,有一個朴素的名字——《不使用人類知識掌握圍棋》。


640?wx_fmt=jpeg


摘要


人工智能長期以來的一個目標是創造一個能夠在具有挑戰性的領域,以超越人類的精通程度學習的算法,“tabula rasa”(譯注:一種認知論觀念,認為指個體在沒有先天精神內容的情況下誕生,所有的知識都來自於后天的經驗或感知)。此前,AlphaGo成為首個在圍棋中戰勝人類世界冠軍的系統。AlphaGo的那些神經網絡使用人類專家下棋的數據進行監督學習訓練,同時也通過自我對弈進行強化學習。


在這里,我們介紹一種僅基於強化學習的算法,不使用人類的數據、指導或規則以外的領域知識。AlphaGo成了自己的老師。我們訓練了一個神經網絡來預測AlphaGo自己的落子選擇和AlphaGo自我對弈的贏家。這種神經網絡提高了樹搜索的強度,使落子質量更高,自我對弈迭代更強。從“tabula rasa”開始,我們的新系統AlphaGo Zero實現了超人的表現,以100:0的成績擊敗了此前發表的AlphaGo。


DOI:10.1038/nature24270



全新的強化學習:自己成為自己的老師




DeepMind 研究人員介紹 AlphaGo Zero。視頻來源:DeepMind,視頻中英文字幕由Nature 上海辦公室制作


AlphaGo Zero 得到這樣的結果,是利用了一種新的強化學習方式,在這個過程中,AlphaGo Zero 成為自己的老師。這個系統從一個對圍棋游戲完全沒有任何知識的神經網絡開始。然后,通過將這個神經網絡與一種強大的搜索算法相結合,它就可以自己和自己下棋了。在它自我對弈的過程中,神經網絡被調整、更新,以預測下一個落子位置以及對局的最終贏家。


這個更新后的神經網絡又將與搜索算法重新組合,進而創建一個新的、更強大的 AlphaGo Zero 版本,再次重復這個過程。在每一次迭代中,系統的性能都得到一點兒的提高,自我對弈的質量也在提高,這就使得神經網絡的預測越來越准確,得到更加強大的 AlphaGo Zero 版本。


這種技術比上一版本的 AlphaGo 更強大,因為它不再受限於人類知識的局限。相反,它可以從一張白紙的狀態開始,從世界上最強大的圍棋玩家——AlphaGo 自身——學習。


AlphaGo Zero 在其他方面也與之前的版本有所不同:


  • AlphaGo Zero 只使用圍棋棋盤上的黑子和白子作為輸入,而上一版本的 AlphaGo 的輸入包含了少量人工設計的特征。


  • 它只使用一個神經網絡,而不是兩個。以前版本的 AlphaGo 使用一個“策略網絡”(policy network)來選擇下一個落子位置和一個“價值網絡”(value network)來預測游戲的贏家。這些在 AlphaGo Zero 中是聯合進行的,這使得它能夠更有效地進行訓練和評估。


  • AlphaGo Zero 不使用“走子演算”(rollout)——這是其他圍棋程序使用的快速、隨機游戲,用來預測哪一方將從當前的棋局中獲勝。相反,它依賴於高質量的神經網絡來評估落子位置。


上面的所有這些不同之處都有助於提高系統的性能,使其更加通用。但使得這個系統更加強大和高效的是算法的改變。


在進行了3天的自我訓練后,AlphaGo Zero 在100局比賽中以100:0擊敗了上一版本的 AlphaGo——而上一版本的 AlphaGo 擊敗了曾18次獲得圍棋世界冠軍的韓國九段棋士李世乭。經過 40 天的自我訓練后,AlphaGo Zero 變得更加強大,超越了“Master”版本的 AlphaGo——Master 曾擊敗世界上最優秀的棋士、世界第一的柯潔。


在經過數以百萬計的 AlphaGo vs AlphaGo 的對弈后,這個系統逐漸從零開始學會了下圍棋,在短短幾天內積累了人類數千年積累的知識。AlphaGo Zero 也發現了新的知識,開發出非常規的策略和創造性的新下法,這些新下法超越了它在與柯潔和李世乭比賽時發明的新技巧。


盡管目前仍處於早期階段,但 AlphaGo Zero 成為了朝着這個目標邁進的關鍵一步。DeepMind 聯合創始人兼 CEO Demis Hassabis 評論稱:“AlphaGo在短短兩年里取得了如此令人驚嘆的成果。現在,AlphaGo Zero是我們項目中最強大的版本,它展示了我們在更少的計算能力,而且完全不使用人類數據的情況下可以取得如此大的進展


“最終,我們希望利用這樣的算法突破來幫助解決現實世界的各種緊迫問題,例如蛋白質折疊或新材料設計。如果我們能在這些問題上取得與AlphaGo同樣的進展,就有可能推動人類理解,並對我們的生活產生積極影響。”



AlphaGo Zero 技術細節拆解:將價值網絡和策略網絡整合為一個架構,整合蒙特卡洛搜索不斷迭代



新方法使用了一個深度神經網絡 fθ,參數為 θ。這個神經網絡將原始棋盤表征 s(棋子位置和歷史)作為輸入,輸出落子概率和一個值 (p, v)= fθ(s)。


落子概率向量 p 表示選擇下每一步棋(包括不下)的概率。值 v 是一個標量估值,衡量當前棋手在位置 s 獲勝的概率。


這個神經網絡將最初的 AlphaGo(下文中的 AlphaGo Fan 和 AlphaGo Lee,分別指對戰樊麾和對戰李世石的版本)的策略網絡和價值網絡整合到一個架構里,含有很多基於卷積神經網絡的殘差模塊,這些殘差模塊中使用了批正則化(batch normalization)和非線性整流函數(rectifier nonlinearities)。


AlphaGo Zero 的神經網絡使用自我對弈數據做訓練,這些自我對弈是在一種新的強化學習算法下完成的。在每個位置 s,神經網絡 fθ 都會進行蒙特卡洛樹搜索(MCTS)。MCTS 輸出下每步棋的落子概率 π。這樣搜索得出的概率通常比神經網絡 fθ(s) 的原始落子概率 p 要更加強一些;MCTS 也因此可以被視為一個更加強大的策略提升 operator。


系統通過搜索進行自我對弈,也即使用增強的基於 MCTS 的策略選擇下哪步棋,然后使用獲勝者 z 作為價值樣本,這個過程可以被視為一個強有力的策略評估 operator。


這一新的強化學習算法的核心思想是,在策略迭代的過程中,反復使用這些搜索  operator:神經網絡的參數不斷更新,讓落子概率和價值 (p,v)= fθ(s) 越來越接近改善后的搜索概率和自我對弈贏家 (π, z)。這些新的參數也被用於下一次自我對弈的迭代,讓搜索更強。下面的圖1 展示了自我對弈訓練的流程。


640?wx_fmt=jpeg

圖1:AlphaGo Zero 自我對弈訓練的流程:a. 程序自己和自己下棋,標記為s1, ..., sT。在每個位置st,一個MCTS αθ被執行(見圖2),使用最新的神經網絡fθ。每個走子選擇的依據是通過MCTS, at ∼ πt計算的搜索概率。最終的位置sT根據游戲規則計算對局的最終勝者z。b. AlphaGo Zero 中神經網絡的訓練。該神經網絡將棋盤位置st作為輸入,與參數θ一起講它傳送到許多的卷積層,並同時輸出表示每一走子的概率分布的向量 pt 和一個表示當前玩家在位置 st 上的贏率的標量值 vt。


MCTS 使用神經網絡 fθ 指導其模擬(參見圖2)。搜索樹中的每條邊 (s, a) 都存儲了一個概率先驗 P(s, a),一個訪問數 N(s, a),以及動作值 Q(s, a)。每次模擬都從根節點狀態開始,不斷迭代,選擇能將置信區間 Q(s, a)+ U(s, a) 的上層最大化的落子結果,直到走到葉節點 s′。


然后,網絡會擴充這個葉節點,並且只進行一次評估,生成概率先驗和評估值,(P(s′, ·), V(s′))= fθ(s′)。在模擬中,遍歷每條邊 (s, a) 后,會更新訪問量 N(s, a),然后將動作值更新,取所有模擬的平均值:640?wx_fmt=jpeg


MCTS 可以被看做一種自我對弈算法:給定神經網絡參數 θ 和一個根節點位置 s,計算搜索概率向量推薦落子 π = αθ(s),與每步棋的訪問量指數成正比,τ 是溫度參數:640?wx_fmt=jpeg


640?wx_fmt=jpeg

圖2:MCTS 使用神經網絡 fθ 模擬落子選擇的過程示意


神經網絡使用這個自我對弈的強化學習算法做訓練,正如上文介紹,這個算法使用 MCTS 下每一步棋。首先,神經網絡使用隨機權重 θ0 初始化。在隨后的每一次迭代中,i ≥ 1,生成自我對弈棋譜(參見圖1的a)。在每個時間步長 t,運行一個 MCTS 搜索 πt = αθ (st),使用上一次神經網絡 fθi−1 迭代的結果,然后根據搜索概率采樣下出一步棋。一局棋在第 T 步結束,也就是雙方都無法落子,搜索值降低到閾值以下的時候。隨后,進行計分,得出獎勵 rT ∈ {−1,+1}。


每一個時間步長 t 的數據都被存儲為 (st, πt, zt),其中 zt = ± rT 就是從當前這步棋 t 看來最終獲勝的贏家。


同時(參見圖1 b),使用從最后一次自我對弈迭代的所有時間步長中獲取的數據  (s, π, z),對新的網絡參數 θi 進行訓練。調整神經網絡 (p, v) = fθi (s),將預測值 v 和自我對比勝者 z 之間的誤差降低到最小,同時將神經網絡落子概率 p 和搜索概率 π 之間的相似度提升到最大。


具體說,我們用損失函數 l 的梯度下降來調節參數 θ,這個損失函數表示如下,其中 c 是控制 L2 權重正則化水平的參數(防止過擬合):


640?wx_fmt=jpeg



評估結果:21天就比戰勝柯潔的Master更加厲害



DeepMind官方博客上介紹了AlphaGo Zero與此前版本的對比。完全從零開始,3天超越AlphaGo李世石版本,21天達到Master水平。

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png


640?wx_fmt=png

幾個不同版本的計算力對比如下:


640?wx_fmt=png


論文中,為了分開結構和算法的貢獻,DeepMind研究人員還比較了 AlphaGo Zero 的神經網絡架構和先前與李世乭對弈時的 AlphaGo (記為 AlphaGo Lee)的神經網絡架構的性能(見圖4)。


我們構建了4個神經網絡,分別是在 AlphaGo Lee 中使用的分開的策略網絡和價值網絡,或者在 AlphaGo Zero 中使用的合並的策略和價值網絡;以及 AlphaGo Lee 使用的卷積網絡架構,或 AlphaGo Zero 使用的殘差網絡架構。每個網絡都被訓練以最小化同一個損失函數(公式1),訓練使用的是 AlphaGo Zero 在72小時的自我對弈之后產生的同一個自我對弈棋局數據集。


使用殘差網絡的准確率更高,誤差更低,在 AlphaGo 達到600 Elo(等級分)的性能提高。將策略(policy)和價值(value)結合到一個單一的網絡中的話,走子預測的准確性略微降低了,但是價值錯誤也降低了,並且將 AlphaGo 的性能再提高了600 Elo。這在一定程度上是由於提高了計算效率,但更重要的是,雙目標使網絡成為支持多個用例的常規表示。


640?wx_fmt=jpeg

圖4:AlphaGo Zero 和 AlphaGo Lee 的神經網絡架構比較。使用分開的策略和價值網絡記為(sep),使用組合的策略和價值網絡記為(dual),使用卷積網絡記為(conv),使用殘差網絡記為(res)。“dual-res”和“sep-conv”分別表示在 AlphaGo Zero 和 AlphaGo Lee 中使用的神經網絡架構。每個網絡都在同一個數據集上訓練,該數據集由 AlphaGo Zero 的自我對弈產生。a,每個訓練好的網絡都與 AlphaGo Zero 的搜索相結合,以得到一個不同的玩家。Elo等級分是由這些不同玩家之間的評估游戲計算得到的,每一步棋有5秒的思考時間。b,對每個網絡架構的職業棋手的走法(從GoKifu數據集得來)的預測准確性。c,每個網絡架構的人類職業棋手的棋局結果(從GoKifu數據集得來)的MSE。


640?wx_fmt=jpeg

AlphaGo Zero學到的知識。a,AlphaGo Zero訓練期間發現的五個人類定式(常見的角落序列)。b)自我對弈中愛用的5個定式。c)在不同訓練階段進行的3次自我對弈的前80步棋,每次搜索使用1,600次模擬(約0.4s)。最開始,系統關注奪子,很像人類初學者。而后,關注勢和地,也即圍棋根本。最后,整場比賽體現出了很好的平衡,涉及多次戰斗和一場復雜的戰斗,最終以白棋多半子獲勝。



AlphaGo 小傳



姓名:AlphaGo(Fan,Lee,Master,Zero)

別名:阿老師,阿爾法狗

生日:2014年

出生地:英國倫敦



1

擊敗樊麾

2015年10月,AlphaGo擊敗樊麾,成為第一個無需讓子即可在19路棋盤上擊敗圍棋職業棋手的電腦圍棋程序,寫下了歷史,相關成果在2016年1月發表於Nature

2

擊敗李世石

2016年3月,AlphaGo在一場五番棋比賽中4:1擊敗尖端職業棋手李世石,成為第一個不借助讓子而擊敗圍棋職業九段棋手的電腦圍棋程序,再創歷史。五局賽后韓國棋院授予AlphaGo有史以來第一位名譽職業九段

3

排名短暫超越柯潔

2016年7月18日,AlphaGo在Go Ratings網站的排名升至世界第一。但幾天之后被柯潔反超。

4

化名“Master”橫掃棋界

2016年底至2017年年初,再度強化的AlphaGo以“Master”為名,在未公開其真實身份的情況下,借非正式的網絡快棋對戰進行測試,挑戰中韓日台的一流高手,60戰全勝

5

戰勝柯潔,成為世界第一

2017年5月23至27日烏鎮圍棋峰會,最新的強化版AlphaGo和世界第一棋手柯潔對局,並配合八段棋手協同作戰與對決五位頂尖九段棋手等五場比賽,獲取3比零全勝的戰績,團隊戰與組隊戰也全勝。這次AlphaGo的運算資源消耗僅李世石版本的十分之一。在與柯潔的比賽結束后,中國圍棋協會授予AlphaGo職業圍棋九段的稱號


AlphaGo在沒有人類對手后,2017年5月25日,AlphaGo之父傑米斯·哈薩比斯宣布AlphaGo退役。AlphaGo的研究計划於2014年開始,從業余棋手的水平到世界第一,AlphaGo的棋力獲取這樣的進步,僅僅花了兩年左右。


AlphaGo雖已退休,但技術永存。


謹以此文,致敬AlphaGo,以及研發AlphaGo的人。

640?wx_fmt=png




人工智能賽博物理操作系統

AI-CPS OS

人工智能賽博物理操作系統新一代技術+商業操作系統“AI-CPS OS:雲計算+大數據+物聯網+區塊鏈+人工智能)分支用來的今天,企業領導者必須了解如何將“技術”全面滲入整個公司、產品等“商業”場景中,利用AI-CPS OS形成數字化+智能化力量,實現行業的重新布局、企業的重新構建和自我的煥然新生。


AI-CPS OS的真正價值並不來自構成技術或功能,而是要以一種傳遞獨特競爭優勢的方式將自動化+信息化、智造+產品+服務數據+分析一體化,這種整合方式能夠釋放新的業務和運營模式。如果不能實現跨功能的更大規模融合,沒有顛覆現狀的意願,這些將不可能實現。


領導者無法依靠某種單一戰略方法來應對多維度的數字化變革。面對新一代技術+商業操作系統AI-CPS OS顛覆性的數字化+智能化力量,領導者必須在行業、企業與個人這三個層面都保持領先地位:

  1. 重新行業布局:你的世界觀要怎樣改變才算足夠?你必須對行業典范進行怎樣的反思?

  2. 重新構建企業:你的企業需要做出什么樣的變化?你准備如何重新定義你的公司?

  3. 重新打造自己:你需要成為怎樣的人?要重塑自己並在數字化+智能化時代保有領先地位,你必須如何去做?

AI-CPS OS是數字化智能化創新平台,設計思路是將大數據、物聯網、區塊鏈和人工智能等無縫整合在雲端,可以幫助企業將創新成果融入自身業務體系,實現各個前沿技術在雲端的優勢協同。AI-CPS OS形成的字化+智能化力量與行業、企業及個人三個層面的交叉,形成了領導力模式,使數字化融入到領導者所在企業與領導方式的核心位置:

  1. 精細種力量能夠使人在更加真實、細致的層面觀察與感知現實世界和數字化世界正在發生的一切,進而理解和更加精細地進行產品個性化控制、微觀業務場景事件和結果控制。

  2. 智能:模型隨着時間(數據)的變化而變化,整個系統就具備了智能(自學習)的能力。

  3. 高效:企業需要建立實時或者准實時的數據采集傳輸、模型預測和響應決策能力,這樣智能就從批量性、階段性的行為變成一個可以實時觸達的行為。

  4. 不確定性:數字化變更顛覆和改變了領導者曾經仰仗的思維方式、結構和實踐經驗,其結果就是形成了復合不確定性這種顛覆性力量。主要的不確定性蘊含於三個領域:技術、文化、制度。

  5. 邊界模糊:數字世界與現實世界的不斷融合成CPS不僅讓人們所知行業的核心產品、經濟學定理和可能性都產生了變化,還模糊了不同行業間的界限。這種效應正在向生態系統、企業、客戶、產品快速蔓延。

AI-CPS OS形成的數字化+智能化力量通過三個方式激發經濟增長:

  1. 創造虛擬勞動力,承擔需要適應性和敏捷性的復雜任務,即“智能自動化”,以區別於傳統的自動化解決方案;

  2. 對現有勞動力和實物資產進行有利的補充和提升,提高資本效率

  3. 人工智能的普及,將推動多行業的相關創新,開辟嶄新的經濟增長空間


給決策制定者和商業領袖的建議:

  1. 超越自動化,開啟新創新模式:利用具有自主學習和自我控制能力的動態機器智能,為企業創造新商機;

  2. 迎接新一代信息技術,迎接人工智能:無縫整合人類智慧與機器智能,重新

    評估未來的知識和技能類型;

  3. 制定道德規范:切實為人工智能生態系統制定道德准則,並在智能機器的開

    發過程中確定更加明晰的標准和最佳實踐;

  4. 重視再分配效應:對人工智能可能帶來的沖擊做好准備,制定戰略幫助面臨

    較高失業風險的人群;

  5. 開發數字化+智能化企業所需新能力:員工團隊需要積極掌握判斷、溝通及想象力和創造力等人類所特有的重要能力。對於中國企業來說,創造兼具包容性和多樣性的文化也非常重要。


子曰:“君子和而不同,小人同而不和。”  《論語·子路》雲計算、大數據、物聯網、區塊鏈和 人工智能,像君子一般融合,一起體現科技就是生產力。


如果說上一次哥倫布地理大發現,拓展的是人類的物理空間。那么這一次地理大發現,拓展的就是人們的數字空間。在數學空間,建立新的商業文明,從而發現新的創富模式,為人類社會帶來新的財富空間。雲計算,大數據、物聯網和區塊鏈,是進入這個數字空間的船,而人工智能就是那船上的帆,哥倫布之帆!


新一代技術+商業的人工智能賽博物理操作系統AI-CPS OS作為新一輪產業變革的核心驅動力,將進一步釋放歷次科技革命和產業變革積蓄的巨大能量,並創造新的強大引擎。重構生產、分配、交換、消費等經濟活動各環節,形成從宏觀到微觀各領域的智能化新需求,催生新技術、新產品、新產業、新業態、新模式。引發經濟結構重大變革,深刻改變人類生產生活方式和思維模式,實現社會生產力的整體躍升。





產業智能官  AI-CPS



用“人工智能賽博物理操作系統新一代技術+商業操作系統“AI-CPS OS:雲計算+大數據+物聯網+區塊鏈+人工智能)在場景中構建狀態感知-實時分析-自主決策-精准執行-學習提升的認知計算和機器智能;實現產業轉型升級、DT驅動業務、價值創新創造的產業互聯生態鏈





640?wx_fmt=png

640?wx_fmt=png


長按上方二維碼關注微信公眾號: AI-CPS,更多信息回復:


新技術“雲計算”、“大數據”、“物聯網”、“區塊鏈”、“人工智能新產業:智能制造”、“智能農業”、“智能金融”、“智能零售”、“智能城市、“智能駕駛”新模式:“財富空間、“數據科學家”、“賽博物理”、“供應鏈金融”


官方網站:AI-CPS.NET




本文系“產業智能官”(公眾號ID:AI-CPS)收集整理,轉載請注明出處!



版權聲明產業智能官(公眾號ID:AI-CPS推薦的文章,除非確實無法確認,我們都會注明作者和來源。部分文章推送時未能與原作者取得聯系。若涉及版權問題,煩請原作者聯系我們,與您共同協商解決。聯系、投稿郵箱:erp_vip@hotmail.com






注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com