TWI748780B - 暗棋機器人 - Google Patents

Abstract

本發明提供一種暗棋機器人，其包含攝像單元、機器手臂、棋譜資料庫及智慧物聯網模組。攝像單元拍攝棋盤，以產生影像訊號；棋盤上具有複數個棋子。機器手臂包含處理單元；機器手臂配置以抓取其中一棋子，以將使用棋子進行翻面、移動或吃棋。棋譜資料庫儲存有複數條對局樹。智慧物聯網模組包含感知層、網路層、應用層及平台層。感知層接收該影像訊號。網路層連接感知層、應用層及平台層。其中，應用層透過感知層以驅動攝像單元取得影像訊號。影像訊號透過平台層的視覺辨識人工智慧得到盤面棋局的狀態。棋局狀態藉由對弈人工智慧分析，運算得下一步的棋步後產生控制訊號。處理單元依據控制訊號控制機器手臂作動。對弈人工智慧方面，可以利用棋譜資料庫透過深度強化學習，增強機器人的棋力。

Description

暗棋機器人

本發明有關於一種機器人的技術領域，特別是關於一種可進行暗棋之對弈的暗棋機器人。

近年來高齡化社會比例日益增長，依內政部不動產資訊平台數據，在短短六年內，獨居老人居住宅數就增長了16萬以上。隨著老年化趨勢漸漸明朗，老人照護的需求也更形重要。而陪伴及照顧老人的機器人構想也成為一個很重要的主題。

在過去的研究中，實際訪問公園及家中老人近五十位老人的需求後發現，有接近八成的老人有想跟別人下棋的想法，而根據受訪數據，暗棋的選擇偏好竟高達了百分之四十。而走訪了一些公園也常常看到老人家圍在一起，下著暗棋談天說地十分快活，讓我們體驗到一個老人在頤養天年的時候，有個陪伴玩樂的對象是多重要的事情。

在獨居老人的數量逐年增加的趨勢下，一個人少了下棋的夥伴。若此時有可以陪伴下棋的機器人，那將可以使更多獨居老人受惠。

綜觀前所述，本發明提供一種暗棋機器人，以期針對習知技術之缺失加以改善，進而增進產業上之實施利用。

有鑑於上述習知之問題，本發明的目的在於提供一種暗棋機器人，用以解決習知技術中所面臨之問題。

根據本發明之目的，其提供一種暗棋機器人，其包含：一攝像單元，係持續拍攝對局中的一棋盤，以產生一影像訊號，該棋盤上係具有複數個棋子，各該棋子包括一正面及一反面，該正面包括一圖案，該圖案係代表棋種及對應之複數玩家其中之一，該些棋子初始地係以該反面朝上設置在該棋盤上的各個格位；一機器手臂，係包含一處理單元，該機器手臂配置以抓取其中一該棋子，以將使用該棋子進行翻面、移動或吃棋；一棋譜資料庫，係儲存有複數條對局樹，且各該對局樹中包含複數節點，並且各該節點分別具有一權重值，且各該節點分別對應於一種盤面；以及一智慧物聯網模組，係包含一感知層、一網路層、一應用層及一平台層，該感知層係連接該攝像單元及該處理單元，該應用層係透過該感知層驅動該攝像單元以取得該影像訊號，該網路層係連接於該感知層、該應用層及該平台層，且該網路層係連接該棋譜資料庫；其中，該應用層依據影像訊號，透過平台層人工智慧辨識棋局；該應用層依據平台層的對弈人工智慧，以查找該複數條對局樹中符合的該節點，並利用Alpha-beta剪枝法遍歷該節點後續中每條路徑中該節點往下一預定節點數的該權重值，以選取該權重值最大的路徑並產生一控制訊號，該處理單元接收該控制訊號，並依據該控制訊號控制該機器手臂作動。

較佳地，更包含一學習模組，其係依據至少一棋譜訓練樣本，以調整各該節點的該權重值。

較佳地，該學習模組係依據蒙特卡羅樹搜索(Monte Carlo Tree Search)演算法產生該至少一棋譜訓練樣本。

較佳地，所述產生該至少一棋譜訓練樣本，其係為利用二個該暗棋機器人進行對弈而產生。

較佳地，該預定節點數係為該複數條對局樹中符合的該節點往下至少四個該節點。

較佳地，更包含一影像辨識模組，其係利用卷積神經網路(CNN)而由該影像訊號中辨識該棋盤及位於該棋盤上的該棋子。

以下將以具體的實施例配合所附的圖式詳加說明本發明的技術特徵，以使所屬技術領域具有通常知識者可易於瞭解本發明的目的、技術特徵、及其優點。

1:暗棋機器人

10:攝像單元

11:影像訊號

20:機器手臂

21:處理單元

30:棋譜資料庫

31:對局樹

311:節點

312:權重值

32:棋譜訓練樣本

40:智慧物聯網模組

41:感知層

42:網路層

43:應用層

431:控制訊號

44:平台層

441:學習模組

442:影像辨識模組

90:棋盤

91:棋子

為了更清楚地說明本發明實施例的技術方案，下面將對本發明實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面所描述的附圖僅僅是本發明的一些實施例，對於所屬技術領域中具有通常知識者來講，還可以根據這些附圖獲得其他的附圖。

第1圖為本發明的暗棋機器人的方塊示意圖。

第2圖為本發明的暗棋機器人的架構示意圖。

第3圖為本發明的暗棋機器人的合法步產生函數的示意圖。

第4圖為本發明的暗棋機器人的Alpha-beta剪枝法的示意圖。

第5圖為本發明的暗棋機器人的蒙地卡羅樹搜尋的示意圖。

第6圖為本發明的暗棋機器人的AlphaZero的訓練示意圖。

第7圖為本發明的暗棋機器人的辨識流程示意圖。

本發明之優點、特徵以及達到之技術方法將參照例示性實施例及所附圖式進行更詳細地描述而更容易理解，且本發明可以不同形式來實現，故不應被理解僅限於此處所陳述的實施例，相反地，對所屬技術領域具有通常知識者而言，所提供的實施例將使本揭露更加透徹與全面且完整地傳達本發明的範疇，且本發明將僅為所附加的申請專利範圍所定義。

應當理解的是，儘管術語「第一」、「第二」等在本發明中可用於描述各種元件，但是這些元件不應受這些術語的限制。這些術語僅用於將一個元件與另一個元件區分開，而不是用以表示元件間的重要性。

除非另有定義，本發明所使用的所有術語(包括技術和科學術語)具有與本發明所屬技術領域中的具有通常知識者通常理解的相同含義。將進一步理解的是，諸如在通常使用的字典中定義的那些術語應當被解釋為具有與它們在相關技術和本發明的上下文中的含義一致的定義，並且將不被解釋為理想化或過度正式的意義，除非本文中明確地這樣定義。

本發明的暗棋機器人主要利用(1)象棋視覺辨識開發(2)對弈人工智慧的功能，簡化建立成雲端服務API供各種客戶端連線，使廣大的開發者可以開發不同形式的對弈機器人。使用者對弈過程中，可不斷取得對弈棋譜，使雲端可蒐集大量的棋譜資料庫，最後得以為深度學習所用進行資料分析。本發明並將以上各部的功能整合成智慧物聯網(AIot)的架構，並結合強化學習的深度強化學習(RL)製作，使智慧物聯網(AIot)的後 端部分，可以透過多次對弈的及自我學習的棋譜，從無到有學會暗棋的下棋及贏棋。

請參閱第1、2圖，其係分別為本發明的暗棋機器人的方塊示意圖及架構示意圖。

如圖所示，本發明的一種暗棋機器人1，其包含一攝像單元10、一機器手臂20、一棋譜資料庫30以及一智慧物聯網模組40。其中，攝像單元10係持續拍攝對局中的一棋盤90，以產生一影像訊號11；其中，該棋盤90上係具有複數個棋子91，各該棋子91包括一正面及一反面；該正面包括一圖案，該圖案係代表棋種及對應之複數玩家其中之一，該些棋子初始地係以該反面朝上設置在該棋盤上的各個格位。機器手臂20係包含一處理單元21，該機器手臂20配置以抓取其中一個該棋子91，以將該棋子91進行翻面、移動或吃棋等動作。棋譜資料庫30係儲存有複數條對局樹31，且各該對局樹31中包含複數節點311，並且各該節點311分別具有一權重值312，且各該節點311分別對應於一種盤面。智慧物聯網模組40係包含一感知層41、一網路層42、一應用層43以及一平台層44。其中，該感知層41係連接攝像單元10及處理單元21。網路層42係連接感知層41、應用層43以及平台層44，以作為三者的溝通的橋樑。其中，該網路層42亦連接該棋譜資料庫30。其中，該應用層43透過平台層44的影像辨識的人工智慧，並依據該影像訊號11，以辨識出棋局。接著，該應用層43透過平台層44的對弈人工智慧，以查找該複數條對局樹31中符合的該節點311，並利用Alpha-beta剪枝法遍歷該節點311後續中每條路徑中該節點311往下一預定節點數的該權重值312，以選取該權重值312最大的路徑並產生一控制訊 號431，該處理單元21接收該控制訊號431，並依據該控制訊號431控制該機器手臂20作動。

首先說明，暗棋基本規則如下：1.棋子放在8*4棋盤大小的格子，棋盤上放滿32顆亂數隨意排列的暗面象棋棋子。還沒翻的為暗棋，翻過的則為明棋。2.雙方輪流下棋，每次可選擇翻開暗棋、移動自己的明棋或吃對手的明棋。3.以先手方翻開的棋子決定黑方紅方，如：電腦A先手並翻開紅色棋子，則電腦A為紅方，電腦B則為黑方。4.每種明棋只能一次只能前後左右四個方向移動一格。5.每顆明棋大小位階為如：紅方為「帥>仕>相>車>馬>炮>兵」，黑方為「將>士>象>車>馬>包>卒」，依照這個位階大的可以吃小的，小的不能吃大的(特殊規則：帥、將不能吃卒、兵，卒、兵可以吃帥、將；炮、包不能吃前後左右的明棋，但可以跳過前後左右任何一個明棋，去吃任何敵方的明棋)。6.遊戲的勝負：將對方的所有棋子都吃掉可以獲得勝利，如果雙方都無法將對方的棋子完全吃掉，為了避免無限走棋，當雙方走步合計達25步或50步均無翻棋或吃棋時就算和局。

請一併配合參閱第3圖，其係為本發明的暗棋機器人的合法步產生函數的示意圖。如圖所示，其中可定義每個棋所在地及棋子落子地的格式為：(棋子所在地，棋子落子地)。如第3圖所示，黑方可用的棋子有兩個暗子及黑士與黑將，棋子位置為：2,7,9,10，可走的合法步為2,4,6,8,10，由於2是暗子，可以走的合法步為2，所以該位置的棋子與可走合法步表示為(2,2)；以7為例，可走的合法步為4,6,8，可走的合法步為 (7,4),(7,6)及(7,8)。以此類推，則這個盤面所的可用的位置及合法步共有6個，此一及集合C為：C={(2,2),(7,4),(7,6),(7,8),(9,6),(10,10)}。

以下將先針對智慧物聯網模組40作簡要說明。智慧物聯網模組40，例如物聯網(IoT)主要分為四個階層：感知層41、網路層42、應用層43及平台層44。其中，感知層41接收各種狀態、資訊，例如，攝像單元10的影像訊號11。感知層41透過無線網路(例如：藍芽、RFID、Wi-Fi等)傳送至網路層42；而網路層42被當作感知層41與應用層43之間溝通的橋樑，其透過無線網路(例如：TCP/IP網際網路、Wi-Fi等)將資料傳至應用層43。應用層43主要用於資料分析、雲端計算，對接收到的各種資料進行運算及分析，計算出各種結果。然而，隨著資料量愈加龐大，一般的計算難以負荷，於是利用平台層44的AI進行深度分析，可將計算的時間大幅減少，產生了智慧物聯網(AIoT)的概念。

而在本發明中，其主要由該應用層43依據平台層44的對弈人工智慧，以由該影像訊號11辨識出棋局，以查找該複數條對局樹31中符合的該節點311，並利用Alpha-beta剪枝法遍歷該節點311後續中每條路徑中該節點311往下一預定節點數的該權重值312，以選取該權重值312最大的路徑並產生一控制訊號431，該處理單元21接收該控制訊號431，並依據該控制訊號431控制該機器手臂20作動。

詳細來說，對局樹31指的是當對弈進行到某回合，將後續遊戲變化的所有可能性，利用樹狀結構擴展出複數個節點311。對局樹31 做為人工智慧的基礎，搭配像是Alpha-beta剪枝、蒙地卡羅樹搜尋...等演算法，來做為審局、提高運算效率及嘗試更多獲勝的可能性。

其中，審局指的是對某一節點的權重比分，也可以設定每個棋子的權重，其示例如下表一。表一為玩家對每個棋子的權重，若雙方顏色互換，則分數進行反轉。

請配合第4圖，其係為本發明的暗棋機器人的Alpha-beta剪枝法的示意圖。如圖所示，應用層43利用平台層44的Alpha-beta剪枝法遍歷該節點311後續中每條路徑中該節點311往下一預定節點數的該權重值312，以選取該權重值312最大的路徑並產生一控制訊號431。其中，應用層43利用平台層44而使用了Alpha-Beta演算法能提高速度，Alpha-Beta演算法是需要計算出每一葉節點的分數，再將其反向傳播，以下為葉節點計算說明，並請配合參閱下表二：

設6層後的走法：(8→7)，(4→1)，(0→1)，(2→1)，(6→3)，(1→2)

則此走法葉節點分數為：(-1)+1+5+(-90)+(-1)+(+1)=-85。

如第4圖示所，剪枝的第一個走法因第三層怎麼選都無法大於20，於是將不搜索此走法；同理剪枝的第二個走法因無法大於-30，這樣的演算法與最有利走法與不利走法的排序有關，從此走法開始搜索，可有效減少運行的時間。

基於上述，本發明的應用層43，其利用平台層44的Alpha-beta剪枝法遍歷該節點311後續中每條路徑中該節點311往下一預定節點數的該權重值312，從而能快速地選取該權重值312最大的路徑並產生控制訊號431。

另一方面，暗棋屬於「不完全資訊」之棋類，不像圍棋、象棋能掌握盤面資訊，每一步都可以運算出準確的審局函數結果，本發明進一步地利用強化學習(RL)，學會如何下暗棋，嘗試能夠戰勝正常棋力人類，而其訓練的做法可為讓一個本發明的暗棋機器人「依照合法步規則亂下棋」進行左右互博，或二個本發明的暗棋機器人「依照合法步規則亂下棋」進行對弈，經過上萬次對弈後，以調整各該節點311的該權重值312，進而將本發明的暗棋機器人1的棋力提高。當然地，亦可利用二個具自動下棋功能之電腦，或二個真人，進行對弈，也可以是一個本發明的暗棋機器人與真人進行對弈等等，來達成訓練之目的。

其中，平台層44中更包含一學習模組441，其係依據儲存於棋譜資料庫30的至少一棋譜訓練樣本32，以調整各該節點311的該權重值312。其中該學習模組441係依據蒙特卡羅樹搜索(Monte Carlo Tree Search)演算法產生該至少一棋譜訓練樣本32，以儲存於棋譜資料庫30。並且，所述產生該至少一棋譜訓練樣本32，其可為利用二個該暗棋機器人1進行對弈而產生。

進一步來說，強化學習常利用Q-Learning或DL進行訓練，QL方式為得到的Q值存入Q-table裡，當訓練得越多次，實力也會增加，缺點是當狀態集或動作及暴增，就無法運作了，於是DL會搭配強化學習改善問題，也就是深度強化學習(DRL)，利用深度神經網路(DNN)作出類似於Q表，而更新公式為著名的Bellman公式，如下：Q(s,a)=r+γ * maxQ(s _t+1 ,a _t+1)；其中，maxQ(s _t+1 ,a _t+1)為根據Q表選擇最大值。

在上述公式中，γ為折扣因數，定義為γ

[0,1]，將得到r逐漸下降並產生出各個Q值。舉例來說，下表三、四、五，其分別代表s_t-1、s_t、s_t+1。

第N局對弈：當s_t變換至s_t+1時，random(a)=a_t=(4,5)；r=+100；Q(s_t,(4,5))=100+0.9*max(0,0,0,0)=100；Q值更新如下表六：

第N+1局對弈：當s_t-1變換至s_t時，random(a)=a_t=(3,4)；Q(s_t-1,(3,4))=100+0.9*max(0,0,100,0)=90；Q值更新如下表七：

以上方所述，當棋局到了時，便會根據公式產生Q值，則第N局時回到時，將會學到作出動作時，可以得到reward(+100)，並且將Q()*為90分，把強化學習套用在暗棋對弈上，重複訓練多次之後，可將Q-table產生出來，電腦亦會越下越強。

蒙地卡羅樹搜尋(Monte Carlo Tree Search,MCTS)演算法是以大量的模擬資料來取得一個近似的解，其中著名的例子是用亂數取得 圓周率的值，而對暗棋狀態多又不完全資訊的遊戲來說，利用MCTS與UCT演算法產生自我對下的棋譜，可讓神經網路不過於離散的狀況，在MCTS裡，會搭配UCB演算法的公式達到更好的效果，讓棋譜更凝聚，說明如下，並請配合第5圖，其係為本發明的暗棋機器人的蒙地卡羅樹搜尋的示意圖。UCB演算法公式：

其中，Wi為此子節點獲勝次數，Ni為此子節點模擬次數，

為常數，可調整，N為此節點總模擬次數。

請配合第6圖，其係為本發明的暗棋機器人的AlphaZero的訓練示意圖。另外，利用二個該暗棋機器人1進行對弈，其例如可用AlphaZero來完成。其中，AlphaZero為AlphaGo、AlphaGoZero後的版本，其最大特點為利用自身左右互博對下，多次訓練後，達到學習的效果。其架構大致分為兩個階段，第一階段：電腦進行自我對下產生棋譜訓練樣本，可透過MCTS產生凝聚的樣本，第二階段：再將訓練樣本代入模型進行訓練，調整模型的權重，反覆迭代訓練變得更強。

請配合第7圖，其係為本發明的暗棋機器人的辨識流程示意圖。另外，值得說明的是，攝像單元10持續拍攝對局中的一棋盤90以產生影像訊號11後，為了提升辨識的效能，本發明亦對影像訊號11作影像處理的動作，以便後續進行蒐集樣本及運行辨識等作用。因此，平台層44中更包含一影像辨識模組442，其係利用卷積神經網路(CNN)而由該影像訊號11中辨識該棋盤及位於該棋盤上的該棋子。

首先，(1)灰階化，在進行影像處理的過程中，將圖片轉為灰階必要動作，此功能將原本RGB圖片之三維陣列轉換為只有灰暗圖片之一維陣列，數值範圍為0~255，圖片數值更少更好作分析及運算。(2)霍夫找圓，擷取每個格子圖後，欲判斷該位置是否有棋子，利用了霍夫找圓方法偵測圓的存在，此函式可限制半徑大小以及控制閥值，回傳圖中所有符合條件的圓的資訊，格式為三維陣列：[[[a,b,r]]]，(a,b)為圓心座標，r為半徑，利用此數據可對圖片進行標記及裁切。(3)四角定位，在暗棋對局中，棋子必須放在棋局格子上進行操作，為了計算出棋子的位置，需要找到長方形中四角的座標，再將座標帶入公式運算，最終得出為32個格子數據。

在上述完成後，為了更進一步優化辨識能力，從而利用卷積神經網路模型來完成。卷積神經網路(CNN)為加強版類神經網路(NN)，與類神經網路(NN)的差別在於，類神經網路(NN)是單純以圖片的數值去做訓練，而卷積神經網路(CNN)會抓圖片中的特徵點，作出局部的感知判斷，提高辨識的效果。卷積神經網路(CNN)運作方式為將圖片丟進卷積層、池化層作處理，最後形成全連接層，代替類神經網路的輸入層。為建構卷積神經網路模型，蒐集了所有角度變化的14種明棋各50張，並且丟入模型進行訓練，產生棋子的數量為：360*100*14=252000張。

本發明的暗機器人利用智慧物聯網(AIoT)的概念設計的暗機器人，運用雲端服務強大的運算取得及擴充對弈人工智慧的能力，精簡硬體裝置，簡化及普及對弈機器人的產品開發或製造。本發明的暗機器人進行對弈要求後，攝像單元拍攝影像，透過卷積神經網路進行盤面辨 識，再將辨識結果及人工智慧的下一步棋路傳至機器手臂。其中，本發明的暗機器人其對弈人工智慧演算法選用Alpha-Beta(6層)的暗棋人工智慧，與真人不同棋力具有60%-100%的勝率。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

1:暗棋機器人

10:攝像單元

11:影像訊號

20:機器手臂

21:處理單元

30:棋譜資料庫

31:對局樹

311:節點

312:權重值

32:棋譜訓練樣本

40:智慧物聯網模組

41:感知層

42:網路層

43:應用層

431:控制訊號

44:平台層

441:學習模組

442:影像辨識模組

90:棋盤

91:棋子

Claims (5)

1. 一種暗棋機器人，其包含：一攝像單元，係持續拍攝對局中的一棋盤，以產生一影像訊號，該棋盤上係具有複數個棋子，各該棋子包括一正面及一反面，該正面包括一圖案，該圖案係代表棋種及對應之複數玩家其中之一，該些棋子初始地係以該反面朝上設置在該棋盤上的各個格位；一機器手臂，係包含一處理單元，該機器手臂配置以抓取其中一該棋子，以將使用該棋子進行翻面、移動或吃棋；一棋譜資料庫，係儲存有複數條對局樹，且各該對局樹中包含複數節點，並且各該節點分別具有一權重值，且各該節點分別對應於一種盤面；以及一智慧物聯網模組，係包含一感知層、一網路層、一應用層及一平台層，該感知層係連接該攝像單元及該處理單元，該應用層係透過該感知層驅動該攝像單元以取得該影像訊號，該網路層係連接於該感知層、該應用層及該平台層，且該網路層係連接該棋譜資料庫；其中，該應用層依據該影像訊號，並透過該平台層的人工智慧，以查找該複數條對局樹中符合的該節點，並利用Alpha-beta剪枝法遍歷該節點後續中每條路徑中該節點往下一預定節點數的該權重值，以選取該權重值最大的路徑並產生一控制訊號，該處理單元接收該控制訊號，並依據該控制訊號控制該機器手臂作動；其中該平台層更包含一影像辨識模組，其係利用卷積神經網路(CNN)而由該影像訊號中辨識該棋盤及位於該棋盤上的該棋子；其中，利用四角定位方式，以辨識該棋盤而獲得32個格子數據，再依據霍夫找圓方式以辨識該棋盤上的該棋子； 其中，辨識該棋盤係截取長方形中的8個格子數據並進行4次，以獲得32個格子數據。
2. 如請求項1所述的暗棋機器人，其中該平台層更包含一學習模組，其係依據至少一棋譜訓練樣本，以調整各該節點的該權重值。
3. 如請求項2所述的暗棋機器人，其中該學習模組係依據蒙特卡羅樹搜索(Monte Carlo Tree Search)演算法產生該至少一棋譜訓練樣本。
4. 如請求項3所述的暗棋機器人，其中所述產生該至少一棋譜訓練樣本，其係為利用二個該暗棋機器人進行對弈而產生。
5. 如請求項1所述的暗棋機器人，其中該預定節點數係為該複數條對局樹中符合的該節點往下至少六個該節點。

Images