TW202015771A - 資訊處理裝置、機器人操作系統、以及機器人操作方法 - Google Patents

Abstract

本發明之機器人操作系統具備：遊戲終端，其具有遊戲電腦、遊戲控制器、及顯示虛擬空間之顯示器；機器人，其基於機器人控制資料於現實空間進行作業；及資訊處理裝置，其於遊戲終端與機器人之間起中介作用。資訊處理裝置向遊戲終端供給與作業之內容相關聯之遊戲資料，在反映有遊戲資料之遊戲之遊玩過程中獲取包含遊戲控制器所受理之操作之輸入之履歷之遊戲操作資料，基於既定之轉換規則將遊戲操作資料轉換為機器人控制資料，向機器人供給機器人控制資料。

Description

資訊處理裝置、機器人操作系統、以及機器人操作方法

本發明係關於一種融合電腦遊戲與產業用機器人之技術。

一直以來，提出將電腦遊戲與實體之機器人進行組合之技術。專利文獻1、2揭示此種技術。再者，本說明書中之「電腦遊戲」係於電腦上動作且於電腦與真人之間進行之遊戲之總稱，亦稱為視訊遊戲等。

專利文獻1中記載，焊接用及雷射加工用之產業用機器人具備家庭用電腦遊戲終端之遊戲控制器作為教示及操作輸入用之控制器。遊戲控制器與產業用機器人建立關聯一般是使用市售之個人電腦透過周知之程式手段進行。

專利文獻2中，揭示一種系統，其具備：現實空間，其存在複數個物理代理者（例如車輛及作為其配件等之遊戲用機器人）；控制器，其受理基於用戶輸入之對物理代理者之動作指令；及主機設備，其於物理代理者與控制器之間起中介作用；且用於在現實空間執行使複數個物理代理者競爭之遊戲（例如車輛競速遊戲）。主機設備以處於用戶之控制下之虛擬空間與現實空間維持即時等效性之方式，使物理代理者動作而使現實空間之狀態發生變化，或使虛擬空間之狀態發生變化。 先前技術文獻 專利文獻

專利文獻1：日本特開2012-139746號公報 專利文獻2：日本特表2015-533534號公報

[發明所欲解決之課題]

熟練之遊戲用戶可藉由瞬時掌握電腦遊戲終端之顯示器顯示出之虛擬空間之狀態，且對應該狀態而直觀且正確地操作遊戲控制器，從而輸入指令。本申請之發明者們研究將此種遊戲用戶之優秀技能作為用於產業之資源而活用。

專利文獻1中主張了機器人操作員可按遊戲感覺來操作產業用機器人之效果。但是，由於機器人操作員眼見產業用機器人正在作業之現實空間，因此正在勞動之感覺勝過遊戲感覺。

專利文獻2中，由於處於遊戲用戶之控制下之虛擬空間與現實空間具有等效性，因此遊戲用戶所辨識之虛擬空間不超過現實空間之範疇。

本來，遊戲係以娛樂為目的者。對遊戲用戶而言，會感受到正在勞動之感覺之遊戲缺乏趣味，有導致意願下降之虞。於本發明中，提出不損及享受非日常生活之虛擬空間之娛樂性而遊戲用戶藉由於玩遊戲過程中輸入之操作使機器人進行勞動之構成。 [解決課題之技術手段]

本發明之一態樣之資訊處理裝置係 在具有執行遊戲程式之遊戲電腦、受理對上述遊戲電腦之操作之輸入之遊戲控制器、及顯示自上述遊戲電腦輸出之虛擬空間之顯示器的遊戲終端與基於機器人控制資料於現實空間進行作業之機器人之間起中介作用者，其特徵在於具備： 遊戲資料供給部，其向上述遊戲終端供給與上述作業之內容相關聯之遊戲資料； 遊戲操作資料獲取部，其在反映有上述遊戲資料之上述遊戲程式之執行期間中獲取包含上述遊戲控制器所受理之操作之輸入之履歷的遊戲操作資料； 第1轉換部，其基於既定之轉換規則將上述遊戲操作資料轉換為上述機器人控制資料；及 機器人控制資料供給部，其向上述機器人供給上述機器人控制資料。

本發明之一態樣之機器人操作系統之特徵在於具備： 遊戲終端，其具有執行遊戲程式之遊戲電腦、受理對上述遊戲電腦之操作之輸入之遊戲控制器、及顯示自上述遊戲電腦輸出之虛擬空間之顯示器； 機器人，其基於機器人控制資料於現實空間進行作業；及 資訊處理裝置，其於上述遊戲終端與上述機器人之間起中介作用。

本發明之一態樣之機器人操作方法係 使用具有執行遊戲程式之遊戲電腦、受理對上述遊戲電腦之操作之輸入之遊戲控制器、及顯示自上述遊戲電腦輸出之虛擬空間之顯示器的遊戲終端，操作基於機器人控制資料於現實空間進行作業之機器人者，其特徵在於包括： 遊戲程式供給步驟，其向上述遊戲終端供給與上述作業之內容相關聯之遊戲資料； 遊戲操作資料獲取步驟，其在反映有上述遊戲資料之上述遊戲程式之執行期間中獲取包含上述遊戲控制器所受理之操作之輸入之履歷的遊戲操作資料； 機器人控制資料生成步驟，其係基於既定之轉換規則將上述遊戲操作資料轉換為上述機器人控制資料；及 機器人控制資料供給步驟，其向上述機器人供給上述機器人控制資料。

於上述資訊處理裝置、機器人操作系統、及機器人控制方法中，由於遊戲操作資料基於轉換規則轉換為機器人控制資料，因此遊戲用戶所享受之電腦遊戲之內容（亦即遊戲之虛擬空間中出現之角色、道具、效果、遊戲之規則等）、與機器人所進行之作業之內容無需直接關聯。即，遊戲終端之顯示器上所顯示之虛擬空間可設為脫離現實世界中機器人所進行之作業之遊戲獨自之世界，不會損害享受非日常生活之虛擬空間之遊戲之娛樂性。

由此，根據上述資訊處理裝置、機器人操作系統、及機器人控制方法，亦為機器人操作員之遊戲用戶可純粹地享受遊戲之虛擬世界，且藉由於玩遊戲過程中輸入之操作使機器人進行勞動。 [發明之效果]

根據本發明，可提出一種不損及享受非日常生活之虛擬空間之娛樂性而遊戲用戶藉由於玩遊戲過程中輸入之操作使機器人進行勞動之構成。

其次，參照圖式對本發明之實施形態進行說明。

圖1係對本發明之一實施形態之機器人操作系統1之構成進行說明之方塊圖。機器人操作系統1具備遊戲終端3、中介伺服器2、機器人5、及通訊手段4。通訊手段4將遊戲終端3與中介伺服器2之間以可互相通訊之方式連接，將中介伺服器2與機器人5之間以可互相通訊之方式連接。通訊手段4例如可為LAN、WAN、網際網路等通訊網路。於該機器人操作系統1中，遊戲用戶為使用遊戲終端3享受電腦遊戲之遊戲玩家，並且為操作機器人5之機器人操作員。

〔遊戲終端3〕 遊戲終端3具備遊戲電腦31、遊戲控制器38、顯示器35、及揚聲器37。作為遊戲終端3，可使用業務用遊戲專用機、利用電視作為顯示器之家庭用遊戲終端、攜帶型液晶遊戲終端、資訊站(kiosk)終端、智慧型手機、平板電腦、桌上型電腦、及膝上型電腦等。此處，對採用家庭用遊戲終端作為遊戲終端3之例進行說明。

圖2係表示遊戲終端3之概略構成之方塊圖。如圖2所示，遊戲終端3之遊戲電腦31包括主處理器311、聲音處理器312、I/O處理器313、圖形處理器315、及記憶體316。聲音處理器312及記憶體316透過內部匯流排與I/O處理器313連接。主處理器311與I/O處理器313互相連接。主處理器311與圖形處理器315互相連接。I/O處理器313透過未圖示之串列介面與遊戲控制器38等輸入輸出設備連接。I/O處理器313透過未圖示之通訊介面與中介伺服器2等外部裝置進行通訊。

遊戲終端3藉由於與中介伺服器2之間進行通訊，可自中介伺服器2下載遊戲程式。下載之遊戲程式或存檔儲存於記憶體316。遊戲程式或存檔亦可儲存於記憶裝置314。

I/O處理器313將來自遊戲用戶所操作之遊戲控制器38之操作訊號供給至主處理器311。主處理器311讀出遊戲程式並執行，進行既定之運算。圖形處理器315根據來自主處理器140之指示進行繪圖處理，生成畫面資料，將視訊訊號輸出至顯示器35。聲音處理器312根據來自主處理器140之指示將音頻資料解碼並播放，輸出至揚聲器37。

主處理器311根據遊戲用戶透過遊戲控制器38輸入之操作訊號等產生遊戲操作資料，並將其向I/O處理器313傳遞。I/O處理器313向中介伺服器2發送遊戲操作資料。遊戲操作資料至少包含遊戲程式之識別資訊、遊戲用戶之識別資訊、及遊戲用戶於玩遊戲過程中透過遊戲控制器38輸入之操作之履歷。

遊戲控制器38具備：操作器381；操作檢測器382，其檢測操作器381之操作量；及通訊器383，其將操作檢測器382所檢測之操作量作為操作訊號向遊戲電腦31輸出。操作器381例如可為觸控顯示器、鍵盤、滑鼠、方向鍵、搖桿、按鈕、球形操作器、撥桿等公知之操作器中之1個，或亦可為複數個之組合。

圖3係遊戲控制器38之一例之外觀圖。圖3所示之遊戲控制器38呈大致U字形之外形。遊戲用戶以左右兩手抓持兩翼部之把手101L、101R進行操作。於遊戲控制器38之左右上表面設有操作按鈕群110、120、類比搖桿112、122，分別於遊戲控制器38之右前面設有R按鈕111，於左前面設有L按鈕121。操作按鈕群110及類比搖桿112由遊戲用戶之右手大拇指操作，操作按鈕群120及類比搖桿122由遊戲用戶之左手大拇指操作。又，R按鈕111、L按鈕121分別由遊戲用戶之右手食指、左手食指操作。遊戲控制器38於操作按鈕群110與操作按鈕群120之間進一步具備觸控顯示器130。

〔機器人5〕 機器人5例如為設置於工廠等現場，於現實空間進行作業之產業用機器人。作為此種產業用機器人，可例示垂直多關節型機器人、水平多關節型機器人、平行連桿型機器人、極座標機器人、圓筒座標型機器人、直角座標型機器人等。再者，圖1中示出1台機器人5，但機器人操作系統1亦可具備複數個機器人5。

於本實施形態中，作為機器人5之一例，使用進行塗裝作業之塗裝用機器人。機器人5具備操作器204、安裝於操作器204之前端之末端效應器206、及機器人控制器201。機器人5進一步具備機器人操作器213，該機器人操作器213受理對機器人5（詳細而言，為操作器204及末端效應器206）之操作之輸入。機器人5亦可進一步具備機器人視覺（省略圖示）。機器人控制器201係與操作器204、末端效應器206、及機器人操作器213以可通訊之狀態連接。機器人控制器201具備電腦，藉由進行處理器中所儲存之程式或自機器人操作器213輸入之各種訊號之解碼或運算處理，負責操作器204之動作控制、末端效應器206之動作控制、來自各種輸出端口之訊號輸出等。

於本實施形態中，末端效應器206為塗裝槍206A。塗裝槍206A具備：噴嘴207；塗料供給裝置202，其向噴嘴207供給塗料；壓縮機205，其向噴嘴207送出壓縮空氣；及閥裝置203，其對來自噴嘴207之塗料之噴出量（包括噴出之ON/OFF）進行調整。閥裝置203之動作由機器人控制器201控制。

於機器人5之附近，配置有保持工件211之治具210。又，於機器人5之附近，設有以三維拍攝包括治具210、工件211、及機器人5之機器人5之作業空間之攝像裝置CA。攝像裝置CA亦可為二維拍攝作業空間者。由攝像裝置CA生成之攝像資料透過通訊手段4向中介伺服器2發送。

〔中介伺服器2〕 圖4係表示中介伺服器2之構成之方塊圖。如圖4所示，中介伺服器2具備第1學習裝置41、遊戲資料生成裝置42、機器人控制資料生成裝置43、及記憶裝置24。第1學習裝置41使用AI（artificial intelligence）技術，產生第1學習後模型。遊戲資料生成裝置42自機器人5之作業資料生成遊戲資料，將其向遊戲終端3提供。機器人控制資料生成裝置43使用自遊戲終端3獲取之遊戲操作資料生成機器人控制資料，將其向機器人5提供。記憶裝置24儲存學習後模型、學習資料、指導資料、遊戲程式、遊戲參數等於中介伺服器2使用之資料。

中介伺服器2具備運算控制器20a與記憶裝置24。中介伺服器2之各功能部可至少由1個運算控制器20a構成，亦可複數個功能部中之2個以上由1個運算控制器20a構成。如圖5所示，中介伺服器2之各運算控制器20a具備處理器21、ROM及RAM等記憶體22、及I/O部25。於運算控制器20a中，透過介面20b連接有記憶裝置24。運算控制器20a可具備進行集中控制之單獨之處理器21，亦可具備進行分散控制之複數個處理器21。運算控制器20a例如可由電腦、個人電腦、微控制器、微處理器、FPGA（field-programmable gate array）等PLD（programmable logic device）、PLC（programmable logic controller）、及邏輯電路之中之至少1個、或2個以上之組合構成。於記憶體22或記憶裝置24中，儲存處理器21所執行之基本程式或軟體程式等。藉由處理器21讀出程式並執行，運算控制器20a實現由該軟體程式構成之功能。

第1學習裝置41具備學習資料獲取部41a、預處理部41b、及第1學習部41c之各功能部。於記憶裝置24中，構成有儲存學習資料之學習資料DB、儲存有指導資料之指導資料DB、及儲存有遊戲參數之參數DB。

圖6係對利用學習裝置（第1學習裝置41）所進行之機械學習之流程進行說明之圖。如圖6所示，學習資料獲取部41a獲取學習資料等機械學習中所使用之資料。預處理部41b對學習資料進行預處理，產生指導資料。預處理包含資料形式之轉換、異常之確認、資料之擷取、變數名及檔案名之變更等各種處理中之至少1個。

第1學習部41c藉由機械學習而學習輸入資料與輸出資料之相關關係。於本實施例中，輸入資料為遊戲操作資料，輸出資料為機器人控制資料。第1學習部41c執行監督式學習作為機械學習之學習演算法之一例。一般而言，監督式學習係如下方法：藉由預先被賦予大量輸入資料和與其對應之輸出資料之已知之資料集（稱為指導資料），自該等指導資料識別暗示輸入資料與輸出資料之相關性之特徵，而學習用於推定對於新輸入資料之所需之輸出資料之相關性模型。於學習演算法之開始時，輸入資料與輸出資料之相關性實質上為未知，但第1學習部41c隨著持續學習而逐漸識別特徵並解釋相關性。若對輸入資料與輸出資料之相關性之解釋能達到某種程度上可信賴之水準，則第1學習部41c反覆輸出之學習結果是成為可用於進行如下推定者：相對於輸入資料，輸出資料應成為何者。即，第1學習部41c伴隨學習演算法之進行，可使輸入資料與輸出資料之相關性逐漸接近最佳解。

於本實施形態中，第1學習部41c將指導資料輸入至神經網路，學習輸入資料與輸出資料之間之關係性。神經網路中設定之各種參數記憶於參數DB。例如，參數DB記憶所學習之神經網路之突觸之權重等。設定所要記憶之各參數後之神經網路成為學習後模型。

返回圖4，遊戲資料生成裝置42具備作業資料獲取部42a、轉換部42b、及遊戲資料供給部42c。

圖7係對遊戲資料生成裝置42之功能進行說明之圖。如圖7所示，作業資料獲取部42a自機器人5或攝像裝置CA獲取作業資料。作業資料包括與作業之內容相關之資訊、及與作業對象亦即工件211相關之資訊。與作業之內容相關之資訊例如可包括機械加工、搬送、塗裝等作業之種類、或作業中所使用之末端效應器206之種類、螺絲或塗料等用於作業之零件等資訊。於與工件211相關之資訊中，例如可包括工件211之種類或形狀等。

轉換部42b藉由以既定之轉換規則轉換作業資料而生成遊戲資料。轉換規則預先記憶於記憶裝置24。於遊戲資料中，可包含遊戲終端3中執行之遊戲程式。又，於遊戲程式預先安裝於遊戲終端3之情形時，於遊戲資料中，可包含遊戲程式中所應用之遊戲參數。遊戲資料供給部42c向遊戲終端3供給生成之遊戲資料。

返回圖4，機器人控制資料生成裝置43具備遊戲操作資料獲取部43a、轉換部43b、及輸出機器人控制資料之機器人控制資料供給部43c。

圖8係對機器人控制資料生成裝置43之功能進行說明之圖。如圖8所示，遊戲操作資料獲取部43a自遊戲終端3獲取遊戲操作資料。轉換部43b藉由以既定之轉換規則轉換遊戲操作資料而生成機器人控制資料。於機器人控制資料中，可包含末端效應器206之位置指令資訊、或末端效應器206之動作指令資訊等。機器人控制資料供給部43c向機器人5供給生成之機器人控制資料。於機器人5中，基於所獲取之機器人控制資料，機器人5進行作業。

〔應用例1〕 以下，對將上述構成之機器人操作系統1應用於進行塗裝作業之機器人5之應用例1進行說明。

參照圖1，進行塗裝作業之機器人5於指尖具備塗裝槍206A之噴嘴207。機器人操作器213具有第1撥桿A、第2撥桿B、及按鈕C。根據對第1撥桿A及第2撥桿B輸入之操作，操作器204進行動作而噴嘴207之位置發生變化。

第1撥桿A可輸入噴嘴207向左右及前後方向移動之指令。藉由第1撥桿A輸入之操作輸入訊號值根據第1撥桿A之操作位置自0連續變化至1。第2撥桿B可輸入噴嘴207向上下方向移動之指令。藉由第2撥桿B輸入之操作輸入訊號值根據第2撥桿B之操作位置自0連續變化至1。按鈕C可輸入塗料之噴出量之指令。藉由按鈕C輸入之操作輸入訊號值根據按鈕C之操作位置自0連續變化至1。

上述構成之機器人5之作業對象亦即工件211雖保持於治具210，但各自存在姿勢或形狀之差異。於工件211之表面存在凹凸，為了於該表面均勻地進行塗裝，要求機器人操作員有較高之技能。

於遊戲終端3中執行落下遊戲之遊戲程式。圖9係遊戲終端3之顯示器35上所顯示之遊戲畫面92之一例。於遊戲畫面92中，顯示遊戲固有之虛擬空間，而非機器人5存在之現實空間。於圖9所示之遊戲畫面92中，於其中央部顯示20行線92a，塊體自各行之最上部以既定之落下圖案落下。於遊戲畫面92之下部，顯示作為遊戲用戶之操作對象裝備之射擊槍92b、與分數92c。遊戲用戶可操作遊戲控制器38，向遊戲電腦31輸入與射擊槍92b之子彈之發射方向和發射時機相關之指令。

於遊戲控制器38中，設有刻度盤X與按鈕Y作為操作器381。刻度盤X之操作輸入訊號值根據刻度盤X之旋轉角度，自0連續變化至1。可藉由刻度盤X使射擊槍92b向遊戲畫面92上之左右方向移動。刻度盤X之操作輸入訊號值與射擊槍92b之發射方向相對應。射擊槍92b之發射方向於刻度盤X之操作輸入訊號值0時朝向畫面上最左端，於操作輸入訊號值1時朝向畫面上最右端，於操作輸入訊號值0.5時朝向畫面上左右中央。按鈕Y之操作輸入訊號值根據是否按壓按鈕Y，取0或1之值。藉由按鈕Y，可輸入自射擊槍92b發射子彈之指令。即，以按鈕Y之操作輸入訊號值自0變化至1作為觸發而瞬時發射子彈。除此以外之時間不發射子彈。

於遊戲畫面92所顯示之虛擬空間中，利用自射擊槍92b發射之子彈擊落落下中之塊體。若子彈命中落下物，則落下物自遊戲畫面92消失。若能夠擊落所有塊體，則任務成功。遊戲用戶根據任務之成功與否、擊落之塊體之數量、及射擊槍92b之左右移動總量之多少獲取得分，爭奪高得分。

遊戲中之塊體之落下圖案由遊戲參數決定。遊戲參數係藉由以轉換部42b將作業資料轉換為遊戲參數而生成。於本應用例中，作業資料中包含作為作業之內容之塗裝、塗料之種類、包括攝像裝置CA中獲得之工件211及其周邊之三維影像。轉換部42b按照既定之轉換規則將工件211之表面形狀轉換為玩遊戲過程中之塊體之落下圖案，生成再現該落下圖案之遊戲參數。

圖10係對作業資料之一例進行說明之圖。例如，如圖10所示，包括攝像裝置CA中獲得之工件211及其周邊之三維影像（或二維影像）轉換為由既定數量（圖10之例中為20×30）之點構成之平面之映射圖91。於映射圖91中，對存在工件211之點（圖10中之91a）賦予1，對未存在工件211之點（圖10中之91b）賦予0。進而，切割映射圖91之各列，作為連續多列（圖10之例中為30列）之列資料。並且，生成如於各列資料中塊體僅出現於被指定為1之點之遊戲參數。

如上述般，向遊戲終端3發送遊戲資料生成裝置42中生成之遊戲參數。遊戲終端3之遊戲電腦31將遊戲參數應用於遊戲程式，決定顯示器35之遊戲畫面92中所顯示之塊體之出現位置及出現時機。於遊戲電腦31中，亦可設定有根據預先獲取之遊戲用戶之技能水準修正遊戲參數之篩選規則。遊戲開始後，首先，與第1列對應之塊體群於畫面之最上部出現。出現之塊體以既定之速度落下。塊體之落下速度可根據遊戲用戶之技能水準而不同。與第1列對應之塊體群自出現起經過既定時間後，與第2列對應之塊體群於畫面之最上部出現。以此方式，使列編號自最初之列至最後之列每固定時間間隔增加1個，並且與列編號對應之行之塊體群於畫面之最上部出現，出現之塊體相繼落下。

＜學習方法＞ 首先，對中介伺服器2之第1學習裝置41中所進行之學習之方法進行說明。

為了學習，準備複數個工件211。學習用之工件211之表面形狀各不相同。熟練之機器人操作員使用機器人操作器213，對學習用之複數個工件211之各者，根據自己之經驗以最適合表面形狀之作業順序輸入操作。機器人控制器201獲取熟練之機器人操作員對機器人操作器213進行之操作輸入訊號，針對每一工件211將操作輸入訊號之履歷與該工件211建立關聯並記憶。例如，對某一工件211之操作輸入訊號之履歷包括以單位時間間隔記錄了第1撥桿A之操作輸入訊號值之數值行An、以單位時間間隔記錄了第2撥桿B之操作輸入訊號值之數值行Bn、及以單位時間間隔記錄了按鈕C之操作輸入訊號值之數值行Cn。

遊戲終端3之遊戲電腦31記憶遊戲用戶於遊戲開始至結束之玩遊戲過程中輸入之操作之履歷。根據任務成功且獲得高得分之遊戲用戶（以下，稱為「高分數用戶」）之操作之履歷，產生以單位時間間隔記錄了刻度盤X之操作輸入訊號值之數值行Xn，產生以單位時間間隔記錄了按鈕Y之操作輸入訊號值之數值行Yn。

關於某一工件Wm，自熟練之機器人操作員之操作履歷所獲得之數值行為{Anm、Bnm、Cnm}。又，於反映了與該工件Wm相關聯之遊戲參數之遊戲過程中，自高分數用戶之操作之履歷所獲得之數值行為{Xnm、Ynm}（m＝1、2、……）。如此，自與工件Wm相關聯之熟練之機器人操作員之操作履歷及高分數用戶之操作履歷，獲得一個學習資料集。

學習資料獲取部41a獲取龐大數量之學習資料集，加以記憶。預處理部41b進行學習資料集之預處理並生成指導資料集。第1學習部41c將指導資料集輸入至神經網路，學習輸入資料亦即數值行{Xn、Yn}與輸出資料亦即數值行{An、Bn、Cn}之間之關係性。神經網路中設定之各種參數記憶於參數DB中。設定所要記憶之各參數後之神經網路成為學習後模型。

＜機器人操作方法＞ 繼而，對使用上述學習後模型之機器人操作方法進行說明。

圖11係對遊戲方法之處理流程進行說明之流程圖。圖11總括性地表示機器人操作系統1中之自遊戲之開始準備至機器人5進行作業為止之一系列處理，分別為左行表示遊戲終端3之處理，中央行表示中介伺服器2之處理，右行表示機器人5之處理。

於遊戲開始時，遊戲終端3對中介伺服器2發送登入資訊以及遊戲開始要求（步驟S01）。登入資訊中包含遊戲用戶ID等。中介伺服器2獲取遊戲開始要求後（步驟S02），向機器人5發送作業資料要求（步驟S03）。機器人5獲取作業資料要求後（步驟S04），與其相對應地向中介伺服器2發送作業資料（步驟S05）。於本應用例中，作業資料中包含作業之內容與工件211之拍攝影像。

獲取作業資料後之中介伺服器2（步驟S06）自作業資料生成遊戲資料（步驟S07）。於本應用例中，藉由轉換作業資料中所包含之拍攝影像產生遊戲資料，遊戲資料中包含遊戲參數。中介伺服器2向遊戲終端3發送遊戲資料（步驟S08）。

獲取遊戲資料後之遊戲終端3（步驟S09）將遊戲資料（遊戲參數）應用於預先記憶之遊戲程式中並執行。於遊戲終端3中，所獲取之遊戲資料應用於遊戲程式中而開始遊戲。藉由記憶由遊戲用戶於玩遊戲過程中操作遊戲控制器38而輸入之操作輸入，遊戲終端3使反映有遊戲參數之遊戲開始（步驟S10）。於本應用例中，遊戲用戶可享受將落下之塊體打落之射擊遊戲。

遊戲終端3記錄於玩遊戲過程中遊戲用戶利用遊戲控制器38進行之操作之履歷（步驟S11）。遊戲結束後（步驟S12），遊戲終端3向中介伺服器2發送包含該玩遊戲過程中之操作之履歷之遊戲操作資料（步驟S13）。遊戲操作資料與作業資料或遊戲資料之至少一者相關聯。

於中介伺服器2之機器人控制資料生成裝置43中，遊戲操作資料獲取部43a獲取遊戲操作資料（步驟S14），轉換部43b使用上述學習後模型轉換遊戲操作資料，藉此生成機器人控制資料（步驟S15）。自遊戲終端3向中介伺服器2發送之遊戲操作資料中，可包含遊戲之分數。遊戲之分數可成為遊戲用戶之技能水準之指標。於將遊戲操作資料轉換為機器人控制資料時，亦可將遊戲用戶之技能水準納入考量。

中介伺服器2向機器人5發送生成之機器人控制資料。機器人5藉由獲取機器人控制資料（步驟S17），在此基礎上使機器人5之操作器204及末端效應器206進行動作，而機器人5進行作業（步驟S18）。於本應用例中，機器人5進行工件211之塗裝作業。

如此，於本應用例中，乍看之下，遊戲用戶所進行之遊戲之內容與機器人5所進行之作業之內容相關性較低。遊戲用戶觀看顯示於顯示器35之虛擬空間而對遊戲控制器38進行操作輸入。即，遊戲用戶可不觀看機器人5進行作業之現實空間，而一面享受遊戲一面對機器人5輸入指令，使機器人5進行勞動。

如以上所說明般，本實施形態之機器人操作系統1之特徵在於具備：遊戲終端3，其具有執行遊戲程式之遊戲電腦31、受理對遊戲電腦31之操作之輸入之遊戲控制器38、及顯示自遊戲電腦31輸出之虛擬空間之顯示器35；機器人5，其基於機器人控制資料於現實空間進行作業；及中介伺服器2（申請專利範圍之「資訊處理裝置」），其於遊戲終端3與機器人5之間起中介作用。

中介伺服器2具備：遊戲資料供給部42c，其向遊戲終端3供給與作業之內容相關聯之遊戲資料；遊戲操作資料獲取部43a，其獲取包含執行反映有遊戲資料之遊戲程式期間遊戲控制器38所受理之操作之輸入之履歷的遊戲操作資料；第1轉換部43b，其基於既定之轉換規則將遊戲操作資料轉換為機器人控制資料；及機器人控制資料供給部43c，其向機器人5供給機器人控制資料。

又，本實施形態之機器人操作方法係使用遊戲終端3，操作基於機器人控制資料於現實空間進行作業之機器人5者，其特徵在於包括：遊戲程式供給步驟，其向遊戲終端3供給與作業之內容相關聯之遊戲資料；遊戲操作資料獲取步驟，其係獲取包含執行反映有遊戲資料之遊戲程式期間遊戲控制器38所受理之操作之輸入之履歷的遊戲操作資料；機器人控制資料生成步驟，其係基於既定之轉換規則將遊戲操作資料轉換為機器人控制資料；及機器人控制資料供給步驟，其向機器人5供給機器人控制資料。

於上述機器人操作系統1及其中介伺服器2、以及機器人控制方法中，由於遊戲操作資料基於轉換規則被轉換為機器人控制資料，因此遊戲用戶所享受之電腦遊戲之內容（亦即遊戲之虛擬空間中出現之角色、道具、效果、遊戲之規則等）、與機器人5所進行之作業之內容無需直接關聯。即，遊戲終端3之顯示器35上所顯示之虛擬空間可設為脫離現實世界中機器人5所進行之作業之遊戲獨自之世界，不會損害享受非日常生活之虛擬空間之遊戲之娛樂性。

由此，根據本實施形態之機器人操作系統1及其中介伺服器2、以及機器人控制方法，亦為機器人操作員之遊戲用戶可純粹地享受遊戲之虛擬世界，且藉由於玩遊戲過程中輸入之操作使機器人5進行勞動。

於本實施形態中，中介伺服器2進一步具備第1學習部41c，該第1學習部41c使用包含與作業之內容相關聯之遊戲操作資料與機器人控制資料之第1學習資料學習遊戲操作資料與機器人控制資料之關係性，生成第1學習後模型。並且，上述第1轉換部43b以藉由對學習了遊戲操作資料與機器人控制資料之關係性之第1學習後模型輸入遊戲操作資料，而將遊戲操作資料轉換為機器人控制資料之方式構成。

同樣地，於本實施形態中，上述機器人操作方法進一步包括第1學習步驟，該第1學習步驟係使用包含與作業之內容相關聯之遊戲操作資料與機器人控制資料之第1學習資料學習遊戲操作資料與機器人控制資料之關係性，生成第1學習後模型。並且，上述機器人操作方法之機器人控制資料生成步驟包括藉由對學習了遊戲操作資料與機器人控制資料之關係性之第1學習後模型輸入遊戲操作資料，而將遊戲操作資料轉換為機器人控制資料之動作。

如此，藉由為了將遊戲操作資料轉換為機器人控制資料而利用學習後模型，即便遊戲之內容與機器人5之作業之內容的直接關聯性較低，亦可將遊戲操作資料與機器人控制資料以更高之精度建立關聯。即，可提高遊戲之內容相對於機器人5之作業之內容之自由度。

＜變形例1＞ 其次，對上述實施形態之變形例1進行說明。圖12係變形例1之機器人操作系統1之中介伺服器2A之功能方塊圖。變形例1之機器人操作系統1除中介伺服器2A之第2學習裝置44以外，具有與上述實施形態實質上相同之構成。由此，於變形例1之說明中，對第2學習裝置44詳細地進行說明，而省略與上述實施形態重複之說明。

於上述實施形態中，具備基於既定之轉換規則將作業之內容轉換為遊戲資料之第2轉換部42b（遊戲資料生成部）。於本變形例中，第2轉換部42b亦與第1轉換部43b（機器人控制資料生成部）同樣地，利用學習後模型（第2學習後模型）將包含作業之內容之作業資料轉換為遊戲資料。

變形例1之中介伺服器2A係上述實施形態之中介伺服器2進一步具備第2學習裝置44者。以下，省略第1學習裝置41、遊戲資料生成裝置42、及機器人控制資料生成裝置43之說明，對第2學習裝置44詳細地進行說明。

如圖12所示，第2學習裝置44具備學習資料獲取部44a、預處理部44b、第2學習部44c之各功能部。學習資料獲取部44a將與作業資料相關聯之遊戲資料作為學習資料集，獲取龐大數量之學習資料集。預處理部44b對學習資料集進行預處理，產生指導資料集。第2學習部44c將指導資料集輸入至神經網路，學習輸入資料亦即作業資料與輸出資料亦即遊戲資料之間之關係性。神經網路中設定之各種參數記憶於參數DB中。設定所要記憶之各參數後之神經網路成為第2學習後模型。

如以上所示，變形例1之中介伺服器2A具備第2學習部44c，該第2學習部44c使用包含作業之內容和與其相關聯之遊戲資料之第2學習資料學習作業之內容與遊戲資料之關係性，生成第2學習後模型。

並且，中介伺服器2A以第2轉換部42b（遊戲資料生成部）藉由對學習了作業之內容與遊戲資料之關係性之第2學習後模型輸入作業之內容，將作業之內容轉換為遊戲資料之方式構成。

同樣地，變形例1之機器人操作方法除上述實施形態之機器人操作方法以外，包括第2學習步驟，該第2學習步驟係使用包含作業之內容和與其相關聯之遊戲資料之第2學習資料學習作業之內容與遊戲資料之關係性，生成第2學習後模型。並且，變形例1之機器人操作方法於上述實施形態之機器人操作方法之遊戲資料生成步驟中，包括藉由對學習了作業之內容與遊戲資料之關係性之第2學習後模型輸入作業之內容，而將作業之內容轉換為遊戲資料。

藉由如此使用學習後模型將作業之內容（作業資料）變更為遊戲資料，即便對更加複雜之作業之內容，亦能夠產生適合其之遊戲資料。由此，可提高遊戲之內容相對於機器人5之作業之內容之自由度。

〔應用例2〕 以下，對將上述構成之機器人操作系統1應用於進行垃圾之搬送作業之機器人5A之應用例2進行說明。

圖13係表示應用例2之機器人操作系統1之整體構成之方塊圖。圖13所示之機器人5A係對垃圾坑215之垃圾進行攪拌之起重機機器人。機器人5A具備：起重機208；高架209，其使起重機208之左右及前後位置產生變化；及機器人控制器201，其控制起重機208及高架209之動作。於垃圾坑215中，設有以三維拍攝垃圾坑215內之攝像裝置CA。

機器人操作器213具有第1撥桿A、第2撥桿B、及按鈕C。根據對第1撥桿A及第2撥桿B輸入之操作，高架209動作且起重機208之二維位置發生變化。第1撥桿A可輸入起重機208向前後左右方向移動之指令。藉由第1撥桿A輸入之操作輸入訊號值根據第1撥桿A之操作位置自0連續變化至1。第2撥桿B可輸入起重機208向上下方向移動之指令。藉由第2撥桿B輸入之操作輸入訊號值根據第2撥桿B之操作位置自0連續變化至1。按鈕C可輸入起重機208之垃圾抓持之指令。藉由按鈕C輸入之操作輸入訊號值根據按鈕C之操作位置自0連續變化至1。

上述構成之機器人5之作業對象亦即垃圾坑215之垃圾於其表面高度或性狀存在差異，垃圾坑215內之垃圾必須被攪拌以變得更加均勻。垃圾之攪拌係藉由使垃圾坑215之某一座標之垃圾向其他座標移動而進行。為了有效率地進行垃圾之攪拌作業，較理想為起重機208之移動軌跡較少。關於使哪一座標之垃圾如何移動及其移動順序，對操作機器人5A之機器人操作員要求較高之技能。

於遊戲終端3中，執行拼圖遊戲之遊戲程式。圖14係顯示於遊戲終端3之顯示器35之遊戲畫面92A之一例。於遊戲畫面92A中，顯示遊戲固有之虛擬空間，而非機器人5A存在之現實空間。於圖14所示之遊戲畫面92A中，於其中央部顯示網格，於網格之各格中配置有面板。面板以紅色、藍色、紫色之3色區分，若於藍色面板之上重疊紅色面板，則變化為紫色面板。無法於紅色及紫色面板之上重疊其他面板。遊戲用戶可操作遊戲控制器38，向遊戲電腦31輸入與移動之面板之選擇、及面板之移動位置相關之指令。

於遊戲控制器38中，設有方向鍵X與按鈕Y作為操作器381。方向鍵X之操作輸入訊號值自0連續變化至1。利用方向鍵X，可使指標於遊戲畫面92A上之左右及前後方向上移動。方向鍵X之操作輸入訊號值與指標之移動方向及移動量相對應。按鈕Y之操作輸入訊號值根據是否按壓按鈕Y，而取0或1之值。按鈕Y可輸入選擇之指令。例如，若於指標處於移動之第1面板之上之狀態下，按鈕Y之操作輸入訊號值自0變化為1，則選擇第1面板。又，若選擇第1面板，且於指標處於移動目的地之第2面板之上之狀態下，按鈕Y之操作輸入訊號值自0變化為1，則第1面板重疊於第2面板。若所有面板之顏色成為紫色，則任務成功。遊戲用戶獲得依據任務之成功與否、指標之移動量之多少之得分，爭奪高得分。

拼圖遊戲中之面板之配色圖案由遊戲參數決定。遊戲參數係藉由利用第2轉換部42b將作業資料轉換為遊戲參數而生成。於本應用例中，作業資料中包含攝像裝置CA中所獲得之垃圾坑215內之三維影像。轉換部42b按照既定之轉換規則將垃圾坑215之堆積垃圾之表面形狀轉換為玩遊戲過程中之面板之配色圖案，生成再現該配色圖案之遊戲參數。

圖15係對作業資料之一例進行說明之圖。例如，如圖15所示，攝像裝置CA中所獲得之垃圾坑215之三維影像轉換為由既定數量（圖15之例中為15×10）之點所構成之平面之映射圖94。利用三維影像之解析將堆積垃圾表面之高度分類為高中低，分別對高點賦予1，對中點賦予0，對低點賦予-1。並且，生成如下之遊戲參數：於1之點出現紅色之面板、於0之點出現紫色之面板、於-1之點出現藍色之面板。遊戲資料包含此種遊戲參數。

＜學習方法＞ 首先，對中介伺服器2之第2學習裝置44中所進行之學習之方法進行說明。

為了學習，準備大量之學習資料。學習資料中，包含垃圾坑215之堆積垃圾之表面形狀、及與其表面形狀相關聯之由熟練之機器人操作員所進行之操作之履歷。堆積垃圾之表面形狀中包含高度位置。熟練之機器人操作員藉由使用機器人操作器213，根據自己之經驗以最適合堆積垃圾之表面形狀之作業順序輸入操作，而對垃圾坑215內之堆積垃圾進行攪拌。機器人控制器201獲取熟練之機器人操作員對機器人操作器213進行之操作輸入訊號，將操作輸入訊號之履歷與該堆積垃圾之表面形狀建立關聯並記憶。

垃圾坑215之三維影像轉換為由既定數量（圖15之例中為15×10）之點構成之平面堆積垃圾映射圖94。堆積垃圾映射圖94之各點中被指定有位址，各點具有與堆積垃圾高度（點之平均值）相關之資訊。自操作輸入訊號之履歷，可知垃圾坑215內之垃圾被拿出之點之位址、與置放該垃圾之點之位址。垃圾被拿出之點分類為「高」，置放垃圾之點分類為「低」，垃圾未移動之點分類為「中」。於學習資料之預處理中，基於上述規則對堆積垃圾映射圖94之各點賦予「高」「中」「低」。產生將堆積垃圾映射圖94作為輸入資料、將堆積垃圾映射圖94之各點之高中低之分類作為輸出資料之1組指導資料。

學習裝置使用大量之指導資料，使模型學習堆積垃圾映射圖94之各點應分類為「高」「中」「低」之哪一者。遊戲資料生成裝置42對該學習後模型輸入作業資料亦即堆積垃圾映射圖94，獲得堆積垃圾映射圖94之各點之高中低之分類之輸出，在此基礎上生成遊戲資料。

＜機器人操作方法＞ 繼而，對機器人操作方法進行說明。

遊戲方法之處理流程實質上與第1應用例相同。即，如圖11所示，遊戲終端3對中介伺服器2發送登入資訊以及遊戲開始要求（步驟S01）。中介伺服器2獲取遊戲開始要求後（步驟S02），向機器人5A發送作業資料要求（步驟S03）。機器人5A獲取作業資料要求後（步驟S04），與其相對應地向中介伺服器2發送作業資料（步驟S05）。於本應用例中，作業資料中包含作業之內容與垃圾坑215之三維影像。

獲取作業資料後之中介伺服器2（步驟S06）自作業資料生成遊戲資料（步驟S07）。於本應用例中，藉由將作業資料中所包含之拍攝影像利用上述學習後模型轉換而產生遊戲資料，遊戲資料中包含遊戲參數。中介伺服器2向遊戲終端3發送遊戲資料（步驟S08）。

獲取遊戲資料後之遊戲終端3（步驟S09）將遊戲資料（遊戲參數）應用於預先記憶之遊戲程式中並執行。於遊戲終端3中，所獲取之遊戲資料應用於遊戲程式中，遊戲開始。藉由記憶遊戲用戶於玩遊戲過程中操作遊戲控制器38而輸入之操作輸入，遊戲終端3使反映遊戲參數之遊戲開始（步驟S10）。於本應用例中，遊戲用戶可享受以藍色與紅色之面板代替紫色之顏色拼圖遊戲。

遊戲終端3記錄玩遊戲過程中遊戲用戶利用遊戲控制器38進行之操作之履歷（步驟S11）。遊戲結束後（步驟S12），遊戲終端3向中介伺服器2發送包含該遊戲過程中之操作之履歷之遊戲操作資料（步驟S13）。遊戲操作資料與作業資料或遊戲資料之至少一者相關聯。

於中介伺服器2之機器人控制資料生成裝置43中，遊戲操作資料獲取部43a獲取遊戲操作資料（步驟S14），轉換部43b將遊戲操作資料轉換為機器人控制資料，藉此生成機器人控制資料（步驟S15）。於本應用例中，遊戲操作資料中包含移動之面板之座標與該面板之移動目的地之座標之組合、及面板之移動順序。根據此種遊戲操作資料，生成包含於垃圾坑215中拿出垃圾之座標與放入垃圾之座標之組合、及垃圾之移動順序之機器人控制資料。

中介伺服器2向機器人5A發送生成之機器人控制資料。機器人5A藉由獲取機器人控制資料（步驟S17），在此基礎上使高架209或起重機208進行動作，而機器人5A進行作業（步驟S18）。於本應用例中，機器人5A進行垃圾坑215之攪拌作業。

如此，於本應用例中，遊戲用戶所進行之遊戲之內容與機器人5A所進行之作業之內容未直接關聯，但遊戲中之指標之移動與起重機208之移動中存在相關性。即便如此，遊戲用戶可不觀看機器人5A進行作業之現實空間，而觀看顯示於顯示器35之虛擬空間對遊戲控制器38進行操作輸入，一面享受遊戲一面對機器人5A輸入指令，使機器人5A進行勞動。

以上對本發明之較佳之實施形態進行了說明，但於不脫離本發明之思想之範圍內，對上述實施形態之具體構造及/或功能進行變更而得者亦可包含於本發明中。上述機器人操作系統1及機器人操作方法可以如下之方式變更。

例如，於上述實施形態中，遊戲終端3、中介伺服器2、及機器人5、5A分別為獨立之裝置，但作為中介伺服器2之功能可由遊戲終端3及機器人5、5A中之任一者具備。

例如，於上述實施形態中，以學習作為學習模型之一例之神經網路模型之情形為例進行了說明，但學習演算法並不限定於此。例如，亦可利用其他學習方法學習與神經網路模型不同之其他模型。

例如，於上述實施形態中，對遊戲程式預先記憶（安裝）於遊戲終端3之態樣進行了說明。該遊戲程式透過通訊手段4自中介伺服器2向遊戲終端3供給，但亦可記錄於CD-ROM、DVD-ROM及microSD卡等記錄媒體中並向遊戲終端3提供。又，不限定於遊戲程式預先記憶於遊戲終端3之態樣，亦可將預先應用遊戲參數後之遊戲程式於每次遊戲時自中介伺服器2向遊戲終端3供給。於此情形時，遊戲資料中包含應用有遊戲參數之遊戲程式。

1:機器人操作系統 2、2A:中介伺服器（資訊處理裝置之一例） 3:遊戲終端 4:通訊手段 5、5A:機器人 20a:運算控制器 20b:介面 21:處理器 22:記憶體 24:記憶裝置 25:I/O部 31:遊戲電腦 35:顯示器 37:揚聲器 38:遊戲控制器 41:第1學習裝置 41a:學習資料獲取部 41b:預處理部 41c:第1學習部 42:遊戲資料生成裝置 42a:作業資料獲取部 42b:轉換部（第2轉換部） 42c:遊戲資料供給部 43:機器人控制資料生成裝置 43a:遊戲操作資料獲取部 43b:轉換部（第1轉換部） 43c:機器人控制資料供給部 44:第2學習裝置 44a:學習資料獲取部 44b:預處理部 44c:第2學習部 91:映射圖 91a、91b:點 92、92A:遊戲畫面 92a:線 92b:射擊槍 92c:分數 94:堆積垃圾映射圖 101L、101R:把手 110、120:操作按鈕群 111:R按鈕 121:L按鈕 112、122:類比搖桿 130:觸控顯示器 201:機器人控制器 202:塗料供給裝置 203:閥裝置 204:操作器 205:壓縮機 206:末端效應器 206A:塗裝槍 207:噴嘴 208:起重機 209:高架 210:治具 211:工件 213:機器人操作器 215:垃圾坑 311:主處理器 312:聲音處理器 313:I/O處理器 314:記憶裝置 315:圖形處理器 316:記憶體 381:操作器 382:操作檢測器 383:通訊器 A:第1撥桿 B:第2撥桿 C:按鈕 CA:攝像裝置

圖1係表示本發明之一實施形態之機器人操作系統之整體構成的方塊圖。 圖2係表示遊戲終端之構成之方塊圖。 圖3係遊戲控制器之一例之外觀圖。 圖4係中介伺服器之功能方塊圖。 圖5係表示作為中介伺服器發揮功能之電腦之構成的方塊圖。 圖6係對學習裝置進行之機械學習之流程進行說明之圖。 圖7係對遊戲資料生成裝置之功能進行說明之圖。 圖8係對機器人控制資料生成裝置之功能進行說明之圖。 圖9係於應用例1中顯示於遊戲終端之顯示器之遊戲畫面之一例。 圖10係對應用例1中之作業資料之一例進行說明之圖。 圖11係機器人操作系統進行之處理之流程圖。 圖12係變形例1之中介伺服器之功能方塊圖。 圖13係表示對機器人操作系統之應用例2進行說明之機器人操作系統之整體構成之方塊圖。 圖14係於應用例2中顯示於遊戲終端之顯示器之遊戲畫面之一例。 圖15係對應用例2中之作業資料之一例進行說明之圖。

2:中介伺服器

3:遊戲終端

4:通訊手段

5:機器人

31:遊戲電腦

35:顯示器

38:遊戲控制器

201:機器人控制器

202:塗料供給裝置

203:閥裝置

204:操作器

205:壓縮機

206:末端效應器

206A:塗裝槍

207:噴嘴

210:治具

211:工件

213:機器人操作器

A:第1撥桿

B:第2撥桿

C:按鈕

CA:攝像裝置

Claims (13)

1. 一種資訊處理裝置， 其係在遊戲終端與基於機器人控制資料於現實空間進行作業之機器人之間起中介作用者，該遊戲終端具有執行遊戲程式之遊戲電腦、受理對上述遊戲電腦之操作之輸入之遊戲控制器、及顯示自上述遊戲電腦輸出之虛擬空間之顯示器； 且具備： 遊戲資料供給部，其向上述遊戲終端供給與上述作業之內容相關聯之遊戲資料； 遊戲操作資料獲取部，其在反映有上述遊戲資料之上述遊戲程式之執行期間中獲取包含上述遊戲控制器所受理之操作之輸入之履歷的遊戲操作資料； 第1轉換部，其基於既定之轉換規則將上述遊戲操作資料轉換為上述機器人控制資料；及 機器人控制資料供給部，其向上述機器人供給上述機器人控制資料。
2. 如請求項1所述之資訊處理裝置，其中 上述第1轉換部以藉由對學習了上述遊戲操作資料與上述機器人控制資料之關係性之第1學習後模型輸入上述遊戲操作資料，而將上述遊戲操作資料轉換為上述機器人控制資料之方式構成。
3. 如請求項2所述之資訊處理裝置，其進一步具備第1學習部， 該第1學習部使用包含與上述作業之內容相關聯之上述遊戲操作資料與上述機器人控制資料之第1學習資料學習上述遊戲操作資料與上述機器人控制資料之關係性，生成上述第1學習後模型。
4. 如請求項1至3中任一項所述之資訊處理裝置，其進一步具備第2轉換部， 該第2轉換部基於既定之轉換規則將上述作業之內容轉換為上述遊戲資料。
5. 如請求項4所述之資訊處理裝置，其中 上述第2轉換部以藉由對學習了上述作業之內容與上述遊戲資料之關係性之第2學習後模型輸入上述作業之內容，而將上述作業之內容轉換為上述遊戲資料之方式構成。
6. 如請求項5所述之資訊處理裝置，其進一步具備第2學習部， 該第2學習部使用包含上述作業之內容及與其相關聯之上述遊戲資料之第2學習資料學習上述作業之內容與上述遊戲資料之關係性，生成上述第2學習後模型。
7. 一種機器人操作系統，其具備： 遊戲終端，其具有執行遊戲程式之遊戲電腦、受理對上述遊戲電腦之操作之輸入之遊戲控制器、及顯示自上述遊戲電腦輸出之虛擬空間之顯示器； 機器人，其基於機器人控制資料於現實空間進行作業；及 請求項1至6中任一項所述之資訊處理裝置，其於上述遊戲終端與上述機器人之間起中介作用。
8. 一種機器人操作方法， 其係使用具有執行遊戲程式之遊戲電腦、受理對上述遊戲電腦之操作之輸入之遊戲控制器、及顯示自上述遊戲電腦輸出之虛擬空間之顯示器的遊戲終端，操作基於機器人控制資料於現實空間進行作業之機器人者，且包括： 遊戲程式供給步驟，其向上述遊戲終端供給與上述作業之內容相關聯之遊戲資料； 遊戲操作資料獲取步驟，其在反映有上述遊戲資料之上述遊戲程式之執行期間中獲取包含上述遊戲控制器所受理之操作之輸入之履歷的遊戲操作資料； 機器人控制資料生成步驟，其基於既定之轉換規則將上述遊戲操作資料轉換為上述機器人控制資料；及 機器人控制資料供給步驟，其向上述機器人供給上述機器人控制資料。
9. 如請求項8所述之機器人操作方法，其中上述機器人控制資料生成步驟包括：藉由對學習了上述遊戲操作資料與上述機器人控制資料之關係性之第1學習後模型輸入上述遊戲操作資料，而將上述遊戲操作資料轉換為上述機器人控制資料之動作。
10. 如請求項9所述之機器人操作方法，其進一步包括第1學習步驟， 該第1學習步驟係使用包含與上述作業之內容相關聯之上述遊戲操作資料與上述機器人控制資料之第1學習資料學習上述遊戲操作資料與上述機器人控制資料之關係性，生成上述第1學習後模型。
11. 如請求項8至10中任一項所述之機器人操作方法，其進一步包括遊戲資料生成步驟， 該遊戲資料生成步驟係基於既定之轉換規則將上述作業之內容轉換為上述遊戲資料。
12. 如請求項11所述之機器人操作方法，其中上述遊戲資料生成步驟包括： 藉由對學習了上述作業之內容與上述遊戲資料之關係性之第2學習後模型輸入上述作業之內容，而將上述作業之內容轉換為上述遊戲資料之動作。
13. 如請求項12所述之機器人操作方法，其進一步包括第2學習步驟， 該第2學習步驟係使用包含上述作業之內容及與其相關聯之上述遊戲資料之第2學習資料學習上述作業之內容與上述遊戲資料之關係性，生成上述第2學習後模型。

Images