TW202319946A - 學習資料的生成裝置及學習資料的生成方法、以及使用學習資料的機械學習裝置及機械學習方法 - Google Patents

Abstract

學習資料的生成裝置具備視覺感測器這類的計測器，前述視覺感測器計測複數個工件的配置區域來取得圖像。學習資料的生成裝置具備學習資料生成部，前述學習資料生成部生成包含以視覺感測器所取得的圖像、及工件的取出位置之學習資料。學習資料的生成裝置重複以下來生成複數個學習資料：以移動裝置移動工件來變更工件的配置型樣的控制；由視覺感測器所進行之複數個工件的配置區域的計測；及由學習資料生成部所進行之學習資料的生成。

Description

學習資料的生成裝置及學習資料的生成方法、以及使用學習資料的機械學習裝置及機械學習方法

發明領域

本發明是有關於一種學習資料的生成裝置及學習資料的生成方法以及使用學習資料的機械學習裝置及機械學習方法。

發明背景

至今已知藉由具備多關節機器人的機器人裝置，來搬送工件的技術。機器人保持著工件而變更位置及姿勢，藉此可將工件搬送到目標的位置及姿勢。因此，機器人裝置必須因應工件的位置及姿勢來變更機器人的位置及姿勢。

已知機器人裝置為了保持工件，以視覺感測器拍攝配置在預定的位置的工件，基於從視覺感測器得到的資訊來控制機器人。例如，已知機器人控制裝置從藉由視覺感測器所得到的圖像，來算出工件的位置及姿勢，並因應工件的位置及姿勢來控制機器人的位置及姿勢。

又，近年來，已知為了在各種領域實施機械的控制而進行機械學習(例如日本特開2019-34836號公報)。機械學習已知有強化學習、監督式學習或無監督學習等。

已知於搬送工件的機器人裝置中，為了從以視覺感測器所拍攝之工件的圖像，來推定機器人所要取出之工件的位置及姿勢，而進行機械學習，例如，進行使用教師資料的機械學習，來生成學習模型。並且，已知一種使用已生成的學習模型，從以視覺感測器所拍攝的圖像，來算出機器人所要取出之工件的位置及姿勢的技術(例如日本特開2019-56966號公報及日本特開2018-161692號公報)。 先行技術文獻 專利文獻

專利文獻1：日本特開2019-34836號公報 專利文獻2：日本特開2019-56966號公報 專利文獻3：日本特開2018-161692號公報

發明概要 發明欲解決之課題

機器人裝置為了搬送工件，能以視覺感測器拍攝配置有複數個工件的區域，並算出用以取出1個工件之工件的取出位置。為了進行監督式學習等機械學習，必須生成包含拍到工件的圖像及各個工件的取出位置的資料，來作為學習資料。

在機械學習中，可藉由使用許多學習資料，來生成可正確地推定工件的取出位置及姿勢的學習模型。例如，有取出任意堆疊起來的複數個工件的作業。或，有取出排列整齊的工件的作業。於任一作業中，均宜以許多學習資料來進行機械學習。

然而，為了生成許多的學習資料而有耗費甚多的作業量及時間的問題。特別是在工件大或重的情況下，作業者需要甚多的勞力來變更工件的配置型樣。亦即，有難以一面變更工件的配置型樣，一面取得許多學習資料的問題。

例如，有時會變更難以由1名作業者搬運的大型工件的包裝式樣(配置型樣)，來得到學習資料。為了收集學習資料，必須由複數名作業者來移動工件。因此，用以生成學習資料的效率差。進而，若工件大，有時即使由複數名作業者仍難以搬送工件。

另一方面，能以模擬裝置來生成學習資料。例如，可使用藉由三維CAD(Computer Aided Design(電腦輔助設計))軟體等所做成的三維CAD模型，以模擬裝置來生成虛擬的三維空間。在虛擬的三維空間中，利用工件的三維CAD模型來生成複數個工件的配置型樣。模擬裝置可生成從虛擬的三維空間中之預定的位置，以虛擬的視覺感測器拍攝時之圖像。可將此時的圖像及工件的位置，作為學習資料來使用。

然而，以模擬裝置所生成的圖像，會有與在現實世界中進行實際的作業時所取得的圖像不同的問題。例如，在實際上進行取出工件的作業時，因周圍的照明狀態，投射在工件之物體的陰影、或工件表面的光澤度有時會變化。或，有時在圖像會產生光暈(halation)。進而，在現實世界，工件有無髒汙及其位置與大小、有無刮痕及其位置與大小、或實際上黏貼於工件的物體(例如標籤或膠帶)的位置存在有不一致。以模擬裝置所生成的圖像是未反映這些狀況的理想圖像。又，學習資料會成為未反映製造工件時之大小的誤差或製造不一致的學習資料。進而，在搬送工件時，工件有時會變形。若在模擬裝置生成學習資料，會有無法反映工件的變形或製造不一致等來生成與現實狀態對應之真實的學習資料的問題。

如此，於使用與在實際的作業中所取得的圖像不同的理想圖像，來作為學習資料而生成學習模型的情況下，有時難以正確地推定在實際的作業中所處理之工件的取出位置及姿勢。結果，於實際的作業中，無法保持工件的可能性甚高。亦即，有機器人裝置搬送工件的作業的成功率降低的問題。 用以解決課題之手段

本揭示的第1態樣是使用於機械學習之學習資料的生成裝置。學習資料的生成裝置具備計測器，前述計測器計測複數個工件的配置區域，來取得二維圖像及三維圖像當中之至少一者的圖像。學習資料的生成裝置具備移動至少1個工件的移動裝置、及控制移動裝置的動作的控制部。學習資料的生成裝置具備學習資料生成部，前述學習資料生成部生成包含以計測器所取得的圖像、及用以取出工件之工件的取出位置資訊之學習資料。學習資料的生成裝置重複以下來生成複數個學習資料：以移動裝置移動工件來變更工件的配置型樣的控制；由計測器所進行之複數個工件的配置區域的計測；及由學習資料生成部所進行之學習資料的生成。

本揭示的第2態樣是具備前述學習資料的生成裝置之機械學習裝置。機械學習裝置具備學習部，前述學習部基於由學習資料生成部所生成的學習資料來實施機械學習，並生成從工件的配置區域的圖像來推定工件的取出位置的學習模型。機械學習裝置具備推論部，前述推論部基於由學習部所生成的學習模型，從以計測器所取得的圖像來推定工件的取出位置。

本揭示的第3態樣是使用於機械學習之學習資料的生成方法。學習資料的生成方法具備計測程序，前述計測程序是由計測器計測複數個工件的配置區域，來取得二維圖像及三維圖像當中之至少一者的圖像。學習資料的生成方法具備：移動程序，其由移動裝置移動至少1個工件，來變更工件的配置型樣；及學習資料生成程序，其生成包含以計測步驟所取得的圖像、及用以取出工件之工件的取出位置資訊之學習資料。學習資料的生成方法重複移動程序、計測程序及學習資料生成程序，來生成複數個學習資料。

本揭示的第4態樣是具備前述學習資料的生成方法之機械學習方法。機械學習方法具備學習程序，前述學習程序基於以學習資料生成程序所生成的學習資料來實施機械學習，並生成從工件的配置區域的圖像來推定工件的取出位置的學習模型。機械學習方法具備推論程序，前述推論程序基於以學習程序所生成的學習模型，從以計測器所取得的圖像來推定工件的取出位置。 發明效果

若依據本揭示的態樣，可提供一種學習資料的生成裝置及學習資料的生成方法，其可效率良好且與現實狀態對應而真實地生成使用於機械學習的學習資料。又，可提供一種具備學習資料的生成裝置之機械學習裝置、及包含學習資料的生成方法之機械學習方法。

用以實施發明之形態

參考圖1至圖11，來說明實施形態的學習資料的生成裝置、學習資料的生成方法、機械學習裝置及機械學習方法。在本實施形態的機器人系統中，將配置於地板面或托板(pallet)等之複數個工件，以機器人裝置搬送到預先決定的目標位置。

本實施形態的機械學習裝置生成學習模型，前述學習模型基於拍攝了複數個工件的配置區域的圖像，來算出用以取出工件的取出位置及姿勢。本實施形態的機械學習裝置實施監督式學習。機器人系統基於以視覺感測器這類的計測器所取得的圖像、及藉由預先實施的機械學習所生成的學習模型，來算出工件的取出位置及姿勢。然後，機器人系統因應由機械學習裝置所算出之工件的取出位置及姿勢，來控制機器人的位置及姿勢。本實施形態之學習資料的生成裝置，生成用以生成學習模型之作為教師資料的學習資料。

(第1之學習資料的生成裝置) 於圖1，表示構成本實施形態之第1之學習資料的生成裝置之作為移動裝置的複數台搬送車、複數個工件、及作為計測器的視覺感測器的立體圖。於圖2，表示本實施形態之第1之學習資料的生成裝置的方塊圖。於本實施形態，說明使用長方體的工件之例。此類工件相當於例如紙箱。但工件不限於此形態，可採用任意的形狀的工件。

第1之學習資料的生成裝置1具備視覺感測器32來作為計測器，前述計測器計測作為複數個工件91被配置的區域之配置區域，來取得二維圖像及三維圖像當中之至少一者的圖像。視覺感測器32拍攝複數個工件91及工件91的背景。於第1之學習資料的生成裝置1，配置有拍攝二維的圖像的二維照相機作為視覺感測器32。本實施形態的視覺感測器32雖配置於複數個工件91被配置的區域之上方，但不限於此形態。視覺感測器32亦可配置於複數個工件91被配置的區域之斜上方。

複數個工件91配置於視覺感測器32之視野32a的內部。視覺感測器32固定於支撐構件92而被支撐。支撐構件92雖固定於被固定在環境中的架台(未圖示)，但不限於此形態。支撐構件92亦可固定於可相對於被固定在環境中的架台而移動之移動機構(未圖示)。該移動機構可包含以馬達驅動的機構、或1台機器人裝置。本實施形態的視覺感測器32雖構成為拍攝工件91的上表面91a，但不限於此形態。視覺感測器32亦可構成為一面隨著前述移動機構的動作而移動，一面拍攝工件91的上表面91a及側面91b。又，視覺感測器32亦拍攝複數個工件91的背景。

學習資料的生成裝置1具備包含1台以上之搬送車31的搬送系統，來作為移動至少1個工件的移動裝置。搬送車31在載有1個以上的工件91的狀態下行駛於地板面。又，搬送車31亦可構成為可一面行駛一面升降來使工件升降，或使工件傾斜。本實施形態的搬送車31是自主行駛的無人搬送車(AGV)。本實施形態的搬送系統具備複數台搬送車31。

學習資料的生成裝置1具備運算處理裝置10，前述運算處理裝置10控制複數台搬送車31及視覺感測器32來生成學習資料。運算處理裝置10是藉由具備作為處理器的CPU(Central Processing Unit(中央處理單元))的數位電腦來構成。運算處理裝置10具有透過匯流排連接於CPU的RAM(Random Access Memory(隨機存取記憶體))及ROM(Read Only Memory(唯讀記憶體))等。

運算處理裝置10包含記憶部12，前述記憶部12記憶與學習資料的生成有關的任意的資訊。記憶部12記憶以視覺感測器32所取得的圖像等資料。記憶部12可藉由能記憶資訊的非暫時性記憶媒體來構成。記憶部12可藉由揮發性記憶體、非揮發性記憶體、磁性記憶媒體或光記憶媒體等記憶媒體來構成。

例如，記憶部可藉由配置於邊緣裝置(edge device)或雲端(cloud)的HDD(Hard Disk Drive(硬碟驅動機))或SSD(Solid State Drive(固態硬碟))來構成。或，記憶部亦可包含連接於邊緣裝置的USB(Universal Serial Bus(通用串列匯流排))記憶體等記憶媒體。記憶部亦可配置於透過電信線路連接於運算處理裝置之其他運算處理裝置、伺服器或雲端。

運算處理裝置10包含取得來自外部的資訊的受理部11。受理部11例如藉由來自作業者對鍵盤及滑鼠等輸入裝置的操作，來取得預先決定的學習資料的生成條件25、及預先決定的學習資料生成程式26。輸入裝置亦可包含觸控面板式的顯示面板。或，受理部11亦可藉由檔案的形式來取得來自外部(例如伺服器)的資訊。

運算處理裝置10包含處理部13，前述處理部13進行預處理，前述預處理是在以視覺感測器32拍攝圖像之前生成配置型樣的處理。處理部13包含生成複數個工件91的配置型樣之配置型樣生成部13a。配置型樣生成部13a基於學習資料的生成條件25來生成工件的配置型樣。

運算處理裝置10包含控制部14，前述控制部14控制複數台搬送車31的動作。控制部14包含動作計畫生成部14a，前述動作計畫生成部14a是將由配置型樣生成部13a所生成之複數個工件的複數個配置型樣的各個配置型樣中之各工件的位置及姿勢作為目標值，來生成複數台搬送車31的動作計畫。控制部14包含動作指令生成部14b，前述動作指令生成部14b基於由動作計畫生成部14a所生成的複數台搬送車31的動作計畫，來生成使複數台搬送車31動作的複數個動作指令。由動作指令生成部14b所生成的複數個動作指令，是藉由無線通訊發送到複數台搬送車31。各搬送車31按照動作指令來移動工件91。

控制部14包含對視覺感測器32發送攝像開始指令的攝像指令生成部14c。在各搬送車31配置到以動作計畫所決定之各目標位置之後，攝像指令生成部14c對視覺感測器32發送攝像開始指令。視覺感測器32基於攝像開始指令，來拍攝載置於複數台搬送車的複數個工件91被配置之配置區域。

運算處理裝置10具備學習資料生成部15，前述學習資料生成部15生成包含以視覺感測器32所取得的圖像、及用以取出工件之工件的取出位置資訊之學習資料。學習資料生成部15包含取得用以生成學習資料的資料之資料取得部15a。資料取得部15a取得以視覺感測器32所拍攝的圖像。為了進行以機器人裝置搬送工件的作業，資料取得部15a取得要以手部保持之工件的取出位置資訊。資料取得部15a可基於由配置型樣生成部13a所生成之複數個工件91的配置型樣，來算出複數個工件91各自的取出位置。資料取得部15a可針對各個工件91算出取出位置資訊，來作為工件的位置資訊。

運算處理裝置10的學習資料生成部15包含判定部15b，前述判定部15b基於預先決定之學習資料的合格的判定基準，來判定要將學習資料保存或廢棄。判定部15b判定包含工件的取出位置及姿勢、工件的外形、及工件的圖像的學習資料是否適合用來進行學習。判定基準可舉出例如圖像是否失焦、是否太暗、是否太亮、是否有很多重複的圖像、或是否有很多未拍到工件的圖像等。在學習資料滿足判定基準時，將學習資料記憶於記憶部12。在學習資料不滿足判定基準時，判定部15b將學習資料廢棄。

運算處理裝置10包含圖像處理部16，前述圖像處理部16進行以視覺感測器32所拍攝之圖像的圖像處理。例如從視覺感測器32取得二維圖像時，圖像處理部16藉由進行二維圖像的型樣匹配(pattern matching)，來推定二維圖像中之工件的取出位置及姿勢。

上述受理部11、處理部13、包含於處理部13之配置型樣生成部13a，相當於按照學習資料生成程式26來驅動的處理器。又，控制部14、包含於控制部14之動作計畫生成部14a、動作指令生成部14b及攝像指令生成部14c，相當於按照學習資料生成程式26來驅動的處理器。圖像處理部16、學習資料生成部15、包含於學習資料生成部15之資料取得部15a及判定部15b，相當於按照學習資料生成程式26來驅動的處理器。處理器實施決定於學習資料生成程式26的處理，藉此作為各個單元而發揮功能。

於圖3，表示本實施形態的學習資料的生成方法的控制的流程圖。參考圖1至圖3，於步驟101，受理部11取得學習資料的生成條件25。學習資料的生成條件25包含例如學習資料的個數的目標值、工件的種類的個數的範圍、工件的尺寸的範圍、及工件的配置型樣的條件當中之至少一者。工件的配置型樣的條件可包含複數個工件堆疊的層數的範圍、及工件彼此之間的間隙的條件當中之至少一者。又，於學習資料的生成條件25，亦可包含在學習資料的生成中所使用之實際的工件的外形、大小及個數的資訊。

作業者可透過輸入裝置來指定所需之學習資料的生成條件25。例如，作業者可將學習資料的個數的目標值指定為100組。作業者可將工件的種類的個數的範圍設定為1種以上且15種以下。作業者可將寬度、高度及深度設定為150mm以上且800mm以下，來作為工件的尺寸的範圍。

作業者可指定工件以1層以上且5層以下的範圍重疊，來作為工件的配置型樣的條件。工件彼此之間的間隙可設定為例如5mm以上且10mm以下。受理部11所受理的學習資料的生成條件25記憶於記憶部12。

接著，於步驟102，處理部13的配置型樣生成部13a生成複數個工件的複數個配置型樣。本實施形態的配置型樣生成部13a構成為執行三維的模擬。配置型樣生成部13a基於學習資料的生成條件25，以三維的模擬來生成複數個工件的複數個配置型樣。例如，生成1個如圖1所示之3列4行的複數個工件91的配置型樣。再者，配置型樣生成部不限於生成如圖1所示之工件的堆高層為1層的配置型樣，亦可生成2層以上的配置型樣。

配置型樣生成部13a可藉由例如三維的模擬裝置來構成，前述三維的模擬裝置使用以三維CAD軟體所生成的三維CAD模型。配置型樣生成部13a是在模擬裝置所生成之虛擬的三維環境中，利用工件的三維CAD模型，並基於學習資料的生成條件25來生成配置型樣。配置型樣生成部13a能以對應於如圖1所示之進行工件拍攝的區域的方式，來生成虛擬的三維空間。然後，生成在可拍攝工件的區域的內部配置有複數個工件的複數個配置型樣。

配置型樣生成部13a例如藉由三維CAD軟體，在工件的寬度、高度及高度分別為150mm以上且800mm以下，且尺寸為互異的15種之範圍內，生成例如60個工件的CAD模型。使用該等60個工件的CAD模型來生成複數個配置型樣，例如60個工件的CAD模型，能以在1層以上且5層以下的範圍內堆疊起來的方式生成複數個配置型樣。又，能以工件的CAD模型彼此之間的間隙在5mm以上且10mm以下的範圍內之方式生成配置型樣。配置型樣生成部13a亦可生成例如100組配置型樣。

如此，配置型樣生成部13a可生成滿足學習資料的生成條件25之任意的配置型樣。配置型樣生成部13a可在虛擬的三維模擬環境中，以使全部的工件的CAD模型配置於虛擬的視覺感測器32之視野32a的內部的方式，不規則地生成工件的配置型樣。

又，配置型樣生成部13a可算出各個配置型樣中之各工件的三維的位置及姿勢，並作為處理結果來輸出。例如，於模擬裝置所生成之虛擬的三維空間中，配合實際的視覺感測器的位置及姿勢，來生成虛擬的視覺感測器的模型。於各個配置型樣中，算出各個工件相對於虛擬的視覺感測器之三維的相對位置及相對姿勢。亦即，配置型樣生成部13a可算出虛擬的視覺感測器的感測器座標系統中之各工件的三維的位置及姿勢。例如，可將工件91之上表面91a的重心位置決定為工件91的位置。可算出工件91的上表面91a的姿勢來作為工件91的姿勢。記憶部12可記憶配置型樣生成部13a的處理結果。

又，配置型樣生成部13a可生成1層的配置型樣，或生成複數個工件重疊的2層以上的配置型樣。又，配置型樣生成部13a亦可生成在視覺感測器的視野的內部(攝像區域)，未配置任何工件的配置型樣。亦即，亦可生成只拍攝到用以搬送工件的搬送車、托板或托盤(tray)等背景之配置型樣。

參考圖3，於步驟103，控制部14的動作計畫生成部14a制訂複數台搬送車31的動作計畫。動作計畫生成部14a基於配置型樣生成部13a的處理結果，來生成複數台搬送車31的動作計畫。然後，動作指令生成部14b生成基於如此所生成之動作計畫的複數個動作指令。

例如，配置型樣生成部13a生成複數個工件的100組不同的配置型樣。配置型樣生成部13a針對各個配置型樣，算出各個工件相對於虛擬的視覺感測器之三維的相對位置及相對姿勢的資訊並加以輸出。參考圖1，事先實施在現實世界中進行實際的攝像的視覺感測器32、與各個搬送車31開始移動的原點的位置之間的校正(calibration)。搬送車31的原點位置可採用例如各個搬送車31的充電站的位置。

動作計畫生成部14a將從配置型樣生成部13a輸出之各工件91相對於視覺感測器32的相對位置及相對姿勢，進行座標轉換，而轉換成各工件91相對於搬送車31的原點位置之三維的位置及姿勢。亦即，可將在視覺感測器32的感測器座標系統下的座標值，轉換成以搬送車31的原點位置作為原點的座標系統下的座標值。然後，動作計畫生成部14a將各工件91相對於搬送車31的原點位置之三維的位置及姿勢作為目標值，來生成載有工件91之搬送車31的動作的動作指令，以使各工件91實際上會到達該目標值。動作計畫生成部14a進行各搬送車31的動作計畫，以使各個工件91到達由配置型樣生成部13a所生成的目標位置及姿勢。

動作計畫生成部14a可針對由配置型樣生成部13a所生成之複數個工件的1個配置型樣，藉由上述方法來計畫各搬送車31的動作。動作計畫生成部14a生成使各搬送車31在載放有工件91的狀態下朝向目標位置及目標姿勢移動時，複數台搬送車31彼此不會互相碰撞地移動的動作計畫。例如，動作計畫生成部14a可生成1台1台地將搬送車31移動到目標位置及目標姿勢的計畫。例如，動作計畫生成部14a可生成1台1台地移動載有工件的搬送車31的計畫，以使從視覺感測器俯視觀看工件的配置型樣時，工件是從配置型樣的端部依序配置。

或，動作計畫生成部14a使複數台搬送車31同時地動作，計算各個搬送車31之間的距離。動作計畫生成部14a亦可以該距離大於0的方式生成複數台搬送車31的動作計畫。控制部14的動作指令生成部14b基於如此所生成之各搬送車31的動作計畫，來生成各搬送車31的動作指令。

於步驟104，搬送車31按照動作指令來移動以搬送工件91。各個工件91被各搬送車31搬送，而成為由配置型樣生成部13a所生成之配置型樣中的預定的位置及姿勢。有各種方法來控制搬送車31，使其從預定的原點位置(例如充電站)在載放有工件91的狀態下出發，並到達目標位置及目標姿勢。作為基於搬送車的動作計畫來控制搬送車的方法，例如可於搬送車黏貼標記(marker)，配置可拍攝搬送車移動的空間的視覺感測器，藉由後述的圖像處理部的圖像處理，來檢測以一定的時間間隔拍攝之圖像上的標記的位置及姿勢，並即時地計算搬送車的位置及姿勢。

例如，圖像處理部實施由視覺感測器所拍攝之圖像的圖像處理。從在一定的時間間隔拍攝的圖像，檢測標記的位置及姿勢，亦即檢測搬送車現在的位置及姿勢。為了到達三維的目標位置及目標姿勢，動作指令生成部分別算出搬送車現在的位置及姿勢與目標位置及目標姿勢的差分。然後，可基於這些差分算出搬送車應移動的目標速度向量，並算出搬送車應移動的速度指令來作為動作指令。

或，亦可於搬送車配置加速度感測器，將藉由加速度感測器所計測之現在的加速度進行2次積分來計算現在位置。或，亦可於搬送車配置GPS(Global Positioning System(全球定位系統))的接收機，來計測搬送車現在的位置。動作指令生成部亦可基於GPS裝置即時的測定結果，不斷地修正搬送車的速度指令，並將經修正的速度指令發送至搬送車。又，亦可比較視覺感測器以一定的時間間隔拍攝之複數個二維圖像的差分，在二維的圖像上完全拍到工件91的4個角部之後，將停止指令發送給搬送車31。

接著，於步驟105，控制部14的攝像指令生成部14c對視覺感測器32發送拍攝圖像的攝像開始指令。在由配置型樣生成部13a所生成的1個配置型樣完成之後，視覺感測器32拍攝圖像。在此是拍攝二維圖像。二維圖像可為由1張圖像所構成的圖像資料，前述1張圖像包含有複數個工件91的上表面91a的圖像。又，當具備移動視覺感測器32的移動機構時，控制部14可藉由控制移動機構的動作來控制視覺感測器32的位置及姿勢。此情況下的二維圖像亦可為由1張以上的圖像所構成的圖像資料，前述1張以上的圖像包含有複數個工件91的上表面91a及側面91b。

接著，於步驟106，學習資料生成部15的資料取得部15a取得以視覺感測器32所拍攝的二維圖像。又，學習資料生成部15的資料取得部15a從配置型樣生成部13a，取得各個工件的位置及姿勢。資料取得部15a取得例如視覺感測器32的感測器座標系統中之各個工件91的位置及姿勢。然後，資料取得部15a從配置型樣生成部13a取得工件的尺寸及工件的外形。然後，資料取得部15a算出機器人裝置用以進行取出工件的作業之工件的取出位置及姿勢。接著，學習資料生成部15生成除了包含圖像資料以外，還包含取出位置及姿勢、工件的外形當中之至少一者的資訊之學習資料。例如，亦可生成包含圖像資料及取出位置資訊的學習資料，或亦可生成包含圖像資料及取出位置及姿勢的資訊之學習資料，或亦可生成包含圖像資料、取出位置及姿勢、及工件的外形資訊之學習資料。

接著，於步驟107，學習資料生成部15的判定部15b判定已生成的1個學習資料是否滿足學習資料的合格的判定基準。判定部15b可基於圖像處理部16的圖像處理的結果，來判定包含由視覺感測器32所拍攝的圖像的學習資料是否適合於機械學習。這些學習資料之合格的判定基準可包含於學習資料的生成條件25。

例如，圖像處理部16對學習資料的候選圖像實施圖像處理，檢測圖像中的工件。判定部15b就目前為止已生成的學習資料的圖像，來算出未檢測出任何工件的圖像的張數。亦即，算出未拍到工件的圖像的張數。當此圖像的張數超過預先決定的閾值(例如1張)時，判定部15b亦可將包含圖像及對應於圖像之取出位置等資訊的學習資料，判定為不合格的學習資料。

或，圖像處理部16計算本次拍攝之候選的二維圖像、與已經拍攝之二維圖像的差分，並將計算結果輸出至記憶部12。差分少的複數個圖像為重複的圖像，判定部15b可將其判定為不合格的學習資料。然後，判定部15b亦可留下1組學習資料，刪除重複的其他學習資料。

又，圖像處理部16可藉由實施例如快速傅立葉轉換(FFT：Fast Fourier Transform)，來算出作為學習資料之候選的二維圖像的明亮度或失焦等。判定部15b取得圖像處理的結果。判定部15b基於預先決定的判定閾值，來選定太暗的圖像、太亮的圖像或失焦的圖像等。判定部15b亦可將包含這些圖像的學習資料，判定為不合格的學習資料。

於步驟107，當生成的學習資料滿足學習資料的合格的判定基準時，控制移動到步驟109。於步驟109，記憶部12記憶學習資料。於步驟107，當生成的學習資料不滿足學習資料的合格的判定基準時(不合格時)，控制轉移到步驟108。於步驟108，判定部15b將學習資料廢棄。再者，在把由學習資料生成部所生成之全部的學習資料記憶於記憶部12之後，判定部15b亦可將不滿足學習資料的判定基準之學習資料廢棄。

接著，於步驟110，判定部15b判定記憶於記憶部12之合格的學習資料的個數，是否到達預先決定的目標值。例如，判定部15b判定是否已生成目標值的100組學習資料。於步驟110，當學習資料的個數達到目標值時，判定部15b判定為學習資料的個數合格。亦即，可判定為已生成為了進行機械學習所需的學習資料。然後，結束此控制。

另，於步驟110，當學習資料的個數少於目標值時，控制返回到步驟102。於步驟102，配置型樣生成部13a生成別的配置型樣。或，在已經生成複數個配置型樣的情況下，配置型樣生成部13a選定未曾被選定的新的配置型樣。然後，重複實施從步驟102到步驟110的控制，直到學習資料的個數到達目標值為止。

如此，本實施形態之學習資料的生成裝置實施重複以下內容的控制：以搬送車31移動工件91來變更複數個工件91的配置型樣的控制；由視覺感測器32所進行之配置有複數個工件91的配置區域的攝像；及由學習資料生成部15所進行之學習資料的生成。本實施形態之學習資料的生成方法具備：計測程序，其由作為計測器的視覺感測器32拍攝配置有複數個工件91的配置區域，來取得二維圖像及三維圖像當中之至少一者的圖像；及移動程序，其由搬送車31移動至少1個工件91，來變更工件的配置型樣。學習資料的生成方法具備學習資料生成程序，前述學習資料生成程序生成包含以視覺感測器所拍攝的圖像、及用以取出工件之工件的取出位置資訊之學習資料。然後，重複移動程序、計測程序及學習資料生成程序，來生成複數個學習資料。

本實施形態之學習資料的生成裝置及學習資料的生成方法可效率良好地生成學習資料。特別可針對重的工件或大型的工件，將改變此類的複數個工件的配置型樣時所需的搬運作業予以自動化。可減輕作業者的負擔或縮短作業時間。例如，作為重的工件，可例示若由1名作業者搬送的話，負擔甚大的10kg以上的工件或20kg以上的工件。作為大型的工件，可例示若由1名作業者搬送的話，負擔甚大的直徑1m以上的工件或2m以上的工件。

在本實施形態之學習資料的生成裝置及生成方法中，並非使用模擬中的，而是使用實際的作業中所處理的工件的圖像來生成學習資料。因此，可生成反映出照明的條件、工件的製造的不一致、搬送中的工件的變形等之真實的學習資料。藉由將此類真實的學習資料使用於機械學習，可在實際的真實環境中對應於各種狀況來正確地檢測工件。結果，可抑制工件的保持的失敗，使作業效率提升。

又，可將工件檢測失敗或未檢測出工件時之圖像資料也收集並學習。可生成更接近現實的作業的學習資料。又，可將在實際的作業中拍到配置有工件的背景的圖像，也設為學習資料。特別是在複數個工件重疊的情況下，可使包含作為背景之周圍工件的圖像，包含於學習資料中。此情況下，由於難以將要取出的對象工件周圍較近的工件與對象工件做區別，因此可生成包含要取出的對象工件與其周圍之細緻且複雜的背景的關係之學習資料。結果，可提升在機械學習中，從包含細緻且複雜的背景的圖像檢測出工件的精度。

於圖4，表示將工件的配置型樣變更1次之後的工件及視覺感測器的立體圖。在圖4所示之配置型樣中，9個工件91配置於視野32a的內部。另，在圖1所示之配置型樣中，12個工件91配置於視野32a的內部。在各個配置型樣中，配置於視野32a的內部之工件的種類(大小)、個數、及工件的位置及姿勢互異。

如此，工件的配置型樣能以任意的形態來變更。例如，可從未配置有工件91的狀態，1個1個地增加工件的個數。或，亦可減少以視覺感測器32所拍攝之視野32a的內部之工件的個數。要變更配置型樣時，可1個1個增加或減少工件。或，亦可以任意的個數增加或減少工件來藉此變更配置型樣。又，除了變更工件的個數以外，亦可任意地變更例如工件堆疊起來的層的層數、配置於各層的工件的個數、工件的尺寸的種類數、各尺寸的工件的個數、及各工件的位置及姿勢。

再者，於圖1及圖4，工件配置為從視覺感測器32觀看時排列整齊，但不限於此形態。工件亦可配置為從視覺感測器觀看時之工件的方向不規則。工件91亦可配置為從視覺感測器32觀看時之工件91的上表面91a(有切割線的面)傾斜。又，工件91亦可配置為從視覺感測器32觀看時之工件的側面91b(無切割線的面)朝上。

又，學習資料生成部15的判定部15b亦可判定，工件是否按照由配置型樣生成部13a所決定的配置型樣來配置。配置型樣生成部13a是於三維的模擬中，對虛擬的視覺感測器設定攝像平面。然後，配置型樣生成部13a亦可構成為輸出將複數個工件投影到攝像平面的投影圖像。然後，圖像處理部16算出從配置型樣生成部13a輸出的投影圖像、與視覺感測器32所拍攝之圖像的差分。然後，判定部15b亦可基於算出的差分是否為預先決定的閾值以下的判定，來判定工件是否按照以模擬所生成之目標的配置型樣來配置。例如，當投影圖像與視覺感測器32所拍攝之圖像的差分小於預定的判定閾值時，判定部15b可判定為工件是按照以模擬所生成之目標的配置型樣來配置。

又，學習資料的生成裝置1的視覺感測器32亦可拍攝不存在任何工件的背景。例如，視覺感測器32亦可拍攝未載置有工件的容器(container)、托盤或托板等之圖像。配置型樣生成部13a亦可生成此類未配置有工件的配置型樣。學習資料生成部15亦可生成包含只以工件的背景來構成的圖像之學習資料。將未配置有工件的圖像亦加入學習資料中來實施機械學習，藉此可良好地學習與配置有工件之圖像的差分。因此，可減少諸如將存在於背景的雜訊當作工件而誤檢測的失敗個案。

拍攝工件之二維圖像的二維照相機可採用拍攝二維圖像的任意的裝置。拍攝二維圖像的裝置可採用可見光照相機，諸如拍攝黑白圖像的照相機或拍攝彩色圖像的照相機。或，亦可採用拍攝經加熱的高溫金屬的工件之紅外線照相機，或可檢測以可見光無法看到的刮痕之拍攝紫外線圖像的紫外線照相機等。

本實施形態的視覺感測器雖藉由支撐構件固定，亦即視覺感測器雖位置固定，但不限於此形態。視覺感測器亦可構成為可移動。例如，亦可視覺感測器固定於固定在搬送車的支撐構件而與搬送車一同移動。又，視覺感測器亦可固定於1台機器人的臂的指部而與機器人的指部一同移動。

又，於本實施形態之學習資料的生成裝置1，雖採用搬送車31來作為移動工件91的移動裝置，但不限於此形態。特別是於本實施形態，雖採用自主移動的無人搬送車，但不限於此形態。由作業者利用遠程操作以手動來移動的搬送車，或可切換自主或手動的搬送車亦可。搬送車可採用具有車輪驅動機構的搬送車或具有履帶式驅動機構的搬送車。或，亦可為具有該等雙方的驅動機構，一面因應地板面的狀況自主或手動地切換而一面移動的搬送車。

又，移動裝置亦可構成為進行改變工件之三維的位置及姿勢的動作。例如，可於移動裝置，設定具有延伸於水平方向的X軸及Y軸的座標系統。移動裝置可具有鎖定機構，前述鎖定機構在載放有工件的狀態下，以讓工件的X軸方向及Y軸方向的位置不變的方式來保持工件。然後，移動裝置亦可具有改變工件之Z軸方向的位置之升降機構。藉由採用該機構，移動裝置可在載放有工件的狀態下往X軸方向及Y軸方向移動，並且驅動升降機構，來改變工件之三維的位置。

又，移動裝置亦可具有改變載放有工件之構件的姿勢之機構。例如，移動裝置亦可構成為具有旋轉機構(例如鉸鏈及彈簧等)，前述旋轉機構將載放有工件的構件繞著X軸或Y軸傾斜。進而，移動裝置可藉由具有在載放有工件的狀態下繞著Z軸旋轉的機構，來改變工件之三維的姿勢。例如，以+10mm往X軸方向、以-20mm往Y軸方向、以及以+50mm往Z軸方向並進移動，來改變工件的位置及姿勢。進而，能以+20°繞著X軸、以-30°繞著Y軸、以+60°繞著Z軸旋轉。如此，可藉由變更至少1個工件之三維的位置及姿勢，來變更複數個工件的配置型樣。本實施形態的移動裝置可構成為具有前述複數個機構當中之至少1個機構。

於本實施形態，於1台搬送車載置有1個工件，但不限於此形態。可於1台搬送車載置複數個工件。例如可於1台搬送車，將複數個工件堆疊起來或並排。

(具備機械學習裝置的機器人系統) 於圖5，表示本實施形態中檢測實際的工件並進行搬送的第1機器人系統的立體圖。於圖6，表示本實施形態的機器人系統的方塊圖。參考圖5及圖6，第1機器人系統8具備包含機器人3及手部4的機器人裝置。本實施形態的機器人3是具有複數個關節部的多關節機器人。本實施形態的手部4包含吸附墊4a。手部4構成為藉由吸附來保持工件91。再者，機器人裝置不限於此形態，可採用具有可搬送工件之任意的機器人及手部的機器人裝置。

機器人系統8具備拍攝工件91的配置區域的視覺感測器32。在實際上進行搬送工件91的作業時，搬送藉由任意的方法來配置於配置區域的托板33之複數個工件91。工件91亦可為例如進貨到物流中心的倉庫之裝有商品的紙箱。工件91載置於托板33而被搬送到機器人裝置進行作業的區域。

視覺感測器32拍攝配置有複數個工件91的配置區域。視覺感測器32固定於支撐構件92。視覺感測器32被固定為視野32a的內部配置有全部的構件91，但不限於此形態。視覺感測器32亦可與支撐構件92一同固定於機器人3的指部，而與機器人3的動作一同移動。與學習資料的生成裝置同樣，視覺感測器32配置於工件91被配置的區域的上方，以便主要拍攝工件91的上表面91a，但不限於此形態。視覺感測器32亦可配置於工件91被配置的區域的斜上方，以便拍攝工件91的上表面91a及側面91b。或，視覺感測器32亦可配置為一面隨著機器人3的動作而移動，一面拍攝工件91的上表面91a及側面91b。視覺感測器32可採用二維照相機、三維照相機、及包含二維照相機與三維計測器的計測器。

機器人系統8具備控制機器人裝置的機器人控制裝置2(未圖示)。機器人控制裝置2包含具有作為處理器的CPU(Central Processing Unit(中央處理單元))的運算處理裝置(電腦)。機器人控制裝置2包含記憶部42，前述記憶部42記憶關於機器人系統8的任意的資訊。與運算處理裝置10的記憶部12同樣，記憶部42可藉由能記憶資訊的非暫時性記憶媒體來構成。

於機器人控制裝置2，亦可輸入有為了進行機器人3及手部4的動作而預先生成的動作程式41，或亦可構成為在內部生成動作程式41。動作控制部43將用以基於動作程式41來驅動機器人3的動作指令，發送至臂驅動部44。臂驅動部44包含將驅動馬達驅動的電路，基於動作指令來對臂驅動裝置46給予電氣指令。又，動作控制部43將驅動手部驅動裝置47的動作指令發送至手部驅動部45。手部驅動部45包含例如驅動空氣泵等之電路，基於動作指令來對空氣泵等給予電氣指令。

動作控制部43相當於按照動作程式41來驅動的處理器。處理器讀入動作程式41，實施決定於動作程式41的控制，藉此作為動作控制部43而發揮功能。

本實施形態的機器人系統8具備機械學習裝置。本實施形態的機械學習裝置具備前述的學習資料的生成裝置1及機器人控制裝置2。機器人控制裝置2包含進行機械學習的機械學習部51。機械學習部51可藉由學習來得到被輸入的學習資料所包含的特性或特徵等。

機械學習部51包含資料取得部52及生成學習模型55的學習部54。本實施形態的機械學習部51實施監督式學習。在監督式學習中，將複數組的學習資料57，亦即將複數組的輸入資料(包含圖像資料及標籤資料)輸入於機械學習部51。機械學習部51學習被輸入的資料集所包含的圖像資料與標籤資料的關係性。機械學習部51生成從圖像推定標籤的模型(學習模型)，亦即生成獲得標籤對圖像的關係性的模型。

在本實施形態，資料取得部52取得作為輸入的學習資料57所包含的圖像58。又，資料取得部52取得學習資料57所包含的取出位置及姿勢59、工件的外形60當中之至少一者來作為標籤。學習部54取得例如包含標籤的100組學習資料57來作為輸入資料。學習部54例如將學習資料當作MASK R-CNN(Region Based Convolutional Neural Networks(基於區域的卷積類神經網路))的輸入資料，來進行深層學習而生成學習模型55。

機械學習部51相當於按照機械學習的程式來驅動的處理器。處理器實施決定於程式的控制，藉此作為機械學習部51而發揮功能。又，資料取得部52、學習部54及推論部56的各個單元，相當於按照機械學習的程式來驅動的處理器。

資料取得部52例如將圖像58作為以二維照相機所拍攝的圖像來取得。又，資料取得部52將取出位置及姿勢59與工件的外形60，作為由配置型樣生成部13a所生成之複數個工件的複數個配置型樣的各個配置型樣中之各工件的位置及姿勢的資訊與外形資訊來取得。學習部54可生成學習模型55，前述學習模型55從二維照相機所拍攝之工件的配置區域的圖像，來推定工件的取出位置及姿勢與工件的外形。

推論部56取得由學習部54生成的學習模型55。推論部56將從機器人系統8的視覺感測器32拍攝的二維圖像當作輸入資料，使用學習資料57，來推定例如圖像所拍到之工件91的上表面91a之三維的取出位置及姿勢與工件的外形。

工件91的取出位置及姿勢可藉由例如視覺感測器32的感測器座標系統來算出。於機器人裝置，設定有即使機器人3的位置及姿勢變化時仍為不動的世界座標系統。感測器座標系統與設定於機器人裝置的世界座標系統的校正可預先實施。

機器人控制裝置2的動作控制部43從推論部56，取得藉由感測器座標系統來表現之工件91的取出位置及姿勢。動作控制部43轉換為藉由世界座標系統來表現之工件91的取出位置及姿勢。當學習資料57之作為標籤資料的工件的取出位置及姿勢59已經藉由世界座標系統來表現時，機器人控制裝置2的動作控制部43從推論部56，取得藉由世界座標系統來表現之工件91的取出位置及姿勢。動作控制部43基於藉由世界座標系統來表現之工件的取出位置及姿勢，來算出機器人取出工件時之機器人及手部的位置及姿勢。動作控制部43可控制機器人3及手部4以保持工件91。

動作控制部43可依據預先決定的順序，來實施取出工件91的作業。例如，動作控制部43實施以下控制：從配置於配置型樣的端部或最高位置的工件91開始，依序保持工件91並搬送到預定的位置。機器人裝置例如可將各個工件91，搬送到配置在工件91被配置之作業區域的側邊之輸送機(conveyor)。

如此，本實施形態的機械學習裝置具備生成學習資料之學習資料的生成裝置。機械學習裝置包含生成學習模型的學習部，前述學習模型從工件的配置區域的圖像來推定工件的取出位置。學習部基於由學習資料生成部所生成的學習資料來實施機械學習。機械學習裝置包含推論部，前述推論部從以計測器所取得的圖像來推定工件的取出位置。又，機械學習方法具備學習程序，前述學習程序基於以前述學習資料生成方法所生成的學習資料，生成從工件的配置區域的圖像來推定工件的取出位置的學習模型。在學習程序中，基於以學習資料生成程序所生成的學習資料來實施機械學習。機械學習方法包含推論程序，前述推論程序基於以學習程序所生成的學習模型，從以計測器所取得的圖像來推定工件的取出位置。在本實施形態的機械學習裝置或機械學習方法，由於使用以本實施形態之學習資料的生成裝置所生成的學習資料，因此可生成推定取出位置的精度優異的學習模型。或，推論部可從工件的配置區域的圖像，精度良好地推定取出位置。

作為使用於機械學習的學習資料，亦可取得過去拍攝的圖像及取出位置資訊等而構成。例如，學習資料生成部亦可從雲端或預定的裝置的資料庫，取得圖像與工件的取出位置及姿勢、外形資訊。又，學習資料生成部亦可經由LAN(Local Area Network(區域網路))等網路，來取得記錄於記憶體等記憶媒體的二維圖像或取出位置資訊等。或，學習資料生成部亦可形成為透過網路，遠程地取得藉由設置在遠程地的視覺感測器所拍攝的圖像及取出位置資訊等。

本實施形態的機械學習裝置雖進行監督式學習，但不限於此形態，可進行任意的機械學習。例如，可使用由學習資料的生成裝置所生成的學習資料，來實施半監督式學習、無監督學習或強化學習等機械學習。

於圖7，表示本實施形態之進行實際的作業的第2機器人系統的立體圖。於前述第1機器人系統8，機器人裝置的位置固定，但不限於此形態。第2機器人系統9包含用以移動機器人3的滑動裝置34。滑動裝置34包含機器人3被固定的移動台35。移動台35如箭頭99所示，構成為可往滑動裝置34延伸的方向移動。

如此，機器人3亦可固定於移動的裝置。藉由採用此構成，即使是行程(stroke)短的機器人3仍可取出全部的工件。亦即，可謀求機器人的小型化。於第2機器人系統9，雖採用滑動裝置來作為移動機器人全體的裝置，但不限於此形態。例如，亦可採用搬送車來作為移動機器人全體的裝置。亦即，亦可形成為機器人固定於搬送車而可往任意的方向移動。

(第2之學習資料的生成裝置) 說明本實施形態的第2之學習資料的生成裝置。第2之學習資料的生成裝置的構成與第1之學習資料的生成裝置1的構成同樣(參考圖1及圖2)。於第1之學習資料的生成裝置1，學習資料57所包含之工件的取出位置及姿勢59，是採用藉由配置型樣生成部13a所執行的模擬來算出之三維的取出位置及姿勢。又，關於工件的外形60，亦使用在模擬中使用之工件的三維CAD模型的資訊。

如圖1所示，實際上載放有工件91的搬送車31移動，藉此生成配置型樣。然而，以搬送車31搬送之工件91的位置及姿勢，有時會從以模擬所算出之工件的位置及姿勢稍微偏離。以下敘述補正計算此偏離量的方法。

參考圖2，於第2之學習資料的生成裝置，圖像處理部16進行以視覺感測器32所取得之二維圖像的圖像處理。由配置型樣生成部13a所生成的前述投影圖像，是為了滿足由作業者所指定之學習資料的生成條件25而生成的配置型樣的投影圖像，是嚴格地反映出作業者的意志的圖像。將此投影圖像當作基準圖像來保存於記憶部12。於各個基準圖像，各工件的取出位置是由模擬裝置算出並決定。

圖像處理裝置16藉由計算拍攝了在現實世界中藉由複數台搬送車31的動作所做成之實際的配置型樣之二維圖像與基準圖像的差分，來進行將從基準圖像中之工件的位置及姿勢或外形起算的差分或偏離量予以補正的計算，並計算實際上拍攝的二維圖像中之工件的取出位置及工件的外形。藉此，可針對拍攝了在現實世界藉由搬送車31的動作所做成之實際的配置型樣之二維圖像資料，生成無偏離的標籤資料(取出位置及姿勢與外形資訊)，可生成包含無偏離之標籤資料及圖像資料的優異的學習資料。

學習資料生成部15生成包含以下的學習資料：從視覺感測器32得到的二維圖像；及由圖像處理部16檢測到的二維圖像中之工件的二維的取出位置及姿勢與工件的外形。參考圖6，機械學習裝置的學習部54可使用學習資料來進行監督式學習。學習部54可生成學習模型55，前述學習模型55從二維圖像來推定二維圖像中之工件的取出位置及姿勢與工件的外形。

例如，就互異的100組工件的配置型樣，取得100張二維圖像。針對各個圖像，進行包含型樣匹配的圖像處理。取得各個圖像中之工件在二維圖像中的取出位置及姿勢的資訊與工件的外形的資訊。生成此等之100組學習資料，進行利用MASK R-CNN的深層學習，而生成學習模型。

關於實際進行工件搬送的機器人系統，可採用與圖5及圖6的機器人系統同樣的構成。在此，視覺感測器32可採用能取得二維圖像及三維點雲資料的計測器。例如，作為計測器的視覺感測器32可採用立體照相機。

於搬送工件的作業中，基於視覺感測器32所拍攝的二維圖像，推論部56推定圖像所包含之工件在二維圖像中之取出位置及姿勢與工件的外形。視覺感測器32輸出二維圖像，並且輸出三維點雲資料。

推論部56從視覺感測器32取得三維點雲資料。推論部56例如取得以立體照相機所取得之三維點雲資料。推論部56算出二維圖像中之二維的取出位置(圖像中之像素的位置)及姿勢。接著，推論部56從三維點雲資料當中，基於計測器的校正的關係，來算出與二維圖像中之取出位置(像素位置)對應之三維空間上的點之三維的取出位置。關於工件的姿勢，當學習資料57包含工件的取出姿勢時，可採用由推論部56推定的工件的姿勢。如此，推論部56可藉由使用來自具有二維計測器的功能及三維計測器的功能之計測器的計測資料，從二維圖像算出工件之三維的取出位置及姿勢。

再者，當學習資料57不包含工件的取出姿勢時，推論部56亦可基於三維點雲資料來算出三維空間中之工件的姿勢。例如，可基於已算出的二維圖像中之二維的姿勢及三維的取出位置周圍的點雲資料，來算出工件之三維的姿勢。

接著，動作控制部43基於藉由三維點雲資料所算出的工件91之三維的取出位置及工件在該取出位置的姿勢，來算出機器人取出該工件時之機器人及手部之三維的位置及姿勢。然後，動作控制部43控制機器人3與手部4的位置及姿勢。

如此，於第2之學習資料的生成裝置，可利用二維圖像，來取得二維圖像中之工件的位置及姿勢的資訊與外形的資訊。然後，作為實際上進行作業之機器人的視覺感測器，可採用能取得二維圖像及三維點雲資料的計測器。在第2之學習資料的生成裝置，可生成現實世界中之實際的工件的位置相對於模擬中之工件的位置之偏離量經補正的優異的學習資料。

於上述實施形態，雖為了檢測工件的取出位置而進行型樣匹配，但不限於此形態。例如，亦可利用斑點(blob)檢測或圓柱檢測等圖像辨識技術，來檢測圖像中之工件的取出位置及姿勢與外形。

又，於實際的搬送作業中所採用的計測器不限於立體照相機，可採用能取得二維圖像及三維點雲資料的任意的計測器。例如，可採用於二維照相機安裝有任意的三維計測器的計測器。可採用包含1台二維照相機及距離感測器的計測器、或包含1台二維照相機及雷射掃描器(laser scanner)的計測器。

或，亦可採用於可移動的移動裝置，安裝有1台二維照相機的構成。可藉由以1台照相機，從針對工件的相同的配置型樣預先決定之2個不同的位置或角度拍攝圖像，來取得與立體照相機同等的圖像。又，在上述實施形態雖採用三維點雲資料，但不限於此形態。亦可採用距離圖像來作為三維資訊。

於前述學習資料的生成裝置，雖構成為將二維圖像設為學習資料，但不限於此形態，亦可將三維點雲資料設為學習資料。亦即，亦可配置取得三維點雲資料的三維計測器來作為學習資料的生成裝置的計測器，以取代二維計測器。例如，可配置立體照相機來取代二維照相機。

然後，當藉由三維計測器取得了三維點雲資料時，圖像處理部亦可由三維點雲資料生成距離圖像。例如，可生成像素的濃淡會因應從三維計測器的原點位置或三維空間上之任意的基準位置起到各工件或背景的距離而變化之距離圖像。然後，可採用包含距離圖像的學習資料，來實施與二維圖像同樣的控制。

進而，亦可將工件之外形的資訊及取出位置及姿勢的資訊，連同以三維計測器所取得的距離圖像一同包含於學習資料中。計測器可藉由進行工件的配置區域的三維計測，來取得作為三維點雲資料的三維資訊。學習資料生成部亦可生成包含工件之三維的取出位置資訊之學習資料。此情況下，於利用實施機械學習所生成的學習模型，來推論工件的取出位置等以進行工件的搬送的機器人系統中，亦可採用三維計測器，來作為計測會包含於學習資料的圖像及三維點雲資料等的計測器。然後，例如，可基於計測重新配置之工件的配置區域而生成的距離圖像等，來推定工件的取出位置及姿勢與外形。

又，在採用可取得三維資訊的三維計測器的情況下，可將三維點雲資料連同二維圖像一同取得。圖像處理部可進行三維點雲資料、與由配置型樣生成部所生成之三維模擬中的配置型樣之匹配處理。

接著，圖像處理部可將三維的模擬中之工件的三維的取出位置及姿勢(模擬中以虛擬的視覺感測器的座標系統來表現的位置及姿勢)及工件的外形，轉換成三維點雲資料中之工件的三維的取出位置及姿勢(以三維計測器的座標系統來表現的位置及姿勢)與工件的外形。然後，學習資料生成部亦可生成包含三維點雲資料、三維點雲資料中之工件的三維的取出位置及姿勢、及工件的外形當中之至少一者的學習資料。機械學習裝置亦可採用此學習資料來進行機械學習。

又，學習資料的生成裝置的運算處理裝置亦可具有顯示已生成的學習資料的顯示部。顯示部能以液晶顯示面板等顯示面板或觸控面板來構成。顯示部顯示對圖像(包含距離圖像)或三維點雲資料自動地附上標籤(工件的取出位置及姿勢與工件的外形的資訊等)的學習資料。作業者可確認是否有對圖像或三維點雲資料誤附加的標籤。作業者亦可使用鍵盤、滑鼠及觸控筆等輸入裝置，來修正或刪除判斷為有誤的標籤。或，作業者亦可重新追加標籤的資訊。如此，藉由使用由作業者施加過修正的學習資料來進行機械學習，可生成錯誤少且穩健性高的學習模型。

由於其他構成、作用及效果與第1之學習資料的生成裝置及具備第1之學習資料的生成裝置之機械學習裝置同樣，因此在此不重複說明。

(第3之學習資料的生成裝置) 說明本實施形態的第3之學習資料的生成裝置。於前述第1之學習資料的生成裝置及第2之學習資料的生成裝置，實施了變更以視覺感測器所拍攝之工件的位置及姿勢，或增加工件個數的控制。在第3之學習資料的生成裝置，使用複數台搬送車，來變更視覺感測器的視野的內側所拍到之工件的配置型樣。

首先，於視覺感測器的視野的內側配置複數個工件。例如，亦可利用在第1之學習資料的生成裝置或第2之學習資料的生成裝置實施的方法，於視覺感測器的視野的內側配置複數個工件。接著，藉由將至少1個以上的工件往視覺感測器的視野的外側移動，來實施變更配置型樣的控制。第3之學習資料的生成裝置的構成與第1之學習資料的生成裝置的構成同樣(參考圖1及圖2)。又，採用可取得二維圖像的二維照相機，來作為視覺感測器32。

於圖8，表示由第3之學習資料的生成裝置實施的控制的流程圖。參考圖1、圖2及圖8，於步驟121，搬送車31將複數個工件91配置於視覺感測器32的視野32a的內側。例如，如圖1所示，將許多工件91配置於視覺感測器32所拍攝的範圍內。此控制可藉由與第1之學習資料的生成裝置同樣的控制來實施。例如，可於圖3之第1之學習資料的生成裝置的控制中，藉由步驟S101至步驟104的控制來實施。或，作業者亦可藉由以手動搬送搬送車31，來將複數個工件91配置於視覺感測器32的視野32a的內側。

接著，從步驟105至步驟110是與第1之學習資料的生成裝置1的控制中之步驟105至步驟110同樣(參考圖3)。於步驟110，當學習資料的個數少於目標值時，控制轉移到步驟125。

於步驟125，控制部14的動作計畫生成部14a生成要移動的搬送車31的動作計畫。在此，敘述實施將工件91的個數1個1個地減少的控制之實施例。例如，圖像處理部16實施在步驟105拍攝之二維圖像的圖像處理，檢測複數個工件位置。動作計畫生成部14a可基於圖像處理部16的處理結果，來生成位於檢測到之複數個工件的位置之載放有複數個工件的複數台搬送車之動作計畫。或，亦可由配置型樣生成部13a生成配置型樣，藉此決定要移動的搬送車31。動作計畫生成部14a可預先決定要移動的複數台搬送車31的移動順序。例如，可從配置型樣的端部依序移動搬送車31。

動作計畫生成部14a亦可生成使搬送車31將配置於視野32a的內側的工件移動到外側之搬送車31的動作計畫。例如，動作計畫生成部14a可生成使載放有工件91的搬送車31跑出視覺感測器32的視野32a，並返回到預先決定的原點位置或開始位置的動作計畫。

接著，於步驟126，控制部14的動作指令生成部14b基於在步驟125所生成的動作計畫來驅動搬送車31。動作指令生成部14b可發送搬送車31的速度指令或移動路徑的指令。之後，控制返回到步驟105。然後，可重複從步驟105至步驟110的控制。

如此，可藉由生成將工件1個1個地減少的配置型樣來變更配置型樣。再者，不限於移動1個工件，亦可每當移動2個以上的工件時，進行攝像並生成學習資料。當存在於視覺感測器32的視野32a的內側之工件的個數減少，最後已沒有要移動的工件時，可再次重複圖8所示的控制。

在複數台搬送車31可移動的情況下，動作計畫生成部14a可生成使載放有工件91的搬送車31，1台1台地跑出視覺感測器的視野的動作計畫。或，動作計畫生成部14a亦可生成一次移動複數台搬送車31的動作計畫。攝像指令生成部14c可在搬送車31跑出視覺感測器32的視野32a，並返回到原點位置等預定的位置之後，對視覺感測器32發送拍攝圖像的指令。

由於其他構成、作用及效果與第1之學習資料的生成裝置、第2之學習資料的生成裝置、及具備第1之學習資料的生成裝置之機械學習裝置同樣，因此在此不重複說明。

(第4之學習資料的生成裝置) 於圖9，表示本實施形態之第4之學習資料的生成裝置的立體圖。於圖10，表示本實施形態之第4之學習資料的生成裝置的方塊圖。參考圖9及圖10，在第4之學習資料的生成裝置5，使用包含機器人3及手部4的機器人裝置，來變更視覺感測器32的視野32a的內側之複數個工件91的配置型樣。採用可取得二維圖像的二維照相機，來作為視覺感測器32。

第4之學習資料的生成裝置5具備包含機器人3及手部4的機器人裝置，來作為移動工件的移動裝置。第4之學習資料的生成裝置5具備機器人控制裝置6。機器人控制裝置6的動作控制部43、臂驅動部44及手部驅動部45的構成，與實際上實施工件的搬送之機器人系統8的機器人控制裝置2的構成同樣(參考圖6)。機器人裝置的機器人3及手部4的構成，與實際上實施工件的搬送之機器人系統8的構成同樣。又，運算處理裝置10的構成與第1之學習資料的生成裝置1的運算處理裝置10的構成同樣(參考圖2)。

於第4之學習資料的生成裝置5，為了將工件91從視覺感測器32的視野32a的內側移動到視野32a的外側而使用機器人裝置。亦即，使用機器人裝置來移動工件91，以取代第3之學習資料的生成裝置的搬送車31。

於圖11，表示第4之學習資料的生成裝置的控制的流程圖。參考圖9至圖11，步驟121及步驟105至步驟110是與第3之學習資料的生成裝置同樣(參考圖8)。在步驟110，當學習資料的個數少於目標值時，控制轉移到步驟128。

於步驟128，控制部14的動作計畫生成部14a生成將位於作為圖像處理的處理結果而檢測到之複數個工件的位置之複數個工件移動之機器人裝置的動作計畫，前述圖像處理是由圖像處理部16對在步驟105所拍攝的圖像來進行。如此選定要移動的工件的控制，可進行與第3之學習資料的生成裝置的步驟125同樣的控制(參考圖8)。動作計畫生成部14a生成使工件91移動到預先決定的位置，例如輸送機上之機器人裝置的動作計畫。

於步驟129，動作指令生成部14b基於由動作計畫生成部14a所生成的機器人裝置的動作計畫，來生成機器人裝置的動作指令。接著，將生成的機器人裝置的動作指令發送至機器人控制裝置6的動作控制部43。動作指令生成部14b將用以取出工件之機器人及手部的位置及姿勢，發送到機器人控制裝置6的動作控制部43。

動作控制部43基於前述動作指令來驅動機器人3及手部4。然後，以手部4保持預定的工件91之後，將工件91配置於視野32a的外側。例如，可將工件91搬送到配置於視野32a的外側之暫時放置區域或暫時放置架。之後，控制返回到步驟105。然後，重複從步驟105到步驟110的控制，直到學習資料的個數到達目標值為止。當已沒有要移動的工件91時，可重複圖11的控制。

如此，即使使用機器人裝置來作為移動裝置，仍可藉由將配置於視覺感測器的視野的內側之工件移動到視野的外側，來變更工件的配置型樣。

再者，當由機器人裝置所進行之工件91的取出動作失敗時，機器人控制裝置6亦可藉由載放有工件91的搬送車31移動，來將工件91移動到視覺感測器32的視野32a的外側。例如，控制部14亦可控制為：使載放有工件的搬送車31跑出視覺感測器32的視野32a，並移動到原點位置。在搬送車移動到原點位置之後，可重新開始包含藉由視覺感測器拍攝圖像在內之學習資料的生成。

又，在第4之學習資料的生成裝置，以從視覺感測器的視野的內側往外側移動的方式移動工件，來變更配置型樣。亦即，控制機器人裝置，以使存在於視覺感測器的視野的內側之工件的個數減少，但不限於此形態。亦可由機器人裝置搬送工件，以使存在於視覺感測器的視野的內側之工件的個數增加。

由於其他構成、作用及效果與第1之學習資料的生成裝置至第3之學習資料的生成裝置、及具備第1之學習資料的生成裝置之機械學習裝置同樣，因此在此不重複說明。

於第3之學習資料的生成裝置及第4之學習資料的生成裝置，雖藉由讓搬送車所搬送的工件從視覺感測器的視野的內側往外側移動，來變更配置型樣，但不限於此形態。亦可藉由讓搬送車所搬送的工件從視覺感測器的視野的外側往內側移動，來變更配置型樣。或，亦可讓搬送車所搬送的工件在視覺感測器的視野的內側，隨著搬送車移動而一同移動，藉此變更工件的位置而變更配置型樣。或，亦可於視覺感測器的視野的內側，不變更工件的位置而變更搬送車的姿勢，來變更載放於此搬送車之工件的姿勢，藉此變更配置型樣。

於前述第1之學習資料的生成裝置至第4之學習資料的生成裝置，雖主要生成包含由視覺感測器所拍攝的二維圖像之學習資料，但不限於此形態。例如，在學習資料的生成裝置具備三維計測器的情況下，亦可從三維計測器所計測的三維點雲資料來生成距離圖像，並生成包含距離圖像、工件的外形、及工件的取出位置及姿勢等標籤資料之學習資料。機械學習裝置亦可使用此類學習資料來進行機械學習。

於前述第1之學習資料的生成裝置至第4之學習資料的生成裝置，雖主要生成包含由視覺感測器所拍攝的二維圖像之學習資料，但不限於此形態。例如，在學習資料的生成裝置具備三維計測器的情況下，進行三維計測器所計測的三維點雲資料、與由配置型樣生成部所生成的三維的配置型樣之匹配處理。利用匹配處理的結果，將由配置型樣生成部所算出之複數個工件在三維模擬中之三維的取出位置及姿勢與外形資訊，變更為在現實世界所計測之三維點雲資料中之三維的取出位置及姿勢與外形資訊。亦可將已變更的取出位置及姿勢與外形資訊當作三維點雲資料的標籤資料，來生成包含三維點雲資料的學習資料。機械學習裝置亦可使用此類學習資料來進行機械學習。

於前述第1之學習資料的生成裝置至第4之學習資料的生成裝置，主要構成為將由配置型樣生成部所計算之工件的取出位置及姿勢與工件的外形等資訊當作標籤資料，來生成學習資料。或，構成為將作為圖像處理部的圖像處理的結果而檢測出之工件的取出位置及姿勢與工件的外形等資訊當作標籤資料，來生成學習資料，但不限於這些形態。例如，亦可將由視覺感測器所拍攝的圖像或由三維計測器所計測的三維點雲資料生成之距離圖像、或者三維點雲資料，顯示於監視器等之顯示部，作業者在圖像或三維點雲資料上，以滑鼠等輸入裝置來教示工件的取出位置及姿勢與工件的外形等資訊。亦即，學習資料所包含的標籤資料亦可為由作業者所生成的教示資料。

作為適用本實施形態之學習資料的生成裝置及機械學習裝置之例，可舉出在物流中心的倉庫中，以裝有商品的紙箱作為工件而搬送紙箱的系統。例如，將裝有在物流中心之倉庫內的進貨程序中交貨的商品的紙箱，載放於AGV這類的搬送車，一面控制複數台AGV的動作來變更複數個紙箱的配置型樣，一面以二維照相機拍攝圖像。可藉由前述的方法，來生成包含拍攝的複數個圖像、各個圖像所拍到之紙箱的取出位置及姿勢、及紙箱的外形資訊之學習資料。使用已生成的學習資料進行機械學習，來生成學習模型。亦可對於以二維照相機，針對在進貨程序中交貨並在托板上堆疊起來的複數個紙箱所拍攝的圖像，利用學習模型來推論取出位置及姿勢，並由機器人裝置取出位於前述取出位置及姿勢的紙箱，將其放在輸送機輸送。其後，亦可進行開箱、商品檢查或分類等後程序。

於上述各個控制中，可在功能及作用未變更的範圍內，適當地變更步驟的順序。

上述實施形態可適當地組合。於上述各圖，對同一或相等的部分附上同一符號。再者，上述實施形態為例示，並不限定發明。又，於實施形態中，包含申請專利範圍所示之實施形態的變更。

1,5:學習資料生成裝置 2,6:機器人控制裝置 3:機器人 4:手部 4a:吸附墊 8,9:機器人系統 10:運算處理裝置 11:受理部 12:記憶部 13:處理部 13a:配置型樣生成部 14:控制部 14a:動作計畫生成部 14b:動作指令生成部 14c:攝像指令生成部 15:學習資料生成部 15a:資料取得部 15b:判定部 16:圖像處理部 25:學習資料的生成條件 26:學習資料生成程式 31:搬送車 32:視覺感測器 32a:視野 33:托板 34:滑動裝置 35:移動台 41:動作程式 42:記憶部 43:動作控制部 44:臂驅動部 45:手部驅動部 46:臂驅動裝置 47:手部驅動裝置 51:機械學習部 52:資料取得部 54:學習部 55:學習模型 56:推論部 57:學習資料 58:圖像 59:取出位置及姿勢 60:工件的外形 91:工件 91a:上表面 91b:側面 92:支撐構件 99:箭頭 101~110,121,125,126,128,129:步驟 X,Y,Z:軸

圖1是實施形態的第1之學習資料的生成裝置的立體圖。 圖2是實施形態的第1之學習資料的生成裝置的方塊圖。 圖3是表示第1之學習資料的生成裝置的控制的流程圖。 圖4是變更工件的配置型樣時之第1之學習資料的生成裝置的立體圖。 圖5是使用由學習資料的生成裝置所生成的學習模型來搬送工件之第1機器人系統的立體圖。 圖6是第1機器人系統的方塊圖。 圖7是使用由學習資料的生成裝置所生成的學習模型來搬送工件之第2機器人系統的立體圖。 圖8是實施形態的第3之學習資料的生成裝置的控制的流程圖。 圖9是實施形態的第4之學習資料的生成裝置的立體圖。 圖10是第4之學習資料的生成裝置的方塊圖。 圖11是第4之學習資料的生成裝置的控制的流程圖。

1:學習資料生成裝置

10:運算處理裝置

11:受理部

12:記憶部

13:處理部

13a:配置型樣生成部

14:控制部

14a:動作計畫生成部

14b:動作指令生成部

14c:攝像指令生成部

15:學習資料生成部

15a:資料取得部

15b:判定部

16:圖像處理部

25:學習資料的生成條件

26:學習資料生成程式

31:搬送車

32:視覺感測器

Claims (16)

1. 一種學習資料的生成裝置，前述學習資料使用於機械學習，前述學習資料的生成裝置具備： 計測器，其計測複數個工件的配置區域，來取得二維圖像及三維圖像當中之至少一者的圖像； 移動裝置，其移動至少1個工件； 控制部，其控制前述移動裝置的動作；及 學習資料生成部，其生成包含以前述計測器所取得的圖像、及用以取出工件之工件的取出位置資訊之學習資料， 前述學習資料的生成裝置重複以下來生成複數個學習資料：以前述移動裝置移動工件來變更工件的配置型樣的控制；由前述計測器所進行之複數個工件的配置區域的計測；及由前述學習資料生成部所進行之學習資料的生成。
2. 如請求項1之學習資料的生成裝置，其具備配置型樣生成部，前述配置型樣生成部生成複數個工件的配置型樣， 前述配置型樣生成部基於預先決定之學習資料的生成條件，來生成工件的配置型樣。
3. 如請求項2之學習資料的生成裝置，其具備受理部，前述受理部取得來自外部的資訊， 前述受理部取得學習資料的生成條件，前述學習資料的生成條件包含學習資料的個數的目標值、工件的種類的個數的範圍、工件的尺寸的範圍、及工件的配置型樣的條件當中之至少一者。
4. 如請求項3之學習資料的生成裝置，其中工件的配置型樣的條件包含複數個工件堆疊的層數的範圍、及工件彼此之間的間隙的條件當中之至少一者。
5. 如請求項2至4中任一項之學習資料的生成裝置，其中前述控制部包含：動作計畫生成部，其將由前述配置型樣生成部所生成之工件的配置型樣中之工件的位置及姿勢作為目標值，來生成前述移動裝置的動作計畫；及動作指令生成部，其基於生成的動作計畫，來生成使前述移動裝置動作的動作指令， 前述移動裝置按照生成的動作指令來移動工件。
6. 如請求項1至5中任一項之學習資料的生成裝置，其中前述移動裝置構成為進行改變工件之三維的位置及姿勢的動作。
7. 如請求項1至6中任一項之學習資料的生成裝置，其中前述計測器包含三維計測器，前述三維計測器進行工件的配置區域的三維計測來取得三維的點雲資料， 前述學習資料生成部生成包含工件之三維的取出位置資訊之學習資料。
8. 如請求項1至7中任一項之學習資料的生成裝置，其具備圖像處理部，前述圖像處理部進行以前述計測器所取得之工件的圖像之圖像處理， 前述圖像處理部將工件的取出位置資訊作為處理結果而輸出，前述工件的取出位置資訊是用以藉由包含機器人及手部的機器人裝置來取出工件的資訊， 前述學習資料生成部生成包含從前述圖像處理部輸出之工件的取出位置資訊之學習資料。
9. 如請求項5之學習資料的生成裝置，其具備圖像處理部，前述圖像處理部進行以前述計測器所取得之工件的圖像之圖像處理， 前述動作計畫生成部基於前述圖像處理部的處理結果來生成動作計畫。
10. 如請求項1至9中任一項之學習資料的生成裝置，其中前述學習資料生成部包含判定部，前述判定部基於學習資料的個數是否到達預先決定的目標值，來進行學習資料的合格的判定。
11. 如請求項1至10中任一項之學習資料的生成裝置，其具備圖像處理部，前述圖像處理部進行以前述計測器所取得之工件的圖像之圖像處理， 前述學習資料生成部包含判定部，前述判定部基於前述圖像處理部之圖像的處理結果、及預先決定之學習資料的合格的判定基準，來進行要將學習資料保存或廢棄的判定。
12. 如請求項1至11中任一項之學習資料的生成裝置，其中前述移動裝置包含可載放工件並移動於地板面的搬送車。
13. 如請求項1至11中任一項之學習資料的生成裝置，其中前述移動裝置包含機器人裝置，前述機器人裝置具有機器人及手部，用以保持工件並移動工件。
14. 一種機械學習裝置，其具備： 如請求項1之學習資料的生成裝置； 學習部，其基於由前述學習資料生成部所生成的學習資料來實施機械學習，並生成從工件的配置區域的圖像來推定工件的取出位置的學習模型；及 推論部，其基於由前述學習部所生成的學習模型，從以前述計測器所取得的圖像來推定工件的取出位置。
15. 一種學習資料的生成方法，前述學習資料使用於機械學習，前述學習資料的生成方法具備： 計測程序，其由計測器計測複數個工件的配置區域，來取得二維圖像及三維圖像當中之至少一者的圖像； 移動程序，其由移動裝置移動至少1個工件，來變更工件的配置型樣；及 學習資料生成程序，其生成包含以前述計測程序所取得的圖像、及用以取出工件之工件的取出位置資訊之學習資料， 前述學習資料的生成方法重複前述移動程序、前述計測程序及前述學習資料生成程序，來生成複數個學習資料。
16. 一種機械學習方法，其具備： 如請求項15之學習資料的生成方法； 學習程序，其基於以前述學習資料生成程序所生成的學習資料來實施機械學習，並生成從工件的配置區域的圖像來推定工件的取出位置的學習模型；及 推論程序，其基於以前述學習程序所生成的學習模型，從以前述計測程序所取得的圖像來推定工件的取出位置。

Images