JP7162581B2 - 学習方法及び制御装置 - Google Patents

Description

本発明は、動作装置が対象物を複数の取扱動作で取り扱う場合において、対象物と複数の取扱動作との関係を表す取扱動作モデルのモデルパラメータを学習する学習方法などに関する。

従来、特許文献１に記載されたロボット装置が知られている。このロボット装置は、ハサミ、ペットボトル及びマグカップなどの対象物をユーザに渡すものであり、対象物をユーザに渡す際、カメラで対象物を撮像し、その画像を画像認識手法に適用することにより、対象物の領域を、把持可能部分、授受領域部分及び把持不可能部分などに分割して認識する。そして、ロボット装置は、その認識結果に基づいて、対象物をユーザに渡す作業を実行する。

特開２０１３－１８４２７３号公報

特許文献１で用いられるような、対象物の領域を認識するための画像認識手法としては、例えば、深層学習方法で学習したニューラルネットワークを用いる手法が知られている。このようなニューラルネットワークを用いる手法の場合、以下に述べるような問題がある。例えば、対象物がハサミである場合、その取扱動作としては、渡す、持つ及び切るなどの複数種類の取扱動作が存在している関係上、１種類の取扱動作毎に深層学習を実施したモデルパラメータ（重み及びバイアス）を含むニューラルネットワークを準備しなければならない。すなわち、モデルパラメータの学習結果として、複数の学習結果が必要になる。その結果、モデルパラメータの学習結果及びニューラルネットワークを記憶する記憶装置の容量が増大化してしまう。

これに加えて、多数種の対象物を取り扱う場合には、より多数の学習結果及びニューラルネットワークが必要になることで、記憶装置の容量がより一層、増大化してしまう。これに対して、ロボット装置のように、ハードウェア的な制限が多い条件下では、記憶装置の容量を十分に確保するのが困難であり、学習結果の増大を抑制する必要がある。この点は、ニューラルネットワーク以外のモデルのモデルパラメータを学習する学習方法においても発生する。

本発明は、上記課題を解決するためになされたもので、学習結果の増大を抑制しながら、対象物と複数の取扱動作との関係を表す取扱動作モデルのモデルパラメータを学習することができる学習方法などを提供することを目的とする。

上記目的を達成するために、請求項１に係る発明は、動作装置（産業用ロボット１）が対象物（ハサミ３、ハンマー４、お玉杓子５）を複数の取扱動作（渡す、持つ、切る、叩く、すくう）で取り扱う場合において、対象物と複数の取扱動作との関係を表す取扱動作モデル（ニューラルネットワーク３２）のモデルパラメータ（重み及びバイアス）を情報処理装置（学習装置３０）によって学習する学習方法であって、情報処理装置は、対象物の画像データ４０，５０，６０を取得する第１処理を実行し、複数の取扱動作を所定形式で表した複数の取扱動作データ（取扱動作ラベルデータ４１，７０）の中から、複数の取扱動作のうちの１つの取扱動作に対応する１つの取扱動作データを取得する第２処理を実行し、動作装置が複数の取扱動作で対象物を取り扱っているときの動作装置と対象物の所定関係を表す複数の教師画像データ４４～４６，５１～５３，６１～６３の中から、１つの取扱動作に対応する１つの教師画像データを取得する第３処理を実行し、１つの取扱動作データと画像データを組み合わせたデータとして、入力画像データを作成する第４処理を実行し、入力画像データを取扱動作モデル（ニューラルネットワーク３２）に入力したときに取扱動作モデルから出力される出力画像データを取得する第５処理を実行し、出力画像データと１つの教師画像データを用いて、取扱動作モデルのモデルパラメータを所定の学習方法により学習する第６処理を実行し、第４～第６処理を所定回数繰り返し実行した後、第４処理で画像データに組み合わせる１つの取扱動作データを、複数の取扱動作のうちの１つの取扱動作以外の取扱動作に対応する取扱動作データに変更するとともに、第６処理で用いる１つの教師画像データを変更した取扱動作に対応する教師画像データに変更して、第４～第６処理を所定回数繰り返し実行することを特徴とする。

この学習方法によれば、情報処理装置では、第１処理により、対象物の画像データが取得され、第２処理により、複数の取扱動作を所定形式で表した複数の取扱動作データの中から、複数の取扱動作のうちの１つの取扱動作に対応する１つの取扱動作データが取得される。また、第３処理により、動作装置が複数の取扱動作で対象物を取り扱っているときの動作装置と対象物の所定関係を表す複数の教師画像データの中から、１つの取扱動作に対応する１つの教師画像データが取得され、第４処理により、１つの取扱動作データと画像データを組み合わせたデータとして、入力画像データが作成される。さらに、第５処理により、入力画像データを取扱動作モデルに入力したときに取扱動作モデルから出力される出力画像データが取得され、第６処理により、出力画像データと１つの教師画像データを用いて、取扱動作モデルのモデルパラメータが所定の学習方法により学習される。そして、第４～第６処理を所定回数繰り返し実行した後、第４処理で画像データに組み合わせる１つの取扱動作データを、複数の取扱動作のうちの１つの取扱動作以外の取扱動作に対応する取扱動作データに変更するとともに、第６処理で用いる１つの教師画像データを変更した取扱動作に対応する教師画像データに変更して、第４処理～第６処理が所定回数繰り返し実行される。

以上のように、入力画像データを作成する際、画像データと組み合わせる１つの取扱動作データを、複数の取扱動作データの各々に変更するだけで、取扱動作モデルのモデルパラメータを学習することができるので、学習が進行したとしても、モデルパラメータの学習結果の数が変化することがない。それにより、学習結果の増大を抑制しながら、取扱動作モデルのモデルパラメータを学習することができる。

請求項２に係る発明は、請求項１に記載の学習方法において、複数の取扱動作データ（取扱動作ラベルデータ４１，７０）の各々は、対象物及び動作装置の関係を、互いに異なる数字の領域で模式的に表したデータであることを特徴とする。

この学習方法によれば、対象物及び動作装置の関係を、互いに異なる数字の領域で模式的に表したデータと、画像データとを組み合わせることにより、入力画像データが作成されるので、従来のような、画像データを入力とするモデルにおけるモデルパラメータの学習手法を用いることができる。それにより、コストの増大を抑制しながら、高い汎用性を確保することができる。

請求項３に係る発明は、請求項１に記載の学習方法において、対象物は、複数の対象物（ハサミ３、ハンマー４、お玉杓子５）で構成され、情報処理装置は、第１～第６処理を、複数の対象物の各々に対して実行することを特徴とする。

この学習方法によれば、動作装置が複数の対象物を取り扱う場合においても、学習結果の増大を抑制しながら、取扱動作モデルのモデルパラメータを学習することができる。それにより、高い利便性を確保することができる。

請求項４に係る発明は、請求項３に記載の学習方法において、複数の対象物は、動作装置（産業用ロボット１）から人（作業者２）に渡される受渡し対象物（ハサミ３、ハンマー４、お玉杓子５）を含み、取扱動作データは、受渡し対象物、動作装置及び人の関係を、互いに異なる数字又は記号の領域で模式的に表したデータであることを特徴とする。

この学習方法によれば、受渡し対象物、動作装置及び人の関係を、互いに異なる数字又は記号の領域で模式的に表したデータと、画像データとを組み合わせることにより、入力画像データが作成されるので、動作装置が動作装置から人に渡される受渡し対象物を取り扱う場合においても、従来と同様に、画像データを入力とするモデルにおけるモデルパラメータの学習手法を用いることができる。それにより、コストの増大を抑制しながら、さらに高い汎用性を確保することができる。

請求項５に係る発明は、請求項１ないし４のいずれかに記載の学習方法において、画像データ４０，５０，６０と取扱動作データ（取扱動作ラベルデータ４１，７０）は、縦の画素数が互いに同一であるとともに横の画素数も互いに同一に構成されていることを特徴とする。

一般に、取扱動作モデルに対して、画像データとそれ以外のデータを組み合わせて入力する際、両者のサイズが異なっているときには、両者のサイズを一致させるために、例えば、フィルタ処理などを実施する必要がある。これに対して、この学習方法によれば、画像データと取扱動作データは、縦の画素数が互いに同一であるとともに横の画素数も互いに同一に構成されているので、両者のサイズを一致させるためのフィルタ処理などが不要になる。それにより、演算処理の容易性を確保することができる。

請求項６に係る発明は、請求項１ないし５のいずれかに記載の学習方法において、第４処理では、画像データに所定のフィルタ処理（畳み込みフィルタ処理）を施した第１データ（画像データ４０の特徴マップデータ）と、第１データと縦の画素数及び横の画素数が同一の、複数の取扱動作データのうちの１つに所定のフィルタ処理を施した第２データ（取扱動作ラベルデータ４１の特徴マップデータ）とを組み合わせたデータとして、入力画像データが作成されることを特徴とする。

この学習方法によれば、画像データに所定のフィルタ処理を施した第１データと、第１データと縦の画素数及び横の画素数が同一の、複数の取扱動作データのうちの１つに所定のフィルタ処理を施した第２データとを組み合わせたデータとして、入力画像データが作成される。それにより、第１データと第２データのサイズを一致させるためのフィルタ処理などが不要になることで、演算処理の容易性を確保することができる。また、所定のフィルタ処理として、畳み込みフィルタ処理を用いた場合には、演算量及び演算時間を短縮することができ、その分、演算処理の容易性を向上させることができる。

請求項７に係る発明は、請求項１に記載の学習方法において、取扱動作データ（取扱動作ラベルデータ７０）は、数字の行及び列の少なくとも一方によって１つの取扱動作を定義したデータであることを特徴とする。

この学習方法によれば、対象物及び動作装置の関係を、数字の行及び列の少なくとも一方によって１つの取扱動作を定義したデータと、画像データとを組み合わせることにより、入力画像データが作成されるので、従来の画像データを入力とするモデルにおけるモデルパラメータの学習手法を用いることができる。それにより、コストの増大を抑制しながら、高い汎用性を確保することができる。

請求項８に係る制御装置（コントローラ２０）は、請求項１ないし７のいずれかに記載の学習方法によって学習されたモデルパラメータ及び取扱動作モデルを記憶する記憶部（コントローラ２０）と、記憶部に記憶されたモデルパラメータ及び取扱動作モデルを用いて、動作装置を制御する制御部（コントローラ２０）と、
を備えることを特徴とする。

この動作装置の制御装置によれば、学習結果の増大を抑制しながら学習された取扱動作モデルのモデルパラメータ及び取扱動作モデルを用いて、動作装置を制御することができる。それにより、制御装置の記憶容量の増大を抑制することができる。

本発明の一実施形態に係る学習方法による学習結果を適用した産業用ロボットの構成を示す図である。 産業用ロボットの電気的な構成を示すブロック図である。 学習装置の機能的な構成を示すブロック図である。 ハサミの画像データを示す図である。 取扱動作ラベルデータを示す図である。 ハサミが差出人から受取人に渡される状態を示す図である。 ニューラルネットワークを示す図である。 ハサミを「渡す」動作の学習用の教師画像データを示す図である。 ハサミを「持つ」動作の学習用の教師画像データを示す図である。 ハサミで「切る」動作の学習用の教師画像データを示す図である。 ハンマーの画像データを示す図である。 ハンマーを「渡す」動作の学習用の教師画像データを示す図である。 ハンマーを「持つ」動作の学習用の教師画像データを示す図である。 ハンマーで「叩く」動作の学習用の教師画像データを示す図である。 お玉杓子の画像データを示す図である。 お玉杓子を「渡す」動作の学習用の教師画像データを示す図である。 お玉杓子を「持つ」動作の学習用の教師画像データを示す図である。 お玉杓子で「すくう」動作の学習用の教師画像データを示す図である。 本願発明の学習方法及び従来の学習方法による学習を実施したニューラルネットワークの試験結果を示す図である。 産業用ロボットの制御処理を示すフローチャートである。 取扱動作ラベルデータの変形例を示す図である。

以下、図面を参照しながら、本発明の一実施形態に係る学習方法について説明する。本実施形態の学習方法は、以下に述べるように、動作装置としての産業用ロボット１（図１参照）が複数の道具を取り扱う際の取扱動作を、深層学習方法により学習するものである。

まず、産業用ロボット１について説明する。この産業用ロボット１では、道具の取扱動作として、道具を作業者２に渡す動作（図１参照）や、道具を持つ動作などが実行される。本実施形態の場合、後述するように、複数の道具（対象物）としては、例えば、図４に示すようなハサミ３などが用いられる。

産業用ロボット１は、ロボットアームタイプのものであり、機械的な構成として、ロボットハンド１１、３つのリンク１２～１４、３つの関節１５～１７及びベース１８を備えている。これに加えて、産業用ロボット１は、図２に示すように、電気的な構成として、コントローラ２０、ハンドモータ２１、関節モータ２２及びベースモータ２３などを備えている。

ロボットハンド１１は、３つのハンド部１１ａを備えている。これら３つのハンド部１１ａは、ハンドモータ２１によって駆動されることにより、上述したハサミ３などの道具を掴んだり、持ったりする。

また、３つの関節１５～１７は、いずれも能動関節タイプのものであり、関節モータ２２及び減速機（図示せず）が内蔵されている。これらの関節モータ２２によって駆動されることにより、３つの関節１５～１７を介して、３つのリンク１２～１４が駆動される。

一方、ベース１８には、ベースモータ２３が内蔵されており、このベースモータ２１によって駆動されることにより、リンク１４及び関節１７は、鉛直軸線周りに回転するように構成されている。

さらに、図２に示すように、コントローラ２０には、前述した各種のモータ２１～２３に加えて、カメラ２４及びマイロフォン２５などが電気的に接続されている。このカメラ２４は、ロボットハンド１１に設けられており、道具などを撮像した画像信号をコントローラ２０に出力する。また、マイロフォン２５は、作業者２が発音した音声などを表す音声信号をコントローラ２０に出力する。

このコントローラ２０は、ストレージ、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏインターフェース回路などを備えている。このＲＯＭ内には、後述する学習方法によってモデルパラメータ（重み及びバイアス）が十分に学習されたニューラルネットワーク３２が記憶されている。なお、本実施形態では、コントローラ２０が制御装置、記憶部及び制御部に相当する。

次に、複数の道具の取扱動作の学習方法について説明する。本実施形態では、図３に示すような学習装置３０（情報処理装置）において、深層学習方法により、産業用ロボット１が前述した複数の道具を取り扱う際の適切な取扱動作が学習される。

この学習装置３０は、具体的には、上述したコントローラ２０と同様のコントローラ（図示せず）によって構成されている。なお、学習装置３０をコントローラ２０で構成してもよい。このコントローラのＲＯＭ（図示せず）には、後述する画像データ４０，５０，６０と、取扱動作ラベルデータ４１を含む多数の取扱動作ラベルデータと、教師画像データ４４～４６，５１～５３，６１～６３などが記憶されている。

以下の説明では、最初に、取扱動作として、道具としてのハサミ３を渡す動作を例にとって説明する。図３に示すように、学習装置３０は、入力画像データ作成部３１、ニューラルネットワーク３２、教師画像データ出力部３３及び学習処理部３４を備えている。

まず、入力画像データ作成部３１では、以下に述べるように、深層学習を実行する際の入力画像データが作成される。まず、図４に示すハサミ３の画像データ４０が取得される（第１処理）。具体的には、入力画像データ作成部３１に記憶されている複数種類の画像データの中から、画像データ４０が読み出される。

さらに、図５に示す取扱動作ラベルデータ４１（取扱動作データ）が取得される。この場合、入力画像データ作成部３１には、取扱動作ラベルデータ４１を含む複数種類の取扱動作ラベルデータが記憶されており、それらの取扱動作ラベルデータの中から、ハサミ３を渡す動作の学習用のものとして、取扱動作ラベルデータ４１が読み出される（第２処理）。

この取扱動作ラベルデータ４１は、ハサミ３の取扱動作として、図６に示すような、ハサミ３が差出人４２から受取人４３に渡される状態をラベル化したものである。図５において、数字の「１」で示されている領域が受取人４３の手を表す領域に相当し、数字の「２」で示されている領域がハサミ３を表す領域に相当し、数字の「３」で示されている領域が差出人４２の手を表す領域に相当する。

また、取扱動作ラベルデータ４１は、画像データ４０と同一のサイズに設定されており、より具体的には、縦の画素数及び横の画素数が画像データ４０における縦の画素数及び横の画素数と同一に設定されている。

そして、入力画像データ作成部３１では、画像データ４０と取扱動作ラベルデータ４１を組み合わせることにより、図示しない入力画像データが作成される（第４処理）。その結果、入力画像データは、１画素毎に、画像データ４０における三原色（ＲＧＢ）の画素値と取扱動作ラベルデータ４１のいずれかの数値とが含まれる状態のデータとして作成される。

以上のように入力画像データ作成部３１で作成された入力画像データは、ニューラルネットワーク３２に入力される。ニューラルネットワーク３２は、図７に示すように、深層ニューラルネットワークタイプのものであり、複数のユニットを有する入力層３２ａと、これに接続された複数のユニットを有する複数（１つのみ図示）の隠れ層３２ｂと、これに接続された複数のユニットを有する出力層３２ｃとを備えている。

このニューラルネットワーク３２におけるモデルパラメータすなわち重み及びバイアスは、後述するように、学習処理部３４において学習される。このニューラルネットワーク３２では、上述した入力画像データが入力画像データ作成部３１から入力されたときに、ハサミ３の取扱動作の推定画像データである出力画像データ（図示せず）が学習処理部３４に出力される（第５処理）。

また、教師画像データ出力部３３には、道具の適切な取扱動作を表す画像データである教師画像データが複数種類、記憶されており、これらの教師画像データの中から１つの教師画像データが読み出され（第３処理）、学習処理部３４に出力される。この場合、ハサミ３の取扱動作として、差出人４２がハサミ３を受取人４３に渡す動作を学習するときには、図８に示す教師画像データ４４が読み出された後、学習処理部３４に出力される。

同図８に示すように、この教師画像データ４４の場合、ハサミ３の画像において、差出人４２すなわち産業用ロボット１が掴むべき領域（部位）３ａが、図中に点描で示すように定義され、受取人４３が掴むべき領域３ｂが、図中にハッチングで示すように定義されている。なお、本実施形態の場合、この教師画像データ４４が動作装置と対象物の所定関係を表す教師画像データに相当する。

また、図８中の「渡す」の文字は、理解の容易化のために記載したものであり、実際の教師画像データ４４においては示されないものである。この点は、後述する図９～１０などにおいても同様である。

さらに、学習処理部３４では、ニューラルネットワーク３２からの出力画像データと、教師画像データ４４との平均二乗誤差が損失関数として算出される。そして、この損失関数に基づく誤差逆伝播法により、ニューラルネットワーク３２のモデルパラメータである重み及びバイアスが学習／更新される（第６処理）。以上のように学習された重み及びバイアスは、ニューラルネットワーク３２での次回の順伝播演算に用いられる。

以上の学習処理を所定回数（例えば数千回）分、繰り返して実行することにより、ハサミ３を渡す動作の学習が終了する。それにより、ニューラルネットワーク３２では、前述した図４に示す画像データ４０と、図５に示す取扱動作ラベルデータ４１とを組み合わせた入力画像データが入力された場合、教師画像データ４４に極めて近い状態の出力画像データが出力されることになる。

次に、ハサミ３を持つ動作の学習処理について説明する。この学習処理の場合、上記のハサミ３を渡す動作の学習処理と比較すると、入力画像データ作成部３１及び教師画像データ出力部３３の構成が異なっており、それら以外の点は同様に実行されるので、以下、異なる点についてのみ説明する。

まず、入力画像データ作成部３１では、入力画像データを作成する際、図５の取扱動作ラベルデータ４４に代えて、ハサミ３を持つ状態をラベル化した取扱動作ラベルデータ（図示せず）が用いられる。この取扱動作ラベルデータは、前述した図５の取扱動作ラベルデータ４４において、数字の「１」の領域を数字の「０」に置き換えたものに相当する。そして、この取扱動作ラベルデータを、前述した図４に示す画像データ４０に組み合わせることにより、入力画像データが作成される。

また、教師画像データ出力部３３では、前述した教師画像データ４４に代えて、図９に示す教師画像データ４５が学習処理部３４に出力される。この教師画像データ４５の場合、ハサミ３の画像において、産業用ロボット１が掴むべき領域３ａが、図中に点描で示すように定義されている。

以上のように、入力画像データ作成部３１で作成された入力画像データ及び教師画像データ出力部３３から出力された教師画像データ４５を用いて、前述した学習処理を所定回数分、繰り返して実行することにより、ハサミ３を持つ動作の学習が終了する。それにより、ニューラルネットワーク３２では、前述した入力画像データが入力された場合、教師画像データ４５に極めて近い状態の出力画像データが出力されることになる。

次いで、ハサミ３で物を切る動作の学習処理について説明する。この学習処理の場合、前述したハサミ３を渡す動作の学習処理と比較すると、入力画像データ作成部３１及び教師画像データ出力部３３の構成が異なっており、それら以外の点は同様に実行されるので、以下、異なる点についてのみ説明する。

この場合、入力画像データ作成部３１では、入力画像データを作成する際、図５の取扱動作ラベルデータ４４に代えて、ハサミ３で物を切る状態をラベル化した取扱動作ラベルデータ（図示せず）を、前述した図４に示す画像データ４０に組み合わせることにより、入力画像データが作成される。

また、教師画像データ出力部３３では、前述した教師画像データ４４に代えて、図１０に示す教師画像データ４６が学習処理部３４に出力される。この教師画像データ４６の場合、ハサミ３の画像において、産業用ロボット１が掴むべき領域３ｃが、図中に点描で示すように定義され、ハサミ３によって物を切るときに使用すべき領域３ｄが、図中にハッチングで示すように定義されている。

以上のように、入力画像データ作成部３１で作成された入力画像データ及び教師画像データ出力部３３から出力された教師画像データ４６を用いて、前述した学習処理を所定回数分、繰り返して実行することにより、ハサミ３で物を切る際の取扱動作の学習が終了する。それにより、ニューラルネットワーク３２では、前述した入力画像データが入力された場合、教師画像データ４６に極めて近い状態の出力画像データが出力されることになる。

本実施形態の学習装置３０では、以上のような、ハサミ３における３種類の取扱動作に加えて、ハンマー４（図１１参照）及びお玉杓子５（図１５参照）の取扱動作が実行される。

最初に、ハンマー４の取扱動作の学習として、ハンマー４を渡す際の取扱動作の学習を例にとって説明する。この場合、前述した入力画像データ作成部３１では、図１１に示すハンマー４の画像データ５０と、ハンマー４を渡す状態をラベル化した取扱動作ラベルデータ（図示せず）とを組み合わせることにより、入力画像データが作成される。この場合の取扱動作ラベルデータは、図５に示す取扱動作ラベルデータ４１と同様に作成される。

また、前述したニューラルネットワーク３２では、上記の入力画像データが入力画像データ作成部３１から入力された場合、ハンマー４の取扱動作の推定画像である出力画像データが学習処理部３４に出力される。

さらに、前述した教師画像データ出力部３３では、図１２に示す教師画像データ５１が学習処理部３４に出力される。同図に示すように、この教師画像データ５１の場合、ハンマー４の画像において、産業用ロボット１が掴むべき領域４ａが、図中に点描で示すように定義され、ハンマー４の受取人が掴むべき領域４ｂが、図中にハッチングで示すように定義されている。

一方、前述した学習処理部３４では、ニューラルネットワーク３２からの出力画像データと、教師画像データ５１との平均２乗和誤差が損失関数として算出される。そして、この損失関数に基づく誤差逆伝播法により、ニューラルネットワーク３２のモデルパラメータである重み及びバイアスが学習される。

次に、ハンマー４を持つ際の取扱動作の学習について説明する。この場合、前述した入力画像データ作成部３１では、図１１に示すハンマー４の画像データ５０と、図示しない取扱動作ラベルデータとを組み合わせることにより、入力画像データが作成される。

また、教師画像データ出力部３３では、上述した教師画像データ５１に代えて、図１３に示す教師画像データ５２が学習処理部３４に出力される。この教師画像データ５２の場合、ハンマー４の画像において、産業用ロボット１が掴むべき領域４ｃが、図中に点描で示すように定義されている。

以上のように、入力画像データ作成部３１で作成された入力画像データ及び教師画像データ出力部３３から出力された教師画像データ５２を用いて、前述した学習処理を所定回数分、繰り返して実行することにより、ハンマー４を持つ際の取扱動作の学習が実行される。

次に、ハンマー４で物を叩く際の取扱動作の学習について説明する。この場合、前述した入力画像データ作成部３１では、図１１に示すハンマー４の画像データ５０と、ハンマー４で物を叩く状態をラベル化した取扱動作ラベルデータ（図示せず）とを組み合わせることにより、入力画像データが作成される。

また、教師画像データ出力部３３では、上述した教師画像データ５１に代えて、図１４に示す教師画像データ５３が学習処理部３４に出力される。この教師画像データ５３の場合、ハンマー４の画像において、産業用ロボット１が掴むべき領域４ｄが、図中に点描で示すように定義され、物を叩くべき２つの領域４ｅ，４ｅが図中にハッチングで示すように定義されている。

以上のように、入力画像データ作成部３１で作成された入力画像データ及び教師画像データ出力部３３から出力された教師画像データ５３を用いて、前述した学習処理を所定回数分、繰り返して実行することにより、ハンマー４で物を叩く際の取扱動作の学習が実行される。

本実施形態の学習装置３０では、以上のように、ハンマー４における３種類の取扱動作の学習が実行される。

次に、お玉杓子５の取扱動作の学習について説明する。最初に、お玉杓子５の取扱動作の学習として、お玉杓子５を渡す動作の学習を例にとって説明する。

まず、前述した入力画像データ作成部３１では、図１５に示すお玉杓子５の画像データ６０と、お玉杓子５を渡す状態をラベル化した取扱動作ラベルデータ（図示せず）とを組み合わせることにより、入力画像データが作成される。この場合の取扱動作ラベルデータは、図５に示す取扱動作ラベルデータ４１と同様に作成される。

また、前述したニューラルネットワーク３２では、上記の入力画像データが入力画像データ作成部３１から入力された場合、お玉杓子５の取扱動作の推定画像である出力画像データが学習処理部３４に出力される。

さらに、前述した教師画像データ出力部３３では、図１６に示す教師画像データ６１が学習処理部３４に出力される。同図に示すように、この教師画像データ６１の場合、お玉杓子５の画像において、産業用ロボット１が掴むべき領域５ａが、図中に点描で示すように定義され、お玉杓子５の受取人が掴むべき領域５ｂが、図中にハッチングで示すように定義されている。

一方、前述した学習処理部３４では、ニューラルネットワーク３２からの出力画像データと、教師画像データ６１との平均２乗和誤差が損失関数として算出される。そして、この損失関数に基づく誤差逆伝播法により、ニューラルネットワーク３２のモデルパラメータである重み及びバイアスが学習される。

次に、お玉杓子５を持つ動作の学習について説明する。この場合、前述した入力画像データ作成部３１では、図１５に示すお玉杓子５の画像データ６０と、お玉杓子５を持つ状態をラベル化した取扱動作ラベルデータ（図示せず）とを組み合わせることにより、入力画像データが作成される。

また、教師画像データ出力部３３では、上述した教師画像データ６１に代えて、図１７に示す教師画像データ６２が学習処理部３４に出力される。この教師画像データ６２の場合、お玉杓子５の画像において、産業用ロボット１が掴むべき領域５ｃが、図中に点描で示すように定義されている。

以上のように、入力画像データ作成部３１で作成された入力画像データ及び教師画像データ出力部３３から出力された教師画像データ６２を用いて、前述した学習処理を所定回数分、繰り返して実行することにより、お玉杓子５を持つ動作の学習が実行される。

次に、お玉杓子５で物をすくう動作の学習について説明する。この場合、前述した入力画像データ作成部３１では、図１５に示すお玉杓子５の画像データ６０と、お玉杓子５で物をすくう動作をラベル化した取扱動作ラベルデータ（図示せず）とを組み合わせることにより、入力画像データが作成される。

また、教師画像データ出力部３３では、上述した教師画像データ６２に代えて、図１８に示す教師画像データ６３が学習処理部３４に出力される。この教師画像データ６３の場合、お玉杓子５の画像において、産業用ロボット１が掴むべき領域５ｄが、図中に点描で示すように定義され、物をすくうべき領域５ｅが図中にハッチングで示すように定義されている。

以上のように、入力画像データ作成部３１で作成された入力画像データ及び教師画像データ出力部３３から出力された教師画像データ６３を用いて、前述した学習処理を所定回数分、繰り返して実行することにより、お玉杓子５で物をすくう動作の学習が実行される。

本実施形態の学習装置３０では、以上のように、お玉杓子５における３種類の取扱動作の学習が実行される。その結果、ニューラルネットワーク３２のモデルパラメータ（重み及びバイアス）は、ハサミ３、ハンマー４及びお玉杓子５の各種の取扱動作の学習が十分に実行された値となる。

次に、図１９を参照しながら、以上のような本実施形態の学習方法による学習効果について説明する。同図において、「本発明手法」と記載されているデータは、本実施形態の学習方法によってモデルパラメータを学習済みのニューラルネットワークを準備し、前述したような各種の入力画像データをこのニューラルネットワークに入力する試験を実施したときの、ニューラルネットワークの出力値の試験結果を表している。

また、「本発明手法」の出力値のデータにおいて、「渡す」及び「持つ」のデータは、ハサミ３、ハンマー４及びお玉杓子５の画像データを用いて、入力画像データを作成した場合の平均値を示しており、「切る」のデータはハサミ３の画像データを用いて、入力画像データを作成した場合の値である。さらに、「叩く」のデータは、ハンマー４の画像データを用いて、入力画像データを作成した場合の値を示しており、「すくう」のデータは、お玉杓子５の画像データを用いて、入力画像データを作成した場合の値を示している。

一方、図１９において、「従来手法」と記載されているデータは、比較のために、前述したような従来の学習方法によってモデルパラメータを学習したニューラルネットワークを用いたときの、ニューラルネットワークの出力値の試験結果を表している。

同図の「本発明手法」データと「従来手法」のデータを比較すると明らかなように、５種類の取扱動作のいずれにおいても、本発明手法の方が、従来手法と比べて、高い出力値を得られており、推定精度が向上していることが判る。

次に、図２０を参照しながら、本実施形態の産業用ロボット１の制御処理について説明する。この制御処理は、作業者２の音声指令がマイロフォン２５を介して入力されたときに、その音声指令に基づいて、産業用ロボット１による道具の取扱動作を制御するものであり、コントローラ２０によって実行される。なお、以下の説明では、「ハサミを渡してください」という音声指令が入力された場合の例について説明する。

同図に示すように、まず、作業者２からの音声指令が入力されたか否かを判定する（図２０／ＳＴＥＰ１）。この判定が否定（図２０／ＳＴＥＰ１…ＮＯ）のときには、そのまま本処理を終了する。

一方、この判定が肯定（図２０／ＳＴＥＰ１…ＹＥＳ）で、音声指令が入力されたときには、音声指令に対して音声認識処理を実行する（図２０／ＳＴＥＰ２）。この音声認識処理では、音声指令に基づき、作業者２が産業用ロボット１に対して要求した道具として、ハサミ３が認識され、その取扱動作として、「渡す」という動作が認識される。

次いで、音声認識処理での認識結果に基づき、画像データが取得される（図２０／ＳＴＥＰ３）。すなわち、前述した図４に示すようなハサミ３の画像データが取得される。

次に、音声認識処理での認識結果に基づき、取扱動作ラベルデータが取得される（図２０／ＳＴＥＰ４）。すなわち、前述した図５に示すような「渡す」動作のときの取扱動作ラベルデータが取得される。

以上のように、ハサミ３の画像データと、「渡す」動作のときの取扱動作ラベルデータとを取得した後、両者を組み合わせることにより、入力画像データが作成される（図２０／ＳＴＥＰ５）。

次いで、この入力画像データをニューラルネットワークに入力することにより、ニューラルネットワークから出力される出力画像データを取得する（図２０／ＳＴＥＰ６）。この場合、ニューラルネットワークのモデルパラメータが前述した学習手法により十分に学習されている関係上、出力画像データとしては、前述した図８の教師画像データに極めて近い状態のデータが取得される。

以上のように、出力画像データを取得した後、この出力画像データに基づき、取扱動作制御処理が実行される。具体的には、出力画像データにおける産業用ロボット１が掴むハサミ３の部位（領域３ａ）と、ユーザが掴むべきハサミ３の部位（領域３ｂ）が認識される。

そして、これらの認識結果及びカメラ２４からの画像データに基づき、３つのモータ２１～２３が制御されることにより、ハサミ３の領域３ａがロボットハンド１１によって挟持された状態で、ユーザ２に手渡される。以上のように、取扱動作制御処理を実行した後、本処理を終了する。

以上のように、本実施形態の学習装置３０の学習方法によれば、ハサミ３を渡す動作を学習する際には、入力画像データ作成部３１において、画像データ４０及び取扱動作ラベルデータ４１が取得され、これらの画像データ４０と取扱動作ラベルデータ４１を組み合わせることにより、入力画像データが作成される。

次いで、入力画像データがニューラルネットワーク３２に入力されることにより、出力画像データが学習処理部３４に出力され、さらに、教師画像データ４４が学習処理部３４に出力される。そして、学習処理部３４では、出力画像データと教師画像データ４４との平均二乗誤差が損失関数として算出され、これに基づく誤差逆伝播法により、ニューラルネットワーク３２の重み及びバイアスが学習される。以上の学習処理が所定回数（例えば数千回）分、繰り返して実行されることにより、ハサミ３を渡す動作の学習が終了する。

また、ハサミ３を持つ動作及びハサミ３で切る動作の学習も、以上と同様に実行される。さらに、ハンマー４を渡す動作、ハンマー４を持つ動作及びハンマー４で叩く動作の学習も、以上と同様に実行され、お玉杓子５を渡す動作、お玉杓子５を持つ動作及びお玉杓子５で叩く動作の学習も、以上と同様に実行される。

以上のように、この学習方法によれば、多数の道具の学習を実行する際、１つのニューラルネットワーク３２のモデルパラメータを学習するだけでよいので、多数の道具の学習を実行したとしても、従来の学習手法と異なり、モデルパラメータの数が増大することがない。すなわち、モデルパラメータの増大を抑制しながら、道具と複数の取扱動作との関係を表すニューラルネットワーク３２のモデルパラメータを学習することができる。

また、ニューラルネットワーク３２への入力として、画像データ４０と取扱動作ラベルデータ４１を組み合わせた入力画像データが用いられるので、従来のニューラルネットワークのモデルパラメータの学習方法と同じ方法を用いることができる。それにより、コストの増大を抑制しながら、高い汎用性を確保することができる。

さらに、取扱動作ラベルデータは、実施形態の取扱動作ラベルデータ４１以外に、様々な道具において様々な取扱動作を表すように作成することができるとともに、数字を組み合わせるだけでよいので、容易に作成することができる。それにより、コストの増大を抑制することができる。

これに加えて、画像データ４０及び取扱動作ラベルデータ４１は、縦の画素数が互いに同一であるとともに横の画素数も互いに同一に構成されているので、両者のサイズを一致させるためのフィルタ処理などが不要になる。それにより、演算処理の容易性を確保することができる。

また、以上のようにモデルパラメータが学習されたニューラルネットワーク３２を用いて、産業用ロボット１を制御することができる。それにより、産業用ロボット１におけるコントローラ２０の記憶容量の増大を抑制することができる。

なお、実施形態の場合、入力画像データ作成部３１では、前述したように、画像データ４０と取扱動作ラベルデータ４１を組み合わせることにより、入力画像データを作成したが、これに代えて、以下に述べる手法により、入力画像データを作成してもよい。

すなわち、画像データ４０に対して、所定のフィルタ処理としての畳み込みフィルタ演算処理を施すことにより、画像データ４０の図示しない特徴マップデータ（第１データ）を作成する。さらに、取扱動作ラベルデータ４１に対して、所定のフィルタ処理としての畳み込みフィルタ演算処理を施すことにより、取扱動作ラベルデータ４１の図示しない特徴マップデータ（第２データ）を作成する。

この場合、取扱動作ラベルデータ４１の特徴マップデータは、縦の画素数及び横の画素数が画像データ４０の特徴マップデータにおける縦の画素数及び横の画素数と同一に設定されている。そして、これら２つの特徴マップデータを組み合わせることにより、入力画像データが作成される。以上のように入力画像データを作成した場合でも、実施形態と同様の作用効果を得ることができる。

なお、この場合、所定のフィルタ処理としては、上記の畳み込みフィルタ演算処理に限らず、所定の圧縮処理などを用いてもよい。例えば、多層の畳み込みニューラルネットワークから構成されるエンコーダー・デコーダーなどを用いてもよい。

また、実施形態は、取扱動作データとして、取扱動作ラベルデータ４１を用いた例であるが、本発明の取扱動作データは、これに限らず、取扱動作を所定形式で表したものであればよい。

例えば、取扱動作データとして、図２１に示す取扱動作ラベルデータ７０を用いてもよい。同図に示すように、この取扱動作ラベルデータ７０の場合、最上位の行が「物を自分で使う」という取扱動作のデータ欄に設定され、上から２番目の行が「物を人に渡す」という取扱動作のデータ欄に設定されている。さらに、上から３番目の行が「物を人と一緒に使う」という取扱動作のデータ欄に設定され、上から４番目以下の行が図示しない取扱動作のデータ欄に設定されている。

この取扱動作ラベルデータ７０の場合、「物を人に渡す」という取扱動作を学習するときに使用されるものであり、そのため、２番目の行のデータが値「０」と値「１」を組み合わせたデータになっているのに対して、それ以外の行のデータは値「０」に設定されている。

また、取扱動作ラベルデータ７０は、縦の画素数及び横の画素数が画像データ４０における縦の画素数及び横の画素数と同一に設定されている。したがって、前述した入力画像データ作成部３１において、この取扱動作ラベルデータ７０を画像データ４０と組み合わせ、入力画像データを作成することによって、ハサミ３などの道具を人に渡す状態を学習することができる。

さらに、「物を自分で使う」という取扱動作を学習する際には、取扱動作ラベルデータ７０において、最上位の行のデータを値「０」と値「１」の組み合わせに設定し、それ以外の行を全て値「０」に設定したものを用いることによって、「物を自分で使う」という取扱動作を学習することができることになる。以上のような取扱動作ラベルデータ７０を用いた場合でも、実施形態と同様の作用効果を得ることができる。

これに加えて、上記の取扱動作ラベルデータ７０は、複数の行のデータ欄が複数の取扱動作をそれぞれ表すように構成したものであるが、これに代えて、取扱動作ラベルデータを、複数の列のデータ欄が複数の取扱動作をそれぞれ表すような構成してもよい。また、取扱動作ラベルデータのデータ欄を複数の行列のブロックに分割し、これら複数のブロックのデータ欄が複数の取扱動作をそれぞれ表すように構成してもよい。以上のような取扱動作ラベルデータを用いた場合でも、実施形態と同様の作用効果を得ることができる。

さらに、図２１の取扱動作ラベルデータ７０の場合、「物を人に渡す」という取扱動作を学習するときに使用されるものとして、２番目の行のデータを５個の値「０」と、５個の値「１」とを組み合わせるように構成した例であるが、２番目の行のデータの構成はこれに限らず、他の行のデータと区別できるように構成されていればよい。例えば、２番目の行のいずれか１箇所のみのデータを値「１」に設定し、それ以外のデータを値「０」に設定してもよく、これとは逆に構成してもよい。以上のような取扱動作ラベルデータ７０を用いた場合でも、実施形態と同様の作用効果を得ることができる。

なお、実施形態は、動作装置として、ロボットアームタイプの産業用ロボット１を用いた例であるが、本発明の動作装置は、これに限らず、対象物を複数の取扱動作で取り扱うものであればよい。例えば、動作装置として、人型ロボット、家庭内の家事作業（炊事など）を実行／補助する家事作業装置、家庭内での工作作業（家具の組み立てなど）を実行／補助する工作作業装置、又は、医療現場での医療作業を実行／補助する医療作業装置などを用いてもよい。

また、実施形態は、ハサミ３、ハンマー４及びお玉杓子５を対象物とした例であるが、本発明の対象物は、これらに限らず、動作装置が複数の取扱動作で取り扱うものであればよい。例えば、工具（カッター及びドライバーなど）、キッチン用具（包丁及びナイフなど）、又は医療用具（メス及びピンセットなど）を対象物としてもよい。

さらに、実施形態は、「渡す」、「持つ」、「切る」、「叩く」及び「すくう」の動作を取扱動作とした例であるが、本発明の取扱動作は、これに限らず、動作装置が対象物を取り扱うときの動作であればよい。例えば、「押す」、「引く」、「挟む」又は「振る」などの動作を取扱動作としてもよい。

一方、実施形態は、取扱動作モデルとして、深層ニューラルネットワークを用いた例であるが、本発明の取扱動作モデルは、これに限らず、対象物と複数の取扱動作との関係を表すものであればよい。例えば、取扱動作モデルとして、畳み込みニューラルネットワーク又は再帰型ニューラルネットワークを用いてもよく、サポートベクターマシンを用いてもよい。また、連続動画像の時間軸方向に対する畳み込みニューラルネットワーク(3D-CNN)やLSTM（Long short-term memory）を用いてもよい。

また、実施形態は、教師画像データとして、教師画像データ４４～４６，５１～５３，６１～６３を用いた例であるが、本発明の教師画像データは、これに限らず、動作装置が複数の取扱動作で対象物を取り扱っているときの動作装置と対象物の所定関係を表すものであればよい。例えば、動作装置が産業用ロボットの場合、教師画像データとして、産業用ロボットが実際に対象物を掴んだり、持ったり、装着したりしている画像データを用いてもよい。また、教師画像データとして、ロボット搭載カメラから撮影した作業者が実際に対象物を掴んだり、持ったり、装着したりしている画像データを用いてもよい。

さらに、実施形態は、所定の学習方法として、損失関数として平均二乗誤差を算出し、これに基づく誤差逆伝播法を用いた例であるが、本発明の所定の学習方法は、これに限らず、取扱動作モデルのモデルパラメータを学習できるものであればよい。例えば、損失関数として平均絶対誤差、平均絶対誤差又は交差エントロピー誤差などを用い、これに基づく誤差逆伝播法を用いてもよい。また、複数の損失関数を組み合わせて最適化を行う方法を用いてもよい。さらに、所定の学習方法として、Direct Feedback Alignment、Synthetic Gradient、又はDifference Target Propなどを用いてもよい。

一方、実施形態は、情報処理装置として、コントローラで構成された学習装置３０を用いた例であるが、本発明の情報処理装置は、これに限らず、取扱動作モデルのモデルパラメータを学習できるものであればよい。例えば、情報処理装置として、パーソナルコンピュータ、サーバー又はクラウドサーバーなどを用いてもよい。

また、実施形態は、対象物の画像データを取得する場合、入力画像データ作成部３１に記憶されている複数種類の画像データの中から１つの画像データを読み出した例であるが、これに代えて、外部から入力画像データ作成部３１に入力される画像データを取得するように構成してもよい。

さらに、実施形態は、取扱動作データとしての取扱動作ラベルデータを取得する場合、入力画像データ作成部３１に記憶されている複数種類の取扱動作ラベルデータの中から１つの取扱動作ラベルデータを読み出した例であるが、外部から入力画像データ作成部３１に入力される多数の取扱動作ラベルデータの中から１つの取扱動作ラベルデータを選択するように構成してもよく、外部から入力画像データ作成部３１に入力される１つの取扱動作ラベルデータを取得するように構成してもよい。

１ 産業用ロボット（動作装置）
２ 作業者（人）
３ ハサミ（対象物、受渡し対象物）
４ ハンマー（対象物、受渡し対象物）
５ お玉杓子（対象物、受渡し対象物）
２０ コントローラ（制御装置、記憶部、制御部）
３０ 学習装置（情報処理装置）
３２ ニューラルネットワーク（取扱動作モデル）
４０ ハサミの画像データ
４１ 取扱動作ラベルデータ（取扱動作データ）
44～46 ハサミの教師画像データ
５０ ハンマーの画像データ
51～53 ハンマーの教師画像データ
６０ お玉杓子の画像データ
61～63 お玉杓子の教師画像データ
７０ 取扱動作ラベルデータ（取扱動作データ）

Claims (8)

1. 動作装置が対象物を複数の取扱動作で取り扱う場合において、前記対象物と前記複数の取扱動作との関係を表す取扱動作モデルのモデルパラメータを情報処理装置によって学習する学習方法であって、
   前記情報処理装置は、
   前記対象物の画像データを取得する第１処理を実行し、
   前記複数の取扱動作を所定形式で表した複数の取扱動作データの中から、前記複数の取扱動作のうちの１つの取扱動作に対応する１つの取扱動作データを取得する第２処理を実行し、
   前記動作装置が前記複数の取扱動作で前記対象物を取り扱っているときの前記動作装置と前記対象物の所定関係を表す複数の教師画像データの中から、前記１つの取扱動作に対応する１つの教師画像データを取得する第３処理を実行し、
   前記１つの取扱動作データと前記画像データを組み合わせたデータとして、入力画像データを作成する第４処理を実行し、
   当該入力画像データを前記取扱動作モデルに入力したときに前記取扱動作モデルから出力される出力画像データを取得する第５処理を実行し、
   当該出力画像データと前記１つの教師画像データを用いて、前記取扱動作モデルのモデルパラメータを所定の学習方法により学習する第６処理を実行し、
   前記第４～第６処理を所定回数繰り返し実行した後、前記第４処理で前記画像データに組み合わせる前記１つの取扱動作データを、前記複数の取扱動作のうちの前記１つの取扱動作以外の前記取扱動作に対応する前記取扱動作データに変更するとともに、前記第６処理で用いる前記１つの教師画像データを、当該変更した取扱動作に対応する前記教師画像データに変更して、前記第４～第６処理を前記所定回数繰り返し実行することを特徴とする学習方法。
2. 請求項１に記載の学習方法において、
   前記複数の取扱動作データの各々は、前記対象物及び前記動作装置の関係を、互いに異なる数字の領域で模式的に表したデータであることを特徴とする学習方法。
3. 請求項１に記載の学習方法において、
   前記対象物は、複数の対象物で構成され、
   前記情報処理装置は、前記第１～第６処理を、前記複数の対象物の各々に対して実行することを特徴とする学習方法。
4. 請求項３に記載の学習方法において、
   前記複数の対象物は、前記動作装置から人に渡される受渡し対象物を含み、
   前記取扱動作データは、前記受渡し対象物、前記動作装置及び前記人の関係を、互いに異なる数字又は記号の領域で模式的に表したデータであることを特徴とする学習方法。
5. 請求項１ないし４のいずれかに記載の学習方法において、
   前記画像データと前記取扱動作データは、縦の画素数が互いに同一であるとともに横の画素数も互いに同一に構成されていることを特徴とする学習方法。
6. 請求項１ないし４のいずれかに記載の学習方法において、
   前記第４処理では、前記画像データに所定のフィルタ処理を施した第１データと、当該第１データと縦の画素数及び横の画素数が同一の、前記複数の取扱動作データのうちの１つに前記所定のフィルタ処理を施した第２データとを組み合わせたデータとして、前記入力画像データが作成されることを特徴とする学習方法。
7. 請求項１に記載の学習方法において、
   前記取扱動作データは、数字の行及び列の少なくとも一方によって前記１つの取扱動作を定義したデータであることを特徴とする学習方法。
8. 請求項１ないし７のいずれかに記載の学習方法によって学習された前記モデルパラメータ及び前記取扱動作モデルを記憶する記憶部と、
   当該記憶部に記憶された前記モデルパラメータ及び前記取扱動作モデルを用いて、前記動作装置を制御する制御部と、
   を備えることを特徴とする動作装置の制御装置。

Images