WO2021124445A1

WO2021124445A1 - 情報処理装置、ワーク認識装置およびワーク取り出し装置

Info

Publication number: WO2021124445A1
Application number: PCT/JP2019/049393
Authority: WO
Inventors: 亮輔川西; 彩佳里大島; 泰憲櫻本; 智樹玉田
Original assignee: 三菱電機株式会社
Priority date: 2019-12-17
Filing date: 2019-12-17
Publication date: 2021-06-24
Also published as: CN114845844A; DE112019007852T5; DE112019007852B4; JP6758540B1; JPWO2021124445A1; CN114845844B

Abstract

情報処理装置である計算機（４）は、把持機構による把持の対象であるワークの計測データに基づいて、把持の際に把持機構に取らせる位置および姿勢である把持位置姿勢の候補を検出する候補検出部（１３）と、候補である把持位置姿勢を取って把持機構がワークを把持した場合における把持の安定性を評価した結果である評価値を算出する評価値算出部（１４）と、把持機構に取らせる把持位置姿勢を評価値に基づいて決定する位置姿勢決定部（１５）と、ワークごとの計測データとワークごとの把持位置姿勢の情報とを互いに関連付けたデータセットに基づいて、把持の安定性を評価するための把持評価モデルを学習する把持評価学習部（２１）と、を備える。評価値算出部（１４）は、候補である把持位置姿勢の情報と計測データとを把持評価モデルへ入力することによって評価値を算出する。

Description

情報処理装置、ワーク認識装置およびワーク取り出し装置

　本発明は、把持機構に取らせる位置および姿勢を決定する情報処理装置、ワーク認識装置およびワーク取り出し装置に関する。

　ばら積みされた複数のワークからワークを１つずつ取り出すワーク取り出し装置が知られている。ばら積みとは、位置および姿勢がランダムな状態で物が積まれていることを指すものとする。特許文献１には、ワークを把持する把持機構であるハンドを有し、ばら積みされたワークを３次元計測することによって取得された３次元計測データに基づいて把持位置姿勢を決定するワーク取り出し装置が開示されている。把持位置姿勢とは、ワークを把持する際にハンドに取らせる位置および姿勢とする。特許文献１にかかるワーク取り出し装置は、３次元計測データにハンドモデルを当てはめることによって、把持が成功する可能性を評価する。特許文献１にかかるワーク取り出し装置は、把持が成功する可能性の評価結果であるスコアに基づいて把持位置姿勢を決定する。

特許第５５５８５８５号公報

　ワークの形状に個体差が大きい場合、ワークを安定して把持可能な把持位置姿勢がワークごとに異なることになるため、把持が成功する可能性を評価することが難しくなる。例えばワークの重心付近の部分を把持するように把持位置姿勢を決定したとしても、ワークによっては、重心付近以外の部分を把持するほうが安定した把持が可能となる場合がある。特許文献１に開示される従来技術によると、ワーク取り出し装置は、ワークの形状にばらつきが小さいワーク、例えば工業部品については、安定した把持が可能であるか否かを正確に評価可能である一方、ワークの形状にばらつきがある場合には正確な評価が困難となる。このため、従来技術によると、ワーク取り出し装置は、形状にばらつきがあるワークについて、ワークを安定して把持可能とする把持機構の位置および姿勢を決定することが困難であるという問題があった。

　本発明は、上記に鑑みてなされたものであって、形状にばらつきがあるワークの各々を安定して把持可能とする把持機構の位置および姿勢を決定することができる情報処理装置を得ることを目的とする。

　上述した課題を解決し、目的を達成するために、本発明にかかる情報処理装置は、把持機構による把持の対象であるワークの計測データに基づいて、把持の際に把持機構に取らせる位置および姿勢である把持位置姿勢の候補を検出する候補検出部と、候補である把持位置姿勢を取って把持機構がワークを把持した場合における把持の安定性を評価した結果である評価値を算出する評価値算出部と、把持機構に取らせる把持位置姿勢を評価値に基づいて決定する位置姿勢決定部と、ワークごとの計測データとワークごとの把持位置姿勢の情報とを互いに関連付けたデータセットに基づいて、把持の安定性を評価するための把持評価モデルを学習する把持評価学習部と、を備える。評価値算出部は、候補である把持位置姿勢の情報と計測データとを把持評価モデルへ入力することによって評価値を算出する。

　本発明にかかる情報処理装置は、形状にばらつきがあるワークの各々を安定して把持可能とする把持機構の位置および姿勢を決定することができるという効果を奏する。

本発明の実施の形態１にかかるワーク取り出し装置の構成を示す図実施の形態１にかかるワーク取り出し装置のブロック図実施の形態１にかかるワーク取り出し装置の動作手順を示すフローチャート実施の形態１にかかるワーク取り出し装置による把持位置姿勢の認識について説明するための第１の図実施の形態１にかかるワーク取り出し装置による把持位置姿勢の認識について説明するための第２の図実施の形態１にかかるワーク取り出し装置が有するデータセット取得部の構成例を示す図

　以下に、本発明の実施の形態にかかる情報処理装置、ワーク認識装置およびワーク取り出し装置を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
　図１は、本発明の実施の形態１にかかるワーク取り出し装置の構成を示す図である。実施の形態１にかかるワーク取り出し装置１は、箱８の中にばら積みされた複数のワーク７を１つずつ取り出す。各ワーク７は、ハンド６による把持の対象である。実施の形態１において、ワーク７は、形状に個体差がある製品あるいは生産物である。ワーク７の例は、ピースごとに仕分けることが可能な食品である。実施の形態１において、ユーザとは、ワーク取り出し装置１を含むシステムの構築または運用を請け負う事業者、あるいはワーク取り出し装置１を使用する生産技術者とする。

　ワーク取り出し装置１は、産業用ロボットであるロボット２と、ロボット２を制御するコントローラ３と、情報処理装置である計算機４と、３次元ビジョンセンサであるセンサ５とを備える。ロボット２とコントローラ３と計算機４とセンサ５とは、互いに通信可能に接続されている。

　ロボット２は、把持機構であるハンド６を有する。ハンド６は、ロボット２のアーム先端に取り付けられている。ロボット２は、ロボット２の可動領域内にてハンド６を移動させるとともに、ハンド６の姿勢を変化させる。コントローラ３は、ロボット２のアームとハンド６とを制御する。

　実施の形態１において、ハンド６は、開閉可能な２つあるいは複数の爪によってワーク７を挟持する機構を有する。ハンド６は、吸引力を発生させることによってワーク７を吸着させる機構を有しても良い。ワーク７に穴が形成されている場合、ハンド６は、２つあるいは複数の爪を穴に挿し入れて、爪を開いてワーク７を保持する機構を有しても良い。

　計算機４とセンサ５とは、ワーク７の位置とワーク７の姿勢とを認識するワーク認識装置を構成する。ワーク認識装置は、ハンド６がワーク７を把持する際にハンド６に取らせる位置および姿勢も認識する。センサ５は、ワーク７を含むシーンを観測することによって、ワーク７の３次元計測データを取得する。センサ５は、ワーク７の３次元計測データを含むシーン情報を生成する。センサ５は、生成されたシーン情報を計算機４へ出力する。

　実施の形態１において、センサ５は、二眼あるいは三眼以上のステレオカメラである。センサ５は、レーザまたはプロジェクタといった投光部を備えるアクティブ方式のステレオカメラ、タイムオブフライト方式を用いた機器、因子分解法、Structure　from　MotionあるいはStructure　and　Motionの手法を用いた機器、モーションステレオカメラ、視体積交差法を用いた機器などであっても良い。センサ５は、任意の領域の３次元データを取得できる機器であれば良い。

　計算機４は、３次元計測データに基づいて把持位置姿勢を認識するための演算処理を行う情報処理装置である。計算機４が認識する把持位置姿勢は、ハンド６がワーク７を把持する際にハンド６に取らせる実際の把持位置姿勢である。実施の形態１において、計算機４は、パーソナルコンピュータなどのコンピュータである。計算機４には、把持位置姿勢を認識するためのプログラムがインストールされる。

　図２は、実施の形態１にかかるワーク取り出し装置のブロック図である。図２には、計算機４が有する機能構成と、計算機４の機能構成を実現するためのハードウェア構成とを示している。

　計算機４は、各種処理を実行する処理部であるプロセッサ１０と、情報を記憶する記憶部であるメモリ１１と、計算機４の外部の装置との間における情報の送受信を担うインタフェース（InterFace：Ｉ／Ｆ）１２とを有する。

　プロセッサ１０は、ＣＰＵ（Central　Processing　Unit）である。プロセッサ１０は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Digital　Signal　Processor）であっても良い。メモリ１１は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable　Programmable　Read　Only　Memory）またはＥＥＰＲＯＭ（登録商標）（Electrically　Erasable　Programmable　Read　Only　Memory）、ＨＤＤ（Hard　Disk　Drive）またはＳＳＤ（Solid　State　Drive）を含む。把持位置姿勢を認識するためのプログラムは、メモリ１１に格納される。プロセッサ１０は、メモリ１１に格納されているプログラムを実行する。

　図２には、プロセッサ１０を使用することによって実現される機能構成を示している。計算機４は、プロセッサ１０を使用することによって実現される機能部である候補検出部１３、評価値算出部１４、位置姿勢決定部１５、データセット取得部１６、実績取得部１７および学習部１８を備える。

　候補検出部１３、評価値算出部１４、位置姿勢決定部１５、データセット取得部１６、実績取得部１７および学習部１８の各機能は、プロセッサ１０およびソフトウェアの組み合わせによって実現される。各機能は、プロセッサ１０およびファームウェアの組み合わせによって実現されても良く、プロセッサ１０、ソフトウェアおよびファームウェアの組み合わせによって実現されても良い。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１１に格納される。プロセッサ１０は、ソフトウェアまたはファームウェアを読み出す。プロセッサ１０は、ソフトウェアまたはファームウェアを実行する。

　把持位置姿勢を認識するためのプログラムは、コンピュータによる読み取りが可能とされた記憶媒体に記録されたものであっても良い。計算機４は、記憶媒体に記録されたプログラムをメモリ１１へ格納しても良い。記憶媒体は、フレキシブルディスクである可搬型記憶媒体、あるいは半導体メモリであるフラッシュメモリであっても良い。把持位置姿勢を認識するためのプログラムは、他のコンピュータあるいはサーバ装置から通信ネットワークを介して計算機４へインストールされても良い。

　Ｉ／Ｆ１２は、センサ５によって出力されたシーン情報を受信する。候補検出部１３は、Ｉ／Ｆ１２から入力されたシーン情報に基づいて、把持位置姿勢の候補を検出する。候補検出部１３は、検出された候補である把持位置姿勢の情報を評価値算出部１４へ出力する。

　評価値算出部１４は、候補である把持位置姿勢を取ってハンド６がワーク７を把持した場合における把持の安定性を評価した結果である評価値を算出する。把持の安定性とは、ワーク７の把持が成功し、かつハンド６が把持を解除するまでハンド６によるワーク７の保持を維持可能である度合いであるものとする。把持の安定性が低い場合には、ワーク７を把持するときに把持が失敗する可能性が高い場合と、把持されたワーク７がハンド６から脱落する可能性が高い場合と、ワーク７の周囲の物体へのハンド６の干渉によって把持が失敗する場合とが含まれる。ハンド６が干渉し得る物体としては、把持しようとしているワーク７の周囲にあるワーク７、あるいは箱８などがある。

　評価値算出部１４は、候補である把持位置姿勢の情報とシーン情報とを把持評価モデルへ入力することによって評価値を算出する。把持評価モデルは、ハンド６がワーク７を把持した場合における把持状態を評価するための評価モデルである。評価値算出部１４は、ワーク７の計測データと把持位置姿勢とから推測される把持状態を、把持評価モデルに基づいて評価する。評価値算出部１４は、算出された評価値を位置姿勢決定部１５へ出力する。

　位置姿勢決定部１５は、コントローラ３によるハンド６の制御によってハンド６に取らせる把持位置姿勢を評価値に基づいて決定する。位置姿勢決定部１５は、決定された把持位置姿勢の情報をＩ／Ｆ１２へ出力する。Ｉ／Ｆ１２は、把持位置姿勢の情報をコントローラ３へ送信する。コントローラ３は、把持位置姿勢の情報に基づいて、ロボット２による把持動作を制御する。コントローラ３は、ハンド６によってワーク７を把持した実績についての実績データをＩ／Ｆ１２へ出力する。実績データは、ハンド６による把持の成否を表す情報と、把持位置姿勢の情報と、算出された評価値とを含む。

　メモリ１１は、把持評価モデルと信頼性評価モデルとを記憶する。把持評価モデルは、干渉モデル、保持モデルおよび重み情報を含む。干渉モデルは、把持されるワーク７の周囲にある物体とハンド６との干渉の発生状態を評価するための評価モデルである。保持モデルは、ワーク７が把持された場合にハンド６にワーク７が保持される状態を評価するための評価モデルである。

　重み情報は、干渉の発生状態についての評価とハンド６にワーク７が保持される状態についての評価との重み付けを表すパラメータである。評価値算出部１４は、干渉モデルによる評価結果と保持モデルによる評価結果とを重み情報に従って重み付けして評価値を算出する。信頼性評価モデルは、決定される把持位置姿勢の信頼性を評価するための評価モデルである。

　学習部１８は、各種評価モデルを学習する機械学習装置である。学習部１８は、把持評価モデルを学習する把持評価学習部２１と、把持評価モデルを更新するモデル更新部２２と、信頼性評価モデルを学習する信頼性学習部２３とを有する。

　データセット取得部１６は、ワーク７ごとの計測データとワーク７ごとの把持位置姿勢の情報とを互いに関連付けたデータセットを取得する。データセット取得部１６は、取得されたデータセットを把持評価学習部２１へ出力する。把持評価学習部２１は、データセット取得部１６から入力されるデータセットに基づいて把持評価モデルを学習する。データセット取得部１６は、Ｉ／Ｆ１２にて受信されるシーン情報からワーク７の計測データを取得する。

　実績取得部１７は、Ｉ／Ｆ１２にて受信された実績データを取得する。実績取得部１７は、取得された実績データをモデル更新部２２と信頼性学習部２３とへ出力する。信頼性学習部２３は、位置姿勢決定部１５において決定される把持位置姿勢の信頼性を実績データに基づいて評価するための信頼性評価モデルを学習する。

　計算機４は、ユーザによる入力操作を受け付ける入力装置を備えていても良い。入力装置は、キーボード、マウスあるいはタッチパネルといった、情報を入力するための装置である。計算機４は、画面にて情報を表示する表示装置を備えていても良い。入力装置と表示装置との図示は省略する。

　次に、ワーク取り出し装置１による動作の詳細について説明する。図３は、実施の形態１にかかるワーク取り出し装置の動作手順を示すフローチャートである。図３には、ワーク取り出し装置１の運用を開始する前における立上調整から、ワーク取り出し装置１の運用によりワーク７の把持が行われるまでの手順を示している。ステップＳ１からステップＳ３の手順は、立上調整における手順である。ステップＳ４からステップＳ９は、ワーク取り出し装置１の運用によるワーク７の把持が行われるまでの手順である。

　ステップＳ１において、データセット取得部１６は、データセットを取得する。ユーザは、モデル学習のためのワーク登録を計算機４に指示する。ワーク登録とは、把持の対象となるワーク７に関する情報を登録することを指すものとする。ユーザは、例えば入力装置を操作することによってワーク登録を指示する。計算機４は、ワーク登録の指示に従ってセンサ５へ計測指令を出力する。センサ５は、計測指令に従ってシーン情報を取得し、シーン情報を計算機４へ送る。データセット取得部１６は、データセットの構成要素であるシーン情報を取得する。なお、センサ５は、箱８にばら積みされているワーク７と、計測用のステージ上に単体で置かれたワーク７とのどちらを計測しても良い。

　また、ユーザは、把持位置姿勢の情報と、ハンド６に当該把持位置姿勢を取らせた場合における把持の成否を示す情報とを入力装置へ入力する。データセット取得部１６は、入力装置へ入力された情報をワーク７の計測データに対応付けて登録することによって、データセットを作成する。このようにして、データセット取得部１６は、データセットを取得する。

　なお、データセット取得部１６には、手動入力以外によって把持位置姿勢の情報が登録されても良い。データセット取得部１６は、既存の認識アルゴリズムを実行することによって得られた把持位置姿勢の情報を取り込んでも良い。把持の成否を示す情報は、正解ラベルの付与によって登録される。また、計算機４は、シミュレーションを活用することによってデータセットを取得しても良い。シミュレーションの活用によるデータセットの取得については後述する。

　データセットが取得されると、ステップＳ２において、把持評価学習部２１は、ステップＳ１において取得されたデータセットに基づいて把持評価モデルを学習する。把持評価学習部２１は、例えば、ニューラルネットワークに従って、いわゆる教師あり学習によって、把持評価モデルを学習する。ここで、教師あり学習とは、ある入力と、結果であるラベルとであるデータの組を大量に機械学習装置へ与えることで、データセットにある特徴を学習し、入力から結果を推定する学習である。把持評価モデルの学習が完了すると、ステップＳ３において、メモリ１１は、把持評価モデルを記憶する。

　ワーク７の把持状態の評価において、干渉の発生状態とワーク７が保持される状態とは重要な観点となる。把持評価学習部２１は、干渉モデルと保持モデルとに把持評価モデルが分けられることによって、干渉の発生状態とワーク７が保持される状態とのそれぞれに評価対象を絞り込んで学習を行うことができる。これにより、計算機４は、学習モデルの収束性を向上させることができる。

　干渉モデルによる評価結果と保持モデルによる評価結果との重み付けが設定されることによって、計算機４は、干渉の発生状態についての評価とワーク７が保持される状態についての評価との各々についての重視の度合いを調整可能とする。これにより、計算機４は、把持の際に干渉を避けることが把持の成功率向上に寄与する場合と、ワーク７へのハンド６の接触状態を良好にすることが把持の成功率向上に寄与する場合との両方に対応して、把持位置姿勢を決定することが可能となる。また、計算機４は、重み情報を学習することによって、干渉を避けることについての重みと、ハンド６の接触状態を良好にすることについての重みとが最適な比率となるような重み情報を、ユーザの設定によらずに得ることができる。

　計算機４は、データセットをトレーニングデータとテストデータとに分けておき、テストデータにおける把持位置姿勢の検出精度に基づいて把持評価モデルの学習結果をユーザに提示しても良い。計算機４は、例えば表示装置における表示によって学習結果を提示する。これにより、ユーザは、把持評価モデルを用いた評価の精度を確認することができ、把持評価モデルの使用によるワーク取り出し装置１の運用を開始して良いか否かを早期に判断することが可能となる。

　計算機４は、学習中の把持評価モデルを用いて把持位置姿勢についての評価を行うことによって、データセットに含まれる正解ラベルに付け違いがあったデータのリストをユーザに提示しても良い。ユーザは、提示に従って、データセットに含まれるデータの修正あるいは削除を行う。これにより、計算機４は、データセットに含まれる正解ラベルの付け違いによる学習精度の低下を抑制できる。

　立上調整の次に、ワーク取り出し装置１の立ち上げのための調整工程において、ユーザは、コントローラ３にロボットプログラムをインストールする。コントローラ３は、ロボットプログラムを実行する。コントローラ３は、ロボットプログラムの記述に従って、把持位置姿勢を認識するための認識指令をセンサ５へ送信する。センサ５は、シーン情報を取得して、計算機４へシーン情報を送信する。

　ステップＳ４において、計算機４は、センサ５から送信されたシーン情報を取得する。ステップＳ５において、候補検出部１３は、ワーク７の計測データに基づいて、把持位置姿勢の候補を検出する。候補検出部１３は、ワーク７の形状からハンド６による把持が可能な特徴が含まれる部分を抽出することによって、把持位置の候補とする位置を検出する。

　把持が可能な特徴としては、爪によってワーク７を挟持するハンド６であれば、爪の形状に合致するエッジが該当する。ワーク７を吸着させるハンド６であれば、一定のサイズよりも大きい平面が該当する。爪を開いてワーク７を保持するハンド６であれば、爪を差し入れる穴が該当する。候補検出部１３は、画像解析によって特徴を認識する。候補検出部１３は、検出された位置での把持のための把持姿勢を検出する。これにより、候補検出部１３は、把持位置姿勢の候補を検出する。検出される候補の数は、任意であるものとする。候補検出部１３は、検出された候補についての把持位置姿勢の情報を評価値算出部１４へ出力する。

　ステップＳ６において、評価値算出部１４は、ステップＳ５にて検出された各候補についての評価値を算出する。評価値算出部１４は、ロボットプログラムにおいて指定されているワーク７に対応する把持評価モデルをメモリ１１から読み出す。評価値算出部１４は、候補である把持位置姿勢の情報とシーン情報とを把持評価モデルへ入力することによって評価値を算出する。評価値算出部１４は、算出された評価値と候補である把持位置姿勢の情報とを位置姿勢決定部１５へ出力する。

　ステップＳ７において、位置姿勢決定部１５は、候補である把持位置姿勢の中から、ハンド６に取らせる把持位置姿勢を決定する。位置姿勢決定部１５は、候補の中で評価値が最も高い把持位置姿勢を決定する。このように、位置姿勢決定部１５は、評価値に基づいて把持位置姿勢を決定する。ステップＳ８において、Ｉ／Ｆ１２は、ステップＳ７にて決定された把持位置姿勢の情報をコントローラ３へ送信する。

　計算機４は、画像解析によって認識されたワーク７の重心位置またはワーク７が占める領域を候補検出部１３が検出し、ワーク７を含むワーク７付近の計測データが評価値算出部１４へ入力されることによって評価値算出部１４が把持位置姿勢と評価値とを算出しても良い。この場合、把持評価学習部２１は、評価値を学習すると同時に、把持位置姿勢を学習する。評価値と把持位置姿勢との学習をニューラルネットワークによって実現させる場合、ニューラルネットワークの入力層にはワーク７の重心を中心とした一定範囲の計測データが入力され、ニューラルネットワークの出力層からは評価値と把持位置姿勢の情報とが出力される。

　または、計算機４は、候補検出部１３によって検出された候補である把持位置姿勢の情報が評価値算出部１４へ入力されることによって評価値算出部１４が把持位置姿勢を修正し、評価値算出部１４が修正後の把持位置姿勢の情報を出力しても良い。修正後の把持位置姿勢の学習をニューラルネットワークによって実現させる場合、ニューラルネットワークの入力層にはワーク７の重心を中心とした一定範囲の計測データと候補である把持位置姿勢の情報とが入力され、ニューラルネットワークの出力層からは修正後の把持位置姿勢の情報が出力される。

　コントローラ３は、把持位置姿勢の情報を受信すると、計算機４によって決定された把持位置姿勢をハンド６に取らせる動作指令をロボット２へ送信する。ステップＳ９において、ハンド６は、ロボット２へ入力される動作指令に従い、計算機４によって決定された把持位置姿勢を取ってワーク７を把持する。これにより、ワーク取り出し装置１は、図３に示す手順による動作を終了する。

　計算機４からコントローラ３へ送信される把持位置姿勢の情報には、ロボット座標系における把持位置を示す３次元座標と、爪のアプローチ方向のデータとが含まれる。アプローチ方向は、３軸の各々を中心とする角度によって表される。把持位置姿勢の情報には、認識結果の信頼度として、ステップＳ６にて算出された評価値が含まれても良い。信頼度は、０から１までの実数によって表される。信頼度とする評価値は、把持の安定性についての評価値と、干渉の発生状態についての評価値と、ワーク７が保持される状態についての評価値とのいずれであっても良い。

　図４は、実施の形態１にかかるワーク取り出し装置による把持位置姿勢の認識について説明するための第１の図である。図５は、実施の形態１にかかるワーク取り出し装置による把持位置姿勢の認識について説明するための第２の図である。図４には、３つのワーク７とともに、各ワーク７を把持するときにおけるハンドモデル２５の例を示している。図４に示すハンドモデル２５は、２つの爪によってワーク７を挟持するハンド６を模式的に表したものである。図４に示すように、各ワーク７の形状は、不揃いであって、かつ複雑な凹凸が含まれている。

　図５には、１つのワーク７についての候補として、２つの把持位置姿勢が検出された場合の例を示している。２つの把持位置姿勢のうちの一方を表すハンドモデル２５－１では、２つの爪のうちの一方が凸部、他方が凹部に当てられる。２つの把持位置姿勢のうちの他方を表すハンドモデル２５－２では、２つの爪の双方が平坦なエッジに当てられる。また、ハンドモデル２５－１によって表される把持位置姿勢の場合、ワーク７の重心に近い位置が把持可能である一方、ハンドモデル２５－２によって表される把持位置姿勢の場合、ワーク７の重心から外れた位置が把持されることになる。

　図５に示す例の場合、ハンドモデル２５－２の位置よりもハンドモデル２５－１の位置のほうがワーク７を安定して把持可能となる。ただし、爪の形状に合致するか否かという観点のみに着目した場合、ハンドモデル２５－２によって表される把持位置姿勢のほうが、ハンドモデル２５－１によって表される把持位置姿勢よりも評価が高くなる。このように、あらかじめ決められた基準による評価が行われる場合、ハンドモデル２５－１の把持位置姿勢のように把持に適した位置を把持可能であるにも関わらず評価が低くなることがある。また、あらかじめ決められた基準による評価が行われる場合、ハンドモデル２５－２の把持位置姿勢のように把持に適さない位置を把持することになるにも関わらず評価が高くなることがある。実施の形態１では、計算機４は、学習によって得られた把持評価モデルを用いることによって、形状に個体差があるワーク７の各々について、安定した把持が可能であるか否かを正確に評価することが可能となる。

　実施の形態１において、データセットには、ワーク７の計測データと、把持位置姿勢の情報と、把持の成否を示す情報とが含まれる。ワーク７が直線状の形状である場合のように、ワーク７の軸方向によってワーク７の姿勢を表現可能である場合において、データセットには、ワーク７の軸方向の情報が含まれても良い。軸方向の情報を含むデータセットに基づいた学習によって、計算機４は、ワーク７の姿勢に適する把持位置姿勢を認識することが可能となる。

　また、データセットには、ハンド６の状態を表す情報が含まれても良い。２つの爪によってワーク７を挟持するハンド６の場合、爪の開き幅の情報がデータセットに含まれても良い。また、爪の挿し入れ深さの情報がデータセットに含まれても良い。ハンド６の状態を表す情報を含むデータセットに基づいた学習によって、計算機４は、ワーク７の状態に合わせた最適なハンド６の状態を認識することが可能となる。ワーク７の形状、位置または姿勢によっては、あらかじめ一意に設定された開き幅あるいは挿し入れ深さでは把持が安定しないことが想定される。ワーク取り出し装置１は、ワーク７の形状、位置または姿勢に従って、開き幅および進入深さを動的に変更することができることによって、把持の成功率をさらに向上することができる。

　把持位置姿勢の複数の候補が検出された場合に、計算機４は、各候補についての把持位置姿勢の情報をコントローラ３へ送信しても良い。計算機４は、把持位置姿勢の情報を評価値の順にソートして、コントローラ３へ送信しても良い。

　データセットには、ばら積みされた複数のワーク７の各々を取り出す順番の情報が含まれても良い。把持評価学習部２１は、かかるデータセットに基づいて、ばら積みされた複数のワーク７の各々を取り出すための最適な順番を学習しても良い。計算機４は、ワーク７を取り出すための最適な順番を認識することが可能となる。一度の認識によってワーク７の取り出しを複数回行う場合には、ワーク７の取り出しによってシーンが崩れない範囲においてワーク７ごとの順番が決定されることによって、ワーク取り出し装置１は、複数回の取り出し動作における把持成功率を向上させることが可能となる。

　次に、シミュレーションの活用によるデータセットの取得について説明する。図６は、実施の形態１にかかるワーク取り出し装置が有するデータセット取得部の構成例を示す図である。図６には、シミュレーションによってデータセットを自動で生成する場合におけるデータセット取得部１６の構成例を示している。

　データセット取得部１６は、ワーク７が取り出される環境を模擬した仮想空間におけるシーンを設定するシーン設定部３１と、シーンの設定に従ってシーン情報を生成するシーン情報生成部３２と、把持情報を設定する把持情報設定部３３と、把持情報とシーン情報とを関連付けたデータセットを生成するデータセット生成部３４と、データ変換部３５とを有する。把持情報は、ワーク７ごとの把持位置姿勢の情報と評価値とを含む。

　シーン設定部３１では、仮想空間に、実際にワーク７が取り出される場合と同じスペックおよび同じシチュエーションを想定した仮想センサおよび仮想ワークを配置し、取得され得る計測データをシミュレートする。スペックとは、センサ５がシーンを観測する際における画角または解像度といった条件である。シチュエーションとは、計測距離、またはワーク７の配置状態といった状況である。配置状態とは、ばら積み、平置き、整列といった状態である。シーン情報生成部３２は、取得され得る計測データをシミュレートし、シーン情報を生成する。

　把持情報を作成するために、把持情報設定部３３には、ワーク７に対してどのような把持位置姿勢が最適であるかを示す指標が設定されている。指標としては、把持位置とワーク７の重心との距離、ハンド６とワーク７との接触面積の大きさ、ハンド６とワーク７との接触面の角度、ワーク７のうちハンド６と接触する面における凹凸の度合い、アプローチ方向の制約条件、ハンド６の挿し入れ時におけるワーク７またはハンド６の破損の有無といった項目を採用することができる。指標は、これらの項目のうちの複数の項目についてのパラメータを含む評価関数であっても良い。評価関数には、項目ごとの重み付けが含まれても良い。鉛直上側のみが開放されている箱８にワーク７が配置されている場合、箱８の水平方向あるいは箱８の鉛直下方から箱８の内部へのハンド６の移動は制約されることになる。アプローチ方向の制約条件とは、このような制約についての条件である。

　データセット生成部３４は、把持が成功する場合におけるデータである正解データのみならず、把持が失敗する場合におけるデータである失敗データも生成する。失敗データは、ネガティブデータとも称される。把持が明らかに不可能である場合の失敗データのみならず、最適な把持位置姿勢には近いが把持が失敗し易いような把持位置姿勢についての失敗データがデータセットには含まれる。最適な把持位置姿勢には近いが把持が失敗し易いような場合とは、最適な把持位置付近におけるワーク７の表面に局所的な窪みあるいは局所的な尖りがある場合などが挙げられる。このような失敗データが生成されることによって、計算機４は、最適な把持位置姿勢と紛らわしくかつ把持の失敗が見込まれる把持位置姿勢を正確に評価することができる。計算機４は、より性能の高い把持評価モデルを得ることができる。

　データ変換部３５は、シーン情報生成部３２によって生成されるシーン情報の品質を、ワーク７を含む実際のシーンを観測することによって取得されるシーン情報の品質に近づけさせるためのデータ変換を行う。

　一般に、シミュレーションデータには、実データに含まれるようなノイズが含まれていない。シミュレーションデータへノイズを人工的に付加しても、シミュレーションデータのデータ品質を実データと同じデータ品質とすることは困難である。これに対し、データ変換部３５は、シミュレーションデータのデータ品質を実データと同じデータ品質とするためのデータ変換を行う。データ変換部３５は、互いに異なる質を持つデータの相互変換を行うニューラルネットワークの枠組みであるＧＡＮ（Generative　Adversarial　Networks）を適用したデータ変換を行う。データ変換処理の方法としては、物理モデルに基づいてデータ欠損と誤差要因とを再現する方法と、データ変換のための特徴表現を機械学習によって獲得する方法などがある。

　ここで、２つのデータ群のうちの一方はシミュレーションによって生成されたシミュレーションデータ群とする。２つのデータ群のうちの他方は実際に取得された実データ群とする。データ変換の１つの方式として、データ変換部３５は、シミュレーションデータと実データとの相互変換の学習結果に基づいて、実データの品質に近い品質をシミュレーションデータに与えるためのデータ変換を行う。データセット生成部３４は、データ変換部３５による変換を経たデータセットを出力する。このように、計算機４は、データ変換部３５によるデータ変換によって、センサ５によって取得される実データとの乖離が少ないシミュレーションデータをデータセット取得部１６において得る。これにより、計算機４は、実データであるデータセットに基づいた学習に近い学習を行うことができ、把持状態を正確に評価することが可能となる。

　または、計算機４は、データ変換の他の方式として、シミュレーションデータを用いて生成されたデータセットを基づいた学習を行い、シミュレーションデータの品質に近い品質に実データを変換して、変換されたデータを入力として把持状態の評価を行っても良い。どちらの方式によるデータ変換を行うかは、ワーク７によって、またはロボット２が行うタスク等によって適宜選択可能である。両方の方式によるデータ変換をテストして、良好なテスト結果が得られた一方の方式が選択されることとしても良い。

　なお、計算機４は、シミュレーションデータであるデータセットに基づいて把持評価モデルを学習し、把持を行う際に認識された把持位置姿勢についての実データにシミュレーションデータの品質に近い品質を与えるように、把持位置姿勢についての実データを変換することとしても良い。これにより、計算機４は、シミュレーションデータに基づく把持評価モデルを用いて、把持状態を正確に評価することが可能となる。

　このように、データセット取得部１６は、シミュレーションの活用によってデータセットを取得する。これにより、計算機４は、データセットを作成する手間と作業コストとを低減することができる。

　次に、フィードバックによる把持評価モデルの更新について説明する。モデル更新部２２には、把持の成否である把持結果を示す実績データが入力される。モデル更新部２２は、メモリ１１から読み出された把持評価モデルを実績データに基づいて更新する。モデル更新部２２は、実際の把持結果に基づいた再学習によって、把持評価モデルを更新する。

　実施の形態１において、モデル更新部２２は、立上調整において実施された把持試験の結果に基づいて把持評価モデルを更新する。モデル更新部２２は、ワーク取り出し装置１の運用において任意のタイミングで把持評価モデルを更新しても良い。モデル更新部２２は、ユーザによって指示されるタイミングにて把持評価モデルを更新する。または、モデル更新部２２は、実績データを随時取得し、強化学習による把持評価モデルの学習を継続しても良い。モデル更新部２２は、これらの更新を組み合わせて行っても良い。

　仮に、計算機４が、シミュレーションによって生成されたデータセットを用いた学習によって把持評価モデルを得て、把持評価モデルを実際のシーンに適用して把持状態を評価したとする。この場合において、シミュレーションによって生成されるシーン情報と実空間において取得されるシーン情報との乖離に起因して、把持成功率が低下することがある。実空間にて取得されるシーン情報には、ノイズ、センサ５における光学系の歪みあるいは校正ずれなどに起因する計測誤差が含まれ得るのに対し、シミュレーションによって生成されるシーン情報にはこのような計測誤差が含まれないことが、理由の１つとして挙げられる。これに対し、計算機４は、実空間において取得されるシーン情報を基に把持評価モデルを更新することによって、把持状態を正確に評価することが可能となる。

　なお、モデル更新部２２は、把持評価モデルに基づいて取得された把持位置姿勢の情報である解を入力として、把持の成功率が低い解を除外する機能を有する新たな把持評価モデルを生成しても良い。この場合も、計算機４は、把持状態を正確に評価することが可能となる。

　モデル更新部２２は、把持評価モデルの更新によって把持の成功率が一定の成功率未満となった場合に、把持評価モデルを更新前の把持評価モデルに戻しても良い。計算機４は、成功率が一定の成功率未満となった場合に、成功率が低下したことを知らせるアラームを表示装置に表示しても良い。これにより、ワーク取り出し装置１は、最低限の把持性能を確保し得る。強化学習による把持評価モデルの学習を継続する場合には、把持評価モデルの更新によってロボット２の動作がリアルタイムに変化することから、計算機４は、成功率が低下した場合に把持評価モデルを戻すことによって、把持の成功率の低下を抑制することができる。

　次に、信頼性評価モデルに基づく把持位置姿勢の選択について説明する。メモリ１１は、信頼性学習部２３による学習によって得られた信頼性評価モデルを記憶する。位置姿勢決定部１５は、ロボットプログラムにおいて指定されているワーク７に対応する信頼性評価モデルをメモリ１１から読み出す。位置姿勢決定部１５は、決定された把持位置姿勢の情報を信頼性評価モデルへ入力することによって、信頼性についての評価値を算出する。位置姿勢決定部１５は、算出された評価値である信頼性評価値と閾値とを比較することによって、決定された把持位置姿勢が、把持が失敗する可能性が高い把持位置姿勢であるか否かを判断する。

　位置姿勢決定部１５は、信頼性評価値が閾値以上である場合、決定された把持位置姿勢の情報をＩ／Ｆ１２へ出力する。位置姿勢決定部１５は、信頼性評価値が閾値未満である場合、評価値算出部１４にて算出された評価値と信頼性評価値とに基づいて、候補である把持位置姿勢の中から把持位置姿勢の選択を再度行うことによって、把持位置姿勢を決定し直す。位置姿勢決定部１５は、決定された把持位置姿勢の情報をＩ／Ｆ１２へ出力する。

　計算機４は、信頼性評価モデルに基づいて把持地位姿勢を選択することによって、把持の成功率をさらに向上させることができる。なお、計算機４は、モデル更新部２２による把持評価モデルの更新と、信頼性評価モデルに基づく把持位置姿勢の選択とのうちの少なくとも一方を行うものであれば良い。これにより、計算機４は、把持の成功率を向上させることができる。

　次に、実施の形態１の応用について説明する。計算機４は、実績データをフィードバックした把持評価モデルを使用しても把持の成功率が低迷している場合に、システムエラーあるいはログを表示することによって校正の見直しをユーザに促す機能が搭載されていても良い。ハンド６またはロボット２の部品等が経時劣化することによって、ロボット２へ入力される校正値とロボット２の状態とが乖離する場合がある。この場合に、実績データをフィードバックした把持評価モデルが使用されても、把持の成功率が向上しない可能性がある。これにより、計算機４は、把持の成功率を向上させるための校正をユーザに促すことができる。

　学習部１８である機械学習装置は、計算機４に内蔵されるものに限られず、計算機４の外部に設けられたものであっても良い。機械学習装置は、ネットワークを介して計算機４に接続される装置であっても良い。機械学習装置は、クラウドサーバ上に存在していても良い。計算機４には、学習済の把持評価モデルがインストールされても良い。

　機械学習装置は、クラウドサーバ上にて複数の現場から収集されたデータセットに基づいて把持評価モデルを生成しても良い。大量のワーク７について生成されたデータセットであるビッグデータに基づいて把持評価モデルが生成されることによって、計算機４は、把持の成功率をさらに向上させることができる。計算機４は、ビッグデータを基に生成された把持評価モデルを、一般的な把持の特徴量が反映されたベースモデルとして扱い、ベースモデルを基準として、現場ごと、あるいは新規のワーク７についての把持評価モデルを生成しても良い。ベースモデルには、現場あるいはワーク７に関わらず共通となる特徴量が反映されていると期待されることから、機械学習装置は、把持評価モデルを新規に学習する場合と比べて、学習に要する時間を短縮することができる。また、機械学習装置は、ベースモデルが使用されることによって、把持位置姿勢を高い精度で認識することが可能な把持評価モデルを少ないデータセットに基づいて学習することができる。

　食品のように、調理方法が同じであってかつ材料が異なるワーク７同士では、形状が異なりかつワーク７の表面の状態が類似する場合と、形状が類似しかつワーク７の表面の状態が異なる場合とがあり得る。機械学習装置は、このように類似性があるワーク７同士について、学習済のモデルを流用して把持評価モデルを学習しても良い。学習済の学習モデルには、ワーク７同士で共通となる特徴量が反映されていることが期待されることから、機械学習装置は、把持評価モデルを新規に学習する場合と比べて、学習に要する時間を短縮することができる。また、機械学習装置は、学習済のモデルが使用されることによって、把持位置姿勢を高い精度で認識することが可能な把持評価モデルを少ないデータセットに基づいて学習することができる。計算機４には、ワーク登録の際に、調理方法あるいは材料といったワーク７の属性情報が登録されも良い。類似するワーク７を属性情報に基づいて検索できるようにすることによって、計算機４は、互いに類似するワーク７についての学習の際において学習済のモデルを使用することを推奨しても良い。

　計算機４は、把持位置姿勢を認識するための把持評価モデル、すなわち把持に直接関連する情報についての学習と同時に、把持に間接的に関連する情報の学習を行っても良い。例えば、計算機４は、ワーク７の種類を識別するクラス識別処理のための情報、またはワーク７の表裏の判別といった把持後のタスクに関連する情報を学習しても良い。これにより、ワーク取り出し装置１は、ワーク７を把持した後にワーク７の種類とワーク７の表裏を判別する場合よりも、工程数を少なくすることができ、かつ構成をコンパクトにすることができる。

　実施の形態１では、計算機４は、ロボット２の可動領域内にてハンド６を移動させるために、ハンド６の制約条件の範囲内についての把持評価モデルを学習する。計算機４は、ハンド６の制約条件を解除あるいは緩和して把持評価モデルを学習しても良い。制約条件が解除あるいは緩和された場合における把持評価モデルを基にワーク７の認識試験が行われることによって、計算機４は、ハンド６の開き幅などの情報を収集する。計算機４は、収集された情報を解析することによって、安定して把持可能なハンド６の設計値を推測することができる。例えば、ハンド６の開き幅の中央値が、ハンド６のストロークの中心位置におけるハンド６の開き幅と一致するように、ハンド６が設計される。計算機４は、このようにして設計されたハンド６に基づいて再度モデルを学習する。計算機４は、ハンド６の制約条件をあらかじめ定めてからモデルを学習する場合と比較して、ワーク７に適応したモデルを学習することができ、把持の成功率を向上させることができる。

　実施の形態１によると、把持評価学習部２１は、ワーク７ごとの計測データとワーク７ごとの把持位置姿勢の情報とを互いに関連付けたデータセットに基づいて、把持の安定性を評価するための把持評価モデルを学習する。評価値算出部１４は、候補である把持位置姿勢の情報と計測データとを把持評価モデルへ入力することによって、評価値を算出する。これにより、計算機４は、形状にばらつきがあるワーク７の各々を安定して把持可能とする把持機構の位置および姿勢を決定することができるという効果を奏する。

　以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

　１　ワーク取り出し装置、２　ロボット、３　コントローラ、４　計算機、５　センサ、６　ハンド、７　ワーク、８　箱、１０　プロセッサ、１１　メモリ、１２　Ｉ／Ｆ、１３　候補検出部、１４　評価値算出部、１５　位置姿勢決定部、１６　データセット取得部、１７　実績取得部、１８　学習部、２１　把持評価学習部、２２　モデル更新部、２３　信頼性学習部、２５，２５－１，２５－２　ハンドモデル、３１　シーン設定部、３２　シーン情報生成部、３３　把持情報設定部、３４　データセット生成部、３５　データ変換部。

Claims

　把持機構による把持の対象であるワークの計測データに基づいて、把持の際に前記把持機構に取らせる位置および姿勢である把持位置姿勢の候補を検出する候補検出部と、
　前記候補である把持位置姿勢を取って前記把持機構がワークを把持した場合における把持の安定性を評価した結果である評価値を算出する評価値算出部と、
　前記把持機構に取らせる把持位置姿勢を前記評価値に基づいて決定する位置姿勢決定部と、
　ワークごとの計測データとワークごとの把持位置姿勢の情報とを互いに関連付けたデータセットに基づいて、把持の安定性を評価するための把持評価モデルを学習する把持評価学習部と、を備え、
　前記評価値算出部は、前記候補である把持位置姿勢の情報と前記計測データとを前記把持評価モデルへ入力することによって前記評価値を算出することを特徴とする情報処理装置。
　前記把持評価モデルは、把持されるワークの周囲にある物体と前記把持機構との干渉の発生状態を評価するための干渉モデルと、ワークが把持された場合に前記把持機構にワークが保持される状態を評価するための保持モデルとを含み、
　前記評価値算出部は、前記干渉モデルによる評価結果と前記保持モデルによる評価結果とを基に前記評価値を算出することを特徴とする請求項１に記載の情報処理装置。
　前記把持評価モデルは、前記干渉の発生状態についての評価と前記把持機構にワークが保持される状態についての評価との重み付けを表す重み情報を含み、
　前記評価値算出部は、前記干渉モデルによる評価結果と前記保持モデルによる評価結果とを前記重み情報に従って重み付けして前記評価値を算出することを特徴とする請求項２に記載の情報処理装置。
　前記把持評価学習部は、前記重み情報を学習することを特徴とする請求項３に記載の情報処理装置。
　ワークごとの把持位置姿勢の情報と評価値とを含む把持情報を設定する把持情報設定部と、
　前記把持情報と前記計測データを含むシーン情報とを関連付けた前記データセットを生成するデータセット生成部と、を備えることを特徴とする請求項１から４のいずれか１つに記載の情報処理装置。
　ワークが取り出される環境を模擬した仮想空間におけるシーンを生成するための情報を設定するシーン設定部と、
　シーンについて設定された情報に基づいて前記シーン情報を生成するシーン情報生成部と、を備えることを特徴とする請求項５に記載の情報処理装置。
　前記シーン情報生成部によって生成される前記シーン情報のデータ品質を、ワークを含む実際のシーンを観測することによって取得されるシーン情報のデータ品質に近づけさせるためのデータ変換を行うデータ変換部を備えることを特徴とする請求項６に記載の情報処理装置。
　前記把持機構による把持の成否を表す情報と、把持位置姿勢の情報と、算出された前記評価値とを含む実績データを取得する実績取得部と、
　前記位置姿勢決定部において決定される把持位置姿勢の信頼性を前記実績データに基づいて評価するための信頼性評価モデルを学習する信頼性学習部と、を備え、
　前記位置姿勢決定部は、前記信頼性評価モデルに基づいて把持位置姿勢を選択することを特徴とする請求項１から７のいずれか１つに記載の情報処理装置。
　把持機構による把持の対象であるワークを含むシーンを観測し、ワークの計測データを出力するセンサと、
　前記計測データに基づいて、把持の際に前記把持機構に取らせる位置および姿勢である把持位置姿勢の候補を検出する候補検出部と、
　前記候補である把持位置姿勢を取って前記把持機構がワークを把持した場合における把持の安定性を評価した結果である評価値を算出する評価値算出部と、
　前記把持機構に取らせる把持位置姿勢を前記評価値に基づいて決定する位置姿勢決定部と、
　ワークごとの計測データとワークごとの把持位置姿勢の情報とを互いに関連付けたデータセットに基づいて、把持の安定性を評価するための把持評価モデルを学習する把持評価学習部と、を備え、
　前記評価値算出部は、前記候補である把持位置姿勢の情報と前記計測データとを前記把持評価モデルへ入力することによって前記評価値を算出することを特徴とするワーク認識装置。
　把持機構を有するロボットと、
　前記ロボットを制御するコントローラと、
　前記把持機構による把持の対象であるワークを含むシーンを観測し、ワークの計測データを出力するセンサと、
　把持の際に前記把持機構に取らせる位置および姿勢である把持位置姿勢についての把持の安定性を評価する把持評価モデルへ前記計測データが入力されることによって、前記把持機構に取らせる把持位置姿勢を決定し、決定された把持位置姿勢の情報を前記コントローラへ出力する計算機と、を備えることを特徴とするワーク取り出し装置。
　前記計算機は、
　前記計測データに基づいて、前記把持機構に取らせる把持位置姿勢の候補を検出する候補検出部と、
　前記候補である把持位置姿勢を取って前記把持機構がワークを把持した場合における把持の安定性を評価した結果である評価値を算出する評価値算出部と、
　前記把持機構の制御にて適用される把持位置姿勢を前記評価値に基づいて決定し、決定された把持位置姿勢の情報を前記コントローラへ出力する位置姿勢決定部と、
　ワークごとの計測データとワークごとの把持位置姿勢の情報とを互いに関連付けたデータセットに基づいて前記把持評価モデルを学習する把持評価学習部と、を備え、
　前記評価値算出部は、前記候補である把持位置姿勢の情報と前記計測データとを前記把持評価モデルへ入力することによって前記評価値を算出することを特徴とする請求項１０に記載のワーク取り出し装置。