JP7454132B2 - ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム - Google Patents

Description

本発明は、対象物を操作するロボットシステムの制御装置、ロボットシステムの制御方法、ロボットシステムの制御プログラム、及びロボットシステムに関する。

ファクトリーオートメーション（ＦＡ：Factory Automation）における検査や生産ラインにおいて、ビン等の容器内にばら積みされたワーク（部品等）等の対象物を、ピースピッキングロボット等のロボットによって１つずつ取り出して、容器から別の場所や容器に移載したり、その対象物を加工したりする装置が知られている。かかる装置では、例えば、ばら積みされたワークを３次元計測し、得られた計測結果とワークの３次元モデルデータとの照合（３次元マッチング）により、個々のワークの３次元位置姿勢を認識して、ロボットでピックアップする。このような装置の例として、例えば特許文献１には、ロボットが移動している際に撮像された２つの画像から対象物を検出し、各画像が撮像されたときのロボットの位置姿勢情報を取得する装置が記載されている。この装置では、対象物の位置情報と各画像に対応するロボットの位置姿勢情報から、ロボット座標系における対象物の視線情報が算出され、それらの視線情報の交点から対象物の３次元位置が検出される。

特開２０１６－７０７６２号公報

しかし、容器内にばら積みされたワークの計測においては、通常、複雑な形状を有するワークの重なり合いによって視野の一部又は全部が遮断（オクルージョン）されたり、鏡面を有するワークの場合には相互反射が生じたりしてしまう。この場合、対象物の計測データの不備や欠損が生じてしまい、３次元マッチングが十分に行われ難くなり、そのため、対象物の認識ができなかったり、認識できてはいるもののその精度が悪くなったりするおそれがある。こうなると、容器内にワークが未だ残っている状態でも、ワークの取り出し処理が中断されてしまうといった問題が生じ得る。

そこで、本発明は、一側面では、かかる事情を鑑みてなされたものであり、ワーク等の対象物を例えば容器から取り出す処理が中断されてしまうことを抑止することができ、且つ、対象物の計測時におけるロバスト性、及び、対象物の操作の作業効率に優れたピッキングシステムの制御装置、ピッキングシステムの制御方法、ピッキングシステムの制御プログラム、及びピッキングシステムを提供することを目的とする。

本発明は、上述した課題を解決するために、以下の構成を採用する。

〔１〕すなわち、本開示に係る制御装置の一例は、ロボットアーム、及び、該ロボットアームの先端部に設けられ且つ対象物を操作するハンドを有するロボットと、前記ロボットアームに設けられ且つ前記対象物の位置情報（例えば、２次元又は３次元位置情報）を計測する計測装置（センサ）と、を備えるロボットシステムの制御装置である。また、制御装置は、前記対象物の位置情報を計測するときの前記計測装置の少なくとも１つの位置姿勢（計測装置の向き及び座標）を生成する位置姿勢生成部と、前記計測装置が、前記少なくとも１つの位置姿勢の少なくとも一部を経由して移動し、且つ、各位置姿勢において前記対象物の位置情報を計測するように、前記計測装置の計測経路を決定する計測経路決定部と、前記計測装置を、前記計測経路を含む移動経路に沿って移動させる処理を前記ロボットに指令し、且つ、前記計測装置が、前記計測経路において経由する前記少なくとも１つの位置姿勢の少なくとも一部において、前記対象物の位置情報を計測する処理を前記計測装置に指令する指令部と、前記計測装置による計測データを用いて前記対象物を認識する認識部とを備え、前記計測経路決定部は、例えば前記計測装置が前記移動経路を移動しているときに（但し、この時期に限定されない）、次回の動作サイクルにおける前記計測装置の計測経路を決定する。

ここで、「動作サイクル」とは、ハンドが対象物を操作して、ある場所から別の場所へ対象物を移動させる期間、及び／又は、そこからハンドが元の場所へ戻るまでの期間を示し、換言すれば、ハンドが対象物を把持して移動し、及び／又は、ハンドが対象物を把持するために移動する期間を示す。

当該構成では、生成された少なくとも１つの位置姿勢を経由する計測装置の計測経路が設定される。また、その計測経路を含む移動経路に沿って計測装置が移動し、その間に、設定された位置姿勢において、計測装置による対象物の計測が行われるとともに、次回（以降）の動作サイクルにおける計測経路が決定される。従って、計測装置の位置姿勢、及び、それらを経由する計測経路の設定を、例えば、ばら積み等された対象物の情報や対象物を含む計測領域の状況等に応じて（それらを考慮して）実施することができる。よって、対象物が残っている場合でも、例えば、対象物に対して計測装置を固定して各動作サイクルで同じ視野で計測する場合に比して、対象物の認識をより確実に行うことができる。これにより、対象物を例えば容器から取り出す処理が中断されてしまうことを抑止することができるので、対象物の計測時におけるロバスト性、対象物の操作の作業効率、及び全体のスループットを向上させることができる。

〔２〕上記構成において、より具体的には、前記位置姿勢生成部は、前記計測装置と前記対象物を含む計測領域との相対的な幾何学的位置関係に基づいて、前記計測領域の全てをカバーするように、前記少なくとも１つの位置姿勢を予め生成し、前記計測経路決定部は、前記計測装置が、所定の順序で前記少なくとも１つの位置姿勢の全てを経由して移動するように、前記計測経路を決定するように構成してもよい。当該構成では、計測領域を全てカバーするように固定された少なくとも１つの位置姿勢をいわば"静的に"設定することができる。また、それらを通る計測経路において対象物の計測が行われる。よって、次回（以降）の動作サイクルにおいても、計測領域を確実にカバーする計測経路を設定することができ、対象物の計測時におけるロバスト性、対象物の操作における作業効率、及び、全体のスループットをより向上させることができる。

〔４〕当該構成において、より具体的には、前記計測結果が、前記計測装置による前記対象物の計測データ又は前記対象物の認識結果であってもよい。

〔５〕更に具体的には、前記計測データ又は前記認識結果が、前記対象物の認識信頼度が低い認識結果、前記対象物を認識できていない点群データ、欠落データ、不連続形状、及び、前記対象物の積層配置における高い位置を示すデータの少なくとも何れかであると好適である。

〔６〕或いは、上記構成において、前記位置姿勢生成部は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記少なくとも１つの位置姿勢から特定の位置姿勢を選択し、前記計測経路決定部は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記計測装置が、所定の順序で前記特定の位置姿勢の少なくとも一部を経由して移動するように、前記計測経路を決定するように構成してもよい。当該構成では、計測領域を全てカバーするように静的に設定された計測装置の位置姿勢のなかから、例えば、認識された対象物の位置姿勢等に応じて、次回の動作サイクルにおける対象物の認識のためにより好適な特定の位置姿勢を選択することができる。これにより、計測装置の位置姿勢をいわば"動的に"設定し、それらに基づいて次回の動作サイクルにおける計測経路を設定することができる。その結果、対象物の計測時におけるロバスト性、計測効率、対象物の操作における作業効率、及び、全体のスループットを更に向上させることができる。

〔７〕或いは、上記構成において、前記位置姿勢生成部は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記少なくとも１つの位置姿勢を生成し、前記計測経路決定部は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記計測装置が、所定の順序で前記少なくとも１つの位置姿勢の少なくとも一部を経由して移動するように、前記計測経路を決定するように構成してもよい。当該構成では、計測装置の位置姿勢として、予め固定された位置姿勢を設定することなく、例えば、認識された対象物の位置姿勢等に応じて、次回の動作サイクルにおける対象物の認識のためにより好適な位置姿勢をいわばより"動的に"設定し、それらに基づいて次回の動作サイクルにおける計測経路を設定することができる。これにより、対象物の計測時におけるロバスト性、計測効率、対象物の操作における作業効率及び、全体のスループットを更に向上させることができる。

〔８〕上記構成において、更に具体的には、前記所定の条件が、以前の動作サイクルにおける対象物の計測データ（例えば、認識された対象物の点群データ、距離画像等）、以前の動作サイクルにおける対象物の認識結果（例えば、認識された対象物の数、配置、位置姿勢等）、及び、前記ロボットシステムの構成（例えば、計測装置の視野、計測領域、及び、対象物の配置領域の相対的な幾何学的位置関係）のうち少なくとも１つであるように構成してもよい。当該構成では、それらの所定の条件を、計測装置の位置姿勢を動的に生成及び選定する際の基準又は指標として使用することにより、より好適な位置姿勢及び計測経路の設定が可能となる。

〔９〕上記構成において、前記所定の計測戦略が、計測領域への対応性（計測領域をより広くカバー）、対象物の認識容易性（対象物のより容易な認識）、計測経路の効率性（例えば、計測経路の最短化）、対象物の認識信頼度（対象物の認識失敗時又は認識信頼度が低い場合）、及び、対象物の積層配置（ばら積みされた対象物の把持の容易性：把持容易性）のうちの少なくとも１つを志向する戦略であるように構成してもよい。当該構成では、それらの所定の計測戦略に合致する条件で、計測装置の位置姿勢を動的に生成及び選定することができるので、例えば、ばら積みされた対象物の状態が変化していく状況に即して、より好適な位置姿勢及び計測経路の設定が可能となる。

〔１０〕上記構成において、前記指令部は、前記ハンドが前記対象物を把持して移動するときに、及び／又は、前記ハンドが前記対象物を把持するために移動するときに、前記少なくとも１つの位置姿勢において前記対象物の位置情報を計測する処理を、前記ロボット及び前記計測装置に指令するように構成してもよい。当該構成では、ハンドが対象物を把持して別の場所へ移動させるとき（ピックアップしてから去るとき）、及び、ハンドが対象物を解放してから元の場所へ戻るとき（ピックアップのために対象物へ近づきとき）の何れにおいても、対象物の計測を行うことができる。よって、次回（以降）の動作サイクルにおける計測経路の設定における柔軟性及び汎用性を高めることができる。

〔１１〕本開示に係る制御方法の一例は、ロボットアーム、及び、該ロボットアームの先端部に設けられ且つ対象物を操作するハンドを有するロボットと、前記ロボットアームに設けられ且つ前記対象物の位置情報を計測するする計測装置と、を備えるロボットシステムの制御方法であり、以下の各ステップを含む。

すなわち、当該方法は、位置姿勢生成部が、前記対象物の位置情報を計測するときの前記計測装置の少なくとも１つの位置姿勢を生成するステップ、計測経路決定部が、前記計測装置が、前記少なくとも１つの位置姿勢を経由して移動し、且つ、各位置姿勢において前記対象物の位置情報を計測するように、前記計測装置の計測経路を決定するステップ、指令部が、前記計測装置を、前記計測経路を含む移動経路に沿って移動させる処理を前記ロボットに指令し、且つ、前記計測装置が、前記計測経路において経由する前記少なくとも１つの位置姿勢の少なくとも一部において、前記対象物の位置情報を計測する処理を前記計測装置に指令するステップ、認識部が、前記計測装置による計測データを用いて前記対象物を認識するステップ、及び、前記計測経路決定部が、前記計測装置が前記移動経路を移動しているときに、次回の動作サイクルにおける前記計測装置の計測経路を決定するステップを含む。

〔１２〕本開示に係るコンピュータ制御プログラムの一例は、コンピュータを、上記の本開示に係る制御装置として有効に機能させるプログラムである。

〔１３〕本開示に係るロボットシステムの一例は、ロボットアーム、及び、該ロボットアームの先端部に設けられ且つ対象物を操作するハンドを有するロボットと、前記ロボットアームに設けられ且つ前記対象物の位置情報を計測する計測装置と、上記の本開示に係る制御装置とを備える。

なお、本開示において、「部」及び「装置」とは、単に物理的手段を意味するものではなく、その「部」及び「装置」が有する機能をソフトウェアによって実現する構成も含む。また、１つの「部」及び「装置」が有する機能が２つ以上の物理的手段や装置によって実現されてもよく、或いは、２つ以上の「部」及び「装置」の機能が１つの物理的手段や装置によって実現されてもよい。さらに、「部」及び「装置」とは、例えば「手段」及び「システム」と言い換えることも可能な概念である。

本発明によれば、対象物を例えば容器から取り出す処理が中断されてしまうことを抑止することができるので、対象物の計測時におけるロバスト性、対象物の操作の作業効率、及び、全体のスループットを向上させることができる。

本実施形態に係る制御装置を備えるロボットシステムの適用場面の一例を模式的に示す平面図である。 本実施形態に係る制御装置を備えるロボットシステムの適用場面の一例を模式的に示す平面図である。 本実施形態に係る制御装置を備えるロボットシステムのハードウェアの構成の一例を模式的に示す平面図である。 本実施形態に係る制御装置を備えるロボットシステムの機能構成の一例を模式的に示す平面図である。 本実施形態に係る制御装置を備えるロボットシステムにおける処理手順の一例を示すフローチャートである。 本実施形態に係る計測装置（センサ）の位置姿勢及び計測経路の一例を模式的に示す斜視図である。 図６に示すセンサの位置姿勢における３次元座標の設定方法の一例の概念を示す模式図であり、（Ａ）は斜視図であり、（Ｂ）は上面図である。 本実施形態に係る計測装置（センサ）の位置姿勢及び計測経路の他の一例を模式的に示す斜視図である。 第１変形例に係る制御装置を備えるロボットシステムにおける処理手順の一例を示すフローチャートである。 「所定の計測戦略」を概念的に示す図であり、（Ａ）～（Ｄ）は上面図を示し、（Ｅ）は側断面図を示す。 第２変形例に係る制御装置を備えるロボットシステムにおける処理手順の一例を示すフローチャートである。

以下、本開示の一例に係る実施の形態（以下「実施形態」と表記する。）について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

§１ 適用例
まず、図１及び図２を用いて、本開示の一例が適用される場面の一例について説明する。図１及び図２は、それぞれ、本実施形態に係る制御装置を備えるロボットシステムの適用場面の一例を模式的に示す平面図である。本実施形態に係るロボットシステム１００は、例えばビン等の収納容器６内にばら積みされた複数のワーク５を、ロボット１０により、収納容器６から取り出して他の収納容器７等へ移載し、整列させて配置する操作、及び／又は、あるワーク５を移載し終えたロボット１０を、次のワーク５を取り出すために、収納容器６側へ復帰させる操作（それぞれ図２の移動経路Ｐ１，Ｐ２参照）を行うことができる。ワーク５の種類は、特に制限されず、例えば、自動車のパワートレイン系（例えば、エンジン、又はトランスミッション等）の機械部品、又は電装系の電子部品等を挙げることができる。また、かかるロボットシステム１００は、ロボット１０の他、そのロボット１０に設けられたセンサ１（本開示における「計測装置」の一例）と、センサ１及びロボット１０に接続された制御装置４を備える。

センサ１は、ワーク５の位置情報（例えば３次元位置情報）を含む計測データを取得する３Ｄセンサであり、ロボット１０のロボットアーム３の先端部に設置されていて、図１（Ａ）及び（Ｂ）に示すように、ワーク５を所定の視野（角）で且つ所定の計測条件で撮像する。かかるセンサ１は、例えば、点群を計測する距離センサであり、或いは、距離センサと２次元センサとを組み合わせて距離画像を取得する距離画像センサでもよい。距離センサは、奥行情報としての距離ｄを計測するセンサである。２次元センサは、２次元の画像を撮影するイメージセンサであり、２次元の画像は、距離ｄを画素値としない点において距離画像とは異なる。距離画像センサは、例えば、２次元センサの撮影位置を変えながらワーク５の複数の２次元の画像を撮影し、ステレオ立体視の画像処理により、距離ｄを画素値とする距離画像を取得するカメラでもよい。または、距離画像センサは、ワーク５を複数の異なる方向から同時に撮影することにより、距離ｄを画素値とする距離画像を取得するステレオカメラでもよい。

また、センサ１は、必須ではないが、必要に応じて、適宜の計測光（例えば、アクティブ方式で用いられるパターン光やスキャン光等）を含むいわゆる３Ｄ用照明や、通常の照明であるいわゆる２Ｄ用照明をワーク５へ投射するプロジェクタ（図示せず）を有していてもよい。かかるプロジェクタの構成も特に制限されず、例えば、パターン光を投射するものの場合、レーザ光源、パターンマスク、及びレンズを備える構成を例示することができる。レーザ光源から出射された光は、所定のパターンが形成されたパターンマスクによって所定のパターンを有する計測光（パターン光）に変換され、レンズを介してワーク５へ投射される。

この「所定のパターン」としては、特に制限されず、例えばアクティブワンショット方式で用いられる種々のパターンを例示することができる。より具体的には、例えば、複数のラインが所定の間隔で２次元に配置されたいわゆるラインベースのパターン、互いに区別可能な複数種類の単位画像、単位図形、幾何学形状等が２次元に配置（規則的でもランダムでもよく、規則的な部分とランダムな部分が混合又は重畳されていてもよい。）されたいわゆるエリアベースのパターン、縦横ラインのグリッドにグラフシンボル等が配置されたいわゆるグリッドグラフベースのパターン等が挙げられる。なお、各所定のパターンは、エンコード用に、例えばラインや単位図形を区別するためのＩＤ情報を含んでいてもよい。

また、ワーク５の計測方式としては、特に制限されず、例えば、光の直進性を用いる種々のアクティブ計測方式（例えば、三角測距を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式等）、光の直進性を用いる種々のパッシブ計測方式（例えば、三角測距を基本原理とするステレオカメラ方式、視体積交差方式、因子分解方式等、同軸測距を基本原理とするDepth from focusing方式等）、及び、光の速度を用いる種々のアクティブ計測方式（例えば、同時測距を基本原理とする飛行時間方式（Time of Flight）、レーザースキャン方式等）を適宜選択して用いることができる。

ワーク５の計測データとしては、それらの種々の計測方式で取得される画像データ（例えば３次元点群データや距離画像等）、また、ワーク５の３次元モデルデータと照合することが可能な適宜のデータ等を例示できる。ここで、ワーク５の３次元モデルデータとしては、例えば、３次元座標データ、その３次元座標データをワーク５の種々の異なる位置姿勢に対応して２次元投影した２次元座標データ、その他適宜のテンプレートやパターンに対応するデータ等が挙げられる。なお、ワーク５の認識において、３次元モデルデータとの照合は必須ではなく、モデルデータを用いない（いわゆるモデルレス）認識も適用可能である。

ロボット１０は、例えば、ワーク５を操作（例えば、把持、吸着、移動、組み立て、又は挿入等）するためのハンド２と、そのハンド２が先端部に設けられたロボットアーム３を備える多関節ロボット（例えば、垂直多関節ロボット、水平多関節ロボット）である。ロボット１０の各関節には、関節を駆動するためのサーボモータ等の駆動装置と、関節の変位（角度変位）を検出するためのエンコーダ等の変位検出装置が組み込まれている。また、ロボット１０は、自律的に動作するマニピュレータとして動作し、例えば、ワーク５のピッキング、組み立て、搬送、塗装、検査、研磨、又は洗浄等の様々な用途に用いることができる。

ハンド２は、エンドエフェクタの一例であり、個々のワーク５を把持し且つ解放（掴み且つ離す）動作が可能な把持機構を有する。ロボットアーム３は、ハンド２を収納容器６内のワーク５の把持位置（ピックアップ位置）へ移動し、且つ、ワーク５を把持したハンド２をその把持位置から他の収納容器７における解放位置（ドロップ位置）へと移動するための駆動機構を有する。

制御装置４は、センサ１及びロボット１０のそれぞれに接続されており、センサ１によるワーク５の計測処理、ハンド２によるワーク５の操作処理、ロボット１０（ハンド２及びロボットアーム３等）の駆動処理の他、ロボットシステム１００において必要とされる種々の動作や演算に関する処理を制御する。より具体的には、例えば、以下の各処理を実施する。

（１）センサの位置姿勢生成処理
センサ１によるワーク５（特に、収納容器６内の全てのワーク５。以下同様。）の３次元計測を行うときのセンサ１の位置姿勢を生成する。この場合の生成方法としては、例えば、センサ１と、ワーク５を含む計測領域（例えば、ワーク５の収納容器６の内部領域）との相対的な幾何学的位置関係に基づいて、その計測領域の全てをカバーするような、固定された少なくとも１つの位置姿勢（センサ１の向き及び３次元座標）をいわば"静的に"設定することができる。また、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、固定された位置姿勢のなかから特定の位置姿勢を選択したり、既に取得されているワーク５の位置情報等を用いて、センサ１の位置姿勢をいわば"動的に"設定したりすることもできる。なお、通常は、１回の３次元計測により、複数のワーク５に対する認識結果（位置情報）が得られる。なお、ワーク５を収納容器６からピックアップする場合、計測領域は、収納容器６の内部領域（即ち、ワーク５が置かれている領域）を含む。ワーク５を収容容器７にプレイスする場合、計測領域は、収納容器７の内部領域（即ち、ワーク５が置かれる予定の領域）を含む。収容容器６の内部領域に置かれているワーク５を把持し、そのワーク５を収容容器６の内部領域から収納容器７の内部領域に移動させる場合、計測領域は、収納容器６の内部領域と収納容器７の内部領域とを含む。

（２）センサの計測経路決定処理（初回の動作サイクル）
生成されたセンサ１の位置姿勢を経由して移動し、且つ、各位置姿勢においてワーク５の３次元計測を行うための計測経路を決定する。この場合、例えば、静的に設定された位置姿勢の全部をセンサ１が経由するように計測経路を決定することができる。または、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、そのなかから選択した特定の位置姿勢の少なくとも一部、又は、動的に設定された位置姿勢の少なくとも一部をセンサ１が経由するように計測経路を決定することもできる。さらに、ここでは、決定された計測経路を含み、且つ、把持対象のワーク５をハンド２で把持して収納容器６から他の収納容器７へ移載し、そのハンド２を収納容器６側へ移動して戻す際の移動経路Ｐ１，Ｐ２の何れか、又は、移動経路Ｐ１，Ｐ２の両方（以下、単に「移動経路Ｐ１，Ｐ２」と記載することがある。）を決定する。

（３）ワークの把持・移動・解放処理
収納容器６内にばら積みされた複数の（全部の）ワーク５のうち、把持対象のワーク５を把持してピックアップし、設定された移動経路Ｐ１に従って、収納容器６から他の収納容器７へ移動し、目的位置でワーク５の把持を解放してドロップする。それから、ワーク５を解放したハンド２を、設定された移動経路Ｐ２に従って、収納容器６側へ移動し、これを１つの動作サイクルとして、次回（以降）の動作サイクル（ワーク５の把持・移動・解放処理）を繰り返す。なお、１つの動作サイクルは、移動経路Ｐ１，Ｐ２の何れかを含んでもよく、又は、本例のように移動経路Ｐ１，Ｐ２の両方を含んでもよい。

（４）ワークの３次元計測処理
（３）のワークの把持・移動・解放処理を行っている間に、計測経路内に設定された位置姿勢において、センサ１によるワーク５の３次元計測を行う。例えば、ワーク５を収納容器６からピックアップする場合、センサ１は、計測経路内に設定された位置姿勢において、収納容器６内のワーク５の３次元計測を行う。収納容器６内のワーク５の３次元計測は、収納容器６からピックアップされるべきワーク５を決定することを目的として、収納容器６内の複数のワーク５の積載状況及び各ワーク５の位置姿勢を認識するために実行される。また、例えば、ワーク５を収容容器７にプレイスする場合、センサ１は、計測経路内に設定された位置姿勢において、収納容器７内のワーク５の３次元計測を行う。収納容器７内のワーク５の３次元計測は、収容容器７内の空き領域（即ち、ワーク５が置かれていない領域）のうちどの領域（位置）にワーク５をプレイスするべきかを決定することを目的として、収納容器７内の複数のワーク５の積載状況及び各ワーク５の位置姿勢を認識するために実行される。ワーク５の３次元計測は、ハンド２がワーク５を保持して収納容器６側から離れて他の収納容器７側へ移動する間、及び、ハンド２からワーク５を解放して他の収納容器７側から収納容器６へ接近する間の何れでもよい。

（５）ワークの位置姿勢認識処理
（４）のワークの３次元計測処理の前後の適宜のタイミングで、ワーク５の３次元形状を表す３次元モデルデータ（３次元ＣＡＤモデルデータ）を取得し、或いは、ワーク５の位置姿勢の認識処理を行うために使用可能な適宜のテンプレートやモデルパターンを必要に応じて作成する。それから、（３）のワークの把持・移動・解放処理を行っている間に、この３次元モデルデータ等と、センサ１による複数のワーク５の計測データとを、所定の認識パラメータを用いて照合する３次元マッチングを行い、複数のワーク５の位置姿勢（例えば、そのワーク５の３次元座標及び３次元軸まわりの回転角度）を認識する。また、複数のワーク５の各々の位置姿勢認識結果として、例えば、各ワーク５について認識された位置姿勢を２次元投影した２次元画像に、３次元マッチングにおいてそのワーク５の特徴点や特徴部位として検出された例えば輪郭線（エッジに該当する線分）等を識別可能に表示した画像を出力することもできる。なお、各ワーク５の認識において、３次元モデルデータとの照合は必須ではなく、モデルデータを用いない（いわゆるモデルレス）認識も適用可能であることは、前述のとおりである。例えば、ワーク５を収納容器６からピックアップする場合、収納容器６内のワーク５の位置姿勢認識結果に基づいて、収納容器６からピックアップされるワーク５が決定される。また、例えば、ワーク５を収容容器７にプレイスする場合、収納容器７内のワーク５の位置姿勢認識結果に基づいて、収容容器７内の空き領域（即ち、ワーク５が置かれていない領域）が決定される。そして、収容容器７に置かれているワーク５との干渉を避けるように、収容容器７内の空き領域のうちどの領域（位置）にワーク５がプレイスされるのかが決定される。

（６）次回把持するワークの決定処理及び次回プレイスするワークの置き場所の決定処理
例えば、ワーク５を収納容器６からピックアップする場合、（３）のワークの把持・移動・解放処理を行っている間に、ワーク５の位置姿勢認識結果に基づいて、例えば、複数のワーク５の各々について、各認識結果の信頼度（精度）を適宜の手法で評価する。その結果から、例えば、信頼度が所定の閾値よりも高いワーク５をハンド２による次回の把持候補のワーク５として選定する。信頼度の評価手法としては、例えば、ワーク５の位置姿勢認識結果から、ワーク５の３次元形状の特徴量を抽出し、それに基づいて、３次元モデルデータとの合致度や類似度を表す指標を算出する方法等が挙げられる。さらに、把持候補として選定されたワーク５について、その位置姿勢認識結果に基づいて、ハンド２がそのワーク５を把持する際のハンド２の把持姿勢を、所定の算出パラメータを用いて算出する。そして、例えば、ハンド２による把持が可能なワーク５の中から、ランダムに、或いは、必要に応じて、ハンド２がそれらの各ワーク５を把持する際の容易性（把持容易性）等を評価し、その結果に基づいて、次回の動作サイクルにおいて把持するワーク５を決定する。なお、認識結果の信頼度と把持容易性は、必ずしも対応（合致）せず、例えば、より低い信頼度を示すワーク５の方が、より高い信頼度を示すワーク５よりも、把持容易性が高い（把持し易い）こともある。また、例えば、ワーク５を収容容器７にプレイスする場合、収容容器７内にワーク５がプレイスされる領域（位置）とその順番とを、デフォルトの配置規則として予め定めておいてもよい。そして、デフォルトの配置規則通りにワーク５を収容容器７内の空き領域にプレイスしても、収容容器７に置かれているワーク５との干渉が生じない場合には、デフォルトの配置規則通りにワーク５を収容容器７内の空き領域にプレイスしてもよい。デフォルトの配置規則通りにワーク５を収容容器７内の空き領域にプレイスすると、収容容器７に置かれているワーク５との干渉が生じる場合には、収容容器７に置かれているワーク５との干渉が生じないように、デフォルトの配置規則により定められる領域（位置）とは異なる領域（位置）にワーク５をプレイスしてもよい。このようにして、収容容器７内に置かれているワーク５の位置情報に基づいて、ハンド２によって収容容器７内にプレイスされるワーク５の目標位置が決定される。

（７）センサの計測経路決定処理（次回の動作サイクル）
（３）のワークの把持・移動・解放処理を行っている間に、次回の動作サイクルにおいて収容容器６内で把持するワーク５の位置及び／又は収容容器７内にプレイスするワーク５の目標位置を考慮しつつ、（１）のセンサの位置姿勢生成処理で設定されたセンサ１の位置姿勢に基づいて、次回（以降）の動作サイクルにおけるセンサ１の計測経路、及び、その計測経路を含む移動経路を設定する。この場合の計測経路は、前回の計測経路と同じでも異なっていてもよい。

以上のとおり、センサ１、ハンド２、ロボットアーム３、制御装置４、ロボット１０、ロボットシステム１００は、それぞれ、本発明に係る「センサ」、「ハンド」、「ロボットアーム」、「制御装置」、「ロボット」、及び「ロボットシステム」の一例に相当する。また、ワーク５は、本発明に係る「対象物」の一例に相当する。またさらに、制御装置４は、本発明に係る「位置姿勢生成部」、「計測経路決定部」、「指令部」、及び「認識部」のそれぞれの一例にも相当する。

以上のことから、本実施形態の制御装置４、及び、それを備えるロボットシステム１００によれば、生成された少なくとも１つの位置姿勢を経由するセンサ１の計測経路が設定される。また、その計測経路を含む移動経路Ｐ１，Ｐ２の何れか、又は、移動経路Ｐ１，Ｐ２の両方に沿ってセンサ１が移動し、その間に、設定された位置姿勢において、センサ１によるワーク５の３次元計測が行われるとともに、次回（以降）の動作サイクルにおける計測経路が決定される。従って、センサ１の位置姿勢、及び、それらを経由する計測経路の設定を、例えば、ばら積み等されたワーク５の情報やワーク５を含む計測領域の状況等に応じて（それらを考慮して）実施することができる。よって、収納容器６内にワーク５が未だ残っている場合でも、例えば、ワーク５に対してセンサ１を固定して各動作サイクルで同じ視野で計測する場合に比して、ワーク５の認識をより確実に行うことができる。これにより、ワーク５を例えば収納容器６から取り出す処理が中断されてしまうことを抑止することができるので、ワーク５の計測時におけるロバスト性、ワーク５の操作の作業効率、及び、全体のスループットを向上させることができる。

§２ 構成例
［ハードウェア構成］
次に、図３を用いて、本実施形態に係るロボットシステム１００のハードウェア構成の一例について説明する。図３は、本実施形態に係る制御装置４を備えるロボットシステム１００のハードウェアの構成の一例を模式的に示す平面図である。図３の例でも、ロボットシステム１００は、図１及び図２に例示したセンサ１、ハンド２及びロボットアーム３を有するロボット１０、並びに、制御装置４を備える。ここで、制御装置４は、制御演算部４１、通信インタフェース（Ｉ／Ｆ）部４２、記憶部４３、入力部４４、及び出力部４５を含み、各部はバスライン４６を介して相互に通信可能に接続され得る。

制御演算部４１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御及び各種演算を行う。

通信Ｉ／Ｆ部４２は、例えば、有線又は無線により他の構成要素である「部」及び「装置」と通信するための通信モジュールである。通信Ｉ／Ｆ部４２が通信に用いる通信方式は任意であり、例えば、ＬＡＮ（Local Area Network）やＵＳＢ（Universal Serial Bus）等が挙げられ、バスライン４６と同等の適宜の通信線を適用することもできる。センサ１、ハンド２、及びロボットアーム３ともに、通信Ｉ／Ｆ部４２を介して、制御演算部４１等と通信可能に設けることが可能である。

記憶部４３は、例えばハード・ディスク・ドライブ（ＨＤＤ）、ソリッド・ステート・ドライブ（ＳＳＤ）等の補助記憶装置であり、制御演算部４１で実行される各種プログラム（前記（１）乃至（７）に示す処理を含む各種処理を実行するための演算プログラム、並びに、センサ１、ハンド２、及びロボットアーム３のそれぞれの動作の制御処理を行うための制御プログラム等）、センサ１から出力される計測データ、計測条件、認識パラメータ、及び種々の算出パラメータを含むデータベース、各種演算結果及び算出結果のデータ、複数のワーク５の各々の位置姿勢認識結果に関するデータ、各ワーク５のピッキング状況やピッキング記録に関するデータ、ワーク５の３次元モデルデータ、複数のワーク５を含み得る計測エリアに関するデータ、その計測エリアを計測するセンサ１の位置姿勢の設定データ等を記憶する。このとおり、記憶部４３に記憶された演算プログラム及び制御プログラムが制御演算部４１で実行されることにより、後述する機能構成例における各種処理機能が実現される。

入力部４４は、ロボットシステム１００を利用するユーザからの各種入力操作を受け付けるためのインタフェースデバイスであり、例えば、マウス、キーボード、タッチパネル、音声マイク等で実現し得る。出力部４５は、ロボットシステム１００を利用するユーザ等へ、各種情報を、その表示、音声出力、印刷出力等により報知するためのインタフェースデバイスであり、例えば、ディスプレイ、スピーカ、プリンタ等で実現し得る。

［機能構成］
次に、図４を用いて、本実施形態に係る物体認識処理装置を備えるロボットシステム１００の機能構成の一例を説明する。図４は、本実施形態に係る制御装置４を備えるロボットシステム１００の機能構成の一例を模式的に示す平面図である。

図４に示すロボットシステム１００の制御演算部４１は、記憶部４３に記憶された各種プログラム（制御プログラム及び演算プログラム等）をＲＡＭに展開する。そして、制御演算部４１は、ＲＡＭに展開された各種プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図３に例示の如く、本実施形態に係るロボットシステム１００は、前記（１）乃至（７）に示す各処理を実行可能な機能部として、センサ制御部４０１、ハンド制御部４０２、ロボットアーム制御部４０３、センサ位置姿勢生成部４１０、経路決定部４１１、計測データ取得部４２０、モデルデータ取得部４２１、ワーク位置姿勢認識部４２２、ハンド把持姿勢生成部４３０、ハンド把持姿勢評価部４３１、及び、把持ワーク決定部４４０を備える構成を実現し得る。

なお、本実施形態では、ロボットシステム１００に備わる制御装置４で実現される各機能が汎用のＣＰＵによって実現される例について説明したが、以上の機能の一部又は全部が、１つ又は複数の専用のプロセッサによって実現されてもよい。また、ロボットシステム１００に備わる制御装置４の機能構成は、実施形態や構成例に応じて、適宜、機能の省略、置換、及び追加が行われてももちろんよい。また、「制御装置」とは、一般的な情報処理装置（例えば、コンピュータ、ワークステーション等）と解することができる。

§３ 動作例
次に、図５を用いて、ロボットシステム１００の動作の一例について説明する。図５は、本実施形態に係る制御装置４を備えるロボットシステム１００における処理手順の一例を示すフローチャートであり、ロボットシステム１００の制御方法における処理手順の一例を示すフローチャートでもある。なお、以下で説明する処理手順は一例に過ぎず、各処理は、本開示の技術思想の範囲内において可能な限り変更されてよい。また、以下で説明する処理手順は、実施形態や各構成例に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（起動）
まず、ロボットシステム１００のユーザは、ロボットシステム１００を起動し、各種プログラム（演算プログラム、制御プログラム等）を実行させる。それから、制御装置４における制御演算部４１は、以下の処理手順に従って、センサ１、ハンド２、及びロボットアーム３のそれぞれの動作を制御し、且つ、制御装置４における各機能部による演算処理を行う。また、本実施形態では、以下の各ステップにおける処理に先立って、個々のステップで必要となる計測条件、認識パラメータ、及び種々の算出パラメータの初期値セットを、記憶部４３から読み出し、センサ制御部４０１、センサ位置姿勢生成部４１０、経路決定部４１１ワーク位置姿勢認識部４２２、ハンド把持姿勢生成部４３０、及び、ハンド把持姿勢評価部４３１に適宜保持しておく。但し、かかる計測条件や種々のパラメータの読み出しは、各ステップの処理前であれば適宜のタイミングで行うことができる。

（ステップＳ５０１）
ステップＳ５０１では、センサ位置姿勢生成部４１０は、センサ１による複数のワーク５の３次元計測を行うときのセンサ１の位置姿勢（センサ１の向き及び３次元座標）を生成する。ここでは、センサ１と、複数のワーク５を含む計測領域（例えば、複数のワーク５の収納容器６の内部領域）との相対的な幾何学的位置関係に基づいて、その計測領域の全てをカバーするような、固定された少なくとも１つの位置姿勢をいわば"静的に"設定する。このとおり、ステップＳ５０１は、前記適用例における「（１）センサの位置姿勢生成処理」に相当する。

なお、センサ１と計測領域との相対的な幾何学的位置関係に基づかず、例えば、少なくとも１つ以上前の動作サイクルにおけるセンサ１による計測結果に基づいて、その計測領域の全てをカバーするような、固定された少なくとも１つの位置姿勢をいわば"静的に"設定してもよい。この場合、その計測結果としては、センサ１による複数のワーク５の計測データ又はそれらの認識結果が挙げられ、より具体的には、複数のワーク５のうち認識信頼度がより低いものの認識結果、ワーク５を認識できていない点群データ、ワーク５の欠落データ、ワーク５間の不連続形状、及び、複数のワーク５がばら積みされた状態におけるより高い位置を示すワーク５のデータの少なくとも何れかが挙げられる。

ここで、図６は、本実施形態に係るセンサ１の位置姿勢及び計測経路の一例を模式的に示す斜視図である。この例では、センサ１の視野が、複数のワーク５を含み得る計測領域（収納容器６の内部領域等）以上である場合に、異なる複数（ここでは４つの例を図示する。）の位置姿勢６１～６４が生成される。図示の如く、この例では、向き及び３次元座標が異なる最大４方向から、ワーク５を含む計測領域の計測を行うことができる。

また、図７は、図６に示すセンサ１の位置姿勢における３次元座標の設定方法の一例の概念を示す模式図であり、（Ａ）は斜視図であり、（Ｂ）は上面図である。この例では、計測領域である収納容器６の仮想上面の中心を原点Ｇ０とする座標系を想定し、実質的な固定パラメータとして、例えば、原点Ｇ０とセンサ１の中心点Ｇ１との距離ｗを設定する。距離ｗは、例えば、センサ１が好適に機能する範囲の長さとすることができる。また、入力変数パラメータとしては、例えば、原点Ｇ０を基点とする垂線と、距離ｗを規定する仮想直線との内角α、原点Ｇ０を基点とする垂線とセンサ１の中心点Ｇ１との距離（中心点Ｇ１と点Ｇ２の距離）、及び、センサ１の位置姿勢の設定数ｎを挙げることができる。この場合、図６に示す位置姿勢の設定例では、図７（Ａ）及び（Ｂ）に示すようなセンサ１と計測領域の幾何学的位置関係から、例えば、位置姿勢６３の（ｘ，ｙ，ｚ）座標は（ｒ，０，ｈ）で表され、位置姿勢６４の（ｘ，ｙ，ｚ）座標は（ｃｏｓβ・ｒ，ｓｉｎβ・ｒ，ｈ）で表される。この場合、ｒ＝ｓｉｎα・ｗであり、ｈ＝ｃｏｓα・ｗであり、β＝２π／ｎとなる。さらに、かかるセンサ１の位置姿勢の３次元座標に加え、センサ１の向きが変動パラメータになり得る（図６及び図７の例では、計測領域の中心である原点Ｇ０を指向する向きを想定）。

さらに、図８は、本実施形態に係るセンサ１の位置姿勢及び計測経路の他の一例を模式的に示す斜視図である。この例では、センサ１の視野が、ワーク５を含む計測領域（収納容器６の内部領域等）よりも小さい場合に、異なる複数（ここでは８つの例を図示する。）の位置姿勢８１～８８が生成される。図示の如く、この例では、向き及び３次元座標が異なる最大８方向から、ワーク５を含む計測領域の計測を行うことができる。

（ステップＳ５０２）
ステップＳ５０２では、経路決定部４１１は、初回の動作サイクルにおいて、先に生成されたセンサ１の位置姿勢６１～６４を経由して移動し、且つ、各位置姿勢６１～６４においてワーク５の３次元計測を行うための計測経路を決定する。より具体的に、例えば、まず、隣り合う２つの位置姿勢を結ぶ単位経路を画定し、次に、適宜の順序でそれらの単位経路を繋ぐようにして、１つの統合的な計測経路を設定することができる。

例えば、図６の例では、センサ１の位置姿勢６１～６４のうち隣接する位置姿勢間を結ぶ単位経路Ｍ１～Ｍ４を画定し、それらを反時計回りに移動する統合的な計測経路Ｍ１→Ｍ２→Ｍ３→Ｍ４を設定することができる。また、図８の例では、センサ１の位置姿勢８１～８８のうち隣接する位置姿勢間を結ぶ単位経路Ｍ１～Ｍ８を画定し、それらを反時計回りに移動する統合的な計測経路Ｍ１→Ｍ２→Ｍ３→Ｍ４→Ｍ５→Ｍ６→Ｍ７→Ｍ８を設定することができる。但し、単位経路や計測経路を設定する方法（戦略）は、図６や図８に示す例に限定されず、隣接していない位置姿勢間を結んでもよいし、周回方向や単位経路を結ぶ順序も任意であり、また、ランダムに設定することもできる。

さらに、ステップＳ５０２では、決定された計測経路を含み、且つ、把持対象のワーク５をハンド２で把持して収納容器６から他の収納容器７へ移載し、そのハンド２を収納容器６側へ移動して戻す際の移動経路Ｐ１，Ｐ２を決定する。このとおり、ステップＳ５０２は、前記適用例における「（２）センサの位置姿勢生成処理（初回の動作サイクル）」に相当する。

（ステップＳ５０３）
ステップＳ５０３では、ロボットアーム制御部４０３は、収納容器６内にばら積みされたワーク５のうち、把持対象のワーク５への移動経路Ｐ１に基づいて、ロボットアーム３を作動させ、ハンド２を、適宜設定されたワーク５の把持姿勢まで移動する。それから、ハンド制御部４０２は、その把持姿勢に基づいて、ハンド２を作動させ、把持対象のワーク５を把持する。さらに、ロボットアーム制御部４０３及びハンド制御部４０２は、把持したワーク５を収納容器６からピックアップし、移動経路Ｐ１に従って、他の収納容器７へ移動し、目的位置でワーク５の把持を解放してドロップし、整列配置する。このとおり、ステップＳ５０３は、前記適用例における「（３）ワークの把持・移動・解放処理」に相当する。

（ステップＳ５０４）
ステップＳ５０４では、ステップＳ５０３のワーク５の把持・移動・解放処理を行っている間に、センサ制御部４０１は、計測経路内に設定された位置姿勢において、センサ１を作動させ、計測条件の初期値セットを用いて、ワーク５を計測し、ワーク５の３次元位置情報を含む計測データを取得する。このワーク５の３次元計測は、ハンド２がワーク５を保持して収納容器６側から離れて他の収納容器７側へ移動する間（移動経路Ｐ１）、及び、ハンド２からワーク５を解放して他の収納容器７側から収納容器６へ接近する間（移動経路Ｐ２）の何れでもよい。計測条件としては、例えば、露光時間、照明照度、及び計測位置（例えば、ワーク５に対するセンサ１の相対的な３次元位置又は姿勢（光軸の向き））の他、適用される計測方式において設定される各種条件が挙げられる。そして、センサ１は、ワーク５の計測データとして、例えば３次元点群データ（ポイントクラウドデータ）や距離画像等に加え、必要に応じて例えば輝度画像等を計測データ取得部４２０へ出力する。このとおり、ステップＳ５０４は、前記適用例における「（４）ワークの３次元計測処理」に相当する。

（ステップＳ５０５）
ステップＳ５０５では、ステップＳ５０４のワークの３次元計測処理の前後の適宜のタイミングで、モデルデータ取得部４２１が、予め作成されたワーク５の３次元形状を表す３次元モデルデータ（３次元ＣＡＤモデルデータ）、３次元マッチングで使用可能なテンプレートやモデルパターンを取得し、それらを記憶部４３に記憶する。また、ワーク位置姿勢認識部４２２は、ワーク５の計測データからワーク５の３次元形状を示す特徴点を抽出し、ワーク５の３次元モデルデータにおいて対応する特徴点又は特徴パターンと、所定の探索領域において照合する３次元マッチングを行う。さらに、ワーク位置姿勢認識部４２２は、ワーク５の位置姿勢の認識パラメータの初期値セットを用いて、個々のワーク５の位置姿勢を認識する。ワーク５の位置姿勢の出力データとしては、例えば、ワーク５の３次元座標（ｘ，ｙ，ｚ）及び３次元軸まわりの回転角度（ｒｘ，ｒｙ，ｒｚ）が挙げられる。また、ワーク位置姿勢認識部４２２は、必要に応じて位置姿勢が検出されたワーク５の数を算出し、それらの認識結果及び算出結果を記憶部４３に記憶する。

ワーク５の位置姿勢の認識パラメータとしては、例えば、位置姿勢認識におけるワーク５の検出に関する閾値等が挙げられ、より具体的には、ワーク５の３次元モデルデータとワーク５の計測データとの３次元マッチングの閾値等を例示することができる。さらに、ワーク位置姿勢認識部４２２は、検出された各ワーク５の位置姿勢認識結果を記憶部４３に記憶する。

さらに、ワーク位置姿勢認識部４２２は、ワーク５の位置姿勢認識結果に基づいて、例えば、認識された各ワーク５の認識結果の信頼度（精度）を適宜の手法で評価する。その結果から、例えば、信頼度が所定の閾値よりも高いワーク５をハンド２による次回の把持候補のワーク５として選定する。信頼度の評価手法としては、例えば、ワーク５の位置姿勢認識結果から、ワーク５の３次元形状の特徴量を抽出し、それに基づいて、３次元モデルデータとの合致度や類似度を表す指標を算出する方法等が挙げられる。

次に、ハンド把持姿勢生成部４３０は、把持対象として決定されたワーク５を把持する際のハンド２の把持姿勢の算出パラメータの初期値セットを用いて、且つ、ワーク５の位置姿勢認識結果に基づいて、ハンド２によるそのワーク５の把持姿勢を算出する。ハンド２によるワーク５の把持姿勢の算出パラメータとしては、例えば、把持姿勢算出における閾値等が挙げられる。そして、ハンド把持姿勢評価部４３１は、例えば、ハンド２による把持が可能なワーク５の中から、ランダムに、或いは、必要に応じて、ハンド２が各ワーク５を把持する際の容易性等を評価し、把持ワーク決定部４２０は、その結果に基づいて、次回の動作サイクルにおいて把持するワーク５を決定する。このとおり、ステップＳ５０５は、前記適用例における「（５）ワークの位置姿勢認識処理」及び「（６）次回把持するワークの決定処理」に相当する。

（ステップＳ５０６）
ステップＳ５０６では、ステップＳ５０３のワークの把持・移動・解放処理を行っている間に、次回の動作サイクルにおいて把持するワーク５の位置を考慮しつつ、ステップＳ５０１のセンサの位置姿勢生成処理で設定されたセンサ１の位置姿勢に基づいて、次回（以降）の動作サイクルにおけるセンサ１の計測経路、及び、その計測経路を含む移動経路を設定する。この場合の計測経路は、図６や図８に示す前回の計測経路と同じ経路でもよいし、図６や図８に示す単位経路Ｍ１～Ｍ８を組み合わせる順序を変更して作成した経路でもよい。このとおり、ステップＳ５０６は、前記適用例における「（７）センサの計測経路決定処理（次回の動作サイクル）」に相当する。

（ステップＳ５０７）
それから、ステップＳ５０７において、ワーク５の位置姿勢認識結果から、収納容器６内にワーク５が未だ残存していると判断（Ｙｅｓ）された場合には、処理をステップＳ５０３へ戻入し、次回（以）の動作サイクル（すなわちステップＳ５０３～Ｓ５０６）を繰り返し実施し、収納容器６内にワーク５が残存してないと判断（Ｎｏ）された場合には、その収納容器６に対する処理を終了する。

§４ 作用・効果
以上のとおり、本実施形態に係るロボットシステム１００の制御装置４、及び、それを用いた制御方法の一例によれば、センサ１に対して生成された位置姿勢６１～６４，８１～８８等を経由するセンサ１の計測経路が設定される。また、その計測経路を含む移動経路Ｐ１，Ｐ２に沿ってセンサ１が移動し、その間に、設定された位置姿勢６１～６４，８１～８８において、センサ１によるワーク５の３次元計測による位置姿勢認識が行われるとともに、次回（以降）の動作サイクルにおける計測経路が決定される。従って、収納容器６内にワーク５が未だ残っている場合でも、例えば、ワーク５に対してセンサ１を固定して各動作サイクルで同じ視野で計測する場合に比して、ワーク５の認識をより確実に行うことができる。これにより、ワーク５を例えば収納容器６から取り出す処理が中断されてしまうことを抑止することができるので、ワーク５の計測時におけるロバスト性、、ワーク５の操作の作業効率、及び、全体のスループットを向上させることができる。

また、センサ１と、ワーク５を含む計測領域（例えば、ワーク５の収納容器６の内部領域）との相対的な幾何学的位置関係に基づいて、センサ１の位置姿勢６１～６４，８１～８８が、その計測領域の全てをカバーするように設定される。よって、次回（以降）の動作サイクルにおいても、計測領域を確実にカバーできる計測経路を設定することができ、ワーク５の認識精度を高めて、ワーク５の認識漏れを抑止することができる。さらに、移動経路Ｐ１，Ｐ２の何れにおいても、ワーク５の３次元計測を行うことができるので、次回（以降）の動作サイクルにおける計測経路の設定における柔軟性及び汎用性を高めることができる。

なお、図５に示すフローチャートは、ワーク５を収納容器６からピックアップする場合の処理手順を示すものであり、その処理手順は、適用例における「（１）センサの位置姿勢生成処理」、「（２）センサの計測経路決定処理（初回の動作サイクル）」、「（３）ワークの把持・移動・解放処理」、「（４）ワークの３次元計測処理」、「（５）ワークの位置姿勢認識処理」、「（６）次回把持するワークの決定処理」、及び「（７）センサの計測経路決定処理（次回の動作サイクル）」に対応している。

ワーク５を収容容器７にプレイスする場合の処理手順についても、図５に示すフローチャートと同様の流れで処理を行ってもよい。この場合、ワーク５を収容容器７にプレイスする場合の処理手順は、適用例における「（１）センサの位置姿勢生成処理」、「（２）センサの計測経路決定処理（初回の動作サイクル）」、「（３）ワークの把持・移動・解放処理」、「（４）ワークの３次元計測処理」、「（５）ワークの位置姿勢認識処理」、「（６）次回プレイスするワークの置き場所の決定処理」、及び「（７）センサの計測経路決定処理（次回の動作サイクル）」に対応している。

但し、ワーク５を収納容器６からピックアップする場合の処理手順は、収納容器６からピックアップされるべきワーク５を決定することを目的として、収納容器６内の複数のワーク５の積載状況及び各ワーク５の位置姿勢を認識するために実行されるものであるのに対し、ワーク５を収容容器７にプレイスする場合の処理手順は、収容容器７内の空き領域（即ち、ワーク５が置かれていない領域）のうちどの領域（位置）にワーク５をプレイスするべきかを決定することを目的として、収納容器７内の複数のワーク５の積載状況及び各ワーク５の位置姿勢を認識するために実行されるものである点で両者は相違する。このような相違点に鑑み、図５に示すフローチャートの複数のステップのうち一部のステップでは、ワーク５を収納容器６からピックアップする場合の処理手順とは異なる手順で、ワーク５を収容容器７にプレイスする場合の処理手順が実行される。

例えば、ワーク５を収納容器６からピックアップする場合の処理手順では、ステップＳ５０４において、収容容器６内のワーク５の３次元計測を行っているが、ワーク５を収容容器７にプレイスする場合の処理手順では、ステップＳ５０４に対応するステップにおいて、収容容器７内のワーク５の３次元計測を行う。収容容器７内のワーク５の３次元計測は、ワーク５を収容容器７内にプレイスする前の段階（即ち、センサ１が移動経路Ｐ１上に位置している間）で行ってもよく、或いは、ワーク５を収容容器７にプレイスした後の段階（即ち、センサ１が移動経路Ｐ２上に位置している間）で行ってもよい。収容容器７内に積み上げられているワーク５の崩れの可能性を考慮に入れると、ワーク５を収容容器７にプレイスした後の段階でワーク５の３次元計測を行うのが望ましい。

また、例えば、ワーク５を収納容器６からピックアップする場合の処理手順では、ステップＳ５０５において、次回の動作サイクルにおいて把持するワーク５を決定するが、ワーク５を収容容器７にプレイスする場合の処理手順では、ステップＳ５０５に対応するステップにおいて、ハンド２によってプレイスされるワーク５の目標位置を決定する。

また、例えば、ワーク５を収納容器６からピックアップする場合の処理手順では、ステップＳ５０７において、収納容器６内にワーク５が未だ残存しているか否かを判定するが、ワーク５を収容容器７にプレイスする場合の処理手順では、ステップＳ５０７に対応するステップにおいて、収容容器７内にワーク５をプレイスする領域（目標位置）が残存しているか否かを判定する。

§５ 変形例
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、例えば、以下に示すような変更が可能である。なお、以下の説明においては、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、説明を適宜省略した。また、上記実施形態及び以下の各変形例は、適宜組み合わせて構成することが可能である。

＜５．１：第１変形例＞
図９は、第１変形例に係る制御装置を備えるロボットシステムにおける処理手順の一例を示すフローチャートである。第１変形例においても、図１～図４に示す実施形態に係る制御装置４を備えるロボットシステム１００を適用することができる。第１変形例による処理手順の一例は、図５に示す前記動作例におけるステップＳ５０１に替えて、ステップＳ６０１を実施すること以外は図５に示す処理手順の一例と実質的に同等である。

ステップＳ６０１では、ステップＳ５０１と同様に、まず、センサ位置姿勢生成部４１０が、センサ１によるワーク５の３次元計測を行うときのセンサ１の位置姿勢（センサ１の向き及び３次元座標）を生成する。ここでは、センサ１と、ワーク５を含む計測領域（例えば、ワーク５の収納容器６の内部領域）との相対的な幾何学的位置関係に基づいて、その計測領域の全てをカバーするような、固定された少なくとも１つの位置姿勢をいわば"静的に"設定する。次に、センサ位置姿勢生成部４１０は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、生成された位置姿勢のなかから特定の位置姿勢を少なくとも１つ選択する。

この場合、「所定の条件」としては、例えば、以前の動作サイクルにおけるワーク５の計測データ（例えば、認識されたワーク５の点群データ、距離画像等）、以前の動作サイクルにおけるワーク５の位置姿勢認識結果（例えば、認識されたワーク５の数、配置、位置姿勢等）、ロボットシステム１００の構成（例えば、センサ１の視野、計測領域、及び、ワーク５の配置領域の相対的な幾何学的位置関係）等が挙げられる。また、「所定の計測戦略」としては、計測領域への対応性（計測領域をより広くカバー）、ワーク５の認識容易性（ワーク５のより容易な認識）、計測経路の効率性（例えば、計測経路の最短化）、ワーク５の認識信頼度（ワーク５の認識失敗時又は認識信頼度が低い場合）、及び、ワーク５の積層配置（ばら積みされたワーク５の把持の容易性）のうちの少なくとも１つを志向する戦略が挙げられる。計測経路の効率性とは、ワーク５の３次元計測をどの程度効率よく行えるかを示す指標値であり、例えば、ワーク５の３次元計測をより短時間で行える程、計測経路の効率性は高い。

当該構成によれば、計測領域を全てカバーするように静的に設定されたセンサ１の位置姿勢６１～６４，８１～８８のなかから、例えば、認識されたワーク５の位置姿勢等に応じて、次回の動作サイクルにおけるワーク５の認識のためにより好適な特定の位置姿勢を選択することにより、センサ１の位置姿勢をいわば"動的に"設定し、それらに基づいて次回の動作サイクルにおける計測経路を設定することができる。これにより、ワーク５の計測時におけるロバスト性、計測効率、及び、ワーク５の操作における作業効率を更に向上させることができる。

ここで、図１０は、「所定の計測戦略」を概念的に示す図であり、（Ａ）～（Ｄ）は上面図を示し、（Ｅ）は側断面図を示す。何れの図においても、図示向かって左の図（以下「左図」という。）が、前回の動作サイクルにおいて、ワーク５（５ａ，５ｂ）を含む計測領域（収納容器６の内部）を、その動作サイクルにおけるセンサ１の位置姿勢に対応する計測視野Ｖ１で計測した状態を示する。また、図示向かって右の図（以下「右図」という。）が、次回の動作サイクルにおいて、ワーク５（５ｂ）を含む計測領域（収納容器６の内部）を、その動作サイクルにおけるセンサ１の位置姿勢に対応する計測視野Ｖ２で計測する状態を示す。

図１０（Ａ）は、計測領域への対応性に基づく計測戦略の一例であり、左図の計測視野Ｖ１で認識した４つのワーク５のうちワーク５ａ（黒塗り丸シンボル）を把持し、次回の動作サイクルでは、右図の計測視野Ｖ２により、残った３つのワーク５ｂ（白抜き丸シンボル）を含む計測領域をより広くカバーするように、計測経路を決定する。これにより、計測領域をカバーし易くなるので、ワーク５の計測及び認識漏れを抑止し易くなる。

図１０（Ｂ）は、ワーク５の認識容易性に基づく計測戦略の一例であり、左図の計測視野Ｖ１で認識した４つのワーク５のうちワーク５ａを把持し、次回の動作サイクルでは、残った３つのワーク５ｂの例えば重心を、右図の計測視野Ｖ２の中心に合致させるように、計測経路を決定する。これにより、ワーク５のより確実な認識がより容易になるので、残ったワーク５ｂの位置姿勢認識における信頼度を高めることができる。

図１０（Ｃ）は、計測経路の変更の容易性に基づく計測戦略の一例であり、左図の計測視野Ｖ１で認識した４つのワーク５のうちワーク５ａを把持し、次回の動作サイクルでは、残った３つのワーク５ｂを再度計測しつつ、計測視野の変更距離が極力短くなる計測視野Ｖ２となるように、計測経路を決定する。これにより、残ったワーク５ｂの位置姿勢認識における信頼度を高めつつ、計測効率を向上させることができる。

図１０（Ｄ）は、ワーク５の認識信頼度に基づく計測戦略の一例であり、左図の計測視野Ｖ１で、ワーク５の認識に失敗したり、認識信頼度が低かったりした場合の例である。この場合、左図の計測データ（点群データ等）から、ワークがない場合の計測領域（収納容器６）の計測データ（幾何学的位置情報）をバックグラウンドとして差し引くことにより、計測領域に存在していると推察されるワーク５の点群データＤ１を検知する。そして、右図に示すように、その点群データＤ１の位置を含む異なる計測視野Ｖ２を含むように、計測経路が決定される。これにより、ワーク５の認識率を優位に高めることができる。

図１０（Ｅ）は、ワーク５の積層配置（把持容易性）に基づく計測戦略の一例であり、左図に示すようにワーク５が収納容器６内にばら積みされている場合、把持の容易性を考慮して、ばら積みされたワーク５のうち最上層に位置するワーク５が計測視野Ｖ２に含まれるように、計測経路を決定する。これにより、ワーク５の把持に成功する確率を優位に高めることができる。

図９及び図１０に関する上述の説明は、収容容器６からのワーク５の把持を成功させるための計測戦略の説明であるが、収容容器７へのワーク５のプレイスを成功させるための計測戦略についても、同様の戦略を適用することができる。例えば、収容容器６からのワーク５の把持を成功させるための「ワーク５の把持容易性」及び「ワーク５の認識容易性」を、収容容器７へのワーク５のプレイスを成功させるための「ワーク５のプレイス容易性」及び「ワーク５のプレイス位置の認識容易性」に、それぞれ置き換えることにより、収容容器７内に置かれているワーク５との干渉を回避しながら、収容容器７内の空き領域内にワーク５を置くための領域（目標位置）を見つける最適な計測戦略を選択することができる。

＜５．２：第２変形例＞
図１１は、第２変形例に係る制御装置を備えるロボットシステムにおける処理手順の一例を示すフローチャートである。第２変形例においても、図１～図４に示す実施形態に係る制御装置４を備えるロボットシステム１００を適用することができる。第２変形例による処理手順の一例は、図５に示す前記動作例におけるステップＳ５０１に替えて、ステップＳ７０１を実施すること以外は図５に示す処理手順の一例と実質的に同等である。

ステップＳ７０１では、センサ位置姿勢生成部４１０が、センサ１によるワーク５の３次元計測を行うときのセンサ１の位置姿勢（センサ１の向き及び３次元座標）を生成する。ここでは、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、センサ１の少なくとも１つの位置姿勢をいわば"動的に"設定する。この場合、「所定の条件」及び「所定の計測戦略」は、第１変形例におけるものと同等のものを適用することができる。

当該構成によれば、センサ１の位置姿勢として、予め固定された位置姿勢を設定することなく、例えば、認識されたワーク５の位置姿勢等に応じて、次回の動作サイクルにおけるワーク５の認識のためにより好適な位置姿勢をいわばより"動的に"設定し、それらに基づいて次回の動作サイクルにおける計測経路を設定することができる。これにより、ワーク５の計測時におけるロバスト性、計測効率、及び、ワーク５の操作における作業効率を更に向上させることができる。

§６ 付記
以上説明した実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態及び変形例が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態及び変形例で示した構成同士を部分的に置換し又は組み合わせることも可能である。また、上述の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限定されない。

（付記１）
ロボットアーム（３）、及び、該ロボットアーム（３）の先端部に設けられ且つ対象物（５）を操作するハンド（２）を有するロボット（１０）と、前記ロボットアーム（３）に設けられ且つ前記対象物（５）の位置情報を計測する計測装置（１）と、を備えるロボットシステム（１００）の制御装置であって、
前記対象物（５）の位置情報を計測するときの前記計測装置（１）の少なくとも１つの位置姿勢を生成する位置姿勢生成部（４１０）と、
前記計測装置（１）が、前記少なくとも１つの位置姿勢の少なくとも一部を経由して移動し、且つ、各位置姿勢において前記対象物（５）の位置情報を計測するように、前記計測装置（１）の計測経路を決定する計測経路決定部（４１１）と、
前記計測装置（１）を、前記計測経路を含む移動経路（Ｐ１，Ｐ２）に沿って移動させる処理を前記ロボットに指令し、且つ、前記計測装置（１）が、前記計測経路において経由する前記少なくとも１つの位置姿勢の少なくとも一部において、前記対象物（１）の位置情報を計測する処理を前記計測装置（１）に指令する指令部（４０１，４０２，４０３）と、
前記計測装置（１）による計測データを用いて前記対象物（５）を認識する認識部（４２２）と、を備え、
前記計測経路決定部（４１１）は、次回の動作サイクルにおける前記計測装置（１）の計測経路を決定する、制御装置（４）。

（付記２）
前記位置姿勢生成部（４１０）は、前記計測装置（１）と前記対象物（５）を含む計測領域との相対的な幾何学的位置関係に基づいて、前記計測領域の全てをカバーするように、前記少なくとも１つの位置姿勢を予め生成し、
前記計測経路決定部（４１１）は、前記計測装置（１）が、所定の順序で前記少なくとも１つの位置姿勢の全てを経由して移動するように、前記計測経路を決定する、
付記１記載の制御装置（４）。

（付記３）
前記位置姿勢生成部（４１０）は、少なくとも１つ以上前の動作サイクルにおける前記計測装置（１）による計測結果に基づいて、前記少なくとも１つの位置姿勢を予め生成し、
前記計測経路決定部（４１１）は、前記計測装置（１）が、所定の順序で前記少なくとも１つの位置姿勢の全てを経由して移動するように、前記計測経路を決定する、付記１記載の制御装置（４）。

（付記４）
前記計測結果が、前記計測装置（１）による前記対象物（５）の計測データ又は前記対象物（５）の認識結果である、
付記３記載の制御装置（４）。

（付記５）
前記計測データ又は前記認識結果が、前記対象物（５）の認識信頼度が低い認識結果、前記対象物（２）を認識できていない点群データ、欠落データ、不連続形状、及び、前記
対象物（５）の積層配置における高い位置を示すデータの少なくとも何れかである、
付記４記載の制御装置（４）。

（付記６）
前記位置姿勢生成部（４１０）は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記少なくとも１つの位置姿勢から特定の位置姿勢を選択し、
前記計測経路決定部（４１１）は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記計測装置（１）が、所定の順序で前記特定の位置姿勢の少なくとも一部を経由して移動するように、前記計測経路を決定する、
付記２乃至５の何れか記載の制御装置（４）。

（付記７）
前記位置姿勢生成部（４１０）は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記少なくとも１つの位置姿勢を生成し、
前記計測経路決定部（４１１）は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記計測装置（１）が、所定の順序で前記少なくとも１つの位置姿勢の少なくとも一部を経由して移動するように、前記計測経路を決定する、
付記１乃至５の何れか記載の制御装置（４）。

（付記８）
前記所定の条件が、以前の動作サイクルにおける対象物（５）の計測データ、以前の動作サイクルにおける対象物（５）の認識結果、及び、前記ロボットシステム（１００）の構成のうち少なくとも１つである、
付記６又は７記載の制御装置（４）。

（付記９）
前記所定の計測戦略が、計測領域への対応性、対象物（５）の認識容易性、計測経路の効率性、対象物（５）の認識信頼度、及び、対象物（５）の積層配置のうちの少なくとも１つを志向する戦略である、
付記６乃至８の何れか記載の制御装置（４）。

（付記１０）
前記指令部（４０１）は、１つの動作サイクルにおいて、前記ハンド（２）が前記対象物（５）を把持して移動するときに、及び／又は、前記ハンド（２）が前記対象物（５）を把持するために移動するときに、前記少なくとも１つの位置姿勢において前記対象物（５）の位置情報を計測する処理を、前記計測装置（１）に指令する、
付記１乃至９の何れか記載の制御装置（４）。

（付記１１）
ロボットアーム（３）、及び、該ロボットアーム（３）の先端部に設けられ且つ対象物（５）を操作するハンド（２）と有するロボット（１０）と、前記ロボットアーム（３）に設けられ且つ前記対象物（５）の位置情報を計測するする計測装置（１）と、を備えるロボットシステム（１００）の制御方法であって、
位置姿勢生成部（４１０）が、前記対象物（５）の位置情報を計測するときの前記計測装置（１）の少なくとも１つの位置姿勢を生成するステップと、
計測経路決定部（４１１）が、前記計測装置（１）が、前記少なくとも１つの位置姿勢を経由して移動し、且つ、各位置姿勢において前記対象物（５）の位置情報を計測するように、前記計測装置（１）の計測経路を決定するステップと、
指令部（４０１，４０２，４０３）が、前記計測装置（１）を、前記計測経路を含む移動経路（Ｐ１，Ｐ２）に沿って移動させる処理を前記ロボットに指令し、且つ、前記計測装置（１）が、前記計測経路において経由する前記少なくとも１つの位置姿勢の少なくとも一部において、前記対象物（５）の位置情報を計測する処理を前記計測装置（１）に指令するステップと、
認識部（４２２）が、前記計測装置による計測データを用いて前記対象物（５）を認識するステップと、
前記計測経路決定部（４１１）が、前記計測装置（１）が前記移動経路（Ｐ１，Ｐ２）を移動しているときに、次回の動作サイクルにおける前記計測装置（１）の計測経路を決定するステップと、を含む制御方法。

（付記１２）
コンピュータ（４）を、
ロボットアーム（３）、及び、該ロボットアーム（３）の先端部に設けられ且つ対象物（５）を操作するハンド（２）を有するロボット（１０）と、前記ロボットアーム（３）に設けられ且つ前記対象物（５）の位置情報を計測する計測装置（１）と、を備えるロボットシステム（１００）の制御装置（４）であって、
前記対象物（５）の位置情報を計測するときの前記計測装置（１）の少なくとも１つの位置姿勢を生成する位置姿勢生成部（４１０）と、
前記計測装置（１）が、前記少なくとも１つの位置姿勢を経由して移動し、且つ、各位置姿勢において前記対象物（５）の位置情報を計測するように、前記計測装置（１）の計測経路を決定する計測経路決定部（４１１）と、
前記計測装置（１）を、前記計測経路を含む移動経路（Ｐ１，Ｐ２）に沿って移動させる処理を前記ロボットに指令し、且つ、前記計測装置（１）が、前記計測経路において経由する前記少なくとも１つの位置姿勢の少なくとも一部において、前記対象物（５）の位置情報を計測する処理を前記計測装置（１）に指令する指令部（４０１，４０２，４０３）と、
前記計測装置（１）による計測データを用いて前記対象物（５）を認識する認識部（４２２）と、
を備える制御装置（４）として機能させ、
前記計測経路決定部（４１１）は、前記計測装置（１）が前記移動経路（Ｐ１，Ｐ２）を移動しているときに、次回の動作サイクルにおける前記計測装置（１）の計測経路を決定する、コンピュータ制御プログラム。

（付記１３）
ロボットアーム（３）、及び、該ロボットアーム（３）の先端部に設けられ且つ対象物（５）を操作するハンド（２）を有するロボット（１０）と、
前記ロボットアーム（３）に設けられ且つ前記対象物（５）の位置情報を計測する計測装置（１）と、
前記ロボット（１０）及び前記計測装置（１）に接続された制御装置（４）と、
を備え、
前記制御装置（４）は、
前記対象物（５）の位置情報を計測するときの前記計測装置（１）の少なくとも１つの位置姿勢を生成する位置姿勢生成部（４１０）と、
前記計測装置（１）が、前記少なくとも１つの位置姿勢の少なくとも一部を経由して移動し、且つ、各位置姿勢において前記対象物（５）の位置情報を計測するように、前記計測装置（１）の計測経路を決定する計測経路決定部（４１１）と、
前記計測装置（１）を、前記計測経路を含む移動経路（Ｐ１，Ｐ２）に従って移動させる処理を前記ロボットに指令し、且つ、前記計測装置（１）が、前記計測経路において経由する前記少なくとも１つの位置姿勢の少なくとも一部において、前記対象物（５）の位置情報を計測する処理を前記計測装置（１）に指令する指令部（４０１，４０２，４０３）と、
前記計測装置（１）による計測データを用いて前記対象物（５）を認識する認識部（４２２）と、
を有し、
前記計測経路決定部（４１１）は、前記計測装置（１）が前記移動経路（Ｐ１，Ｐ２）を移動しているときに、次回の動作サイクルにおける前記計測装置（１）の計測経路を決定する、ロボットシステム。

１…センサ（計測装置）、２…ハンド、３…ロボットアーム、４…制御装置、５，５ａ，５ｂ…ワーク、６，７…収納容器、１０…ロボット、４１…制御演算部、４２…通信Ｉ／Ｆ部、４２…通信インタフェース（Ｉ／Ｆ）部、４３…記憶部、４４…入力部、４５…出力部、４６…バスライン、６１～６４，８１～８８…位置姿勢、１００…ロボットシステム、４０１…センサ制御部、４０２…ハンド制御部、４０３…ロボットアーム制御部、４１０…センサ位置姿勢生成部、４１１…経路決定部、４２０…計測データ取得部、４２１…モデルデータ取得部、４２２…ワーク位置姿勢認識部、４３０…ハンド把持姿勢生成部、４３１…ハンド把持姿勢評価部、４４０…把持ワーク決定部、Ｄ１…点群データ、Ｍ１～Ｍ８…単位経路、Ｐ１，Ｐ２…移動経路、Ｖ１，Ｖ２…計測視野。

Claims (15)

1. 動作サイクルを複数回繰り返し実行するロボットシステムの制御装置であって、
   前記ロボットシステムは、各動作サイクル中に移動するロボットアーム、及び、該ロボットアームの先端部に設けられ且つ各動作サイクル中に対象物を操作するハンドを有するロボットと、前記ロボットアームに設けられ且つ前記対象物の位置情報を各動作サイクル中に計測する計測装置と、を備え、
   前記制御装置は、
   前記対象物の位置情報を各動作サイクル中に計測するときの前記計測装置の少なくとも１つの位置姿勢を生成する位置姿勢生成部と、
   前記計測装置が、前記少なくとも１つの位置姿勢の少なくとも一部を経由して各動作サイクル中に移動し、且つ、各位置姿勢において前記対象物の位置情報を各動作サイクル中に計測するように、前記計測装置の計測経路を決定する計測経路決定部と、
   前記計測装置を、前記計測経路を含む移動経路に沿って各動作サイクル中に移動させる処理を前記ロボットに指令し、且つ、前記計測装置が、前記計測経路において経由する前記少なくとも１つの位置姿勢の少なくとも一部において、前記対象物の位置情報を各動作サイクル中に計測する処理を前記計測装置に指令する指令部と、
   前記計測装置による計測データを用いて前記対象物を各動作サイクル中に認識する認識部と、
   を備え、
   前記計測経路決定部は、次回の動作サイクルにおける前記計測装置の計測経路を今回の動作サイクル中に決定する、制御装置。
2. 前記位置姿勢生成部は、前記計測装置と前記対象物を含む計測領域との相対的な幾何学的位置関係に基づいて、前記計測領域の全てをカバーするように、前記少なくとも１つの位置姿勢を予め生成し、
   前記計測経路決定部は、前記計測装置が、所定の順序で前記少なくとも１つの位置姿勢の全てを経由して移動するように、前記計測経路を決定する、請求項１記載の制御装置。
3. 前記位置姿勢生成部は、少なくとも１つ以上前の動作サイクルにおける前記計測装置による計測結果に基づいて、前記少なくとも１つの位置姿勢を予め生成し、
   前記計測経路決定部は、前記計測装置が、所定の順序で前記少なくとも１つの位置姿勢
   の全てを経由して移動するように、前記計測経路を決定する、請求項１記載の制御装置。
4. 前記計測結果が、前記計測装置による前記対象物の計測データ又は前記対象物の認識結果である、請求項３記載の制御装置。
5. 前記計測データ又は前記認識結果が、前記対象物の認識信頼度が低い認識結果、前記対象物を認識できていない点群データ、欠落データ、不連続形状、及び、前記対象物の積層配置における高い位置を示すデータの少なくとも何れかである、請求項４記載の制御装置。
6. 前記位置姿勢生成部は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記少なくとも１つの位置姿勢から特定の位置姿勢を選択し、
   前記計測経路決定部は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記計測装置が、所定の順序で前記特定の位置姿勢の少なくとも一部を経由して移動するように、前記計測経路を決定する、請求項２乃至５の何れか記載の制御装置。
7. 前記位置姿勢生成部は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記少なくとも１つの位置姿勢を生成し、
   前記計測経路決定部は、所定の条件若しくは所定の計測戦略に基づいて、又は、ランダムに、前記計測装置が、所定の順序で前記少なくとも１つの位置姿勢の少なくとも一部を経由して移動するように、前記計測経路を決定する、請求項１乃至５の何れか記載の制御装置。
8. 前記所定の条件が、以前の動作サイクルにおける対象物の計測データ、以前の動作サイクルにおける対象物の認識結果、及び、前記ロボットシステムの構成のうち少なくとも１つである、請求項６又は７記載の制御装置。
9. 前記所定の計測戦略が、計測領域への対応性、対象物の認識容易性、計測経路の効率性、対象物の認識信頼度、及び、対象物の積層配置のうちの少なくとも１つを志向する戦略である、請求項６乃至８の何れか記載の制御装置。
10. 前記指令部は、１つの動作サイクルにおいて、前記ハンドが前記対象物を把持して移動するときに、及び／又は、前記ハンドが前記対象物を把持するために移動するときに、前記少なくとも１つの位置姿勢において前記対象物の位置情報を計測する計測する処理を、前記計測装置に指示する、請求項１乃至９の何れかに記載の制御装置。
11. 前記対象物の位置情報に基づいて、前記ハンドによって把持される対象物を決定する決定部を更に備える、請求項１乃至１０の何れかに記載の制御装置。
12. 前記対象物の位置情報に基づいて、前記ハンドによってプレイスされる対象物の目標位置を決定する決定部を更に備える、請求項１乃至１０の何れかに記載の制御装置。
13. 動作サイクルを複数回繰り返し実行するロボットシステムの制御方法であって、
    前記ロボットシステムは、各動作サイクル中に移動するロボットアーム、及び、該ロボットアームの先端部に設けられ且つ各動作サイクル中に対象物を操作するハンドを有するロボットと、前記ロボットアームに設けられ且つ前記対象物の位置情報を各動作サイクル中に計測する計測装置と、を備え、
    前記制御方法は、
    位置姿勢生成部が、前記対象物の位置情報を各動作サイクル中に計測するときの前記計測装置の少なくとも１つの位置姿勢を生成するステップと、
    計測経路決定部が、前記計測装置が、前記少なくとも１つの位置姿勢を経由して各動作サイクル中に移動し、且つ、各位置姿勢において前記対象物の位置情報を各動作サイクル中に計測するように、前記計測装置の計測経路を決定するステップと、
    指令部が、前記計測装置を、前記計測経路を含む移動経路に沿って各動作サイクル中に移動させる処理を前記ロボットに指令し、且つ、前記計測装置が、前記計測経路において経由する前記少なくとも１つの位置姿勢の少なくとも一部において、前記対象物の位置情報を各動作サイクル中に計測する処理を前記計測装置に指令するステップと、
    認識部が、前記計測装置による計測データを用いて前記対象物を各動作サイクル中に認識するステップと、 前記計測経路決定部が、次回の動作サイクルにおける前記計測装置の計測経路を今回の動作サイクル中に決定するステップと、を含む制御方法。
14. コンピュータに、請求項１３に記載の制御方法を実行させるコンピュータ制御プログラム。
15. 動作サイクルを複数回繰り返し実行するロボットシステムであって、
    各動作サイクル中に移動するロボットアーム、及び、該ロボットアームの先端部に設けられ且つ各動作サイクル中に対象物を操作するハンドを有するロボットと、
    前記ロボットアームに設けられ且つ前記対象物の位置情報を各動作サイクル中に計測する計測装置と、
    前記ロボット及び前記計測装置に接続された制御装置と、
    を備え、
    前記制御装置は、
    前記対象物の位置情報を各動作サイクル中に計測するときの前記計測装置の少なくとも１つの位置姿勢を生成する位置姿勢生成部と、
    前記計測装置が、前記少なくとも１つの位置姿勢の少なくとも一部を経由して各動作サイクル中に移動し、且つ、各位置姿勢において前記対象物の位置情報を各動作サイクル中に計測するように、前記計測装置の計測経路を決定する計測経路決定部と、
    前記計測装置を、前記計測経路を含む移動経路に従って各動作サイクル中に移動させる処理を前記ロボットに指令し、且つ、前記計測装置が、前記計測経路において経由する前記少なくとも１つの位置姿勢の少なくとも一部において、前記対象物の位置情報を各動作サイクル中に計測する処理を前記計測装置に指令する指令部と、
    前記計測装置による計測データを用いて前記対象物を各動作サイクル中に認識する認識部と、
    を有し、
    前記計測経路決定部は、次回の動作サイクルにおける前記計測装置の計測経路を今回の動作サイクル中に決定する、ロボットシステム。

Images