JP5142243B2

JP5142243B2 - ロボット作業教示システムおよびロボットに対する作業教示方法

Info

Publication number: JP5142243B2
Application number: JP2006248524A
Authority: JP
Inventors: 和之永田; 優仁脇田
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2006-09-13
Filing date: 2006-09-13
Publication date: 2013-02-13
Anticipated expiration: 2026-09-13
Also published as: JP2008068348A

Description

本発明は、作業ロボットに対して適切に作業指示を与えることができるロボット作業教示システムおよびロボットに対する作業教示方法に関するものであり、更に、詳細には、ロボットの作業空間に対して作業指示の情報を対応づけて、その作業空間から作業指示が作業ロボットに与えられるロボット作業教示システムおよびロボットに対する作業指示方法に関するものである。

日常生活環境で、人をサポートするロボットの研究開発が行われているが、社会一般に受け入れられるまでには様々な困難が予想される。このようなロボットの制御には、システムの自律的な機能とユーザからの教示の協調が必要である（非特許文献１，非特許文献２）。ロボットが作業を自律的に行うためには、ロボットの作業に関するモデルが必要であるが、日常生活環境におけるロボットの作業では、扱う対象物や作業環境が多様であり、人と共存する環境であるために、物体の置かれた状態も常に変化する可能性がある等の問題がある。

従来、人の指示によりロボットで作業を行わせる手段としては、マスタースレーブマニピュレータによる遠隔操作システムが研究されている（非特許文献３）。マスターマニピュレータによって遠隔から物体を操作することは、操作者に高度の技能と神経の集中を要求し、操作者の負担が大きい。また、遠隔操作ロボットに知能要素を加えて、作業の一部をロボットが自律的に実行する手法も提案されている（非特許文献2）。しかし、この手法では、環境と扱う対象物全てについて個別のモデルが必要であり、モデルにない物体は扱うことができなかった。

また、ロボットが視覚により物体を認識し、その物体を操作する手法が開発されている（非特許文献４，非特許文献５，非特許文献６）が、これらの手法は、認識のために物体モデルを用意し、物体モデルと視覚処理の結果を照合する処理が必要となる。

ロボットの視覚は環境の照明条件等に左右される不完全なものであり、照明環境が整っていない日常生活環境下で安定に物体を認識することは困難である。また、一般に物体認識のための情報と、物体の操作のための情報は異なり、認識のための物体モデルをロボットの作業にそのまま用いることはできない。
三浦, 矢野, 岩瀬, 白井: "作業モデルに基づくインタラクティブ作業教示", SI2004予稿集, pp. 585-589, 2004. 平井:"Shared Autonomyの理論", 日本ロボット学会誌, 11, 6, p. 20-25, 1993. 高瀬國克："テレオペレーションの過去と未来," 日本ロボット学会誌, Vol.21, No.3, pp.1-4, 2003. 角保司、富田文明："ステレオビジョンによる３次元物体の認識," 電子情報通信学会論文誌, Vol.J80-D-II, No.5(1997) pp.1105-1112. 槙原靖他："必要に応じてユーザと対話しながら行動するロボット-対話を利用した物体の認識と操作-," 日本機械学会ロボティクス・メカトロニクス講演会’01講演論文集, 2P1-H8, 2001. 槙原靖他："ユーザとの対話を用いたサービスロボットのための物体認識," 第２０回日本ロボット学会学術講演会講演論文集, (2002).

ホームロボットや介助ロボットなど、人の周りで軽作業を行うロボットの需要が高まっているが、人の周りで作業を行うロボットは、安全の確保が必要であり、作業環境が複雑なため、自律的に作業を行うことは難しい。一方、全ての作業を遠隔操作で行うことは可能であるが、操作者の負担が大きいという問題がある。

本発明は、このような従来の技術の問題を解決するためになされたものであり、ロボットの操作者の負担を軽減するため、ロボットが作業する作業空間において、予め作業情報を埋め込み、ロボットに作業指示を与えることができるロボット作業教示システムを提供することにある。例えば、ロボットによる作業の実行時において、ロボットが作業空間から必要な作業情報を取得し、ロボットは作業を行うことができるようになる。また、ユーザが作業モデルを選択して、作業が必要となる空間と作業情報を対応づけることで、ロボットに作業指示を行う教示システムが提供される。

したがって、本発明の目的は、作業ロボットに対して適切に作業指示を与えることができるロボット作業教示システムおよびロボットに対する作業教示方法を提供することにあり、具体的には、ロボットの作業空間に対して作業指示の情報を対応づけて、その作業空間から作業指示が作業ロボットに与えられるロボット作業教示システムおよびロボットに対する作業指示方法を提供することにある。

上記のような目的を達成するため、本発明は、第１の態様として、本発明によるロボット作業教示システムが、ロボットの作業に関する知識を作業モデルとしてモデル化した作業モデル情報を格納した作業モデルデータベースと、ロボットが扱う物体を物体操作の観点から物体モデルに分類し、その物体モデルに適用できる前記作業モデルのリストを、物体モデル情報として格納した物体モデルデータベースと、ロボットを取り巻く床や壁、家具などの環境要素毎に前記物体モデルを登録した空間情報を作業空間モデルとして格納した空間モデルデータベースと、ロボットが作業を行う対象の物体およびその周囲環境の画像を取得する撮影手段と、前記撮影手段により取得された画像から作業空間の距離画像を取得する距離画像取得手段と、前記撮影手段により取得された画像を表示画面に表示し、表示画面に表示されたロボットに作業させる物体を指定することにより、該物体が属する前記作業空間モデルを特定し、特定された作業空間モデルに登録された前記物体モデルを表示して、該物体モデルを選択により指定するとともに、指定された物体モデルに適用できる作業モデルを前記物体モデルデータベースに基づいて表示して、該作業モデルを選択により指定するユーザーインタフェース処理手段と、前記ユーザーインタフェース処理手段により指定された物体モデルに対応する前記物体モデル情報および前記作業モデルに対応する前記作業モデル情報に基づき、前記距離画像取得手段により取得された作業空間の位置情報に対応して、ロボットの作業内容の制御情報を作成する制御処理手段とを備えることを特徴とする。

このロボット作業教示システムにおいて、前記作業空間モデルは前記空間モデルデータベースから取得して、計算機内に構築した部屋の３次元空間モデルに、実際の作業環境中における環境要素の配置に合わせて前記作業空間モデルを配置したものを空間モデルとし、前記制御処理手段により作成されたロボットの作業内容の制御情報は、前記距離画像取得手段により取得された作業空間の位置情報に対応づけて、ロボットの作業空間の空間モデルに貼り付けることができるように構成される。

また、このロボット作業教示システムにおいて、撮影手段としてはステレオカメラが設けられており、ステレオカメラの画像から、ロボットが作業を行う対象の物体およびその周囲環境の距離画像を取得するように構成される。また、ステレオカメラより得られた作業空間の画像と距離画像は、予めキャリブレーションにより作業空間の空間モデルと対応づけられるように構成される。

本発明は、第２の態様として、上記のようなロボット作業教示システムを用いて、ロボットに物体に対する作業指示を与えるロボットに対する作業教示方法であって、この作業教示方法では、ユーザインタフェース処理手段により表示画面により表示されたロボットが扱う対象物を画像上の点として指定を受け付けるステップと、制御処理手段により指定された画像上の点の対象物の距離画像から三次元位置情報を取得し、空間モデルに貼り付けられている作業空間の情報を取得するステップと、ユーザインタフェース処理手段により指示された点の空間モデルに登録されている物体モデルを表すアイコンリストを表示画面に表示するステップと、ユーザインタフェース処理手段によりアイコンリストから対象物のカテゴリーを表す物体モデルのアイコンをクリックして物体モデルの選択を受け付けるステップと、ユーザインタフェース処理手段により選択された物体モデルに対応づけられている作業モデルを表すアイコンリストを表示画面に表示するステップと、ロボットが扱う対象物の物体の置かれた状態および作業目的から作業モデルのアイコンをクリックして作業モデルの選択を受け付けるステップと、制御処理手段により指定されたロボットが扱う対象物のある空間モデルに作業に必要な空間情報と作業モデルを貼り付けるステップと、の処理を行う。

このロボットに対する作業教示方法においては、更に、制御処理手段によりロボットに対して対象物上の点に対応づけられた空間情報と作業モデルを利用して物体に対する操作を行う指示を与えるステップの処理を行う。

本発明は、第２の態様として、上記のようなロボット作業教示システムを用いて、ロボットに物体に対する作業指示を与えるロボットに対する作業教示方法であって、この作業教示方法では、前記ユーザーインタフェース処理手段により表示画面により表示されたロボットが扱う前記物体を画像上の点として指定を受け付けるステップと、前記制御処理手段により指定された画像上の点の前記物体の距離画像から三次元位置情報を取得し、空間モデルに貼り付けられている作業空間の情報を取得するステップと、前記ユーザーインタフェース処理手段により指示された点の作業空間モデルに登録されている前記物体モデルを表すアイコンリストを表示画面に表示するステップと、ユーザーインタフェース処理手段によりアイコンリストから対象物のカテゴリーを表す物体モデルのアイコンをクリックして物体モデルの選択を受け付けるステップと、ユーザーインタフェース処理手段により選択された物体モデルに対応づけられている作業モデルを表すアイコンリストを表示画面に表示するステップと、ロボットが扱う対象物である前記物体の置かれた状態および作業目的から前記作業モデルのアイコンをクリックして作業モデルの選択を受け付けるステップと、前記制御処理手段により指定されたロボットが扱う対象物のある空間モデルに作業に必要な空間情報と作業モデルを対応づけるステップと、の処理を行う。

また、本発明によるロボット作業教示システムによれば、ロボットの作業空間に対して作業指示の情報が対応づけられており、その作業空間から作業指示がロボットに与えられるように構成されている。自律的にロボットが作業を行う場合には、作業空間の環境情報を取得して作業を行うことになるので、ロボットの作業空間に対応して適切な作業モデルが選択できることになる。

本発明において、特徴的なことは、物体モデルに対応して、ロボットによる作業に必要な作業モデルが作成されており、また、同じカテゴリーに属する物体は同一の物体モデルとして扱うことにより、物体モデルおよび作業モデルを選択して指定するだけで、ロボットが物体を操作する作業を教示することができるように構成されている。このため、ロボットの作業の教示のために、個々の物体について個別のモデルを持つ必要がない。ここでは、ロボットが苦手とする物体の識別は人が行い、物体モデルを選択する指示を与えるようにしており、また、物体の置かれた状態の認識もロボットは苦手であるので、ロボットが作業を行う対象物の物体の置かれている状態の認識も人が行い、その物体に適用できる作業モデルを選択するようにしている。これにより、ロボットの作業教示のためのユーザの負担はかなり軽減される。ロボットにおける状況の認識のためのデータ処理のコストもかなり軽減される。

次に、本発明を実施するための形態について、具体的に図面を参照して実施例を例示して説明する。図１は、本発明によるロボット作業教示システムの全体の構成を示す図であり、図２は、システム構成における制御処理装置の演算モジュールを中心に構成を説明する図である。図１において、１０はシステム装置、１１は制御処理装置、１２は空間モデルデータベース、１３は物体モデルデータベース、１４は作業モデルデータベース、１５はディスプレイ装置、１６はデータ入力装置、１７はロボット制御装置、１８は作業対象物の物体に対する操作を行うロボット、１９はステレオカメラ、２０はロボットの作業環境となるテーブル、２１はロボットが作業する作業対象物の容器である。容器２１は作業環境のテーブル２０の上に置かれている。例えば、この容器２１をロボット１８が把持する作業を行う動作を教示する。また、図２において、１０はシステム装置、１１ａはカメラ画像出力モジュール、１１ｂは距離画像演算モジュール、１１ｃは作業指示演算モジュール、１１ｄは空間モデル、１１ｅは入力出力処理モジュール、１２は空間モデルデータベース、１３は物体モデルデータベース、１４は作業モデルデータベース、１５はディスプレイ装置、１６はデータ入力装置、１７はロボット制御装置、１９はステレオカメラである。

まず、システム構成の概略について説明する。図１に示すように、ロボット作業教示システムは、ハードウェア構成として、図示しない作業メモリ（ＲＡＭ）、プログラムを格納したデータ格納装置（ＲＯＭ，ＨＤＤ）、データ処理を実行するデータ処理装置（ＣＰＵ）を備えたシステム装置１０を中心に構成されて、システム装置１０には、その周辺装置として、環境を表示するディスプレイ装置１５、キーボードおよびポインティングデバイスのマウスから構成されるデータ入力装置１６、ロボット制御装置１７、ロボット１８が作業する作業環境を撮影するステレオカメラ１９が接続された構成となっている。データ入力装置１６は、キーボードおよびポインティングデバイスのマウスから構成する代わりに、ディスプレイ装置１５と一体化したタッチパネルとしても良い。

システム装置１０には、図２に示すように、ソフトウェア構成として、周辺機器の制御を行うと共にデータベースのデータを参照してロボット作業教示のための制御処理をプログラム処理により行う演算処理モジュールとして、カメラ画像出力モジュール１１ａ、距離画像演算モジュール１１ｂ、作業指示演算モジュール１１ｃ、空間モデル１１ｄ、入力出力処理モジュール１１ｅが設けられている。また、作業環境についての作業空間モデル（環境要素モデル）の情報を格納する空間モデルデータベース１２、物体データに関係する情報を格納する物体モデルデータベース１３、作業モデルに関係する情報を格納する作業モデルデータベース１４が設けられている。空間モデル１１ｄには、計算機内に構築した３次元空間モデルに、実際の作業環境中における環境要素の配置に合わせて作業空間モデルを配置する。距離画像演算モジュール１１ｂは、ステレオカメラ１９からの画像を取り込み、各画素の距離情報を計算して距離画像を取得する。入力出力処理モジュール１１ｅは、ディスプレイ装置１５およびデータ入力装置１６を制御して、ＧＵＩ処理によるユーザインタフェース処理を行う。ステレオカメラ１９より得られた作業空間の画像と距離画像は、予めキャリブレーションにより作業空間の空間モデル１１ｄと対応づけられている。

空間モデルデータベース１２は、壁や床、家具などロボットを取り巻く環境要素の空間情報を作業空間モデルとして格納しており、物体モデルデータベース１３は、ロボットが扱う物体を物体モデルとしてモデル化した物体モデル情報を格納している。また、作業モデルデータベース１４は、ロボットの作業に関する知識（作業パラメータ、動作モジュールの実行手順など）を作業モデルとしてモデル化した作業モデル情報を格納している。

ステレオカメラ１９は、ロボットが作業を行う対象の物体およびその周囲環境の画像を取得して、システム装置１０に画像を送出するので、カメラ画像出力モジュール１１ａがステレオカメラ１９により取得された画像をディスプレイ装置１５の表示画面に表示すると共に、距離画像演算処理モジュール１１ｂが各画素に対して距離情報を計算して距離画像を取得し、作業指示演算モジュール１１ｃにより距離画像と空間モデルとを対応づけが行われる。また、作業指示演算モジュール１１ｃでは、入力出力処理モジュール１１ｅの制御によりデータ入力装置１６によるユーザからの入力操作を受け付けて、ディスプレイ装置１５の表示画面に表示されたロボットに作業させる物体を選択して指定し、距離画像から物体の置かれた三次元位置の情報を取得する。その際に、作業させる物体のカテゴリー（物体モデル）を表示画面に表示されたアイコンリストから、物体モデルの選択により指定すると共に、当該物体に対する作業内容を、同じく表示画面に表示されたアイコンリストから作業モデルの選択により指定する。

また、作業指示演算モジュール１１ｃは、入力出力処理モジュール１１ｅのユーザインタフェース処理により、指定された物体モデルに対応する前記物体モデル情報および作業モデルに対応する前記作業モデル情報に基づき、ステレオカメラ１９により取得された画像により認識された作業環境であるロボットの作業空間に対応して、ロボットの作業内容の制御情報を作成し、作成されたロボットの作業内容の制御情報をロボット制御装置１７に送出する。ここで作成されたロボットの作業内容の制御情報は、ロボットの作業空間の位置情報に対応づけられ空間モデル１１ｄに貼り付けられる。これにより、ロボット１８はその作業モデルの内容に基づき、作業に必要な情報を空間モデル１１ｄに貼付された空間情報から得て、ロボット制御装置１７により、ロボット１８の動作制御が行われる。

ロボット作業教示システムにおいては、作成されたロボットの作業内容の制御情報が、ステレオカメラ１９により取得された距離画像により、作業空間の点に対応づけられている。作業空間の空間情報は、空間モデル１１ｄから取得するように構成されている。これにより、ロボットの作業内容の制御情報が取得されて、ロボットの動作が実行される。

また、ステレオカメラ１９で取得した画像から、ロボット１８が作業を行う対象の作業対象物の容器２１およびその周囲環境の距離情報が取得されるように構成されており、ステレオカメラより得られた画像と距離画像は、予めキャリブレーションにより空間モデルと対応づけられている。

図３は、本発明のロボット作業教示システムによるロボット作業教示処理におけるデータの流れを説明するフロー図である。ロボット作業教示システムを用いて、ロボットに物体に対する作業指示を与えるロボット作業教示処理においては、図３に示されるように、この処理が開始される前に、ステレオカメラ１９がロボット１８が作業を行う対象物および当該対象物の周囲の環境を撮影して、画像処理を行い、その実画像１０１および距離画像１０２を取得している。

ロボット作業教示処理を開始すると、ディスプレイ装置１５の表示画面には、ロボットが扱う対象物の実画像１０１が表示されるので、ユーザがデータ入力装置１６の操作を行い、入力出力処理モジュール１１ｅのユーザインタフェース処理により表示画面により表示されたロボットが扱う対象物を画像上の点として指定を受け付け、距離画像１０２を参照して、その実作業環境中の３次元位置１０３が求められる。指定された画像上の点の対象物の距離画像から３次元位置の情報が取得されると、取得された３次元位置の情報に基づいて、次に、空間モデルデータベース１２から取得し空間モデルに配置されている作業空間の作業環境情報１０４を取得する。

続いて、ユーザインタフェース処理により、指示された点の空間モデルに登録されている物体モデルを表すアイコンリストを表示画面に表示されるので、ユーザがデータ入力装置１６の操作を行い、アイコンリストから対象物のカテゴリーを表す物体モデルのアイコンをクリックして物体モデルの選択を受け付けるが（１０５）、選択する物体モデルが存在しない場合には、物体モデルデータベース１３から別の物体モデルのアイコンリストを読み出して表示画面に表示して、物体モデルのアイコンをクリックして、ロボットが作業を行う対象物に対応する物体モデル１０６を選択する。

物体モデル１０６が選択されると、選択された物体モデル１０６に基づいて、次に、物体モデル１０６の中に記述されている作業モデルを選択する。作業モデルの選択は、ユーザインタフェース処理により選択された物体モデル１０６に対応づけられている作業モデルを表すアイコンリストを表示画面に表示されるので、ユーザがデータ入力装置１６の操作により作業モデルのアイコンを選択する。この場合についても、ロボットが扱う対象物の物体の置かれた状態および作業目的から作業モデルのアイコンをクリックして作業モデルの選択を受け付ける（１０７）が、選択するべき作業モデルが存在しない場合には、作業モデルデータベース１４から別の作業モデルのアイコンリストを読み出して表示画面に表示して、作業モデルのアイコンをクリックして、ロボットが作業を行う作業モデル１０８を選択する。作業モデル１０８が選択されると、ロボットが扱う対象物のある空間モデルに作業に必要な空間情報と作業モデルが対応づけられ、この作業モデルに従い、ロボット１８に作業を行うように指示を出す。

また、既に空間モデルに作業に必要な空間情報と作業モデルを貼り付けられている場合には、ロボットに対してユーザがデータ入力装置１６の操作により対象物上の一点を指定することで、その位置情報を得て、その対象物上の点に貼付された空間情報と作業モデルを利用して物体に対する操作を行う指示を与えることにより、ロボット１８に対して、作業モデル１０８に基づいて作業を実行させる。

次に、具体例について詳細に説明する。図４はロボットが作業を行う作業対象物を指定するユーザインタフェース処理の画面例を示す図であり、図５はロボットが作業を行う作業対象物の種類を指定するアイコンリストが表示された画面例を示す図であり、また、図６はロボットが作業を行う作業対象物に対する作業を指定するアイコンリストが表示された画面例を示す図である。これらの図を参照して説明する。

作業モデルは、予め作成されて作業モデルデータベース１２に格納されている。この作業モデルは、ロボット１８が所定の作業を実行するのに必要な情報や動作手順の情報といった作業に関する知識が記述されている。作業に必要な情報（作業パラメータ）は、ロボットが自律的に獲得したり、ロボットが自律的に獲得することが困難な場合にはインタラクティブにユーザに問い合わせて獲得することができる。

作業モデルの中に記述されている動作には、動作の難易度によってロボットが自律的に行うものと、人が遠隔操作により行うものがある。ロボットが作業モデルを持つことにより、ロボットの作業の一部を自律化することができ、操作者の負担を減らすことができる。物体の扱い方は、物体の種類や物体が置かれている状態・作業目的によって異なる。

ロボットは日常生活環境のように作業環境が整っていない状況では、物体や物体の状態を自律的に認識することは難しい。一方、人は物体の識別や物体の置かれている状態の認識は容易であるため、本発明によるロボット作業教示システムにおいては、物体に適用できる作業モデルを予め用意し、人が物体の置かれている状態を判断して、作業モデルを選択し、ロボットシステムに指示するようにシステムが構成されている。

また、物体モデルとしては、オブジェクト・テンプレート・モデルを作成し、物体モデルデータベースに格納している。我々の周りには様々な物体が存在するが、同じカテゴリーに属する物体は意匠や大きさが多少異なっても、その扱い方は共通していることが多い。例えば、容器として取り扱える物体は、その大きさや形状の様々である。具体的に説明すると、例えば、コーヒーカップ、湯飲み、ガラスコップなどがあり、その大きさや形状の様々である。

それらのカップをロボットハンドで取り上げる作業を行う作業モデルでは、カップの持ち方は、図７の（ａ），（ｂ），（ｃ），（ｄ）に示すような４つの形式に集約される。したがって、ロボットハンドによるカップの把持作業の種類として、これら４種類の持ち方についてカップを取り上げる作業モデルを用意しておけば、ロボットはカップの状態や作業目的に応じてカップを取り上げることができる。

そこで、日常の生活環境に存在する様々な物体を物体操作の観点から分類し、そのカテゴリーの物体に適用できる作業モデルのリストを、オブジェクト・テンプレート・モデル（ＯｂｊｅｃｔＴｅｍｐｌａｔｅＭｏｄｅｌ：ＯＴＭ）と定義しておき、ここでの物体モデルとして利用する。

このＯＴＭを利用することで、同じカテゴリーに属する物体は一つのモデルで統一的に表現することができ、物体モデルの数を減らすことができる。ユーザは、ＯＴＭの中から物体の置かれた状況または作業目的に応じて、その物体モデルに対応して適当な作業モデルを選択して、ロボットの作業指示を与えることにより、ロボット作業教示システムに対して適切な作業教示を行うことができる。

次に、空間モデルデータベース１２に格納している作業空間モデルについて説明する。ここでの作業空間モデルは、ロボットをとりまく環境要素の空間情報のうち、ロボットの動作に関連する情報である。床や壁、家具など、空間に固定された物（環境要素）については、ロボットの作業や動作制御に利用するため、その情報を予め空間に記述することができる。これら空間情報の内、ロボットの動作に関連する情報を作業空間モデルまたはタスク空間モデル（ＴａｓｋＳｐａｃｅＭｏｄｅｌ：ＴＳＭ）と定義する。

タスク空間モデルには、床面の高さや机の高さなどの幾何情報、物体への許容アプローチ方向・許容離脱方向などのロボットの動作拘束情報、扉や引き出しを開閉したりボタンやスイッチを押すといったスキルなどの情報が含まれる。また、食器棚や本棚の中のように、ユーザが特定の物を習慣的に置いている場合には、その物体のＯＴＭをタスク空間モデルの中に登録することができる。

以上に、説明したように、物体に対する操作に必要な情報および動作手順を作業モデルとして記述し、物体に適用できる作業モデルのリストをオブジェクト・テンプレート・モデル（ＯＴＭ）と定義し、また、作業に関連した空間情報を作業空間モデルまたはタスク空間モデル（ＴＳＭ）とし、ユーザがＯＴＭおよびＯＴＭに記述された作業モデルを選択して作業空間に貼り付けすることにより、ロボットに作業指示を行う。

次に、本発明のロボット作業教示システムにより、ロボットの作業を教示する操作例について説明する。システム構成としては、日常生活場にロボットとステレオカメラが配置されており、ディスプレイ装置の表示画面には、作業環境の実画像が表示され、同時に、システムにはステレオビジョンにより得られる距離画像が与えられている。計算機内に構築された日常生活場の空間モデルには、実際の環境に配置された床や壁、家具などの環境要素に合わせて、作業空間モデル（ＴＳＭ）が配置されている。また、予めキャリブレーションにより、ステレオビジョンにより得られる距離画像と空間モデルとの対応は得られている。

また、予めロボットが扱う物体のカテゴリーと作業内容はシステムに登録してあり、そのＯＴＭと作業モデルは定義してある。更に、机や本棚のように物を載せたり収納する家具等のＴＳＭには、ユーザの習慣的な利用形態に応じて、特定のＯＴＭが登録してある。

ロボット作業教示システムにおける作業指示は、次のように行われる。図４に示すように、ディスプレイ装置の表示画面３００には、ロボット１８が作業を行う対象物３０１が表示されるので、マウスカーソル３０２を位置決めして、対象物３０１の画像上の点をクリックして指定する。このように、ユーザはディスプレイ装置の表示画面３００に表示された画面で対象物３０１を見つけ、対象物上の一点をクリックすることにより、ユーザが直接対象物を指定することができるので、ロボットが対象物を探索する処理が省ける。

対象物３００の画像上の一点をクリックすることにより、既に与えられている距離画像から、クリックされた点の三次元位置が得られる。選択された点には、空間モデルからＴＳＭの情報が貼り付けられているので、図５に示すように、表示画面４００には、クリック点のＴＳＭに登録されているＯＴＭを表すアイコン（４０１〜４０３）のアイコンリストが表示される。

ユーザは対象物が何であるか知っているので、その対象物のカテゴリーを表すＯＴＭのアイコン（４０１〜４０３）をクリックしてＯＴＭを選択する。ＯＴＭが選択されると、図６に示すように、ディスプレイ装置の表示画面５００には、そのＯＴＭに記述されている作業モデルを表すアイコン（５０１〜５０３）のアイコンリストが表示される。ユーザは物体の置かれた状態・作業目的から適当な作業モデルのアイコン（５０１〜５０３）をクリックして作業モデルを選択する。以上の操作により、ユーザがクリックした対象物上の点に、作業に必要な空間情報と作業モデルが貼り付けされる。そして、ロボット１８は対象物上の点に貼り付けされた空間情報と作業モデルを利用して物体操作を行う。

以上に説明した本発明によるロボット作業教示システムの特徴をまとめると、次のように説明できる。

１．作業モデル
ロボットが作業を行うのに必要な知識を記述したもの。具体的には作業に必要なパラメータや動作モジュールの実行手順などが含まれる。
ロボットが作業を行うのに必要な情報は、物体の正確な幾何形状や大きさなど個々の物体の情報ではなく、作業モデルである。

２．物体モデル（オブジェクト・テンプレート・モデル）
我々の周りには様々な物体が存在するが、同じカテゴリーに属する物体は大きさや意匠が異なっても扱い方は共通していることが多い。例えば、様々な大きさ・意匠のコップであるが、ロボットでコップを掴む方法は、コップが置かれた状態に応じて、例えば、図７に示すような４つの掴み方に集約される。それぞれの掴み方に対して、ロボットが必要とする情報や動作手順は異なる。そこで、コップの４つの掴み方に対して、それらに対応した作業モデルをそれぞれ持つことで、ロボットはコップがどのような状態に置かれていても、コップを掴み上げることができる。

そこで本発明のロボット作業教示システムにおいては、我々の身の回りに存在する様々な物体をロボットによる物体操作の観点から分類し、そのカテゴリーの物体に適用できる作業モデルのリストをオブジェクト・テンプレート・モデル（ＯｂｊｅｃｔＴｅｍｐｌａｔｅＭｏｄｅｌ：ＯＴＭ）と定義し、ＯＴＭを物体モデルとする。物体モデルは、同じカテゴリーに属する物体は同一のモデルで統一的に扱うことができるので、個々の物体について個別のモデルを持つ必要がない。

３．作業空間モデルまたはタスク空間モデル
壁や床, 家具などロボットを取り巻く環境に属する物（環境要素）は、普段部屋の中に固定されていて移動することがないので、それらの情報を予め計算機内に記述しておくことができる。これら環境要素の情報のうち、特に、ロボットの動作に関連する情報を、作業空間モデルまたはタスク空間モデル（ＴａｓｋＳｐａｃｅＭｏｄｅｌ：ＴＳＭ）とする。また、作業空間モデルを、実際の部屋の配置に合わせて計算機内の３次元空間モデルに配置したものを空間モデルとする。ステレオカメラより得られた作業空間の距離画像は、予めキャリブレーションにより作業空間の空間モデルと対応づけられている。これにより、実際の部屋の空間座標は空間モデルと対応づけられる。すなわち、部屋空間の各座標には、作業空間モデルの情報が記述されている。作業空間モデルには、床面や机の高さなどロボットの障害物回避に必要な幾何情報、机や棚へのアプローチ方向などのロボットの動作拘束を表す情報、ロボットで扉や引き出を開閉したりボタンやスイッチをオン・オフするための作業モデルなどの情報が含まれる。また、本棚には本が置かれているとか、食器棚には食器が収納されているなど、ユーザが習慣的に特定の場所に特定の物を置いている場合には、前述のオブジェクト・テンプレート・モデルを空間モデルの中の作業空間モデルに登録することができる。

４．システム構成
システムは主に、ロボット、ステレオカメラ、モニター、座標入力装置（マウスまたはタッチパネル）、計算機から構成される。計算機の中には、作業モデルのデータベース、物体モデルのデータベースがあり、作業空間モデルのデータベース、部屋の３次元空間モデルである空間モデルが管理されている。ディスプレイ装置（モニター）には、ステレオカメラから得られる実画像が表示されている。また、ステレオカメラから得られる映像に基づいて部屋の距離画像が計算により得られているものとする。

５．作業指示手順
（１）ユーザはモニターに表示された実画像上で対象物を見つけ、対象物上の一点をマウスクリックまたはタッチパネルで指定する。すると距離画像より、指定された点の三次元位置の情報が得られる。この様に、ユーザが直接対象物を指定するので、ロボットが対象物を探索する処理が省ける。
（２）選択された点には、作業空間モデルから作業空間情報が割り当てられている。
（３）作業空間モデルからクリック点に登録されている物体モデルの情報が得られ、登録されている物体モデルを示すアイコンリストが表示画面に表示される。
（４）ユーザは対象物が何であるか知っているので、対象物の物体モデルのアイコンをクリックして物体モデルを選択する。
（５）作業空間モデルに対象物の物体モデルが登録されていない場合には、物体モデルのデータベースにアクセスして物体モデルを選択する。
（６）なお、物体モデルのデータベースにアクセスするためのアイコンも、先の物体モデルを表すアイコンとともに表示画面に表示されている。
（７）物体モデルが選択されると、その物体モデルに記述されている作業モデルのリストがアイコンリストとして表示画面に表示される。
（８）ユーザは物体の置かれた状態・作業目的から適当な作業モデルを選択し、そのアイコンをクリックする。
（９）物体モデルの中に目的の作業モデルが無い場合には、作業モデルのデータベースにアクセスして作業モデルを選択する。
（１０）なお、作業モデルのデータベースにアクセスするためのアイコンも作業モデルリストのアイコンとともに表示画面に表示されている。
（１１）ロボットはクリックにより指示された点の位置に選択された作業モデルを適用することで作業を行う。

本発明によるロボット作業教示システムの全体のシステム構成を示す図である。システム構成における制御処理装置の演算モジュールを中心に構成を説明する図である。本発明のロボット作業教示システムによるロボット作業教示処理におけるデータの流れを説明するフロー図である。ロボットが作業を行う作業対象物を指定するユーザインタフェース処理の画面例を示す図である。ロボットが作業を行う作業対象物の種類を指定するアイコンリストが表示された画面例を示す図である。ロボットが作業を行う作業対象物に対する作業を指定するアイコンリストが表示された画面例を示す図である。ロボットハンドによるカップの把持作業の種類を説明する図である。

符号の説明

１０システム装置
１１制御処理装置
１２空間モデルデータベース
１３物体モデルデータベース
１４作業モデルデータベース
１５ディスプレイ装置
１６データ入力装置
１７ロボット制御装置
１８ロボット
１９ステレオカメラ
２０テーブル（作業環境）
２１容器（作業対象物）

Claims

ロボットの作業に関する知識を作業モデルとしてモデル化した作業モデル情報を格納した作業モデルデータベースと、
ロボットが扱う物体を物体操作の観点から物体モデルに分類し、その物体モデルに適用できる前記作業モデルのリストを、物体モデル情報として格納した物体モデルデータベースと、
ロボットを取り巻く床や壁、家具などの環境要素毎に前記物体モデルを登録した空間情報を作業空間モデルとして格納した空間モデルデータベースと、
ロボットが作業を行う対象の物体およびその周囲環境の画像を取得する撮影手段と、
前記撮影手段により取得された画像から作業空間の距離画像を取得する距離画像取得手段と、
前記撮影手段により取得された画像を表示画面に表示し、表示画面に表示されたロボットに作業させる物体を指定することにより、該物体が属する前記作業空間モデルを特定し、特定された作業空間モデルに登録された前記物体モデルを表示して、該物体モデルを選択により指定するとともに、
指定された物体モデルに適用できる作業モデルを前記物体モデルデータベースに基づいて表示して、該作業モデルを選択により指定するユーザーインタフェース処理手段と、
前記ユーザーインタフェース処理手段により指定された物体モデルに対応する前記物体モデル情報および前記作業モデルに対応する前記作業モデル情報に基づき、前記距離画像取得手段により取得された作業空間の位置情報に対応して、ロボットの作業内容の制御情報を作成する制御処理手段と
を備えることを特徴とするロボット作業教示システム。
請求項１に記載のロボット作業教示システムにおいて、
前記作業空間モデルは前記空間モデルデータベースから取得して、計算機内に構築した部屋の３次元空間モデルに、実際の作業環境中における環境要素の配置に合わせて前記作業空間モデルを配置したものを空間モデルとし、
前記制御処理手段により作成されたロボットの作業内容の制御情報は、前記距離画像取得手段により取得された作業空間の位置情報に対応づけて、ロボットの作業空間の空間モデルに貼り付ける
ことを特徴とするロボット作業教示システム。
請求項１に記載のロボット作業教示システムにおいて、
前記撮影手段はステレオカメラであり、ロボットが作業を行う対象の物体およびその周囲環境の画像から距離情報を取得することを特徴とするロボット作業教示システム。
請求項１に記載のロボット作業教示システムにおいて、
前記撮影手段はステレオカメラであり、前記ステレオカメラより得られた作業空間の画像と距離画像は、予めキャリブレーションにより前記作業空間モデルと対応づけられていることを特徴とするロボット作業教示システム。
請求項１に記載のロボット作業教示システムを用いて、ロボットに物体に対する作業指示を与えるロボットに対する作業教示方法であって、
前記ユーザーインタフェース処理手段により表示画面により表示されたロボットが扱う前記物体を画像上の点として指定を受け付けるステップと、
前記制御処理手段により指定された画像上の点の前記物体の距離画像から三次元位置情報を取得し、空間モデルに貼り付けられている作業空間の情報を取得するステップと、
前記ユーザーインタフェース処理手段により指示された点の作業空間モデルに登録されている前記物体モデルを表すアイコンリストを表示画面に表示するステップと、
ユーザーインタフェース処理手段によりアイコンリストから対象物のカテゴリーを表す物体モデルのアイコンをクリックして物体モデルの選択を受け付けるステップと、
ユーザーインタフェース処理手段により選択された物体モデルに対応づけられている作業モデルを表すアイコンリストを表示画面に表示するステップと、
ロボットが扱う対象物である前記物体の置かれた状態および作業目的から前記作業モデルのアイコンをクリックして作業モデルの選択を受け付けるステップと、
前記制御処理手段により指定されたロボットが扱う対象物のある空間モデルに作業に必要な空間情報と作業モデルを対応づけるステップと、
の処理を行うことを特徴とするロボットに対する作業教示方法。
請求項５に記載のロボットに対する作業教示方法において、更に、
前記制御処理手段によりロボットに対して対象物上の点に対応づけられた空間情報と作業モデルを利用して前記物体に対する操作を行う指示を与えるステップ、
の処理を行うことを特徴とするロボットに対する作業教示方法。