JPH10128686A - ロボットマニピュレータの制御方法およびロボットマニピュレータの制御装置 - Google Patents

Abstract

(57)【要約】 【課題】距離画像が測定できない空間に対しても、マニ
ピュレータが入り込む空間の存在を保証するように、動
作経路を生成する手段を提供すること。 【解決手段】画像または距離画像を用いて、同一の既知
形状を有する複数の物体が乱雑に置かれた空間内から対
象物体を取り出すようにロボットマニピュレータを制御
方法である。そして、この制御方法には、画像または距
離画像に基づいて、物体が取り得る位置姿勢候補を求め
るステップと、求めた位置姿勢候補に基づいて、空間を
物体空間とそれ以外とに領域分割した環境モデルを作成
するステップと、作成された環境モデルに基づいて、対
象物体を取り出すためのロボットマニピュレータの動作
経路を生成するステップとを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、同一の既知形状を
有する複数の物体が乱雑に置かれた空間内から対象物体
を取り出すようにロボットマニピュレータを制御する方
法および装置に関する。

【０００２】

【従来の技術】ロボットマニピュレータを制御して、乱
雑に置かれた複数の物体の中から対象物体を取り出すた
めには、ロボットマニピュレータが把持する物体の位置
姿勢の推定や、物体を把持する動作を行うための経路を
算出することが必要となる。

【０００３】そして、視覚センサを備えたロボットマニ
ピュレータによって、乱雑に置かれた複数の物体の中か
ら対象物体を取り出すためには、まず、物体の画像情報
を計測する視覚センサの計測結果から物体の位置姿勢を
推定し、視覚センサによる計測結果や、把持しようとす
る物体以外の物体（把持時の障害物）の存在情報である
位置姿勢の推定結果を用いて環境モデルを作成しておく
必要がある。

【０００４】乱雑に置かれた物体の３次元形状を所定方
向から距離測定可能なレーザレンジファインダ（視覚セ
ンサ）による測定結果のみによって作成される環境モデ
ルは、乱雑に置かれた物体の３次元形状の各計測点が、
物体内部にある空間とそれ以外の空間との境界点を構成
するようなモデルであり、例えば、ある物体の上に他の
物体が重なることによって、このある物体がセンサの測
定不可能な領域、いわゆる死角に、入ってしまう場合に
は、この物体が存在するにも係わらず、前記他の物体に
よって測定死角となる全領域が、前記他の物体の内部の
空間として判断される。そして、従来では、このような
環境モデルを用いて、ロボットマニピュレータの経路を
決定する動作計画を行っていた。

【０００５】また、乱雑に置かれた複数の物体の中から
対象物体を取り出す際には、物体の位置姿勢を推定する
ため、および、マニピュレータの動作経路付近に存在す
る物体との衝突を回避するような経路を算出するため、
物体の形状モデルが必要となる。そして、この際使用さ
れる形状モデルは、直方体、円筒等の立体の幾何形状の
組み合わせにより物体の形状を定義することや、四角
形、円等の平面の幾何形状の接続関係を記述して物体の
形状を定義することにより生成されていた。

【０００６】また、従来では１つの物体モデルを用い
て、物体の位置姿勢の推定と動作計画の立案を行ってい
たが、実際には、物体の位置姿勢を推定するためには、
物体の形状を詳細かつ厳密に記述したような物体モデル
が必要となり、一方、動作計画を立案するためには、局
所的な形状ではなく、物体が空間内に占める大きさのよ
うな大局的な形状を記述した物体モデルが必要であっ
た。

【０００７】

【発明が解決しようとする課題】ところで、乱雑に置か
れた複数の物体の画像情報を視覚センサによって計測
し、この計測結果に基づいて、物体の位置姿勢の推定を
行う場合には、物体同士の重なりにより死角が多く発生
する。死角領域に存在する物体の形状情報は計測不能の
ため、死角領域に存在する物体の位置姿勢推定を行うこ
とはできなくなり、物体上に広い範囲が死角となると、
この物体の位置姿勢の推定が不可能となる。

【０００８】このため、物体が乱雑に置かれた状態にあ
る物体の多くは死角の存在により、位置姿勢の推定が不
可能となっていた。したがって、従来、乱雑に置かれた
複数の物体の中から対象物体を取り出すために用いる環
境モデルの大部分は、視覚センサによる計測結果のみを
用いて作成していた。

【０００９】しかしながら、視覚センサによる計測結果
のみを用いて作成した環境モデルを採用する場合には、
死角となった領域に、マニピュレータが入り込むことが
可能な空間が存在するか否かを判断できず、実際には、
死角部分にロボットマニピュレータが入り込む空間が存
在するにも係わらず、この空間を考慮したロボットマニ
ピュレータの動作計画の立案が行えなかった。

【００１０】また、１つの物体モデルを用いて、物体の
位置姿勢推定と動作計画の立案の双方を行っていたた
め、物体の局所的な形状情報から大局的な形状情報まで
を１つの物体モデルで表現する物体モデルの作成が極め
て難しいといった問題もあった。

【００１１】そこで、本発明は、上記課題を解決するた
めになされたものであり、その目的は、距離画像が測定
できない空間に対しても、ロボットマニピュレータが入
り込む空間の存在を保証するように動作経路を生成し、
ロボットマニピュレータを制御する手段を提供する点に
ある。

【００１２】また、本発明の他の目的は、物体の局所的
な形状情報と大局的な形状情報とを表現するモデルを用
意しておき、ロボットマニピュレータの制御時における
処理速度を向上させる点にある。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明によれば、画像または距離画像
を用いて、同一の既知形状を有する複数の物体が乱雑に
置かれた空間内から対象物体を取り出すようにロボット
マニピュレータを制御する方法において、画像または距
離画像に基づいて、物体が取り得る位置姿勢候補を求め
るステップと、求めた位置姿勢候補に基づいて、空間を
物体空間とそれ以外とに領域分割した環境モデルを作成
するステップと、作成された環境モデルに基づいて、対
象物体を取り出すためのロボットマニピュレータの動作
経路を生成するステップと、を含むロボットマニピュレ
ータの制御方法が提供される。

【００１４】また、請求項２記載の発明によれば、画像
または距離画像を計測するセンサを有し、同一の既知形
状を有する複数の物体が乱雑に置かれた空間内から対象
物体を取り出すようにロボットマニピュレータを制御す
る装置において、前記センサの計測結果に基づいて、物
体の取り得る位置姿勢候補を算出し出力する位置姿勢候
補算出手段と、位置姿勢を一意に確定することができな
い物体の存在範囲を示す情報を出力する物体配置処理手
段と、前記位置姿勢候補算出手段および前記物体配置処
理手段の出力を参照して、空間を物体内部とそれ以外と
に領域分割した環境モデルを作成する環境モデル作成手
段と、作成された環境モデルに基づいて、対象物体を取
り出すためのロボットマニピュレータの動作経路を生成
する動作計画手段とを、備えることを特徴とするロボッ
トマニピュレータの制御装置が提供される。

【００１５】また、請求項３記載の発明によれば、請求
項２において、前記物体配置処理手段は、一般化ハフ変
換のパラメータ空間を有することを特徴とするロボット
マニピュレータの制御装置が提供される。

【００１６】さらに、請求項４記載の発明によれば、請
求項２において、前記位置姿勢候補算出手段は、物体表
面の形状を示す局所形状情報を用いたモデルにより位置
姿勢候補を求める手段であり、また、前記環境モデル作
成手段は、物体を内包する形状を用いたモデルにより前
記環境モデルを作成する手段である、ことを特徴とする
ロボットマニピュレータの制御装置が提供される。

【００１７】さらに、請求項５記載の発明によれば、画
像または距離画像を用いて、同一の既知形状を有する複
数の物体が乱雑に置かれた空間内から対象物体を取り出
すようにロボットマニピュレータを制御する方法におい
て、画像または距離画像に基づいて、物体が取り得る位
置姿勢候補を求めるステップと、位置姿勢を一意に確定
することができない物体の存在範囲を示す情報を求める
ステップと、求められた位置姿勢候補と、物体の位置の
存在範囲を示す情報とを参照して、空間を物体内部とそ
れ以外とに領域分割した環境モデルを作成するステップ
と、作成された環境モデルに基づいて、対象物体を取り
出すためのロボットマニピュレータの動作経路を生成す
るステップと、を含むロボットマニピュレータの制御方
法が提供される。

【００１８】

【発明の実施の形態】以下、本発明の実施形態を図面を
参照しつつ説明する。なお、公知のアルゴリズムに基づ
いた処理については、その旨を記載して詳細な説明を省
略し、本発明の理解の容易化を図るものとする。

【００１９】以下の説明では、まず、図１のブロック図
を参照して本発明に係るロボットマニピュレータの制御
方法の概要を説明し、その後、具体的な実施形態を説明
する。

【００２０】物体モデル部６０には、位置姿勢等を求め
るための第１のモデルと、環境モデルを作成するための
第２のモデルとが予め記憶されている。まず、乱雑に置
かれた同一の既知形状を有する複数の物体の画像情報を
センサ１５０が計測し、計測結果を出力する。位置姿勢
候補算出部１０は、この計測結果と物体モデル６０に記
憶されている第１のモデルとを参照して、物体の位置姿
勢候補を算出し出力する。

【００２１】そして、物体配置処理部２０は、位置姿勢
を一意に確定することができる物体に対しては、その位
置姿勢候補をそのまま出力するとともに、例えば、他の
物体が障害になって形状情報が欠落し、位置姿勢を一意
に確定することができない物体に対しては、その存在範
囲を示す情報（物体配置情報）を出力する。

【００２２】環境モデル作成部３０は、物体配置処理部
２０の出力と物体モデル部６０に記憶されている第２の
モデルとを参照して、環境モデルを作成する。さらに、
動作計画部４０は、ロボットマニピュレータ形状モデル
部７０に記憶されている、ロボットマニピュレータの形
状を表現するモデルと作成された環境モデルとを参照し
て、ロボットマニピュレータの動作経路を生成する。

【００２３】ロボットマニピュレータ５０は、動作経路
が与えられると、この動作経路となるようにマニピュレ
ータの制御動作を行う。かくして、位置姿勢候補算出部
１０、物体配置処理部２０、環境モデル作成部３０、お
よび、動作計画部４０によって、乱雑に置かれた同一の
既知形状を有する複数の物体から対象物体を取り出すた
めの、マニピュレータの動作経路を生成する制御装置
（ビンピッキング装置）８０が実現できる。

【００２４】このように、本発明では、位置姿勢を一意
に確定することができない物体に対して、その存在範囲
を示す情報を求めることによって、センサが測定できな
い空間に対しても、ロボットマニピュレータが入り込む
空間の存在を保証するように動作経路を生成し、ロボッ
トマニピュレータを制御する点に特徴がある。

【００２５】そして、位置および姿勢のいずれかが明確
でない場合に、本発明を適用することができる。但し、
後に説明する実施形態では、位置が明確でない場合につ
いて説明する。

【００２６】また、本発明の他の特徴は、物体の局所的
な形状情報（第１のモデル）と大局的な形状情報とを表
現するモデル（第２のモデル）とを用意しておき、ロボ
ットマニピュレータの制御時における処理速度を向上さ
せる点にある。

【００２７】次に、具体的な実施形態について説明す
る。図２は、本発明にかかる装置の構成を示すブロック
図である。本装置は、乱雑に置かれた同一の既知形状を
有する複数の物体の距離画像を計測するレーザレンジフ
ァインダ２５０と、対象物体を取り出すためのモデルを
記憶した物体モデル部６００と、同一の既知形状を有す
る複数の物体が乱雑に置かれた空間内から対象物体を取
り出すように動作経路を生成するビンピッキング装置８
００と、ロボットマニピュレータの形状を表現したモデ
ルを記憶するロボットマニピュレータ形状モデル部７０
０と、与えられた動作経路となるようにマニピュレータ
を移動させるロボットマニピュレータ５００とを有して
構成される。

【００２８】さらに、ビンピッキング装置８００は、レ
ーザレンジファインダ２５０の計測結果に基づいて物体
の位置姿勢候補を算出し出力する位置姿勢候補算出部１
００と、位置姿勢を一意に確定することができない物体
に対しては、その位置の存在範囲を示す情報（物体配置
情報）を出力する物体配置処理部２００と、物体配置情
報と物体モデル部６００に記憶されているモデルとを参
照して、環境モデルを作成する環境モデル作成部３００
と、作成された環境モデルとロボットマニピュレータ形
状モデル部７００に記憶されているモデルとを参照し
て、動作経路を生成する動作計画部４００とを備えてい
る。

【００２９】そして、レーザレンジファインダ２５０と
ロボットマニピュレータ５００を除く各ブロックは、例
えば、動作プログラムを内蔵したＲＯＭ等の記憶媒体、
ワークエリア等として機能するＲＡＭ、および、記憶媒
体に記憶された動作プログラムを実行するＣＰＵ等の電
子デバイスにて実現可能であるため、本装置は、レーザ
レンジファインダ２５０とロボットマニピュレータ５０
０とを備えた１台のコンピュータ装置で実現できる。

【００３０】以下、本装置を構成する主要なブロックで
ある物体モデル部６００、位置姿勢候補算出部１００、
および、物体配置処理部２００の構成や動作の概要につ
いて説明し、その後、図３のフローチャートを参照し
て、装置全体での動作を説明する。

【００３１】なお、以下では、複数の平面よりなる物体
を想定し、この物体が空間内に複数個乱雑に置かれてい
て、その中から１つの対象物体を取り出す動作をロボッ
トマニピュレータが行うものとして説明する。

【００３２】物体モデル部６００は、位置姿勢候補算出
部１００および物体配置処理部２００が参照する第１の
モデルを記憶する局所的形状配置部６１０と、環境モデ
ル作成部３００が参照する第２のモデルを記憶する大局
的概略形状部６２０とを備える。

【００３３】図４に示すように、局所的形状配置部６１
０のエリアＡには、物体を構成する平面（局所形状）Ｐ
１、Ｐ２、Ｐ３、…等を表現する式１、式２、式３、…
等と、各平面の４つの頂点の座標値とが記憶されてお
り、また、エリアＢには、任意の２つの平面の法線のな
す角度（θ１、θ２、…）が定義されている。

【００３４】また、大局的概略形状部６２０には、複数
の平面よりなる物体を内包するようなモデルを定義して
いる。位置姿勢候補算出部１００が備える局所形状抽出
部１１０は、公知のアルゴリズムを用い、レーザレンジ
ファインダ２５０の計測結果に基づいて、物体を構成す
る平面を検出する処理を行い、処理結果（局所的形状）
を位置姿勢算出部１２０に送る。具体的には、局所形状
抽出部１１０は検出した平面の方程式を局所的形状とし
て、位置姿勢算出部１２０に送る。

【００３５】位置姿勢算出部１２０は、局所形状抽出部
１１０から送られてきた平面の検出結果と、局所的形状
配置部６１０に記憶されているモデルとを参照して位置
姿勢候補を算出する。より具体的には、平面の検出結果
に対して、公知のアルゴリズムを用いて、その法線方向
を求める。さらに、検出されたもののうち２つを選択す
る全ての組み合わせ（式の組み合わせ）に対して、平面
の法線同士の角度を求め、求めた角度の内、局所的形状
配置部６１０のエリアＢに同一のものがある場合には、
そのものに対する１組の式（例えば、θ１の時、式１と
式２）をエリアＡから獲得し、獲得した１組の式と検出
されたものに対する１組の式との間で演算を行って、３
軸回りにどれだけ回転（回転角度α、β、γ）したかを
公知のアルゴリズムを用いて求め、この回転角度を姿勢
候補とする。

【００３６】そして、位置姿勢算出部１２０は、一般化
ハフ変換のパラメータ空間１３０において、求めた姿勢
候補に対する投票処理を行う。この投票処理は、図５に
示すように、回転角度α、β、γの値によって定まる、
１つの立方体で表現している投票単位を複数備えた、パ
ラメータ空間（α軸、β軸、γ軸よりなる空間）におい
て行われ、求まった（α、β、γ）の値によって定まる
投票単位に対して、１つの投票が行われる。このような
投票が、求まった（α、β、γ）の全ての組に対して行
われる。

【００３７】次に、位置姿勢算出部１２０は、例えば、
投票数が所定数以上のものに対して位置を求める。この
位置の求め方を、図６に示すような平面Ｔ１、Ｔ２、Ｔ
３を有する物体について説明する。今、Ｔ１とＴ２の法
線同士のなす角度がθ１、Ｔ１とＴ３の法線同士のなす
角度がθ２として、ある投票単位Ａに投票を行ったとす
る。

【００３８】ところで、θ１に対応する平面Ｐ１、Ｐ２
の夫々と原点との距離ｄ１、ｄ２は、エリアＡに予め記
憶されているモデル式によって求まるので、Ｔ１からｄ
１の距離であって、かつ、Ｔ２からｄ２の距離にある直
線が定まる。同様に、θ２に対応する平面Ｐ１、Ｐ３の
夫々と原点との距離ｄ１、ｄ３は、エリアＡに予め記憶
されているモデル式によって求まるので、Ｔ１からｄ１
の距離であって、かつ、Ｔ３からｄ３の距離にある直線
が定まり、２つの直線の交点が図６に示す物体の原点と
なり、位置姿勢算出部１２０によりこの物体の位置が求
まる。

【００３９】このようにして、各投票単位に存在する姿
勢候補の位置が求まることになり、求まったものを、位
置姿勢算出部１２０は位置姿勢候補として出力する。具
体的には、投票単位と、この投票単位に寄与した平面の
組と、平面の式とを対応付けて記述したテーブルを作成
しておいて、このテーブルの記述内容を参照して、投票
単位から位置を求めるようにしておけばよい。

【００４０】次に、物体配置処理部２００は、位置姿勢
を一意に確定することができるもの（例えば、投票数が
所定数以上のもの、投票数の多い順に所定数個等）に対
してはそのまま位置姿勢を出力し、一方、位置姿勢を一
意に確定することができないもの（例えば、投票数が所
定数未満のもの）に対しては、パラメータ空間１３０を
用いた処理を行う。このパラメータ空間１３０は、位置
姿勢候補算出部１００が有するパラメータ空間１３０と
同一のものであり、説明の便宜上、位置姿勢候補算出部
１００および物体配置処理部２００の双方に存在するよ
うに図示している。

【００４１】さて、物体配置処理部２００は、パラメー
タ空間１３０を参照して、例えば、投票数が所定数未満
のものに対して、その位置を求める。ある投票単位に存
在するものに対する位置の求め方は、前記の通りであ
る。

【００４２】さて、この際、物体配置処理部２００は、
この投票単位に投票を行うことに寄与した平面の頂点の
座標値を局所的形状配置部６１０のエリアＡから獲得し
て、局所的形状抽出部１１０により抽出された平面の存
在する範囲と前記頂点の座標値より算出される平面の存
在範囲とを比較して、平面の存在範囲を限定する。投票
に寄与した２つの平面の存在範囲を限定することによ
り、物体原点が存在する線分が算出される。この線分の
端点座標値を物体の位置の存在範囲として出力する。す
なわち、投票数が少ない物体の位置姿勢は、一意に確定
せず、ある程度の範囲（領域）を形成してしまうため、
このような物体に対して、存在範囲を示す情報を出力す
る点にこの発明の特徴がある。

【００４３】次に、図３のフローチャートを参照して、
本装置全体によって行われる処理について説明する。ま
ず、ステップＳ３００で、レーザレンジファインダ２５
０が、空間内に乱雑に配置された物体の距離画像を計測
し、計測結果を位置姿勢候補算出部１００の局所形状抽
出部１１０に送る。

【００４４】ステップＳ３０２では、位置姿勢候補を算
出する。まず、局所形状抽出部１１０は、距離画像の情
報に基づいて、公知のアルゴリズムを用い、物体を構成
する局所形状である平面の検出を行い、検出した平面の
式（局所形状）を位置姿勢算出部１２０に送る。

【００４５】位置姿勢算出部１２０は、最初に姿勢候補
を求める。位置姿勢算出部１２０は、局所形状と局所的
形状配置部６１０に記憶されているモデルとを参照し
て、姿勢候補を算出する。今、図６に示すように平面Ｔ
１、Ｔ２、Ｔ３が検出されたものとする。まず、位置姿
勢算出部１２０は、平面Ｔ１、平面Ｔ２の２つを選択
し、平面Ｔ１、平面Ｔ２の式（夫々Ｌ１、Ｌ２とする）
から平面Ｔ１の法線と平面Ｔ２の法線とのなす角度Ｘを
求め、この角度Ｘに等しい角度が局所的形状配置部６１
０内のエリアＢに存在するか否かを調べ、存在する場合
には、エリアＢ内に存在する角度に対応する２つの平面
の式の組をエリアＡから獲得し、獲得した２つの平面の
式の組と、検出した平面Ｔ１、平面Ｔ２の式の組とを対
応させる。

【００４６】例えば、前記Ｘがθ１のみに等しければ、
θ１に対応する２つの式１と式２の組をエリアＡから獲
得し、獲得した２つの式（式１と式２）の組と、検出し
た平面Ｔ１、平面Ｔ２の式（Ｌ１、Ｌ２）の組とを対応
させる。そして、獲得した２つの式（式１と式２）の組
と検出された平面Ｔ１、平面Ｔ２の式（Ｌ１、Ｌ２）の
組とを参照し、公知のアルゴリズムを用いて、式１、式
２で定まる基準姿勢からの、平面Ｔ１、平面Ｔ２の３軸
回りの回転角度（α、β、γ）を求めて、これを姿勢候
補とする。同様に、「平面Ｔ２、平面Ｔ３」の２つを選
択して姿勢候補を算出し、さらに、「平面Ｔ３、平面Ｔ
１」の２つを選択して姿勢候補を算出する。

【００４７】そして、位置姿勢算出部１２０は、先に図
５を参照して説明したように、一般化ハフ変換のパラメ
ータ空間１３０を用いた投票処理を行う。この投票に際
して、平面の組み合わせと、投票単位との対応付けを行
うために、テーブル（図示せず）に対応関係を記述して
おく。

【００４８】さらに、位置姿勢算出部１２０は、例え
ば、所定数以上の投票が存在する投票単位に注目し、当
該投票単位に対応する平面の組み合わせを、前記テーブ
ルを参照して求める。

【００４９】そして、求めた平面の組み合わせが、局所
的形状配置部６１０のエリアＡのいずれの平面の組み合
わせに該当するかを求める。例えば、検出した「平面Ｔ
１、平面Ｔ２」が、エリアＡ内の平面Ｐ１、平面Ｐ２に
対応するとすれば、平面Ｐ１と原点の距離（ｄ１）およ
び平面Ｐ２と原点の距離（ｄ２）は、平面の式から求ま
るので、平面Ｔ１から距離ｄ１であって、平面Ｔ２から
距離ｄ２の位置に存在する直線を求め、同様に、「平面
Ｔ１、平面Ｔ３」が、エリアＡ内の平面Ｐ１、平面Ｐ３
に対応するとすれば、平面Ｐ１と原点の距離（ｄ１）お
よび平面Ｐ３と原点の距離（ｄ３）は、平面の式から求
まるので、平面Ｔ１から距離ｄ１であって、平面Ｔ２か
ら距離ｄ３の位置に存在する直線を求め、求めた２つの
直線の交点を原点として、物体の位置を求める。

【００５０】このようにして、位置姿勢算出部１２０
は、所定数以上の投票が存在する投票単位に注目し、当
該投票単位に対応する姿勢候補の位置を求めて、位置姿
勢候補を出力する。

【００５１】次に、ステップＳ３０４では、物体配置処
置部２００がパラメータ空間１３の投票結果と局所的形
状配置部６１０に記憶されている情報を参照して、物体
の配置情報を求める。

【００５２】なお、位置姿勢候補算出部１００で求めた
位置姿勢候補は、そのまま、環境モデル作成部３００に
送られる。さて、物体配置処置部２００は、例えば、所
定数以下の投票しか行われなかった投票単位に注目し、
当該投票単位に対応する平面の組み合わせを、前記テー
ブルを参照して求める。そして、前記テーブルの記述内
容と局所的形状配置部６１０に記憶されている情報を参
照して、求めた平面の組み合わせより、物体原点がその
上に存在し得る直線の存在範囲を求める。具体的には、
局所的形状配置部６１０のエリアＡから、求めた平面の
組み合わせに対応する平面の各頂点の座標値を獲得し
て、獲得した座標値と局所的形状抽出部１１０で抽出し
た平面の存在範囲とを参照して、物体原点がその上に存
在しうる線分の端点座標値を算出し、これを出力する。
例えば、ある物体に対する位置が複数個得られると、各
位置を中心として、各頂点の座標値により大きさが定ま
る平面が空間内でどのような領域を形成するかが、公知
のアルゴリズムを用いて求められ、これが物体配置情報
となる。

【００５３】次に、ステップＳ３０６において、環境モ
デル作成部３００は、大局的概略形状部６２０に記憶さ
れている、複数の平面よりなる物体を内包するようなモ
デルを用いて、環境モデルを作成する。この処理は、位
置姿勢が定まった物体等を空間内に配置する処理であっ
て、公知のアルゴリズムを用いて行うことが可能であ
る。

【００５４】環境モデル作成部３００は、位置姿勢候補
算出部１００から出力される位置姿勢候補に対しては、
その位置姿勢を考慮して、モデルで示される大局的概略
形状を空間に配置することを行い、一方、位置姿勢が一
意に定まらないものに対しては、物体配置処理部２００
から出力される物体配置情報を参照して、存在範囲内に
存在する各位置とそこでの姿勢とを考慮して、モデルで
示される大局的概略形状を空間に配置する。

【００５５】次に、ステップＳ３０８において、動作計
画部４００は、ロボットマニピュレータ形状モデル７０
０に記憶されているロボットマニピュレータの形状を表
現するモデルを用いて、ロボットマニピュレータが入り
込む空間が存在するか否かを判断して、公知のアルゴリ
ズムを用いて動作経路を生成する。

【００５６】そして、動作経路が与えられたロボットマ
ニピュレータ５００は、対象物体を取り出すように、図
示しない制御部からの指示にしたがって、マニピュレー
タの動作を制御する。

【００５７】以上の実施形態では、位置が明確に定まら
ない物体についての処理について、説明してきたが、姿
勢が明確に定まらない物体についても同様に扱うことが
できる。このためには、まず、位置候補を算出して、こ
の投票結果を参照して、位置が明確に定まらない物体の
姿勢の取りうる範囲を求めるように、動作プログラムを
作成しておけばよい。なお、位置、姿勢ともに一部のパ
ラメータのみが求められた場合についても、動作プログ
ラムを変更して同様に処理を行うことができる。

【００５８】以上説明してきたように、画像または距離
画像に基づいて、物体が取り得る位置姿勢候補を求め、
位置姿勢を一意に確定することができない物体の存在範
囲を示す情報を求め、さらに、求められた位置姿勢候補
と、物体の存在範囲を示す情報とを参照して、空間を物
体内部とそれ以外とに領域分割した環境モデルを作成
し、作成された環境モデルに基づいて、対象物体を取り
出すためのロボットマニピュレータの動作経路を生成す
るので、距離画像が測定できない空間に対しても、ロボ
ットマニピュレータが入り込む空間の存在を保証するよ
うに動作経路を生成し、ロボットマニピュレータを制御
することが可能になる。すなわち、死角の存在によりマ
ニピュレータの動作が不可能と誤判断される場合に対し
ても、動作計画の立案が可能となる。

【００５９】また、本実施形態では、物体の局所的な形
状情報を表現するモデル（局所的形状配置部６１０が記
憶するモデル）と大局的な形状情報を表現するモデル
（大局的概略形状部６２０が記憶するモデル）を用意し
ている。これらのモデルは、それぞれの処理に必要とな
る情報を簡便な形式で記述したものであるため、ロボッ
トマニピュレータの制御時における処理速度を向上させ
ることができる。

【００６０】なお、図３で示される処理ステップに対応
するプログラムをＣＰＵが読み取り可能に、フレキシブ
ルディスク、コンパクトディスク、カード等の記憶媒体
に記憶しておき、ＣＰＵの読み取り動作によって、一連
の処理ステップが実行されるようにした記憶媒体が実現
できる。これによれば、可搬性を有する記憶媒体にロボ
ットマニピュレータの制御プログラムを記憶しておくこ
とができ、ユーザの利便性に供することになる。

【００６１】

【発明の効果】以上説明したように、請求項１に係る発
明によれば、画像または距離画像に基づいて、物体が取
り得る位置姿勢候補を求め、求めた位置姿勢候補に基づ
いて、環境モデルを作成し、作成された環境モデルに基
づいて、対象物体を取り出すためのロボットマニピュレ
ータの動作経路を生成するので、距離画像が測定できな
い空間に対しても、マニピュレータが入り込む空間の存
在を保証するように、動作経路を生成することが可能に
なるという効果が得られる。

【００６２】また、請求項２に係る発明によれば、位置
姿勢候補算出手段が、物体の取り得る位置姿勢候補を算
出し、また、物体配置処理手段が位置姿勢を一意に確定
することができない物体の存在範囲を出力し、さらに、
環境モデル作成手段が、位置姿勢候補算出手段および物
体配置処理手段の出力を参照して環境モデルを作成し
て、動作計画手段が作成された環境モデルに基づいて、
対象物体を取り出すためのロボットマニピュレータの動
作経路を生成するので、距離画像が測定できない空間に
対しても、マニュピュレータが入り込む空間の存在を保
証するように、動作経路を生成することが可能になると
いう効果が得られる。

【００６３】また、請求項３に係る発明によれば、請求
項２の効果に加えて、物体配置処理手段が、一般化ハフ
変換のパラメータ空間を有するので、パラメータ空間で
の投票結果を参照して、位置姿勢を一意に確定すること
ができない物体の存在範囲を確定することが容易になる
という効果が得られる。

【００６４】さらに、請求項４記載の発明によれば、請
求項２の効果に加えて、位置姿勢候補算出手段は、物体
表面の形状を示す局所形状情報を用いたモデルにより位
置姿勢候補を求め、また、環境モデル作成手段は、物体
を内包する形状を用いたモデルにより前記環境モデルを
作成するので、位置姿勢候補を求める処理および環境モ
デルを生成する処理の高速化が図れるという効果が得ら
れる。

【００６５】また、請求項５に係る発明によっても、位
置姿勢を一意に確定することができ物体の位置姿勢候補
を求めるとともに、位置姿勢を一意に確定することがで
きない物体の位置の存在範囲を示す情報を求め、さら
に、求められた位置姿勢候補と、物体の存在範囲を示す
情報とを参照して環境モデルを作成し、作成された環境
モデルに基づいて、対象物体を取り出すためのロボット
マニピュレータの動作経路を生成するので、距離画像が
測定できない空間に対しても、マニピュレータが入り込
む空間の存在を保証するように、動作経路を生成するこ
とが可能になるという効果が得られる。

【図面の簡単な説明】

【図１】本発明の概要を説明するためのブロック図であ
る。

【図２】本発明に係る装置の構成を示すブロック図であ
る。

【図３】本発明の実施形態にかかる処理手順を示すフロ
ーチャートである。

【図４】局所的形状配置部の記憶内容の説明図である。

【図５】本発明の実施形態にかかる処理内容の説明図で
ある。

【図６】本発明の実施形態にかかる処理内容の説明図で
ある。

【符号の説明】

１００…位置姿勢候補算出部 １１０…局所的形状抽出部 １２０…位置姿勢算出部 １３０…パラメータ空間 ２００…物体配置処理部 ２５０…レーザレンジファインダ ３００…環境モデル作成部 ４００…動作計画部 ５００…ロボットマニピュレータ ６００…物体モデル部 ６１０…局所的形状配置部 ６２０…大局的概略形状部 ７００…ロボットマニピュレータ形状モデル部 ８００…ビンピッキング装置

Claims (5)

【特許請求の範囲】
1. 【請求項１】 画像または距離画像を用いて、同一の既
   知形状を有する複数の物体が乱雑に置かれた空間内から
   対象物体を取り出すようにロボットマニピュレータを制
   御する方法において、 画像または距離画像に基づいて、物体が取り得る位置姿
   勢候補を求めるステップと、 求めた位置姿勢候補に基づいて、空間を物体空間とそれ
   以外とに領域分割した環境モデルを作成するステップ
   と、 作成された環境モデルに基づいて、対象物体を取り出す
   ためのロボットマニピュレータの動作経路を生成するス
   テップと、を含むロボットマニピュレータの制御方法。
2. 【請求項２】 画像または距離画像を計測するセンサを
   有し、同一の既知形状を有する複数の物体が乱雑に置か
   れた空間内から対象物体を取り出すようにロボットマニ
   ピュレータを制御する装置において、 前記センサの計測結果に基づいて、物体の取り得る位置
   姿勢候補を算出し出力する位置姿勢候補算出手段と、 位置姿勢を一意に確定することができない物体の存在範
   囲を示す情報を出力する物体配置処理手段と、 前記位置姿勢候補算出手段および前記物体配置処理手段
   の出力を参照して、空間を物体内部とそれ以外とに領域
   分割した環境モデルを作成する環境モデル作成手段と、 作成された環境モデルに基づいて、対象物体を取り出す
   ためのロボットマニピュレータの動作経路を生成する動
   作計画手段とを、備えることを特徴とするロボットマニ
   ピュレータの制御装置。
3. 【請求項３】 請求項２において、 前記物体配置処理手段は、一般化ハフ変換のパラメータ
   空間を有することを特徴とするロボットマニピュレータ
   の制御装置。
4. 【請求項４】 請求項２において、 前記位置姿勢候補算出手段は、物体表面の形状を示す局
   所形状情報を用いたモデルにより位置姿勢候補を求める
   手段であり、また、 前記環境モデル作成手段は、物体を内包する形状を用い
   たモデルにより前記環境モデルを作成する手段である、 ことを特徴とするロボットマニピュレータの制御装置。
5. 【請求項５】 画像または距離画像を用いて、同一の既
   知形状を有する複数の物体が乱雑に置かれた空間内から
   対象物体を取り出すようにロボットマニピュレータを制
   御する方法において、 画像または距離画像に基づいて、物体が取り得る位置姿
   勢候補を求めるステップと、 位置姿勢を一意に確定することができない物体の位置の
   存在範囲を示す情報を求めるステップと、 求められた位置姿勢候補と、物体の存在範囲を示す情報
   とを参照して、空間を物体内部とそれ以外とに領域分割
   した環境モデルを作成するステップと、 作成された環境モデルに基づいて、対象物体を取り出す
   ためのロボットマニピュレータの動作経路を生成するス
   テップと、を含むロボットマニピュレータの制御方法。