JP4193519B2

JP4193519B2 - 物体識別方法および物体識別装置

Info

Publication number: JP4193519B2
Application number: JP2003050819A
Authority: JP
Inventors: 新一宮▲崎▼
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-02-27
Filing date: 2003-02-27
Publication date: 2008-12-10
Anticipated expiration: 2023-02-27
Also published as: JP2004259114A

Description

【０００１】
【発明の属する技術分野】
本発明は、物体識別方法および物体識別装置、並びに物体識別プログラムに関し、特に、３次元空間中の物体、特に、作業台の上に設置された３次元物体の識別に好適な物体識別方法および物体識別装置、並びに物体識別プログラムに関する。
【０００２】
【従来の技術】
ＯＡ機器などの解体作業工程においては、作業効率が最も重要視される。一般に解体、分解作業現場では、様々な機種の分解を行う必要があるが、そのうち、分解手順の分からない機種が存在することが多々ある。このような場合には、作業者が色々と試行しながら分解を進めるか、もしくは分解手順マニュアルを参照する必要があり、作業効率が著しく低下してしまうという問題がある。ゆえに、解体手順を自動的に示してくれる提示装置に対する現場サイドの要求は高い。
このような要求に答えるため、機種毎に解体手順をデータベースとして保持し、作業状況に合わせて解体手順を作業者に提示する情報提示装置（ナビゲーションシステム）が考えられる。上記のような情報提示装置においては、作業者の邪魔にならず、また、バーコードなどが貼付されていないような旧機種などへも対応するため、機種の識別はイメージセンサなどを用いて非接触で行えることが望ましい。
上記解体作業工程においては、物品外観の（出荷時からの）変動状態を予め予測することは不可能である。よって、パターンマッチングに代表されるような見え方に基づく物体認識方法では、正しく識別するのは非常に困難である。このような変動に対してロバストな認識方法として、イメージセンサから得られる濃淡画像からエッジなどの特徴量を抽出し、この特徴量をベースにして認識を行う方法が多数提案されている（例えば、特許文献１参照）。
また、曲面物体にも対応できるように、レンジセンサを用いて物体表面までの距離を示す距離情報を取得して、形状ベースの認識を行う手法が多数提案されている。距離情報には照明変動や汚れの影響が含まれず、また曲面の情報も得られるため、精度の高い認識が可能である。例えば、物体モデルに対して３次元全周方向からのレンジデータを取得して、そのヒストグラムを予めデータベースとして保持し、計測レンジデータヒストグラムとマッチングすることによって、姿勢候補を得るようにしたものもある（例えば、特許文献２参照）。
また、三次元空間中の物体を撮像して得た距離画像と、同一の視点から二次元画像を得て、この二次元画像を利用してあらかじめ距離画像における検出物体の存在領域を限定しておき、この限定した領域の距離部分画像に対して物体の検出処理を行うことで認識の高速化を図っているものもある（例えば、特許文献３参照）。
【０００３】
【特許文献１】
特開平５−１５７５１８号公報（図１）
【特許文献２】
特開平７−２４４７３７号公報（図１）
【特許文献３】
特開平７−２８７７５６号公報（図１）
【０００４】
【発明が解決しようとする課題】
しかし、特許文献１に記載の方法では、濃淡画像からエッジを抽出する場合には、物体のエッジとともに、汚れのエッジも抽出されてしまうという問題があった。また、曲面が主体の物体の場合には、得られる特徴量（輪郭）が少なくなり、認識精度が低下するという問題もあった。
また、特許文献２に記載の方法では、ヒストグラムは位置座標の情報が失われているため、形状は異なるがレンジデータヒストグラムは同じ分布になるような場合には識別することができない。よって姿勢候補の推定には問題ないが、正確な物体識別を行う場合には、誤認識の恐れがあるという問題があった。
また、特許文献３に記載の方法では、二次元画像を利用して物体存在領域を限定しているので、照明などの環境変動の影響を受けやすいという問題があった。また、物体の慣性主軸の三次元空間中における位置姿勢を求め、この周りに物体を回転させてモデルとの一致度を調べるという手続きを踏んだ後にはじめて、物体とその姿勢が求まるので、識別精度は高いものの、識別結果が得られるまでに時間がかかるという問題があった。
このように、解体作業現場では、作業効率を落とさないよう、物体の識別を高速で行う必要があるが、従来の方法では、識別精度は高いものの、識別結果が得られるまでに時間がかかるという問題があった。
また、上記従来の問題を解決するために、複数の距離画像計測手段を用いて物体の外形を計測して、その外接直方体の寸法から物体候補を高速にリストアップするとともに、物体モデルとリストアップ候補との間で詳細な形状比較を行うことで、解体作業工程などにおける作業者に短時間で物体識別候補を提示しながら、照明変動や汚れに対してロバストで精度の高い識別もできるように構成することが考えられる。しかし、その場合、外接直方体の寸法のみによって候補を絞っているため、例えば、ノート型コンピュータのように、外形寸法が類似している場合には、膨大な数の候補がリストアップされてしまう恐れがあるとともに、大きく変形することが前提の物体への対応が難しいという問題もあった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、照明変動や汚れ、外形の変形に対してロバストであり、解体作業工程などにおける作業者に、短時間で物体識別候補を提示するとともに、精度の高い識別を実現することができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の物体識別方法は、所定の物体の距離画像を互いに異なる複数の位置から計測する距離画像計測ステップと、物体の外接直方体と、物体の体積値を求め、物体の外接直方体の寸法値と類似する寸法値および物体の体積値と類似する体積値に対応する物体を物体候補として、識別すべき各物体毎の外接直方体の寸法値と、各物体の体積値と、各物体の各特徴点の３次元位置座標の値とを対応付けて記憶するモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第１の識別ステップと、モデルデータベースに記憶されている寸法値と、体積値と、特徴点の３次元位置座標とに基づいて、物体に定義した小ブロック毎に３次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第２の識別ステップとを備えることを特徴とするものである。これにより、照明変動や汚れまたは変形等の外形変動にもロバストで、高速かつ高精度で変形する物体を識別することができる。
また、モデルデータベースに格納される各物体の各特徴点の３次元位置座標の値は、各物体の変形しない共通部分の特徴点の３次元位置座標の値と、変形する変形部分の特徴点の３次元位置座標の値とに区分して管理されるようにすることができる。これにより、共通部分から変形部分へと段階的に形状比較を行うことができる。
また、モデルデータベースの共通部分からまず形状比較を行って、物体の絞り込みを行い、次に、変形部分について形状比較を行い、変形部分については、ある小ブロックに注目して、各変形パターンにおける該小ブロックについてまず形状比較をそれぞれ行い、物体姿勢を絞り込んだ後、絞り込んだ物体姿勢について詳細な形状比較を行う形状比較ステップをさらに備えるようにすることができる。これにより、より高速かつ高精度で物体を識別することができる。
本発明の物体認識装置は、所定の物体の距離画像を計測する複数の距離画像計測手段と、識別すべき各物体毎の外接直方体の寸法値と、各物体の体積値と、各物体の各特徴点の３次元位置座標の値とを対応付けて記憶するモデルデータベースと、物体の外接直方体と、物体の体積値を求め、物体の外接直方体の寸法値と類似する寸法値および物体の体積値と類似する体積値に対応する物体を物体候補としてモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第１の識別手段と、モデルデータベースに記憶されている寸法値と、体積値と、特徴点の３次元位置座標とに基づいて、物体に定義した小ブロック毎に３次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第２の識別手段とを備えることを特徴とするものである。これにより、照明変動や汚れまたは変形等の外形変動にもロバストで、高速かつ高精度で物体を識別することができる。
また、モデルデータベースに格納される各物体の各特徴点の３次元位置座標の値は、各物体の変形しない共通部分の特徴点の３次元位置座標の値と、変形する変形部分の特徴点の３次元位置座標の値とに区分して管理されるようにすることができる。これにより、共通部分から変形部分へと段階的に形状比較を行うことができる。
また、モデルデータベースの共通部分からまず形状比較を行って、物体の絞り込みを行い、次に、変形部分について形状比較を行い、変形部分については、ある小ブロックに注目して、各変形パターンにおける該小ブロックについてまず形状比較をそれぞれ行い、物体姿勢を絞り込んだ後、絞り込んだ物体姿勢について詳細な形状比較を行う形状比較手段をさらに備えるようにすることができる。これにより、より高速かつ高精度で物体を識別することができる。
また、外接直方体の寸法と、体積値とに基づいて、識別リストの物体候補を一致度の高い順に所定の作業者に提示する物体候補提示手段と、物体候補のうち、作業者によって判定指示されたものを検出する指示検出手段とをさらに備えるようにすることができる。これにより、作業者が物体候補の中から最終的に物体を選択指示することができる。
また、各距離画像計測手段と同一の視点に設置され、物体の輝度画像を撮像する複数の撮像手段と、各撮像手段によって撮像された輝度画像と、各距離画像計測手段によって計測された距離画像とに基づいて、物体以外の変動領域としてのオクルージョン領域を検出し、オクルージョン領域に対応する領域を距離画像から除去するオクルージョン除去手段とをさらに備えるようにすることができる。これにより、作業者の手や腕等が物体を遮っている場合でも、物体を識別することができる。
また、距離画像計測手段は、物体を設置する所定の作業台を囲むように、互いに異なる複数の位置に配置され、距離画像計測手段は、物体が作業台に存在しない状態での距離画像を背景画像とし、物体が作業台に存在する状態での距離画像と背景画像の差分を抽出して物体領域の距離画像とすることができる。これにより、照明変動などに左右されず、安定して物体のみの距離画像を得ることができる。
また、物体に対応する物体モデルが予め複数の小ブロックに分割され、特徴点が属する小ブロックの属性が、物体の各特徴点の３次元位置座標の値に対応付けてモデルデータベースに記憶されるようにすることができる。これにより、小ブロック毎の形状類似度を求めることができ、外形変動にもロバストで精度の高い物体識別を行うことができる。
また、第１の識別手段は、抽出された物体の距離画像を作業台上に設置したワールド座標系の水平面上に射影して形成された射影距離画像の重心と、慣性主軸の方向から、物体に外接する仮想的な外接直方体を求めるとともに、ワールド座標系上に構築された３次元物体表面位置から物体の体積値を求め、外接直方体の寸法値と体積値とを基にモデルデータベースを参照し、寸法値および体積値の類似する物体候補を一致度の高い順に識別リストにリストアップすることができる。これにより、高速に物体候補を作業者に提示することができる。
また、第２の識別手段は、識別リストの物体候補に対して、モデルデータベースを基に物体に対応する物体モデルを小ブロックに分割し、小ブロック毎に詳細形状を物体モデルと比較し、小ブロックの形状類似度を評価して、類似度の低い物体候補を識別リストから削除するようにすることができる。これにより、高精度で類似度の低い物体候補を識別リストから削除することができる。
また、オクルージョン除去手段は、物体候補の各特徴点を、撮像手段で撮影された輝度画像中に逆透視投影し、オクルージョン領域に含まれる各特徴点が属する物体モデルの小ブロックを、第２の識別手段によって行われる形状比較の対象から除外するようにすることができる。これにより、作業者の手や腕等が物体を遮っている場合でも、物体を高精度で識別することができる。
本発明の物体識別プログラムは、所定の物体の距離画像を互いに異なる複数の位置から計測する距離画像計測ステップと、物体の外接直方体と、物体の体積値を求め、物体の外接直方体の寸法値と類似する寸法値および物体の体積値と類似する体積値に対応する物体を物体候補として、識別すべき各物体毎の外接直方体の寸法値と、各物体の体積値と、各物体の各特徴点の３次元位置座標の値とを対応付けて記憶するモデルデータベースから検索し、検索された物体候補を一致度の高いものから順に並べた物体候補の識別リストを作成する第１の識別ステップと、モデルデータベースに記憶されている寸法値と、体積値と、特徴点の３次元位置座標とに基づいて、物体に定義した小ブロック毎に３次元形状比較を行い、各ブロック毎の形状類似度を評価し、類似度の低い物体候補を識別リストから削除する第２の識別ステップとをコンピュータに実行させることを特徴とするものである。これにより、照明変動や汚れまたは外形変動等にもロバストで、高速かつ高精度で物体を識別することができる。
【０００７】
【発明の実施の形態】
図１は、本発明の物体識別装置の一実施の形態の外観図である。本実施の形態は、図１に示すように、物体を設置する作業台１と、距離画像計測手段を備えている。図１の場合、距離画像計測手段はレンジファインダであり、レンジファインダ２，３によって距離画像を取得する。そして、物体が作業台１上に存在しない状態での距離画像を背景画像とし、距離画像の背景差分を行って対象物体領域を抽出する。
【０００８】
ここでの距離画像とは、図２に示すように、各画素の計測物体２０の各観測点（厳密には光学中心）からの距離がその画素の値となっている２次元画像のことを言う。なお、レンジファインダ２，３には、投光器２ｂと撮像器２ａとの組、および投光器３ｂと撮像器３ａの組を用い、投光器２ｂ，３ｂがそれぞれ撮像方向とは異なる方向から計測物体２０にスリット光や縞パターンを投光して、物体表面によって変形された投光パターン画像を撮像器で観測し、三角測量の原理を適用して各画素の奥行を計測するものを用いる。もしくは、赤外線やレーザなどを対象物体に照射し、その反射波を計測して、反射時間から対象物体までの距離を計測するレンジファインダなどを用いる。
【０００９】
図３は、本発明の全体構成例を示すブロック図である。同図に示すように、本実施の形態は、レンジファインダ２，３と、レンジファインダ２，３によってそれぞれ撮像された画像と背景距離画像との差分をとり、背景差分距離画像として出力する差分器３１と、計測物体の濃淡画像を撮像する撮像器４，５と、撮像器４，５によって撮像されたオクルージョン画像と、背景差分距離画像とに基づいてオクルージョンを除去するオクルージョン除去手段３２と、物体モデルデータベース３５と、計測物体に対して定義された後述する外接直方体から物体を識別する第一の識別手段３３と、後述する一致度を求めて物体を識別する第二の識別手段３４と、計測物体２０の認識結果としての物体候補のリストである識別リスト３６と、識別リストの物体候補を一致度の高いものから順に作業者に提示する物体候補提示手段３７等により構成されている。
【００１０】
ここで、外接直方体とは、慣性主軸方向に平行な辺を有し、計測物体２０が入る最小の直方体、即ち、直方体の６面のそれぞれが少なくとも一点において計測物体２０の表面と接する直方体のことである。また、慣性主軸方向は、射影図形が決まれば所定の演算によってほぼ一意に決まる。
【００１１】
図４は、距離画像の射影を示す図である。作業台１上には、作業台中心を原点とするワールド座標系が設けられている。このワールド座標系における３次元空間をマッチング空間とする。距離画像計測手段で計測された物体距離画像を上記マッチング空間中にプロットすることで、物体表面位置がマッチング空間中に仮想的に再構築される（３次元物体表面位置画像）。
【００１２】
また、識別すべき物体ごとに、物体の外接直方体の寸法値と、体積値、および物体特徴点の３次元位置座標の配列とを保持した物体モデルデータベース３５を備えている。なお、上記物体モデルの３次元位置座標は、物体重心を通る鉛直軸と作業台面との交点を原点とし、作業台１の面（水平面）に射影した物体の慣性主軸方向と、それに垂直な軸を基準座標系とする。また、計測物体２０に対応する物体モデルは予め複数の小ブロックに分割され、上記３次元位置座標の配列に該特徴点が属するブロックの属性が割り当てられている。
【００１３】
第一の識別手段では、図４に示すように、まず、上記マッチング空間中に再構築された３次元物体表面位置画像を、上記ワールド座標系の水平面（Ｚ−Ｘ平面）上に射影し、射影画像を得る。そして、射影画像の重心と慣性主軸の方向（慣性主軸方向）とを求める。
【００１４】
次に、慣性主軸方向と、慣性主軸方向に垂直な方向を基準座標系とするように、上記３次元物体表面位置画像に対して座標変換（ｙ軸周りの回転変換）を施す。そして、変換座標系における各最大位置座標値、最小位置座標値を求めることで、外接直方体の寸法を求める。
【００１５】
次に、上記マッチング空間中に再構築された３次元物体表面位置から、物体の体積値を求める。体積値は、例えば、Ｚ−Ｘ平面をＹ軸方向に走査しながら、Ｚ−Ｘ平面と上記３次元物体表面位置との交線が形成する面（交面）の表面積の和を求めることによって得られる。
【００１６】
そして、上記物体の外接直方体の寸法と物体の体積値とを基に物体モデルデータベース３５を参照し、寸法及び体積の類似する物体候補を一致度の高い順に識別リスト３６にリストアップする。
【００１７】
第二の識別手段では、上記マッチング空間において、上記座標変換された３次元物体表面位置画像と、物体モデルとの形状マッチングを行う。識別リスト３６の物体候補に対して、上記物体モデルデータベース３５を基に物体モデルを小ブロックに分割し、小ブロックごとに一致度を評価する。
【００１８】
物体モデルデータベース３５から上記小ブロック中に存在するモデル特徴点の位置座標を参照し、特徴点位置座標を中心としてその周りに３次元探索領域を設ける。３次元探索領域内に計測点（３次元物体表面位置画像中のＯＮ画素）が見つかった場合、特徴点から計測点までの距離に応じて一致度を算出する。一致度は距離が大きくなるほど小さくなるように、例えば、次式（１）のように計算すればよい。
【００１９】
Ｍ＝１ − ａｒ／Ｂ・・・式（１）
ただし、
Ｍ：一致度
ｒ：モデル特徴点から計測点までの距離
ａ：定数
Ｂ：３次元探索領域のサイズ
【００２０】
なお、探索領域のサイズは、各特徴点を中心として探索領域を設置したとき、各探索領域同士がそれぞれが干渉しない大きさに設定する。小ブロック内の各特徴点に対して、上述したように一致度の評価を行い、例えばその平均値によって小ブロックの形状類似度を算出する。このように、小ブロックごとに詳細形状を物体モデルと比較し、ブロックの形状類似度を評価する。
【００２１】
上記物体モデルデータベース３５の３次元位置座標配列は、図５に示すように、
物体の変形しない部分（共通部分Ａ）に属する小ブロックの物体３次元位置座標が格納される共通部分格納用配列と、物体の変形する部分（変形部分Ｂ）に属する小ブロックの物体３次元位置座標が格納される変形部分格納用配列とに区分して管理される。共通部分Ａに属する小ブロックの物体３次元位置座標は、共通部分格納用配列に格納される。物体の一部が変形する場合、変形する部分（変形部分Ｂ）に属する小ブロックの物体３次元位置座標は、変形のパターン数ｎだけ、物体モデルデータベース３５の３次元位置座標配列の変形部分格納用配列に格納される。
【００２２】
モデルとの形状比較は、上記物体モデルデータベース３５の共通部分格納用配列に格納されている物体３次元位置座標に基づいて共通部分Ａに属する小ブロックからまず行っていく。あるモデルに対する共通部分Ａの形状類似度が所定値よりも高い場合には、次に該モデルの変形部分格納用配列に格納されている変形部分Ｂに属する小ブロックの物体３次元位置座標に基づいて変形部分Ｂに属する小ブロックの形状比較を行う。
【００２３】
変形部分Ｂの比較は、変形部分格納用配列の中のある特定の小ブロック（例えば番号１の小ブロック）Ｂｘ１にまず着目し、該小ブロックの各変形パターンである各小ブロックＢ１１乃至Ｂｎ１におけるモデル特徴点の３次元位置座標と、計測点とをそれぞれ比較することにより行う。ここでｎは、変形部分Ｂの変形パターンの総数であり、変数ｘは、注目している変形パターンの番号である。そして、小ブロックＢ１１乃至Ｂｎ１のうち、一致度の最も高かった小ブロックＢｍ１が属する変形パターン（姿勢）Ｂｍについて、変形部分Ｂに属する他の小ブロックＢｍ２乃至Ｂｍｋの形状比較を引き続き行う。ここでｋは、変形パターンＢｍに存在する小ブロックの数である。このようにして求めた、ある変形パターンＢｍの形状類似度が所定値よりも低い場合には、Ｂｍ１の次に一致度の高かったＢｍ′１の変形パターンＢｍ′について比較を行う。このように、一致度の高いものから順に変形パターンの比較を行っていく。
【００２４】
以上のように、小ブロックごとに詳細形状を物体モデルと比較し、ブロックの形状類似度を評価して、全体的に類似度の低い物体候補は対象物体でないと判定し、識別リスト３６から削除する。また、形状類似度の低いブロックが所定数を越えたら、比較途中段階で打ち切り、識別リスト３６から該当する物体候補を削除して、次の候補に移る。
【００２５】
また、形状類似度を評価する際の上記小ブロックの重み付け係数を、モデルデータベースに予め登録しておいても良い。このようにすることにより、比較的変形を受け易い部分など、変動が大きいと予測される部分の、マッチングへの影響力をコントロールしてロバスト性を更に向上させることができる。
【００２６】
また、物体候補提示手段３７は、識別リスト３６の物体候補の情報（画像や評価情報）を、一致度の高い順に作業者に提示する。また、図示せぬ指示検出手段は、リストアップされた候補中から作業者が対象機種を特定し、物体識別装置に与える指示を検出するもので、物体候補提示手段３７と指示検出手段をタッチパネルとポイント位置検出装置で構成したり、あるいはキーボードや音声指示入力装置などで構成することができる。
【００２７】
また、オクルージョン除去手段３２は、作業者の腕、手など、物体領域以外の変動領域をオクルージョンとして検出し、比較対照から除外する処理を行う。なお、作業者には特定単一色の作業着（腕部分と手袋）を着用してもらうことを前提とする。
【００２８】
各距離画像計測手段と同一の視点に撮像手段としての撮像器４，５を設置する。この撮像手段から得られる画像から、特定の色・輝度の領域を抽出して、オクルージョン領域として検出し、オクルージョン画像を得る。同一視点から濃淡画像と距離画像とを取得するためには、投光法による計測の場合、投光時には距離画像を取得し、非投光時には濃淡画像を取得することで対応することができる。また、赤外線レンジファインダやレーザレンジファインダを用いる場合には、ハーフミラーを介して撮像器（イメージセンサ）を同一光軸上に配置するなどして対応することができる。
【００２９】
図６に示すように、オクルージョン除去手段３２は、レンジファインダ２，３から得られた背景差分距離画像と、撮像手段である撮像器４，５から得られる輝度画像（濃淡画像）とに基づいて、上記オクルージョン画像の検出オクルージョン領域（ＯＮ画素）に対応する情報を上記背景差分距離画像から除去して、上記マッチング空間にプロットする。このように、オクルージョン領域が除去された状態の背景差分距離画像をマッチング空間中にプロットすることで、作業者の腕などの領域が、マッチング空間中にプロットされてしまうことがなくなり、物体の重心、慣性主軸の方向検出時の誤差の増大を防ぐことができる。
【００３０】
また同時に、物体モデルデータベース３５の小ブロック代表特徴点（例えば、小ブロックの頂点付近の特徴点）群に対して、上記座標変換の逆変換を行った後、図７に示すように、上記オクルージョン画像中に逆透視投影する。そして、各ブロックがオクルージョン領域と交差しているかどうかを判別し、オクルージョン領域に含まれる物体モデルの小ブロックについては、形状比較を行わないようにする。このように、オクルージョン検出結果からモデル比較対照領域を限定することで、比較処理の効率を向上させるとともに、オクルージョンに起因する形状比較精度の劣化を防止することができる。
【００３１】
次に、図８のフローチャートを参照して、本実施の形態の動作について詳細に説明する。まず最初に、ステップＳ１において、レンジファインダ２，３により距離画像が取り込まれ、撮像器４，５により輝度画像が取り込まれる。次に、ステップＳ２において、差分器３１により、レンジファインダ２，３によって取り込まれた距離画像から背景距離画像が引かれて背景差分距離画像が得られる。
【００３２】
一方、ステップＳ３において、撮像器４，５によって撮像された輝度画像から、上述したように、特定の色や輝度の領域を抽出する等の方法により、オクルージョン領域が検出され、その領域に対応するオクルージョン画像が抽出される。次に、ステップＳ４において、背景差分距離画像からオクルージョン領域の部分が除去された距離画像が得られる。
【００３３】
次に、ステップＳ５において、背景差分距離画像を３次元マッチング空間にプロットし、３次元物体表面位置画像を得る。次に、ステップＳ６において、３次元物体表面位置画像の、Ｚ−Ｘ平面（水平面）への射影画像を得る。次に、ステップＳ７において、射影画像の重心、慣性主軸方向を算出する。次に、ステップＳ８において、慣性主軸方向が基準座標軸となるように３次元物体表面位置画像を座標変換し、ステップＳ９において、３次元物体表面位置画像の外接直方体を求める。
【００３４】
次に、ステップＳ１０において、３次元物体表面位置画像の体積値を求める。次に、ステップＳ１１において、物体モデルデータベース３５を参照し、外接直方体の寸法値の類似度、および体積値の類似度の高い物体候補から順に識別リスト３６にリストアップする。ステップＳ１２においては、識別リスト３６に物体候補があるか否かが判定される。識別リスト３６に物体候補がないと判定された場合、ステップＳ１３に進み、物体候補提示手段３７により識別不能と提示され、本処理を終了する。一方、識別リスト３６に物体候補があると判定された場合、ステップＳ１４に進む。
【００３５】
物体候補がある場合、物体候補をタッチパネルの画面に表示することにより作業者への物体候補の提示が行われるので、作業者はタッチパネルの画面に表示された物体候補を確認して最終判別を行い、該当する物体候補が表示された部分を指で押圧することにより判定指示を行う。
【００３６】
ステップＳ１４においては、作業者からの判定指示を検出したか否かが判定され、作業者からの判定指示が検出された場合、本処理を終了する。一方、作業者からの判定指示が検出されなかった場合、ステップＳ１５に進む。
【００３７】
ステップＳ１５においては、射影画像の重心、および慣性主軸方向に一致するように、物体候補の代表特徴点を回転させ、平行移動させる。次に、ステップＳ１６において、回転および平行移動された代表特徴点をオクルージョン画像中に逆透視投影する。次に、ステップＳ１７において、オクルージョン領域に含まれる代表特徴点の属するブロックを形状比較対照から除外する。
【００３８】
次に、ステップＳ１８において、３次元物体表面位置画像と、候補物体モデル形状との形状マッチング（モデル特徴点近傍の計測点の存在を探索すること）が行われる。次に、ステップＳ１９において、物体候補の形状類似度が算出される。次に、ステップＳ２０において、形状類似度の低い候補が識別リスト３６から除外される。次に、ステップＳ２１において、形状類似度の高いものから順に識別リスト３６に再配列される。
【００３９】
ステップＳ２２においては、全ての物体候補の形状比較が終了したか否かが判定される。全ての物体候補の形状比較が終了していないと判定された場合、ステップＳ２３に進み、形状未チェックの次の候補について、ステップＳ１２以降の処理が実行されるようにする。一方、全ての物体候補の形状比較が終了したと判定された場合、本処理を終了する。
【００４０】
以上説明したように、本実施の形態により、以下のような効果が得られる。距離画像の背景差分によって物体領域を抽出するので、照明変動や物体の汚れなどの影響を受けず、非常に高速に物体領域の抽出を行うことができる。そして射影距離画像の慣性主軸方向をもとに、物体寸法比較（第一の識別手段）によって物体候補を高速にリストアップし、作業者に提示することができるため、作業者が確認、最終判別を早い段階で行うことができ、作業効率が低下するのを防ぐことができる。
【００４１】
また、物体モデルを予め小ブロックに分割して、各小ブロックの形状マッチング結果を統合して形状類似度を求めているため、凹み、変形などの外形変動にもロバストで、精度の高い識別を行うことができる。
【００４２】
また、物体モデルデータベース３５の３次元位置座標配列を、共通部分Ａの物体３次元位置座標が格納される共通部分格納用配列と、変形部分Ｂの物体３次元位置座標が格納される変形部分格納用配列とに区分して管理し、物体の一部が変形する場合、変形があった部分の物体３次元位置座標を、変形のパターン数だけ物体モデルデータベース３５の３次元位置座標配列の変形部分格納用配列に格納する構成として、共通部分Ａから変形部分Ｂへと段階的に形状比較を行っていくことによって、例えばノート型コンピュータのように、大きく変形するような物体に対しても正しくかつ効率的に識別を行うことができる。
【００４３】
また、作業者が対象物体に手をかけて、物体の一部が見えない状態においても、オクルージョン除去手段によってその領域を比較対象から除去することができるので、精度を大きく劣化させずに物体の識別を行うことができ、作業性の向上に貢献することができる。
【００４４】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【図面の簡単な説明】
【図１】本発明の物体識別装置の一実施の形態の外観図。
【図２】距離画像を示す図。
【図３】本発明の全体構成例を示すブロック図。
【図４】距離画像をＺ−Ｘ平面に射影した射影画像を示す図。
【図５】３次元位置座標格納部分の物体モデルデータベースを示す図。
【図６】オクルージョン領域が除去された距離画像を示す図。
【図７】オクルージョン画像中に物体特徴点を逆透視投影した図。
【図８】本発明の動作を説明するためのフローチャート。
【符号の説明】
１作業台、２，３レンジファインダ、２ａ，３ａ撮像器、２ｂ，３ｂ投光器、４，５撮像器、３１差分器、３２オクルージョン除去手段、３３第一の識別手段、３４第二の識別手段、３５物体モデルデータベース、３６識別リスト、３７物体候補提示手段

Claims

識別すべき各物体毎の外接直方体の寸法値と、各物体の体積値と、各物体の変形しない共通部分の各特徴点の３次元位置座標の値と、変形する変形部分の全ての変形パターンについての特徴点の３次元位置座標の値とを対応付けて記憶するモデルデータベースを備える物体識別装置が、複数の距離画像計測手段によって、所定の物体の距離画像を互いに異なる複数の位置から計測する距離画像計測ステップと、
前記物体識別装置が、各距離画像計測手段と同一の視点に設置された複数の撮像手段によって、前記物体の輝度画像を撮像する撮像ステップと、
前記物体識別装置が、前記輝度画像と、前記距離画像とに基づいて、前記物体以外の変動領域としてのオクルージョン領域を検出し、前記オクルージョン領域に対応する領域を前記距離画像から除去するオクルージョン除去ステップと、
前記物体識別装置が、前記所定の物体の距離画像をワールド座標系における３次元空間にプロットすることによって前記所定の物体の表面の位置画像を生成し、前記位置画像を前記ワールド座標系の水平面上に射影することによって射影画像を生成し、前記射影画像から射影画像の重心と慣性主軸の方向とを算出する射影画像算出ステップと、
前記物体識別装置が、前記慣性主軸の方向に垂直な方向及び前記慣性主軸の方向を基準座標系とするように、前記位置画像に対して垂直方向の軸周りの回転変換による座標変換を行い、前記座標変換後の座標系において、座標の最大値及び最小値を求めることで外接直方体の寸法を算出する外接直方体寸法算出ステップと、
前記物体識別装置が、前記位置画像から前記所定の物体の体積値を算出する体積値算出ステップと、
前記物体識別装置が、前記物体の外接直方体の寸法値と類似する寸法値および前記物体の体積値と類似する体積値に対応する物体を物体候補として、前記モデルデータベースから検索し、検索された前記物体候補を一致度の高いものから順に並べた前記物体候補の識別リストを作成する第１の識別ステップと、
前記物体識別装置が、前記物体に定義された小ブロック毎に、前記モデルデータベースの共通部分について形状比較を行い、形状類似度が所定値よりも低い物体候補を前記識別リストから削除し、前記共通部分の形状類似度が所定値よりも高い前記物体候補に対し、変形部分の一部について全ての変形パターンに関する形状比較を行い、前記変形部分の一部における形状類似度の高い変形パターンから順に他の変形部分について形状比較を行い、前記他の変形部分における形状類似度が所定値よりも高い場合には、この物体候補を前記識別リストから削除せずに前記共通部分の形状類似度が所定値よりも高い他の前記物体候補に処理を移行し、前記他の変形部分における形状類似度が所定値よりも低い場合には、この物体候補に対し前記変形部分の一部における形状類似度が次に高い変形パターンの他の変形部分について形状比較を行い、前記他の変形部分における形状類似度が低いと判断された回数が所定回数を超えた場合に、当該物体候補を前記識別リストから削除する第２の識別ステップと
を備えることを特徴とする物体識別方法。
所定の物体の距離画像を計測する複数の距離画像計測手段と、
識別すべき各物体毎の外接直方体の寸法値と、各物体の体積値と、各物体の変形しない共通部分の各特徴点の３次元位置座標の値と、変形する変形部分の全ての変形パターンについての特徴点の３次元位置座標の値とを対応付けて記憶するモデルデータベースと、
各距離画像計測手段と同一の視点に設置され、前記物体の輝度画像を撮像する複数の撮像手段と、
各撮像手段によって撮像された前記輝度画像と、各距離画像計測手段によって計測された前記距離画像とに基づいて、前記物体以外の変動領域としてのオクルージョン領域を検出し、前記オクルージョン領域に対応する領域を前記距離画像から除去するオクルージョン除去手段と、
前記所定の物体の距離画像をワールド座標系における３次元空間にプロットすることによって前記所定の物体の表面の位置画像を生成し、前記位置画像を前記ワールド座標系の水平面上に射影することによって射影画像を生成し、前記射影画像から射影画像の重心と慣性主軸の方向とを算出する射影画像算出手段と、
前記慣性主軸の方向に垂直な方向及び前記慣性主軸の方向を基準座標系とするように、前記位置画像に対して垂直方向の軸周りの回転変換による座標変換を行い、前記座標変換後の座標系において、座標の最大値及び最小値を求めることで外接直方体の寸法を算出する外接直方体寸法算出手段と、
前記位置画像から前記所定の物体の体積値を算出する体積値算出手段と、
前記物体の外接直方体の寸法値と類似する寸法値および前記物体の体積値と類似する体積値に対応する物体を物体候補として前記モデルデータベースから検索し、検索された前記物体候補を一致度の高いものから順に並べた前記物体候補の識別リストを作成する第１の識別手段と、
前記物体に定義された小ブロック毎に、前記モデルデータベースの共通部分について形状比較を行い、形状類似度が所定値よりも低い物体候補を前記識別リストから削除し、前記共通部分の形状類似度が所定値よりも高い前記物体候補に対し、変形部分の一部について全ての変形パターンに関する形状比較を行い、前記変形部分の一部における形状類似度の高い変形パターンから順に他の変形部分について形状比較を行い、前記他の変形部分における形状類似度が所定値よりも高い場合には、この物体候補を前記識別リストから削除せずに前記共通部分の形状類似度が所定値よりも高い他の前記物体候補に処理を移行し、前記他の変形部分における形状類似度が所定値よりも低い場合には、この物体候補に対し前記変形部分の一部における形状類似度が次に高い変形パターンの他の変形部分について形状比較を行い、前記他の変形部分における形状類似度が低いと判断された回数が所定回数を超えた場合に、当該物体候補を前記識別リストから削除する第２の識別手段と
を備えることを特徴とする物体識別装置。
前記外接直方体の寸法と、前記体積値とに基づいて、前記識別リストの前記物体候補を一致度の高い順に所定の作業者に提示する物体候補提示手段と、前記物体候補のうち、前記作業者によって判定指示されたものを検出する指示検出手段と
をさらに備えることを特徴とする請求項２に記載の物体識別装置。
前記距離画像計測手段は、前記物体を設置する所定の作業台を囲むように、互いに異なる複数の位置に配置され、距離画像計測手段は、前記物体が前記作業台に存在しない状態での距離画像を背景画像とし、前記物体が前記作業台に存在する状態での距離画像と前記背景画像の差分を抽出して前記物体領域の距離画像とする
ことを特徴とする請求項２又は３に記載の物体識別装置。
前記物体に対応する物体モデルが予め複数の小ブロックに分割され、前記特徴点が属する前記小ブロックの属性が、前記物体の各特徴点の３次元位置座標の値に対応付けて前記モデルデータベースに記憶される
ことを特徴とする請求項２乃至４のいずれかに記載の物体識別装置。
前記第１の識別手段は、抽出された前記物体の前記距離画像を前記作業台上に設置したワールド座標系の水平面上に射影して形成された射影距離画像の重心と、慣性主軸の方向から、前記物体に外接する仮想的な外接直方体を求めるとともに、前記ワールド座標系上に構築された３次元物体表面位置から物体の体積値を求め、前記外接直方体の寸法値と前記体積値とを基に前記モデルデータベースを参照し、前記寸法値および体積値の類似する物体候補を一致度の高い順に前記識別リストにリストアップする
ことを特徴とする請求項２乃至５のいずれかに記載の物体識別装置。
前記オクルージョン除去手段は、前記物体候補の各特徴点を、前記撮像手段で撮影された輝度画像中に逆透視投影し、前記オクルージョン領域に含まれる各特徴点が属する前記物体モデルの前記小ブロックを、前記第２の識別手段によって行われる形状比較の対象から除外する
ことを特徴とする請求項２乃至６のいずれかに記載の物体識別装置。