JP4766269B2 - 物体検出方法、物体検出装置、及びそれを備えたロボット - Google Patents

Description

本発明は、物体検出方法に関し、特に検出対象物が３次元的に任意の姿勢を取りうる場合に好適な、対象物の位置及び姿勢を判別する物体検出方法に関する。

ロボットを用いての把持作業においては、対象物の判別と位置及び姿勢を検出する必要がある。従来、物体検出方法としてＣＣＤカメラからの濃淡画像を利用してパターンマッチングを行うことで対象物を検出する方法が取られていた。しかし、この方法では対象物がＣＣＤカメラに対して同じ姿勢である場合には有効であるが、山積み状態である場合など、対象物がＣＣＤカメラに対し任意の姿勢を取った場合には検出が困難となった。そのため、対象物を検出する前に、パーツフィーダによって対象物を取り出して整列させる工程が必要であり、通常一つの対象物に対して専用のパーツフィーダが必要となり、設置に掛かるコスト、フットプリントがロボットの把持作業の自動化の障害となっていた。

これを解決するべく任意の姿勢の対象物を検出するために、レンジセンサを用いて物体の形状を計測し形状ベースでマッチングする手法も多数提案されている。例えば、距離画像上から特徴点を検出し各々の特徴点間の位置関係をモデル上での特徴点間の位置関係とを比較して最も一致する特徴点群を選別して物体検出を行うものである（特許文献１参照）。

また、レンジデータと濃淡画像の双方を利用する手法も提案されている。濃淡画像から対象物の存在する領域を予め限定し、濃淡画像と同一視点から観測される距離画像から物体の慣性主軸の３次元空間中における位置及び姿勢を求め、この慣性主軸周りに物体を回転させてモデルとの一致度を調べるというものである（特許文献２参照）。
特開２００１−１４３０７３号公報（６頁、図１） 特開平７−２８７７５６号公報（１３頁、図１）

しかし、特許文献１に記載の物体検出方法では、特徴点間の位置関係を比較するためには３点以上の特徴点を任意に抽出して対応比較する必要がある。そのためには膨大な計算量が必要であり、その結果高速に認識することができないという問題があった。またモデルにおいても少しでも計算量を少なくするために、任意の特徴点３点間の位置関係をメモリ上に記憶するには１つのモデルに対しても大きな記憶領域が必要であるという問題も生じていた。

また、特許文献２に記載の物体検出方法では、対象物が山積みされた状態では濃淡画像から対象物を切り出す処理が困難でありロバスト性に欠けるという問題があり、しかも慣性主軸まわりに対象物を回転させて一致度を調べる方法では、やはり膨大な処理時間が掛かるという問題もあった。

本発明はこのような問題点に鑑みてなされたものであり、検出対象物の形状や山積みなどの検出対象物の状態に対しロバストであり、しかも少ない計算量と記憶領域で、対象物の判別、位置及び姿勢の検出ができる方法を提供することを目的とする。

上記問題を解決するため、本発明は、次のようにしたのである。
請求項１に記載の発明は、三次元空間において任意の位置及び姿勢をとりうる対象物を計測して前記対象物までの距離データを取得し、前記距離データから前記対象物の位置及び姿勢を検出する物体検出方法において、前記距離データから前記対象物を形成する複数の平面のうち任意の平面領域を抽出し、 前記任意の平面領域を含む平面を算出し、 前記距離データを前記平面へ投影したときの、前記平面までの距離を値とした基準距離画像を生成し、前記基準距離画像を、前記対象物を形成する複数の平面の各々に対して作成してデータベースとして記憶し、実シーンにおいて、前記対象物の前記距離データから前記任意の平面領域を抽出し、前記任意の平面領域を含む平面を算出し、前記距離データを前記平面に投影したときの、前記平面までの距離を値とした実シーンにおける距離画像を生成し、前記基準距離画像と前記実シーンにおける距離画像とを比較することで、前記実シーンにおける前記対象物の位置及び姿勢を検出する物体検出方法とするものである。
請求項２に記載の発明は、前記実シーンにおいて、前記対象物を形成する複数の平面のうち任意の平面領域を抽出するとき、平面の領域が最も大きいものを選択する請求項１記載の物体検出方法とするものである。
請求項３に記載の発明は、前記実シーンにおいて、前記対象物を形成する複数の平面のうち任意の平面領域を抽出するとき、最も上面にあるものを選択する請求項１記載の物体検出方法とするものである。
請求項４に記載の発明は、前記実シーンにおいて、前記対象物を形成する複数の平面のうち任意の平面領域を抽出するとき、一定の周囲距離データからの曲率を求め、前記曲率を基に前記平面領域を抽出する請求項１記載の物体検出方法とするものである。
請求項５に記載の発明は、前記曲率は平均曲率である請求項４記載の物体検出方法とするものである。
請求項６に記載の発明は、前記平均曲率の絶対値が一定の値以下である箇所で領域分割を行うことにより、前記平面領域を抽出する請求項５記載の物体検出方法とするものである。
請求項７に記載の発明は、前記基準距離画像または前記実シーンにおける距離画像は、前記平面までの距離の値を濃淡度に変換したものである請求項１記載の物体検出方法とするものである。
請求項８に記載の発明は、前記基準距離画像と前記実シーンにおける距離画像とを比較するとき、前記基準距離画像の角度を逐次変更しながら前記比較を行い、一致度の高い前記基準距離画像の角度と位置とを探索することで、前記対象物の位置及び姿勢を検出する請求項１記載の物体検出方法とするものである。
請求項９に記載の発明は、前記基準距離画像と前記実シーンにおける距離画像とを比較するとき、前記一致度の高い基準距離画像が無い場合、前記任意の平面領域を別の平面領域に変更する請求項８記載の物体検出方法とするものである。
請求項１０に記載の発明は、前記基準距離画像を生成するとき、前記距離データの各々の位置の濃淡情報を前記平面に投影して基準濃淡画像を生成して、前記基準距離画像とともにデータベース化し、前記実シーンにおいて、前記距離画像を生成するとともに前記距離データの各々の位置の濃淡情報を前記平面に投影して実シーンにおける濃淡画像を生成し、前記比較において、前記基準距離画像と前記実シーンにおける距離画像とを比較するとともに、前記基準濃淡画像と前記実シーンにおける濃淡画像とを比較する請求項１記載の物体検出装置とするものである。
請求項１１に記載の発明は、三次元空間において任意の位置及び姿勢をとりうる対象物を計測して前記対象物までの距離データを取得し、前記距離データから前記対象物の位置及び姿勢を検出する物体検出装置において、前記距離データから、前記対象物を形成する複数の平面のうち任意の平面領域を抽出する手段と、前記任意の平面領域を含む平面を算出する手段と、前記距離データを前記平面へ投影したときの、前記平面までの距離を値とした基準距離画像を生成する手段と、前記基準距離画像を、前記対象物を形成する複数の平面の各々に対して作成してデータベースとして記憶する手段と、実シーンにおいて、前記対象物の前記距離データから前記任意の平面領域を抽出し、前記任意の平面領域を含む平面を算出し、前記距離データを前記平面に投影したときの、前記平面までの距離を値とした実シーンにおける距離画像を生成する手段と、を備え、前記基準距離画像と前記実シーンにおける距離画像とを比較することで、前記実シーンにおける前記対象物の位置及び姿勢を検出する物体検出装置とするものである。
請求項１２に記載の発明は、請求項１１記載の物体検出装置を備え、前記物体検出装置で検出された前記対象物に対して把持作業を行うロボットとするものである。

本発明によると、検出対象物の平面と近似できる領域を算出して、その平面を基準とした距離画像を生成するという簡単な算出方法を用いることから、少ない計算量で対象物の位置、姿勢を検出できる。また検出対象物に平面と近似できる領域があればその平面を基準とした距離画像が生成でき、物体の形状に制限を与えるものが少ないことから、よりロバスト性の高い物体検出が可能である。
また、本発明によると、検出対象物の形状に変化が少ない場合においても対象物の濃淡情報を用いることができるため、ロバスト性の高い検出が可能である。

以下、本発明の方法の具体的実施例について、図に基づいて説明する。

図１は、本発明の方法を実施する物体検出方法のフローを示す。物体検出を行うためには予め対象物となる物体の情報を装置へ教示する必要があり、その手順を説明する。
先ず、ステップ１０１では検出対象物の距離データを取得する。
次に、ステップ１０２では距離データから平面領域を抽出する。距離データから得られた形状が平面か否かの判断は、ある周囲距離データからの曲率を基に判断できる。曲率を求める代表的な例として平均曲率が挙げられ、次式によって求めることができる。

ここで、f_x、f_y、f_xx、f_yy、f_xyは、その添字に関する微分を表している。平均曲率Ｈは０で平面となり、正で凸面、負で凹面となることから、平均曲率Ｈの絶対値がある程度小さい箇所で領域分割を行うことにより平面と近似できる領域を抽出することができる。

次に、ステップ１０３ではステップ１０２で抽出された平面領域から任意の平面を選択し、平面方程式を算出する。この場合、平面の領域の大きいもの、或いは一番上に存在するものを選択すると、隠れの少ない或いは一番上に積まれた対象物の平面を選択することができる。平面は一般に次の式で表すことができる。

選択された平面領域の各距離データの座標を（x_i, y_i, z_i） i=1,…,nとすると、

と表すことができる。この式をR=PQとおくと

となり、平面方程式の係数a、b、cを求めることができる。

次に、ステップ１０４によって距離データを算出された平面に投影して距離画像を生成する。図２に距離画像の生成手順を示す。ステップ１０１によって検出対象物Ｔの距離データが座標系Ｏを基準として計測され、ステップ１０２で平面領域を抽出し、面ＡＢＣＤのような平面と近似できる領域が抽出される。ステップ１０３では面ＡＢＣＤを含む平面Ｐが算出される。生成する距離画像は、計測された距離データを平面Ｐに投影して、平面Ｐまでの距離ｄを濃淡値に変換したものである。例えば検出対象物上の点Ｓ１を平面Ｐに対して垂直に投影すると点Ｓ１’に投影される。このとき点Ｓ１’の濃淡値は点Ｓ１から平面Ｐまでの距離ｄ１を濃淡値に変換した値となる。また平面Ｐ上のある点を原点としてＸ軸およびＹ軸が平面Ｐ上に存在するような座標系Ｐ₀を作成し、計測データを座標系Ｏから座標系Ｐ₀への座標変換を行い、変換された計測データのｚ方向の値を濃淡値へと変換することでも距離画像を生成することができる。

次に、ステップ１０５では生成された距離画像を基準距離画像として記憶することでデータベースを作成する。検出対象物に存在する複数の平面に対し各々基準距離画像を生成してデータベースに記憶すれば、検出対象物が任意の姿勢にあっても検出することが可能となる。

次に実作業における手順を説明する。
実作業時においては、先ずステップ１０１から１０２までの工程により、距離データから平面と近似できる領域を抽出する。複数抽出された平面領域から任意の平面領域を選び、ステップ１０３、１０４の処理を行うことで距離画像を生成する。ステップ１０６では、生成された距離画像とステップ１０５においてデータベースに記憶された基準距離画像とを、基準距離画像の角度を逐次変更しながら比較し、一致度の高い基準距離画像の角度と距離画像中での位置とを探索することで、物体の位置と姿勢とを検出する。このときステップ１０２で得られる平面領域から任意の平面領域を選択する際に、平面領域が広く、一番上方に存在する平面領域を選択すると、山積みされた検出対象物の中でも山の上にあり、隠れの少ない検出対象物を検出することができる。また、どのデータベースにも一致する基準距離画像が存在しない場合には、１０２で得られる別の平面領域を選び、再度１０３以降の処理を行う。

本発明の処理手順を示すフローチャート 本発明の距離画像生成手順を説明する図

Claims (12)

1. 三次元空間において任意の位置及び姿勢をとりうる対象物を計測して前記対象物までの距離データを取得し、前記距離データから前記対象物の位置及び姿勢を検出する物体検出方法において、
   前記距離データから前記対象物を形成する複数の平面のうち任意の平面領域を抽出し、
   前記任意の平面領域を含む平面を算出し、
   前記距離データを前記平面へ投影したときの、前記平面までの距離を値とした基準距離画像を生成し、
   前記基準距離画像を、前記対象物を形成する複数の平面の各々に対して作成してデータベースとして記憶し、
   実シーンにおいて、前記対象物の前記距離データから前記任意の平面領域を抽出し、前記任意の平面領域を含む平面を算出し、前記距離データを前記平面に投影したときの、前記平面までの距離を値とした実シーンにおける距離画像を生成し、
   前記基準距離画像と前記実シーンにおける距離画像とを比較することで、前記実シーンにおける前記対象物の位置及び姿勢を検出すること、を特徴とした物体検出方法。
2. 前記実シーンにおいて、前記対象物を形成する複数の平面のうち任意の平面領域を抽出するとき、平面の領域が最も大きいものを選択することを特徴とした請求項１記載の物体検出方法。
3. 前記実シーンにおいて、前記対象物を形成する複数の平面のうち任意の平面領域を抽出するとき、最も上面にあるものを選択することを特徴とした請求項１記載の物体検出方法。
4. 前記実シーンにおいて、前記対象物を形成する複数の平面のうち任意の平面領域を抽出するとき、一定の周囲距離データからの曲率を求め、前記曲率を基に前記平面領域を抽出すること、を特徴とした請求項１記載の物体検出方法。
5. 前記曲率は平均曲率であること、を特徴とした請求項４記載の物体検出方法。
6. 前記平均曲率の絶対値が一定の値以下である箇所で領域分割を行うことにより、前記平面領域を抽出すること、を特徴とした請求項５記載の物体検出方法。
7. 前記基準距離画像または前記実シーンにおける距離画像は、前記平面までの距離の値を濃淡度に変換したものであることを特徴とした請求項１記載の物体検出方法。
8. 前記基準距離画像と前記実シーンにおける距離画像とを比較するとき、前記基準距離画像の角度を逐次変更しながら前記比較を行い、一致度の高い前記基準距離画像の角度と位置とを探索することで、前記対象物の位置及び姿勢を検出すること、を特徴とした請求項１記載の物体検出方法。
9. 前記基準距離画像と前記実シーンにおける距離画像とを比較するとき、前記一致度の高い基準距離画像が無い場合、前記任意の平面領域を別の平面領域に変更すること、を特徴とした請求項８記載の物体検出方法。
10. 前記基準距離画像を生成するとき、前記距離データの各々の位置の濃淡情報を前記平面に投影して基準濃淡画像を生成して、前記基準距離画像とともにデータベース化し、
    前記実シーンにおいて、前記距離画像を生成するとともに前記距離データの各々の位置の濃淡情報を前記平面に投影して実シーンにおける濃淡画像を生成し、
    前記比較において、前記基準距離画像と前記実シーンにおける距離画像とを比較するとともに、前記基準濃淡画像と前記実シーンにおける濃淡画像とを比較すること、を特徴とした請求項１記載の物体検出方法。
11. 三次元空間において任意の位置及び姿勢をとりうる対象物を計測して前記対象物までの距離データを取得し、前記距離データから前記対象物の位置及び姿勢を検出する物体検出装置において、
    前記距離データから、前記対象物を形成する複数の平面のうち任意の平面領域を抽出する手段と、
    前記任意の平面領域を含む平面を算出する手段と、
    前記距離データを前記平面へ投影したときの、前記平面までの距離を値とした基準距離画像を生成する手段と、
    前記基準距離画像を、前記対象物を形成する複数の平面の各々に対して作成してデータベースとして記憶する手段と、
    実シーンにおいて、前記対象物の前記距離データから前記任意の平面領域を抽出し、前記任意の平面領域を含む平面を算出し、前記距離データを前記平面に投影したときの、前記平面までの距離を値とした実シーンにおける距離画像を生成する手段と、を備え、
    前記基準距離画像と前記実シーンにおける距離画像とを比較することで、前記実シーンにおける前記対象物の位置及び姿勢を検出すること、を特徴とした物体検出装置。
12. 請求項１１記載の物体検出装置を備え、前記物体検出装置で検出された前記対象物に対して把持作業を行うことを特徴としたロボット。