JP5088278B2 - 物体検出方法と物体検出装置およびロボットシステム - Google Patents

Description

本発明は、対象物の三次元的な位置及び姿勢を判別する物体検出方法、物体検出装置およびこれを用いたロボットシステムに関する。

ロボットを用いて把持作業行なう場合には、対象物の判別と位置及び姿勢を検出する必要がある。従来、物体検出方法としてＣＣＤカメラからの二次元の濃淡画像を利用してパターンマッチングを行うことで対象物を検出する方法がとられていた。
しかし、この方法では対象物が全て同じ姿勢である場合には有効であるが、山積み状態である場合など、対象物がＣＣＤカメラに対しランダムな姿勢の場合には、対象物の位置及び姿勢を検出することが困難であった。

このため、従来は、対象物を検出する前に、パーツフィーダにより対象物を取り出して整列させる工程を別途設ける必要があった。
また、パーツフィーダは一種類の対象物に対して専用のものが必要となるため、対象物が多種類存在する場合にはパーツフィーダの設置に掛かるコスト及び手間が大きくなりロボットの把持作業の自動化の障害となっていた。

これを解決するべく任意の姿勢の対象物を検出するために、レンジセンサ（距離センサ）によって物体の三次元形状を計測してパターンマッチングする手法が提案されている。
例えば、距離データ画像上の特徴点を複数検出し、各々の特徴点の位置関係を予め記憶しておいた対象物の形状モデル上での特徴点間の位置関係とを比較して最も一致する特徴点群を選別することで物体検出を行うことができる（特許文献１参照）。

また、距離データと二次元の濃淡画像の双方を利用する手法も提案されている。濃淡画像から対象物の存在する領域をおおまかに特定し、濃淡画像と同一の視点から計測された距離データ画像から物体の慣性主軸の三次元空間中における位置及び姿勢を求め、この慣性主軸周りに対象物を仮想的に回転させたときの、予め記憶しておいた対象物の形状モデルとの一致度を検出するというものである（特許文献２参照）。
特開２００１−１４３０７３号公報（６頁、図１） 特開平７−２８７７５６号公報（１３頁、図１）

しかし、特許文献１に記載の物体検出方法では、特徴点間の位置関係を比較するためには３点以上の特徴点を任意に抽出して対応比較する必要がある。そのためには膨大な計算量が必要であり、その結果高速に認識することができないという問題があった。またバラ積みされた状態（ランダムな姿勢で積み重ねられた状態）では同一となる特徴点が増えることから、誤認識が起こり易くなるという問題もあった。

また、特許文献２に記載の物体検出方法では、対象物が山積みされた状態では濃淡画像からの対象物の検出は困難であり、システムがロバスト性に欠けるという問題がある。
しかも、慣性主軸まわりに対象物を仮想的に回転させたときの一致度を調べる方法では、処理時間が掛かるという問題もある。

本発明はこのような問題点に鑑みてなされたものであり、より少ない計算量で精度良く対象物の位置及び姿勢の検出ができる物体検出方法、物体検出装置およびロボットシステムを提供することを目的とする。

上記問題を解決するため、本発明は、次のようにしたのである。
本願発明（請求項１）は、少なくとも矩形状の側面を一つ有する対象物の三次元空間上の位置及び姿勢を検出する物体検出方法であって、前記対象物上の各位置からの距離を計測して距離データを得る距離データ取得ステップと、前記距離データ上の所定単位毎の法線方向を算出する法線方向算出ステップと、前記法線方向算出ステップにおいて算出された前記各法線方向の方向が所定の角度差以内となるように、前記距離データを複数の領域に分割する領域分割ステップと、前記領域分割ステップにおいて形成された複数の領域から検出対象とする対象領域を選択する対象領域選択ステップと、前記対象領域の他の領域との境界線を求める境界線算出ステップと、前記対象領域の重心を通る軸線を求める軸線算出ステップと、前記軸線により前記境界線を２分割し、前記分割された各境界線をハフ座標に変換するハフ変換ステップと、前記ハフ空間に変換された前記分割された境界線をそれぞれ別々のハフ空間に投票し、最大投票数をそれぞれ加算する投票ステップと、前記最大投票数の加算値が最大となる最大投票角度を求め、前記最大投票角度に基づいて前記対象物の位置及び姿勢を検出する位置検出ステップと、を有していることを特徴としている。

前記対象領域選択ステップでは、前記領域分割ステップにおいて形成された複数の領域の中から最も面積が大きいものを選択することが好ましい（請求項２）。
また、前記対象領域選択ステップ実行後、選択された前記対象領域を前記対象領域が含まれる平面座標系に変換する平面変換ステップを実行し、前記境界線算出ステップでは前記平面座標系においての前記対象領域の他の領域との境界線を求め、前記軸線算出ステップでは、前記平面座標系においての前記対象領域の重心を通る軸線を求めることが好ましい（請求項３）。

また、前記軸線算出ステップでは、前記対象領域の慣性主軸を第１の軸線、前記第１の軸線と直交する軸線を第２の軸線として算出し、前記ハフ変換ステップでは、前記第１の軸線及び前記第２の軸線によってそれぞれ２分割された４つの各境界線をハフ座標に変換し、前記投票ステップは、前記ハフ空間に変換された前記４つの境界線をそれぞれ別々のハフ空間に投票することが好ましい（請求項４）。

本願発明（請求項５）は、少なくとも矩形状の側面を一つ有する対象物の三次元空間上の位置及び姿勢を検出する物体検出装置であって、前記対象物上の各位置からの距離を計測して距離データを取得する距離センサと、前記距離センサの計測値に基づいて演算を行なう演算装置と、を有し前記演算装置は、前記距離データ上の所定単位毎の法線方向を算出する法線方向算出部と、前記法線方向算出部において算出された前記各法線方向の方向が所定の角度差以内となるように、前記距離データを複数の領域に分割し、形成された複数の領域から検出対象とする対象領域を選択する対象領域選択部と、前記対象領域の他の領域との境界線と前記対象領域の重心を通る軸線を求める軸線算出部と、前記軸線により前記境界線を２分割し、前記分割された各境界線をハフ座標に変換するハフ変換部と、前記ハフ空間に変換された前記分割された境界線をそれぞれ別々のハフ空間に投票し、最大投票数をそれぞれ加算する投票部と、前記最大投票数の加算値が最大となる最大投票角度を求め、前記最大投票角度に基づいて前記対象物の位置及び姿勢を検出する位置検出部とを有して構成されていることを特徴としている。

前記対象領域選択部は、前記距離データを複数の領域に分割して形成された前記の複数の領域の中から最も面積が大きいものを前記対象領域として選択することが好ましい（請求項６）。
また、前記軸線算出部は、前記対象領域選択部により選択された前記対象領域を前記対象領域が含まれる平面座標系に変換し、当該平面座標系においての前記対象領域の他の領域との境界線と前記対象領域の重心を通る軸線を求めることが好ましい（請求項７）。
また、前記軸線算出部は、前記対象領域の慣性主軸を第１の軸線、前記第１の軸線と直交する軸線を第２の軸線として算出し、前記ハフ変換部は、前記第１の軸線及び前記第２の軸線によってそれぞれ２分割された４つの各境界線をハフ座標に変換し、前記投票部は、前記ハフ空間に変換された前記４つの境界線をそれぞれ別々のハフ空間に投票することが好ましい（請求項８）。

本願発明（請求項９）は、対象物を把持するロボットシステムであって、前記対象物を把持して搬送する搬送ロボットと、請求項５〜８のいずれか１項に記載の物体検出装置と、前記物体検出装置の出力に基づいて、前記搬送ロボットの前記対象物に対する移動軌跡を制御するロボット制御装置と、を有していることを特徴としている。

ランダムな姿勢の前記対象物を収納するワークストッカを有し、前記物体検出装置の前記距離センサが前記ワークストッカの全領域について前記距離データを取得することが好ましい（請求項１０）。
また、ランダムな姿勢の前記対象物を収納するワークストッカを有し、前記物体検出装置の前記距離センサが前記ワークストッカの全領域の内、予め設定された所定の部分領域について前記距離データを取得することも好ましい（請求項１１）。

本願発明によれば、矩形状の平面領域を有する対象物に対して矩形の領域に関する部分の距離データのみを用いて対象物の検出処理を行うことに加えて、軸線によって分割した境界線のそれぞれに対してハフ空間に投票を行い最大投票角度を求めるため、少ない計算量で精度良く位置と姿勢を検出することができ、対象物の検出にかかる処理効率を向上させることができる。
また、システムが良好なロバスト性を確保することができ、対象物がランダムな姿勢をとっても安定して対象物を検出することができる。

以下、本発明の方法を実施するための最良の具体的実施例について、図に基づいて説明する。
まず、本発明の一実施形態にかかる物体検出装置を用いたロボットシステムの概略構成について説明する。
図２に示すように、ロボットシステム１００は、物体検出用演算装置（演算装置）５０，ロボット制御装置７０，ワーク搬送ロボット８１，把持装置８２，距離センサ８３及びワークストッカ８４によって構成されている。距離センサ８３，演算装置５０，ロボット制御装置７０及びワーク搬送ロボット８１はそれぞれ通信可能に接続されている。
ワークストッカ８４は、検出対象物（対象物）としてのワークＷが入った箱状の容器である。ワークストッカ８４には多数のワークＷがランダムな姿勢（ワークＷがとる三次元の方向）で山積みに収納されている。ワークＷは、少なくとも１つの矩形状の側面を有している。本実施形態ではワークＷは直方体であり、ワークＷの各側面が矩形となっている。
距離センサ８３はワークストッカ８４の上方に配設されており、ワークストッカ８４の全領域において、後述する距離データを検出するように設定されている。

ワーク搬送用ロボット８１は、ここでは垂直多関節型のマニプレータにより構成されており、ワーク搬送用ロボット８１の先端には、把持装置８２が取り付けられている。把持装置８２は、例えば、ワークＷを掴むグリッパ装置やエアや電磁力による吸着装置等、ワークＷを把持（保持）できるものであればどのような装置を適用してもよい。
ロボット制御装置７０は、コンピュータにより構成されており、ロボットシステム１００の各部機器を制御するように構成されている。

演算装置５０は、コンピュータにより構成されており、予めワークＷの形状情報が入力されている。ワークＷの形状情報は、ワークＷの三次元形状と、物体検出装置によって照合する各面の形状との情報を含んでいる。
以下、演算装置５０の機能構成について説明する。演算装置５０は図１に示す手順に沿ってワークストッカ８４内のワークＷを検出するようになっている。
先ず、ステップ１０１では、ワークストッカ８４内のワークＷに対して、距離センサ８３を用いて距離データ（距離画像）を取得する（距離データ取得ステップ）。
なお、本実施形態においての、距離データとは、平面（ｘ軸，ｙ軸）上の位置情報と、各ピクセルに対応するワークＷと距離センサ８３との距離（ｚ軸）の情報を平面上のピクセル（画素）単位で有するものである。

距離データの取得する距離センサ８３は、レーザ光をワークＷに走査して三次元形状を得る装置（三次元スキャナ）、あるいは複数のカメラでワークＷを撮像した各画像間の対応点を求め、三角測量の原理からワークＷの三次元情報を得る装置（複眼ステレオ視）により構成される。なお、検出のワークＷの全てのパートの距離を検出できるものであれば、そのような方式の距離センサを用いてもよい。

次に、ステップ１０２では距離データ上の各点（画素）を一単位の領域とし、この単位領域の近傍を微小な平面と仮定して平面を示す方程式を求め、各点の近傍における距離画像データから法線方向を算出する（法線方向算出ステップ）。

なお、単位領域は必ずしも１つの画素とする必要はなく、予め定められた複数の画素の集合を平均して単位領域としてもよい。このようにすれば、計算量を減らすことができるので、演算装置５０の計算負荷を軽減することができる。
なお、平面の方程式は次式（１）で表される。

そして、上式（１）の係数ａ，ｂ，ｃは、距離データ上の各点の座標を（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）ｉ＝１，…，ｎとすると次式（２）で表わされる。

さらに、次式（３）により距離データ上の各点に対応する平面方程式の係数ａ、ｂ、ｃが算出される。各点（局所的な平面）の法線ベクトルはｎ＝（ａ，ｂ，−１）となる。

次にステップ１０３では、ステップ１０２で求めた各法線ベクトルの方向が、所定の閾値（所定角度差）Ｍ以内である領域毎に距離データを複数の領域に分割する。
ステップ１０４では、ステップ１０３で分割された領域から検出対象となる領域（対象領域）が選択される（対象領域選択ステップ）。ステップ１０４では、領域の面積が大きいものを優先して選択するようになっている。

領域が大きいものを優先して対象領域として選択することにより、ワークストッカ８４の中で上側に最も露出したワークＷが選択されることとなり、物体検出の精度をより向上させることができる。また、ワーク搬送用ロボット８１によって比較的把持しやすいワークＷを選択することができ、ワーク搬送用ロボット８１の把持精度を向上させることができる。
なお、ステップ１０４で選択された領域中の各点は、法線ベクトルの方向が同じ（またはほぼ同じ）であるため、選択された領域は同一の平面上に存在すると考えることができる。換言すると、所定の閾値Ｍの値は、選択された対象領域が平坦な面（平面）であるとみなせるように予め実験等により設定される。

ステップ１０５では、選択された対象領域を、該対象領域が含まれる平面座標系に投影（変換）する（平面変換ステップ）。
ステップ１０６では、ステップ１０５で２次元に変換された領域１に対して、図３に示すように、領域１の重心２の位置と慣性軸（重心２を通る軸線）とを求める（軸心算出ステップ）。
本実施形態では、計算を簡略化するとともに検出精度を向上させるために、ステップ１０６において慣性主軸（長軸３，第１の軸線）と、長軸３に直交する慣性軸（短軸４，第２の軸線）との２つの慣性軸を求める。重心２及び慣性主軸の算出は公知の方法でなされる。なお、本実施形態では長軸３と短軸４との２つの慣性軸を用いるが、慣性軸については一つだけでもよい。

ステップ１０７では、当該領域の周囲のエッジ（境界部）を長軸３及び短軸４（長軸と直交する軸）によりそれぞれ分割して、長軸３により２分割されたエッジ５ａ，５ｂと短軸４により２分割されたエッジ５ｃ，５ｄの４種類のエッジ５ａ〜５ｄを求め、各エッジ５ａ〜５ｄを形成する各単位をハフ座標に変換する（ハフ変換ステップ）。そして、各エッジ５ａ〜５ｄ毎に別々のハフ空間へ投票する（投票ステップ）。
ハフ空間への投票について、より詳細に説明すると、図３に示すように、投票ステップでは、４つのエッジ５ａ〜５ｄに対し、それぞれ別々のハフ空間６ａ〜６ｄに投票する。
本実施形態では、ワークＷの各面が矩形であることから周囲エッジ５ａ〜５ｄは長軸３及び短軸４に対してほぼ平行とみなされるため、投票する際に角度を限定すれば投票に係る計算量を低減して処理時間を短縮させることができる。
次に各ハフ空間６ａ〜６ｄに対し角度毎の最大投票数７ａ〜７ｄを算出する。各最大投票数７ａ〜７ｄを角度毎に加算することで最大投票数の和８を算出し、その中から最大値をとる角度（最大投票角度）θを求める。

求めた角度θ上で最大となる投票数である各単位領域が有する距離の値ρを４つの各ハフ空間６ａ〜６ｄ上で求めることにより、平面座標系に変換した領域１に接する矩形（境界線）の形状を得ることができる。
そして、求めた矩形の形状と、予め演算装置５０に記憶されたワークＷの形状に合致しているか否かを判断して対象領域がワークＷであることが判別される。
また、矩形の２次元空間上での位置及び姿勢と選択した領域を三次元空間から平面座標系への変換した変換量により対象物の位置姿勢を算出することができる（ステップ１０８）。
本発明の一実施形態にかかる物体検出装置及びロボットシステムはこのように構成されているので、距離データからワークＷの矩形状の側面の位置（距離）と姿勢（三次元的な向き）とを算出を求めることにより、演算装置５０による演算量（計算量）を少なくすることができ、演算装置５０を構成するコンピュータにかかるコストを抑制しても検出対象物の位置及び姿勢の検出を良好に行なうことができる。

また、ワークＷがランダムに積み重ねられていても、対象領域のエッジ部分（境界線）を長軸３及び短軸４でそれぞれ２分割した上で、各々をハフ空間に投票を行った最大投票数求めるため、システムが良好なロバスト性を確保することができ、演算装置５０がワークＷを検出不能となる状態を抑制することができる。

さらに、距離センサ８３により、ワークストッカ８４の上面の全領域についての距離データを検出して、得られた距離データに基づいてワークＷの位置及び姿勢を検出するのでワークストッカ８４に収納されている複数のワークＷの中からロボットシステム１により把持するワークＷ一つ選択してワークＷの位置及び姿勢を検出して、ロボットアーム８１のエンドエフェクタ８２をワークＷに対して適切に接近させてワークＷを良好に把持することができる。

また、物体検出装置が対象物の位置と姿勢とを高速にかつ正確に求めることができるので、対象物であるワークＷを把持して搬送するロボットシステムに適用することで、ロボットシステムがワークＷの把持動作を行うに際して、作業効率の良いロボットシステム１とすることができる。

以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、主旨を逸脱しない範囲において適宜変形して実施可能である。
例えば、実施形態では、距離センサによりワークストッカの全領域においての距離データを検出していたが、ワークストッカの上面のうちの一部分の部分領域を演算装置に予め設定しておき、ワークストッカの部分領域のみ距離データを検出して得られた距離データに基づいて、対象物の位置及び姿勢を検出するように構成してもよい。
このように構成することにより、ワークストッカの全領域についての距離データを用いる場合よりも少ない計算量で対象物を検出することができる。

本発明の一実施形態にかかる処理手順を示すフローチャートである。 本発明の一実施形態にかかるロボットシステムの概略構成を模式的に示す図である。 演算装置により三次元ハフ空間への投票について説明するための模式図である。

符号の説明

１ 平面座標系に変換した領域（対象領域）
２ 重心
３ 長軸（慣性主軸，第１の軸線）
４ 短軸（第２の軸線）
５ａ〜５ｄ 分割されたエッジ（境界線）
６ａ〜６ｄ ハフ空間
７ａ〜７ｄ 角度毎の最大投票数
８ 角度毎の最大投票数の和
５０ 物体検出装置
７０ ロボット制御装置
８１ ロボットアーム
８２ エンドエフェクタ
８３ 距離センサ
８４ ストッカ
１００ ロボットシステム

Claims (11)

1. 少なくとも矩形状の側面を一つ有する対象物の三次元空間上の位置及び姿勢を検出する物体検出方法であって、
   前記対象物上の各位置からの距離を計測して距離データを得る距離データ取得ステップと、
   前記距離データ上の所定単位毎の法線方向を算出する法線方向算出ステップと、
   前記法線方向算出ステップにおいて算出された前記各法線方向の方向が所定の角度差以内となるように、前記距離データを複数の領域に分割する領域分割ステップと、
   前記領域分割ステップにおいて形成された複数の領域から検出対象とする対象領域を選択する対象領域選択ステップと、
   前記対象領域の他の領域との境界線を求める境界線算出ステップと、
   前記対象領域の重心を通る軸線を求める軸線算出ステップと、
   前記軸線により前記境界線を２分割し、前記分割された各境界線をハフ座標に変換するハフ変換ステップと、
   前記ハフ空間に変換された前記分割された境界線をそれぞれ別々のハフ空間に投票し、最大投票数をそれぞれ加算する投票ステップと、
   前記最大投票数の加算値が最大となる最大投票角度を求め、前記最大投票角度に基づいて前記対象物の位置及び姿勢を検出する位置検出ステップと、を有している
   ことを特徴とする物体検出方法。
2. 前記対象領域選択ステップでは、前記領域分割ステップにおいて形成された複数の領域の中から最も面積が大きいものを選択する
   ことを特徴とする、請求項１記載の物体検出方法。
3. 前記対象領域選択ステップ実行後、選択された前記対象領域を前記対象領域が含まれる平面座標系に変換する平面変換ステップを実行し、
   前記境界線算出ステップでは前記平面座標系においての前記対象領域の他の領域との境界線を求め、
   前記軸線算出ステップでは、前記平面座標系においての前記対象領域の重心を通る軸線を求める
   ことを特徴とする、請求項１又は２記載の物体検出方法。
4. 前記軸線算出ステップでは、前記対象領域の慣性主軸を第１の軸線、前記第１の軸線と直交する軸線を第２の軸線として算出し、
   前記ハフ変換ステップでは、前記第１の軸線及び前記第２の軸線によってそれぞれ２分割された４つの各境界線をハフ座標に変換し、
   前記投票ステップは、前記ハフ空間に変換された前記４つの境界線をそれぞれ別々のハフ空間に投票する
   ことを特徴とする、請求項１〜３のいずれか１項に記載の物体検出方法。
5. 少なくとも矩形状の側面を一つ有する対象物の三次元空間上の位置及び姿勢を検出する物体検出装置であって、
   前記対象物上の各位置からの距離を計測して距離データを取得する距離センサと、
   前記距離センサの計測値に基づいて演算を行なう演算装置と、を有し
   前記演算装置は、
   前記距離データ上の所定単位毎の法線方向を算出する法線方向算出部と、
   前記法線方向算出部において算出された前記各法線方向の方向が所定の角度差以内となるように、前記距離データを複数の領域に分割し、形成された複数の領域から検出対象とする対象領域を選択する対象領域選択部と、
   前記対象領域の他の領域との境界線と前記対象領域の重心を通る軸線を求める軸線算出部と、
   前記軸線により前記境界線を２分割し、前記分割された各境界線をハフ座標に変換するハフ変換部と、
   前記ハフ空間に変換された前記分割された境界線をそれぞれ別々のハフ空間に投票し、最大投票数をそれぞれ加算する投票部と、
   前記最大投票数の加算値が最大となる最大投票角度を求め、前記最大投票角度に基づいて前記対象物の位置及び姿勢を検出する位置検出部とを有して構成されている
   ことを特徴とする物体検出装置。
6. 前記対象領域選択部は、前記距離データを複数の領域に分割して形成された前記の複数の領域の中から最も面積が大きいものを前記対象領域として選択する
   ことを特徴とする、請求項５記載の物体検出装置。
7. 前記軸線算出部は、前記対象領域選択部により選択された前記対象領域を前記対象領域が含まれる平面座標系に変換し、当該平面座標系においての前記対象領域の他の領域との境界線と前記対象領域の重心を通る軸線を求める
   ことを特徴とする、請求項５又は６記載の物体検出装置。
8. 前記軸線算出部は、前記対象領域の慣性主軸を第１の軸線、前記第１の軸線と直交する軸線を第２の軸線として算出し、
   前記ハフ変換部は、前記第１の軸線及び前記第２の軸線によってそれぞれ２分割された４つの各境界線をハフ座標に変換し、
   前記投票部は、前記ハフ空間に変換された前記４つの境界線をそれぞれ別々のハフ空間に投票する
   ことを特徴とする、請求項５〜７のいずれか１項に記載の物体検出装置。
9. 対象物を把持するロボットシステムであって、
   前記対象物を把持して搬送する搬送ロボットと、
   請求項５〜８のいずれか１項に記載の物体検出装置と、
   前記物体検出装置の出力に基づいて、前記搬送ロボットの前記対象物に対する移動軌跡を制御するロボット制御装置と、を有している
   ことを特徴とする、ロボットシステム。
10. ランダムな姿勢の前記対象物を収納するワークストッカを有し、
    前記物体検出装置の前記距離センサが前記ワークストッカの全領域について前記距離データを取得する
    ことを特徴とする、請求項９記載のロボットシステム。
11. ランダムな姿勢の前記対象物を収納するワークストッカを有し、
    前記物体検出装置の前記距離センサが前記ワークストッカの全領域の内、予め設定された所定の部分領域について前記距離データを取得する
    ことを特徴とする、請求項９記載のロボットシステム。