JP4892687B2

JP4892687B2 - 物体検出方法

Info

Publication number: JP4892687B2
Application number: JP2007072424A
Authority: JP
Inventors: 仁脇迫
Original assignee: Kyushu Institute of Technology NUC
Current assignee: Kyushu Institute of Technology NUC
Priority date: 2007-03-20
Filing date: 2007-03-20
Publication date: 2012-03-07
Anticipated expiration: 2027-03-20
Also published as: JP2008232805A

Description

この発明は，距離センサから得られる二次元の形状データを用いた物体検出方法に関する。

従来，産業用ロボットの作業では，予め対象となるワークに対してロボットの作業位置を教示しておき，これらの教示された作業位置を基に実際のラインでの作業が行われている。このとき，ワークが固定できない場合や，何らかの要因でワークの位置がずれたりすると，ロボットの作業が適切に行えなくなる。これらの不具合に対処するため，一般にはカメラを使って対象ワークを撮像し，画像処理によりその位置を求めてロボットの作業位置を補正する手段がとられている。

例えば，作業時間を短縮して作業効率の向上を図るロボット装置が知られている。該ロボット装置は，コンベア上で搬送されるワークのハンドリング作業では，カメラを持ったロボットがワークを撮像し，その位置を基にしてハンドリング用のロボットの位置を修正している（例えば，特許文献１参照）。

また，位置の計算に複雑な演算を行う必要がなく，作業時間が短くて済むロボットによる物体のハンドリング方法が知られている。該ハンドリング方法は，ロボットのハンド部の特徴となるパターンと対象ワークのパターンの両者を検出して画面上での偏差からワークを把持するためにロボットを制御するものである（例えば，特許文献２参照）。

このような応用例において，画像中から対象物を検出する画像処理には，主にパターンマッチングが用いられる。パターンマッチングでは，予め対象物の画像を登録しておき，実際の作業において対象物を含むシーンの画像を撮像し，その画像と登録画像との相関値を計算してその値によって対象物の有無や位置を検出している（例えば，非特許文献１参照）。

図１１にはパターンマッチングの処理の例が示されている。図１１の（ａ）には，登録された対象物１の登録画像７０が示されており，図１１の（ｂ）には，対象物１を含むシーンの画像７１が示されている。ここで，登録画像７０のサイズを，横をｍとし，縦をｎとし，画像を構成する画素の濃淡値を〔数１〕で表わす。

例えば，図の左上の画素の濃淡値はｆ（１，１），右下の画素の濃淡値はｆ（ｍ，ｎ）である。一方，シーンの画像７１のサイズを横がＭ，縦がＮとし画像を構成する画素の濃淡値を〔数２〕で表わす。

同様に図の左上の画素の濃淡値はｇ（１，１），右下の画素の濃淡値はｇ（Ｍ，Ｎ）である。これより二つの画像の相関値は，〔数３〕で与えられる。

ここで，ｘとｙは登録画像７０をシーンの画像７１中での比較する位置を表しており，パターンマッチングにおいては，ｘとｙを変えながら上式の値を計算し，その値が最大となるｘとｙを求めている。図１１（ｂ）のシーンの画像７１においてはＸとＹの時が最大となり，これらの値から対象物１の位置を求めている。また，〔数３〕の値は１より小さく，二つの画像が全く同一のときに１となる。
特開２０００−２９６４８７号公報特開平８−１９７４６９号公報昭晃堂発行「画像処理ハンドブック」（第３０３，３０４頁）

このようなカメラ画像からパターンマッチングにより対象物を検出する方式は，先に述べたように，ロボットの位置補正等に応用されている。しかしながら，更に高度な作業をロボットが行う場合には対応が難しくなる。
例えば，ビンピッキング作業においては，対象となるパーツが山積みされており，その中からロボットが一個ずつパーツを取り出している。通常カメラは山積みされたパーツの上に固定されるが，カメラに対してパーツが様々な姿勢をとる。従来のパターンマッチングの手法では，登録画像をシーン画像上で重ねてずらしていき，画像同士が最も一致する箇所を探索しているが，例えば，図１２に示すように，対象物１が回転している場合は，図１１（ａ）の登録画像７０と重ねても一致しないことから分かるように対象物１の検出ができなくなる。
このような対象物の回転に対応するために，図１３に示すように，対象物１を少しずつ回転させた画像を登録しておき，それぞれの登録画像に対して〔数３〕により相関値を求め，相関値が最大となるときの登録画像の回転角度とｘとｙから対象物１の位置と回転方向を求めている。このとき，対象物１の回転角度を１度間隔にした場合に，３６０枚の登録画像を使うことになり，登録画像が１枚のときの３６０倍の処理時間がかかることになるため，実用性が失われてしまう。

更に，ビンピッキング作業においては，回転だけでなくカメラに対する対象物の傾きも異なってくる。従来，画像処理における前提条件は，カメラと対象物の置かれている面が固定されていることである。例えば，図１４の(a) に示すように，対象物である円板７３は固定されたテーブル７４上に常にあり，カメラ７２に撮像された画像７５上では常に円となる。一方ビンピッキング作業などでは，図１４の(b) に示すようにカメラ７２に対して円板７６の姿勢は固定されてないため，その画像７７上では楕円形になりその形状も円板の傾きによって異なってくる。先のパターンマッチングでこれを検出するとなると，すべての見え方を登録することとなり，現実的ではなくなってしまう。

また，別のロボットへの応用として移動ロボットがある。移動ロボットにとっての物体検出の機能は，廊下や部屋の壁を検出することであり，これによって自分の位置を認識する。そのためには，壁までの距離を求めて，その距離情報から壁に対する自分の位置を検出する必要があるが，従来のカメラ画像を処理する手法では，距離が計測できないため対応が難しい。

このように従来の物体検出方法は，主として，カメラ画像を使ったパターンマッチングの方法が取られている。カメラ画像はカメラから見た対象物の見かけの形状であり，対象物との相対位置が変わると見かけ形状も変わるため，それに応じた登録画像が増えて，演算量が多くなり，処理に時間がかかるという問題があった。さらに，対象物までの距離情報が必要な場合は，距離計測ができないため対応できないという問題があった。

この発明の目的は，上記の課題を解決することであり，産業用ロボットや移動ロボットに適用されるものであり，距離センサを使用してシーンを計測し，その計測データから得られた二次元の形状データに関して，マッチング処理することによって，登録されている対象物の形状データを検出してシーン中での対象物の位置を求め，また，対象物が回転している場合や傾いている場合でも，対象物を検出することができる物体検出方法を提供するものである。

この発明は，距離センサから得られる二次元の形状データに関して，対象物の形状を表す第一の形状データを，前記対象物を含むシーンの形状を表す第二の形状データから検出する物体検出方法において，
前記第一の形状データを構成する点の全て又は一部から成る第一の点群を構成する点を所定の回転角度だけ回転した第三の点群を求め，前記第二の形状データを構成する点の全て又は一部から成る第二の点群を求め，前記第二の点群と前記第三の点群とを構成するそれぞれの点の全ての組合せについて，前記第二の点群を構成する点の位置情報と前記第三の点群を構成する点の位置情報との編差の頻度を求め，前記回転角度の値を変えながら求めた複数の前記第三の点群において前記偏差の頻度を求める処理を繰り返し，前記位置情報の偏差の頻度が最も多いときの偏差と前記第三の点群の前記回転角度とによって前記第二の形状データ中での前記第一の形状データの位置と方向とを検出することを特徴とする物体検出方法に関する。

この物体検出法において，前記二次元の形状データは，前記距離センサによって前記対象物の断面形状を計測した位置データである。又は，前記二次元の形状データは，前記距離センサによって前記対象物を計測した表面形状から抽出した平面部の境界の位置データである

この物体検出方法は，上記のように構成されているので，形状データを構成する物体即ち対象物の輪郭情報のみ扱うためデータ量が少なくなり，パターンマッチングに比べて演算量が少なくなり，加減算のみの演算処理で処理が実行でき，それによって，高速で移動しているシーン中での対象物の位置を検出できる。また，この物体検出方法は，距離センサによる距離情報から構築された形状データを扱っているため，対象物までの距離やその姿勢に影響されない物体検出が可能になる。

以下，図面を参照して，この発明による物体検出方法の実施例について説明する。最初に，この発明で用いる形状データを取得するための距離センサについて説明する。距離センサは対象物までの距離を計測するセンサであり，計測方式には主に三角測量と光伝搬法がある。図９（ａ）は，三角測量による手法である。ここでは直方体５０と円柱５６がシーン中にあり，直方体５０に対してレーザ光源５１からスポット光５２を照射している。それをカメラ５３により撮像しその画像５４中でスポット光５２の照射点５５を検出する。画面中での照射点５５の位置とレーザ光源５１とカメラ５３の相対位置から，三角測量の原理で直方体５０上における照射点の三次元的な位置を求めることができる。そこで，レーザ光源５１を振って直方体５０の表面を走査することで表面の形状を計測することができる。図９（ｂ）は，レーザ光源５１を水平方向に振ったときの計測データであり，点線で示している形状データ５７が直方体５０を，形状データ５８が円柱５６を表している。次に，図９（ｃ）は光伝搬法による距離計測の説明図である。直方体５０に対して発光部６０からレーザパルス光６１を発射する。レーザパルス光６１は，直方体５０に当たって反射する。その反射光６２を受光部６３において検出し，距離の計算部である処理部６４において発光から受光までの時間を計測し，その時間と光の速度から直方体５０までの距離を計測することができる。この手法でもレーザを走査することによって図９（ｂ）のような形状データを取得することができる。

さらに，図９のように一方向に測定ビームを振るだけでなく，それと垂直方向に振ることで，物体表面の形状情報を得ることができる。図１４（ｂ）で示した傾いた円板７６を距離センサ４０で計測する例を図１０（ａ）に示す。ここで，距離センサ４０は，円板７６上の表面全体を測定ビームで走査する。これによって得られた測定データは図の点で示した円板表面の各点の三次元の位置情報となる。そこで，これらの三次元の位置情報から，円板の平面の方程式が求まり，さらに図１０（ｂ）に示すように，その平面上で直交するふたつのベクトル６５，６６を求めて，これを座標軸としてその平面上の座標に変換すると，図１０（ｃ）に示すように測定データは，円上の点となり，円板の形状はそれらの境界の点を求めることで図１０（ｄ）のように求まり，距離センサ４０に対する円板７６の姿勢にかかわらず，本来の円の形状を得ることができる。

この発明による物体検出方法では，検出に用いるのは図９（ｂ）や図１０（ｄ）に示すような物体の二次元の形状データであり，この形状データとは，主に物体の輪郭情報である。図３には，図１１で示した対象物１の画像７０及びシーンの画像７１に対応する形状データが点線で示されている。図３（ａ）は，図１１（ａ）の対象物１の形状データであり，また，図３（ｂ）は，図１１（ｂ）のシーンの形状データであり，これらは各種の物体の輪郭のみの情報である。この物体検出方法においては，対象物１の形状データとシーンの形状データとのマッチングになり，〔数３〕に示すように，パターンマッチングにおいて登録画像の全ての点を計算に用いるのに比べて，輪郭情報を用いることによって扱うデータ量が少なくなり，処理時間の高速化を図ることができる。

次に，この物体検出方法の原理を，図５に示すような簡単な例を用いて説明する。この例では，形状データではなく，三角形の頂点で説明する。図５に示すように，三角形２が平行移動により三角形３に移動したときの移動量を求める。まず，三角形２の頂点をａ１，ａ２，ａ３とし，それぞれのｘ，ｙ座標を（２，２），（２，６），（８，６）とする。ここで，原点は画面の左上になる。また，三角形３の頂点をｂ１，ｂ２，ｂ３とし，それぞれのｘ，ｙ座標を（１４，１３），（８，９），（８，１３）とする。そこで，頂点ａ１，ａ２，ａ３と，頂点ｂ１，ｂ２，ｂ３の全ての組合せ９通りについて位置の偏差を表１に示す。

例えば，最初の行は，もし，ａ１とｂ１とが対応するとしたら，そのときの平行移動量が偏差（１２，１１）となることを意味している。そこで，この偏差の出現回数に着目すると，実際の平行移動量に対応する偏差の回数が最も多くなることが分かる。そこで，偏差の頻度を求めるのに，図６に示す投票テーブルを用いることとする。投票テーブルのそれぞれの四角が投票箱であり，横方向の位置はｘ方向の偏差，縦方向の位置はｙ方向の偏差を表す。表１より偏差（０，３），（０，７），（６，３），（６，１１），（１２，７），（１２，１１）は，それぞれ一回出現しており，対応する各投票箱には１が入り，偏差（６，７）は，三回の頻度のため対応する投票箱に３が入り，これが最も頻度が多いため三角形２から三角形３への平行移動量は（６，７）となることが分かる。この例では，三角形の頂点を用いて説明したが，実際には，対象物１の輪郭である形状データを構成する点について同様な処理を行うことによって，対象物１の移動量を求めることができる。

次に，図１を参照して，上記の原理を基にして，この発明による物体検出方法の一実施例（＝実施例１）の処理について説明する。この処理は，予め実行するモデル登録と実際の物体即ち対象物１の検出に分かれる。図１の（ａ）がモデル登録の処理の流れである。モデルとなる対象物１を計測し，その形状データ１１の各点の座標１２（ｘi ，ｙi ）ｉ＝ｌ，．．．，ｐを求める。これらは，図３の（ａ）に示す対象物１の輪郭線の座標に対応する。ここでは計測によって求めたが，ＣＡＤデータのような形状データがある場合はそれを用いてもよい。

これらの座標１２を基にした物体検出の処理の流れを図１の（ｂ）に示す。まず，シーンの計測１３により形状データ１４を取得し，その各点の座標１５（Ｘj ，Ｙj ）ｊ＝ｌ，．．．，ｑを求める。これらは図３の（ｂ）に示す対象物１や楕円，三角形の輪郭線に対応することである。次に，物体検出処理１６は，ｉをｌからｐまで変えながら繰り返しの処理を示しており，そこでは，さらにｊをｌからｑまで変えて処理１７を繰り返す。処理１７では，ｉとｊとの繰り返しにより，モデルの形状データ１１の座標１２とシーンの形状データ１４の座標１５の全ての組合せについて，偏差ｄｘ，ｄｙを計算し，投票テーブルで，頻度を求める。処理１７において，二次元の配列Ｖが投票テーブルを表し，初期値は全ての値が０であり，添字の値が偏差を表しており，処理１７では，Ｖ（ｄｘ，ｄｙ）のカウント値を一つ増やしている。最後に処理１８によって，配列Ｖ（ｘ，ｙ）の最大となるｘとｙとを求める。この値が対象物１のシーン中での移動量となる。また，ここでは図示していないが，モデルの形状データ１１を構成する点の座標１２，及びシーンの形状データ１４の座標１５については，必ずしも計測した全ての点を用いる必要はなく，物体検出処理の高速化のために対象物の位置が特定できる程度に輪郭の一部の点を用いることができることは勿論である。

次に，図２を参照して，この発明による物体検出方法の別の実施例（＝実施例２）について説明する。実施例２は，対象物１が回転している場合の物体検出の処理の流れによる物体検出方法である。図２に示すように，処理は予め実行するモデル登録と実際の物体検出に分かれる。図２の（ａ）がモデル登録の処理の流れである。実施例２は，実施例１と同様に，最初にモデルとして対象物１のモデル計測２０をして形状データ２１を取得してこの点の座標２２（ｘｉ，ｙｉ）ｉ＝ｌ，．．．，ｐを求める。これらの点は，図３の（ａ）に示すように，対象物１の輪郭線に対応するものである。次に，処理２３において，座標２２を１度から３５９度まで１度間隔で回転させた座標２４を計算する。
この座標２４は，
（ｘｒ，ｉ，ｙｒ，ｉ）ｉ＝ｌ，．．．，ｐｒ＝１，２，．．．，３５９
で表し，ｒが回転角度である。これらの座標は，図４に示すように，対象物１を回転させたときの輪郭線の位置情報になる。また，実施例２では，回転角度を１度から３５９度までとしているが，実際の状況に応じた回転角度で構わないことは勿論である。

図２の（ｂ）を参照して，上記の座標２４を基にした物体即ち対象物１の検出処理の流れを説明する。まず，処理２５によってシーンを計測し形状データ２６の座標２７（Ｘj ，Ｙj ）ｊ＝１，．．．，ｑを求める。次に，ｒをｌから３５９まで，ｉをｌからｐまで，更に，ｊをｌからｑまで変えて処理２８を繰り返す。処理２８では，各回転角度ｒのときのｉとｊの繰り返しにより，モデルの形状データの座標２４とシーンの形状データの座標２７の全ての組合せについて偏差ｄｘ，ｄｙを計算し，投票テーブルでその頻度を求める。ここで，三次元の配列Ｖが投票テーブルを表し，初期値は全ての値が０であり，添字の値が回転角度と偏差を表し，ここでは，Ｖ（ｒ，ｄｘ，ｄｙ）のカウント値を一つ増やしている。最後に処理２９によって配列Ｖ（ｒ，ｘ，ｙ）の最大となるｒとｘ，ｙとを求める。この値が対象物１のシーン中での回転量と移動量になる。

この物体検出方法では，上記のように，モデルとシーンにおける形状データを構成する点同士の位置の偏差を求め，その出現回数から対象物１の移動量と回転量を求めている。従って，この物体検出方法は，パターンマッチングと比べて，扱うデータ量が少なく，演算も加減算だけでよいため，物体即ち対象物１を高速で検出することができる。

次に，図７を用いて，この発明による移動ロボットへの実施例（＝実施例３）について説明する。図７の(a) において，移動ロボット３０は壁や障害物を検出するために距離センサ３１が取り付けられている。距離センサ３１は測定用のレーザスポット光を照射し，それが対象に当たって反射し，再び距離センサ３１に返ってくるまでの時間を測定し，それを基に対象までの距離を求めている。さらにこのレーザスポット光を図に示すように水平方向３２に振ることによって周囲の二次元の形状データを得ることができる。この形状データは壁や廊下などの水平方向の断面図であり，このデータから障害物検出や現在位置を求めている。本実施例は，この現在位置を求める処理に関わる。そのために図７(b) に示すように予め特徴となる場所の形状データを登録する。ここでは形状データは点線で示している。そして移動ロボット３０が移動中には，計測した周囲の形状データ(c) の中から，登録した形状データ(b) を検出することにより，移動ロボット３０の位置を知ることができる。このときの登録した形状データ(b) の検出において，本発明の手法である，形状データ(b) を回転した複数の形状データを生成し，実際のシーンの形状データ(c) との偏差の頻度を求めることで形状データ(c) の中から形状データ(b) を検出することができる。

次に，図８を用いて，この発明による産業用ロボットのビンピッキング作業などで有効な物体検出の実施例（＝実施例４）について説明する。ここでは，異なる形状の平板４１，４２，４３が対象物であり，三次元空間中に任意の姿勢で置かれているとする。通常のカメラによる物体検出であると，カメラに対して対象物の姿勢が変わると，例えば円が楕円に見えるなど，見え方が変わるため対応が難しい。本実施例においては，距離センサ４０を用いる。ここでの距離センサ４０は，実施例３で述べた距離センサ３１が一方向に測定用のレーザ光を走査しているのに対し，さらにそれと垂直方向にも走査するため全体の形状データ４４を得ることができる。全体の形状データ４４で灰色で示した領域は各平板４１，４２，４３の距離センサ４０からのレーザ光が当たった測定点であり，各平板の距離センサ４０から見える面に対応する。そこで，これらの領域に対して，各領域を分割し，さらに各領域の境界を求めて，これを各平板上の座標系に変換すると二次元の形状データ４５，４６，４７が得られる。例えば円板４１は，距離センサ４０から見ると楕円に見えるが円板４１上の座標系では円の形状データ４５となる。そこで，対象物として三角形の平板４３を探すとすると，予めその形状データ４８をモデルとして登録しておいて，処理部４９においてモデルの形状データ４８と３種類の形状データ４５，４６，４７について実施例２で述べた方式により三角形の平板４２を検出することができる。

この発明による物体検出方法は，例えば，対象物の物体検出が可能となるため，産業用ロボットによるピッキング作業，さらに，移動ロボットの重要な機能である現在位置認識にも適用することができる。

この発明による物体検出方法の第１実施例について，処理の流れを示す説明図である。この発明による物体検出方法の第２実施例について，処理の流れを示す説明図である。対象物とシーンとの形状データを示す説明図である。第２実施例のモデルの登録を示す説明図である。この発明による物体検出方法の原理を示す説明図である。投票テーブルを示す説明図である。この発明による物体検出法の第３実施例について，移動ロボットへの応用を示す説明図である。この発明による物体検出法の第４実施例について，ハンドリング作業への応用を示す説明図である。この発明に用いる形状データを得るための距離センサの原理を示す説明図である。この発明に用いる対象物の形状データを得るための説明図である。従来の物体検出方法の一例を示す説明図である。従来の物体検出方法における対象物が回転した例を示す説明図である。従来の物体検出方法における対象物が種々に回転した別の例を示す説明図である。従来の物体検出方法における対象物が傾いた例を示す説明図である。

符号の説明

１対象物
１０モデルの計測
１１モデルの形状データ
１２モデルの形状データの座標
１３シーンの計測
１４シーンの形状データ
１５シーンの形状データの座標
１６繰り返し処理
１７投票処理
１８投票テーブルの最大値を求める処理
２０モデルの計測
２１モデルの形状データ
２２モデルの形状データの座標
２３モデルの形状データの回転処理
２４回転した形状データの座標
２５シーンの計測
２６シーンの形状データ
２７シーンの形状データの座標
２８投票処理
２９投票テーブルの最大値を求める処理
３０移動ロボット
３１距離センサ
３２距離センサからの測定用レーザ光
４０距離センサ
４１円板
４２三角形の平板
４３四角形の平板
４４距離センサの計測データ
４５円板の形状データ
４６三角形の平板の形状データ
４７四角形の平板の形状データ
４８モデルである三角形の平板の形状データ
４９物体検出処理
５０直方体
５１レーザ光源
５２レーザ光源からのスポット光
５３カメラ
５４カメラ画像
５５レーザ光の照射点
５６円柱
５７直方体の形状データ
５８円柱の形状データ
６０発光部
６１レーザパルス光
６２レーザパルス光の反射光
６３受光部
６４処理部
６５，６６円板上の直交する二つのベクトル
７０モデルの登録画像
７１シーンの画像
７２画像処理用カメラ
７３対象の円板
７４テーブル
７５，７７画像処理用カメラの画像
７６傾いた対象の円板

Claims

距離センサから得られる二次元の形状データに関して，対象物の形状を表す第一の形状データを，前記対象物を含むシーンの形状を表す第二の形状データから検出する物体検出方法において，
前記第一の形状データを構成する点の全て又は一部から成る第一の点群を構成する点を所定の回転角度だけ回転した第三の点群を求め，前記第二の形状データを構成する点の全て又は一部から成る第二の点群を求め，前記第二の点群と前記第三の点群とを構成するそれぞれの点の全ての組合せについて，前記第二の点群を構成する点の位置情報と前記第三の点群を構成する点の位置情報との偏差の頻度を求め，前記回転角度の値を変えながら求めた複数の前記第三の点群において前記偏差の頻度を求める処理を繰り返し，前記位置情報の偏差の頻度が最も多いときの偏差と前記第三の点群の前記回転角度とによって前記第二の形状データ中での前記第一の形状データの位置と方向とを検出することを特徴とする物体検出方法。
前記二次元の形状データは，前記距離センサによって前記対象物の断面形状を計測した位置データであることを特徴とする請求項１に記載の物体検出方法。
前記二次元の形状データは，前記距離センサによって前記対象物を計測した表面形状から抽出した平面部の境界の位置データであることを特徴とする請求項１に記載の物体検出方法。