JPH03295405A - ３次元位置及び姿勢の計測方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は３次元空間の対象物の位置及び姿勢を視覚セン
サによって計測する３次元位置及び姿勢の計測方法に関
し、特に対象物が３次元空間上で任意の位置及び姿勢を
取り得る場合の３次元位置及び姿勢の計測方法に関する
。

〔従来の技術〕

ロボットがハンドリングするような対象物は対象物がデ
ープルの上に置かれたりし７ていて、その位置あるいは
姿勢が特定される場合とそうでない場合がある。

姿勢が特定されている場合は、予め対象物の姿勢等に条
件を設定できるので、その位置及び姿勢を認識すること
は比較的容易である。

しかし、ケーブルによって宙づりされた箱型コネクタの
ような対象物をロボットでハンドリングするように、対
象物の位置、姿勢が３次元的に自由に変化するような場
合は対象物の認識はそれほど簡単ではない。

一方、このような、３次元上の位置、姿勢が特定しない
ような対象物を正確に認識できれば、ロボットのハンド
リング、組立等への応用範囲を飛躍的に広げることがで
きる。

このような対象物の位置、姿勢を計測する方法はステレ
オビジョンを使用する方法と、距離画像を用いる方法が
ある。

〔発明が解決しようとする課題〕

しかし、ステレオビジョンによる方法は、基本的には濃
淡画像の処理であり、取り込んだ画像から微分処理等に
よってエツジを求める必要がある。

対象物が３次元的に姿勢を変え得るような場合は、対象
物の面の姿勢によってエツジを得るのが困難な場合が少
なくない。特に、対象物の２つの面によって構成される
ようなルーフエツジについては、光線が両方の面に同じ
強さで照射されていると、検出がほとんど不可能になる
場合がある。さらに、プラスチック製の箱型コネクタ等
では表面に社名や、品番を示す凹凸があり、エツジ検出
上の障害となる場合が多い。

また、距離画像を用いる方法は距離画像を求め、小領域
毎に法線ベクトルを求め、法線ベクトルが一致するよう
に隣接する小領域を統合していき、領域拡大を行う。領
域同士が隣接する部分については、周平面の交線を求め
る。また、領域の境界のエツジも求められる。そして、
得られた画像と、予め内部にある対象物の形状データと
を照合して、位置及び姿勢を決定する。このために、距
離画像による方法は、長時間を要し、ロボットのハンド
リングのように短時間に対象物の位置、姿勢を認識しな
ければならないような応用には向かない。

本発明はこのような点に鑑みてなされたものであり、３
次元上の位置及び姿勢を変え得る対象物の位置及び姿勢
を短時間で計測できる３次元位置及び姿勢の計測方法を
提供することを目的とする。

〔課題を解決するための手段〕

本発明では上記課題を解決するために、３次元空間の対
象物の位置及び姿勢を視覚センサによって計測する３次
元位置及び姿勢の計測方法において、前記対象物の空間
コード化画像を求め、前記空間コード化画像から前記対
象物の概略の位置を’Ｒ１１ｋし、前記対象物に幅広光
を照射して、光切断画像を求め、前記光切断画像から前
記対象物の特定の平面の３次元空間上の式を求め、前記
空間コード化画像からジャンプエツジを求め、前記ジャ
ンプエツジと前記式から、前記対象物の３次元位置及び
姿勢を求めることを特徴とする３次元位置及び姿勢の計
測方法が、提供される。

〔作用〕

対象物の空間コード化画像を求めることにより、対象物
の概略の位置を認識することができる。この概略の位置
を基に、対象物に幅広光をあて、光切断画像を得る。光
切断画像の線上の点から対象物の特定の平面の３次元上
の式を求める。

次に空間コード化画像からジャンプエツジを求め、ジャ
ンプエツジと平面の式から対象物の位置と姿勢を求める
。

〔実施例〕

以下、本発明の一実施例を図面に基づいて説明する。

第２図は本発明を実施するためのハードウェアの構成図
である。画像処理装置１は通常の３２ビツト構成のワー
クステーションに画像処理用のハードウェアを追加して
構成されている。すなわち、追加されたハードウェアは
撮像信号をディジタルな画像信号に変換し、ワークステ
ーションに送る。

画像処理装置１には画像をモニタするためのモニタテレ
ビ２、画像処理された画像、データ等を表示するデイス
プレィ３、必要な指令、データを入力するためのキーボ
ード４が接続されている。

また、画像処理装置１には液晶コントローラ５が接続さ
れており、画像処理装置１からの指令に従って、投光装
置６内の液晶シャッタアレイ７を制御する。液晶シャッ
タアレイ７の詳細については後述する。投光装置６には
光源装置８から光ファイバ８ａによって、光が供給され
る。

投光装置６からの光は対象物である箱型コネクタ１０に
照射され、その反射光はカメラ９によって受光され、画
像処理装置１に撮像信号が入力され、画像処理装置１で
処理し、対象物１０の３次元上の位置及び姿勢を計測す
る。

第３図（ａ）は空間コード化画像を得るための説明図で
ある。投光装置６からは投光中心６ａから放射状に光が
投光される。この光は液晶シャッタアレイ７を通る。液
晶シャッタアレイ７の詳細を第３図（ｂ）に示す。ここ
では、簡単のために液晶シャッタアレイ７は３枚のアレ
イで構成されているものとして説明する。すなわち、全
体を２分割したアレイ７ａ１４分割したアレイ７ｂ１８
分割したアレイ７ｃを液晶コントローラ５で切す換える
。ここで、各アレイの斜線で示す部分は光を遮断し、そ
れ以外の部分は光を通す。

一方、カメラ９はこれらのアレイ毎に撮影をして、画像
を取り込む。これらの画像に重みを付ける。すなわち、
最初のアレイ７ａでの画像は４、次のアレイ７ｂでの画
像には２、アレイ７ｃでの画像には１の重みを付ける。

このような画像を重ね合わせる。

この結果、空間は空間コード６ｃで示すように、８分割
されたことになる。また、例えば点Ｐ１に対象物がある
とすると、点Ｐ１はカメラ９側から見れば、空間コード
０　（０，Ｏ，Ｏ）であり、この光は光線１１ａである
ことが判別できる。また、点Ｐ１は撮像面９ａ上の位置
から光線１２ａ上にあることが分かる。従って、投光中
心６ａと、カメラ中心９ｂを結ぶ線１３と光線１１ａの
なす角θ１が分かる。同様に反射光線１２ａと線１３と
の角度θ２が分かる。また、投光中心６ａとカメラ中心
９ｂの距離ｄａは分かっているので、３角測量によって
、点Ｐ１とカメラ中心９ｂの位置が計算できる。従って
、空間コード化画像によって、対象物の距離が計測でき
る。

上記の説明では理解し易いように、３個のアレイで、そ
のコードはバイナリコードで説明したが、実際の空間コ
ード化画像は７個のアレイを使用し、空間を１２８分割
し、コードはグレイコードを使用する。グレイコードは
一部に誤り信号があっても、その値が大きく変わらない
から、このような画像を処理するには有用である。

第４図は空間コード化画像を得るために、対象物に投光
して得た画像の例を示す図である。得られた画像は各ア
レイ毎に重みを持たせているので、１５ａの部分が一番
明るく、１５ｂ、１５Ｃと下にいく程暗くなっていく。

この空間コード化画像から対象物である箱型コネクタ１
０の概略の位置を得ることができる。

空間コード化画像から箱型コネクタ１０の概略の位置が
分かると、次に幅広光を当てて、光切断画像を得る。第
５図は第１の幅広光を箱型コネクタに当てた画像の例を
示す図である。第１の幅広光は２１ａ、２３ａの部分が
明で２２ａの部分が暗である。

第６図は第２の幅広光を箱型コネクタ１０に当てた画像
の例を示す図である。第２の幅広光は２１ｂ、２３ｂの
部分が暗で、２２ｂの部分が明である。

第７図は光切断画像を示す図である。第５図に示す第１
の幅広光と、第６図に示す第２の幅広光を当てた画像の
境界値を取ると、第７図に示す光切断画像が得られる。

光切断画像は第１の線２４と、第２の線２５が得られる
。これらの線」二の点を第４図に示した空間コード化画
像を利用して、３角測量によって求める。これらの点の
座標が分かれば、箱型コネクタ１０の面Ｓの式、すなわ
ち面Ｓの３次元空間上の式が分かる。理論的には線２４
と線２５上の３点が分かれば面Ｓは決まるが、実際には
精度を上げるために１０〜２０程度の点をとり、最小２
乗法によって面Ｓの式を求める。

面Ｓの式は一般に、下記の式で与えられる。

ａ　ｘ　＋　ｂ　ｙ　＋　ｃ　ｚ　＋　ｄ　＝　Ｏ（１
）ただし、この式は面Ｓの無限平面を表すのみで、エツ
ジ等は未だわからない。

次に空間コード化画像からジャンプエツジを求めること
を説明する。空間コード化画像の微分値、即ち画像のピ
クセルの値が急激に変化する点を求約る。これによって
、ジャンプエツジが求まる。

第８図はジャンプエツジを示す図である。既に、箱型コ
ネクタ１０の面Ｓの式は分かっているので、エツジ３２
と、エツジ３１が求められればよい。

しかし、画像処理上縦方向のジャンプエツジ３１．３４
のいずれを使用するかは、箱型コネクタ１０の姿勢によ
って異なる。これは、次のように選択する。すなわち面
Ｓの、箱型コネクタ１０の内部に向かう法線Ｖｎが、視
点から見て手前から奥に向かっているときは、遠い側の
ジャンプエツジ３１を選択する。上下のジャンプエツジ
３２．３３の選択も同様にして、ジャンプエツジ３２が
選択できる。

ただし、このジャンプエツジ３１．３２は箱型コネクタ
１０の面Ｓを求めたときと異なり、あくまでも撮像面９
ａ上で得られている。従って、ジャンプエツジ３１，３
２を実際の箱型コネクタｌＯの位置まで座標変換する必
要がある。

第９図はジャンプエツジを撮像面から実際の対象物の位
置に座標変換することを説明するための図である。カメ
ラ中心９ｂと撮像面９ａの距離りはカメラ９によって決
まっている。また、カメラ中心９ｂと箱型コネクタ１０
の面Ｓまでの距離βも面Ｓの式が分かっているので、ジ
ャンプエツジ３１．３２をジャンプエツジ４１．４２に
座標変換できる。

これによって、箱型コネクタ１０の面Ｓ、エツジ４１．
４２が分かり、箱型コネクタ１０の形状寸法から中心点
Ｐｃが計算できる。

従って、箱型コネクタ１０の位置、即ち中心点Ｐｃ、面
Ｓの向き、すなわち法線ベクトルＶｎ、エツジ４１から
法線ベクトルＶｎの回転姿勢が分かる。これによって、
箱型コネクタ１０をハンドリングするための、位置及び
姿勢を決定することができる。これによって、ロボット
のハンドで箱型コネクタ１０を把持することができる。

ロボットのハンドに第２図の投光機６と、カメラ９を固
定して、箱型コネクタ１０をロボットで自動的に把持し
、組立作業を行うことができる。

次にこのような、投光機６及びカメラ９をロボットのハ
ンドに固定して得たデータを簡単に説明する。第１０図
はデータを説明するための箱型コネクタの位置関係を定
義する図である。すなわち、紙面に対し垂直な方向をＸ
軸、横方向をＹ軸、ケ−プルの方向をＺ軸とする。

第１１図は箱型コネクタをＸ軸方向に移動させたときの
測定データを示す図である。図において、横軸は実際の
移動量（ｍｍ）、縦軸は計測誤差である。図のように、
測定誤差は絶対値で０．５ｍｍ以内になっている。

第１２図は箱型コネクタをＹ軸方向に移動させたときの
測定データを示す図である。図において、横軸は実際の
移動量（ｍｍ）　、縦軸は計測誤差である。図のように
、測定誤差は０．３ｍｍ以内になっている。

第１３図は箱型コネクタを２軸の回りに回転させたとき
の測定データを示す図である。図において、横軸は実際
の回転角度（度）、縦軸は計測誤差（度）である。図の
ように、測定誤差は絶対値で０．７度以内になっている
。

第１４図は箱型コネクタをＹ軸の回りに回転させたとき
の測定データを示す図である。図において、横軸は実際
の回転角度（度）、縦軸は計測誤差（度）である。図の
ように、測定誤差は絶対値で０．５度以内になっている
。

このようなデータから、位置の誤差は０．５ｍｍ以内、
角度の誤差は０．１度以内であり、ロボットのハンドリ
ング等に充分使用できる。

次に本発明の全体の制御について述べる。第１図は本発
明の３次元位置及び姿勢の計測方法のフローチャートで
ある。図において、Ｓに続く数値はステップ番号を示す
。

〔Ｓ１〕空間コード化画像を求める。

〔Ｓ２〕空間コード化画像から箱型コネクタ１０の概略
の位置を求め、これを基に幅広光を箱型コネクタ１０に
照射する。このときの幅広光は第５図と第６図に示す幅
広光を与える。

〔Ｓ３〕幅広光を与えた画像から光切断画像を得る。光
切断画像の例は第７図に示した。

〔Ｓ４〕光切断画像上の点列から箱型コネクタ１０の平
面Ｓを求める。

〔Ｓ５〕空間コード化画像からジャンプエツジを求め、
必要なエツジを選択する。ジャンプエツジの例を第８図
に示した。

〔Ｓ６〕撮像面上のジャンプエツジを実際の箱型コネク
タ１０の位置へ座標変換し、箱型コネクタ１０の位置及
び姿勢を求める。座標変換の仕方は第９図を基に説明し
た。

このように、本発明によって、ロボット等で対象物を把
持するためのデータを得るのに充分な精度を得られるこ
とができる。また、これらのデータを得る時間は数秒以
内であり、ロボットのハンドリング等に実用的に使用で
きる。

上記の説明では、対象物の例として箱型コネクタを例に
説明したがこのような形状に限定されることなく、他の
形状のものでも適用することができる。特に、本発明は
ルーフエツジを位置及び姿勢の検出に使用しないので、
ジャンプエツジさえ取れるような対象物で、一部に平面
を有していれば、適用することができる。

空間コード化画像のアレイ数は７としたが、これらの数
字は単なる例であり、カメラ、対象物に応じて、アレイ
数を変えることができる。

〔発明の効果〕

以上説明したように本発明では、空間コード化画像から
対象物の平面とジャンプエツジから対象物の３次元上の
位置及び姿勢を求めるようにしたので、短時間で正確に
対象物の位置及び姿勢を求めることができ、ロボットの
ハンドリングのように実時間で対象物の３次元空間での
位置及び姿勢を認識しなければならないような適用分野
に広く使用することができる。

【図面の簡単な説明】

第１図は本発明の３次元位置及び姿勢の計測方法のフロ
ーチャート、 第２図は本発明を実施するためのハードウェアの構成図
、 第３図（ａ）は空間コード化画像を得るための説明図、 第３図（ｂ）は液晶シャッタアレイの詳細を示す図、 第４図は空間コード化画像を得るために、対象物に投光
して得た画像の例を示す図、 第５図は第１の幅広光を幅広光１０に当てた画像の例を
示す図、 第６図は第２の幅広光を箱型コネクタ１０に当てた画像
の例を示す図、 第７図は光切断画像を示す図、 第８図はジャンプエツジを示す図、 第９図はジャンプエツジを撮像面から実際の対象物の位
置に座標変換することを説明するた約の図、 第１０図はデータを説明するだめの箱型コネクタの位置
関係を定義する図、 第１１図は箱型コネクタをＸ軸方向に移動させたときの
測定データを示す図、 第１２図は箱型コネクタをＹ軸方向に移動させたときの
測定データを示す図、 第１３図は箱型コネクタをＺ軸の回りに回転させたとき
の測定データを示す図、 第１４図は箱型コネクタをＹ軸の回りに回転させたとき
の測定データを示す図である。 第１図 面像処理装置 テレビモニタ デイスプレィ キーボード 液晶コントローラ 投光装置 液晶シャッタアレイ 光源装置 カメラ 撮像面 カメラ中心 箱型コネクタ ジャンプエツジ ジャンプエツジ

Claims (10)

【特許請求の範囲】
1. （１）３次元空間の対象物の位置及び姿勢を視覚センサ
   によって計測する３次元位置及び姿勢の計測方法におい
   て、 前記対象物の空間コード化画像を求め、前記空間コード
   化画像から前記対象物の概略の位置を認識し、 前記対象物に幅広光を照射して、光切断画像を求め、 前記光切断画像から前記対象物の特定の平面の３次元空
   間上の式を求め、 前記空間コード化画像からジャンプエッジを求め、 前記ジャンプエッジと前記式から、前記対象物の３次元
   位置及び姿勢を求めることを特徴とする３次元位置及び
   姿勢の計測方法。
2. （２）前記空間コード化画像は複数のコード板を有する
   液晶シャッタアレイ毎に前記対象物の画像を撮影して得
   ることを特徴とする請求項１記載の３次元位置及び姿勢
   の計測方法。
3. （３）前記コード板はグレイコードであることを特徴と
   する請求項１記載の３次元位置及び姿勢の計測方法。
4. （４）前記光切断画像は互いに反転した幅広光を前記対
   象物に照射して、両者の光強度の変化位置から得ること
   を特徴とする請求項１記載の３次元位置及び姿勢の計測
   方法。
5. （５）前記空間コード化画像から３角測量によって、前
   記光切断画像上の点の位置を計算し、前記平面の式を求
   めることを特徴とする請求項１記載の３次元位置及び姿
   勢の計測方法。
6. （６）前記光切断画像から前記対象物の平面の式は最小
   ２乗法によって得ることを特徴とする請求項１記載の３
   次元位置及び姿勢の計測方法。
7. （７）前記ジャンプエッジは前記平面の法線ベクトルと
   の関係において、選択することを特徴とする請求項１記
   載の３次元位置及び姿勢の計測方法。
8. （８）前記対象物はケーブルによって、３次元空間上に
   宙づりになった箱型コネクタであることを特徴とする請
   求項１記載の３次元位置及び姿勢の計測方法。
9. （９）前記ジャンプエッジを前記３次元空間上の前記対
   象物の平面にシフトして前記対象物の姿勢を求めること
   を特徴とする請求項１記載の３次元位置及び姿勢の計測
   方法。
10. （１０）投光装置及びカメラをロボットの先端に設けて
    、前記対象物の３次元上の位置及び姿勢を認識して、前
    記ロボットで対象物を把持させることを特徴とする請求
    項１記載の３次元位置及び姿勢の計測方法。