JPH02181880A - 三次元形状検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、三次元形状検出装置に関し、特に、距離値を
画像化して扱う距離画像から物体の三次元構造を検出し
、ｌ！刑する三次元形状検出装置に関するものである。

〔従来の技術〕

従来、三次元形状の識別法としては、距離値を用いるこ
とで一意に識別可能となる距離値そのものを能動的に獲
得する能動的距離値獲得法がある。

この能動的距離値獲得法は、三次元形状の識別法として
標準的な方法となっているが、それぞれの画素が距離値
を示す距離画像を用い、距離値を画像化した距離画像を
利用して、三次元形状を識別する場合は、距離値の不連
続な変化部分であるエツジを検出し、例えば、その接続
関係により三次元形状を識別する方法が用いられる。ま
た、距離画像から表面に関する特徴を検出し、この特徴
を利用して、三次元形状を識別する場合は、局所的な表
面の法線方向または局所的な表面の微分成分である曲率
などを用いて、局所的な表面の特徴を検出し、それを統
計的に処理し、大局的な表面形状を獲得して、三次元形
状の識別をおこなう方法が一般的となっている。

〔発明が解決しようとする課題〕

しかしながら、上述のような従来の技術のうち。

能動的距離値獲得法は、一般的に物体の配置に依存する
ので、物体の配置を固定する必要がある。

また、Ｗｔ別に用いる距離値を物体の形状のどの点につ
いて獲得するかを決定する必要があり、識別する形状の
範囲が限定される。また、距離画像からエツジを検出し
てその接続関係から識別する方法では、一般的に検出が
容易な直線エツジを用いる場合が多く、識別可能な形状
の範囲が限定される。この方法は、また、表面よりも局
所的な情報である直線による識別であるため、距離画像
に重畳する雑音に弱いという問題がある。

距離画像から局所的な表面に関する特徴を検出して、そ
れを統計的に処理し、大局的な表面形状を獲得して、三
次元形状の識別をおこなう方法においては、距離画像か
らの局所的な表面に関する特徴として、平面近似により
局所的な法線方向を求めたり、近接画素間の差分により
微分成分であるガウス曲率、平均曲率を求めて、それら
の分布を調べることにより、表面としての形状を検出す
る方法が既に提案されているが、画素単位の局所的な特
徴から処理が開始されるため、やはり距離画像に重畳す
る雑音を考慮しなくてはならず、また、計算量が多大に
なる可能性があるという問題がある。

本発明は、前記問題点を解決するためになされたもので
ある。

本発明の目的は、距離画像から形状の限定が少なく、か
つ雑音の影響を受けにくい三次元形状検出装置を提供す
ることにある。

本発明の他の目的は、距離画像から形状の限定が少なく
、かつ雑音の影響を受けにくい三次元形状の検出方法を
提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は１本
明細書の記述及び添付図面によって明らかになるであろ
う。

〔課題を解決するための手段〕

前記目的を達成するため１本発明による三次元形状検出
装置は、距離画像を入力し等間隔に局所表面の特徴を検
出する局所表面特徴検出手段と、該局所表面の特徴を同
一の表面に属する組に統合する局所表面統合手段と、統
合した同一表面の特徴についての表面方程式を求め表面
の境界線を抽出する表面特徴抽出手段と、距離画像上で
隣接する表面の群について予め準備した所定物体の三次
元形状に関する記述との対応付けを行い三次元形状を識
別する識別手段とを有することを特徴とする。

ここでの局所表面特徴検出手段は、距離画像上のある点
を中心とした円形小領域について中心点の周りの放射状
線分に関しての距離値変化の近似式を最小自乗法によっ
て求める手段と、求めた各方向の近似式について近似誤
差を評価し、前記円形小領域が局所表面の特徴に対応す
るか否かを判断する手段と、求めた各方向の近似式につ
いて係数を評価し、局所表面が平面であるか曲面である
かの種別を判断する手段とを有することを特徴とする。

また、本発明の三次元形状検出方法は、それぞれの画素
が距離値を示す距離画像から物体の三次元形状を検出し
て判別する方法であって、距離画像上で局所的に連続な
距離値変化を持つ複数の局所表面を検出して、各々の局
所表面の種類を識別し、各々の局所表面の間の連続的な
距離値変化の存在を最小自乗法による２次多項式への近
似を用いて調べて統合し、不連続なエツジにより囲まれ
る表面を抽出して、表面の特徴を検出し、表面の特徴か
ら距離画像上で隣接する表面の組とあらかじめ記録され
ている表面の組と対応付けて、物体の三次元形状を検出
することを特徴とする。

ここでの複数の局所表面の検出は、距離画像上の格子点
を中心とする円形小領域内で中心から放射状の各方向の
線分における距離値変化を最小自乗法により２次多項式
の形を持つ近似式で求め、各々の方向の近似式が小さな
近似誤差を有する局所表面を検出し、各方向の近似式の
係数により局所表面の種類を識別し、複数の局所表面を
検出することを特徴とする。

〔作用〕

前述の手段によれば、三次元形状検出装置には局所表面
特徴検出手段が備えられる。この局所表面特徴検出手段
は、距離画像を入力し等間隔に局所表面の特徴を検出し
て、躍層画像からの局所的な連続性を持つ局所表面を検
出する。そして２局所表面統合手段が、検出した局所表
面の間の距離値変化の連続性を調べて、局所表面の特徴
から同一の表面に属する組に統合して、局所表面を統合
する０表面特徴抽出手段は、統合した同一表面に属する
組の各々の表面の特徴から、統合した同一表面の特徴に
ついての表面方程式を求め、表面の境界線を抽出する。

そして、識別手段が、検出する物体の表面を獲得し、検
出した表面の境界線。

表面の特徴から、距離画像上で隣接する表面の群につい
て、予め準備した所定物体の三次元形状に関する記述と
の対応付けをおこなって三次元形状を識別するに こでの局所表面特徴検出手段は、距離画像上のある点を
中心とした円形小領域について中心点の周りの放射状線
分に関しての距離値変化の近似式を最小自乗法によって
求めて、求めた各方向の近似式について近似誤差を評価
する。そして、求めた円形小領域が局所表面の特徴に対
応するか否かを判断し１局所表面を検出する。更に、検
出した局所表面について、求めた各方向の近似式につい
て係数を評価し１局所表面が平面であるか曲面であるか
の種別を判断する。

このように、距離画像から局所的な連続性を持つ局所表
面を検出し、その局所表面間の距離値変化の連続性を調
べることで局所表面を統合して表面を獲得し０表面の特
徴を検出する。そして、あらかしめ準備した検出対象物
体の三次元形状を表面の群で記述した物体モデル表面の
記述と、距離画像から検出した表面の特徴から隣接して
いる表面の群との間で整合性を判別する。この判別の結
果１表面の種類、接続関係等が物体モデル表面記述の一
部と完全に整合する場合、その距離画像から検出された
表面の群は、物体モデル表面記述で記述された物体とし
て識別される。

また、ここでの三次元形状検出方法においては、躍層画
像上で局所的に連続な距離値変化を持つ複数の局所表面
を検出して、各々の局所表面の種類を識別し、各々の局
所表面の間の連続的な距離値変化の存在を最小自乗法に
よる２次多項式への近似を用いて調べて統合し、表面を
得る。得られた表面から、不連続なエツジにより囲まれ
る表面を抽出して、表面の特徴を検出する１次に、表面
の特徴から距離画像上で隣接する表面の組とあらかじめ
記録されている表面の組と対応付けて、物体の三次元形
状を検出する。これにより、それぞれの画素が距離値を
示す距離画像から物体の三次元形状が検出されて、物体
が判別できる。

このように、距離画像から連続な表面を抽出し、あらか
じめ格納された表面の群による物体の三次元形状の記述
と対応付けすることにより曲面を含む物体の識別が可能
となる。各々の表面の抽出のプロセスは、原則的に最小
自乗法を用いているため、距離画像に重畳する正規雑音
に強いものとなっている。すなわち、複数の局所表面の
検出は、距離画像上の格子点を中心とする円形小領域内
で中心から放射状の各方向の線分における距離値変化を
最小自乗法により２次多項式の形を持つ近似式で求め、
各々の方向の近似式が小さな近似誤差を有する局所表面
を検出し、各方向の近似式の係数により局所表面の種類
を識別して、複数の局所表面を検出する。このため１局
所表面の検出のプロセスでは、局所的なデータのみを利
用するプロセスのため並列化することができ、高速な実
行が可能である。また、一連の識別プロセスによる物体
形状の識別の後、更に、その物体の姿勢等を獲得するこ
とにより、物体の移動が検出でき、工業用視覚センサ、
あるいはロボット視覚系への適用が可能となる。

〔実施例〕

以下、本発明の一実施例を図面を用いて具体的に説明す
る。

なお、実施例を説明するための全回において、同一要素
は同一符号を付け、その繰り返しの説明は省略する。

第１図は、本発明の一実施例にかかる三次元形状検出装
置の要部の構成を示すブロック図である。

第１図において、１０は距離画像センサ系、１１は局所
表面特徴検出装置、１２は表面特徴検出装置、１３は三
次元形状識別装置、１４は物体モデル記述群である。

距離画像センサ系ｌＯは、それぞれの画素が距離値を示
す距Ｍ、画像のデータを出力する。この距離画像のデー
タを受けて、局所表面特徴検出装置１１では５局所表面
検出部１１ａが、入力データである距離画像ｚ　（Ｘ）
ｙ）上で等間隔２ｒ毎に半径ｒの小円形領域について、
局所的に連続な表面の一部であることを調べる処理を行
い、距離画像のデータから局所表面を検出する。そして
、局所表面種別判定部１１ｂが、検出した局所表面の種
類を判断する０種類が判断された局所表面のデータは、
表面特徴検出装置１２に入力される。表面特徴検出装置
１２においては、局所表面統合部１２ａが、検出した局
所表面の間の距離値変化の連続性を調べて、局所表面の
特徴から同一の表面に屈する組に統合して、局所表面を
統合する。表面特徴抽出部１２ｂは、統合した同一表面
に属する組の各々の表面の特徴から、統合した同一表面
の特徴についての表面方程式を求め１表面の境界線を抽
出する。これにより１表面特徴検出装置１２からは、表
面の境界線、複数の表面等のデータが得られる。これら
の表面の特徴のデータは、三次元形状識別装置１３に入
力されて、物体モデル記述群１４のデータとの対応関係
が判別される。すなわち、三次元形状識別装置ｌ！１３
は、物体の表面のデータを獲得し、表面の境界線２表面
の特徴等のデータから、距離画像上で隣接する表面の群
について、物体モデル記述群１４で予め準備した所定物
体の三次元形状に関する記述との対応付けを行い、物体
の三次元形状を識別する。

第２図は、局所表面特徴検出装置の要部の構成を示すブ
ロック図である。また、第３図は、局所表面検出部にお
ける円形領域での連続性検出法を説明する図であり、第
４図は、局所表面ペアが同じ表面に含まれるか否かを判
定する評価法を説明する図である。

局所表面特徴検出装置１１は、第２図に示すように１局
所表面検出部１１ａおよび局所表面種別判定部１１ｂと
を備えており、局所表面検出部１１ａには。

複数の距離値変化近似部２１．複数の近似誤差計数部２
２．および局所連続性評価部２３が設けられる。

中心点の座標が（ｘｇ＋　ｙｇ）の円形領域上の局所表
面ＬＳ（ｘｇ、ｙｇ）は、 ＬＳ（ｘｇ、ｙｇ）＝（Ｚ（ｘ、ｙ）　ｌ　（ｘ−ｘｇ
）”＋（ｙ−ｙｇ）２≦ｒ２）となっており１表面多項
式Ｚ（ｘ、ｙ）で表される局所表面となっている。この
表面多項式が２次多項式で表われる場合には２次曲面と
なる。すなわち、局所表面は、２次多項式Ｚ（ｘ、ｙ）
；Ｚ（ｘ、ｙ）＝Ａｅｘ”＋Ｂ−ｙ”＋Ｃ・ｘ曇ｙ＋Ｄ
・ｘ＋Ｅ・ｙ＋Ｆで表される２次曲面に対応する。

第３図を参照して、局所表面検出部１１ａにおける円形
領域での連続性検出法を説明する。距離画像プレーン３
５上の各々の距離画像の点（画素）３６について、例え
ば、小円形領域３９を設定し、この小円形領域３日に対
して、その中心点３０の周りに等角度間隔に一次元の距
離値変化を調べる。例えば。

局所表面として取り出す距離画像の表面多項式が上述の
ような２次多項式Ｚ（ｘ、ｙ）の場合、この表面多項式
の１次元の距離値変化は、１変数の２次式で表現される
。そこで、任意の方向θの線分３１に対応する距離値変
化について、その近似式２式％ を最小自乗法により求める。ここで、Ｓは中心点３０か
らの距離であり、−ｒ≦Ｓ≦ｒである。この小円形領域
３９の中の各方向の線分に対応する距離値変化の近似式
の獲得は、距離値変化近似部２１が行う。次に、近似誤
差計数部２２により近似誤差を調べる。この結果、大き
な近似誤差であれば、その方向θでは近似式が獲得でき
なかったとする。

この近似誤差の計算は、近似誤差計数部２２が行い、そ
の結果を局所連続性評価部２３に受は渡す。中心点３０
の周りの各方向について、近似式の獲得が可能であった
場合、その中心点３０に対応する小円形領域３９は局所
表面として検出する判定を行う。この判定は、局所連続
性評価部２３で行う。局所表面種別判定部１１ｂでは、
局所表面検出部１１ａで検出した各々の局所表面につい
て、その表面形状としての各々の種類（種別）を、その
中心点周りの距離値変化の近似式の係数を用いて、第１
表に示すような分類表により判定する。すなわち、各局
所表面において、各方向の近似式の係数　ａｓ（０≦θ
＜１８０）の値を計算し、例えば、全てのａ、が０に近
い値を取るとき、その局所表面を平面と判定する。また
、例えば、すべてのａ、の符号が正で、かつ絶対値が適
当に大きな値を取るとき、その局所表面を凸球面と判定
する。

（以下この頁余白） 第１表 表面特徴検出装置１２では、複数の局所表面から、同一
の表面に含まれると思われる局所表面を距離値変化の連
続性を調べて統合し、さらに表面形状を表す多項式を最
小自乗法により求める。すなわち、表面特徴検出装置１
２は、局所表面統合部１２ａおよび表面特徴抽出部１２
ｂから構成されており、局所表面統合部１２ａが統合処
理を行う。

第４図は、局所表面ペアが同じ表面に含まれるか否かを
判定する評価法を説明する図である。局所表面統合部１
２ａの統合処理において、局所表面ペアが同一の表面に
含まれるか否かを、距離値変化の連続性の評価から判断
する。第４図を参照して、この距離値変化の連続性の評
価法を説明する。

円形領域から局所表面であるとしたそれぞれの局所表面
４２の中心点（ｘｇｘｔｙｇｚ）４４および局所表面４
３の中心点（ｘ　ｌｈ　ｔ　ｙ　ｆｈ　）４５の間を結
ぶ線分４６に対応する一次元の距離値変化について、最
小自乗法により。

Ｚ（ｘｇｚ”ｔ−ｃｏｓδ＋　ｙｇｚ”ｔ’８ｉｎδ）
＝α奉ｔ”÷β°ｔ÷γの形の近似式を求め、この近似
式の計算を行い。

その近似誤差が小さいことを判定して、局所表面４２と
局所表面４３との間の連続性を評価する。ここで、ｔは
中心点４４と中心点４５との間の距離Ω；Ｑ　＝　［（
ｘｇｚ　−ｘｇ□）”＋（ｙｇｚ＋ｙｇ工）２１１／ｌ
より小さい。また、 δ＝ｔａｎ−’［（ｙ　ｇｚ　−ｙ　ｇ工）／（ｘｇｚ
−ｘｇ工）］である。

この連続性の評価を全ての局所表面のペアの間で行い、
連続であると判断された局所表面ペアを同じ表面とする
ようにグループ化する。このグループ化の処理を繰り返
し行うことにより５局所表面の統合を行い、ある表面に
対応する局所表面の群が獲得される。表面特徴抽出部１
２ｂでは、グループ化した局所表面の群を含む表面につ
いて、その形状の多項式（表面多項式）を最小自乗法に
よる近似で求める。その表面多項式の形は、平面の局所
表面を過半数含む表面については、１次多項式％式％ を用い、それ以外の表面については、２次多項式Ｚ（ｘ
、ｙ）＝Ａ−ｘ”＋Ｂ・ｙ’＋Ｃ−ｘ−ｙ＋Ｄ−ｘ＋＋
Ｅφｙ＋Ｆを用いる。そして、次に距離画像上のすべて
の座標（ｘ、ｙ）について１表面多項式から計算された
距離値と実際の距離画像での距離値の差分を求め、表面
が存在するであろう座標の周囲の差分が激増する点を連
結することで表面の境界線を求める。

最終的に物体の形状を判別する三次元形状識別装置１３
は１表面特徴検出装置１２の出力である表面に関する表
面の記述形式の特徴のデータを入力とし、その表面の記
述形式のデータと、物体モデル記述群１４に予め準備し
である検出対象物体の三次元形状を１表面の集合として
記述した物体モデル表面記述との間で整合性を比較判定
し、これにより物体の識別を行う、この整合性は、表面
に関する情報（表面の種類、平面については境界線形状
など）と、表面ペアの隣接関係に関する情報（平面ペア
については法線が成す角度など）において比較判定する
。すなわち、ある表面の記述に対して、それを完全に含
む形で整合する物体モデル表面記述が存在するとき、そ
の表面の記述は当該物体モデルを表現する物体の具現し
た表面の群であるとみなし、識別を完了する。

以上１本発明を実施例にもとづき具体的に説明したが、
本発明は、前記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は言うまでもない。

〔発明の効果〕

以上、説明したように、本発明によれば、距離画像から
連続な表面を抽出し、あらかじめ格納された表面の群に
よる物体の三次元形状の記述と対応付けすることにより
、三次元形状の識別を行うため１曲面を含む物体の識別
が可能となる。したがって、距離画像から形状の限定が
少なく、かつ雑音の影響を受けにくい検出方法となる。

各々の表面の抽出のプロセスは、原則的に最小自乗法を
用いているため、距離画像に重畳する正規雑音に強いも
のとなっている。更に１局所表面の検出のプロセスでは
１局所的なデータのみを利用するプロセスのため、並列
化することができ、高速な実行が可能である。

また、本発明を用いた一連の識別プロセスによる物体形
状の識別の後、更に、その物体の姿勢等を獲得すること
により、物体の移動が検出でき。

工業用視覚センサ、あるいはロボット視覚系への適用が
可能となり、応用範囲が広がる。

【図面の簡単な説明】

第１図は１本発明の一実施例にかかる三次元形状検出装
置の要部の構成を示すブロック図、第２図は１局所表面
特徴検出装置の要部の構成を示すブロック図、 第３図は、局所表面検出部における円形領域での連続性
検出法を説明する図、 第４図は、局所表面ペアが同じ表面に含まれるか否かを
判定する評価法を説明する図である。 図中、１０・・・距離画像センサ系、１１・・・局所表
面特徴検出装置、１２・・・表面特徴検出装置、１３・
・・三次元形状識別装置、１４・・・物体モデル記述群
。

Claims (4)

【特許請求の範囲】
1. （１）距離画像を入力し等間隔に局所表面の特徴を検出
   する局所表面特徴検出手段と、該局所表面の特徴を同一
   の表面に属する組に統合する局所表面統合手段と、統合
   した同一表面の特徴についての表面方程式を求め表面の
   境界線を抽出する表面特徴抽出手段と、距離画像上で隣
   接する表面の群について予め準備した所定物体の三次元
   形状に関する記述との対応付けを行い三次元形状を識別
   する識別手段とを有することを特徴とする三次元形状検
   出装置。
2. （２）局所表面特徴検出手段は、距離画像上のある点を
   中心とした円形小領域について中心点の周りの放射状線
   分に関しての距離値変化の近似式を最小自乗法によって
   求める手段と、求めた各方向の近似式について近似誤差
   を評価し、前記円形小領域が局所表面の特徴に対応する
   か否かを判断する手段と、求めた各方向の近似式につい
   て係数を評価し、局所表面が平面であるか曲面であるか
   の種別を判断する手段とを有することを特徴とする請求
   項１に記載の三次元形状検出装置。
3. （３）それぞれの画素が距離値を示す距離画像から物体
   の三次元形状を検出して判別する方法であって、距離画
   像上で局所的に連続な距離値変化を持つ複数の局所表面
   を検出して、各々の局所表面の種類を識別し、各々の局
   所表面の間の連続的な距離値変化の存在を最小自乗法に
   よる２次多項式への近似を用いて調べて統合し、不連続
   なエッジにより囲まれる表面を抽出して、表面の特徴を
   検出し、表面の特徴から距離画像上で隣接する表面の組
   とあらかじめ記録されている表面の組と対応付けて、物
   体の三次元形状を検出することを特徴とする三次元形状
   検出方法。
4. （４）複数の局所表面の検出は、距離画像上の格子点を
   中心とする円形小領域内で中心から放射状の各方向の線
   分における距離値変化を最小自乗法により２次多項式の
   形を持つ近似式で求め、各々の方向の近似式が小さな近
   似誤差を有する局所表面を検出し、各方向の近似式の係
   数により局所表面の種類を識別し、複数の局所表面を検
   出することを特徴とする請求項３項に記載の三次元形状
   検出方法。