JPH0749935B2 - 物体認識装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、近距離に存在する物体の距離分布情報を抽出
して該物体の姿勢を検出する３次元物体認識装置に関す
る。特に、２次元平面の濃淡処理画像では検出の困難な
画像コントラストの低い物体に関しても、スリット状、
格子状もしくは点状等の光投影パターンを投影し、その
光投影パターンからの情報を解析することにより、物体
の距離分布情報を抽出して該物体の姿勢を検出する３次
元物体認識装置に関する。

本発明は工場の生産ライン等で使用される部品の認識を
実用的レベルで実現するものである。

［従来の技術およびその問題点］ 従来のこの種の装置には、以下に述べるような方式がと
られていた。

第９図はその方法の一例を示す図である。この方法は図
に示すように、被検物体100に光源101からの光を照射光
学系102を介して照射し、被検物体100の影を結像光学系
103を介して、光センサ104上に結像し、前記被検物体10
0の影を検出することにより、物体の形状の認識等を行
なう方法である。

また、所定の光投影パターンを投影し、その光投影パタ
ーンからの情報を解析する方法としては、被検物体上に
対応点の抽出が容易なようにスリット光の幅をコード化
したものを投影する方法も試みられている。

前者は、影だけで物体を認識するには、各方向から光を
照射し、複数の光センサにより検出する必要があり、ま
たそのようにしても、微妙な凹凸を検出するには限界が
あった。

一方、後者は光投影パターンを用いているので前者に比
べると検出の精度が高い。しかし、スリットの幅をコー
ド化するために幅を細くすることができず、単位面積当
りの３次元情報は少なくなるといった問題点を有する。

このように従来の技術においては、工場の生産ライン等
の部品の認識、異常検出等に適用するには、技術的に難
しい問題点を有していた。なせなら、生産ライン等に用
いるためには、物体の形状、および態様（色彩、光沢、
模様などをいう）により、その背景とのコントラストが
十分でない場合においても物体の認識を早く、しかも、
正確に行うことのできる能力が要求されるからである。
現在のところ、そのような状態での物体の認識ができる
物体認識装置はないのが実情であった。

本出願人は上記要望に答えるものの基本となる発明とし
て、既に、特願昭60−276084号において、その方法を提
案している。

［問題点を解決するための手段］ 本発明の目的は、上記発明をさらに発展させ、各物体が
それぞれ各姿勢の状態で生産ライン等において運ばれて
いるときにも、被検物体の種類、姿勢、及び方向を正確
に認識できる物体認識装置を提供することにある。

以上のような目的は、 被検物体上に点状の明暗を有する光パターを投影し、そ
の光投影パターンの光センサ上での変化により立体的な
情報を入手する装置であって、予めその被検物体の名基
本姿勢において投影された光投影パターンから得られる
距離データの頻度分布を記憶する標準姿勢記憶手段と、
測定時の前記被検物体の距離データの頻度分布をそのと
きの光投影パターンから求める手段と、前記標準姿勢記
憶手段の距離データの頻度分布と測定時の距離データの
頻度分布との相関を得る演算を行い、前記測定時の被検
物体の姿勢を求める手段、とを有していることを特徴と
する物体認識装置、 により達成される。

本発明装置のシステムとして、以下に述べる実施例で
は、具体的に、 被検物体上に投影された光投影パターンを記憶する被検
物画像メモリと、被検物体を設置したままで光投影パタ
ーンを投影しない状態の画像を記憶する光投影パターン
画像メモリと、 前記被検物画像メモリに記憶されている画像と光投影パ
ターン画像記憶装置の差分をとる画像減算回路と、 前記の画像を減算した結果を２値化し膨張・収縮の処理
を実行する膨張・収縮回路と、 前記画像２値化回路にて得られた画像をラベリング処理
し点状パターンの個数を計数して規定の数以下なら空間
フィルタの条件を変えて処理するドット抽出回路と、 予かじめ任意の面上（例えば光投影パターンを投影する
光学装置の光軸とのなす角がθの平面）に光投影パター
ンの各ドットの重心座標と被検物上に投影された各ドッ
トの重心座標より対応点をサーチし各ドットの画素ズレ
量を求める対応点探索回路と、 前記対応点探索回路より得られた結果の距離のヒストグ
ラム（すなわり頻度分布）を作成し、統計処理（具体的
には相関係数）する距離統計処理回路と、 を具備している。

［作用］ 上記のような物体認識装置によれば、より簡便且つ安価
に、また正確に物体の姿勢の検出を行なうことが可能と
なる。

［実施例］ 以下、本発明の物体認識装置について具体的な実施例に
基づき詳細に説明する。

まず、本発明の一実施例である物体認識装置の概略を説
明する前に本装置における光学系について説明する。

第６図は点状パターンの投影とその投影された画像を撮
像装置に取込む光学系構成図を示したものである。

同図において、１は光源であるところの例えばハロゲン
ランプ、２は光源より発せられる光束を点状パターンに
変換する点状パターンマスクである。第７図は該点状パ
ターンマスク２の正面図を示したものである。点状パタ
ーンマスク２はマスク基体８に縦横それぞれ所定間隔で
四角状の穴９、すなわちスリットＳ_0,0〜Sm,nが形成さ
れている。なお、第７図において、横方向をｘ、縦方向
をｙとし、横方向のスリットをＳ_0,0〜Sm,₀、縦方向の
スリットをＳ_0,0〜S0,nとする。

再び、第６図において、３は点状に変換された点状パタ
ーンを所定の位置に結像させるパターン投影レンズ、４
は距離測定の基準となる基準面、５は基準面４の上に置
かれた３角柱状の被検物、６は被検物もしくは基準面４
より反射した点状パターンを結像させる撮像レンズ、７
は撮像レンズ６を介して結像した像を光電変換する撮像
素子である。

第６図の構成において、光源１から発せられた光は点状
パターンマスク２により、点状のパターン光に変換され
た後、パターン投影レンズ３により、３角柱状の被検物
５のある位置にそのパターンを所定の広がりを持って結
像される。その結像された各スリットパターンは被検物
５の形状によりそれぞれ反射され、撮像レンズ６により
撮像素子７のある面上に結像される。

第８図は被検物が置かれた場合の点状パターンの移動の
様子を説明する図である。この図については後述する。

第１図は第６図の光学系構成を有する本発明に係る画像
認識装置の概略構成ブロック図である。

第１図において、10は第６図のハロゲンランプ１と点状
パターンマスク２とパターン投光レンズ３で構成される
パターン投影装置、12は距離測定の基準となる基準面、
13は基準面12の上に置かれた凹凸のある被検物、11は前
記の撮像レンズ６と撮像素子７より構成される撮像装置
である。

14は撮像装置11の水平同期及び垂直同期信号と撮像素子
駆動回路とから構成される撮像装置制御回路、15は撮像
素子７より出力される映像信号をディジタル信号に変換
するA/D変換回路、16,17はそれぞれA/D変換回路15で変
換されたディジタル信号を一時的に記憶する画像メモリ
，画像メモリ、18は被検物13及び基準面12上に投影
された点状パターンと、点状パターンを点灯しない被検
物13及び基準面12との２つの画像信号の差分をとる画像
差分回路である。

19は画像差分回路18より得られたディジタル画像を２値
化し、膨張・収縮もしくは収縮・膨張処理によって孤立
性ノイズを除去する膨張・収縮回路である。20は膨張・
収縮回路19により孤立性ノイズを除去したディジタル画
像の各ドットにラベリング処理し、検出したドットの総
数を計数しチェックするラベリング処理回路である。21
は各ドットの連結を分離する空間フィルタ処理回路、22
は各ドットの重心を演算する回路、23,24はそれぞれ各
々重心演算回路22で求められた基準面重心座標記憶回路
と被検物重心座標記憶回路である。25は基準面重心座標
データと被検物重心座標データより各ドットの対応点を
サーチする対応点探索回路である。

26は対応点探索回路25に求めらえる距離分布を演算する
距離系統処理回路、27は対象とする被検物の標準的な姿
勢の距離分布データを一時的に記憶する標準姿勢距離ヒ
ストグラム記憶回路である。28は検査中の被検物の距離
分布データと既に登録済みの標準姿勢の距離分布データ
の相互相関係数を求め、得られた相互相関係数の値によ
って被検物の姿勢を判定する距離ヒストグラム相互相関
演算回路である。29はその結果をCRTもしくは信号とし
て表示する姿勢表示回路であり、必要により設けられ
る。

第２図は本発明に係る装置の画像処理の流れを示すフロ
ーチャート、第３図はドット部分の対応点をサーチする
アルゴリズムの説明図、第４図は使用する空間フィルタ
の図、第５図（ａ），（ｂ）はそれぞれ被検物の姿勢差
による距離分布ヒストグラムの相違の説明図である。

次に上記実施例の構成における動作を第１図〜第８図を
参照しつつ、順次詳細に説明する。

まず、第６図に示した光学系構成図により被検物の厚
み、表裏もしくは傾き等の情報を含んだ光を撮像素子に
取込むまでの動作を説明する。

第６図に示されるように、点状パターン投影装置の光軸
Oz Oz′と撮像装置の光軸Od Od′が互いに平行に距離Ｂ
に配置され、かつパターン投影レンズ３と撮像レンズの
焦点距離を各々ｆ、かつ光軸Oz Oz′と光軸Od Od′とが
基準面４に垂直な関係にあるとする。基準面４には３角
柱状の被検物５が撮像素子７の垂直方向（第１図では紙
面に垂直な関係）に沿って置かれていると仮定する。上
記の条件のもとで、点状パターンマスク２の水平方向
（第１図では紙面横方向）に一列状に光を透過するパタ
ーンSz0,Sz1,Sz2,Sz3,Sz4を設け、ハロゲン光源１より
光を照射すると、３角柱５には上記のパターンSz0,Sz1,
Sz2,Sz3,Sz4に対応して被検物５上に光スポットS0,S1,S
2,S3,S4が投影される。さらに光スポットS0,S1,S2,S3,S
4からの反射光は撮像レンズ６によって撮像素子７上のS
i0,Si1,Si2,Si3,Si4に結像される。

第８図は３角柱５が置かれた状態で撮像素子上に結ばれ
たドットパターンを点線の矩形で示し、３角柱５が置か
れていない状態、すなわち基準面４に投影されたドット
の撮像素子上７に結ばれたドットパターンを実線の矩形
で示した図である。なお、図中の△Si0〜Si4は基準面の
みのドットの像と基準面４の上に３角柱５が置かれた状
態のドットの各々に対応するずれ量である。第６図で説
明した光学的配置、条件が固定されている限り、ずれ量
△Ｓと光軸方向の被検物５もしくは基準面４迄の距離ｄ
の関係は次式で示される。

かつ上記の条件下では対応するドットは各々同一方向に
シフトするので、撮像素子７の水平走査方向と第７図に
示すようなドットの透過部分９のｘ方向を一致させれ
ば、単に横方向にサーチするだけでずれ量△Ｓは求まり
（１）式に従って、各光投影パターン投影された点の距
離ｄの測定が可能となる。

次に上記のようにして各スポット毎に得られた距離情報
を用いで、被検物の種類、姿勢、及び方向を得る電気的
な処理動作を説明する。

第１図は、前述したように基準面12に置かれた凹凸のあ
る被検物13の表裏の判定をする画像処理装置の動作を説
明するためのブロック図であり、以下に、その処理動作
と画像処理アリゴリズムをフローチャートである第２図
を参照しながら説明する。

パターン投影装置10より投影されたドットパターンは基
準面12、被検物13で反射した後、撮像装置11と撮像装置
制御回路14によってアナログの映像信号に変換される。
上記アナログ信号はA/D変換回路15にてディジタル信号
に変換され、画像メモリ16に一時記憶される。一方、
画像メモリ17にはパターン撮像装置10の光源をoffに
したときの被検物の映像が一時記憶されている。ここ
で、画像メモリ16の画像メモリ17は単なるシフトレ
ジスタICであってもよい。ここまでの処理フローが第２
図におけるステップS5,S6に相当する。なお、基準平面
に投影されたパターンを取りこみ、第８図で実線で示し
た基準となる各ドットの重心を求める動作は前記の動作
に先だって行われている（ステップS1〜S4）。

次に画像周辺部のシェーディングと外部散乱光の影響を
低減させるため、画像メモリの画像データ（濃淡デー
タ）から画像メモリの画像データの差分を画像差分回
路18にて得る（処理フローのステップS7に対応）。

次に上記差分で得た濃淡画像データを任意のレベルで２
値化した後、膨張・収縮回路19にて孤立性ノイズを除去
する（ステップS8,S9）。孤立性ノイズとは第３図上の
記号N1〜N4に対応し、ドットパターンとは無関係で２値
化する際に生じる数画素程度の孤立したノイズを云う。
特に、第３図中のN2,N4などはドットパターンの同一ラ
イン近傍にあり測定誤差を誘発する要因となる。孤立性
ノイズを除去された画像データは、前もって採られた基
準面上に投影されたドットパターンの重心座標Cijの表
（ステップS4で得られており、実際にはRAM等に記憶さ
れている）を参照して、ラベリング処理領域の指定して
ラベル付けをラベリング処理回路20で行なう。第３図中
のMi−1,Mi,Mi＋１はｉ行目にあるドットパターンのラ
ベリング処理領域を示し、この領域内でのラベル付け処
理することを意味している。この処理によって第３図の
Si−1,j＋２とSi,j＋２の連結、Si,j＋4 Si＋1,j＋４の
連結による重心座標の誤まりを低減している。また、こ
の回路ブロックではドット総数cntを計数、チェックし
ており、指定されたドット総数△clの許容差内にある場
合はドットの抽出が正常に行なわれたとして次のブロッ
クの空間フィルタ処理回路21をパスして重心演算回路22
へと処理が流れる（ステッS11のNO）。

空間フィルタには様々な型のものがあるが、本発明にお
ける空間フィルタは第３図のNoのように比較的大きなノ
イズでドットSijの大きさより小さなノイズであれば非
常に有効である。

第４図は画素サイズで半径がｒ画素の円形の空間フィル
タ51を示した図で、これを用いてNoのようなノイズを除
去する。まず円形の空間フィルタ51の直径を求めるドッ
トの最少幅より小さめに指定し次のような処理をさせ
る。ノイズNoの最周囲の画素の位置データをPi,j（ｉ＝
0,1…ｊ＝0,1,…）ノイズNoの画素の集合を｛ＰNO｝空
間フィルタ51の画素の集合を｛Pe｝とする。空間フィル
タ51の全要素がノイズNo内に含まれるように移動したと
きの空間フィルタ51の重心Ｏ集合｛ＰNO erode｝、さら
に｛ＰNO erode｝内を空間フィルタ51の重心Ｏが全て含
まれるように移動したときの論理画像ＰNO openは、ノ
イズNo内に内接する空間フィルタ51の和集合をとったこ
とと等価になり、空間フィルタ51の半径ｒを適宜選び指
定することによって、任意のサイズ以下のノイズを等方
的に消去することが可能となる。ここまでの処理フロー
がステップS10〜ステップS12である。

重心演算回路22で求められた重心座標データは、基準面
重心は基準面重心座標記憶回路23に、被検物重心は被検
物重心座標記憶回路24に各々一時的に記憶され、基準面
重心と被検物重心をｘ座標負方向に探査することによ
り、各ドットの対応点を、対応点探索回路25によって求
める（ステップS13）。

上記処理にて求められた画素ずれ量△Sijは距離統計処
理回路26によって画素ずれ量もしくは距離分布の度数の
ヒストグラムとしてデータ変換される（ステップS1
4）。一方、標準姿勢距離ヒストグラム記憶回路27には
存在しうる標準的な被検物13の姿勢の距離分布のヒスト
グラムが既に登録されている。この事例では裏、表の２
姿勢である。さらに、距離ヒストグラム相互相関演算回
路28で検査中の被検物の距離分布ヒストグラムと標準姿
勢の距離分布ヒストグラムの相互相関計数colを計算
し、colの値によって姿勢を判定、姿勢表示回路29にそ
の結果を表示する。なお相互相関計数は次式により求め
られる。

ここで、h1（△Ｓ）,h2（△Ｓ）は標準姿勢の距離分
布、検査中の被検物距離分布を△Ｓを画素ずれ量もしく
は距離を、ｔは画素ずれ量もしくは距離の最大値を示
す。

以上が、ステップS14〜ステップS21の処理フローであ
る。このフローでは、まずcolが0.95より大きいかどう
かを調べ、大きくなければ（ステップS16のNO）、被検
物でなく異物が混入していると判断し（ステップS2
0）、大きければ、被検物の姿勢は表か裏のどちらかで
あると判断する（ステップS17）。次に、表か裏か判断
する境となるcol＝0.98より大きいかどうかを調べるこ
とにより（ステップS18）、被検物の姿勢が表あるいは
裏か判断を下す（ステップS19あるいはステップS21）。

第５図（ａ），（ｂ）にステップS15で使用される予め
登録されている被検物13の画素ずれ量のヒストグラムを
示す。第５図（ａ）が被検物13が表の状態で配置された
場合のヒストグラム、（ｂ）が被検物13が裏返しの状態
の画素ずれ量ヒストグラムである。このように被検物13
の基本となる状態の画素ズレ量をヒストグラムにするこ
とにより、計算の処理が早く正確になる。

本発明は前記実施例に限らず種々の変形、応用が可能で
ある。

例えば、前記実施例中、距離ヒストグラム相互相関演算
回路28の代りに、より単純に同一距離の差分の大小によ
って識別し、速く被検物の種類、姿勢の判別をすること
もできる。

また、パターン投影装置10の光源として発光ダイオード
アレーを用いて赤外光を発光させて、光投影パターンを
検出することにより外的環境の変動に強い装置の構成と
することもできる。

また、前記実施例では、被検物が表と裏の２種類である
場合を例にとったが、その被検物の置き方により、３つ
以上の基本姿勢をとる場合がある場合には、それらの各
状態ごとに標準姿勢の距離分布ヒストグラムを登録する
のは当然であり、また、生産ライン上にのる物体が、複
数個ある場合にはそれら物体特有の所定数の前記標準姿
勢の距離分布ヒストグラムを用意することも容易に理解
される。

［発明の効果］ 以上説明したように、予め、その被検物体の各基本姿勢
において投影された光投影パターンから得られる距離分
布情報を記憶する標準姿勢記憶手段を備え、測定時の前
記被検物体の距離分布情報をそのときの光投影パターン
から求め、前記標準姿勢記憶手段の距離分布情報と測定
時の距離分布情報とを所定の演算により比較することに
より、被検物の姿勢を簡便に精度よく正確に抽出する効
果がある。

【図面の簡単な説明】

第１図は本発明に係る物体認識装置の概略構成ブロック
図である。 第２図は本発明に係る物体認識装置の処理フローを示す
フローチャートである。 第３図は対応点サーチのアルゴリズム説明図である。 第４図は電気的な空間フィルタの模式的な図である。 第５図（ａ），（ｂ）はそれぞれ予め登録されている被
検物の画素ずれ量のヒストグラムを示す図である。 第６図は点状パターンの投影とその投影された画像を撮
像装置に取込む光学系構成図を示したものである。 第７図は点状パターンマスクを示す図である。 第８図は被検物が置かれた場合の点状パターンの移動の
様子を説明する図である。 第９図は従来の物体認識装置の構成を示す斜視図であ
る。 10:パターン投影装置 11:撮像装置 12:基準面 13:凹凸のある被検物 26:距離統計処理回路 27:標準姿勢距離ヒストグラム記憶回路 28:距離ヒストグラム相互相関演算回路

Claims (2)

【特許請求の範囲】
1. 【請求項１】被検物体上に点状の明暗を有する光パター
   ンを投影し、その光投影パターンの光センサ上での変化
   により立体的な情報を入手する装置であって、予めその
   被検物体の名基本姿勢において投影された光投影パター
   ンから得られる距離データの頻度分布を記憶する標準姿
   勢記憶手段と、測定時の前記被検物体の距離データの頻
   度分布をそのときの光投影パターンから求める手段と、
   前記標準姿勢記憶手段の距離データの頻度分布と測定時
   の距離データの頻度分布との相関を得る演算を行い、前
   記測定時の被検物体の姿勢を求める手段、とを有してい
   ることを特徴とする物体認識装置。
2. 【請求項２】前記標準姿勢記憶手段が複数の異なった形
   状及び態様の被検物体の距離データの頻度分布を記憶し
   ていることを特徴とする特許請求の範囲第１項に記載の
   物体認識装置。