JPH0239283A - 物体認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的コ （産業上の利用分野） この発明は、３次元物体を視覚情報から認識する物体認
識装置に係わり、特に物体の３次元モデルから作成され
た木構造の物体認識手順を実行して物体を認識する物体
認識装置に関する。

（従来の技術） 画像入力された物体を認識する方法は種々知られている
が、一般には、認識対象となる物体のモデルと上記画像
入力された物体の特徴とを照合して行われる。即ち、認
識対象となる３次元物体から把握される２次元画像の部
分的特徴（特徴要素）の情報を物体モデルとして登録し
ておき、画像入力された認識対象物体から検出される各
部の特徴と上記物体モデルとのマツチング処理をする。

そして、画像人力された物体の各部の特徴と上記物体モ
デルとの照合がとれれば、画像入力された物体を上記物
体モデルによって特定される物体であるとして認識する
ようにしている。

このような物体モデルとの照合による物体認識は、認識
対象となる物体の見え方が定まっている場合には、比較
的簡単に行なうことができる。例えば壁に沿って配設さ
れた配管群の画像をその壁に沿って平行に移動するＴＶ
左カメラより撮像し、上記配管群中の特定の配管結合部
分を検出する場合には、配管群を見る視線方向がある程
度室まっている。このような場合には検出対象物体であ
る上記配管結合部分を比較的簡単に物体認識することが
できる。

ところが、例えば床に置かれた物体をロボットの視覚で
捕えて物体認識するような場合には、その物体を見る方
向が一義的には定まらないので、見る方向によって異な
る２次元画像が把握される。

したがって、このような状況で物体認識を行うには、各
方向から把握される２次元画像を考慮した物体モデルを
作成する必要があり、物体モデル作成処理及び物体認識
処理が非常に複雑化するという問題があった。

即ち、例えば第３図に示すように、円板状の頭部と軸部
とを備えたボルト形状の物体を認識処理する場合につい
て考えると、その物体は見る方向によってｖｌ　−Ｖｌ
ｌで示されるようにその形状が大きく変化する。従って
、物体を見る方向が定まっていない状況下で物体認識処
理を行うには、視線方向をあらゆる方向に変化させた場
合に把握される各２次元画像について各特徴要素をそれ
ぞれ物体モデルとして準備しなければならず、物体モデ
ル作成作業が極めて繁雑であるという問題があった。

そこで、物体の３次元モデルから複数の視線方向に対す
る見え方を、物体の他の部分にあまり隠されずに変形も
少ない２次元的な特徴（例えば楕円、平行線等）で記述
し、物体認識手順を自動作、成するのに適した物体認識
用モデル作成装置も提案されている。

また、このような物体認識モデルを用いて木構造の認識
手順を作成し、比較的効率の良い認識手順を提供した物
体認識装置も提案されている（岡本他、「三次元モデル
からの物体の見え方の階層的分類」情報処理学会、第３
４口金国大会講演論文集、　４Ｄ−６，ｐ１７３５〜１
７３Ｂ、昭和６２年３月発行）。以下、この方法につい
て説明する。

いま、第４図（ａ）に示すようなボルトを考えると、こ
れは２つの円柱１．２というプリミティブから構成され
、これらは同図（ｂ）のように″楕円■■■■、平行線
■■”という計６つの２次元特徴を作る。

そこで、このような２次元特徴によって３次元物体モデ
ルの各視線方向からの見え方を記述して認識手順を作成
する。ここで、作成される認識手順は、各方向の見え方
を類似の特徴要素で順次括って共通の見え方を統一して
行くことにより階層的に分類されたもので、木構造化さ
れている。第５図に第３図のボルトについての認識手順
を示す。

また、この認識手順には、本構造の各ノード（見え方記
述）にそれらを構成する特徴要素が把握できる視線方向
（有効視線方向ｄ）の数が付加されている。

この方式によれば、物体認識を行なう場合、上記のよう
に本構造で表現された認識手順を、上位から下位へ向か
って、かつ有効視線方向の数の多い順に辿って認識処理
を行うので、各ノードにおける認識処理の成功確率は高
く、また、あるノードで認識処理が失敗しても、そのノ
ードの上位のノードまでの認識処理は成功しているため
、これが活かされ、次の認識手順の経路の選択数は大幅
に絞り込めるという利点がある。

しかし、この方式では、物体認識手順の実行順序が、有
効視線方向数や特徴の個数といった予め分っている情報
のみによって決定されるため、認識順序は固定的に定ま
り、認識処理の過程で更に効率的な探索順序を柔軟に決
定することができなかった。

（発明が解決しようとする課題） このように、木構造化された物体認識手順を用いた従来
の物体認識処理では、手順実行の順序が固定的に定めら
れているため、更に効率的な処理を行なうことが困難で
あった。

本発明は、上記問題点に鑑みなされたもので、認識処理
の過程で得た情報をも有効に活用して、認識手順の実行
順序を柔軟に決定し、更に効率的な認識処理が可能な物
体認識装置を提供することを目的とする。

［発明の構成］ （課題を解決するための手段） 本発明は、３次元物体モデルの各方向から見た２次元的
な特徴記述を、類似の特徴要素で順次括って木構造化し
、さらに各ノードに手順実行の固定的な優先度情報を付
加した認識手順（木構造）を供給する手順供給手段と、
認識対象となる３次元物体の２次元画像を入力する画像
入力手段と、前記２次元画像からそれを構成する線分セ
グメント情報を取出す画像処理手段と、前記２次元画像
における指定領域の線分セグメント情報から前記特徴記
述に記述された特徴を検出する特徴検出手段と、この特
徴検出手段で検出済みの特徴とその領域とを対応して記
憶する検出済み領域記憶手段と、前記手順に付加された
手順実行の固定的な優先度情報と、認識処理の過程で得
られる変動的な優先度情報（前記特徴検出時の照合の程
度、前記検出済み領域記憶手段から把握される未検出領
域の線分セグメント情報等から決定される）とに基づい
て前記手順の実行順序を決定する手順評価手段と、前記
決定された実行順序に基づいて前記手順の各ノードを順
次辿った認識処理を実行する手順実行手段とを具備した
ことを特徴としている。

（作用） 本発明によれば、本構造の手順の各ノードに付加された
手順実行の固定的な優先度情報だけでなく、特徴検出時
の照合の程度、前記検出済み領域記憶手段から把握され
る未検出領域の線分セグメント情報等から決定される手
順実行の変動的な優先度情報を用いて手順実行の順序を
決定するので、認識処理の過程で得られた情報を有効活
用できるとともに、極めて効率の良い認識処理を実行す
ることが出来る。

（実施例） 以下、図面に基づいて本発明の一実施例について説明す
る。

第１図は本実施例に係る物体認識装置の概略構成を示す
図である。この装置は、画像入力部１１、画像処理部１
２、手順ファイル１３、手順入力部１４、手順実行部１
５、手順評価部１６、特徴バッファ部１７及び特徴検出
部１８にて構成されている。

画像入力部１１は、認識対象となる３次元物体の画像を
入力し、その２次元画像データを画像処理部１２に出力
する。

画像処理部１２は、画像入力部１１を介して入力された
２次元画像データに物体の輪郭線抽出等、所定の画像処
理を施した後、物体の輪郭線の基本構成要素である円弧
、楕円弧、直線等の線分セグメントを抽出する。

手順ファイル１３には、第５図に示した手順のうち、末
端のノードで示される手順ファイル情報が記憶されてい
る。

手順人力部１４は、上記手順ファイル１３・から手順フ
ァイル情報を入力し、これを類似の特徴要素で括って、
例えば第５図に示すような木構造の手順を生成し出力す
る。この手順の各手順ノードには、そのノードに到達す
るまでに検出されたはずの特徴と、そのノードに到達し
たときに画像中から検出すべき特徴とが記述されている
。各特徴は、楕円、平行線、平行四辺形等の２次元的な
形状の種類と、それぞれの位置、向き、更に楕円ならば
その長径、短径、平行線ならば長さと幅等の大きさを表
す属性値（数値）とによって記述される。また属性値は
、例えば中心値±δのようにある範囲を指定して表現さ
れている。なお、手順ノードには、検出する特徴の大き
さ、有効視線方向数ｄ等が付加されている。これら特徴
の大きさや有効視線方向数は、後述する手順評価部１６
における評価値を決定するための固定的な優先度情報と
なる。

手順実行部１５は、手順評価部１６、特徴バッファ部１
７及び特徴検出部１８と協調動作しながら手順入力部１
４から供給された手順の最上位のノードから下位のノー
ドへと、順次、本構造を辿って手順を実行する。

手順評価部１６は、上記手順実行部１５で複数の手順ノ
ードが選択可能な場合に、手順ノードの実行順序を決定
する手順評価値を手順実行部１５に出力する。

特徴バッファ部１７は、画像処理部１２で抽出された線
分セグメント情報を記憶するとともに、手順実行部１５
で選択された調査すべき手順ノードと、入力画像のうち
の調査すべき領域とを入力して、内部に備えられた調査
済み領域テーブルの参照により重複調査を排除し、更に
線分セグメント情報と特徴記述とを特徴検出部１８に出
力するとともに、その検出結果（特徴データ）を手順実
行部１５に返送するものである。

特徴検出部１８は、特徴バッファ部１７から与えられた
線分セグメントデータと特徴記述とに基づいて、線分セ
グメント情報の組合わせが入力された特徴を構成するか
どうかを検証し、その結果を特徴データして出力する。

以上の構成において、手順実行部１５が手順入力部１４
から手順を受取ると、最上位の手順ノードから順次手順
ノードを選択する。いま、ある手順ノードが選択された
とすると、手順実行部１５は、まず入力画像から目的と
する特徴を調査する、領域を定める。この領域は、検出
する特徴の大きさ、向き、既に検出した特徴に対する位
置関係等に基づき決定される。次にこの調査領域と特徴
の記述とを特徴バッファ部１７に出力し、特徴の検出開
始指令を与える。特徴バッファ部１７は、手順実行部１
５から特徴の検出開始指令を受けると、指令と一緒に入
力した特徴記述と調査領域とを、特徴バッファ部１７が
内部に持っている調査済み領域テーブルと比較する。調
査済み領域テーブルは、例えば第２図に示すように、既
に特徴検出部１８を使って調査を行なった領域の対角２
点の座標と、その領域で検出された特徴記述からなる配
列を記憶したテーブルである。特徴バッファ１７は、手
順実行部１５から入力した調査領域と、調査済みテーブ
ルの調査済み領域とを比較して領域の重なりがあれば、
重なった部分を調査領域から削る。調査済み領域テーブ
ルの全ての領域と比較した後、残った領域があれば、記
憶しである線分セグメント情報で残った領域の中にある
ものを取出し、手順実行部１５から入力された特徴記述
とともに特徴検出部１８へ出力する。特徴検出部１８は
、線分セグメント情報の組合わせが記述に合う特徴を構
成するかを調べ、合うものがあればそれを検出特徴デー
タとして出力する。特徴バッファ部１７は、この特徴検
出部１８からの出力（残った領域の中に存在する特徴デ
ータ）に、調査領域と重なりのある領域内の既に検出さ
れた特徴を、調査済み領域テーブルから取出して加える
、これを特徴データとして手順実行部１５へ出力する。

手順実行部１５は、特徴が存在すれば（特徴データが返
送されたら）、調査した手順ノードのさらに下位のノー
ドへ進み、特徴が存在しなければ（特徴データが返送さ
れなかったら）、調査した手順ノードの上位のノードに
戻り、そこに記述された列のノードへと辿り、本構造の
探索を行なう。

そして、手順中の終端として定められたノードへ到達し
たときに、最上位のノードからそこに到達するまでに辿
った各ノードで検出した特徴の組合わせが、手順で与え
られた対象の物体である判定する。

この手順実行で本構造を探索する途中、ノードに記され
た特徴が画像中に複数（ｎ個）存在することがある。こ
の場合には、最上位のノードから到達したノードまでに
見付けた特徴のリスト（候補リスト）がいま見付けた特
徴の数（ｎ）と同数だけ作られる。以後の手順の実行は
、これら候補リストのそれぞれについて独立に木構造の
探索を打なう。手順実行を始めるには、候補は１個しか
存在しないが、探索を行なっていくに従って、候補が増
加する。候補が複数あるときに、どの候補について本構
造の探索を行なうかは、各候補について選択可能な手順
を手順評価部１６で評価して最も評価の高い手順を選択
できる候補を選べば良い。

また、上記のようにある１つの手順ノードの特徴が同一
画像中に複数ある場合についての手順選択の他に、手順
実行の途中で、次に選択可能な手順ノードが複数選択さ
れる場合がある。この時にも、手順評価部１６に選択可
能な手順ノードを渡し、各手順の評価値を求め、評価値
の最も高い手順を選択する。

すなわち、手順評価部１６は、手順ノード、特徴データ
、調査領域、線分セグメント情報を入力し、その手順ノ
ードに対する評価値を返す。評価値は、手順ノードに予
め付加されている固定的な優先度情報（特徴の大きさ、
有効視線方向数）と、そのノードに到達するまでの過程
で得られた変動的な優先度情報とから決定される。この
変動的な優先度情報は、そのノードに到達するまでの過
程で検出した類似度や、次に調査する特徴の計算コスト
などの情報である。類似度は、例えば手順ノードに記述
された各特徴要素の属性値（位置、大きさ等）と、入力
画像から抽出された線部セグメント情報の属性値（位置
、大きさ等）とを最小二乗法により近似した時の残差の
総計で定められる。

また、次に調査する特徴の計算コストは、以下のように
定められる。次に調査する特徴の調査領域から調査済み
領域テーブルに記録されている領域と重なる部分を削る
。特徴バッファ部に記録されている線分セグメント情報
の中で、残った領域に含まれる線分セグメントの数を調
べ、セグメント数と調査する特徴の種別とから計算コス
トを得ることができる。

このような物体認識装置によれば、特徴間の属性値の類
似度の大きさが手順の確からしさを示し、セグメント数
の少ないもの程、認識時間が少なくて済むことを考慮に
いれた、極めて効率的な探索手順を選択できる。このた
め、認識時間の短縮ひいては認識コストの低減を図るこ
とができる。

なお、以上の実施例は、物体の姿勢が全く不明の場合に
ついても対応できるものであるが、もし、物体の姿勢が
ある範囲で限定されている場合には、見え方の記述デー
タを作る際にその限定された方向のみのデータを作成す
るか、または、全方向の記述データを作成した後、特定
された範囲の方向だけを抽出して認識手順の順序付けを
すれば良い。

このようにして認識手順を作成すると、物体の姿勢、即
ち物体を見る視線方向が限定される分だけさらに効率の
良い認識手順を生成することができる。

［発明の効果コ 以上のように本発明によれば、木構造の手順の各ノード
に付された手順実行の固定的な優先度情報のみならず、
認識処理の過程で得られる変動的な優先度情報をも用い
て手順の実行順序を決定しているので、実行順序を現在
の状況に合せて適応的に変化させることができ、認識処
理を効率良く短時間に行なうことを可能にするという効
果を奏する。

【図面の簡単な説明】 第１図は本発明の一実施例に係る物体認識装置の構成を
示すブロワ、り図、第２図は同装置における調査済み領
域テーブルの構成を示すブロック図、第３図は３次元物
体を種々の方向から見た場合の見え方を示す図、第４図
は同３次元物体の各特徴への識別符号材は処理を説明す
るための図、第５図は本構造の認識手順の概念を示す模
式図である。 １１・・・画像入力部、１２・・・画像処理部、１３・
・・手順ファイル、１４・・・手順入力部、１５・・・
手順実行部、１６・・・手順評価部、１７・・・特徴バ
ッファ部、１８・・・特徴検出部。 鞘許出願人　工業技術院長　飯塚幸三 （ａ） 第 → 図

Claims (1)

【特許請求の範囲】
1. ３次元物体モデルの複数の方向からの見え方を各方向毎
   に２次元的な特徴で記述するとともに、上記各方向の特
   徴記述同士を類似の特徴要素で順次括って木構造化し、
   さらに各ノードに手順実行の固定的な優先度情報を付加
   してなる木構造の認識手順を供給する手順供給手段と、
   認識対象となる３次元物体の２次元画像を入力する画像
   入力手段と、前記入力された２次元画像からそれを構成
   する線分セグメント情報を取出す画像処理手段と、前記
   ２次元画像における指定領域の線分セグメント情報から
   前記特徴記述に記述された特徴を検出する特徴検出手段
   と、この特徴検出手段で検出済みの特徴とその領域とを
   対応して記憶する検出済み領域記憶手段と、前記手順に
   付加された手順実行の固定的な優先度情報と、前記特徴
   検出時の照合の程度、前記検出済み領域記憶手段から把
   握される未検出領域の線分セグメント情報等から決定さ
   れる手順実行の変動的な優先度情報とに基づいて前記手
   順の実行順序を決定する手順評価手段と、前記決定され
   た実行順序に基づいて前記手順の各ノードを順次取出し
   、木構造を辿った認識処理を実行する手順実行手段とを
   具備したことを特徴とする物体認識装置。