JPH0685183B2 - ２次元像による３次元物体の同定方法 - Google Patents

Description

【発明の詳細な説明】 以下の順序で本発明を説明する。

A.産業上の利用分野 B.開示の概要 C.従来の技術 D.発明が解決しようとする問題点 E.問題点を解決するための手段 F.実施例 F1.基本的方法（第１図） F2.ハフ変換（第２、第３、第４図） F3.基本物体のハフ空間の表現（第５図） F4.複合物体のハフ空間表現（第６図、第７図） F5.線フレーム・モデルの境界グラフ（第８図、第９
図） F6.本発明を具体化したロボツト制御システム（第10
図） G.発明の効果 A.産業上の利用分野 本発明は３次元物体を認識即ち同定する方法に関する。
さらに具体的には、本発明は物体の２次元像及びこの像
のハフ（Hough）変換を使用して３次元物体を認識即ち
同定する方法に関する。本発明は物体もしくは部品を例
えばTVカメラで眺め２次元のTV像に基づいて、眺めた物
体の種類及び方向を決定しなければならない例えばロボ
ツト装置もしくは自動部品取扱い装置に応用される。

B.開示の概要 例えばTVカメラによつて発生された２次元像から３次元
の物体を認識するために、像のハフ（Hough）変換表現
を発生し、ハフ変換表現を構成するクラスタ（集積）点
の特定の配置即ち構造を決定する。この特定の配置につ
いての情報を既知の物体のモデルのハフ変換表現の類似
の記憶情報と比較する。像の一部を一つもしくはいくつ
かの物体のモデルの一部と関連付け、以て線即ち稜
（辺）の交点に存在する像の頂点が既知の物体のモデル
の頂点に関連付けられる。モデル及び物体の頂点の対応
に関する知識により、頂点の正確な一致が得られ、未知
の物体の認識及びその相対的方向が得られる。このモデ
ルが基本物体である時は、手順は未知の物体がどの基本
物体より成るかを決定し、モデルが一つ以上の複雑な物
体を完全に記述する線フレーム・モデルである時には、
手順はどのモデルに未知の物体全体が最も適合するかを
決定する。

C.従来の技術 多くの工業上の応用では、汎用ビジヨン装置が重要な役
割を果している。品質管理の分野では、組立ての完全生
をテストしなければならず、自動製造分野では、機械の
部品を認識して、その位置もしくは方向を決定し、融通
性のあるマニピユレータの制御をサポートしなければな
らない。通常、取扱われるべき装置もしくは機械の部品
を含む光景についてはテレビジヨン・カメラの出力の様
な２次元画像だけが使用されている。1968年米国マサチ
ユーセツチユ州ケンブリツジのMITプレス刊「光学的及
び電気光学的情報処理」（ジエイ・テイ・チペツト等
編）の第159頁乃至第197頁のエル・ジー・ロバーツ著の
論文「３次元固体の機械による知覚」（L.G.Roberts“M
achine perception of three-dimensional solids"、pu
blished in“Optical and Electrooptical Information
Processing"（Eds:J.T.Tippett et al.）MIT Press、C
ambridge、Mass.、1968、pp 159−197）は２次元の写真
に基づく３次元物体の認識のための手順を開示してい
る。この方法では同定に必要な多角形を図形の中に見出
さなくてはならない。困難な点は多くの図形で、物体を
表わし、多角形を形成する線が雑音もしくは局所的中断
を生ずるスポツトによつて完全でなく、多角形の発見が
出来ない点にある。米国特許第3069654号は複雑なパタ
ーンを認識するための方法及び装置を開示している。こ
の特許は像中の線のハフ交換を発生するための基本的手
順を開示している。次にハフ変換が像中の線の位置及び
方向を決定するのに使用される。これ等の線は泡箱中の
飛跡もしくは手書きの署名である。しかるに、これにお
いては、物体の認識については考慮されていない。

ハフ変換を使用して物体もしくは機械の部品を認識する
或る提案がなされた。しかしながらこれ等の方法は高次
元（２次元以上）のハフ変換もしくは物体の空間パラメ
ータ（例えば、表面の法線もしくは深さ情報）について
の若干の追加の知識を必要とする。これ等の方法は多く
の計算を必要とする。

D.発明が解決しようとする問題点 本発明の目的は物体の２次元像に基づいて３次元物体を
認識しもしくは同定する方法を与える事にある。

本発明に従えば物体から得られた２次元像のハフ変換を
使用する物体の認識方法が与えられる。

E.問題点を解決するための手段 ２次元の物体の像のハフ変換によつて物体を認識するた
めに、本発明はハフ変換領域（ハフ空間表現）中にクラ
スタ（集積点）の特定の構造もしくは配置があるかどう
かを決定する。この様なクラスタはハフ空間表現を構成
している交差する線の中心である事がわかつている。見
出されたクラスタ構造は既知のモデルについて得られた
他のクラスタ構造と比較され、その比較の結果が２、３
の候補モデルの一つの選択となり、この様なモデルの頂
点（隅の点）と物体の像の頂点間の相関が得られる。ハ
フ変換技法を使用して、頂点間の正確な一致が得られ、
必要ならばいくつかの候補モデルのうち一つが選択さ
れ、モデルの基本的方向に関する物体の位置もしくは方
向が決定される。

モデルは平行六面体、四面体等の基本物体でよく、これ
等の基本物体の一つもしくはいくつかが未知の物体を構
成している事がわかつている。又モデルは線フレーム
（針金枠）モデルでもよい。このモデルの各々は３次元
表現中の一つの物体の完全な記述を与え、異なる物体の
有限の集合だけが認識出来る。

モデルについては、２次元ハフ空間表現中に生ずる特定
のクラスタ構造の特徴が準備され、記憶されて比較に使
用される。認識に使用される基本的構造は２つの以上の
クラスタの共直線性もしくは直線配列体であり、特定の
構造は例えば垂直共直線、クラスタで正確に交差する共
直線、この様な交差する共直線の集り等である。

本発明は単に２次元像のハフ変換を使用し、特定の構造
のクラスタ配列についての情報を抽出し、これ等を既知
のモデルのクラスタ配列についての記憶データと比較す
る事によつて物体の有効な認識及びその位置もしくは方
向の決定を行う。たとえ利用可能な像が雑音もしくは線
の中断もしくは部分的にかみ合つた辺を含むために完全
でなくても、本発明の認識方法は信頼性が持てる。

F.実施例 F1.基本的方法 第１図は本発明を応用する機械的ビジヨンの原理を示し
た図である。立方体を含む３次元（3D）の物理的光景は
センサ、例えばTVカメラによつて２次元（2D）のデイジ
タル像に写像される。獲えられた像はここで計算機によ
つて処理され、物体の稜、頂点等の像の特徴が抽出され
る（第１図の上半分参照）。他方抽象的な物体モデルは
例えばCADデータ構造の形で計算機中に表現されてい
る。例えば立方体はその頂点の座標の３つの組及びそれ
等の互に対する空間関係によつて３次元座標中の単位立
方体として表現されている。並進、回転及び基準化（縮
小拡大）といつた３次元座標交換を行い、その後の背景
（perspective）変換によつて計算機の像が発生される
（第１図の下半分を参照）。この2D表現は物体「立方
体」を実際の光景から得られた像に突合せるのに使用さ
れる。この事を念頭において、物体を同定する原理は次
の様に現わす事が出来る。実際の像及び或る物体のモデ
ルが与えられたものとして、決定されるべきパラメータ
を有する或る座標変換の下に実際の像に最も良く適合す
るモデルを発見する。例えば多面体の場合には、実際の
像から抽出された頂点を使用し、これ等をモデルの頂点
に関連付ける事が計算上のコストの点から有利である。
本発明はハフ変換及びハフ空間表現の解析によつて物体
の認識のために物体の頂点を使用するという強力な特徴
（直線）検出方法を利用する。

F2.ハフ変換 ハフ変換は像中の共直線性の像点、例えば直線を検出す
る雑音に強い変換方法である。その原理を説明するため
に第２図を参照されたい。直線はａ、ｂをパラメータと
して次式で表わされる。

ｙ＝ax＋ｂ この式をｂに関して解くと、次式が得られる。

ｂ＝−ax＋ｙ 座標値ｘ、ｙを有する像点はハフ空間と呼ばれるａ、ｂ
空間では明らかに直線に写像される。ハフ変換は交差す
る線を集める。その線の勾配は対応する像点のｘ、ｙ座
標値によつて決定される。極めて有用な性質は第２図か
ら明らかな如く、共直線（同一直線）上の像点（P₁、
P₂、P₄、P₅）がハフ空間中でクラスタと呼ばれる正確に
一つの区別可能な位置で交わる直線（L₁、L₂、L₄、L₅）
に対応する点にある。従つて、ハフ空間のクラスタを抽
出する事によつて直線を容易に検出する事が出来る。直
線の位置及び方向はハフ空間の対応するクラスタの位置
によつて完全に決定出来る。いくつかの異なる直線はハ
フ空間の対応する位置で、にくつかのクラスタを生ず
る。

第３図はハフ変換による処理例を示す。立方体を含むデ
イジタル像（第3a図）に対して簡単な稜（辺）検出及び
閾値動作を適用する。結果の２値階調像（第3b図）がハ
フ変換に対する入力となる。ハフ変換の結果が第3C図に
示されている。ハフ変換の入力には雑音が多く、或る線
にはギヤツプがあるが、明らかに６個の区別可能なクラ
スタが認められる。これ等のクラスタは容易に検出出来
る（結果が第3d図に示されている）。一般に立方体は
（２次元で）９個の稜を提示するので６個のクラスタで
なく９個のクラスタがある事が予想される。しかしなが
ら垂直な稜（勾配が無限大の稜）のクラスタはハフ空間
では明らかに無限遠の点に写像される。無限遠の問題は
像に対して２回ハフ変換をほどこす事によつて容易に避
ける事が出来る（第４図参照）。第１の段階で、２値階
調像（第4a図）に直接ハフ変換がほどこされ、第２の段
階で90゜回転した像がハフ変換される（両段階は適切な
ハフ空間配列体のインデキシングによつて同時に計算出
来る事に注意されたい）。第4b図に示された結果の対ハ
フ空間は立方体の稜に対応するクラスタの完全な組を含
んでいる。抽出されたクラスタ（第4C図参照）を像空間
に逆変換すると第4d図に示された現像のハフ空間表現を
生ずる（逆方向ハフ変換は順方向ハフ変換と同等であ
る）。ハフ空間表現自体は頂点の突合せ、即ち物体の認
識に必要とされる物体の頂点を与えない事は明らかであ
る。物体の認識のための頂点の突合せが、どの様にして
ハフ変換を使用した本発明によつて達成されるかを次に
説明する。

〔３次元物体認識の新規な方法〕 多面体像のハフ空間表現では、クラスタは夫々の多面体
或は多面体の少なく共一部もしくはその特徴部を表わす
特定の構造もしくは配列をなしている事がわかつてい
る。次にこの様な構造もしくは配列を示す。

（１） 同じ交点を有する直線（稜）に対するクラスタ
はハフ空間において水平に整列する。

（２） 同じ勾配を有する直線（平行線）に対応するク
ラスタはハフ空間で垂直に整列する。

（３） 物体の可視的な非共直線稜の数はこの物体に対
応するクラスタの数に等しい。

（４） 像空間で一つの区別可能な点（頂点）で互に交
差するｎ本の直線はハフ空間でｎ個のクラスタの共直線
配列（ｎクラスタ共直線）に対応する。ハフ空間のクラ
スタの垂直配列も又クラスタ共直線であり、従つて無限
速で互に交わる平行線と考える事が出来る。

（５） 一つの区別可能なクラスタ位置において互に交
わる２もしくはそれ以上のクラスタ共直線は共直線上に
ある頂点に対応する。

F3.基本物体のハフ空間表現 上述の性質は複雑な多面体物体の分解及び表現に有用な
簡単な基本物体を特徴付けるのに使用出来る。第５図は
いくつかの例を示している。

〔四面体〕

通常は四面体の２つの面を（１もしくは３つの視角か
ら）眺める事が出来る。平行な稜は存在しないのでハフ
空間にはクラスタ点の垂直配列は存在しない。３本の稜
が交わつている２つの頂点（Ａ、Ｂ）が存在し（A:1、
３、５及びB:1、２、４）、これ等は一本の共通な稜
（１）を共有している。従つてハフ空間では四面体は正
確に一つのクラスタを共有する２本の３クラスタ共直線
によつて表わされる。

〔プリズム〕

通常はプリズムの２つの面を（１もしくは３つの視角か
ら）眺める事が出来る。第５図に示された様に２対の平
行な稜が存在し、これ等はハフ空間では２対の垂直に整
列したクラスタ点の配列（破線で示されている）として
現われる。稜（４）が頂点（Ａ）及び（Ｂ）に共有され
ていて、３つの稜が交わる２つの頂点（Ａ、Ｂ）（A:
1、３、４及びB:2、４、６）が存在するのでハフ空間で
は正確に一つのクラスタ位置で互に交わる２本の３クラ
スタ共直線及び追加の孤立したクラスタ（５）が予想さ
れる。

〔平行六面体〕

通常、平行六面体の３つの面（１もしくは２つの視角か
らみて）が眺められる。３対の平行な稜（１、２、3;
4、５、6;7、８、９）が存在するので、各３つのクラス
タを有する３本の垂直クラスタ配列（破線）が予想され
る。３つの稜が交わる４つの頂点（A:1、４、8;B:2、
５、8;C:3、５、7;D:2、６、９）が存在し、これ等はハ
フ空間で４本の３クラスタ共直線に対応している。中央
の頂点Ｂはその稜をＡ、Ｃ、Ｄと共有しているので、
Ａ、Ｃ、Ｄに対応する３クラスタ共直線は正確に３つの
異なるクラスタ点でＢの３クラスタ共直線と交わつてい
る。結果の構造体は文字ｚとこれと交わる追加の斜線よ
り成ると考える事が出来る（以下ｚ構造体と云う）。

上述の例はどの様にして多面体の物体の異なる頂点がハ
フ空間中で同定され、従つてモデルの頂点と関連付けら
れるかを示したものである。この物体の像及びモデル中
の頂点間の関係を示す情報を使用して、さらに例えば上
述のエル、ジー、ロパーツの論文に示された幾何学的頂
点突合せ法を使用して物体の突合せが出来る。

F4.複合物体のハフ空間表現 複雑な多面体物体は次の２通りの方法で分析して同定す
る事が出来る。（Ａ）ハフ空間を基本物体に対応する部
分構造に相継いで分解する、（Ｂ）ハフ空間を線フレー
ム・モデルのハフ空間表現と比較する。

（Ａ） 基本物体への分解 計算機を使用しないて十分理解出来る簡単な例によつて
分解の原理を説明するために、第６図に示されたＴ字状
物体を選択する。頂点はVi（ｉ＝１……16）で示し、稜
はEi（ｉ＝１……24）で示す。しかしながらＴ字形のす
べての稜及び頂点のうち一部だけを第６図の像で見る事
が出来る。図示の方向からは多面体は３つの稜が交わる
９個の頂点を示している。図示の方向から見ると、多面
体は３つの稜が交わる、９個の頂点を有する。これ等の
頂点はハフ空間で９本のクラスタ共直線に対応する（こ
れ等も又ハフ交換によつて抽出出来る）。第６図で像空
間中の共直線性関係にある線分はハフ空間の一つのクラ
スタ点に対応し、従つて稜E5/E19及びE6/E20の区別はハ
フ空間表現を発生するのに使用したハフ・シミユレータ
に単に装置を付加する事によつて行われる。第６図の共
直線を表にすると後出の第１表が得られる。各行は一つ
の共直線を示している。左の列は各共直線の連番指標を
含み、次の３つの列は共直線を構成するすべてのクラス
タの指標を含む。最も右の列はその共直線中のクラスタ
点のうち、どれだけが他の共直線を共有しているかを示
した数である。

ハフ空間の分解には基本物体のハフ・クラスタ表現であ
る、ハフ空間中の既知の部分構造の認識を必要とする。
第５図に示された基本物体の集合を使用した場合、分解
は最も複雑な基本物体、即ち今の場合平行六面体によつ
て開始する。対応するハフ・クラスタ構造はｚ構造であ
るから、第６図に示されたハフ空間のクラスタ・パター
ンを、例示のＴ字状物体に対応する一部、出来ればすべ
てのクラスタが一つもしくはそれ以上のｚ構造体で覆う
様に探索する。この問題に対する解を与えるために第１
表をわずかにならべかえる事によつていわゆる共直線ク
ラスタ包括表を造る。表中の１はどのクラスタがどの共
直線に属するかを示している。ｚ構造体は他の共直線
と、すべての３つのクラスタを共有する一つの中心の共
直線を含むので、この様なｚ構造体の中心の共直線の候
補として第１表の最右列に３を有する４つの共直線を選
出する。従つて第２表を各々がすべてのクラスタを他の
共直線と共有する共直線S2、S3、S6及びS8に限定し、こ
れ等の他の共直線が包括するクラスタを０で表わすと、
第３表に示された縮小共直線クラスタ包括表を得る。表
から明らかな様に、共直線S2及びS3にはｚ構造体の中心
の共直線となる２通りの方法がある。例えば共直線S2は
クラスタ５を共直線S1と共有し、又共直線S3とも共有し
ていると考える事が出来る。従つて第３表の２つの共直
線S2及びS3の各々には２行（ａ）及び（ｂ）が与えられ
る。夫々のｚ構造体はS1−S2（ａ）−S6−S8/S3−S2
（ｂ）−S6−S8/S1−S3（ａ）−S4−S9/S2−S3（ｂ）−
S4−S9/S2−S3（ｂ）−S4−S9の共直線より成る。任意
の解で２つの選択は共存し得ないので、第３表は各々共
存出来るいくつかのｚ構造体を表わす一組の４つの表
（第４表）に分解される。この様にして第６図のハフ空
間パターンのｚ構造体への分解は第４表に示されている
４つの互換「縮小共直線クラスタ包括表を生ずる。ケー
スＡでは、すべてのクラスタを包括するのに最小３つの
ｚ構造体（中心の共直線S2（ａ）、S3（ａ）、S6）が必
要である。ケースＢでは、ハフ空間のすべてのクラスタ
を包括するｚ構造体の組合せは存在しない。ケースＣ及
びＤの場合には中心の共直線として共直線S3（ｂ）及び
S6を有する２つのｚ構造体でハフ空間のすべてをカバー
するのに十分である。従つてＴ字状物体は平行六面体の
内部稜として稜E5、E21、E24及びE13、E15、E16を有す
る最小限２つの平行六面体に分解される。これ以上の他
の基本物体への分解は必要でない。像空間中の対応する
頂点のｘ、ｙ座標はハフ空間の対応するｚ構造体の４つ
の共直線の勾配及び交点によつて完全に決定される。従
つて像空間の物体を構成する基本物体のすべての頂点は
3D空間の単位立方体の頂点と対応付けられる。その幾何
学変換パラメータは上述のエル・ジー・ロバーツの論文
に説明された一般に知られている方法で計算される。

第６図の右下部分には、各々傾斜した線を含む３つの小
さな円が示されている。円の上の垂直な線上に存在する
すべてのクラスタは像中で平行な稜を表わしている（例
えばC4、C9、C15、C17、C22、C24はE4、E9、E15、E17、
E22、E24を表わす）。ハフ空間の下の夫々の円の傾斜し
た線の方向は像空間中の関連する稜の勾配を示してい
る。

任意の視角から見た複合物体は一般に基本物体の稜の完
全な組を露わしていない（一般にいくつかの稜はかくれ
ている）事を理解されたい。物体を基本物体に分解する
ための上述の方法は次の様に要約される。

（１） 光景中の像をとらえて、これをデイジタル化す
る。

（２） 階調像を計算し、これに閾値動作を加える。

（３） ２値階調像をハフ空間に変換する。

（４） ハフ空間のクラスタを検出する。

（５） ハフ空間中のクラスタの性質（配置）を抽出す
る。

（６） （既知のクラスタの性質を使用して）基本物体
の頂点を物体のモデルの頂点に関連付ける。

（７） 光景から抽出した頂点に最も良く適合するモデ
ルを見出す。

（Ｂ） 線フレーム・ハフ空間モデルとの比較 上述の（Ａ）の方法と異なつて、この場合は認識される
べき物体について完全に事前に知られた知識を使用す
る。物体は例えばCADシステムによつて発生した線フレ
ーム・モデルによつて表わされる。3D物体の線フレーム
表現を無限遠に焦点を置く配景変換を使用して２次元像
に写像し、結果の像をハフ空間に変換して線フレーム・
ハフ空間モデルと呼ばれる表現を与える。Ｔ字状物体の
場合のこの様な表現の例が第７図に示されている。この
線フレーム・モデル像ではかくされた、即ち見えない線
もしくは頂点が存在しない点を除き、稜（E1……E24）
及び頂点（V1……V16）は理解を容易にするために第６
図と同じ記法を使用している。ハフ空間の線フレーム表
現は稜／頂点近傍のみならず平行な稜についての情報を
暗に含んでいる。さらに処理を行うために、この情報は
クラスタの共直線を予じめ計算する事によつて明らさま
にされる。例えば共通な勾配を有する稜はハフ空間中で
垂直に配列したクラスタを眺める事によつて表にする事
が出来る（これ等の量は直線3D線フレーム・モデルから
も導く事が出来る）。第５表及び第６表は夫々第７図の
線フレーム表現のための共直線表及び稜勾配表である。

F5.線フレーム・モデルの境界グラフ 線フレーム・ハフ空間比較方法の重要な点はハフ空間に
変換された物理的物体の稜の像が、線フレーム・ハフ・
モデルによつて暗黙に与えられたグラフの部分グラフと
考えられるクラスタ構造をなしている点にある。この事
を立証するために、第７図のための共直線表（第５表）
及び稜勾配表（第６表）が第８図（ラベルの付された境
界表現と云われる）に描かれている。第８図の稜（辺）
は第７図の稜に従つてラベルが付されている。第６図の
像と同じ様な物理的物体の稜像を仮定して、これをハフ
空間に変換すると、対応する共直線表は第１表と同等に
なる。対応する勾配表が第７表に与えられている。第１
表及び第７表から直ちに第９図に示された境界表現が得
られる。ここでこのグラフ（その稜は像の稜の勾配を示
すために実線、破線等で区別されている）が線フレーム
・ハフ空間モデルから誘導されたグラフと一致するかど
うかが検査される。この突合せは計算機で夫々の共直線
表及び稜勾配表の内容を比較する事によつて行われる。
第８図のグラフと第９図の部分グラフと突合せるには32
の異なる可能性が存在する事が容易に証明出来る。

部分グラフ（物体を表わす第９図のグラフ）を完全なグ
ラフ（線フレーム・モデルを表わす第８図のグラフ）と
突合せる手順は一般に知られていて、例えば1976年１月
刊アメリカ計算機協会ジヤーナル第23巻第１号第31乃至
第42頁のジエイ・アール・ウルマンの論文「部分グラフ
同形写像のアルゴリズム」（J.R.Ullmannn“An algorit
hm for subgraph isomorphism"、Journal ACM、Vol.2
3、No.1、Jan.1976、pp.31−42）及びこの論文中に引用
された参考文献に説明されている。

もし部分グラフの突合せの結果、いくつかの可能な解
（そのうち一つだけが正しい）を得た場合には、最終の
選択は既知の頂点間の幾何学的関係（距離等）に基づく
正確な頂点の一致によつてなされる。

計算上のコストの点からはあまり負担にならないが、こ
の探索はさらに削減する事が望ましい。この操作は追加
の発見的な、物体に依存する規則によつて達成される。
例えば第８図のグラフの上半分は外辺（左右の端）の頂
点V1、V2、V3、V4、V13、V14、V15、V16に対応し、下半
分は非外辺の頂点V5、V6、V7、V8、V9、V10、V11に対応
している。第３の頂点と共直線上にある２つの頂点を含
む、像の共直線表によつて定義される平行四辺形が存在
するならば、この平行四辺形は非外辺の頂点と外辺の頂
点とを接続していなければならない事が容易に証明出来
る。この様にして可能な部分グラフの突合せの回数は16
に減少する。第２の平行四辺形があつて、２つの他の頂
点と共直線上にある一つの隅を有し、従つて非外辺の稜
によつて画定される面を有すると云うＴ字状物体の追加
の性質によつて可能な部分グラフの突合せの回数は全部
で８回に減少する等々である。一般に物体の表面に弁別
可能性が増大すると、部分グラフの突合せの可能な回数
は減少する。この突合せ方法は２つのフエイズよりな
る。即ち計算上のコストを要するモデル発生フエイズ及
び高速なオン・ライン認識フエイズである。この２つの
フエイズは次の段階より成る。

（Ｉ）モデル発生フエイズ （１）線フレーム・モデルを使用し、共直線／稜勾配表
を計算する。

（２）物体及び視角に依存する突合せのための共直線／
稜勾配表の特徴を計算する。

（II）認識フエイズ （１）光景中の像をとらえ、これをデイジタル化する。

（２）階調像を計算し、これに閾値動作を行う。

（３）２値階調像をハフ空間に変換する。

（４）ハフ空間中のクラスタを検出する。

（５）ハフ空間のクラスタの性質を抽出する。

（６）物体の頂点とモデルの頂点との関係を与える部分
グラフの突合せを遂行する。

（７）幾何学的頂点の突き合せを行う。

部分グラフの突合せを高速化するために、物体の異なる
眺め、その簡単な特徴即ち共直線の総数、所与の勾配を
有するクラスタの数等を与える共直線及び稜勾配表は予
じめ計算され、いくつかのモデルを物体の同じクラスに
分類する物体モデル・ライブラリ中に記憶される。必要
ならば残つた不明確な点はその後の幾何学的頂点の突合
せによつて解決する。この修正方法の段階は次の通りで
ある。

（Ｉ）モデル発生フエイズ （１）線フレーム・モデルを使用し、異なる視角に対す
る共直線／稜勾配表を計算する。

（２）突合せを支援するため共直線／稜勾配表の特徴を
計算する。

（II）認識フエイズ （１）光景中の像をとらえて、これをデイジタル化す
る。

（２）階調像を計算し、これに閾値動作を加える。

（３）２値階調像をハフ空間に変換する。

（４）ハフ空間中のクラスタを検出する。

（５）ハフ空間中クラスタの性質を抽出する。

（６）物体の頂点とモデルの頂点との関係を与える部分
グラフの突合せを行う。

（７）幾何学的頂点の一致によつてグラフの一致を立証
する。

F6.本発明を具体化したロボツト制御システム 第10図には、本発明を使用した視角制御装置を有するロ
ボツト作業セルが示されている。システム（セル）はコ
ンベア・ベルト17上に置かれた工作物15を取扱うための
ロボツト制御腕11及びロボルト制御装置13を含む。TVカ
メラの様なセンサ19が工作物15を眺めて、その出力信号
を像捕獲兼前処理装置21に送る。この装置21中で、第３
（ａ）図に示されている様なTV走査像が直ちに記憶さ
れ、前処理段階で（第３（ｂ）図に示された様な）略工
作物15の稜を表わす線より成る階調像が発生される。中
央汎用処理装置（CPU）23が評価動作を遂行し並びに必
要な演算及び論理動作を遂行するために与えられる。階
調像はメモリ25及びハフ・プロセツサ27に送られる。

ハフ・プロセツサ27は受取つた階調像から工作物15のハ
フ空間表現を発生する。ハフ空間表現は第３（ｃ）図に
示された様な、クラスタを形成する交差線より成る。各
クラスタは直線、即ち工作物の稜を表わす。

ハフ空間表現はクラスタ抽出器29に送られ、ここでクラ
スタの中点の座標値を抽出して、明確で正確な表現が得
られ、メモリ25に送られる。いくつかの手順がクラスタ
抽出に使用出来るが、一つの簡単なクラスタ抽出方法を
以下簡単に説明する。

先ず、ハフ空間表現の各列の加重強度値を合計する事に
よつて水平投影ベクトルが計算される。ハフ空間中の各
点の強度値をＨ（ｉ、ｊ）で表わすと、加重値は〔Ｈ
（ｉ、ｊ〕ｅで表わされる。ｅ＝1.5……４である（適
切に選択する）。従つて水平投影ベクトルは各列の累積
強度値より成り、第２の段階で水平投影ベクトルの極大
値を発見する事によつてクラスタの列即ちｘ座標が決定
される。第３の段階で段階２で見出された極大値の各々
に対して垂直投影ベクトルが計算される。これは各極大
のまわりの幅２△の小さな垂直条件に対して、各行の加
重強度値〔Ｈ（ｉ、ｊ）〕ｅを合計する事によつて行わ
れる。従つて各垂直投影ベクトルは長さ２△の小さな行
区間に対する累積強度値より成る。夫々の条片中の各ク
ラスタの行即ちｙ座標は第４段階で垂直投影ベクトルの
極大値を発見する事によつて決定される。水平及び垂直
の最大値が一致する点の座標値をクラスタの中心として
記憶する。勿論、この順序を逆にして垂直投影ベクトル
で開始し、次に水平投影ベクトルの数を計算する事も出
来る。中心の点だけより表わされたクラスタだけから成
るハフ空間表現（第３（ｄ）図参照）がメモリ25に記憶
される。さらに処理を行うために、物理モデルを表わす
のに必要な表及び夫々の適用作業に必要なプラグラムが
メモリ25に記憶される。

ハフ空間クラスタ表から、特定の配置が上述の様に決定
される。クラスタの共直線性は各クラスタ点を線に変換
するハフ・プロセツサ27及びクラスタ抽出器29によつて
発見される。いくつかの線の交点（即ち２次ハフ表示の
クラスタ）は工作物（物体）15の原ハフ空間表現中の共
直線を示す。クラスタの共直線性並びにその構造及び配
置は上述の如く表にされ、適用のためにメモリ中に導入
されている現存のモデルと比較される。上述の如く、物
体の型及びその配置は本発明の手順によつて決定され、
夫々のデータは工作物15がロボツト腕11の下に到達する
前にアプリケーシヨンI/Oを介してロボツト制御装置13
に転送される。ロボツト腕11は工作物15を正しく制御す
る。

結 論 3D物体の認識のための新しい方法が提案された。この方
法は雑音に強いハフ変換を使用し、従つて、不完全な像
の捕獲に関する全体的な強さが改善される。像のハフ空
間クラスタはかなり減少した量の表現を与えるので、モ
デルの突き合せのみならず分析及び分解は低コストの汎
用プロセツサで十分高速に遂行される。従つて本発明の
方法は例えばロボツト制御のための視野情報のフイード
バツクの効率を改良し、強力な実時間処理条件を満足す
る。

G.発明の効果 本発明に従えば、物体の２次元像に基づいて簡単な演算
処理により３次元物体を認識もしくは同定する方法が与
えられる。

【図面の簡単な説明】

第１図は認識のために２次元像及び３次元モデルを使用
する基本技法を概略的に示した図である。第２図はハフ
変換を示した図である。第３図は物体のグレイスケール
像から物体のハフ空間クラスタ表現を発生する方法を示
した図である。第４図は対ハフ空間を使用して像からク
ラスタ表現を発生する方法を示した図である。第５図は
３つの基本物体に対して、２次元線像表現及びこれ等の
基本物体のハフ空間表現に現われる特定のクラスタ配置
を示した図である。第６図は複合物体に対する線像表現
及びすべてのクラスタの共直線性を示したそのハフ空間
クラスタ表現を示した図である。第７図は第６図の複合
物体に対する、すべての稜及び頂点を含む完全な線フレ
ーム・モデル及びすべてのクラスタの共直線性を示した
夫々のハフ空間クラスタ表現を示した図である。第８図
は稜の共通の勾配を示した、第７図の線フレーム・モデ
ルのすべての稜の交点及び頂点の境界グラフ表現であ
る。第９図は第６図の物体のハフ空間クラスタ表現から
誘導される、物体の稜の交点及び頂点の境界クラフ表現
である。第10図は本発明を具体化するロボツト制御シス
テムのブロツク図である。 11……ロボツト腕、13……ロボツト制御装置、15……工
作物、17……コンベア・ベルト、19……センサ、21……
像補獲兼前処理装置、23……汎用プロセツサ、25……メ
モリ、27……ハフ・プロセツサ、29……クラスタ抽出
器、31……アプリケーシヨンI/O。

フロントページの続き (56)参考文献 ＣＯＭＰＵＴＥＲ ＧＲＡＰＨＩＣＳ ＡＮＤ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮ Ｇ，Ｖｏｌ．２，Ｎｏ．３／４，Ｄｅｃｅ ｍｂｅｒ 1973，ｐａｇｅｓ355−376，Ａ ｃａｄｅｍｉｃ Ｐｒｅｓｓ Ｉｎｃ．, Ｗ．Ａ．ＰＥＲＫＩＮＳ ｅｔ ａｌ．, “Ａ ｃｏｎｎｅｒ ｆｉｎｄｅｒ ｆｏ ｒ ｖｉｓｕａｌ ｆｅｅｄｂａｃｋ"

Claims (2)

【特許請求の範囲】
1. 【請求項１】物体の２次元像から３次元物体をクラスタ
   点を有するハフ空間表現を用いて認識又は同定する方法
   であって、 （ａ）上記像のハフ空間表現において、各々が上記像に
   おいて頂点を表わすクラスタ共直線と称する、クラスタ
   点の線状配置を決定し、 （ｂ）相互関係を指示し共有のクラスタ点を含む、クラ
   スタ共直線の表を用意し、 （ｃ）上記像において、特定の頂点配置を同定する特定
   のクラスタ共直線の配置を表わす表を用意し、 （ｄ）複数の既知の物体モデルについてハフ空間表現を
   用意し、 （ｅ）上記モデルのハフ空間表現の各々について、上記
   各モデルの３次元で定義される頂点に関連する上記クラ
   スタ共直線を決定して相互関係を指示するクラスタ共直
   線の表を用意し、 （ｆ）上記（ｃ）で用意された上記物体の共直線表と上
   記（ｅ）で用意されたモデルの共直線表とを比較して類
   似のクラスタ共直線の配置を決定し、上記像の頂点を少
   なくとも１のモデルの頂点に関連付ける、 上記方法。
2. 【請求項２】さらに、 上記像についてと同様に上記モデルについても、追加的
   に稜勾配の表を用意し、上記物体像と各モデルとのハフ
   空間表現においてクラスタ点として表わされる、稜の共
   有の勾配を指示し、 上記（ｆ）において追加的に上記稜勾配表の指示を利用
   して、像の頂点をモデルの頂点に関連付ける、 特許請求の範囲第（１）項記載の方法。