JPS6228887A

JPS6228887A - 対象物識別方法

Info

Publication number: JPS6228887A
Application number: JP16766485A
Authority: JP
Inventors: Hirohisa Takusagawa; 田草川　大久
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 1985-07-31
Filing date: 1985-07-31
Publication date: 1987-02-06
Also published as: JPH0420503B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、画像処理装置により対象物を線図形化して
識別（検査）する識別方法に関する。

〔従来の技術〕

最近は、各種の産業分野において、対象物識別のための
ニーズが増えている。例えば、製品の自動組立を行なう
べく、その構成部品を識別してハンドリングを行なう場
合等がそれである。従来、か〜る対象物識別方法として
は、いわゆる５ＲＩ（Ｓ　ｔａｎｆｏｒｄ　Ｒｅ５ｅａ
ｒｃｈ　Ｉｎ５ｔｉｔｕｔｅ　）等やマツチング法等が
知られている。

マツチング法は、識別対象物パターンの全体または一部
に関するデータを全て取り出し、これを標準のものと照
合して識別する方法である。

しかしながら、この方法には、イ）対象物の姿勢が良くないと適用が難かしい。

口）各識別対象物が互いに分離した状態でないと識別不
可能である。

という問題または制約があるばかりでな（、対象物パタ
ーンそのものを取り扱うためデータ量が膨大となり、対
象物の姿勢変動が大きくなればなる程、位置の正規化や
照合処理が複雑かつ困難になる。

一方、前記ＳＲＩ法は以下の如き手法である。

第７図はかかる５ＦｔＩ法を説明するための参照図でお
る。

これは、まず対象物の２値化画像からランレングス（セ
グメント）によるコード化を行ない、次いでランレング
ス化されたデータについて連結性解析を行なうことによ
り、種々の特徴量を抽出する。そして、その基本特徴量
とその組み合わせとによって多くの有用なパラメータを
算出する。この基本特徴量としては多くのものがおるが
、例えば第７図の如き対象物１０の全面積Ｓおよび周囲
長Ｌ１対象物１０の中の大Ｈの数、各穴Ｉ（の面積和、
対象物１０の重心ＰＣ（ＸＣＩ　ＹＣ）、重心から輪郭
までの半径の最大値ＴＬｍａＸ％同じくその最小値Ｒｍ
ｉｎ、Ｘ軸への投影最大値ＸｍａＸおよび最小値Ｘｍ１
ｎ　、　Ｙ軸への投影最大値ＹｍａＸおよび最小値Ｙｍ
ｉｎ等がある。また、基本的特徴量の組合せパラメータ
としては、例えばＰｅ（＝４πＳ／Ｌ２’）、Ｒｒ　（
＝Ｒｍａｘ　　ＲｍｉＨ）、Ｘｄ（＝Ｘｍａｘ　　Ｘｍ
１ｎ）、ｙｄ　（””　Ｙｍａｘ　　Ｙｍｉｎ　）等が
ある。なお、識別処理は予め各対象物のショーイング（
Ｓ　ｈ　ＯＷ　ｊ　ｎ　ｇ　１画像処理装置に見せるこ
と）ｔ／ｃよりその登録をした後、識別すべき対象物と
の間でそのパラメータを互いに比較、照合することによ
り行なわれる。

〔発明が解決しようとする問題点〕

以上のように、ＳＲＩ法は対象物の幾何学的特徴量に着
目する方法であるが、以下の如き問題点を有している。

ａ）各識別対象パターンの形状差が大きくないと識別が
できない。

ｂ）各識別対象物は互いに分離した状態でなけ′れば識
別不能でちる。

すなわち、ａ）は識別可能対象物の種類や図形の複雑さ
に対する制約となり、ｂ）は各対象物の配列や背景に対
する制約であり、対象物が互いに重なり合ったり組み合
わさった状態にないこと、また背景部に他のパターンが
存在しないこと等が条件となる。

したがって、この発明は、１）職別対象パターン間の形状差が余り大きくなくても
対処できるようにする。

２）各識別対象物が互いに分離しているものは勿論、こ
れらが重なり合っていても対処できるようにする。

３）識別精度の向上と識別時間の短縮（形状特徴の保存
とデータ圧縮）とを両型させる。

ことを目的とする。

〔問題点を解決するための手段〕

対象物を画像として捉え、その画像情報から対象物の各
種特徴量を抽出し、これにもとづいて所定の処理を行な
う画像処理装置を設ける。

〔作用〕

上記画像処理装置によって、以下の如き処理を行なう。

１）対象物の輪郭線追跡を行ない、これを線図形化する
。

２）線図形からその特徴となる点（特徴点）と、直線を
含む標準線分とを抽出するとともに、そのいずれとして
も抽出されない残りの部分を複数に分割して部分線分を
抽出し、これら各構成要素について要素固有のデータと
要素間接続・配列データとを含む構成要素記述データを
抽出する。

３）辞書登録モードでは、各標準対象物について以上の
如き処理を行ない、その結果抽出される構成要素記述情
報を所定のメモリに格納する。

４）検査モードでは、未知対象物について同様の処理を
行ない、その結果抽出される構成要素記述情報を所定の
メモリに格納する。

５）メモリに記憶された標準対象物と未知対象物の各構
成要素記述情報を、上記特徴点および標準線分情報を優
先し、かつ輪郭線に沿う形で順次照合し、最も大きな類
似度が得られる標準対象物を未知対象物の該当物と判定
する。

〔実施例〕

第１図はこの発明の詳細な説明するための参照図、第１
Ａ図は特徴点の抽出方法を説明するための参照図、第１
Ｂ図は直線の抽出方法を説明するための参照図、第１Ｃ
図は円の抽出方法を説明するための参照図、第１Ｄ図は
部分線分の抽出方法を説明するための参照図、第２図は
この発明が実施される画像処理装置を示すブロック図、
第３図はこの発明により得られる構成要素記述情報のメ
モリへの記憶例を示す参照図、第４図は画素の連なりか
らなる輪郭線の一例を示す参照図、第５図は方向コード
を説明するための参照図、第６図は輪郭情報のメモリへ
の記憶例を示す参照図である。

まず、第２図から説明する。同図において、１０は識別
対象物、１１は照明器、１２はテレビカメラ等の撮像装
置、１３はアナログ／ディジタル（Ａ／Ｄ　）変換器、
１４は前処理回路、１５は特徴抽出回路、１６は画像メ
モリ、１７はマイクロプロセッサ等の処理装置でおる。

照明器１１によって照明される識別対象物１０の光学像
は、テレビカメラ１２によって映像（ビデオ）信号に変
換される。この映像信号はＡ／Ｄ変換器１３によって画
素毎にディジタル量に変換され、さらに前処理回路１４
にて雑音除去、平滑化等が行なわれ、ディジタル画素と
して取り出される。特徴抽出回路１５はこのディジタル
画像から各種の特徴量を抽出し、画像メモリ１６に格納
する。処理装置１７は着目画素毎に隣接する４画素また
は８画素を対象とする４連結または８連結による連結性
解析等を行ない、各プロプ（Ｂｌｏｂ）を抽出する。プ
ロプは１つの独立し九ノくターンを表わしており、背景
より分離されたものとなる。

次いで各プロプの輪郭線を抽出し、輪郭線追跡を行なう
。この輪郭線に関する情報は、上記画像メモリ１６内に
格納される。

いま、輪郭線の一部が画素の連なりとして第４図の如く
表わされるものとすると、この輪郭線１は各画素の座標
位置Ｐ１１Ｐ２・・・・・・Ｂ９と各座標点における方
向コードＤｏ＝Ｄ７とによって表現することができる。

こ〜で、方向コードとは輪郭線を画素単位で追跡する場
合の方向（ベクトル）を表わすものであり、第５図にＤ
ｏ＝Ｄｙで示す如く８つの方向がある。なお、各方向ベ
クトル間の角度ば４５°である。また、これらの輪郭デ
ータは、画像メモリ１６へ第６図の如く格納される。

この方向コードの利用の仕方としては種々考えられるが
、例えば輪郭線に沿う周囲長の演算に用いることができ
る。すなわち、第４図の２１点から２９点までの周囲長
は、方向コードＤＯを０゜としてＯ’　、　９０”　、
　ｊ８０°、２７０°の場合はそれぞれ１画素分の長さ
ｔとし、方向コードが４５′。

１３５°、２２５°、３１５°の場合は１画素分の長さ
ｔを７７扁したものと考え、部分毎の和として求めるこ
とができる。したがって、第４図の２１点からＰ９点迄
の周囲長は、（３Ｘ１＋５ＸＶ’丁）ｘｔでおる。

こうして、対象物の画像パターンは輪郭線による線図形
に変換される。この輪郭線による対象物の記述（表現）
は、対象物の形状情報、４？徴情報を充分に含んでいな
がら大幅なデータ圧縮を可能にしている。なお、輪郭線
の追跡に当たっては上記の如きテレビカメラを用いる方
法だけでなく、フライングスポットスキャナやレーザ光
を利用する方法も考えられる。

こうして取り出される対象物の輪郭線（線図形）が例え
ば第１図の如く表わされるものとすると、この発明では
適宜な処理を施すことにより、線図形１を以下の如き構
成要素に分割する。

すなわち、線図形１の特徴となる点（特徴点または特徴
的小区間）と、直線や円（円弧を含む）の如き標準線分
とみなせる部分と、それ以外の部分との３種類である。

第１図では部分Ａが特徴的小区間（凸部）として、部分
Ｂ１〜Ｂ５が標準線分（Ｂ＋　ｒ　Ｂ２　ｐ直線、Ｂ３
・・・・・・円弧）として、また部分Ｃが上記以外の部
分としてそれぞれ抽出される。なお、残りの部分Ｃは、
さらに同図の如く部分線分Ｌ　６　＊　Ｌ　ｙ・・・・
・・Ｌｌｌ等に分割される。したがって、以上の如き構
成要素の種別毎にその端点座標または長さく周囲長）等
の構成要素に固有のデータと、構成要素間のなす角度ま
たは代表点（端点、中心点）間の距離等で表現される構
成要素間接続・配列データとを取り出せば、１つの線図
形をこれらのデータによって表現することができる。そ
こで、この構成要素に固有のデータと要素間接続・配列
データとを合わせて構成要素記述情報と呼ぶことにする
と、この発明はかかる構成要素記述情報にもとづいて対
象物の識別を行なうものと云うことができる。つまり、
標準となる各対象物について、上記の如き処理をして構
成Ｗ！素記述情報を予め求めておけば、これと未知対象
物を処理して得られる構成要素記述情報とを照合するこ
とにより、対象物を識別することができる。

上記の如き３種類の構成要素の抽出の仕方について、以
下に具体的に説明する。

まず、第１Ａ図を参照して特徴点について説明する。

いま、対象物の輪郭線が同図（イ）の如（表わされるも
のとすると、この輪郭線１に沿ってその曲線（半径の逆
数）の変化を調べると、この場合は例えば同図（ロ）の
如くなる。こ〜で、２１点はその曲率が０から■へと不
連続的に変化することから、これを折点とし、２２〜２
４点では曲率が急激に変化していることから、これを凸
点として抽出する。なお、凹点についても同様である。

次いで、曲率が連続的になだらかに変化する部分につい
て、標準線分が抽出できるか否かを調べる。こ〜で、標
準線分とは直線２円または楕円（楕円弧を含む）の如く
頻度が高（、演算の容易な全ての曲線を含むことができ
る。つまり、人工図形では直線と円が最も多いが、対象
図形によって予め予測ができる場合は、それと対応する
曲線を標準線分どすることができる。

直線か否かの判別は、例えば第１Ｂ図の如く行なう。

すなわち、輪郭線１上に連続するサンプリング点Ｐｉｐ
Ｉ’ｉ＋１・・・・・・Ｐｊ−１、Ｐｊを考え、その各
隣接点間の凹凸値αの絶対値が許容値（零に近い値）よ
りも小さく、かつ、その線分の両端点を含むサンプリン
グ点の組み合わせ（Ｐｉ　＋　Ｐｋ＃　ｐｊ）でαの絶
対値が許容値（零に近い値）よりも小さいとき、直線と
判定する。なお、上記Ｐｋ点は線分の中央部に設定する
。また、凹凸値αは曲がりの程度を表わすものであり、
着目点Ｐｉと両隣接点Ｐ１−１ｒ　Ｐ１＋１を通る円の
半径を考え、その逆数をもって定義するものとする。

一方、円であるか否かの判定は、例えば第１Ｃ図の如く
行なわれる。

第１Ｂ図と同様に輪郭線１上にサンプリング点ＰＨ−１
＋　Ｐｎ＃　Ｐ　Ｈ＋１　ｔ　Ｐ　ｎ＋２　”””を考
え、連続するサンプリング点で上記のα値が所定の範囲
内にあってその符号が一方向であること、かつサンプリ
ングされた３点（Ｐ　ｎ−ｊ　ＨＰ　ｎ＋　Ｐ　ｎ＋　
ｊと、Ｐｎ。

Ｐｎ＋１　＃　Ｐｎ＋２等）を通る円を考えてその円の
中心（Ｏｎ、Ｏｎ＋１等）と半径（ＲＨ＋　Ｒ，ｎ＋１
等）を演算したとき、これらが許容範囲内にあることを
もって各部分は同一円であると判定する。なお、演算精
度を向上させるには、サンプリング点を増加させたり、
サンプリング間隔を変えて演算し、それぞれにおいて上
述の如き条件が満足されたとき、同一円と判定するよう
にする。このようにして、第１図の対象図形１０では、
部分Ａは特徴的小区間、部分Ｂ　１＊　Ｂ　２は直線、
Ｂ５は円弧と判定される。標準線分（直線または円等）
として抽出されると、その図形として記述は、例えば標
準線分の種類（直線か円か等）、標準線分のパラメータ
（直線部の長さ２円の半径２円弧部の角度）等によって
表現される。

特徴点（特徴的小区間）または標準線分のいずれとして
も抽出されない残りの部分については、例えば第１Ｄ図
の如き線分化処理が行なわれる。

まず、輪郭線１上にスタート点Ｐ１（Ｘｌ　＃　）’１
　）を設定する。このスタート点としては、上記の如き
４？徴点を用いることができる。次いで、輪郭線１の２
１点における接線２を次式の如く求める。

ｙ−ｙｌ−ａ　（ｘ−ｘｌ）と〜に、ａは接線２の傾き（勾配）を表わしておリ、適
宜な方法によって求められる。そして、この接線と輪郭
線間の距離ｄ（または角度θ０）が所定の許容値１／！
：達した輪郭線上の点Ｐ２　（Ｘ２．ｙ２）を１つの線
分の終点とする。このＰ２（Ｘ２１Ｙ２）点は１つの線
分Ｌ１の終点であるが、同時に次の線分Ｌ２のスタート
点でもおり、以下同様にして線分Ｌ２　＋　Ｌ５・・・
・・・を得ることができる。線分化の別の方法としては
、輪郭線と接線間のずれ−Ｊｉｄ（またはθ０）とその
輪郭線上における周囲長との比に対して許容イ直を設定
する方法も考えられる。

なお、この場曾も所定の許容比に達した輪郭線上の点を
その線分の終点とする。いずれにしても、かかる線分化
により、連続する１つの輪郭線の゛データ、つまり対象
物データを大幅に圧縮することができる。

こうして得られる線区形を、線分情報を用いて記述する
。こ〜に、線分情報とは、イ）線分固有の情報口）各線分間の接続・配列情報を云うものとする。より具体的には、イ）は線分のラベル、線分の長さ、線分の両端点座標等
であり、口）は各線分の接続順序、２つの線分間のなす角度、各
線分間の代表点（端点、中心点など）間の距離等である
。

なお、上記イ）２口）のデータは全て必要というわけで
はなく、例えばイ）のラベルや口）の接続順序はメモリ
のアドレスと対応付けることによって省略することがで
きる。また、イ）の両端点座標は、１組の情報で線分そ
のもの〜情報（固有情報）だけでなく、隣り会う線分と
の接続関係を表わす情報をも兼ねており、対象図形の位
置正規化を行なう前の原始データ等として有効なもので
ある。口）の隣接する線分となす角度θ、（第１図←４
→参照）を利用すれば、記憶データ量が少なくなって処
理も容易になるが、これは角度θ、が対象図形の姿勢に
依存しない正規化されたデータであるためである。これ
はイ）の線分の長さくｔｌ。

ｔ２・・・・−・）についても同様である。

このようにして、１つの線区形は５種類の構成要素によ
って記述することができる。すなわち、ａ）特徴点また
は特徴的小区間ｂ）標準線分とみなせる部分Ｃ）部分線分化される部分である。そして、その構成要素記述情報は、１）各構成
要素に固有の情報；構成要素（標準線分）の種類、構成
要素の長さ、構成要素の両端点座標等。

２）各構成要素間の接続・配列情報；隣接する構成要素
の両端点を通る直線のなす角度、各構成要素の代表点（
端点、中心点）間の距離等。

がらり、これらの情報は例えば第６図の如く所定のメモ
リに格納される。

このように線図形を構成要素に分割して処理するように
しているので、大幅なデータ圧縮が可能となって演算速
度も向上するばかりでな（、重畳した物体の識別も可能
となるものである。つまり、対象物の特徴を光分に抽出
しながら大幅なデータ圧縮を実現しているので、逆にこ
のような構成要素記述情報によって原図形の復元が可能
でおる。

さて、識別処理は以下の如（行なわれる。

未知対象物の識別処理（検査モードともいう）に先立っ
て、まず全ての標準対象物について学習し、登録する（
辞書登録モードともいう）。このとき、各標準対象物を
分離した状態で撮偉し、画像パターンを上述の如く線図
形化し、構成要素に分解して各構成要素毎の構成要素記
述情報を抽出し、これらを全て所定のメモリに格納する
。

検査モードでは未知対象物について上記と同様の処理を
行ない、その構成要素記述情報を抽出して所定のメモリ
に格納する。

照合段階では、特徴点情報や標準線分情報を優先し、か
つ輪郭線に沿う形で両者の比較、照合を行ない、最も大
きな類似度を与える標準対象物を該当物と判別する。つ
まり、特徴点および標準線分ならびに部分線分の各％徴
データについて、検査対象物と標準対象物の類似度Ｓを
演算し、これら類似度の合計（累積和）を演算する。こ
〜で、成る特徴量データについて、標準対象物のそれを
ｆ、検査対象物のそれをｆ′とすると、その類似度Ｓは
例えば次式の如く表わすことができる。

Ｓ−Ｃｆ−１ｆ−ｆ’ｌ　）／ｆしたがって、両者が一致すれば（ｆ−ｆ’）、Ｓ−１と
なる。同様に、成る特徴量データについての類似度をＳ
ｌとし、Ｗｉを重み係数（全体に対する割合）とすれば
、全要素（要素数；Ｎ）の類似度Ｓｔは、Ｓｔ−、Σ　Ｓｉｘｗｉト−１、ΣＣｆｔ　　ｌｆｉ　　ｆｉ’ｌ）Ｘｗｉ／ｆ１１口
１の如く一般化することができる。なお、このＳ＆も、す
べての要素についてｆ−ｆ’が成立すれば全体の類似度
Ｓｔも′″１”となり、完全に一致しているものと考え
ることができる。

〔発明の効果〕

この発明によれば、対象物の輪郭情報に着目し対象物を
線図形として扱うことにより、その形状特徴を充分に抽
出しながら大幅なデータ圧縮を行なうことができるので
、メそす容量の低減化と演算処理時間の短縮化とを図り
得る利点がもたらされる。また、線図形を６種類の構成
要素に分解するようにしたので、特徴量の抽出が充分に
行なわれるばかりでなく、特徴点や標準線分情報を優先
的に照会することにより、照会の効率化（不要な照合を
極力少な（する）を図ることができる。つまり、この発
明によって得られる抽出特徴量は、ＳＲＩ法の如き図形
のマクロ的な特徴量でないため、形状そのもの〜情報が
良好に保存される一万、マツチング法のような膨大な図
形データを必要としないのが大きな特徴である。なお、
対象図形に応じて最適な標準線分を選択することにより
、識別精度の向上と処理時間の短縮を図ることが可能で
ある。このため、この発明はイ）識別対象物の形状が単純でなく、その種類が多い。

口）Ｆａ別対象物が分離状態にあるものばかりでな（、
重畳している状態（部分パターンとなる場′＆）でも識
別したい。

と云うようなニーズに対処することができる。すなわち
、上記イ）２口）の如きニーズは各種オートメーション
（ＦＡ、ＯＡ、ＬＡ）の進展とともに多くなり、次第に
強くなっている中で従来のＳＲ工法やマツチング法では
これらに対処できないため、この発明によりこれらのニ
ーズに応えられるようにしたものである。

【図面の簡単な説明】

第１図はこの発明の詳細な説明するための参照図、第１
Ａ図は特徴点の抽出方法を説明するための参照図、第１
Ｂ図は直線の抽出方法を説明するための参照図、第１Ｃ
図は円の抽出方法を説明するための参照図、第１Ｄ図は
部分線分の抽出方法を説明するための参照図、第２図は
この発明が実施される画像処理装置を示すブロック図、
第３図はこの発明により得られる構成要素記述情報のメ
モリへの記憶例を示す参照図、第４図は画素の連なりか
らなる輪郭線の一例を示す参照図、第５図は方向コード
を説明するための参照図、第６図は輪郭情報のメモリへ
の記憶例を示す参照図、第７図はＳＲＩ法を説明するた
めの参照図である。符号説明１・・・・・・輪郭線、２・・・・・・接線、１０・・
・・・・対象物、１１・・・・・・照明器、１２・・・
・・・テレビカメラ、１６・・・・・・Ａ／Ｄ変換器、
１４・・・・・・前処理回路、１５・・・・・・特徴抽
出回路、１６・・・・・・処理装置。代理人　弁理士　並　木　昭　夫代理人　弁理士　松　崎　　　　清第　Ｌ　図文寸象Ｔ勿（ｈ’＋象）１１ＩＡ図（づ） ρノ０口）第１８囚　　　　　　　ＰＪ第１ｆ１図丁墾轢第１Ｃ図＼　　　　　　鬼＼　　　　　入＼　　　鬼第２図第　３　図第　４　図第５図１Ｆ６　　図

Claims

【特許請求の範囲】１）対象物を撮像しその画像処理を行なうことによつて
対象物を線図形化し該線図形にもとづき所定の処理をし
て対象物を識別する方法であつて、前記線図形からその
特徴となる点（特徴点）と直線を含む標準線分とを抽出
するとともに、そのいずれとしても抽出されない残りの
部分を複数に分割して部分線分を抽出し、これら各構成
要素について要素固有のデータと要素間接続・配列デー
タとを含む構成要素記述情報を抽出する処理を各標準対
象物について行なつた後、未知対象物についても同様の
処理を行ない、その結果得られた各標準対象物と未知対
象物の各構成要素記述情報を前記特徴点情報および標準
線分情報を優先してかつ線図形に沿う形で順次照合し、
最も大きな類似度が得られる所定標準対象物をもつて未
知対象物の該当物とすることを特徴とする対象物識別方
法。２）特許請求の範囲第１項に記載の対象物識別方法にお
いて、前記要素固有のデータは構成要素の種類、長さ、
両端点座標を含み、要素間接続・配列データは隣接構成
要素間の角度、各構成要素の代表点間距離を含むことを
特徴とする対象物識別方法。