JPH1173509A - 画像情報認識装置および画像情報認識方法 - Google Patents

画像情報認識装置および画像情報認識方法

Info

Publication number
JPH1173509A
JPH1173509A JP9234264A JP23426497A JPH1173509A JP H1173509 A JPH1173509 A JP H1173509A JP 9234264 A JP9234264 A JP 9234264A JP 23426497 A JP23426497 A JP 23426497A JP H1173509 A JPH1173509 A JP H1173509A
Authority
JP
Japan
Prior art keywords
image
interval
representative point
image data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9234264A
Other languages
English (en)
Inventor
Kazuyuki Maruo
和幸 丸尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advantest Corp
Original Assignee
Advantest Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advantest Corp filed Critical Advantest Corp
Priority to JP9234264A priority Critical patent/JPH1173509A/ja
Priority to US09/144,225 priority patent/US6259809B1/en
Publication of JPH1173509A publication Critical patent/JPH1173509A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 画像内の配線パターンの回転角や拡大率を定
量化して、その後の画像検索を容易にすること 【解決手段】 入力デジタル画像データに対して、エッ
ジ成分の検出を行うエッジ検出手段と、得られた画像に
ついてしきい値処理を施して活性画素と非活性画素の二
値画像データを得る第1の二値化処理手段と、該二値画
像に対してハフ変換を行うハフ変換手段と、ハフ変換画
像をしきい値処理して活性画素と非活性画素の二値画像
データを得る第2の二値化処理手段と、該二値画像の中
の、隣接する画素をグループ化するラベリング処理手段
と、各ラベルの代表点座標を求める代表点算出手段と、
求められた各代表点の座標情報から、原画像のエッジ成
分の中での直線的な部分について、直線の方程式を求め
る直線成分推定手段とを具備する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、半導体ウェハ等の
製造工程などで蓄積される半導体ウェハパターン画像
や、プリント基板との配線パターン画像の特徴を認識す
る、画像情報認識装置および画像情報認識方法に関す
る。
【0002】
【従来の技術】プリント基板、あるいは半導体ウェハの
製造/検査工程においては、基板表面上に欠陥や異物が
発生したとき、これをSEMなどで観察し、観察結果を
画像データとして蓄積している。蓄積された欠陥画像の
中には、構造のよく似た画像が多数存在する。あるウェ
ハ画像を観察していたとき、過去のよく似た画像を再度
見てみようとしても、現状は記憶をたよりに画像ファイ
ルを次々と検索せざるを得ない。また、画像データの特
徴は言葉では表現しにくいため、撮った人にしかわから
ず、他人とのデータの共有も容易ではない。このような
問題を解決するために、半導体チップの画像データを効
率よく検索できるシステムの必要性が高まってきてい
る。
【0003】プリント基板の写真、あるいは半導体ウェ
ハをSEMなどで撮影して入力した画像において、上に
述ベたような欠陥や異物を検出、認識、あるいは判断を
行う画像処理方式は従来から多々存在する。これらの方
式は、画像をデジタル的に取り扱うデジタル画像処理が
ほとんどで、コンピューターを用いて画像処理を行って
いる。
【0004】従来、画像データの検索には主にパターン
マッチングの技術が利用されている。これは、蓄積され
ている画像と検査対象の画像を比較するものである。こ
こで、画像を比較するとは、2つの画像の対応する画素
ごとに画素値の差分画像をつくる処理をすることであ
る。この分画像において、比較している2枚が同じ画像
であれば、差分処理によって画面全体が画素値0をもつ
全くフラットな画像となる。しかし、欠陥や異物の形状
が違う場合は、その部分に0以外の値の画素が集中的に
あらわれる。したがって、この0以外の値をもつ画素の
総数などを計測し、出てきた値が設定したしきい値より
も低い場合に2枚の画像は似ていると判断して検索結果
に出力する。
【0005】以上の処理により、蓄積された画像データ
から似た画像だけを抽出することができる。半導体ウェ
ハの画像の背景には、配線のパターンが縦横に走ってい
るが、配線パターンは普通、一定方向に規則的に整列し
ているので、パターンマッチングをつかうと、背景の部
分はキャンセルされて、結果として、欠陥や異物などの
ユニークな部分の違いだけを抽出することができる。
【0006】また、画像データの中の配線パターン成分
などの、規則的な直線成分を検出する場合には、上記パ
ターンマッチングを以下の方法で簡略/高速化すること
が可能である。
【0007】まず、原画像に対してエッジ検出処理を施
して、エッジ成分だけの二値画像を作成する。作成され
た二値画像には原画像の配線パターンのエッジ成分が残
っている。この二値画像に対して、テンプレートとし
て、あらゆる傾き、あらゆる切片の一本の直線を描いた
二値画像を用意して、このテンプレートと検出対象の二
値画像との積をとり、処理後の、活性画素の個数を計数
する。テンプレートに示した直線成分と同じものが検査
対象の二値画像に存在すれば、テンプレートの活性画素
と検査対象二値画像の活性画素が重なるので、積をとっ
た後の画像の活性画素数が大きくなる。出てきた値が設
定したしきい値よりも高い場合にはそのテンプレートに
示した直線成分が原画像に存在すると判断する。以上の
処理により原画像に存在する直線成分を検出することが
できる。
【0008】
【発明が解決しようとする課題】前述したような欠陥検
出の方法は既に確立されているが、この手法の欠点は、
2枚の画像をパターンマッチングで比較する際に配線パ
ターンなど、2枚の画像の対応する場所の位置合わせが
必要になることである。この位置合わせは正確に行う必
要があり、この作業にかなりの労力を要する。
【0009】さらに、蓄積されている検索対象の画像デ
ータは、観察者が欠陥の詳しい特徴を分析するために、
画像を回転させたり、拡大・縮小した状態で保存されて
いる。すなわち、配線パターンの方向が画像によって異
なり、この点からも位置合わせが難しいものとなってい
る。
【0010】上記のように同じ画像でも回転や拡大・縮
小という変換が加わるだけで、パターンマッチングによ
る検索が非常に困難となる。そこで、データベースに蓄
積されている半導体チップ画像の各々の配線パターンの
回転角を定量化し、この値をもちいて各画像の背景をそ
ろえる、すなわち画像を規格化することができれば、そ
の後は、たとえばパターンマッチングなどの単純な処理
でも画像の検索は可能になる。
【0011】また、上述した画像内の直線成分をパター
ンマッチングで検出する方法でも、配線パターンの回転
角や拡大率の定量化は可能であるが、この方法は原画像
の直線成分が少しでもずれたり、曲がったりしている
と、検出率が落ちてしまう。本発明はハフ( Hough )
変換を利用して、画像内の配線パターンの回転角や拡大
率を定量化して、その後の画像検索を容易にすることを
目的としたものである。
【0012】
【課題を解決するための手段】本発明の画像情報認識装
置は、画像を用いて対象物の検査や認識や判断を行う画
像情報認識装置であって、入力デジタル画像データに対
して、エッジ成分の検出を行うエッジ検出手段と、前記
エッジ検出手段によって得られた画像についてしきい値
処理を施して活性画素と非活性画素の二値画像データを
得る第1の二値化処理手段と、前記第1の二値化処理手
段により得られた二値画像に対してハフ変換を行うハフ
変換手段と、前記ハフ変換手段によるハフ変換画像をし
きい値処理して活性画素と非活性画素の二値画像データ
を得る第2の二値化処理手段と、前記第2の二値化処理
手段によって得られた二値画像の中の、隣接する画素を
グループ化するラベリング処理手段と、前記ラベリング
処理手段によりグループ化された各ラベルの代表点座標
を求める代表点算出手段と、前記代表点算出手段により
求められた各代表点の座標情報から、原画像のエッジ成
分の中での直線的な部分について、直線の方程式を求め
る直線成分推定手段とを具備することを特徴とする。
【0013】また、画像を用いて対象物の検査や認識や
判断を行う画像情報認識装置であって、入力デジタル画
像データに対して、全画素値の平均値Mを算出し、原画
像データの各画素の画素値から平均値Mを減算して、差
分画像を生成する平均値算出手段と、前記平均値算出手
段により得られた差分画像データに対して、しきい値処
理をして活性画素と非活性画素の二値画像データを得る
第1の二値化処理手段と、前記第1の二値化処理手段に
より得られた二値画像に対してハフ変換を行うハフ変換
手段と、前記ハフ変換手段により得られたハフ変換画像
をしきい値処理して活性画素と非活性画素の二値画像デ
ータを得る第2の二値化処理手段と、前記第2の二値化
処理手段によって得られた二値画像の中の、隣接する画
素をグループ化するラベリング処理手段と、前記ラベリ
ング処理手段によりグループ化された各ラベルの代表点
座標を求める代表点算出手段と、前記代表点算出手段に
より求められた各代表点の座標情報から原画像のエッジ
成分の中での直線的な部分について、直線の方程式を求
める直線成分推定手段とを具備することを特徴とする。
【0014】また、画像を用いて対象物の検査や認識や
判断を行う画像情報認識装置であって、入力デジタル画
像データに対して、全画素値の平均値Mを算出する平均
値算出手段と、原画像の各画素t(x,y)座標にハフ
変換 ρ=xcosθ+ysinθ を適用して、θ−ρパラメータ空間に、画素値tと前記
平均値算出手段により算出された平均値Mとの差|t
(x,y)−M|の重みをつけて投票を行う変形ハフ変
換手段と、前記変形ハフ変換手段により得られた変形ハ
フ変換画像をしきい値処理して活性画素と非活性画素の
二値画像データを得る二値化処理手段と、前記二値化処
理手段によって得られた二値画像の中の、隣接する画素
をグループ化するラベリング処理手段と、前記ラベリン
グ処理手段によりグループ化された各ラベルの代表点座
標を求める代表点算出手段と、前記代表点算出手段によ
り求められた各代表点の座標情報から原画像のエッジ成
分の中での直線的な部分について、直線の方程式を求め
る直線成分推定手段とを具備することを特徴とする。
【0015】また、画像を用いて対象物の検査や認識や
判断を行う画像情報認識装置であって、入力デジタル画
像データに対して、エッジ成分の検出を行うエッジ検出
手段と、前記エッジ検出手段によって得られた画像にし
きい値処理を施して活性画素と非活性画素の二値画像デ
ータを得る第1の二値化処理手段と、前記二値画像に対
してハフ変換を行うハフ変換手段と、前記ハフ変換手段
により、得られたハフ変換画像をしきい値処理して活性
画素と非活性画素の二値画像データを得る第2の二値化
処理手段と、前記第2の二値化処理手段によって得られ
た二値画像の中の、隣接する画素をグループ化するラベ
リング処理手段と、前記ラベリング処理手段によりグル
ープ化された各ラベルの代表点座標を求める代表点算出
手段と、前記代表点算出手段により求められた各代表点
の座標情報から、原画像のエッジ成分の中での直線的な
部分について、直線の方程式を求める直線成分推定手段
と、前記直線成分推定手段で得られた、同じ方向を向い
ている直線的な部分について、隣り合う直線の間隔を複
数の直線の切片情報から算出する間隔算出手段と、前記
間隔算出手段により算出された間隔の中で最も小さな間
隔を求め、原画像における認識対象物の幅として出力す
る最小値算出手段と、を具備することを特徴とする。
【0016】また、画像を用いて対象物の検査や認識や
判断を行う画像情報認識装置であって、入力デジタル画
像データに対して、全画素値の平均値Mを算出する平均
値算出手段と、原画像データの各画素の画素値から前記
平均値算出手段にて算出された平均値Mを減算して、差
分画像を生成する手段と、差分画像データに対して、し
きい値処理を施して活性画素と非活性画素の二値画像デ
ータを得る第1の二値化処理手段と、前記二値化処理手
段により得られた二値画像に対してハフ変換を行うハフ
変換手段と、前記ハフ変換手段により得られたハフ変換
画像をしきい値処理して活性画素と非活性画素の二値画
像データを得る第2の二値化処理手段と、前記第2の二
値化処理手段によって得られた二値画像の中の、隣接す
る画素をグループ化するラベリング処理手段と、前記ラ
ベリング処理手段によりグループ化された各ラベルの代
表点座標を求める代表点算出手段と、前記代表点算出手
段により求められた各代表点の座標情報から、原画像の
エッジ成分の中での直線的な部分について、直線の方程
式を求める直線成分推定手段と、前記直線成分推定手段
で得られた、同じ方向を向いている直線的な部分につい
て、隣り合う直線の間隔を複数の直線の切片情報から算
出する間隔算出手段と、前記間隔算出手段により算出さ
れた間隔の中で最も小さな間隔を求め、原画像における
認識対象物の幅として出力する最小値算出手段と、を具
備することを特徴とする。
【0017】さらに、画像を用いて対象物の検査や認識
や判断を行う画像情報認識装置であって、原画像の各画
素t(x,y)座標にハフ変換 ρ=xcosθ+ysinθ を適用して、θ−ρパラメータ空間に、画素値tと上記
で算出した平均値Mとの差|t(x,y)−M|の重み
をつけて投票を行う変形ハフ変換手段と、前記変形ハフ
変換手段により得られた変形ハフ変換画像にしきい値処
理を施して活性画素と非活性画素の二値画像データを得
る二値化処理手段と、前記二値化処理手段によって得ら
れた二値画像の中の、隣接する画素をグループ化するラ
ベリング処理手段と、前記ラベリング処理手段により得
られたグループ化された各ラベルの代表点座標を求める
代表点算出手段と、前記代表点算出手段により求められ
た各代表点の座標情報から、原画像のエッジ成分の中で
の直線的な部分について、直線の方程式を求める直線成
分推定手段と、前記直線成分推定手段で得られた、同じ
方向を向いている直線的な部分について、隣り合う直線
の間隔を複数の直線の切片情報から算出する間隔算出手
段と、前記間隔算出手段により算出された間隔の中で最
も小さな間隔を求め、原画像における認識対象物の幅と
して出力する最小値算出手段と、を具備することを特徴
とする。
【0018】なお、上記の最小値算出手段の代わりに、
同じ傾きをもつ複数の直線の中の最も小さな間隔と他の
間隔とを比較し、同じ間隔が複数存在する場合には、そ
の間隔を画像全体の直線成分の等間隔幅として出力する
等間隔判定手段を設けることとしてもよい。
【0019】さらに、上記の最小値算出手段の代わり
に、同じ傾きをもつ複数の直線の中の最も小さな間隔と
他の間隔とを比較し、同じ間隔が複数存在しなかった場
合、次に間隔が小さなものを算出する処理を、同じ間隔
が複数存在するまで繰り返し、同じ間隔が複数存在した
ところで、この間隔を画像全体の直線成分の等間隔幅と
して出力し、最後まで同じ間隔が表れなかった場合には
最初の最も小さな間隔を認識対象物の幅として出力する
等間隔判定手段を設けることとしてもよい。
【0020】本発明の画像情報認識方法は、上記各手段
の動作手順の組み合せにより構成されている。
【0021】上記のように構成される本発明において
は、ハフ変換を用いることにより、位置合わせを行うこ
となく効率よく画像を抽出することができるものとなっ
ている
【0022】
【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。
【0023】図1は本発明に用いられる装置の一例の構
成を示すブロック図である。本実施形態は、デジタル画
像などが入力される入力装置100、ディスプレイやプ
リンタなどの出力装置200、画像処理を行うためのプ
ログラムや画像処理を行う際の数値データなどを記憶す
る記憶装置300、入力装置100から入力されるデジ
タル画像について記憶装置300に記憶されているプロ
グラム内容に応じた処理を行い、その結果を出力装置2
00へ出力する処理装置400から構成されている。
【0024】図2乃至図8のそれぞれは、本発明の第1
乃至第7の実施形態の構成を示す図である。各図に示さ
れる実施形態を構成する各手段は、記憶装置300およ
び制御装置400から構成される。
【0025】実施形態1 まず、図2に示す実施形態の動作について説明する。
【0026】入力装置100より入力されたデジタル画
像データは記憶装置300内の画像メモリ(不図示)に
格納される。
【0027】エッジ検出処理手段501では入力デジタ
ル画像に対して、エッジ検出処理を施す。エッジ検出処
理手段501で行われるデジタル画像データのエッジ検
出方法には、Sobel オペレータ、Roberts のエッジ検出
オペレータなど多数存在するが、いずれの手法を用いて
も良い。画像のエッジ検出技術については「画像解析ハ
ンドブック」、pp.550-564 (高木、下田監修、束京大
学出版会)に記載され、詳しく説明されている。
【0028】エッジ検出処理手段501にて得られた画
像を画像b1とし、これに対して第1の二値化処理手段
502により二値化処理を施す。エッジ検出処理は、着
目画素近傍での画素値の勾配を計算し、プロットする処
理で、勾配の大きな部分、すなわち、エッジ部分の画素
値が高くなる。第1の二値化処理手段502ではエッジ
検出画像b1を適当なしきい値で二値化して二値画像c
1を生成する。二値画像c1では原画像のエッジ部分が
活性画素(=1)と、それ以外の部分が非活性画素(=
0)となる。
【0029】以上の処理で得られた二値画像c1にハフ
変換処理手段503によりハフ変換処理を施す。
【0030】ハフ変換については「画像認識の基礎[I
I]」(森、坂倉著、オーム社) pp.3-19 に記載され、
説明されているが、ここでハフ変換処理について簡単に
説明する。
【0031】いま、ハフ変換を用いて二値画像から直線
を検出する場合について考える。画像平面上の任意の直
線はパラメータ(θ、ρ)を用いて、 ρ=xcosθ+ysinθ(0≦θ≦π) で表現できる。ここで、|ρ|は原点0から直線ヘ下ろ
した垂線の長さで、θはx軸とのなす角である。画像平
面上の任意の点Pi(xi、yi)について考えた場合、
点(xi,yi)を通るすべての直線は、 ρ=xicosθ+yisinθ で表現される。このように、画像平面上のある点を通る
すべての直線をパラメータ(θ、ρ)によって表現した
とき、パラメータ空間上に描かれる曲線をハフ曲線とよ
ぶ。
【0032】次に、図9(a)に示すような、画像平面
上の直線l上の点について検討する。点P0を通るすべ
ての直線は ρ=x0cosθ+y0sinθ で表される。ハフ曲線は、図9(b)の曲線Aとして
(θ、ρ)パラメータ空間に描かれる。同様に図9
(a)の直線l上の別の点Plについて考えたとき、点
lを通るすべての直線に対応するハフ曲線は、図9
(b)の曲線Bとして表現される。つまり、パラメータ
空間に描かれた2つのハフ曲線は、1点で交差する。こ
の交差した点(θ0,ρ0)が、もとの直線をあらわすパ
ラメータとなる。
【0033】さらに、図9(a)の直線1上の点P2
ついても同様のハフ曲線(図9(b)の曲線C)を描く
と、パラメータ空間上の点(θ0,ρ0)で3本のハフ曲
線が交差する。すなわち、直線上の多くの点に対して、
θ−ρ空間でハフ曲線を描くと、それらは直線を表すパ
ラメータの点(θ0,ρ0)で直線上にある点の数だけ重
なる。
【0034】これが直線を検出するためのハフ変換の基
本原理である。実際にデジタル画像において、以上の技
術を実装するときには、ある点(x,y)についてのハ
フ曲線ρ=xcosθ+ysinθ(0≦θ≦π)に対
応する量子化された点(θ,ρ)の画素値を1インクリ
メントする。この作業を点(x,y)に対応するハフ曲
線の投票とよぶ。二値画像の活性画素すべてについて、
ハフ曲線の投票を行うと、直線部分に対応するパラメー
タ空間上の点(θ0,ρ0)で曲線が交差する、すなわ
ち、その点の画素値が高くなる。したがって、ハフ曲線
の投票後にパラメータ空間上で最大の画素値をもつ点を
探索することにより、直線成分を検出することができ
る。
【0035】上記のハフ変換を用いた直線成分検出を、
画像c1で示した半導体ウェハのエッジ成分を示す二値
画像に適用することにより、半導体ウエハ画像内にある
直線的成分である配線パターンの傾きθを求めることが
できる。この二値画像c1に対して、ハフ曲線の投票を
行ったθ−ρパラメータ空間を画像化したものをハフ変
換画像dとする。しかし、実際には画像にノイズがのっ
ていたり、配線のエッジ成分が完全な直線になっていな
いなどの影響があるので、パラメータ空間上で、ある一
点だけに投票が集中することは稀で、ある点の近傍にあ
る程度の広がりをもって画素値の高い画素が集まってい
るのが普通である。
【0036】そこで、続いてハフ変換画像dを第2の二
値化処理手段504により適当なしきい値により二値化
して、二値画像eを生成する。二値画像eにおける活性
画素は、その座標(θ,ρ)近辺に直線成分があること
を示しており、直線成分が存在するところには活性画素
が局所的に集中して存在している。
【0037】続いて、上記の二値画像eをラベリング処
理手段505によりラベリング処理して、隣接する画素
をグループ化する。ラベリングされた、それぞれのラベ
ルが1本の直線に対応している。そこで、このラベルに
属する画素から代表点(θ0,ρ0)を一点選択する。代
表点の選択方法は、各ラベルに属する画素の(x,y)
座標の重心(x座標、y座標それぞれの平均値)を用い
ても良いし、ハフ変換画像dから各ラベルに対応する画
素を抽出し、その中で最も画素値が大きな画素の座標を
代表点としても良い。
【0038】この代表点を原画像に存在する直線成分の
パラメータとして、出力する。(θ 0,ρ0)をそのまま
直線の特徴パラメータとして出力してもよいし、y=a
x+bの形にする場合は、 a=−cotθ0,b=ρ'/sinθ として出力してもよい。
【0039】ラベリング処理手段505によりグループ
化された各ラベルについて以上の処理を適用することに
より、原画像に存在するすべての直線成分、すなわち、
ウェハパターンの画像であれば配線パターン直線成分を
直線の方程式で抽出することができ、各ラベルの代表点
を一点選択する。
【0040】各ラベルの代表点を選択することは代表点
算出手段(θ算出手段)506により以下のように行わ
れる。
【0041】検査対象のウェハパターン画像の配線パタ
ーンは、同じ方向にいくつもの直線が走っている形にな
っている。配線パターンの一本々々に対応して、ラベル
が発生するので、各ラベルの代表点は、あるθ0に複数
集中的に存在する。そこで、ノイズ誤差などの影響を考
慮して、各θについて近傍内の代表点の数を計数する。
代表点の数が最も多いθ0を、配線パターンの走ってい
る方向と決定し、配線パターン成分の回転角とする。
【0042】次に直線成分推定手段507により、代表
点算出手段506により算出されたθ0の近傍内の各代
表点の座標(θ,ρ)から、原画像に存在する直線成分
の直線の方程式を導出する。ハフ変換パラメータ空間に
置ける座標(θ,ρ)に対応する画像空間での直線の方
程式は ρ=xcosθ+ysinθ であるが、ここでρは原点Oからの距離を示している。
この場合、θ=θ。であるので、傾きは同じで切片だけ
違う複数の直線の方程式が得られることになる。実施形態2 次に、本発明の第2の実施形態について図3を参照して
説明する。
【0043】本実施形態では、入力デジタル画像に対し
て、平均値算出手段601により差分画像b2を以下の
ようにして生成する。
【0044】まず、全画素値の平均値Mを計算し、全画
素の画素値から、平均値Mを減算し、差分画像b2を作
成する。
【0045】次に、第1の二値化処理手段602により
活性画素と非活性画素の二値化画像データを得る。前述
したように、原画像においてエッジ部分では、画素値の
勾配が大きくなっている。したがって。エッジの前後の
部分では他の部分に比ベて、画素値と平均値の差が大き
くなっている。そこで、差分画像b2の画素値の絶対値
をとり、これを適当なしきい値で二値化して、二値画像
c2を生成する。二値画像c2では、原画像のエッジ近
辺の部分が活性画素(=1)、それ以外の部分が非活性
画素(=0)となる。
【0046】この後行われるハフ変換処理手段603、
第2の二値化処理手段604、ラベリング処理手段60
5、代表点算出手段606および直線成分推定手段60
7で行われる処理は第1の実施形態におけるハフ変換処
理手段503、第2の二値化処理手段504、ラベリン
グ処理手段505、代表点算出手段506および直線成
分推定手段507で行われる処理と同様であるために説
明は省略する。
【0047】実施形態3 次に、本発明の第3の実施形態について図4を参照して
説明する。
【0048】本実施形態では、入力デジタル画像に対し
て、平均値算出手段701により全画素値の平均値Mを
計算し、次に、変形ハフ変換処理手段702により原画
像に対してハフ変換を施す。原画像は二値画像ではない
ので、原画像のすべての画素(x,y)についてハフ曲
線をひくことになる。第1および第2の実施形態にて行
われるハフ変換では、θ−ρパラメータ空間上におい
て、対象画素(xi,yi)に対するハフ曲線に対応する
画素を1だけインクリメントする投票を行っていたが、
本実施形態では、ハフ曲線に対応する画素の画素値を、
(xi,yi)の画素値tと、最初に求めた画像の平均値
Mの差|t(xi,yi)−M|だけインクリメントす
る。これを変形ハフ変換とよぶ。
【0049】前述したように、原画像のエッジの前後の
部分では、他の部分に比ベて画素値と平均値の差が大き
くなっている。したがって、画像内の直線エッジ成分、
すなわち、配線パターン成分に対応するハフ曲線に、高
い値の投票が行われることになる。この結果、θ−ρパ
ラメータ空間上において、原画像に存在する直線成分に
対応する画素(θ0,ρ0)が高い値をもつので、直線成
分の推定が可能となる。この変形ハフ変換手段は、エッ
ジ検出処理や、二値化処理を行わずに、原画像に対して
直接ハフ曲線の投票ができるところに利点がある。変形
ハフ変換手段で得られた画像を変形ハフ変換画像d3と
よぶ。
【0050】次に、変形ハフ変換画像d3を二値化処理
手段703により適当なしきい値で二値化して、二値画
像e3を生成する。二値画像e3における活性画素は、
その座標(θ,ρ)近辺に直線成分があることを示して
おり。直線成分が存在するところには活性画素が局所的
に集中して存在している。
【0051】続いて、ラベリング処理手段703により
二値画像e3をラベリング処理して、隣接する画素をグ
ループ化する。ラベリングされた、それぞれのラベルが
1本の直線に対応している。そこで、このラベルに属す
る画素から代表点算出手段705により代表点(θ0
ρ0)を一点選択する。代表点の選択方法は、各ラベル
に属する画素の(x,y)座標の重心(x座標、y座標
それぞれの平均値)を用いても良いし、ハフ変換画像d
から各ラベルに対応する画素を抽出し、その中で最も画
素値が大きな画素の座標を代表点としても良い。
【0052】次に、直線成分推定手段705により、こ
の代表点を原画像に在在する直線成分のパラメータとし
て出力する。(θ0,ρ0)をそのまま直線の特徴パラメ
ータとして出力してもよいし、y=ax+bの形にする
場合は、 a=−cotθ0,b=ρ’/sinθ として出力してもよい。
【0053】ラベリング処埋によりグループ化された各
ラベルについて以上の処理を適用することにより、原画
像に存在するすべての直線成分、すなわち、ウェハパタ
ーンの画像であれば配線パターン直線成分を直線の方程
式で抽出することができる。実施形態4 次に、本発明の第4の実施形態について図5を参照して
説明する。
【0054】本実施形態におけるエッジ検出処理手段8
01、第1の二値化処理手段802、ハフ変換処理手段
803、第2の二値化処理手段804、ラベリング処理
手段805、代表点算出手段806および直線成分推定
手段807のそれぞれは図2に示した第1の実施形態に
おけるエッジ検出処理手段501、第1の二値化処理手
段502、ハフ変換処理手段503、第2の二値化処理
手段504、ラベリング処理手段505、代表点算出手
段506および直線成分推定手段507と同様であるた
め説明は省略する。
【0055】本実施形態においては、間隔算出手段80
8により直線成分推定手段807にて求められた直線の
方程式によるそれぞれの直線の間隔を求める。上記の直
線の方程式の場合、2本の直線、ρa=xcosθ+y
sinθ、ρb=xcosθ+ysinθの間隔は、|
ρa−ρb|で表わされる。導出された、同じ傾きをもつ
複数の直線の方程式をρに関して昇順または降順に、隣
り合う2本の間隔を計算する。
【0056】次に、最小値算出手段809により、間隔
算出手段808によって計算されたそれぞれの隣り合う
2本の間隔のなかから最小の間隔を選択する。この最小
の間隔を、配線パターンの最も狭い部分の幅と判断し、
これを検出対象画像の拡大率に関する特徴量として出力
する。
【0057】実施形態5 次に、本発明の第5の実施形態について図6を参照して
説明する。
【0058】本実施形態における平均値算出手段90
1、第1の二値化処理手段902、ハフ変換処理手段9
03、第2の二値化処理手段904、ラベリング処理手
段905、代表点算出手段906および直線成分推定手
段907のそれぞれは図3に示した第2の実施形態にお
ける平均値算出手段601、第1の二値化処理手段60
2、ハフ変換処理手段603、第2の二値化処理手段6
04、ラベリング処理手段605、代表点算出手段60
6および直線成分推定手段607と同様であり、間隔算
出手段908および最小値算出手段909は図5に示し
た第4の実施形態における間隔算出手段808および最
小値算出手段809と同様であるために説明は省略す
る。
【0059】実施形態6 次に、本発明の第6の実施形態について図7を参照して
説明する。本実施形態における平均値算出手段100
1、変形ハフ変換処理手段1002、二値化処理手段1
003、ラベリング処理手段1004、代表点算出手段
1005および直流成分推定手段1006のそれぞれは
図4に示した第3の実施形態における平均値算出手段7
01、変形ハフ変換処理手段702、二値化処理手段7
03、ラベリング処理手段704、代表点算出手段70
5および直流成分推定手段706と同様であり、間隔算
出手段1007および最小値算出手段1008は図5に
示した第4の実施形態における間隔算出手段808およ
び最小値算出手段809と同様であるために説明は省略
する。
【0060】実施形態7 次に、本発明の第7の実施形態について図8を参照して
説明する。
【0061】本実施例は図5に示した第4の実施形態に
おける最小値算出手段の代わりに等間隔判定手段110
1を設けたものである。
【0062】等間隔判定手段1101は、間隔算出手段
808により求められた同じ傾きを持つ複数の直線の中
の最も小さな間隔と他の間隔とを比較し、最も小さな間
隔が複数存在する場合にその間隔を検出対象画像の拡大
率に関する特徴量として出力する。
【0063】上記のような等間隔判定手段1101の動
作の理由について説明する。ウエハの配線パターンの画
像には同じ配線が等間隔に並んでいるものが非常に多
い。したがって、同じ間隔が複数存在する場合にはその
間隔を等間隔の配線パターンの間隔と見なすことができ
る。同じサンプルの画像であれば、間隔の違いは画像の
拡大率に対応するので、配線パターンの間隔と見なした
間隔を検出対象画像の拡大率に関する特徴量として出力
する。
【0064】実施形態8 次に、本発明の第8の実施形態について説明する。本実
施形態は、第7の実施形態における等間隔判定手段11
01の動作を異ならせたものである。
【0065】本実施形態における等間隔判定手段110
1は、複数の直線の中の最も小さな間隔が1つだけであ
り、これと同じ間隔が存在しなかった場合に、2番目に
間隔が小さなものを求め、求めた2番目に小さな間隔と
同じ間隔が複数存在した場合は、この2番目に小さな間
隔を検出対象画像の拡大率に関する特徴量として出力す
る。
【0066】また、2番目に小さな間隔と同じ間隔をも
つものが複数在在しない場合には、複数存在する同じ間
隔が確認されるまで以上の処理を繰り返す。同じ間隔が
複数在在したところで、この間隔を画像全体の検出対象
画像の拡大率に関する特徴量として出力する。
【0067】さらに、構造が複雑なウェハの配線パター
ン画像には、配線が等間隔に並んでいない場合もある。
したがって、同じ間隔が複数存在しない場合もある。本
実施形態では、最後まで同じ間隔が表れなかった場合、
最初に検出された最も小さな間隔を対象画像内に存在す
る最も狭い配線パターンの間隔であると判断し、認識対
象物の幅として出力する。
【0068】
【実施例】次に、本発明の具体的な実施例について説明
する。
【0069】図10はウェハのSEM画像(半導体グレ
ースケール256階調)の模式図である。ここで原画像
の画素値の平均値をM、最大値をMax、最小値をMinと
する。また、画像の配線パターン成分はy軸に対して3
0゜傾いている。この配線パターンに垂直な配線の成分
もあるが、ここではより配線量の多い方を検出対象とす
る。
【0070】第1の実施形態および第4の実施形態では
原画像に対してエッジ検出処理を行う。図11は原画像
に対して、 Roberts のエッジ検出オペレータを適用し
た結果を示す模式図である。
【0071】第2の実施形態および第5の実施形態で
は、原画像に二値化処理を適用する。ここでの二値化の
条件は、各画素の画素値tにおいて、画像の平均値を
M、標準偏差をΣとしたとき、たとえば |t−M|>3Σ で与える。この条件で二値化処理を行った結果が図12
である。
【0072】次に、図11、または図12の画像にハフ
変換を適用する。図11に示した Roberts のエッジ検
出オペレータを適用した画像、図12に示した原画像を
直接二値化した画像にハフ変換を適用した場合、いずれ
においても同じような結果を得ることができる。
【0073】実施形態3および実施形態6では、原画像
のすべての画素について、ハフ曲線を投票する。通常の
ハフ変換がハフ曲線に対応する画素を画素値1だけイン
クリメントするのに対し、ここでは、各画素の画素値t
(x,y)と全画素値の平均値Mを使って、|t(x,
y)−M|だけインクリメントする。通常のハフ変換
が、二値画像の中の活性画素に対してのみ施されるのに
対して、実施形態3および実施形態6では、全画素に対
してハフ変換が施されるので、投票後のθ−ρパラメー
タ空間での各画素の画素値は通常のハフ変換よりも大き
くなる。しかし、全体の傾向としては、画像のエッジ部
分に対応する部分に、より大きな値が投票されるので、
図11、または図12の画像にハフ変換を適用する。図
11に示した Roberts のエッジ検出オペレータを適用
した画像もしくは図12に示した原画像を直接二値化し
た画像にハフ変換を適用した場合と同じような結果を得
ることができる。
【0074】以上のようにして得られたハフ変換画像、
または変形ハフ変換画像に二値化処理を適用する。ここ
での二値化しきい値は、パラメータ空間での画素値の平
均値をMP、画素値の標準偏差をΣとして、たとえば、 MP+3Σ で与える。図10に示した画像に対して以上のしきい値
で二値化した結果が図13である。
【0075】変形ハフ変換を適用したθ−ρパラメータ
空間画像については、平均値MPも、標準偏差Σも大き
な値になるが、上記の二値化しきい値をつかうと、図1
3と同じような画像を得る。図13の画像においては、
原画像に存在する直線成分に対応する部分に活性画素が
局所的に固まって存在している。
【0076】この二値画像をラベリング処理して、隣接
している画素をグループ化する。これにより、複数のラ
ベルが得られる。
【0077】次に、各ラベルにおいて、代表点(θi
ρi)を選択する。ここでは代表点として、各ラベルの
重心((x座標の平均値),(y座標の平均値))を計
算する。
【0078】実施形態1乃至実施形態3では、求めた代
表点座標(θi,ρi)を原画像における直線成分の特徴
パラメータとして出力する。図13に示す例では、ラベ
リング処理により17個のラベルが発生しているので、
それぞれのラベルの重心の座標(θi,ρi)を直線ρ=
xcosθ+ysinθの特徴パラメータとして出力す
る。あるいはこの座標情報(θi,ρi)をつかってy=
ax+bの形にすることもできる。
【0079】たとえば図13から求めた代表点の中に、
(θi,ρi)=(30゜,501)というもの(図13
の点A)があり、変換すると、 a=−cotθ≒−1.733,b=ρi/sinθi
1002 となるので、 y=−1,733x+1002 と表現することができる。これを全てのラベルの代表点
について適用することにより、原画像に存在する直線的
成分、すなわち半導体ウェハ画像であれば配線パターン
のエッジの情報を検出することができる。なお、この直
線の方程式は図10に示すとおり、画像の左下を原点O
としている。
【0080】実施形態4乃至実施形態6でも二値画像を
ラベリングして、各ラベルの代表点として重心の座標を
計算する。この代表点は、原画像の配線パターン一本に
ついて一個発生するので、同じ方向を向いている配線パ
ターンが複数存在する場合は、あるθ上に集中して複数
のラベルの代表点が発生する。そこで、θを0〜180
゜までスキャンして、各θについて、たとえばθ±3゜
以内にいくつの代表点が存在するかを計数して、最も代
表点が多いθを求める。図13に示す例ではθ=30゜
の付近に12個のラベルが検出され、θ=30゜付近に
12個のラベルが集中して存在しているので、θ=30
゜と求まる。これはどの方向に最も多くの配線パターン
が走っているかを特定する処理になるので、結果とし
て、配線パターンが全体的にどの方向を向いているかを
認識することが可能となる。
【0081】上記のラベルの重心座標の間隔が原画像の
配線パターンの間隔に対応する。よって、この12個の
座標の隣り合う2個のラベルの重心の間隔を計算し、最
も間隔が小さなものを配線パターンの幅として出力す
る。
【0082】図13に示す例ではθ=30゜において、
点Bと点Cとの間隔が27画素(画素は任意単位)で、
これが最小になるので、配線パターン幅27として出力
する。最終出力は回転角30゜、配線パターン幅27と
なる。もし、同じサンプルを別の撮影条件で撮った画像
があって、それを本発明で分析した結果、配線パターン
幅が10と算出された場合は、図10の画像は他方の画
像を2.7倍に拡大して撮影されたものであると判断す
ることができる。
【0083】実施形態7では、実施形態4乃至実施形態
6で算出された各ラベルの代表値の間隔の最小値を、他
の間隔と比較する。図13ではθ=30゜のところに1
2個のラベルが存在したので、隣り合うラベルの間隔は
11個存在する。この中で最小だったのは点Bと点Cと
の間隔であり、27画素であったが、11個の間隔のう
ち、間隔が27画素であるものがもう1箇所あり、残り
9箇所のうち、7箇所が間隔が28画素である。ここ
で、±2画素は誤差範囲と見なすと、最小間隔27と同
じ間隔が9箇所存在することになるので、この間隔27
を、等間隔に並ぶ配線パターンの間隔として出力する。
【0084】図13で、ノイズなどの影響により、出る
べきではないラベルが検出された場合を仮定する。すな
わち、点Bと点Cの間に別のラベルの代表点Dが検出さ
れ、BDの間隔が10画素、DCの間隔が17画素であ
ったとする。
【0085】実施形態4乃至実施形態6では、最小間隔
10画素(BD間)が得られる。ところが、この間隔1
0画素と同じ間隔はθ=30゜では他に存在しない。そ
こで、次に小さな間隔が探索され、DC間の17画素を
得る。この17画素と同じ間隔も存在していない。そこ
で、次に狭い間隔が探索されて点EF間の27画素が得
られる。これは他に同じ間隔が存在するので、この間隔
27を、等間隔に並ぶ配線パターンの間隔として出力す
る。以上の処理により、ウェハパターン画像の回転角
(30゜)とパターン間隔(27画素)を得ることがで
きる。
【0086】次に、本発明による処理の速度について従
来法(パターンマッチング)と比較して説明する。
【0087】原画像を512×512=262144 P
ixels=N Pixelsとする(N=262144)。
【0088】本発明による処理、従来法であるパターン
マッチングのいずれにおいてもエッジ検出の際にはエッ
ジ検出オペレータおよび二値化処理が行われ、これらに
必要とされる計算量は以下のように同様である。
【0089】エッジ検出オペレータ(Sobel 3×3 Opera
tor) {(積算:3×3)+(加算:1)}×N 二値化処理 (条件処理)×N 上記の二値化処理で本発明の実施例で図11を用いて説
明したサンプルは活性画素≒8000Pixelsになる。
【0090】この後、ハフ変換および二値化処理が行わ
れる本発明における計算量は以下の通りである。
【0091】本発明における計算量 ハフ変換 {〔(三角関数演算+乗算)×2+加算×2〕×360}
×8000 (0°≦θ≦360°,1°刻み) 二値化処理 (条件処理)×360×800 (0≦ρ≦800) 一方、従来法(パターンマッチング)における計算量は
以下の通りである。
【0092】 {(加減算:256)+加算+条件処理}×360×N 条件処理は(加減算+符号反転=加減算×2)で行わ
れ、三角関数は三角関数表を予め用意しておき、これを
θによって参照することにより導出できるので、メモリ
アクセス演算で置換えることができる。
【0093】以上から、ハフ変換を用いる本発明におけ
る総計算量は以下の通りである。
【0094】 加減算 2N+360×2×(8000+1600) 乗算 9N+360×2×8000 メモリアクセス 360×2×8000 TOTAL 11N+360×2×25600≒83N (N≒262000) パターンマッチングによる従来法における総計算量は以
下の通りである。
【0095】 加減算 2×(N+360×N) 乗算 9N+360×N メモリアクセス 0 TOTAL 11N+1080N=1091N 以上のようになり、演算量においても、第1の実施形態
もしくは第4の実施形態でパターンマッチングによる従
来法より約13倍有利である。第2の実施形態もしくは
第5の実施形態においてはエッジ検出処理が不要となる
ので、さらに演算量が少なく、従来法の約14倍有利と
なる。
【0096】第3の実施形態もしくは第6の実施形態で
は、二値化処理をせずに、全ての画素に対してハフ変換
を行うので、演算量は従来法よりも増える。しかし、従
来法、あるいは第1の実施形態もしくは第4の実施形態
では、エッジがぼやけて不鮮明な場合はエッジ成分が検
出されない場合がある。
【0097】これに対して第2の乃至第4の実施形態お
よび第6の実施形態では、画素値の平均値からの差の大
きな箇所を検出するので、エッジが不鮮明であっても検
出が可能であるという利点がある。このように、特徴量
抽出技術の面からも、処理速度の面からもその効果は大
である。
【0098】その他の実施例 市街地を空から振影した航空写真などには、道路情報が
直線情報として含まれている。このような画像に対して
本発明を適用することにより、道路がどの方向を向いて
いるのかを特定することができる。また、道路の両端を
エッジ情報として検出すると、本発明により、道路の幅
も特定することができる。航空写其の縮尺がわかってい
れば、実際の道路の幅を特定することが可能であるし、
逆に写っている道路の幅が実測されていれば航空写真の
縮尺を推定することも可能となる。
【0099】
【発明の効果】以上詳細に説明したように、この発明は
半導体ウェハパターンのような、ある一定の方向をもつ
直線が複数平行に並んでいる画像に対して、ハフ変換を
適用し、変換結果から、直線の方程式を特定することに
より、画像全体の回転角と配線パターンの幅、あるいは
画像の拡大率を一つの特徴量として定量化することが可
能となった。従来法のパターンマッチングでは位置合わ
せが必要だったが、本発明では位置合わせは不要であ
る。また、従来法の後半で述ベた、二値化処理後に直線
成分をパターンマッチングで検出する方法では直線が微
妙に曲ったり、ずれたりすると検出できなかったが、本
発明では多少の直線のずれていても検出可能である。
【図面の簡単な説明】
【図1】本発明に用いられる装置の一例の構成を示すブ
ロック図である。
【図2】本発明の第1の実施形態の構成を示す図であ
る。
【図3】本発明の第2の実施形態の構成を示す図であ
る。
【図4】本発明の第3の実施形態の構成を示す図であ
る。
【図5】本発明の第4の実施形態の構成を示す図であ
る。
【図6】本発明の第5の実施形態の構成を示す図であ
る。
【図7】本発明の第6の実施形態の構成を示す図であ
る。
【図8】本発明の第7の実施形態の構成を示す図であ
る。
【図9】(a),(b)のそれぞれは、本発明で行われ
るハフ変換について説明するための図である。
【図10】ウェハのSEM画像(半導体グレースケール
256階調)の模式図である。
【図11】原画像に対して、 Roberts のエッジ検出オ
ペレータを適用した結果を示す模式図である。
【図12】原画像に対して、二値化処理を行った結果を
示す図である。
【図13】図10に示した画像に対して以上のしきい値
で二値化した結果を示す図である。
【符号の説明】
100 入力装置 200 出力装置 300 記憶装置 400 処理装置 501,801 エッジ検出処理手段 502,602,802,902 第1の二値化処理
手段 503,603,803,903 ハフ変換処理手段 504,604,804,904 第2の二値化処理
手段 505,605,704,805,905,1004
ラベリング処理手段 506,606,705,806,906,1005
代表点算出手段 507,607,706,807,907,1006
直線成分推定手段 601,701,901,1001 平均値算出手段 702,1002 変形ハフ変換処理手段 703,1003 二値化処理手段 808,908,1007 間隔算出手段 809,909,1008 最小値算出手段 1101 等間隔判定手段

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 画像を用いて対象物の検査や認識や判断
    を行う画像情報認識装置であって、 入力デジタル画像データに対して、エッジ成分の検出を
    行うエッジ検出手段と、 前記エッジ検出手段によって得られた画像についてしき
    い値処理を施して活性画素と非活性画素の二値画像デー
    タを得る第1の二値化処理手段と、 前記第1の二値化処理手段により得られた二値画像に対
    してハフ変換を行うハフ変換手段と、 前記ハフ変換手段によるハフ変換画像をしきい値処理し
    て活性画素と非活性画素の二値画像データを得る第2の
    二値化処理手段と、 前記第2の二値化処理手段によって得られた二値画像の
    中の、隣接する画素をグループ化するラベリング処理手
    段と、 前記ラベリング処理手段によりグループ化された各ラベ
    ルの代表点座標を求める代表点算出手段と、 前記代表点算出手段により求められた各代表点の座標情
    報から、原画像のエッジ成分の中での直線的な部分につ
    いて、直線の方程式を求める直線成分推定手段とを具備
    することを特徴とする画像情報認識装置。
  2. 【請求項2】 画像を用いて対象物の検査や認識や判断
    を行う画像情報認識装置であって、 入力デジタル画像データに対して、全画素値の平均値M
    を算出し、原画像データの各画素の画素値から平均値M
    を減算して、差分画像を生成する平均値算出手段と、 前記平均値算出手段により得られた差分画像データに対
    して、しきい値処理をして活性画素と非活性画素の二値
    画像データを得る第1の二値化処理手段と、 前記第1の二値化処理手段により得られた二値画像に対
    してハフ変換を行うハフ変換手段と、 前記ハフ変換手段により得られたハフ変換画像をしきい
    値処理して活性画素と非活性画素の二値画像データを得
    る第2の二値化処理手段と、 前記第2の二値化処理手段によって得られた二値画像の
    中の、隣接する画素をグループ化するラベリング処理手
    段と、 前記ラベリング処理手段によりグループ化された各ラベ
    ルの代表点座標を求める代表点算出手段と、 前記代表点算出手段により求められた各代表点の座標情
    報から原画像のエッジ成分の中での直線的な部分につい
    て、直線の方程式を求める直線成分推定手段とを具備す
    ることを特徴とする画像情報認識装置。
  3. 【請求項3】 画像を用いて対象物の検査や認識や判断
    を行う画像情報認識装置であって、 入力デジタル画像データに対して、全画素値の平均値M
    を算出する平均値算出手段と、 原画像の各画素t(x,y)座標にハフ変換 ρ=xcosθ+ysinθ を適用して、θ−ρパラメータ空間に、画素値tと前記
    平均値算出手段により算出された平均値Mとの差|t
    (x,y)−M|の重みをつけて投票を行う変形ハフ変
    換手段と、 前記変形ハフ変換手段により得られた変形ハフ変換画像
    をしきい値処理して活性画素と非活性画素の二値画像デ
    ータを得る二値化処理手段と、 前記二値化処理手段によって得られた二値画像の中の、
    隣接する画素をグループ化するラベリング処理手段と、 前記ラベリング処理手段によりグループ化された各ラベ
    ルの代表点座標を求める代表点算出手段と、 前記代表点算出手段により求められた各代表点の座標情
    報から原画像のエッジ成分の中での直線的な部分につい
    て、直線の方程式を求める直線成分推定手段とを具備す
    ることを特徴とする画像情報認識装置。
  4. 【請求項4】 画像を用いて対象物の検査や認識や判断
    を行う画像情報認識装置であって、 入力デジタル画像データに対して、エッジ成分の検出を
    行うエッジ検出手段と、 前記エッジ検出手段によって得られた画像にしきい値処
    理を施して活性画素と非活性画素の二値画像データを得
    る第1の二値化処理手段と、 前記二値画像に対してハフ変換を行うハフ変換手段と、 前記ハフ変換手段により、得られたハフ変換画像をしき
    い値処理して活性画素と非活性画素の二値画像データを
    得る第2の二値化処理手段と、 前記第2の二値化処理手段によって得られた二値画像の
    中の、隣接する画素をグループ化するラベリング処理手
    段と、 前記ラベリング処理手段によりグループ化された各ラベ
    ルの代表点座標を求める代表点算出手段と、 前記代表点算出手段により求められた各代表点の座標情
    報から、原画像のエッジ成分の中での直線的な部分につ
    いて、直線の方程式を求める直線成分推定手段と、 前記直線成分推定手段で得られた、同じ方向を向いてい
    る直線的な部分について、隣り合う直線の間隔を複数の
    直線の切片情報から算出する間隔算出手段と、 前記間隔算出手段により算出された間隔の中で最も小さ
    な間隔を求め、原画像における認識対象物の幅として出
    力する最小値算出手段と、を具備することを特徴とする
    画像情報認識装置。
  5. 【請求項5】 画像を用いて対象物の検査や認識や判断
    を行う画像情報認識装置であって、 入力デジタル画像データに対して、全画素値の平均値M
    を算出する平均値算出手段と、 原画像データの各画素の画素値から前記平均値算出手段
    にて算出された平均値Mを減算して、差分画像を生成す
    る手段と、 差分画像データに対して、しきい値処理を施して活性画
    素と非活性画素の二値画像データを得る第1の二値化処
    理手段と、 前記二値化処理手段により得られた二値画像に対してハ
    フ変換を行うハフ変換手段と、 前記ハフ変換手段により得られたハフ変換画像をしきい
    値処理して活性画素と非活性画素の二値画像データを得
    る第2の二値化処理手段と、 前記第2の二値化処理手段によって得られた二値画像の
    中の、隣接する画素をグループ化するラベリング処理手
    段と、 前記ラベリング処理手段によりグループ化された各ラベ
    ルの代表点座標を求める代表点算出手段と、 前記代表点算出手段により求められた各代表点の座標情
    報から、原画像のエッジ成分の中での直線的な部分につ
    いて、直線の方程式を求める直線成分推定手段と、 前記直線成分推定手段で得られた、同じ方向を向いてい
    る直線的な部分について、隣り合う直線の間隔を複数の
    直線の切片情報から算出する間隔算出手段と、 前記間隔算出手段により算出された間隔の中で最も小さ
    な間隔を求め、原画像における認識対象物の幅として出
    力する最小値算出手段と、を具備することを特徴とする
    画像情報認識装置。
  6. 【請求項6】 画像を用いて対象物の検査や認識や判断
    を行う画像情報認識装置であって、 原画像の各画素t(x,y)座標にハフ変換 ρ=xcosθ+ysinθ を適用して、θ−ρパラメータ空間に、画素値tと上記
    で算出した平均値Mとの差|t(x,y)−M|の重み
    をつけて投票を行う変形ハフ変換手段と、 前記変形ハフ変換手段により得られた変形ハフ変換画像
    にしきい値処理を施して活性画素と非活性画素の二値画
    像データを得る二値化処理手段と、 前記二値化処理手段によって得られた二値画像の中の、
    隣接する画素をグループ化するラベリング処理手段と、 前記ラベリング処理手段により得られたグループ化され
    た各ラベルの代表点座標を求める代表点算出手段と、 前記代表点算出手段により求められた各代表点の座標情
    報から、原画像のエッジ成分の中での直線的な部分につ
    いて、直線の方程式を求める直線成分推定手段と、 前記直線成分推定手段で得られた、同じ方向を向いてい
    る直線的な部分について、隣り合う直線の間隔を複数の
    直線の切片情報から算出する間隔算出手段と、 前記間隔算出手段により算出された間隔の中で最も小さ
    な間隔を求め、原画像における認識対象物の幅として出
    力する最小値算出手段と、を具備することを特徴とする
    画像情報認識装置。
  7. 【請求項7】 請求項4乃至請求項6のいずれかに記載
    の画像情報認識装置であって、 最小値算出手段の代わりに、同じ傾きをもつ複数の直線
    の中の最も小さな間隔と他の間隔とを比較し、同じ間隔
    が複数存在する場合には、その間隔を画像全体の直線成
    分の等間隔幅として出力する等間隔判定手段を有するこ
    とを特徴とする画像情報認識装置。
  8. 【請求項8】 請求項4乃至請求項6のいずれかに記載
    の画像情報認識装置であって、 最小値算出手段の代わりに、同じ傾きをもつ複数の直線
    の中の最も小さな間隔と他の間隔とを比較し、同じ間隔
    が複数存在しなかった場合、次に間隔が小さなものを算
    出する処理を、同じ間隔が複数存在するまで繰り返し、
    同じ間隔が複数存在したところで、この間隔を画像全体
    の直線成分の等間隔幅として出力し、最後まで同じ間隔
    が表れなかった場合には最初の最も小さな間隔を認識対
    象物の幅として出力する等間隔判定手段を有することを
    特徴とする画像情報認識装置。
  9. 【請求項9】 画像を用いて対象物の検査や認識や判断
    を行う画像情報認識方法であって、 入力デジタル画像データに対して、エッジ成分の検出を
    行い、 前記エッジ成分の検出によって得られた画像について第
    1のしきい値処理を施して活性画素と非活性画素の二値
    画像データを得、 前記第1のしきい値処理により得られた二値画像に対し
    てハフ変換を行い、 前記ハフ変換によるハフ変換画像について第2のしきい
    値処理を施して活性画素と非活性画素の二値画像データ
    を得、 前記第2のしきい値処理によって得られた二値画像の中
    の、隣接する画素をグループ化し、 前記グループ化された各ラベルの代表点座標を求め、 前記求められた各代表点の座標情報から、原画像のエッ
    ジ成分の中での直線的な部分について、直線の方程式を
    求めることを特徴とする画像情報認識方法。
  10. 【請求項10】 画像を用いて対象物の検査や認識や判
    断を行う画像情報認識方法であって、 入力デジタル画像データに対して、全画素値の平均値M
    を算出し、原画像データの各画素の画素値から平均値M
    を減算して、差分画像を生成し、 前記平均値算出手段により得られた差分画像データに対
    して、第1のしきい値処理を施して活性画素と非活性画
    素の二値画像データを得、 前記第1のしきい値処理により得られた二値画像に対し
    てハフ変換を行い、 前記ハフ変換画像に第2のしきい値処理を施して活性画
    素と非活性画素の二値画像データを得、 前記第2のしきい値処理にって得られた二値画像の中
    の、隣接する画素をグループ化し、 前記グループ化された各ラベルの代表点座標を求め、 前記求められた各代表点の座標情報から原画像のエッジ
    成分の中での直線的な部分について、直線の方程式を求
    めることを特徴とする画像情報認識方法。
  11. 【請求項11】 画像を用いて対象物の検査や認識や判
    断を行う画像情報認識方法であって、 入力デジタル画像データに対して、全画素値の平均値M
    を算出し、 原画像の各画素t(x,y)座標にハフ変換 ρ=xcosθ+ysinθ を適用して、θ−ρパラメータ空間に、画素値tと前記
    算出された平均値Mとの差|t(x,y)−M|の重み
    をつけて投票を行い、 前記投票により得られた画像にしきい値処理を施して活
    性画素と非活性画素の二値画像データを得、 前記二値画像の中の、隣接する画素をグループ化し、 前記グループ化された各ラベルの代表点座標を求め、 前記求められた各代表点の座標情報から原画像のエッジ
    成分の中での直線的な部分について、直線の方程式を求
    めることを特徴とする画像情報認識方法。
  12. 【請求項12】 画像を用いて対象物の検査や認識や判
    断を行う画像情報認識方法であって、 入力デジタル画像データに対して、エッジ成分の検出を
    行い、 前記エッジ成分の検出によって得られた画像に第1のし
    きい値処理を施して活性画素と非活性画素の二値画像デ
    ータを得、 前記第1のしきい値処理により得られた二値画像に対し
    てハフ変換を行い、 前記ハフ変換により得られたハフ変換画像に第2のしき
    い値処理を施して活性画素と非活性画素の二値画像デー
    タを得、 前記第2のしきい値処理によって得られた二値画像の中
    の、隣接する画素をグループ化し、 前記グループ化された各ラベルの代表点座標を求め、 前記求められた各代表点の座標情報から、原画像のエッ
    ジ成分の中での直線的な部分について、直線の方程式を
    求め、 前記求められた直線方程式のうち、同じ方向を向いてい
    る直線的な部分について、隣り合う直線の間隔を複数の
    直線の切片情報から算出し、 前記算出された間隔の中で最も小さな間隔を求め、原画
    像における認識対象物の幅とすることを特徴とする画像
    情報認識方法。
  13. 【請求項13】 画像を用いて対象物の検査や認識や判
    断を行う画像情報認識方法であって、 入力デジタル画像データに対して、全画素値の平均値M
    を算出し、 原画像データの各画素の画素値から前記算出された平均
    値Mを減算して、差分画像を生成し、 差分画像に対して、第1のしきい値処理を施して活性画
    素と非活性画素の二値画像データを得、 前記第1のしきい値処理により得られた二値画像に対し
    てハフ変換を行い、 前記ハフ変換により得られたハフ変換画像に第2のしき
    い値処理を施して活性画素と非活性画素の二値画像デー
    タを得、 前記第2のしきい値処理によって得られた二値画像の中
    の、隣接する画素をグループ化し、 前記グループ化された各ラベルの代表点座標を求め、 前記求められた各代表点の座標情報から、原画像のエッ
    ジ成分の中での直線的な部分について、直線の方程式を
    求め、 前記求められた直線の方程式のうち、同じ方向を向いて
    いる直線的な部分について、隣り合う直線の間隔を複数
    の直線の切片情報から算出し、 前記間隔算出手段により算出された間隔の中で最も小さ
    な間隔を求め、原画像における認識対象物の幅とするこ
    とを特徴とする画像情報認識方法。
  14. 【請求項14】 画像を用いて対象物の検査や認識や判
    断を行う画像情報認識方法であって、 原画像の各画素t(x,y)座標にハフ変換 ρ=xcosθ+ysinθ を適用して、θ−ρパラメータ空間に、画素値tと上記
    で算出した平均値Mとの差|t(x,y)−M|の重み
    をつけて投票を行い、 前記投票により得られた画像にしきい値処理を施して活
    性画素と非活性画素の二値画像データを得、 前記しきい値処理によって得られた二値画像の中の、隣
    接する画素をグループ化し、 前記グループ化された各ラベルの代表点座標を求め、 前記求められた各代表点の座標情報から、原画像のエッ
    ジ成分の中での直線的な部分について、直線の方程式を
    求め、 前記求められた直線の方程式のうち、同じ方向を向いて
    いる直線的な部分について、隣り合う直線の間隔を複数
    の直線の切片情報から算出し、 前記算出された間隔の中で最も小さな間隔を求め、原画
    像における認識対象物の幅とすることを特徴とする画像
    情報認識方法。
  15. 【請求項15】 請求項12乃至請求項14のいずれか
    に記載の画像情報認識方法であって、 前記算出された間隔の中で最も小さな間隔を求めて原画
    像における認識対象物の幅とする代わりに、同じ傾きを
    もつ複数の直線の中の最も小さな間隔と他の間隔とを比
    較し、同じ間隔が複数存在する場合には、その間隔を画
    像全体の直線成分の等間隔幅とすることを特徴とする画
    像情報認識方法。
  16. 【請求項16】 請求項12乃至請求項14のいずれか
    に記載の画像情報認識方法であって、 前記算出された間隔の中で最も小さな間隔を求めて原画
    像における認識対象物の幅とする代わりに、同じ傾きを
    もつ複数の直線の中の最も小さな間隔と他の間隔とを比
    較し、同じ間隔が複数存在しなかった場合、次に間隔が
    小さなものを算出する処理を、同じ間隔が複数存在する
    まで繰り返し、同じ間隔が複数存在したところで、この
    間隔を画像全体の直線成分の等間隔幅として出力し、最
    後まで同じ間隔が表れなかった場合には最初の最も小さ
    な間隔を認識対象物の幅とすることを特徴とする画像情
    報認識方法。
JP9234264A 1997-08-29 1997-08-29 画像情報認識装置および画像情報認識方法 Withdrawn JPH1173509A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP9234264A JPH1173509A (ja) 1997-08-29 1997-08-29 画像情報認識装置および画像情報認識方法
US09/144,225 US6259809B1 (en) 1997-08-29 1998-08-31 System and method for recognition of image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9234264A JPH1173509A (ja) 1997-08-29 1997-08-29 画像情報認識装置および画像情報認識方法

Publications (1)

Publication Number Publication Date
JPH1173509A true JPH1173509A (ja) 1999-03-16

Family

ID=16968253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9234264A Withdrawn JPH1173509A (ja) 1997-08-29 1997-08-29 画像情報認識装置および画像情報認識方法

Country Status (2)

Country Link
US (1) US6259809B1 (ja)
JP (1) JPH1173509A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100467992B1 (ko) * 2001-03-27 2005-01-26 가부시끼가이샤 도시바 패턴 평가 방법, 패턴 평가 장치 및 컴퓨터 판독 가능한기록 매체
KR100809678B1 (ko) * 2006-05-09 2008-03-05 두비시스주식회사 에지 위치 추정을 이용한 이진 영상의 복원 방법 및 그장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463102B1 (en) * 1998-09-11 2002-10-08 Harmonic, Inc. Digital video compressor with border processor
US6697535B1 (en) * 1999-04-30 2004-02-24 Cognex Technology And Investment Corporation Method for refining a parameter of a contour in an image
EP1122521A1 (en) * 2000-02-01 2001-08-08 Setrix AG Method and apparatus for monitoring an analog meter
CA2313803A1 (en) * 2000-07-11 2002-01-11 Dong-Chan He Automatic extraction of linear features from digital imagery
JP2004240583A (ja) * 2003-02-04 2004-08-26 Brother Ind Ltd 画像処理装置およびそれを備えた画像読み取り装置
KR101122944B1 (ko) * 2004-06-18 2012-03-22 소니 주식회사 화상 대조 방법, 화상 대조 장치, 프로그램
JP6115214B2 (ja) * 2012-05-22 2017-04-19 株式会社リコー パターン処理装置、パターン処理方法、パターン処理プログラム
DE102014100765A1 (de) * 2014-01-23 2015-07-23 Bundesrepublik Deutschland, Vertreten Durch Den Bundesminister Für Wirtschaft Und Energie, Dieser Vertreten Durch Den Präsidenten Der Bundesanstalt Für Materialforschung Und -Prüfung (Bam) Zeitoptimierte, qualitativ verbesserte Auswertung von EBSD pattern durch iterative, lokale Erhöhung der Hough-Transformation
CN109741355A (zh) * 2019-01-08 2019-05-10 珠海市颖影科技有限公司 处理数字x线图像的方法、装置、设备及存储介质
CN111652125B (zh) * 2020-06-02 2023-03-24 马鞍山芯乔科技有限公司 Ai对象排列与间距自动识别系统
CN112529014B (zh) * 2020-12-14 2023-09-26 中国平安人寿保险股份有限公司 直线检测方法、信息提取方法、装置、设备及存储介质
CN113269732B (zh) * 2021-05-14 2024-03-29 成都真实维度科技有限公司 一种基于特征扫描图像的线性物体检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3578241D1 (de) * 1985-06-19 1990-07-19 Ibm Verfahren zum identifizieren dreidimensionaler objekte mittels zweidimensionaler bilder.
US5247587A (en) * 1988-07-15 1993-09-21 Honda Giken Kogyo Kabushiki Kaisha Peak data extracting device and a rotary motion recurrence formula computing device
US5063604A (en) * 1989-11-08 1991-11-05 Transitions Research Corporation Method and means for recognizing patterns represented in logarithmic polar coordinates
JPH04287290A (ja) * 1990-11-20 1992-10-12 Imra America Inc ハフ変換画像処理装置
JPH06314339A (ja) * 1993-04-27 1994-11-08 Honda Motor Co Ltd 画像の直線成分抽出装置
WO1995016234A1 (en) * 1993-12-12 1995-06-15 Asp Solutions Usa, Inc. Apparatus and method for signal processing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100467992B1 (ko) * 2001-03-27 2005-01-26 가부시끼가이샤 도시바 패턴 평가 방법, 패턴 평가 장치 및 컴퓨터 판독 가능한기록 매체
KR100809678B1 (ko) * 2006-05-09 2008-03-05 두비시스주식회사 에지 위치 추정을 이용한 이진 영상의 복원 방법 및 그장치

Also Published As

Publication number Publication date
US6259809B1 (en) 2001-07-10

Similar Documents

Publication Publication Date Title
Huang et al. Automated visual inspection in the semiconductor industry: A survey
JP4310090B2 (ja) 欠陥データ解析方法及びその装置並びにレビューシステム
US8213721B2 (en) Product identification apparatus, product identification method, and program
US8115169B2 (en) Method and apparatus of pattern inspection and semiconductor inspection system using the same
US6954550B2 (en) Image processing method and apparatus
JP3435684B2 (ja) 画像情報処理装置
US20050075801A1 (en) Apparatus and method for automated web inspection
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
JPH1173509A (ja) 画像情報認識装置および画像情報認識方法
CN110766095B (zh) 基于图像灰度特征的缺陷检测方法
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN112001362A (zh) 一种图像分析方法、图像分析装置及图像分析系统
CN111598913B (zh) 一种基于机器人视觉的图像分割方法和系统
CN116168351B (zh) 电力设备巡检方法及装置
CN115205223A (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
US20230342903A1 (en) Abnormality detection device, abnormality detection method, and abnormality detection system
CN115631197B (zh) 一种图像处理方法、装置、介质、设备及系统
CN117218633A (zh) 一种物品检测方法、装置、设备及存储介质
CN117237835A (zh) 一种基于yolov7的货架安全自动检测方法及装置
US20030185432A1 (en) Method and system for image registration based on hierarchical object modeling
Noh et al. An effective and efficient defect inspection system for TFT-LCD polarised films using adaptive thresholds and shape-based image analyses
Guan et al. A golden-block-based self-refining scheme for repetitive patterned wafer inspections
CN110874837B (zh) 一种基于局部特征分布的缺陷自动检测方法
Singh et al. Text Region Extraction: A Morphological Based Image Analysis Using Genetic Algorithm
CN113761169A (zh) 一种价格识别方法和装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20041102