JP2841866B2

JP2841866B2 - 画像処理装置および方法ならびにその応用装置

Info

Publication number: JP2841866B2
Application number: JP50961793A
Authority: JP
Inventors: 俊道政木; 豊加藤
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1992-03-06
Filing date: 1993-03-08
Publication date: 1998-12-24
Anticipated expiration: 2013-12-24

Description

【発明の詳細な説明】技術分野この発明は，物体認識のためのパターン・マッチング
処理等を行うために画像処理装置および方法ならびにそ
の応用装置に関する。

背景技術パターン・マッチングのための手法として，対象物の
撮影により得られた画像データにウィンドウを設定し，
ウィンドウ内の部分画像データと，あらかじめ登録され
ている標準画像データとの一致度ないしは類似度を演算
するものがある。ウィンドウを画面内で走査しながら各
位置のウィンドウについて上記処理を実行することによ
り，一致度ないしは類似度が最も高い部分画像データが
含まれるウィンドウを検出し，これによって標準画像と
同一または類似の画像が存在する位置を認識することが
可能となる。このようにして特定されたウィンドウ内の
画像データについて各種の計測処理を実行できる。

画像データは一般に１画素当り８ビットまたはそれ以
上のビット数で表わされる。設定されたウィンドウ内の
画像データをビデオ・レートで取出すためにライン・メ
モリが用いられる。ウィンドウの垂直方向の画素数に相
当する数がライン・メモリをカスケードに接続し，これ
らのライン・メモリ内をクロック信号に同期して画像デ
ータを転送する。各ライン・メモリの所定位置，たとえ
ば末端から画像データを一挙に取出すことにより，ウィ
ンドウ内の垂直方向一列の画像データが得られる。

このような構成の画像処理装置においては少なくとも
８ビットのライン・メモリを多数設けなければならず，
ハードウェアが大規模化するという問題がある。また,1
画素当り８ビットのパターン・マッチング処理が必要で
あり，これをハードウェアで実現すると同じように回路
規模が大型化し，ソフトウェアで実現しようとすれば処
理が複雑になる。

発明の開示この発明はハードウェアの小型化を図ることのできる
画像処理装置および方法を提供することを主目的とす
る。

この発明はまたパターン・マッチング処理を簡素化す
ることを目的とする。

この発明はさらに画像処理装置の種々の応用を提供す
ることを目的とする。

この発明による画像処理装置は,1画像当り第１の所定
ビット数で表わされる入力画像データを上記第１の所定
ビット数よりも少ない第２の所定ビット数で表わされる
第１の擬似中間調画像データに変換する擬似中間調画像
生成回路手段，上記擬似中間調画像生成回路手段によっ
て生成された第１の擬似中間調画像を走査するウィンド
ウを用いて，ウィンドウ内の複数画素からなる小領域を
変換後の一画素にそれぞれ対応させて，上記第１の擬似
中間調画像データを第２の中間調画像データに変換して
出力する画像変換回路手段，および上記画像変換回路手
段から出力される第２の中間調画像データと，あらかじ
め設定された標準画像を表わすテキスト・データとの類
似性の程度を表わす指標値を算出する類似性演算回路手
段を備えている。

この発明による画像処理方法は,1画像当り第１の所定
ビット数で表わされる入力画像データを上記第１の所定
ビット数よりも少ない第２の所定ビット数で表わされる
第１の擬似中間調画像データに変換し，生成された第１
の擬似中間調画像を走査するウィンドウを用いて，ウィ
ンドウ内のそれぞれが複数画素からなる複数の小領域の
それぞれごとに，上記第１の擬似中間調画像データを加
算することにより，上記小領域を一画素とする第２の中
間調画像データを生成し，第２の中間調画像データと，
あらかじめ設定された標準画像を表わすテキスト・デー
タとの類似性の程度を表わす指標値を算出するものであ
る。

この発明の画像処理装置の一実施態様においては，上
記擬似中間調画像生成回路手段が，誤差拡散法を用い
て，入力画像データを２値化し,1画素当り１ビットで表
わされるディザ画像データを生成するものである。

この発明の他の実施態様においては，上記擬似中間調
画像生成回路手段が誤差拡散法を用いて入力画像データ
を４値化し,1画素当り２ビットで表わされる擬似中間調
画像データを生成するものである。

この発明によると，入力画像データを第１の擬似中間
調画像データに変換し，その一画素当りのビット数を大
巾に減少させているので，ウィンドウ内の第１の擬似中
間調画像データをビデオ・レートで抽出するときに用い
るライン・メモリのビット数を大巾に減少させることが
できる。これによってハードウェア回路の小規模化とコ
ストの低減とを図ることができる。

また，第１の擬似中間調画像データを，ウィンドウ内
に設けられた小領域ごとに画像データを加算することに
より第２の中間調画像データに変換している。第２の中
間調画像データの一画素は小領域の大きさに等しい。し
たがって第２の中間調画像データの画素数は少なくな
り，テキスト・データとのパターン・マッチング処理
（類似性指標値の算出処理）が簡素化される。このこと
は，ハードウェアの場合には回路規模の小型化，ソフト
ウェアの場合には処理の簡素化につながる。入力画像デ
ータの明度分布は第２の中間調画像データに実質的に保
存されているので，パターン・マッチングの精度を維持
することができる。

第１の擬似中間調画像データは，上述のように,1画素
当り１ビットでも,2ビットでも，それ以上のビット数で
表わしてもよい。ビット数が多い方が明度分解能が高く
なる反面，回路規模が大きくなるので，実用上の観点か
ら適切に定めるとよい。小領域の大きさは空間分解能と
明度分解能に影響を与える。小領域の大きさもまた実用
上の観点から定めればよい。

上記画素変換回路手段は一実施態様では具体的には，
第２の所定ビット数の第１の擬似中間調画像データを転
送する，上記ウィンドウの垂直方向の画素数に相当する
数のカスケードに接続されたライン・メモリと，上記各
ライン・メモリからウィンドウの水平方向の画素数の第
１の擬似中間調画像データを小領域ごとに取出す回路
と，取出された第１の擬似中間調画像データを，小領域
ごとに加算して第２の中間調画像データを出力する加算
回路手段とから構成される。

好ましい実施態様においては，上記加算回路手段から
出力される第２の中間調画像データをその前後の画素に
わたって平滑する平滑回路手段がさらに設けられる。こ
れにより，第２の中間調画像データの復元性が向上す
る。

この発明の一実施態様においては，上記類似性演算回
路手段から得られる各ウィンドウについての類似性指標
値のうちの最も類似性の高い指標値と，指標値を生じさ
せるウィンドウの位置データとを検出するピーク・ホー
ルド回路手段がさらに設けられる。

これにより，標準画像と最も類似性の高い画像の位置
を検出することができる。

この発明の一実施態様においては，上記類似性の程度
を表わす指標値が画像の明度の差分値であり，上記類似
性演算回路手段が，小領域ごとに，第２の中間調画像デ
ータと対応するテキスト・データとの差の絶対値を算出
し，これらの差の絶対値を１つのウィンドウに含まれる
すべての小領域にわたって加算し，この加算値を明度の
差分値として出力するものである。また，ピーク・ホー
ルド回路手段は，上記類似性演算回路手段から得られる
各ウィンドウについての明度の差分値のうちの最も小さ
な差分値と，その差分値を生じさせるウィンドウの位置
データとを検出するものとして実現される。

この発明の他の実施態様においては，上記類似性演算
回路手段は，第２の中間調画像データとテキスト・デー
タとの相互相関値をウィンドウごとに算出するものであ
り，この相互相関値を類似性の程度を表わす指標値とし
て出力するものである。この場合には上記ピーク・ホー
ルド回路手段は，上記類似性演算回路手段から得られる
ウィンドウについての相互相関値のうちの最も大きな相
互相関値と，その相互相関値を生じさせるウィンドウの
位置データとを検出するものとして実現される。

この発明は上記画像処理装置および方法の応用例を提
供している。

応用例の一つは傷または汚れの検査装置であり，これ
は被写体を撮像し，被写体像を表わす映像信号を出力す
る撮像手段，上記撮像手段から出力される映像信号を入
力画像データに変換するA/D変換回路，上記A/D変換回路
から出力される入力画像データにおける明度または特定
の色の濃度についての偏差値を算出する偏差値算出手
段，および上記偏差値算出手段から得られ偏差値が所定
のしきい以上であるかどうかを判定する手段を備えた検
査装置において,1画素当り第１の所定ビット数で表わさ
れる上記入力画像データを上記第１の所定ビット数より
も少ない第２の所定ビット数で表わされる第１の擬似中
間調画像データに変換する擬似中間調画像生成回路手
段，および上記擬似中間調画像生成回路手段によって生
成された第１の擬似中間調画像を走査するウィンドウを
用いて，ウィンドウ内の複数画素からなる小領域を変換
後の一画素にそれぞれ対応させて上記第１の擬似中間調
画像データを第２の中間調画像データに変換して出力す
る画像変換回路手段がさらに設けられたもである。上記
偏差値は分散または標準偏差である。上記偏差値算出手
段はウィンドウ内の第２の中間調画像データについて偏
差値を算出し，これらの偏差値のうちの最大値を検出す
るものであり，上記判定手段は最大偏差値を所定のしき
い値と比較するものである。

この傷または汚れの検査装置においては，物体表面に
傷や汚れがあるとその画像データにおける明度または特
定の色の濃度についての偏差値を増大することを利用し
ている。したがって物体表面に細かい一様な模様があっ
ても，照度むらやシェーディングに影響されることなく
正しく傷や汚れの存在を検知することができる。

この発明による画像処理装置および方法の他の応用例
は位置合せ装置である。この位置合せ装置は，半導体製
造工程におけるマスクの位置合せや，液晶装置における
２枚の透明板の位置合せに利用できる。

この位置合せ装置は，位置合せマークがそれぞれ表わ
された位置合せすべき２つの対象物の一方を移動自在に
保持する手段，上記２つの位置合せマークを一画面内で
撮影し，その画像を表わす画像データを出力する撮影手
段，上記撮影手段から出力される画像データと，正しく
位置合せされたときの２つの位置合せマークが形成する
標準マーク・パターンを表わす標準画像データとの類似
の程度を算出する類似性演算手段，および上記類似性演
算手段によって算出された類似の程度に応じて，上記一
方の対象物を類似の程度が高くなる方向に移動させるよ
うに，上記保持手段を駆動する手段を備えている。

対象物の撮像の周期で撮像位置合せのためのフィード
バック制御ができるので，高速位置合せが可能となる。

図面の簡単な説明第１図は第１実施例による画像処理装置の全体的構成
を示すブロック図である。

第２図はクロック信号，水平同期信号および垂直同期
信号を示す波形図である。

第３図は画面内に設定されたウインドウおよびウイン
ドウ内に設定された小領域を示す。

第４図はディザ画像生成回路の具体例を示すブロック
図である。

第５図，第6a図および第6b図は誤差拡散法を用いた２
値化処理の原理を示す。

第７図は画像復元回路の具体例を示すブロック図であ
る。

第８図は小領域復元回路の具体例を示すブロック図で
ある。

第９図は差分演算回路の具体例を示すブロック図であ
る。

第10図はピーク・ホールド回路の具体例を示すブロッ
ク図である。

第11図は第２実施例による画像処理装置の全体的構成
を示すブロック図である。

第12図は擬似中間調画像生成回路の具体例を示すブロ
ック図である。

第13図および第14図は誤差拡散法を用いた多値化処理
のやり方を示す。

第15図は画像復元回路の具体例を示すブロック図であ
る。

第16図は小領域復元回路の具体例を示すブロック図で
ある。

第17図および第18図はそれぞれ平滑化回路の具体例を
示すブロック図である。

第19図は第３実施例および第１応用例による画像処理
装置の全体的構成を示すブロック図である。

第20図は相関値演算回路の具体例を示すブロック図で
ある。

第21a図および第21b図は画像データの水平走査線にそ
う明度分布の例を示し，第21a図はシェーディングや照
明むらがない場合を，第21b図はシェーディングや照明
むらがある場合をそれぞれ示している。

第22図は傷や汚れのある一様模様の物体表面の例を示
す。

第23a図および第23b図は明度ヒストグラムを示し，第
23a図は傷や汚れがない場合，第23b図は傷や汚れがある
場合を示している。

第24図は第２応用例である位置合せ装置の全体構成を
示す。

第25a図および第25b図は位置合せマークの例を示す。

第26図は位置ずれが位置合せマーク・パターンに現わ
れる様子を示す。

第27図は位置合せ処理の手順を示すフロー・チャート
である。

第28図は第３応用例である自動追尾システムの全体的
構成を示す。

第29図は対象画像が含まれるウインドウが動く様子を
示す。

第30図はテキスト・データを更新する処理の流れを示
すフロー・チャートである。

発明を実施するための最良の形態第１実施例第１図はこの発明の第１実施例による画像処理装置の
全体的構成を示すブロック図である。

画像処理装置10はA/D変換器11,画像メモリ12,ディザ
画像（dither image）生成回路13,画像復元回路14,差分
演算回路15,ピーク・ホールド回路手段16,CPU17およびI
/Oポート18を含んでいる。

画像処理装置10の同期信号発生回路19は第２図に示す
ようなクロック信号CK,水平同期信号HDおよび垂直同期
信号VD（これらを一括して単に「同期信号」という）を
発生する。同期信号はビデオ・カメラ9,A/D変換器11,デ
ィザ画像生成回路13,復元回路14,差分演算回路16および
ピーク・ホールド回路16に与えられる。クロック信号CK
では画像データの１画素当り１個出力され，サンプリン
グ・クロック信号となる。

ビデオ・カメラまたはテレビジョン・カメラ９は対象
物を撮像して，対象物の像を表わすアナログ映像信号
を，与えられる同期信号に同期して出力する。このアナ
ログ映像信号は画像処理装置10のA/D変換変換器11に与
えられる。

A/D変換器11は入力するアナログ映像信号をディジタ
ル画像データに変換する。この実施例ではディジタル画
像データは８ビットで表わされる，すなわちこの画像デ
ータによって256階調の中間調画像（grayscale image）
が表現される。ディジタル画像データは一方では画像メ
モリ12に与えられて記憶され，他方ではディザ画像生成
回路13に入力する。

ディザ画像生成回路13は入力する８ビット・ディジタ
ル画像データを誤差拡散法を用いて量子化し，マクロに
見た場合に階調が感じられるような２値画像（ディザ画
像）データを得る。このディザ画像データは画像復元回
路14に与えられる。

この実施例における画像処理装置10においては，入力
画像（カメラ９が撮像した画像）から順次位置を変えな
がら取出された部分画像と，所与の標準画像（モデル画
像）の特定の部分画像との類似性の程度が算出され，最
も類似する部分画像の入力画像における位置が判定され
る。類似性の指標としてこの実施例では明度差または濃
度差（これらを差分という）が用いられる。

入力画像から部分画像を切出すために，第３図に示す
ように，矩形のウインドウWNが用いられる。このウイン
ドウWNの大きさをＮ画素×Ｍ画素（１画素はクロック信
号CKに対応する）とする。画像の水平方向にＸ軸を，垂
直方向にＹ軸をそれぞれとる。ウインドウWNの位置はそ
の左上の角の点のX,Y座標（x,y）で表わされる。

さらに，ディザ画像を中間調画像に逆変換するため
に，復元中間調画像の一画素となる複数の矩形小領域SA
がウインドウWN内に設けられる。小領域SAの大きさをｎ
画素×ｍ画素（１画素はクロック信号CKに対応する）と
する。ウインドウWNは（N/n）×（M/m）個の小領域に分
割される訳である。なお，隣接する小領域間に，いかな
る小領域にも属さない部分（間隔）を設けてもよい。

一例として，ウインドウWNは64画素（ドット）×64画
素（ドット），小領域SAは４画素（ドット）×４画素
（ドット）に設定される。ウインドウWNは16×16＝256
個の小領域SAに分割される。

第１図に戻って，画像復元回路14は，ウインドウWN内
の各小領域SAにおいてディザ画像データ（１または０）
を加算することにより復元中間調画像データを生成する
ものである。この復元中間調画像データの一画素の大き
さは小領域SAの大きさに等しく,n×ｍ階調（たとえばｎ
＝ｍ＝４であれば16階調）の明度（濃度）分解能をもつ
ことになる。

復元された中間調画像データは差分演算回路15に与え
られる。差分演算回路15にはCPU17から，標準画像の特
定の部分画像についてあらかじめ作成された，上記復元
中間調画像データに対応するテキスト・データが与えら
れる。このテキスト・データは入力画像についての復元
中間調画像データ作成処理と全く同じ手法により，標準
画像の特定の部分画像についてあらかじめ作成される。
たとえば標準画像をカメラ９により撮像し，得られる映
像信号をA/D変換器11によりディジタル画像データに変
換し，このディジタル画像データを入力としてディザ画
像生成回路13によりディザ画像データを作成し，このデ
ィザ画像データにおける特定の部分をウインドウを通し
て切出し，このウインドウ内を複数の小領域に分割し，
小領域ごとにディザ画像データを加算することによりテ
キスト・データを作成する。もちろん，このテキスト・
データを他の装置により作成し,I/Oポート18を通してCP
U17に与え,CPU17に付随するメモリに記憶しておいても
よい。

差分演算回路15は，小領域ごとに復元中間調画像デー
タとテキスト・データとの差を算出し，その絶対値をウ
インドウ内のすべての小領域について加算するものであ
る。この加算値が小さければ小さいほど，入力画像のウ
インドウによって切出された部分画像と標準画像の特定
の部分画像とが類似していることになる。これは一種の
パターン・マッチング処理である。

上述したようにウインドウWNは入力画像の全領域内に
おいて水平および垂直方向に走査される。ピーク・ホー
ルド回路16は上述した差の絶対値の加算値が最小となる
ウインドウを見付けるものである。加算値の最小値およ
びその最小値をもたらしたウインドウの位置座標がピー
ク・ホールド回路16からCPU17に与えられる。

CPU17はピーク・ホールド回路16から与えられた最小
値およびウインドウ位置座標に基づいて所定の処理を行
う。たとえば，与えられた最小値を所定のしきい値と比
較し，最小値がしきい値以下であれば入力画像のそのウ
インドウによって切出された部分画像は標準画像の特定
の部分画像と一致すると判定する。一致すると判定した
ときには，与えられたウインドウ座標値を用いて，一致
すると判定された部分画像の画像データを画像メモリ12
から読出し,I/Oポート18を経て外部装置，たとえばCRT
表示装置に与え，その部分画像を表示させる。必要に応
じて一致すると判定された部分画像についての計測処理
（たとえば輪郭の追跡，輪郭によって囲まれた部分の面
積や重心位置の算出，形状の認識処理等）を行う。

上記の説明では，上記画像のウインドウによって切出
された部分画像に対応するものとして，「標準画像の特
定の部分画像」という表現を用いているが，この特定の
部分画像を「標準画像」または標準パターンと表現して
もよい。

次に第１図に示す回路ブロックの具体的構成例につい
て順次説明する。

第４図はディザ画像生成回路13の一具体的構成例を示
すものである。また，第５図，第6a図および第6b図は誤
差拡散法による２値化の原理を説明するためのものであ
る。

第５図において入力画像のある１つの画素Ｅ（０）に
着目する。A/D変換器11によるA/D変換は１画素の画像デ
ータ（８ビット）ごとに１クロック周期で行なわれ，画
像データは走査の順序で１画素分ずつクロック信号の周
期でディザ画像生成回路13に入力する。画像データが着
目画素Ｅ（０）のそれよりも1D（1Dはクロック信号CKの
１周期）遅れて入力する画素をＥ（1D）とする。同じよ
うに，着目画素Ｅ（０）よりも1H（1Hは１水平走査期
間）遅れた位置にある画素をＥ（1H），（1H−1D）遅れ
た位置にある画素をＥ（1H−1D），（1H＋1D）遅れた位
置にある画素をＥ（1H＋1D）とする。

誤差拡散法によるとまず着目画素Ｅ（０）における誤
差ｅが算出される。ディザ法によると，着目画素Ｅ
（０）の画像データDataがあらかじめ定められたしきい
値THと比較される。このしきい値THは通常は白レベル
（Data＝255）と黒レベル（Data＝０）との中間に設定
される。第6a図に示すように,Dataがしきい値THを超え
ていれば，着目画素Ｅ（０）を強制的に白レベルに設定
することにより２値化し（２値データは１），この２値
化において発生した誤差ｅを次式により算出する。

ｅ＝Data−255 式（１） Dataがしきい値TH以下の場合には，第6b図に示すよう
に，着目画素Ｅ（０）を強制的に黒レベルに設定するこ
とにより２値化し（２値データは０），この２値化にお
いて発生した誤差ｅを次式により算出する。

ｅ＝Data−０式（２）上記２値化処理により得られた２値データがディザ画
像データである。したがって，ディザ画像データは１画
素当り１ビットで表現される。

２値化処理により発生した誤差ｅは上述した他の画素
Ｅ（1D）,E（1H−1D）,E（1H）および（1H＋1D）にe/2,
e/8,e/4およびe/8の割合で配分される。これが誤差拡散
法である。このように着目画素の画像データを量子化し
ても，この量子化に伴って発生する誤差は着目画素の近
傍の画素に配分されるので，着目画素を中心とした局所
領域における平均的な明度（濃度）は実質的に保存され
ることになる。

第４図において，ラッチ回路20,26,29,31,33はそれぞ
れ８個のフリップフロップにより構成され,8ビットの画
像データを一時記憶するとともに1D遅延させる働きをす
る。これらのラッチ回路20,26,29,31,33にはクロック信
号CKが与えられる。1H遅延回路27は画像データを1Hの期
間遅延させるもので，クロック信号CKおよび水平同期信
号HDが与えられる。

ラッチ回路20に着目画素Ｅ（０）の画像データが一時
記憶されている状態を考える。着目画素Ｅ（０）の画像
データDataは比較回路21の一方の入力端子Ａに与えられ
ている。この比較回路21の他方の入力端子Ｂにはしきい
値THを表わすデータが与えられている。比較回路21は，
入力画像データDataがしきい値THを超えている場合（Ａ
＞Ｂの場合）に２値データ１を，上記以外の場合に２値
データ０を出力する。この２値データはディザ画像デー
タとして出力されるとともに，乗算回路22に入力する。

乗算回路22は入力する２値データに255を乗ずるもの
である。したがって，入力２値データが１であれば255
を表わす８ビット・データが，入力２値データが０であ
れば０を表わす８ビット・データが乗算回路22から出力
され，減算回路23の負入力端子に与えられる。

減算回路23の正入力端子にはラッチ回路20に保持され
ている着目画素の画像データDataが入力している。した
がって，減算回路23は式（１）または式（２）によって
表わされる演算を行い，誤差ｅを算出する。得られた誤
差ｅを表わすデータは除算回路24に与えられる。

除算回路24は誤差ｅをそれぞれ2,4および８で割って,
e/2,e/4およびe/8を算出する。除算結果e/2を表わすデ
ータは加算回路25に,e/4を表わすデータは加算回路30
に,e/8を表わすデータは加算回路28,32にそれぞれ与え
られる。

ラッチ回路26には画素Ｅ（1D）の画像データが保持さ
れており，この画像データは加算回路25に入力してい
る。したがって加算回路25において，画素Ｅ（1D）の画
像データにe/2を表わすデータが加算されることにな
る。

ラッチ回路29,31,33にはそれぞれ画素Ｅ（1H−1D）,E
（1H）,E（1H＋1D）の画像データが一時記憶されてお
り，これらの画像データはそれぞれ加算回路28,30,32に
入力している。したがって，これらの加算回路28,30,32
において，画素Ｅ（1H−1D）,E（1H）,E（1H＋1D）の画
像テータにそれぞれe/8,e/4,e/8を表わすデータが加算
される。

上述した各種演算はクロック信号CKの１周期の間に行
なわれ，次のクロック信号CKのタイミングで加算回路2
5,28,30,32における加算結果が次段のラッチ回路20,1H
遅延回路27,ラッチ回路29,31に取込まれて一時記憶され
ることになる。ラッチ回路33には画素Ｅ（1H＋2D）の画
像データが取込まれる。

上記の動作がクロック信号CKの１周期ごとに実行さ
れ，画像データの２値化とそれに伴って生じる誤差の近
傍の画素への拡散，すなわちディザ処理が画素ごとに行
なわれることになる。

第７図は画像復元回路14の全体的構成を示しており，
第８図は第７図に示す小領域復元回路41の具体的構成例
を示している。

上述したように入力画像にはウインドウWNが設定さ
れ，このウインドウWNが水平方向および垂直方向に走査
される。ウインドウWNがさらに複数の小領域SAに分割さ
れる。

小領域SAの大きさ（ｎ×ｍ）は一つの小領域復元回路
41に含まれるフリップフロップ42の数によって規定され
る。第８図に示されるように，この実施例では小領域SA
の大きさは４画素×４画素である。ウインドウWNの水平
方向の大きさ（ビット数Ｎ）は，小領域復元回路41の水
平方向の大きさ（ビット数ｎ）と小領域復元回路41の水
平方向の段数（この実施例ではN/n＝16段）とによって
規定される。ウインドウ41の垂直方向の大きさ（ビット
数Ｍ）は，小領域復元回路41の垂直方向の大きさ（ビッ
ト数ｍ）と小領域復元回路41の垂直方向の段数（この実
施例ではM/m＝16段）とによって規定される。

第７図において，画像復元回路14には（N/n）×（M/
m）個の小領域復元回路41が設けられている。水平方向
に並ぶ小領域復元回路41はカスケード接続されている。
また，（Ｍ−１）個の１ビット・ライン・メモリ（１ビ
ット・シフトレジスタ）40が設けられ，これらのライン
・メモリ40もカスケードに接続されている。各ライン・
メモリ40の出力はまた，垂直方向に並ぶ第１列の対応す
る小領域復元回路41に入力する。すなわち，ディザ画像
生成回路13の出力ディザ画像データおよび第１段から第
３段のライン・メモリ40の出力データが第１列第１行の
小領域復元回路41に与えられ，以下同様に４個ずつライ
ン・メモリ40の出力データがそれに対応する行の第１列
の小領域復元回路41に与えられる。

第８図を参照して，小領域復元回路41はｍ行ｎ列に配
列されたｎ×ｍ個のフリップフロップ42を含んでいる。
同一行の（水平方向に並んだ）フリップフロップ42はカ
スケードに接続されている。各行の最前列のフリップフ
ロップ42にはライン・メモリ40の出力データ（第１行第
１列の小領域復元回路41における第１行第１列のフリッ
プフロップ42にはディザ画像生成回路13の出力データ）
または前段の小領域復元回路41の出力データがそれぞれ
入力する。各行の最後列のフリップフロップ42の出力デ
ータは後段の小領域復元回路41の最前列のフリップフロ
ップ42に与えられる（後段に小領域復元回路41が接続さ
れていない場合にはその必要はない）。

各フリップフロップ42の出力データ（１ビット・デー
タ）は白画素計数回路43に与えられる。この白画素計数
回路43は小領域SAに含まれる白レベル（２値データが
１）をもつ画素数を計数するものである。この実施例で
は小領域SAは４画素×４画素であるから，計数値の最大
値は16であり，計数回路43の出力データは最小限５ビッ
トで表示可能である（もちろん８ビットで表現してもよ
い）。計数回路43の出力データI_iが小領域復元回路41の
出力データとなる。

小領域復元回路41の出力データI_iは，小領域SAにおけ
る平均的な明度を16階調で表現したものであり，これが
復元中間調画像データである。これは小領域SAを一画素
と考えたときのその画素における明度を表わすといって
よい。

小領域SAの広さを大きくすれば明度の分解能（階調
数）は増大するが，対象物の空間的（二次元的）な分解
能は低下する。したがって小領域SAの大きさは要求され
る明度分解能および空間分解能を考慮して決定すればよ
い。

これに対してウインドウWNは画像処理の対象となるも
のの大きさに応じて設定されよう。たとえば対象物像に
含まれる円の位置を認識する目的の場合には，その円の
全体（場合によっては一部）が含まれる大きさにウイン
ドウWNが設定される。

上述した画像復元回路14におけるライン・メモリ40お
よび小領域復元回路41のフリップフロップ42にはクロッ
ク信号CKが与えられており，これらに蓄えられているデ
ータはクロック信号CKの一周期ごとに順次シフトされて
いく。これによってウインドウWNが水平方向および垂直
方向に走査されることになる。ウインドウWNの各位置に
おいて，そのウインドウWNに含まれるすべての小領域SA
について復元中間調画像データが得られることになる。

第９図は差分演算回路15の具体的構成の一例を示して
いる。

差分演算回路15は上述した小領域復元回路41と同数の
小領域差分回路50を含んでいる。各小領域差分回路50
は，減算回路52,絶対値回路53およびテキスト・レジス
タ54から構成されている。小領域復元回路41の出力画像
データI_i（ｉ＝１〜（N/n）×（M/m））は対応する小領
域差分回路50の減算回路50の正入力端子に与えられる。

一方，上述したように，標準画像の特定の部分画像に
ついてあらかじめ作成された，上記復元中間調画像デー
タI_iに対応するテキスト・レジスタがM_iが,CPU17から各
小領域差分回路50のテキスト・レジスタ54に与えられ記
憶される。テキスト・データ54のテキスト・データM_iは
減算回路52の負入力端子に入力する。

テキスト・データM_iは標準画像の特定部分画像につい
て画像データI_iと全く同じ手法にしたがって処理するこ
とにより得られた小領域の中間調画像データである。こ
の画像データM_iは図示の例ではCPU17からシリアルに各
テキスト・レジスタ54に与えられるようになっている
が，もちろんパラレル・データとしてデータ・バスを通
して与えられてもよい。

減算回路52において，復元中間調画像データI_iからテ
キスト・データM_iが減算され，この減算結果の絶対値が
絶対値回路53において得られる。差の絶対値を表わすデ
ータは加算回路51に入力する。

加算回路51はすべての小領域差分回路50から出力され
る絶対値データを相互に加算する。この加算値は次段の
ピーク・ホールド回路16に与えられる。加算回路51の出
力である加算値は，ウインドウ内の部分画像と標準画像
中の特定の部分画像との類似度を表わしている。加算値
が小さければ小さいほど両部分画像は似ているというこ
とになる。

図10はピーク・ホールド回路16の具体的構成例を示し
ている。このピーク・ホールド回路16は，差分演算回路
15から与えられる加算値の最小値（最小差分値）を検出
するとともに，この最小差分値を生じさせたウインドウ
WNの位置を表わす座標を検出するものである。

クロック信号CKの周期ごとに入力する加算値の最小値
はラッチ回路61,62および比較回路60により検出され
る。ピーク・ホールド処理の開始時に垂直同期信号VDが
与えられるタイミングでラッチ回路62にありうる最大値
（たとえばオール１）がプリセットされる。差分演算回
路15から与えられる加算値はクロック信号CKごとにラッ
チ回路61に一時記憶される。比較回路60はラッチ回路61
に保持されている加算値とラッチ回路62に保持されてい
る値（最初は上述のように最大値,1回目の比較動作以降
はその時点までの加算値の最小値）とを比較し，ラッチ
回路61に保持されている加算値の方が小さければ比較出
力を発生する。この比較出力はラッチ回路62にラッチ・
タイミング信号として与えられ，そのときラッチ回路61
に保持されている加算値がその時点までの最小値として
ラッチ回路62にラッチされる。このようにしてラッチ回
路62には入力される加算値のうち，その時点までの最小
の値が保持されることになる。

一方,Xカウンタ63は水平同期信号HDによりクリアさ
れ，それ以降に入力するクロック信号CKを計数する。し
たがってＸカウンタ63の計数値はウインドウWNのＸ座標
を表わす。Ｙカウンタ64は垂直同期信号VDによりクリア
され，それ以降に入力する水平同期信号HDを計数する。
したがってＹカウンタ64の計数値はウインドウWNのＹ座
標を表わす。比較回路60の比較出力はラッチ・タイミン
グ信号としてラッチ回路65,66に与えられるので，これ
らのラッチ回路65,66はその時点のカウンタ63,64の計数
値をラッチする。ラッチ回路65,66には，その時点で最
小と判断された加算値を生じさせたウインドウWNのX,Y
座標が保持されることになる。

次の垂直同期信号VDが入力したときにラッチ回路62に
再び最大値がプリセットされるとともに，ラッチ回路6
7,68,69がラッチ回路62の差分最小値，ラッチ回路65の
Ｘ座標，ラッチ回路66のＹ座標をそれぞれラッチする。
この時点でウインドウWNによる一画面分の走査は終了し
ているので，一画面における最小差分値，この最小差分
値を生じさせたウインドウWNのX,Y座標がラッチ回路67,
68,69に保持され,CPU17に与えられることになる。

テキスト・データはディザ画像作成処理および中間調
画像復元処理を経ることなく，標準画像データから直接
に作成することができる。すなわち，標準画像データ
（１画素当り８ビットで表現されている）から特定の部
分画像データが切出される。この部分画像データの領域
が複数の小領域に分割される。小領域ごとに画像データ
を加算し，この加算結果を256で除すことによりテキス
ト・データが得られる。256で割算をしているのは画像
データが８ビットで表わされているからである。

第２実施例上述した第１実施例においては入力画像データを２値
化することによりディザ画像データを得ている。この第
２実施例は入力画像データを多値化（３値以上に量子
化）することにより擬似中間調画像データ（多値ディザ
画像データ）を得るものである。また，擬似中間調画像
データを復元する際に平滑化処理を行い復元性の向上が
図られている。

第11図は第２実施例による画像処理装置の全体的構成
を示すものである。第１図に示す第１実施例の装置と異
なる点は，ディザ画像生成回路13,画像復元回路14およ
び差分演算回路15が擬似中間調画像生成回路13A,画像復
元回路14Aおよび差分演算回路15Aにそれぞれ置きかえら
れている点である。以下に，これらの第１実施例と異な
る点について説明する。

第12図は擬似中間調画像生成回路13Aの具体的構成例
を示している。第13図および第14図は量子化および誤差
拡散の原理を示すものである。ここでは入力画像データ
は４値に量子化される。

上記のように８ビットで表わされる256階調の入力画
像データが２ビットで表わされる４階調の擬似中間調画
像データに変換される。そのために第14図に示すよう
に,4階調のレベル0,1,2および３にそれぞれ対応する256
階調のレベル０（黒レベル）,85,170および255（白レベ
ル）があらかじめ定められる。後者のレベルの中間にそ
れぞれしきい値TH1,TH2およびTH3が設定される。

入力画像データDataがこれらのしきい値TH1,TH2,TH3
と比較され，しきい値TH1以下であれば擬似中間調画像
データ00（＝０）に，しきい値TH1を超えかつしきい値T
H2以下であれば01（＝１）に，しきい値TH2を超えかつ
しきい値TH3以下であれば10（＝２）に，しきい値TH3を
超えていれば11（＝３）にそれぞれ量子化されて変換さ
れる。この量子化において発生する誤差ｅは次式で表わ
される。

ｅ＝Data−（0,85,170または255）式（３）この実施例においては回路構成を簡略化するために，
着目画素Ｅ（０）の量子化誤差ｅは，第13図に示すよう
に，後続する画素Ｅ（D1）にのみそのまま伝播される。

第12図において，着目画素Ｅ（０）の画像データ（８
ビット）Dataがラッチ回路70に一時記憶されているもの
とする。この画像データDataは比較回路71,72,73の入力
端子Ａに与えられる。比較回路71,72,73の入力端子Ｂに
はしきい値TH1,TH2,TH3を表わすデータが与えられてい
る。これらの比較回路71,72,73はそれぞれ，入力端子Ａ
の入力画像データDataが入力端子Ｂのしきい値データを
超えていれば（Ａ＞Ｂ）,1を表わす比較出力を発生し，
他の場合には０を表わす比較出力を発生する。これらの
比較出力は加算回路74に与えられる。

加算回路74は入力する比較出力を加算する。すべての
比較回路71,72,73が比較出力１を発生していれば加算結
果は3,2つの比較回路71,72が出力１を発生していれば2,
比較回路71のみが出力１を発生していれば1,すべての比
較回路71,72,73の比較出力が０であれば０となる。この
加算回路74の加算結果が２ビットの擬似中間調画像デー
タとして出力されることになる。

加算回路74の加算結果出力はまた乗算回路75に与えら
れ，加算結果に85が乗じられる。乗算回路75の出力は上
述した256階調における４つのレベル0,85,170,255のう
ちのいずれかの値をとる。

減算回路76の正入力端子にはラッチ回路70にラッチさ
れている着目画素Ｅ（０）の画像データDataが，負入力
端子には乗算回路75の出力がそれぞれ入力している。減
算回路76は式（３）で与えらえれる減算を行い，誤差ｅ
を表わすデータを出力する。

この誤差ｅを表わすデータは加算回路77に与えられ，
次の画素Ｅ（D1）の画像データに加算される。次のクロ
ック信号CKのタイミングで加算回路77の加算結果がラッ
チ回路70に取込まれることになる。

上述した動作はクロック信号CKの周期で繰返されるの
で，擬似中間調画像生成回路13Aからはクロック信号CK
の周期で２ビット擬似中間調画像データが出力されるこ
とになる。

第15図は画像復元回路14Aの全体的構成を示してい
る。第７図に示す画像復元回路14と比較すると,1ビット
・ライン・メモリ40が２ビット・ライン・メモリ40Aに
置き換えられている点で異なっている。また，小領域復
元回路41Aの構成も，第16図に示すように，先に示した
小領域復元回路41と異なっている。

小領域復元回路41Aの具体的構成の一例が第16図に示
されている。この小領域復元回路41Aは，第８図に示す
小領域復元回路41と比較すると，フリップフロップ42が
２ビット・ラッチ回路42Aに置換されている点で異なっ
ている。白画素計数回路43は明度計数回路43Aに置換さ
れている。この回路43Aは16個のラッチ回路42Aからの２
ビット信号を加算するものである。このようにして，こ
の小領域復元回路41Aは,4階調の擬似中間調画像データ
を，小領域SAを一画素として48階調の画像データに復元
することができる。

第１実施例における画像復元処理と比較すると，小領
域SAの大きさが同じであれば空間分解能は同じである
が，第２実施例においては入力画像データを２ビット４
階調の擬似中間調画像データに変換し，この擬似中間調
画像データを用いて画像復元処理を行っているので明度
（濃度）分解能が高くなるという利点がある。

小領域復元回路41Aはさらに平滑化回路44を含んでい
る。平滑化回路44は明度計数回路43Aから順次出力され
る復元画像データをクロック信号CKの３周期にわたって
加算するものである。

この平滑化回路44の一例が第17図に示されている。明
度計数回路43Aから出力される復元画像データはクロッ
ク信号CKのタイミングで順次ラッチ回路81,82にラッチ
される。明度計数回路43Aから出力されるある時点の復
元画像データと，それよりも１クロック周期および２ク
ロック周期前のラッチ回路81,82から出力される復元画
像データが加算回路83において加算され，平滑化された
画像データI_iとして出力される（便宜的に，平滑化画像
データを第１実施例の復元画像データと同じ符号I_iで表
わす）。

第18図は平滑化回路44の他の例を示している。

ある時点ｔにおける復元画像データをｆ（ｔ），それ
よりも1,2および３クロック周期前の復元画像データを
それぞれｆ（ｔ−１）,f（ｔ−２）およびｆ（ｔ−３）
と置く。また平滑化画像データをｇ（ｔ）とする。

平滑化回路44は復元画像データｆ（ｔ）とｆ（ｔ−
１）とｆ（ｔ−２）とを加算するものであるから平滑化
画像データｇ（ｔ）は次のように置ける。

ｇ（ｔ）＝ｆ（ｔ）＋ｆ（ｔ−１）＋ｆ（ｔ−２）式（４）式（４）においてｔを（ｔ−１）と置くと，ｇ（ｔ−１）＝ｆ（ｔ−１）＋ｆ（ｔ−２）＋ｆ（ｔ−
３）式（５）となる。式（４）と式（５）とから次式が導かれる。

ｇ（ｔ）＝ｇ（ｔ−１）＋ｆ（ｔ）−ｆ（ｔ−３）式（６）第18図の回路は式（６）の演算を実行するものであ
る。ラッチ回路84,85,86はそれぞれ復元画像データｆ
（ｔ−１）,f（ｔ−２）,f（ｔ−３）をラッチしてい
る。減算回路87により式（６）の右辺第２項以降の演算
ｆ（ｔ）−ｆ（ｔ−３）が実行される。ラッチ回路89は
１クロック周期前の平滑化画像データｇ（ｔ−１）をラ
ッチしている。したがって，加算回路88において式
（６）の右辺の演算が行なわれ，平滑化画像データｇ
（ｔ）が得られる。第18図の回路は，第17図に示す回路
に比べると実際上回路規模が簡素化されているという利
点をもつ。

第13図において説明したように着目画素Ｅ（０）の誤
差ｅは後続する１つの画素Ｅ（D1）にのみ伝播される
が，この画素Ｅ（D1）における誤差がさらにそれに続く
画素Ｅ（D2）に伝播していくので，実際上は着目画素Ｅ
（０）の誤差はかなり遠くの画素における画像データに
まで影響を与え，影響の度合いは着目画素から遠ざかる
ほど小さくなる。上述した平滑化処理によると，着目画
素における誤差の影響を考慮した画像復元が行なわれる
ので，復元性が向上する。すなわち，小領域の復元画像
データを空間的に平滑化しているので，空間的分解能を
低下させることなく明度上の分解能が高まることにな
り，差分演算回路15Aにおけるマッチング処理の精度が
向上する。これは特に，低コントラスト画像のような微
細な明度差を表現することが要求される場合に好都合で
ある。

差分演算回路15Aは第９図に示す差分演算回路15と基
本的に同じである。差分演算回路15で16階調の復元画像
データが取扱われてるのに対して，差分演算回路15Aで
は48階調の復元平滑化画像データが取扱われるという違
いがあるにすぎない。

第３実施例第１実施例および第２実施例ではパターン・マッチン
グ手法として，差分演算回路15または15Aにより，ウイ
ンドウWN内の復元された画像と標準画像との明度の差を
小領域SAごとに算出する差分法が用いられている。

第３実施例ではパターン・マッチングの手法として，
ウインドウWN内の復元された画像と標準画像との正規化
相互相関値を算出するものである。

第３実施例による画像処理装置の全体的構成例が第19
図に示されいる。第11図に示す第２実施例によるものと
同一物には同一符号が付されている。異なる点は，差分
演算回路15Aおよび最小値を検出するピーク・ホールド
回路16がそれぞれ相関値演算回路15Bおよび最大値を検
出するピーク・ホールド回路16Aに置換されている点で
ある。擬似中間調画像生成回路13Aおよび画像復元回路1
4Aにそれぞれ代えて，第１図に示す第１実施例によるデ
ィザ画像生成回路13および画像復元回路14を用いること
もできる。

第１実施例または第２実施例において説明したよう
に，画像復元回路14または14AからウインドウWN内の復
元された画像データI_i（ｉ＝１〜r;r＝（N/n）×（M/
m））が出力され，相関値演算回路15Bに与えられる。こ
の復元画像データI_iは小領域SAを一画素として表わされ
る。小領域SAの数は上述した例でいうと256である，す
なわちｒ＝256である。一方,CPU17からはマッチングの
基準となる標準画像についての対応する画像データ（テ
キスト・データ）M_i（ｉ＝１〜ｒ）が出力され，相関値
演算回路15Bに与えられる。これらの画像データM_iは相
関値演算回路15Bにおいてテキスト・レジスタのような
一時記憶回路に保持される。相関値演算回路15Bにおい
て次式にしたがって正規化相互相関値Ｒが算出される。

R²＝［ｒ（ΣIM）−（ΣＩ）（ΣＭ）］²／［ｒ（Σ
I²）−（ΣI²）］・［ｒ（ΣM²）−（ΣＭ）²］式（７）ここでΣはｉ＝１〜ｒについて加算することを表わ
す。

走査される各位置のウインドウWNごとに相関値Ｒが算
出され，算出された相関値Ｒはピーク・ホールド回路16
Aに与えられる。ピーク・ホールド回路16Aは与えられた
相関値Ｒの最大値を検出し，その最大値と，最大値を生
じさせたウインドウWNの位置を表わす座標とを一画面に
ついてのウインドウ走査が終了したときに出力し,CPU17
に与える。

CPU17は第１および第２実施例の場合と同じように，
与えられた最大相関値を所定のしきい値と比較し，最大
相関値がしきい値を超えていれば目的の部分画像が見付
かったとする。見付かった部分画像（最大相関値を与え
るウインドウ内の画像）は表示装置に表示されたり，各
種計測処理の対象となる。

第20図は相関値演算回路15Bの構成例を示すものであ
る。

座標画像データI_iの総和ΣＩが加算回路91で算出さ
れ，さらに二乗回路99において総和の二乗（ΣＭ）²が
算出される。復元画像データI_iのそれぞれについてその
二乗値I_i ²がｒ個の二乗回路92で算出され，二乗値の総
和ΣI²が加算回路93において算出される。

ｒ個の乗算回路94において，復元画像データI_iとそれ
に対応するテキスト・データM_iとの積I_iM_iがそれぞれ算
出され，これらの積の総和ΣIMが加算回路95で算出され
る。

テキスト・データM_iについても復元画像データI_iと同
じように，テキスト・データM_iの総和ΣＭが加算回路96
で算出され，さらにその二乗（ΣＭ）²が二乗回路103が
算出される。テキスト・データM_iのそれぞれの二乗値M_i
²がｒ個の二乗回路97において算出され，これらの二乗
値M_i ²の総和ΣM²が加算回路98で算出される。

加算回路91から得られる復元画像データの総和ΣＩと
加算回路96から得られるテキスト・データの総和ΣＭと
の積（ΣＩ）（ΣＭ）が乗算回路101で算出される。一
方,CPU17から小領域の数ｒを表わすデータが与えられて
おり，この数ｒと加算回路95から得られる値ΣIMとの積
層ｒ（ΣIM）が乗算回路102で算出される。乗算回路102
の出力と乗算回路101の出力との差が減算回路106で算出
され，さらにこの減算結果の二乗が二乗回路109で算出
されることにより，式（７）の分子が得られる。

加算回路93の出力ΣI²と小領域の数ｒとの積ｒ（Σ
I²）が乗算回路100で算出され，この積から二乗回路99
の出力（ΣＩ）²が減算回路105で減算される。同じよう
に加算回路98の出力ΣM²と小領域数ｒとの積ｒ（ΣM²）
が乗算回路104で算出され，この積から二乗回路103の出
力（ΣＭ）²が減算回路107で減算される。これらの減算
回路105と107の減算結果が乗算回路108で相互に乗算さ
れることにより式（７）の分母が得られる。

除算回路110において，二乗回路109の出力を乗算回路
108の出力で割ることにより，式（７）左辺の値R²が得
られる。

マルチプレクサ111および選択信号Ｓについては後述
する第１応用例で詳述するが，いずれにしても，除算回
路110で得られた相関値の二乗値R²はマルチプレクサ111
を経てピーク・ホールド回路16Aに与えられる。

上述した相関値の演算処理は１クロック周期の間に実
行され，各位置のウインドウWNごとに相関値Ｒが得られ
ることになる。

第20図に示す演算回路（ハードウェア回路）と同等の
演算処理は，この演算を実行するようにプログラムされ
たコンピュータにより実行することができるのはいうま
でもない。このことは第１図，第11図または第19図に示
す他の回路ブロックにおける演算処理についてもあては
まる。

第１応用例第１応用例は，第19図および第20図に示す第３実施例
による画像処理装置を物体表面の傷や汚れを検知するた
めに応用した例である。

シェーディングや照明むらがある場合，または物体表
面に一様な模様が描かれている場合には，物体表面の傷
や汚れを抽出することは画像処理技術において困難なこ
ととされている。

第21a図は一様な明度の物体表面上に傷または汚れが
存在する場合において，傷または汚れを横切る水平走査
線にそう画像データの明度変化を示している。傷または
汚れの部分で明度が低下しているので，適当なしきい値
thを用いて画像データの明度をレベル弁別すれば，原理
的には傷や汚れを抽出できることになる。

ところがシェーディングまたは照明むらが存在すると
きには，第21b図に示すように，背景の明度が場所によ
って異なるので，たとえ画像データの表わす明度を一定
のしきい値thを用いて２値化しても，傷や汚れのない部
分を傷や汚れとして抽出してしまうことがある。

第22図に示されているように，物体表面に縦，横に細
かくかつ規則正しく描かれた直線による一様な模様が表
わされている場合を考える。このような細かい一様な模
様の中に存在する傷や汚れＦを検査するために傷または
汚れＦのみを２値化処理により背景の模様から分離する
のは，背景の明暗が広い範囲にわたってかつ細かく変化
して分布しているので，きわめて困難または不可能に近
い。

この第１応用例は２値化処理という環境変動に弱い処
理手法を用いることなく，シェーディングや照明むらの
影響を受けにくく，かつ細かい一様な模様の中にある傷
や汚れを検出できるようにするものである。

第23a図は，第22図に示すような一様な模様（傷や汚
れが無い場合）を撮影して得られる画像データの明度ヒ
ストグラムを示している。一様な模様（縦，横の直線）
の明度が相対的に低く，背景（縦，横の直線を除いた部
分）の明度が相対的に高いとすると，明度の高い位置に
大きなピークが，明度の低い位置に小さなピークが現わ
れる。

これに対して一様な模様の中に傷や汚れＦが存在する
場合には，第23b図に示すように，明度ヒストグラムに
は，明度の低い位置に幅の広いかつ高いピークが現われ
るようになる。

これらのヒストグラムの対比から分るように，傷や汚
れＦが存在するときには明度の分散σ²または標準偏差
σが，傷や汚れがない場合に比べて大きくなる。したが
って，対象物の画像データの明度について分散または標
準偏差を算出し，この値が所定のしきい値を超えていれ
ば傷または汚れがあると判定することができる。

物体表面を撮影して得られた画像データの全体につい
てその明度の分散または標準偏差を算出してもよい。こ
れに代えて，上述した実施例のように，物体表面を撮影
して得られた画像データからウインドウを用いて部分画
像を切出し，切出された部分画像データについてその明
度の分散または標準偏差を算出するようにしてもよい。
後者の場合にはウインドウにより画像データを走査する
ことにより切出すべき部分画像の位置を移動させ，部分
画像から得られる分散または標準偏差の最大値と所定の
しきい値とを比較することが好ましい。

後者の方法は，第19図および第20図に示す第３実施例
の画像処理装置において容易に実現できる。

第20図において減算回路105から出力される値［ｒ
（ΣI²）−（ΣＩ）²］はr²σ²に等しい。画像処理装置
がパターン・マッチングのために使用されるときにはマ
ルチプレクサ111は除算回路110の出力（式（７）で示さ
れるR²）を選択し，傷または汚れの検査に使用されると
きにはマルチプレクサ111は減算回路105の出力を選択し
て，ピーク・ホールド回路16Aに与える。マルチプレク
サ111における切換えはCPU17から出力される制御信号Ｓ
によって制御される。

したがって，傷または汚れの検査において，減算回路
105から出力される値r²σ²はピーク・ホールド回路16A
に与えられる。ピーク・ホールド回路16Aは１クロック
周期ごとに入力する値r²σ²のうちの１垂直走査期間Ｖ
における最大値を検出して，その最大値を，最大値を生
じさせたウインドウの座標とともにCPU17に与える。

CPU17はピーク・ホールド回路16Aから与えられたr²σ
²の最大値を所定のしきい値と比較し，またはr²σ²の最
大値から分数σ²もしくは標準偏差σを算出してこれを
所定のしきい値と比較し，しきい値を超えていれば傷ま
たは汚れありと判定する。

この応用例による傷または汚れの検査をビデオ・レー
トで迅速に行うことができるという利点がある。

第２応用例第２応用例は，液晶装置における，透明電極が形成さ
れかつそれらの間に液晶を保持する２枚の透明板の位置
合せ装置，または半導体製造工程におけるマスクの位置
合せ装置に関するものである。

第24図はこの位置合せ装置の全体的な構成を示すもの
である。

位置合せすべき２枚の板（フィルム等を含む）121お
よび122がある。上側の板121が第１層で下側の板122が
第２層である。下側の板122は固定されている。上側の
板121はXYテーブル123に把持され,XおよびＹ方向に移動
可能である。

上側の第１層の板121の所定位置（たとえば一隅）に
は第25a図に示すような十字形の位置合せマークM1があ
らかじめ表わされている。下側の第２層の板122の，上
記マークM1に対応する位置には，第25b図に示すよう
な，マーク１を囲む四つの鉤の形からなる位置合せマー
クM2があらかじめ表わされている。

これらの２つのマークM1とM2とは,2枚の板121と122と
が正しく位置合せされたときには，第26図に中央に示す
ように，十字形のマークM1がマークM2の鉤形の間隙にぴ
ったりと入り込む。２枚の板121,122の少くともマークM
1,M2が表わされた部分は透明であり，これらのマークM1
とM2の両方を両板121,122を重ねた状態で目視すること
が可能である。

２枚の板121と122との位置がずれていると，第26図の
左右，上下に示すように両マークM1とM2が正しい関係に
なく，中央に示すパターンから外れたパターンを示す。

したがって，第26図の中央に示す両マークM1とM2がつ
くるパターンを標準画像（標準パターン）としてあらか
じめ登録しておき，位置合せ前の両板121,122の位置関
係によって規定されるマークM1とM2との関係に応じて表
わされるマーク・パターンをビデオ・カメラにより撮影
し，この撮影画像と標準画像との相関値（または明度の
差分）を演算することにより,2枚の板121と122の位置ず
れを検出することができ，この検出結果に応じてXYテー
ブル123を制御することにより，両マークM1とM2とが標
準パターンを形成するように，板122に対する板121の位
置合せを行うことができる。

再び第24図において，ビデオ・カメラ９は両マークM1
とM2とを撮影することができる位置（少くとも固定版12
2のマークM2を撮影できる位置）に配置されている。カ
メラ９から出力されるマークM1とM2のつくるパターンを
表わす映像信号は相関値算出装置10Cに与えられる。

相関値算出装置10Cは基本的には第１図，第11図また
は第19図に示す画像処理装置10,10A,10Bによって実現さ
れる。もっとも位置合せ精度を高めるためにウインドウ
の大きさをできるけ大きくしておくことが好ましい。一
画面分の大きさのウインドウとしてもよい。もちろんウ
インドウは上記実施例で説明した程度の大きさでもよ
い。固定された下側の板122のマークM2を包含する大き
さと位置のウインドウを固定して，このウインドウにつ
いての差分値または相関値のみを出力させるようにして
もよい。第26図の中央に示すマーク・パターンが標準画
像として採用され，それについてのテキスト・データが
あらかじめ作成されかつ記憶されている。

便宜的に第19図に示す画像処理装置10Bが用いられる
ものとする。１垂直走査期間Ｖごとにピーク・ホールド
回路16AからCPU17に与えられる相関値の最大値はCPU17
からI/Oポート18を通してXYテーブル・コントローラ120
に与えられる。

XYテーブル・コントローラ120はこの最大相関値（以
下，単に相関値という）に基づいて第27図に示す処理手
順にしたがってXYテーブル123を制御し，板121の位置合
せを行う。

２枚の板121と122とはおおまかに位置合せされている
ものとする。第27図を参照して，マークM1とM2とからな
るマーク・パターンがカメラ９により撮影され（ステッ
プ131），この撮影画像の標準画像に対する初期相関値S
₀が相関値算出装置10Cにおいて算出される（ステップ13
2）。

XYテーブル・コントローラ120の制御の下に,XYテーブ
ル123によって上側の板121がＸ軸方向に微小距離Δｘ変
位させられる（ステップ133）。この後，再びマーク・
パターンの撮影と相関値S₁の算出が行なわれる（ステッ
プ134,135）。

相関値が大きければ大きいほど撮影画像が標準画像と
より似ている。相関値S₁が初期相関値S₀よりも大きけれ
ば（ステップ136）．ステップ133におけるΔｘの変位に
よってマークM1はより正しい位置に近づいたことになる
ので，マークM1（板121）を同方向にさらに変位させる
べきであるから，Δｘが次の変位量ａと置かれる（ステ
ップ137）。もし上記と逆の結果が得られたときにはΔ
ｘの変位は間違っていたので逆方向にマークM1を変位さ
せるべきであり，−Δｘが次の変位量ａとなる（ステッ
プ138）。

このようにして定められた変位量ａだけ再び板121が
移動させられたのち（ステップ139），撮影と相関値S₂
の算出が行なわれる（ステップ140,141）。

先の相関値S₁と今回の相関値S₂とが比較され（ステッ
プ142），今回の相関値S₂の方が大きければステップ139
の移動は正しかったことになり，再度同方向に同距離移
動させるために，今回の相関値S₂をS₁と置いた上で（ス
テップ143），ステップ139に戻る。

ステップ139〜143の処理を繰返していくうちに，遂に
今回の相関値S₂の方向が前回の相関値S₁よりも小さくな
ってしまった場合には，行きすぎたのであるから，板12
1を反対方向に変位量ａ移動させて（ステップ144），前
回の相関値S₁が所定のしきい値以上であることを確認し
て（ステップ145）,X軸方向の位置決めを終了する。も
し，相関値S₁がしきい値に達していなければＸ軸方向の
位置合せがやり直しされる。

この後,Y軸方向の位置合せに移ることになる。Ｙ軸方
向の位置合せはＸ軸方向の位置合せ処理ステップ131〜1
45と全く同じであり，軸方向が異なるだけである（ステ
ップ146）。

この応用例においては,1垂直走査期間Ｖで相関値が得
られるから位置合せフィードバックの速度が速く，位置
合せ時間を短縮できる。

第３応用例第３応用例は移動する対象物の自動追尾システムに関
するものである。

第28図を参照して，ビデオ・カメラ９は対象物Suを撮
影して対象物を表わす映像信号を出力するものであり，
この映像信号は相関値算出装置10Cに与えられる。カメ
ラ９は傾動自在かつ旋回自在に支持されており，かつ傾
き方向はモータ126により，旋回方向はモータ127により
駆動される。相関値算出装置10Cは第24図に示す第２応
用例のものと同じである。相関値算出装置10Cから与え
られる信号に応答して制御回路124はサーボ・ドラバ125
を制御して，対象物Suが常にカメラ９の視野内の所定位
置にあるように，モータ126,127を駆動してカメラ９を
対象物Suに追尾させる。

追尾すべき対象物Suがカメラ９の視野内の所定位置に
くるように，まずカメラ９が操作者によって位置決めさ
れる。対象物Suが撮影され，この撮影により得られた映
像信号に基づいて相関値算出装置10Cにおいて標準画像
のテキスト・データが作成される。このテキスト・デー
タを作成するときに用いたウインドウ（対象物Suをその
内部に包含していることが必要である）の位置座標
（x₀，y₀）は装置10CのCPUから制御回路124に与えられ
る。第29図にこのウインドウが実線でその座標（x₀，
y₀）とともに示されている。

次に対象物Suが動き始めたのちカメラ９によって対象
物Suが撮影され，その対象物Suを表わす映像信号が相関
値算出装置10Cに与えられる。相関値算出装置10Cは走査
されるウインドウの各位置において撮影された対象物の
画像データと先に得られたテキスト・データとの相関値
を算出し，相関値の最も高いウインドウの座標（x₁，
y₁）を制御回路124に与える。最大の相関値を与えるウ
インドウが第29図に鎖線でその座標（x₁，y₁）とともに
描かれている。このウインドウの中に対象物Suの像があ
る筈である。

制御回路124は対象物Suの移動量をΔｘ＝x₁−x₀，Δ
ｙ＝y₁−y₀として算出し，この移動量Δx,Δｙに相当す
る指令をサーボ・ドライバ125に与えるのでモータ126,1
27が駆動され，座標（x₀，y₀）のウインドウ内に対象物
Suの像がくるようにカメラ９の姿勢が変更される。

上記の動作は１垂直走査期間Ｖごとに繰返されるの
で，対象物Suの像が座標（x₀，y₀）のウインドウ内に常
にあるようにカメラ９の姿勢が制御されることになる。

対象物の追尾フィード・バック処理は垂直走査期間ご
とに繰返されるのでスムーズな追尾動作が期待できる。

対象物Suによっては動きながらその姿勢を変えるもの
がある。対象物Suの姿勢が変化するとその撮影画像も変
化するので，先に登録したテキスト・データは正しく対
象物の画像を表わしていないことになる。

次に，対象物Suが動きながら姿勢を変え，それによっ
て対象物の画像が変化しても，カメラを対象物に正しく
追従されることのできる自動追尾システムについて説明
する。

第28図に示すシステム構成がそのまま利用される。第
30図はシステムの全体的動作の流れを示すものである。

対象物Suの初期画像がカメラ９によって撮像され，そ
の対象物画像を標準画像としてテキスト・データが作成
され，相関値算出装置10Cのメモリまたはテキスト・レ
ジスタに登録される。また，対象物画像を含むウインド
ウの位置座標（x₀，y₀）が制御回路124に与えられる
（ステップ151）。

動き始めた対象物Suが再び撮影され（ステップ15
2）．その画像データに基づいて相関値最大値を与える
ウインドウの座標（x₁，y₁）が求められ，装置10Cから
制御回路124に与えられる。これと並行して撮影により
得られた画像データが装置10Cの画像メモリに一旦記憶
される（ステップ156）。そしてこの画像データから相
関値最大値を与えるウインドウ内の部分画像データが取
出され，これに基づいて再びテキスト・データが作成さ
れ，先に登録されているテキスト・データが新たに作成
されたテキスト・データによって置換えられることによ
りテキスト・データが更新される（ステップ157）。こ
のようにしてテキスト・データが更新されるので対象物
Suの姿勢が変化してその画像が変っても常に最新のテキ
スト・データが保存されていることになり，対象物Suの
姿勢の変化に追従できることになる。

制御回路124では対象物Suの変位量Δx,Δｙが算出さ
れ（ステップ154），これに基づいて対象物像が常に位
置（x₀，y₀）のウインドウ内にあるようにカメラ９の姿
勢の制御が行なわれる（ステップ155）。

ステップ152〜157の処理は垂直走査期間Ｖの周期で繰
返される。

産業上の利用可能性画像処理装置は応用例に示したような傷や汚れの検査
装置，位置合せ装置，自動追尾装置のみならず，物体の
認識装置等に利用できる。

Claims

(57)【特許請求の範囲】

【請求項１】１画素当り第１の所定ビット数で表わされ
る入力画像データを上記第１の所定ビット数よりも少な
い第２の所定ビット数で表わされる第１の擬似中間調画
像データに変換する擬似中間調画像生成回路手段，上記擬似中間調画像生成回路手段によって生成された第
１の擬似中間調画像を走査するウィンドウを用いて，ウ
ィンドウ内の複数画素からなる小領域を変換後の一画素
にそれぞれ対応させて，上記第１の擬似中間調画像デー
タを第２の中間調画像データに変換して出力する画像変
換回路手段，および上記画像変換回路手段から出力される第２の中間調画像
データと，あらかじめ設定された標準画像を表わすテキ
スト・データとの類似性の程度を表わす指標値を算出す
る類似性演算回路手段，を備えた画像処理装置。
【請求項２】上記擬似中間調画像生成回路手段が，誤差
拡散法を用いて，入力画像データを２値化し,1画素当り
１ビットで表わされるディザ画像データを生成するもの
である，請求項１に記載の画像処理装置。
【請求項３】上記擬似中間調画像生成回路手段が誤差拡
散法を用いて入力画像データを４値化し,1画素当り２ビ
ットで表わされる擬似中間調画像データを生成するもの
である，請求項１に記載の画像処理装置。
【請求項４】上記類似性演算回路手段から得られる各ウ
ィンドウについての類似性指標値のうちの最も類似性の
高い指標値と，その指標値を生じさせるウィンドウの位
置データとを検出するピーク・ホールド回路手段をさら
に備えている，請求項１に記載の画像処理装置。
【請求項５】上記類似性の程度を表わす指標値が画像の
明度の差分値であり，上記類似性演算回路手段が，小領
域ごとに，第２の中間調画像データと対応するテキスト
・データとの差の絶対値を算出し，これらの差の絶対値
を１つのウィンドウに含まれるすべての小領域にわたっ
て加算し，この加算値を明度の差分値として出力するも
のである，請求項１に記載の画像処理装置。
【請求項６】上記類似性演算回路手段から得られる各ウ
ィンドウについての明度の差分値のうちの最も小さな差
分値と，その差分値を生じさせるウィンドウの位置デー
タとを検出するピーク・ホールド回路手段をさらに備え
ている，請求項５に記載の画像処理装置。
【請求項７】上記類似性演算回路手段が，第２の中間調
画像データとテキスト・データとの相互相関値をウィン
ドウごとに算出するものであり，この相互相関値を類似
性の程度を表わす指標値として出力するものである，請
求項１に記載の画像処理装置。
【請求項８】上記類似性演算回路手段から得られる各ウ
ィンドウについての相互相関値のうちの最も大きな相互
相関値と，その相互相関値を生じさせるウィンドウの位
置データとを検出するピーク・ホールド回路手段をさら
に備えている，請求項７に記載の画像処理装置。
【請求項９】上記画像変換回路手段が，第２の所定ビット数の第１の擬似中間調画像データを転
送する，上記ウィンドウの垂直方向の画素数に相当する
数のカスケードに接続されたライン・メモリと，上記各ライン・メモリからウィンドウの水平方向の画素
数の第１の擬似中間調画像データを小領域ごとに取出す
回路と，取出された第１の擬似中間調画像データを，小領域ごと
に加算して第２の中間調画像データを出力する加算回路
手段と，を備えている請求項１に記載の画像処理装置。
【請求項１０】上記加算回路手段から出力される第２の
中間調画像データをその前後の画素にわたって平滑する
平滑化回路手段がさらに設けられている請求項９に記載
の画像処理装置。
【請求項１１】ビデオ・カメラから与えられる被写体像
を表わす映像信号を，画素ごとに,1画素当り第１の所定
ビット数で表わされる入力画像データに変換するA/D変
換回路手段，上記A/D変換回路手段から出力される入力画像データを
上記第１の所定ビット数よりも少ない第２の所定ビット
数で表わされる第１の擬似中間調画像データに変換する
擬似中間調画像生成回路手段，および上記擬似中間調画像生成回路手段によって生成された第
１の擬似中間調画像を走査するウィンドウを用いて，ウ
ィンドウ内の複数画素からなる小領域を変換後の一画素
にそれぞれ対応させて，上記第１の擬似中間調画像デー
タを第２の中間調画像データに変換して出力する画素変
換回路手段，を備えた画像処理装置。
【請求項１２】上記擬似中間調画像生成回路手段が，誤
差拡散法を用いて入力画像データを２値化し,1画素当り
１ビットで表わされるディザ画像データを生成するもの
である，請求項11に記載の画像処理装置。
【請求項１３】上記擬似中間調画像生成回路手段が誤差
拡散法を用いて入力画像データを４値化し,1画素当り２
ビットで表わされる擬似中間調画像データを生成するも
のである，請求項11に記載の画像処理装置。
【請求項１４】上記画像変換回路手段が，第２の所定ビット数の第１の擬似中間調画像データを転
送する，上記ウィンドウの垂直方向の画素数に相当する
数のカスケードに接続されたライン・メモリと，上記各ライン・メモリからウィンドウの水平方向の画素
数の第１の擬似中間調画像データを小領域ごとに取出す
回路と，取出された第１の擬似中間調画像データを，小領域ごと
に加算して第２の中間調画像データを出力する加算回路
手段と，を備えている請求項11に記載の画像処理装置。
【請求項１５】上記加算回路手段から出力される第２の
中間調画像データをその前後の画素にわたって平滑する
平滑化回路手段がさらに設けられている請求項14に記載
の画像処理装置。
【請求項１６】１画素当り第１の所定ビット数で表わさ
れる入力画像データを上記第１の所定ビット数よりも少
ない第２の所定ビット数で表わされる第１の擬似中間調
画像データに変換し，生成された第１の擬似中間調画像を走査するウィンドウ
を用いて，ウィンドウ内のそれぞれが複数画素からなる
複数の小領域のそれぞれごとに，上記第１の擬似中間調
画像データを加算することにより，上記小領域を一画素
とする第２の中間調画像データを生成し，第２の中間調画像データと，あらかじめ設定された標準
画像を表わすテキスト・データとの類似性の程度を表わ
す指標値を算出する，画像処理方法。
【請求項１７】上記第１の擬似中間調画像変換ステップ
が，誤差拡散法を用いて，入力画像データを２値化し,1
画素当り１ビットで表わされるディザ画像データを生成
するものである，請求項16に記載の画像処理方法。
【請求項１８】上記第１の擬似中間調画像変換ステップ
が誤差拡散法を用いて入力画像データを４値化し,1画素
当り２ビットで表わされる第１の擬似中間調画像データ
を生成するものである，請求項16に記載の画像処理方
法。
【請求項１９】各ウィンドウについての類似性指標値の
うちの最も類似性の高い指標値と，その指標値を生じさ
せるウィンドウの位置データとを検出する，請求項16に
記載の画像処理方法。
【請求項２０】上記類似性の程度を表わす指標値が画像
の明度の差分値であり，小領域ごとに，第２の中間調画
像データと対応するテキスト・データとの差の絶対値を
算出し，これらの差の絶対値を１つのウィンドウに含ま
れるすべての小領域にわたって加算し，この加算値を明
度の差分値とする，請求項16に記載の画像処理方法。
【請求項２１】各ウィンドウについての明度の差分値の
うちの最も小さな差分値と，その差分値を生じさせるウ
ィンドウの位置データとを検出する，請求項20に記載の
画像処理方法。
【請求項２２】類似性指標値演算において，第２の中間
調画像データとテキスト・データとの相互相関値をウィ
ンドウごとに算出し，この相互相関値を類似性の程度を
表わす指標値とする，請求項16に記載の画像処理方法。
【請求項２３】各ウィンドウについての相互相関値のう
ちの最も大きな相互相関値と，その相互相関値を生じさ
せるウィンドウの位置データとを検出する，請求項22に
記載の画像処理方法。
【請求項２４】第２の所定ビット数の第１の擬似中間調
画像データを転送する，上記ウィンドウの垂直方向の画
素数に相当する数のライン・メモリをカスケードに接続
しておき，上記各ライン・メモリからウィンドウの水平方向の画素
数の第１の擬似中間調画像データを小領域ごとに取出
し，取出された第１の擬似中間調画像データを，小領域ごと
に加算して第２の中間調画像データを生成する，請求項16に記載の画像処理方法。
【請求項２５】第２の中間調画像データをその前後の画
素にわたって平滑する，請求項24に記載の画像処理方
法。
【請求項２６】被写体を撮像し，被写体像を表わす映像
信号を出力する撮像手段，上記撮像手段から出力される映像信号を入力画像データ
に変換するA/D変換回路，上記A/D変換回路から出力される入力画像データにおけ
る明度または特定の色の濃度についての偏差値を算出す
る偏差値算出手段，および上記偏差値算出手段から得られ偏差値が所定のしきい以
上であるかどうかを判定する手段，を備えた検査装置において，１画素当り第１の所定ビット数で表わされる上記入力画
像データを上記第１の所定ビット数よりも少ない第２の
所定ビット数で表わされる第１の擬似中間調画像データ
に変換する擬似中間調画像生成回路手段，および上記擬似中間調画像生成回路手段によって生成された第
１の擬似中間調画像を走査するウィンドウを用いて，ウ
ィンドウ内の複数画素からなる小領域を変換後の一画素
にそれぞれ対応させて上記第１の擬似中間調画像データ
を第２の中間調画像データに変換して出力する画素変換
回路手段を備え，上記偏差値算出手段がウィンドウ内の第２の中間調画像
データについて偏差値を算出し，これらの偏差値のうち
の最大値を検出するものであり，上記判定手段が最大偏
差値を所定のしきい値と比較するものである，傷または汚れの検査装置。
【請求項２７】位置合せマークがそれぞれ表わされた位
置合せすべき２つの対象物の一方を移動自在に保持する
手段，上記２つの位置合せマークを一画面内で撮像し，その画
像を表わす画像データを出力する撮像手段，上記撮像手段から出力される画像データと，正しく位置
合せされたときの２つの位置合せマークが形成する標準
マーク・パターンを表わす標準画像データとの類似の程
度を算出する類似性演算手段，および上記類似性演算手段によって算出された類似の程度に応
じて，上記一方の対象物を類似の程度が高くなる方向に
移動させるように，上記保持手段を駆動する手段，を備えた位置合せ装置。