JPS61153763A - 高速局所並列相関器 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［技術分野］ 本発明は、画像認識等に好適な高速局所並列相関器に関
する。

［従来技術］ デジタル画像技術による画像認識は、文字パターン認識
を始めとして、資源探査などのリモートセンシング、Ｘ
線画像・ＣＴ（コンピュータ断層写真）・超音波画像・
顕微鏡細胞画像と基準画像との相関による医用診断、組
み立て・検査（例えば、ＩＣ組立て）を自動化する各種
ロボット視覚など、その応用分野は非常に広い。

この種の画像認識の方法としては、一般に特徴抽出法と
パターンマツチング法とがある。前者の特徴抽出法は対
象の画面の所定個所（例えば、画面右端）に特徴のある
印（例えば、×印）をあらかじめ入れ、この印を基準に
して被参照画面と参照画面との座標を合せる方法であり
、比較的アルゴリズムが簡単でソフトウェア的に行える
が、特徴ある印を画面上に用意する必要があるという重
大な欠点があり、またミニコンピユータではかなり高価
となり、マイクロコンピュータでは処理時間や座標合せ
の精密度に問題がでてくる。

一方、後者のパターンマツチング法は、被参照画面と基
準となる参照画面とが一致するか否かを一方の画面を総
体的に動かしてその相関値により判断する方法であり、
前者のような特徴ある印を用意する必要がないので応用
範囲が極めて広い。

しかしながら、このパターンマツチング法を現在の逐次
実行型のコンピュータでソフトウェアで行うと、複雑な
アルゴリズムと処理すべきデータ量が多い点から、外部
記憶装置との転送時間に影響されて処理時間が大幅にか
かりすぎることとなり、迅速な画像処理を必要とする応
用分野には適さない。

そこで、パターンマツチング法をハードウェアで行うよ
うにすれば処理時間が非常に早くなり。

テレビの画面の実時間処理でのマツチングもでき得る０
例えば、画像の２次元構造に合せてハードウェア型のデ
ジタル相関器（演算素子）を並列に配置し、これにより
パターンマツチング法を実行できる。だが、従来のデジ
タル相関器は例えば米国のＴＲＷ　ＬＳＩプロダクツ社
（以下、ＴＲＷ社と称する）のＴＤＣ−１０２３Ｊのよ
うに、主に直列型用に開発されたものであるため６４ビ
ンとビン数が多すぎる上に高価であり、この相関器を並
列に複数配列し１例えば３２Ｘ３２個を使用するとすれ
ば極めて高価になり実用に供し難いという問題がある。

また、例えばＩＣマスクの製品検査のような時にテレビ
モニタのどの画面部分が基準の画面に対してずれていて
、どの部分が合っているかを画素毎に１ビット情報の映
像信号で出すことでマツチングを行うような場合は、現
在はテレビ画面を２値化して相関をとるようにしている
が、２値化する際の閾値の設定レベルで相関が変わり不
正確となるという問題がある。そこで、画素の濃淡レベ
ルを表わす多値のビットデータを全て使用して相関をと
ることが好ましいが、これに適した高速でかつ比較的廉
価なデジタル相関器はない。

［目　　的］ 本発明は、上述の問題点に鑑み、ハードウェアによるパ
ターンマツチングに適し、量子化レベルｎビットの多値
データで相関を高速にとることができる分散型デジタル
相関器を用いた高速局所並列相関器を提供することを目
的とする。

本目的を達成するために、本発明は、量子化レベルｎビ
ット（ｎは整数）を持つ入力多値データに対して二次元
の局所並列にｎビット全部の相互相関を計算する分散型
デジタル相関器群と、分散型デジタル相関器群の各相関
出力を集計して最終的にマツチングしているか否かを表
わす１ビット情報に変換する集計回路とを具備したこと
を特徴とする。

［実　施　例］ 以下、図面を参照して本発明の詳細な説明する。

第１図は本発明高速局所並列相関器の構成例を示す、こ
こで１０はＴＶカメラ装置（不図示）等から入力したア
ナログ画像信号をアナログデジタル変換（Ａ−Ｄ変換）
するＡ−Ｄ変換器、１５はＡ−Ｄ変換器１０で標本化さ
れたデジタル信号の入力光を切換える第１のゲート回路
、２０はゲート回路１５を通じてＡ−Ｄ変換器から入力
したデジタル画像信号をテンプレート画像（基準画像ま
たは参照画像）として記憶するフレームメモリである。

また、２５はフレームメモリ２０からのテンプレート画
像の出力制御をするゲート回路、３０は第１のパラレル
インタフェースであり、３５は内部記憶手段に記憶され
た第６図に示すような制御手順に従って全体の制御を行
うマイクロコンピュータである。パラレルインタフェー
ス３０は、マイクロコンピュータ３５の制御に応じてゲ
ート回路１５．２０および８２図で後述する多値データ
の相関（マツチング）をとるＩ　Ｘ　Ｌ　（Ｉ、Ｌは整
数）局所並列相関器群３００の入力制御をする。ＺＸＬ
は通常３２Ｘ３２または１８Ｘ１Ｂが用いられる。　４
０はＩＸＩ、局所並列相関器群３００の相関値出力（合
致した総量）をカウントするカウンタ、４５はカウンタ
４０の出力をマイクロコンピュータ３５へ並列で入力す
る際の水平φ垂直の同期合せ（タイミング）用の＄２の
パラレルインタフェースである。また、上述の相関器群
３００はコントラストレベルが８ビットの場合はＩＸＬ
の局所並列相関器を８枚同じのを有することになる。

まず、最初に入力したアナログ画像信号をＡ−Ｄ変換器
１０で標本化し、ゲート回路１５を切替えてテンプレー
トの画像を記憶するフレームメモリ２０に蓄積する。

その蓄積が終ると次に、原画像をＡ−Ｄ変換器１０で標
本化し、ゲート回路１５を通して、ＩＸＬ局所並列相関
器群３００のデータ入力端子に入力する。

同時にテンプレートの画像がフレームメモリ２ｏから読
み出され、ゲート回路４５が開かれて、ＩＸＬ局所並列
相関器群３００のリファレンスデータ入力端子に入力す
る。

ＩＸＬ局所並列相関器群３００から出力する相関したビ
クセル（画素）数をカウンタ４ｏで一画面分だけ計算し
、この計算結果をパラレル・インタフェース４５を通じ
てマイクロコンピュータに入力する。

ｔｓｚ図は、第１図のＩＸＬ局所並列相関器群３００の
内部構成例を示す、なお、ＩＸＬとして８×８を採用し
た場合を示す、ここで、３１０〜３１７はそれぞれ８×
８局所並列相関器、３１８は相関器３１０〜３１３の出
力を論理積演算する４人カアンド回路、３１８は同様に
相関器３１４〜３１７の出力を論理積演算する４人カア
ンド回路、３２０は両アントゲ−）　３１８，３１８の
出力を論理積演算する４人カアンド回路であり、このア
ンド回路３２Ｇの出力が第１図のカウンタ４０に入力す
る。

入力デジタル画像信号がコントラストレベル（濃度レベ
ル）を表わす多ビットのデータの場合で、深み８ビット
のデータに対する相関を行う高精密８×８局所並列相関
群では、第２図に示すように、入力データ１ビット当り
に１個の８×８局所並列相関器３１０〜３１７が接続し
、各８×８局所並列相関器３１０〜３１７から出力する
最大関数８４を示すビット　６　（００７）の論理積を
４人カアンド回路３１８．３１８で求め演算結果を次段
の４人カアンド回路３２０にコンバータクロックと共に
入力させ、マツチングしたピクセルをカウンタ４０で計
数する。よって、このときの相互相関は、原画像を離散
化した数列Ｇ（ａ、ｂ）とテンプレートの画像を離散化
した数列Ｆ（ａ、ｂ）の相関になり、次式（１）で表わ
される。

Ｙ（ｎ−ｍ）　　＝　ＳＪ、δ（ａ、ｂ）　　Ｆ（ａ＋
ｎ、ｂ＋ｍ）　　　　　（１）第３図は、第２図の８Ｘ
８（ＩＸＬ）局所並列相関器３１０〜３１７のそれぞれ
の内部構成例を示す、ここで、４１０〜４１Ｂはフレー
ムメモリ２０（第１図参照）からのテンプレート画像（
フレームメモリデータ）の水平同期を遅延させるバッフ
ァメモリ、４１７はバッファメモリ４１０〜４１Ｂの書
込みタイミングを制御するメモリコントロール、４１８
および４１８はバー２フアメモリ４１０〜４１８からの
各水平周期のデータをパイプライン方式で垂直同期合せ
するためのシフトレジスタである。

また、４２０〜４２６はゲート回路１５を通って直接入
力する原画像（原画像データ）の水平同期を遅延させる
バッファメモリ、４２７はバッファメモリ４２０〜４２
６への書き込みを制御するメモリコントロール、４２８
および４２８はバッファメモリ４２０〜４２８からの各
水平周期のデータをパイプライン方式で垂直同期合せす
るためのシフトレジスタである。４３０はコンバータク
ロックを反転してシフトレジスタ４１８および４２８へ
送出するインバータである０両バッファメモリ群４１０
〜４１８，４２０〜４２Ｂはデータを局所並列に入力さ
せるために遅延するのに用いられる。

４４０は第４図で後述する８×８分散型デジタル相関器
であり、この相関器４４０のリファレンスデータ入力端
子ＲＯ〜Ｒ７に各水平周期のフレームメモリデータが入
力し、この相関器４４０のデータ入力端子ＤＯ〜Ｄ７に
各水平周期の原画像データが入力する。さらに、相関器
４４０のマスク（Ｍ）データとマスククロックはパラレ
ルインタフェース３０（第１図参照）から供給されるが
、全部のデータの相関をとるときには、後述のマスクレ
ジスタ（第５図参照）は使用しないのでその相関器４４
０のマスクアウトは次段のマスク入力に順次接続して、
８×８マトリツクスの全部の局所並列相関を許可する。

この際の二次元の相関は次式（２）で表わされる。

Ｙ　（ｎ、ｍ）　　”、、”、、Ａ、、”　（ａ＋ｂ）
　　Ｇ　（ｎ＋ａ、ｍ＋ｂ）　　　　　（２）１ビット
のデータとリファレンスデータは符号関数ｓｇｎで、 と考えると、上式（２）は次式（４）で表わされる。

よって、°後述のエクスクル−シブ・ノア８２１（第５
図参照）が符号関数の乗算になり、後述のパイプライン
・デジタルサマー８００（第４図参照）はシグマの役割
をする。パターンマツチング法を用いた８Ｘ８分散型デ
ジタル相関器４００では並列８ビット（最上位桁は符号
ビット）の中で最大相関値８４を示すビット　７　（０
０Ｂ）だけが必要になる。すなわち、コンバータクロッ
クを入れることによってデータが何ピクセル（画素）合
っているかを調べるときに、多値データが全部合ってい
るかどうかを相関値でみる必要はなく、目的の情報が得
られればよい、従って、データが相関器４００に入った
ときに最大６４となるビット１〜７のビット数だけとっ
てくることとした。

第４図は第３図の分散型デジタル相関器の内部構成例を
示す。

ここで、５１０〜５１７はそれぞれ第５図で後述する８
ビットの単位デジタル相関器（以下、ニーリレイタと称
する）であり、各ニーリレイタ５１０〜５１７はニーリ
レイタ毎に独立したデータ（被参照データ、以下、Ｄと
略称する）、リファレンス（参照データ、以下、Ｒと略
称する）、マスク（マスクデータ、以下、Ｍと略称する
）のデータ入出力端子ＤＯ−０７，ＲＯ〜Ｒ７，８０〜
Ｍ７を有するが、Ｄクロック（データクロック）、Ｒク
ロック（リファレンスクロック）１Ｍクロック（マスク
クロック）の回線は各ニーリレイタ５１０〜５１７に共
通に接続している。

また、８００はパイプラインデジタルサマー（パイプラ
イン式デジタル加算器）であり、上述の８個のニーリレ
イタ５１０〜５１７の相関値出力を合計して２の補数表
示の並列７ビットのデータで出力する。９００はパイプ
ラインデジタルサブトラクト（パイプライン式デジタル
減算器）である、５２１は閾値を設定可能にするサブト
ラクトデジタルレジスタであり、被減算データ（以下、
Ｓデータと略称する）を記憶して、クロック（Ｓクロッ
ク）に同期して８ビットのＳデータを出力する。パイプ
ラインデジタルサブトラクト９００は、パイプラインデ
ジタルサマー８００からの合計値データとサブトラクト
データレジスタ５２１からの被減算データ（Ｓデータ）
との減算を実行して、２（２進）の補数表示のデータ７
ビット、符号１ビット（サインビット）の並列８ビット
データで出力する。

上述のパイプラインデジタルサマー８００の内部シフト
レジスタのクロックにはＤクロックが用１／１られ、パ
イプラインデジタルサブトラクト８００の内部シフトレ
ジスタはこのＤクロックをイン／＜−タ５１Ｂで反転し
た反転クロックでラッチされる。

第５図は第４図の８ピットコ−リレイタ５１０〜５１７
の内部構成例を示す。

ここで、６１１はデータレジスタとしての８ビットシフ
トレジスタで、５０ｎｓで時間シフトした１ビットのデ
ータ人力ＢＯ１とデータクロック８０２とが入力する。

８１２はリファレンスレジスタとしての８ビー、トシフ
トレジスタで、基準となる比較画像データ（テンプレー
トデータ）等のリファレンスデータ（参照データ）８０
３とリファレンスクロック８０４とが入力する。８１３
は相関を実行するビットを規定するマスクレジスタとし
ての８ビットシフトレジスタで、マスクデータ８０５と
マスククロック８０Ｂとが入力する。

また、６１４は後述の４ビットシフトレジスタであり、
４ビットのデータ（符号ビット付の２補数値）６０７〜
６１０を出力する。６２１は符号関数同志の乗算を実行
するエックスクルーシブノアゲート群（以下、ＥＸ、Ｎ
ＯＲゲート群と称する）であり、上述のデータレジスタ
８１１　とリファレンスレジスタ８１２との各出力ビッ
トが入力する８個のＥＸ、ＮＯＲゲートからなり、その
各ＥＸ、ＮＯＲゲートは両レジスタ８１１と６１２の出
力が°°１”、Ｏ″にかかわらず一致すると信号”１”
が出力する。

６２２はＥＸ、ＮＯＲゲート群６２１の各出力とマスク
レジスタ８１３の各出力との論理積演算を個別にする８
（１のアンドゲートからなる相関実行制御用アンドゲー
ト群（以下、ＡＮＤＮＯゲート称する）である０図の破
線で囲む８２３は、　ＡＮＤＮ−ゲート群３の出力（相
関値）を合計して並列ビットに変換する、つまり一致し
た数（相関）をかぞえて並列のデータで出力するパイプ
ライン式のデジタル加算器（パイプラインデジタルサマ
ー）である。

ＡＮＤゲート群６２２から出力したビット１とビット２
の相関値データは、デジタルサマー８２３内の１段目Ｂ
３１のエクスクル−シブオアゲート（以下、ＥＸ、ＯＲ
ゲートと称する）とＡＮＤゲートからなる半加算回路に
入力する。同様に・ビット３と４、ビット５と６ｔビッ
ト７と８の相関値データは１段目８３１の対応する半加
算回路に入る。ここで、６３１〜８３６はデジタルサブ
−８２３内の各段の回路を示す。

上述の１段目６３１の各ＥＸ、ＯＲゲートと各ＡＭロゲ
ートの出力はそれぞれ別個に２段目６３２の２人力のＥ
Ｘ、ＯＲゲートとＡＮＤゲートとに入力する。２段目６
３２の最下位ＡＮＤゲートの出力と次のＥＸ、ＯＲゲー
トの出力とは２人力のＥＸ、ＯＲゲートに出力する。ビ
ット５からビット８までを２段目６３２の同様な回路に
通過させ、ビット１〜４までの出力とビット５〜８まで
の出力とをたすきがけしたのが３段目６３３である。４
段目６３４は３段目８３３の最下位のＡＮＤゲートの出
力と次のＥＸ、ＯＲゲートの出力とを半加算し、前の段
６３２と同様にＥＸ、ＯＲゲートに出力する。

３段目８３３ト４段［３４７７）ＥＸ、ＯＲゲートカラ
出力した４ビットの並列データはシフトデータ８１４に
データクロック６０２の反転したタイミングでう、チさ
れる。８３７はこのデータクロック６０２の反転を行う
インバータである。

次に１ｗ４６図のフローチャートを参照して、第１図に
示す本発明高速局所並列相関器の動作例を説明する。

まず、パラレルインターフェース３Ｇから垂直同期をア
クセスしくステップＳｌ）　、最初の垂直帰線期間に（
ステップＳ２）、ゲート回路１５を開いてテンプレート
の画像をフレームメモリ２０内に記憶する（ステップＳ
３）。

次に、垂直帰線期間に（ステップＳ４．Ｓ５）、　ＬＸ
Ｍ局所並列相関器群３００にマスクデータ、マスククロ
ックを入力させ（ステップＳ８）、カウンタ４０をリセ
ットしくステップＳ７）、ゲート回路１５．４５を相関
処理のために相関器群３００側に切り替える。

次の垂直期間内に原画像をＡ−Ｄ変換器ｌＯにより画像
信号に変換して相関器群３００に入力すると同時に、フ
レームメモリ２０からテンプレート画像の画像信号を相
関器群３００に入力して両信号の２次元の相関を計算し
、垂直帰線期間に（ステップＳ８）、カウンタ４０の相
関値をパラレル・インターフェース４５を介してマイク
ロコンピュータ３５内にロードする（ステップ５１０）
　　。

マイクロコンピュータ３５内では、テンプレートの画像
マトリックス数とカウンタ４０からロードした相関値と
を比較して相関度を判定する。

本例は例えば、集積回路のマスク検査システム、工場に
おける自動検査システム等に応用される。この場合、５
１５　Ｘ５１５のテレビで８×８局所並列相関器群３０
０が間に合う。

第７図は、８ビットの深み（例えば、コントラストレベ
ル８ビットの多値データ）を有するデータ同志の２次元
相関を行って、その結果をモニタ表示する場合の本発明
のａ成例を示す、８ビットの深みを持つデータ同志の２
次元の相関処理では、第７図に示すように、まず８×８
局所並列相関器群３００の各出力ビット　６　（ＱＤ８
）を８人力アンド回路６で論理積をとることによってマ
ツチングの是非を決定する１ビットの情報量にする０次
に、モニタ表示のための同期合せのために、８×８局所
並列相関器群３００の相関結果を８×８局所並列の中心
座標分だけ遅延させるためと、８×８マトリツクスの中
心座標に時間シフトした時に有効であるようにするため
に、垂直水平同期信号をあらかじめ中心座標分だけ遅延
させる遅延回路？０．７５．８０が必要である。これら
の回路？０，７５．８０で遅延した同期信号と相関器群
３００の相関によるアンド回路６０からの１ビットの情
報量とをミキシング回路５５で合成映像信号（コンポジ
ットビデオ信号）に作りかえ、ＣＲＴディスプレイ等に
モニタ表示しながら観測する。また、相関結果が１ビッ
トの情報量になるの：で、この１ビット情報をマイクロ
コンピュータ３５のメモリーマツプ内の例えば５１２　
Ｘ５１２のメモリエリア（１ビットのフレームメモリ）
６５に記憶させることにより、パターンマツチングをし
ない座標を検出することが可能である。特に、この場合
１ビットのデータなので、画面上のどこがずれているか
がすぐ判別できる。

［効　果］ 以上説明したように、本発明によれば、相関処理は多値
レベルのデータで行い、相関結果は２値のデータで得ら
れるようにしたので、製品検査やＩＣ（集積回路）のマ
スク検査において、原画像をある閾値で２値画像に変換
してからテンプレートの画像と比較して相関を計算する
従来のパターンマツチング法に比較して、原画像の全ビ
ット（多値データ）を用いて高精密に相関を計算するこ
とができる。

【図面の簡単な説明】 第１図は本発明高速局所並列相関器の構成例を示すブロ
ック図、 第２図は第１図の局所並列相関器群の内部構成例を示す
ブロック図、 第３図は第２図の並列相関器の内部構成例を示すブロッ
ク図。 第４図は第３図の分散型デジタル相関器の内部構成例を
示すブロック図、 第５図は第４図のコーリレイター（デジタル相関器）の
内部構成例を示す回路図、 第６図は第１図の本発明相関器の制御動作例を示すフロ
ーチャート、 第７図は本発明の他の構成例を示すブロック図である。 １０・・・Ａ−Ｄ変換器。 １５・・・ゲート回路、 ２０・・・フレームメモリ、 ２５・・・ゲート回路、 ３０・・・パラレルインターフェース、３５・・・マイ
クロコンピュータ、 ４０・・・カウンタ、 ４５・・・パラレルインターフェース、３０Ｇ川ＩＸＬ
局所並列相関器群、 ３１０〜３１７・・・８Ｘ８局所並列相関器、３１８〜
３２０・・・アンド回路。 ４１０〜４１８，４２０〜４２Ｂ　用ハッ７　ｙ　／’
　％４４０・・・分散型デジタル相関器、 ５１０〜５１７・・・８ビットコーリレイター８００・
・・パイプラインデジタルサマー、９００・・・パイプ
ラインデジタルサブトラクト。

Claims (1)

1. 【特許請求の範囲】 １）量子化レベルｎビット（ｎは整数）を持つ入力多値
   データに対して二次元の局所並列にｎビット全部の相互
   相関を計算する分散型デジタル相関器群と、 該分散型デジタル相関器群の各相関出力を集計して最終
   的にマッチングしているか否かを表わす１ビット情報に
   変換する集計回路とを具備したことを特徴とする高速局
   所並列相関器。 ２）特許請求の範囲第１項記載の相関器において、前記
   集計回路により変換された前記１ビット情報をタイミン
   グを合せた垂直・水平同期を加えて合成映像信号に作り
   変えるミキシング回路と、 前記１ビット情報を記憶するメモリと、 該メモリに記憶された情報からマッチングしない画像の
   座標を求めるマイクロコンピュータとを具備したことを
   特徴とする高速局所並列相関器。