WO2001045048A1 - Procede et appareil permettant d'extraire une caracteristique d'image, systeme d'ecran de controle et de test, systeme d'exposition et systeme d'interface - Google Patents

Description

明 細 書 画像特徴抽出の装置、 画像特徴抽出方法、 監視検査システム、 露光システム、 およびインターフェースシステム 本発明の背景

発明の分野

本発明は、 被写界を撮像した画像信号から特徴を抽出する画像特徴抽出装置、 および画像特徴抽出方法に関する。

また、 本発明は、 画像特徴抽出装置を備えた監視検査システム、 露光システム、 およびインターフェースシステムに関する。 背景技術の説明

従来より、 被写界を撮像した画像信号に基づいて、 被写界の特徴を抽出する画 像特徴抽出装置が知られている。 このような画像特徴抽出装置は、 侵入者を発見 するなどの監視用途、 半導体製造時におけるパターン検査用途、 工場の製造ライ ンで部品位置を特定する用途など、 多種多様な場面において使用されている。 図 1 1は、 この種の画像特徴抽出装置の一例を示すブロック図である。

このような構成の画像特徴抽出装置 6 1では、 ビデオカメラ 6 2で撮像された 画像信号が、 A/D変換器 6 3を介してディジタル化された後、 フレームメモリ 6 4に一旦蓄積される。

微分回路 6 5は、 このフレームメモリ 6 4内の画像信号に対して空間微分をと り、 微分画像信号 （画像エッジなどを抽出した画像信号） を生成する。 微分回路 6 5は、 生成した微分画像信号を、 バス 6 6 aを介して微分画像メモリ 6 6に一 旦蓄積する。

塗りつぶし処理部 6 7は、 微分画像メモリ 6 6から微分画像信号を読み出し、 画像ェッジ一画像ェッジ間に相当する平坦部分を塗りつぶすことにより、 被写界 内の物体を二値で単純表現した二値化画像信号を生成する。 塗りつぶし処理部 6 7は、 この二値化画像信号を、 微分画像メモリ 6 6に一旦蓄積する。 続いて、 画素単位雑音除去部 6 8は、 微分画像メモリ 6 6から二値化画像信号 を画素単位に読み出し、 画素単位に収縮処理および膨張処理を実行する。

この収縮処理では、 処理画素 （処理対象の画素） について周囲画素の参照を行 い、 1画素でも物体以外の画素 （例えば画素値 『0』 ） があれば、 当該処理画素 を消去するという処理を施す。 このような収縮処理によって、 周辺画素と連続し ていない孤立点などの雑音成分が除去される。

一方、 ここでの膨張処理では、 まず、 処理画素 （処理対象の画素） の周囲画素 を参照する。 そして、 これら周辺画素の中に 1画素でも物体を示す画素 （例えば 画素値 『 1』 ） があれば、 その処理画素を 『物体を示す画素』 に置き換える。 こ のような膨張処理により物体を示す画素が四方に膨張して、 画面内のかすれ雑音 が除去される。 画素単位雑音除去部 6 8は、 このように雑音除去を完了した二値 化画像信号を、 微分画像メモリ 6 6に再び蓄積する。

このように画素単位に収縮処理および膨張処理を実行することにより、 2値化 画像信号中の雑音が除去される。

次に、 画像識別部 6 9は、 雑音除去を完了した二値化画像信号を画素単位に処 理して、 物体の識別や人体検知などを実行する。

ところで、 このような従来例では、 上述した塗りつぶし処理部 6 7、 画素単位 雑音除去部 6 8および画像識別部 6 9の各工程において、 画素単位に処理が実行 される。 その結果、 画像を構成する数万〜数百万画素の画素一つ一つについて処 理が繰り返されることとなり、 装置全体の情報処理量が膨大になるという問題点 があった。

特に、 画素単位雑音除去部 6 8では、 画素一つ一つについて複雑な二次元画像 処理を逐一実行しなければならず、情報処理の負荷が極端に集中する。そのため、 処理工程全体のスループッ トを大きく下げてしまうという問題点があった。

またさらに、 この画素単位雑音除去部 6 8では、二次元画像処理を行うために、 処理前の画素値を適時参照しなければならない。 そのため、 二次元画像処理の前 後の画像データを別々に保存しなければならず、 複数フレーム分のメモリが必要 となっていた。

このような理由から、 従来例の画像特徴抽出装置 6 1では、 高速な情報処理装 置ゃ大容量かつ高速なメモリが必須となり、 装置全体が高コスト化してしまうと いう問題点があった。

また特に、 人体検知などの監視用途においては、 動画像の処理が要求される。 そのため、 次々に撮像される多数枚の画像を遅滞なく （リアルタイムに） 処理し なければならない。 したがって、 このような用途においては、 画像処理の大幅な 高速化が強く要望されていた。 発明の開示

そこで、 本発明では、 処理速度を高速化し、 かつ必要なメモリ容量を格段に少 なくすることが可能な画像特徴抽出装置を提供することを目的とする。

また、 本発明の他の目的は、 このような画像特徴抽出装置を備えた、 監視検査 システム、 露光システム、 インターフェースシステムを提供することである。 以下、 本発明について説明する。

本発明の画像特徴抽出装置は、 被写界を撮像して微分画像信号を生成する微分 画像信号生成部と、 微分画像信号生成部から出力される微分画像信号を行毎に処 理し、 被写界内の左端ェッジおよび右端ェッジを検出するェッジ座標検出部と、 ェッジ座標検出部で行毎に検出された、 左端ェッジおよび右端ェッジの情報を、 被写界内の物体の特徴として保存するエッジ座標記憶部とを備える。

本発明の好ましい態様では、 微分画像信号生成部が、 被写界の撮像画像に対し て空間的または時間的な微分処理を施し、 微分画像信号を生成する。 エッジ座標 検出部は、 この微分画像信号を行 （画面の座標空間上の所定方向のこと） 毎に処 理して、各行における左端エッジと右端エッジを検出する。エッジ座標記憶部は、 存在する左端ェッジと右端ェッジに関して、 座標値その他の情報を物体の特徴量 として保存する。

このような動作では、 微分画像信号から両端エッジを検出するという比較的簡 易な処理 （例えば、 微分画像信号の閾値判別や論理回路などで十分可能） が中心 であり、 従来例に比べて高速に画像を処理することが可能となる。

また、 このように求めた両端エッジの情報は、 従来例のような画素単位に情報 を扱う場合に比べて、 極端に少ない情報量となる。 したがって、 画像処理に必要 なメモリ容量を大幅に削減することも可能となる。

さらに、 このように求めた両端エッジの情報からは、 後述するように、 被写界 内の物体の大きさや物体の位置など、 重要な物体情報を容易に求めることができ る。 したがって、 上記構成の画像特徴抽出装置を基本構成とすることにより、 こ れら多種多様な物体情報を得る装置を発展的に構成することが可能となる。 さらに好ましくは、 本発明の画像特徴抽出装置は、 左端エッジおよび右端エツ ジに対して雑音成分の除去を行う雑音除去部を備える。

この場合、 画像特徴抽出装置は、 両端エッジを対象に雑音除去を行う。 したが つて、 従来例のように 1画素単位に雑音除去を逐一行う必要がなく、 雑音除去を 高速に完了することが可能となる。

その上、 両端エッジを対象とした雑音除去のため、 処理途中に必要なメモリ容 量も非常に少なく、 使用するメモリ容量を大幅に削減することも可能となる。 なお例えば、 この種の簡単な雑音除去としては、 隣接する行 （または連続する フレーム） の間でエッジの連続性やエッジの連続方向を判断して、 滑らかに連続 しないエッジを削除したり、 滑らかに連続するようにエッジを移動 （追加） する などの処理も可能である。

また例えば、 この種の簡単な雑音除去としては、 多数のエッジがランダムに集 中する場合、 ディテールや模様などの凹凸であって主要なエッジでないと判断し て削除するなどの処理も可能である。

さらに好ましくは、 本発明の画像特徴抽出装置は、 上記の雑音除去部が、 下記 の処理部 （ 1 ) 〜 （4 ) を含んで構成される。

( 1 ) 処理行 （雑音除去の対象行） を含んで近接する複数行に左端エッジが存在 する場合、 複数行について左端エッジの最左端を求め、 その最左端の更に左側位 置を処理行の左端ェッジとする左端膨張処理部

( 2 ) 複数行に右端エッジが存在する場合、 複数行について右端エッジの最右端 を求め、 その最右端の更に右側位置を、 処理行の右端エッジとする右端膨張処理 部

( 3 ) 複数行に左端エッジの欠損がある場合は、 処理行の左端エッジを消去し、 それ以外の場合は、 複数行について左端エッジの最右端を求め、 その最右端の更 に右側位置を処理行の左端ェッジとする左端収縮処理部

( 4 ) 複数行に右端エッジの欠損がある場合は、 処理行の右端エッジを消去し、 それ以外の場合は、 複数行について右端エッジの最左端を求め、 その最左端の更 に左側位置を処理行の右端ェッジとする右端収縮処理部

雑音除去部は、 これら処理部を介して両端エッジに膨張および収縮を施すこと によって、 両端エッジの雑音除去を行う。

この場合、 左端膨張処理部および右端膨張処理部の働きによって、 両端エッジ が上下左右および斜めの 8方向へそれそれ膨張する。 このとき、 エッジのかすれ は、 近接するエッジの膨張によってきれいに埋められる。

また、 左端収縮処理部および右端収縮処理部の働きによって、 両端エッジが上 下左右および斜めの 8方向へそれぞれ収縮する。 このとき、 エッジの点雑音 （孤 立点） は、 収縮によってきれいに除去される。

さらに好ましくは、 本発明の画像特徴抽出装置は、 エッジ座標記憶部に行毎に 保存された物体の右端エッジと左端エッジとに基づいて、 物体の画而内面桢、 物 体の中心位置、 および物体の寸法の少なくとも一つを算出する特徴演算部を備え さらに好ましくは、 本発明の画像特徴抽出装置は、 特徴 邰の^出値が、 予 め設定された許容の範囲にあるか否かを監視し、 許容の範囲を外れた場合に異常 状態を通知する異常信号出力部を備える。

さらに好ましくは、 本発明の画像特徴抽出装置は、 微分画像信号生成部が、 被 写界を結像する光学系と、 被写界像を撮像する固体撮像素子とから構成される。 この固体撮像素子は、 受光面上にマトリックス配列されて入射光に応じた画素出 力を生成する複数の受光部と、 複数の受光部から画素出力を順次に転送する画素 出力転送部と、 画素出力転送部を転送中の画素出力について時間的または空間的 な差異を求めて微分画像信号を生成する微分処理部とを備えて構成される。 また一方、 本発明の画像特徴抽出方法は、 被写界を撮像して、 被写界内の物体 エッジを示す微分画像信号を生成し、 微分画像信号を行毎に処理して、 物体の左 端エッジおよび右端エッジを検出し、 左端エッジおよび右端エッジの情報を、 物 体の特徴量として保存することを特徴とする。 また一方、 本発明の監視検査システムは、 被写界を監視して正常/異常を判定 する監視検査システムであって、

( a ) 被写界を撮像して微分画像信号を生成する微分画像信号生成部と、 微分画像信号生成部から出力される微分画像信号を行毎に処理し、 被写 界内の左端ェッジおよび右端ェッジを検出するェッジ座標検出部と、 ェッジ座標検出部で行毎に検出された、 左端ェッジおよび右端ェッジの 情報を、 被写界内の物体の特徴として保存するエッジ座標記憶部と を有する画像特徴抽出装置

( b ) 画像特徴抽出装置において抽出される被写界の特徴に基づいて、 被写界 の正常 Z異常を判定する監視部

を備える。

さらに好ましくは、 本発明の監視検査システムは、 上述した雑音除去部を備え る。

また一方、 本発明の露光システムは、 露光対象に露光パターンを投影する露光 システムであって、

( a ) 被写界を撮像して微分画像信号を生成する微分画像信号生成部と、 微分画像信号生成部から出力される微分画像信号を行毎に処理し、 被写 界内の左端ェッジおよび右端ェッジを検出するェッジ座標検出部と、 ェッジ座標検出部で行毎に検出された、 左端ェッジおよび右端ェッジの 情報を、 被写界内の物体の特徴として保存するエッジ座標記憶部と を有する画像特徴抽出装置

( b ) 画像特徴抽出装置を用いて露光対象のァライメントマークを撮像し、 抽 出される被写界の特徴に基づいて、 露光対象のァライメントマ一クの位置 検出を行うァライメント検出部

( C ) ァライメント検出部により位置検出されたァライメントマ一クに応じて 露光対象の位置決めを行う位置制御部

( d ) 位置制御部により位置決めされた露光対象に対して露光パターンを投影 する露光部

を備える。 さらに好ましくは、 本発明の露光システムは、 上述した雑音除去部を備える。 また一方、 本発明のインタ一フェースシステムは、 人間の姿勢や動きなどの被 写界から得られる情報に基づいて、 入力信号を生成するインターフエースシステ ムであって、

( a ) 被写界を撮像して微分画像信号を生成する微分画像信号生成部と、 微分画像信号生成部から出力される微分画像信号を行毎に処理し、 被写 界内の左端ェッジおよび右端エツジを検出するエツジ座標検出部と、 ェッジ座標検出部で行毎に検出された、 左端ェッジおよび右端ェッジの 情報を、 被写界内の物体の特徴として保存するエッジ座標記憶部と を有する画像特徴抽出装置

( b ) 画像特徴抽出装置において検出される被写界の特徴に基づいて認識処理 を行い、 被写界の特徴に応じた入力信号を生成する認識処理部

を備える。

さらに好ましくは、 本発明のインターフエ一スシステムは、 上述した雑音除去 部を備える。

なお、 本発明の上述した目的およびその他の目的は、 次の詳細な説明と実施例 によって一層明晾になるであろう。 図面の簡単な説明

図 1は、 監視検査システム 1 0の構成を示すブロック図である。

図 2は、 固体撮像素子 1 3の内部構成を示す図である。

図 3は、 両端エッジの検出動作を説明する流れ図である。

図 4は、 両端ェッジの膨張化処理を説明する流れ図である。

図 5は、 両端エッジの収縮化処理を説明する流れ図である。

図 6は、 膨張処理および収縮処理による雑音除去効果を示す説明図である。 図 7は、 面積演算と異常判定処理を説明する流れ図である。

図 8は、 監視検査システム 3 0の構成を示す図である。

図 9は、 露光システム 4 0の構成を示す図である。

図 1 0は、 ィン夕一フェースシステム 5 0の構成を示す図である。 図 1 1は、 画像特徴抽出装置の従来例を示すブロック図である。 発明を実施するための最良の形態

《第 1の実施形態》

第 1の実施形態は、 請求項 1〜 1 0に記載の発明に対応する実施形態である。

[第 1の実施形態の全体構成]

図 1は、 第 1の実施形態における監視検査システム 1 0 (画像特徴抽出装置 1 1を含む） の構成を示すブロック図である。 なお、 本図では、 説明の都合上、 ソ フ トウエア処理などで実現されるマイクロプロセッサ 1 5の内部機能についても 機能ブロックとして図示している。

図 1において、 監視検査システム 1 0には、 撮影レンズ 1 2が装着される。 こ の撮影レンズ 1 2の像空間側には、 固体撮像素子 1 3の撮像面が配置される。 こ の固体撮像素子 1 3から出力される画像信号は、 録画装置 1 4に供給される。 ま た、 固体撮像素子 1 3から出力される微分画像信号は、 画像処理用のマイクロプ 口セッサ 1 5に供給される。

このマイクロプロセッサ 1 5は、 下記の機能ブロックを有して構成される。

①エッジ座標検出部 1 6 · ·微分画像信号から両端エッジを検出して、 両端エツ ジの座標情報をシステムメモリ 2 0に蓄積する。

②雑音除去部 1 7 · · システムメモリ 2 0に蓄積された両端エッジの座標情報か ら雑音成分を除去する。

③面積演算部 1 8 · · システムメモリ 2 0に蓄積された両端エッジから物体の画 面内面積を算出する。

④異常信号出力部 1 9 · ·物体の画面内面積が、 予め定められた許容の範囲内か 否かを判定し、許容の範囲を外れている場合に異常状態を通知する。この通知は、 録画装置 1 4および警報装置 2 1に伝達される。

[固体撮像素子 1 3の内部構成]

図 2は、 固体撮像素子 1 3の内部構成を示す図である。

図 2において、 固体撮像素子 1 3には、 単位画素 1が、 n行 m列でマトリック ス配列される。 これらの単位画素 1は、 光電変換を行うホトダイオード P Dと、 電荷転送用の MO Sスィツチ QTと、 電荷リセッ ト用の MOSスィツチ QPと、 行選択用の MO Sスィツチ QXと、 接合型電界効果トランジスタからなる増幅素 子 Q Aとから構成されている。

このような単位画素 1の出力は、 垂直列ごとに共通接続され、 m本分の垂直読 み出し線 2を形成する。

また、 固体撮像素子 13には、 垂直シフトレジス夕 3が設けられる。 この垂直 シフ トレジス夕 3は、 制御パルス ΡΧ 1 , 0RG 1を出力して MO Sスィッチ QT, QP, QXを開閉制御し、 単位画素 1の画素出力を垂直読み出 し線 2上に出力する。 また、 これらの垂直読み出し線 2には、 電流源 4がそれそ れ接続される。

さらに、 これらの垂直読み出し線 2は、 差分処理回路 5をそれそれ介して、 水 平読み出し線 7に接続される。 この水平読み出し線 7には、 リセッ ト用の M〇S スィッチ QR S Hが接続される。 これらの MO Sスィッチ QR S Hには、 水平シ フ トレジス夕 8などからリセッ 卜用の制御パルス S Hが供給される。

一方、 上述した差分処理回路 5は、 電荷保持用のコンデンサ CVと、 コンデン サの充電路を形成するための MO Sスィツチ Q Vと、 水平転送用の MO Sスィッ チ QHとから構成される。 これらの M〇 Sスィッチ QHには、 水平シフトレジス 夕 8のパラレル出力 1〜 Hmがそれそれ接続される。 また、 差分処理回路 5には、 電荷保持のタイミングを決定するための制御パルス が垂直シフ トレ ジス夕 3などから供給される。

さらに、 垂直読み出し線 2には、 異値検出回路 6がそれそれ接続される。 これ らの異値検出回路 6は、 垂直転送される新旧の画素出力を比較する回路であり、 例えば、 標本回路と、 その標本回路の出力に基づいて新旧の画素出力を比較する 比較回路とから構成される。 この異値検出回路 6には、 標本タイミングを決定す るための制御パルス ø S Aが垂直シフ トレジスタ 3などから供給される。

このような異値検出回路 6の各出力は、 シフ トレジス夕 9のパラレル入力 Q 1 〜Qmにそれぞれ接続される。 このシフ トレジス夕 9には、 パラレル入力の取り 込みタイミングを決定するための制御パルス ø LDと、 シリアル転送の転送クロ ヅク ø CKとが入力される。 これらのパルス は、 例えば水平シフ トレジス夕 8などから供給される。

[第 1の実施形態と請求項に記載する事項との対応関係]

以下、 第 1の実施形態と請求項との対応関係について説明する。 なお、 ここで の対応関係は、 参考のために一つの解釈を記載するものであり、 発明を限定する ものではない。

( a )請求項 1に記載の発明と第 1の実施形態との対応関係は、次の通りである。 -微分画像信号生成部→撮影レンズ 1 2および固体撮像素子 1 3

•ェッジ座標検出部 →ェッジ座標検出部 1 6

•ェッジ座標記憶部 システムメモリ 20

( b )請求項 2に記載の発明と第 1の実施形態との対応関係は、 次の通りである。 •雑音除去部" 雑音除去部 1 Ί

( c)請求項 3に記載の発明と第 1の実施形態との対応関係は、次の通りである。 -左端膨張処理部 雑音除去部 1 7の 『左端膨張処理 （図 4 S 2 2〜 2 6 ) を行 う機能』

·右端膨張処理部 雑音除去部 1 7の 『右端膨張処理 （図 4 S 2 2〜26 ) を行 う機能』

-左端収縮処理部 雑音除去部 1 7の 『左端収縮処理 （図 5 S 42〜47) を行 う機能』

•右端収縮処理部 雑音除去部 1 7の 『右端収縮処理 （図 5 S 42〜47) を行 う機能』

( d )請求項 4に記載の発明と第 1の実施形態との対応関係は、次の通りである。 -特徴演算部→面積演算部 1 8

(e)請求項 5に記載の発明と第 1の実施形態との対応関係は、次の通りである。 •異常信号出力部 異常信号出力部 1 9

(f )請求項 6に記載の発明と第 1の実施形態との対応関係は、次の通りである。 •光学系 撮影レンズ 1 2

-固体撮像素子 →固体撮像素子 1 3

-受光部 ホトダイオード PD

•画素出力転送部 垂直シフ トレジス夕 3、 垂直読み出し線 2、 水平読み出し線 7、 水平シフ トレジス夕 8および M〇 Sスィッチ Q T、 Q X、 Q A

•微分処理部 →異値検出回路 6およびシフ トレジス夕 9

( g )請求項 Ίに記載の発明と第 1の実施形態との対応関係は、次の通りである。 •微分画像信号を生成する工程→固体撮像素子 1 3の内部において微分画像信号 を生成する工程

•両端エッジを検出する工程 エッジ座標検出部 1 6において両端エッジを検出 する工程

•両端エッジに関する情報を保存する工程 エッジ座標検出部 1 6がシステムメ モリ 2 0に両端ェッジの座標情報を記録する工程

( h ) 請求項 8〜 1 0に記載の発明と第 1の実施形態との対応関係は、 次の通り である。

•画像特徴抽出装置→撮影レンズ 1 2、 固体撮像素子 1 3、 エッジ座標検出部 1 6、 雑音除去部 1 7、 面積演算部 1 8およびシステムメモリ 2 0

•監視部 異常判定部 1 9、 警報装置 2 1および録画装置 1 4

[固体撮像素子 1 3における撮像動作の説明]

まず、 監視検査システム 1 0全体の動作説明に先立って、 [51体撮像素子 1 3の 撮像動作について説明する。

撮影レンズ 1 2は、 被写界の光像を固体撮像素子 1 3の撮像而上に結像する。 垂直シフ トレジス夕 3は、 このとき電荷転送用の M O Sスィツチ Q Tをオフ状態 に設定してホトダイオード P Dをフローティング状態に維持する。 そのため、 ホ トダイオード P Dでは、 光像が画素単位に光電変換され、 受光量に対応した信号 電荷がホトダイォード P Dに逐次蓄積される。

このような信号電荷の蓄積動作に併行して、 垂直シフ トレジス夕 3は、 読み出 し行の M 0 Sスィッチ Q Xを選択的にオン状態にし、 読み出し行の増幅素子 Q A を垂直読み出し線 2に接続してバイアス電流 I Bを供給する。

このとき、 読み出し行の M O Sスィッチ Q T、 Q Ρはオフ状態にあるため、 増 幅素子 Q Aのゲート容量には、 前回読み出しを行った際の信号電荷が残留する。 そのため、 読み出し行の増幅素子 Q Αからは、 前コマの画素出力が垂直読み出し 線 2に出力される。 異値検出回路 6は、 この前コマの画素出力を取り込み、 保持 する。

次に、 垂直シフトレジスタ 3は、 読み出し行の M O Sスィッチ Q Pを一時的に オン状態にして、 ゲート容量の残留電荷を一旦リセッ 卜する。

この状態で、 読み出し行の増幅素子 Q Aから垂直読み出し線 2には、 喑信号が 出力される。 この喑信号は、 リセッ ト時の雑音 （いわゆる k T C雑音） や、 増幅 素子 Q Aにおけるゲートーソース間電圧のバラツキを含んだ信号である。

差分処理回路 5は、 M O Sスィッチ Q Vを一時的にオン状態にして、 この暗信 号をコンデンサ C Vに保持する。

続いて、 垂直シフ トレジス夕 3は、 読み出し行の M〇 Sスィッチ Q Tを一時的 にオン状態にして、 ホトダイオード P Dの信号電荷を増幅素子 Q Aのゲート容量 に転送する。 その結果、 垂直読み出し線 2には、 最新の画素出力が増幅素子 Q A から出力される。

異値検出回路 6は、 直前に保持した前コマの画素出力と、 この最新の画素出力 とが所定範囲内で一致するか否かの判定を行い、 その判定結果を出力する。 シフ トレジス夕 9は、 これらの判定結果をパラレル入力端子 Q 1〜Q mを介して行単 位に取り込む。

一方、 この最新の画素出力は、 暗信号を保持したコンデンサ C Vの一端側に印 加される。 その結果、 コンデンサ C Vの他端側には、 暗信号を除いた真の画素出 力が出力される。

この状態で、 シフ トレジス夕 9および水平シフ トレジス夕 8には、 同一の転送 クロック ø C Kが入力される。 すると、 シフ トレジスタ 9は、 微分画像信号を 1 行分だけシリアル出力する。 一方、 水平シフ トレジス夕 8は、 水平転送用の M O Sスィッチ Q Hを順番にオン状態に設定し、 1行分の画素出力を水平読み出し線 7へ順次出力する。

以上のような動作を、読み出し行を 1行ずつずらしながら繰り返すことにより、 通常の画像信号と、 時間的に微分された微分画像信号とが固体撮像素子 1 3から 順次出力される。

[両端ェッジ検出の動作説明]

次に、 エッジ座標検出部 1 6 (実際にはマイクロプロセッサ 1 5 ) による両端 エッジの検出動作について説明する。

図 3は、 両端エッジの検出動作を説明する流れ図である。 以下、 図 3のステツ プ番号に沿って説明する。

ステップ S 1 ： まず、 エッジ座標検出部 1 6は、 現在処理中の画素位置を示す 変数 i , jを 1に初期化する。 さらに、 エッジ座標検出部 1 6は、 要素数 （n + 1 ) 個の整数配列 L (X) 、 R (X) をシステムメモリ 20上に確保する。 エツ ジ座標検出部 1 6は、 この整数配列 L (x) 、 R (X) に対して、 下記のような 初期化を実行する。

L (X) 二 m， R (x) = 1 [ただし x二 l〜n] · · . ( 1 ) ステップ S 2 ： 次に、 ェッジ座標検出部 1 6は、 固体撮像素子 1 3の読み出し パルスに同期して、 i行 j列目の微分画像信号 D ( i , j ) を取り込む。 エッジ 座標検出部 1 6は、 この微分画像信号 D (i , j ) が 『 1』 ならば、 時問的に変 化した画素 （いわゆる動体エッジ） であると判断して、 ステップ S 3に動作を移 行する。 一方、 微分画像信号 D ( i , j ) が 『ゼロ』 ならば、 時問的に変化して いない画素であると判断して、 ステップ S 6に動作を移行する。

ステップ S 3 ： 微分画像信号 D ( i , j ) は、 i行目で最初に検出された動体 エッジか否かを判定する。 i行目で最初に検出された動体エッジの場合、 エッジ 座標検出部 1 6は、 左端エッジであると判断して、 ステップ S 4に動作を移行す る。 一方、 それ以外の場合、 エッジ座標検出部 1 6は、 ステップ S 5に動作を移 行する。

ステップ S 4 ： エツジ座標検出部 1 6は、 左端ェッジの判断に従って、 整数配 列 ( i ) に i行目の左端エッジの画素位置：)'を格納する。

ステップ S 5 ： エッジ座標検出部 1 6は、 整数配列 R ( i) に、 i行目の動体 エッジの画素位置 jをとりあえず格納する。

ステップ S 6 : エッジ座標検出部 1 6は、 j =mか否かを判定する。 ここで、 j≠mの場合、 エッジ座標検出部 1 6は、 i行目の処理がまだ完了していないと 判断して、 ステップ S 7に動作を移行する。 一方、 j =mの場合、 エッジ座標検 出部 1 6は、 i行目の処理が完了したと判断して、 ステップ S 8に動作を移行す る。 ステップ S 7 : ここでは、 i行目の処理がまだ完了していないので、 エッジ座 標検出部 16は、 jを 1だけ増加してステップ S 2に動作を戻す。

ステップ S 8 : エッジ座標検出部 16は、 i行目の処理を完了したとの判断に 従って、 i二 nか否かを判定する。 ここで、 i≠nの場合、 エッジ座標検出部 1 6は、 1画面分の処理がまだ完了していないと判断して、 ステップ S 9に動作を 移行する。 一方、 i = nの場合、 エッジ座標検出部 16は、 1画面分の処理が完 了したと判断して、 動作を終了する。 （なお、 動画像を処理している場合は、 ス テツプ S 1に戻って、 次コマの処理を開始する）

ステップ S 9 : ここでは、 1画面分の処理がまだ完了していないので、 エッジ 座標検出部 16は、 次行の処理に移るため、 iを 1だけ増加し、 かつ jを 1に戻 した後、 ステップ S 2に動作を戻す。

以上説明した一連の動作により、 整数配列 L (X) には、 X行目の左端エッジ が格納される。 また、 整数配列 R (X) には、 X行目の右端エッジが格納される。

[両端エッジの膨張化処理]

次に、 雑音除去部 17 (実際にはマイクロプロセッサ 15) による両端エッジ の膨張化処理について説明する。

図 4は、 両端エッジの膨張化処理を説明する流れ図である。 以下、 図 4のステ ップ番号に沿って説明する。

ステップ S 21 ： まず、 雑音除去部 17は、 下記のように変数を初期化する。 i= l

L b = m, L (n+ 1 ) 二 m · · · ( 2 )

Rb= 1 , R (η+ 1 ) = 1 · · · ( 3 )

ステップ S 22 ： 雑音除去部 17は、 処理対象である i行目を含んで近接する 複数行 （ここでは 3行） についてエッジが存在するか否かを、 変数 Rb、 R ( i)、 R (i + 1) の値に基づいて判定する。 ここで、 複数行の中にエッジが存在しな かった場合、 雑音除去部 17は、 動作をステップ S 23に移行する。 一方、 複数 行の中にエッジが存在した場合、 雑音除去部 17は、 動作をステップ S 24に移 行する。

ステップ S 23 : 雑音除去部 17は、 i行目を含む複数行にエッジが存在しな いので、 i行目についてエッジの膨張化処理を行わない。 そこで、 次行の処理に 備えて、 変数 Lb， Rbを下記のように更新するのみで、 ステップ S 27に動作 を移行する。

Lb = L ( i) , Rb = R ( i) · · · (4)

ステップ S 24 : 雑音除去部 1 7は、 i行目を含む複数行にエッジが存在する ので、 下式を実行して i行目について両端エッジを膨張化させる。

Lx-mi n [Lb, L ( i) , L ( i + l ) ] - l · · · ( 5)

Rx=max [Rb, R ( i ) , R ( i + 1 ) ] + 1 · · · ( 6)

この （ 5 ) 式では、 複数行中の左端エッジから最左端を求め、 その ¾左端より もさらに 1画素分だけ左側の位置を、 Lxとしている。 また、 （ 6) 式では、 複 数行中の右端エッジから最右端を求め、 その最右端よりもさらに 1画素分だけ右 側の位置を、 Rxとしている。

ステップ S 2 5 ： 雑音除去部 1 7は、 ステップ S 2 3と同様に、 次行の処理に 備えて変数 L b， Rbを下記のように更新する。

Lb = L ( i ) , Rb = R ( i) · · · (4)

ステップ S 2 6 ： 雑音除去部 1 7は、 上記の （ 5 ) ( 6) 式で 出した Lx， Rxを、 i行目の両端エッジとして L ( i ) ， R ( i ) に代入する。

ステップ S 2 7 : 雑音除去部 1 7は、 i =nか否かを判定する。 ここで、 i≠ nの場合、雑音除去部 1 7は、 1画面分の処理がまだ完了していないと判断して、 ステップ S 2 8に動作を移行する。 一方、 i =nの場合、 雑音除去部 1 7は、 1 画面分の処理が完了したと判断して、 1回分の膨張化処理を終了する。

ステップ S 2 8 ： ここでは、 1画面分の処理がまだ完了していないので、 雑音 除去部 1 7は、 次行の処理に移るため、 iを 1だけ増加した後、 ステップ S 2 2 に動作を戻す。

以上説明した一連の動作により、 整数配列 L (X ) ， R (X) に格納された両 端エッジを上下斜め方向に 1画素分だけ膨張化する処理が実行される。

[両端エッジの収縮化処理]

次に、 雑音除去部 1 7 (実際にはマイクロプロセッサ 1 5 ) による両端エッジ の収縮化処理について説明する。 図 5は、 両端エッジの収縮化処理を説明する流れ図である。 以下、 図 5のステ ップ番号に沿って説明する。

ステップ S 41 ： まず、 雑音除去部 17は、 下記のように変数を初期化する。 L b= 1 , L (n+ 1 ) = 1 · · · (7)

Rb二 m, R (n+ 1 ) =m · · · (8)

ステップ S 42 ： 雑音除去部 17は、 処理対象である i行目を含んで近接する 複数行 （ここでは 3行） についてエッジ欠損があるか否かを、 変数 Rb、 R (i)、 R (i + 1) の値に基づいて判定する。 ここで、 複数行の中にエッジ欠損があつ た場合、 雑音除去部 17は、 動作をステップ S 43に移行する。 一方、 複数行の 中にエッジ欠損がない場合、 雑音除去部 17は、 動作をステップ S 45に移行す る。

ステップ S 43 ： 雑音除去部 17は、 次行の処理に備えて、 変数 Lb， Rbを 下記のように更新する。

L b = L ( i) ， Rb = ( i) · · · (9)

ステップ S44 : 雑音除去部 17は、 i行目を含む複数行にエッジ欠損があつ たので、 下式を実行して i行目のエッジを削除し、 ステップ S 48に動作を移行 する。

L (i) =m， ( i ) = 1 · · · (10)

ステップ S45 : 雑音除去部 17は、 i行目を含む複数行にエッジ欠損がない ので、 下式を実行して i行目について両端エッジを収縮化させる。

Lx = max [Lb, L (i) ， L ( i + 1 ) ] + 1 - · - (1 1)

Rx = min [Rb, R (i) , R (i + 1) ] - 1 · . · (12)

この （1 1) 式では、 複数行中の左端エッジから最右端を求め、 その最右端よ りもさらに 1画素分だけ右側の位置を、 Lxとしている。 また、 （ 12)式では、 複数行中の右端エッジから最左端を求め、 その最左端よりもさらに 1画素分だけ 左側の位置を、 ： xとしている。

ステップ S 46 ： 雑音除去部 17は、 ステップ S 43と同様に、 次行の処理に 備えて変数 Lb, Rbを下記のように更新する。 Lb = L ( i) , Rb = ( i) · · · (9)

ステップ S47 ： 雑音除去部 17は、 上記の （1 1) (12) 式で算出した L x， Rxを、 i行目の両端エッジとして L ( i ) , R ( i) に代入する。

ステップ S48 : 雑音除去部 17は、 i = nか否かを判定する。 ここで、 i≠ nの場合、雑音除去部 17は、 1画面分の処理がまだ完了していないと判断して、 ステップ S 49に動作を移行する。 一方、 i = nの場合、 雑音除去部 17は、 1 画面分の処理が完了したと判断して、 1回分の収縮化処理を終了する。

ステップ S49 : ここでは、 1画面分の処理がまだ完了していないので、 雑音 除去部 17は、 次行の処理に移るため、 iを 1だけ増加した後、 ステップ S 42 に動作を戻す。

以上説明した一連の動作により、 整数配列 L (X) ， R (X) に格納された両 端エッジを上下斜め方向に 1画素分だけ収縮化する処理が実行される。

[膨張処理および収縮処理による雑音除去効果について]

上述した膨張処理および収縮処理による雑音除去効果について具体的に説明す る。 図 6は、 膨張処理および収縮処理による雑音除去効果を示す図である。

図 6 (a) に示すように、 微分画像信号には、 雑音成分として点雑音 Pや、 か すれ雑音 Qがわずかながらに混入する。

図 6 (b) に示すように、 両端エッジ検出に際して、 これらの雑音成分は、 誤 認エッジ Peや、 分断エッジ Qeを生じる。 そのため、 物体の外縁形状は部分的 に変形し、 物体の形状認識や面積算出などに支障を生じる。

図 6 (c) は、 このように雑音成分の混入した両端エッジに対して、 上述した 膨張処理を 1〜数回かけた状態を示す図である。 両端エッジが上下斜め方向に数 画素分だけ膨張することにより、 図 6 (b) に見られた分断エッジ Q e力 周辺 から埋められる。 その結果、 分断エッジ Q eによる外縁形状の変形が、 確実に除 去される。

図 6 (d) は、 膨張処理を施した両端エッジに対して、 上述した収縮処理を 1 〜数回かけた状態を示す図である。 この場合、 両端エッジが上下斜め方向に数画 素分だけ収縮することにより、 図 6 (c) に残存していた誤認エッジ P eが、 削 られる。 その結果、 誤認エッジ P eによる外縁形状の変形が、 確実に除去される。 なお、 このような膨張処理および収縮処理については、 その繰り返し回数、 実 行順、 および 1回当たりの膨張幅 （収縮幅） を、 画像の解像度や雑音状況に応じ て決定することが好ましい。 ちなみに、 かすれ雑音が比較的多くて、 物体エッジ が細かく分断されているような雑音状況では、 物体エッジを復元するために、 膨 張処理を先に実行することが好ましい。また、点雑音が比較的多い雑音状況では、 点雑音の集合を物体と誤認しないように、 収縮処理を先に実行することが好まし い。

[面積演算および異常判定処理]

次に、 面積演算部 1 8および異常信号出力部 1 9 (実際には両方ともマイクロ プロセッサ 1 5 ) による、 面積演算および異常判定処理について説明する。

図 7は、 面積演算および異常判定処理を説明する流れ図である。 以下、 図 7の ステップ番号に沿って説明する。

ステップ S 6 1 ： まず、 面積演算部 1 8は、 下記のように変数を初期化する。 i = 1

S = 0

ステップ S 6 2 : 面積演算部 1 8は、 下式に従って、 i行目の両端エッジの間 隔を面積 Sに累積する。

S = S +max [0 , R ( i ) -L ( i ) + 1 ] · · · ( 1 3 )

ステップ S 6 3 : 面積演算部 1 8は、 i = nか否かを判定する。 ここで、 i≠ nの場合、面積演算部 1 8は、 1画面分の処理がまだ完了していないと判断して、 ステップ S 6 4に動作を移行する。 一方、 i = nの場合、 面積演算部 1 8は、 1 画面分の処理が完了したと判断して、 ステップ S 6 5に動作を移行する。

ステップ S 6 4 : ここでは、 1画面分の処理がまだ完了していないので、 面積 演算部 1 8は、 次行の処理に移るため、 iを 1だけ増加した後、 ステップ S 6 2 に動作を戻す。

ステップ S 6 5 ： 上記の処理 S 6 1〜 6 4によって、 両端エッジに囲まれた物 体の画面内面積 S (ここでは物体が占める画素数に相当する） が算出される。 異 常信号出力部 1 9は、 この画面内面積 Sと、 人間と小動物等との区別をするため に予め定めた許容値 S eとを大小比較する。 例えば、 20万画素の固体撮像素子 13を用い、 かつ被写界を 3mx 3mの範 囲に設定した場合、 1画素に相当する面積は 45 mm²になる。 ここで、 人体の 大きさを 170 cmx 50 c m仮定し、 小動物としてネズミの大きさを 20 cm x l 0 cmと仮定すると、 人体の大きさは、 おおよそ 1万 9千画素に相当し、 ネ ズミの大きさは 400画素に相当する。 このような場合、 許容値 S eを 4000 画素程度に設定することにより、 人間と小動物とを区別することが可能となる。 ここで、 画面内面積 Sが許容値 S e以下の場合、 異常信号出力部 1 9は、 画面 内にはネズミなどの小動物が存在するのみと判断して、 異常通知を実行しない。 一方、 画面内面積 Sが許容値 S eを上回っている場合、 異常信号出力部 1 9は、 画面内に人間などの比較的大きな動体がいると判断し、 ステップ S 66に動作を 移行する。

ステップ S 6 6 ： 異常信号出力部 1 9は、 外部に異常通知を実行する。 この異 常通知に呼応して、 録画装置 14は、 画像信号の録画を開始する。 警報装置 2 1 は、 通信回線などを介して遠方の監視センタ一に緊急警報を送信する。

[第 1の実施形態の効果など]

以上説明した動作により、 第 1の実施形態では、 両端エッジの情報処理により 人間以上の大きさの動体を的確に識別し、 正確な異常通知を実行することが可能 となる。

特に、 第 1の実施形態では、 両端エッジの処理を中心とするため、 システムメ モリ 20上に、 たかだか要素数 （n+ 1 ) 個程度の整数配列 L (x) ， R (x) を確保すればよい。 そのため、 画像特徴抽出装置 1 1に必要なメモリ容量は、 画 素単位のフレームメモリを必要とする従来例に比べて極端に少なくなる。

さらに、 第 1の実施形態では、 両端エッジの処理を中心とするため、 雑音除去 や面積演算についても、 たかだか行単位の速度で実行すればよい。 そのため、 画 素単位の処理が中心の従来例と比較して、 処理速度に格段な余裕が生じる。 した がって、 第 1の実施形態により、 動画像をリアルタイムに監視して異常通知を行 う画像特徴抽出装置を容易に実現することができる。

次に、 別の実施形態について説明する。

《第 2の実施形態》 第 2の実施形態は、 請求項 8〜 1 0に対応した監視検査システムの実施形態で ある。

図 8は、 工場のラインなどで使用される、 パターン検査用途の監視検査システ ム 3 0を示す図である。

なお、 請求項 8〜 1 0に記載の構成要素と、 図 8に示す各構成との対応関係に ついては、 画像特徴抽出装置は画像特徴抽出装置 3 1に対応し、 監視部は比較処 理部 3 3および参照情報記憶部 3 4に対応する。 なお、 画像特徴抽出装置 3 1の 内部構成は、 第 1の実施形態の画像特徴抽出装置 1 1と同様であるため、 ここで の説明を省略する。

図 8において、 画像特徴抽出装置 3 1の被写界には、 検査対象 3 2が配置され る。 まず、 画像特徴抽出装置 3 1は、 この検査対象の微分画像信号から両端エツ ジを検出する。 画像特徴抽出装置 3 1は、 この両端エッジの座標情報に対して膨 張収縮による雑音除去を施す。 このように雑音除去されたエッジの座標情報は、 比較処理部 3 3に与えられる。この比較処理部 3 3は、 このエッジの座標情報と、 参照情報記憶部 3 4に記録された情報 （例えば、 良品のエッジの座標情報） とを 比較して、 部品欠損や傷や半田不良があるか否かなどの良否判定を行う。

以上のような動作では、 ェッジの座標情報という少ない情報量について良否判 定が行われる。 したがって、 良否判定の情報処理量が全体的に少なく、 良品検杏 を高速化できるという利点がある。 その結果、 作業速度の高速化が要求されるェ 場ラインゃ半導体製造ラインなどに特に適した監視検査システムとなる。

《第 3の実施形態》

第 3の実施形態は、 請求項 1 1〜 1 3に対応した半導体露光システムの実施形 態である。

図 9は、 半導体製造に使用される、 半導体露光システム 4 0を示す図である。 なお、 請求項 1 1 ~ 1 3に記載の構成要素と、 図 9に示す各構成との対応関係 については、 画像特徴抽出装置は画像特徴抽出装置 4 4 a ~ cに対応し、 ァライ メント検出部はァライメント検出部 4 5に対応し、 位置制御部は位置制御部 4 6 に対応し、 露光部は露光部 4 3に対応する。 なお、 画像特徴抽出装置 4 4 a〜c の内部については、空間的な微分画像信号から両端エツジを検出する点を除いて、 第 1の実施形態の画像特徴抽出装置 1 1と同様である。 そのため、 ここでは、 画 像特徴抽出装置 4 4 a〜cに関する説明を省略する。

図 9において、 ステージ 4 1の上には、 ウェハ状の半導体 4 2が配置される。 この半導体 4 2の上方には、 露光部 4 3の露光光学系が配置される。 この露光光 学系を介して半導体 4 2上のァライメントマークを撮像するように、 画像特徴抽 出装置 4 4 a〜bが配置される。 また、 半導体 4 2上のァライメントマークを直 接的に撮像するように、 画像特徴抽出装置 4 4 cが配置される。

これらの画像特徴抽出装置 4 4 a〜cは、 ァライメントマークの空間的な微分 画像信号から両端エッジを検出する。 画像特徴抽出装置 4 4 a〜cは、 この両端 エッジの座標情報に対して膨張収縮による雑音除去を施す。 このように雑音除去 されたエッジの座標情報は、 ァライメント検出部 4 5に与えられる。 このァライ メント検出部 4 5は、 エッジの座標情報からァライメントマークの位置検出を行 う。 位置制御部 4 6は、 このァライメントマークの位置情報に基づいてステージ 4 1を位置制御し、 半導体 4 2の位置决めを行う。 このようにして位 決めされ た半導体 4 2に対して、 露光部 4 3は所定の半導体回路パターンを投影する。 以上のような動作では、 ェッジの座標情報という少ない情報量に基づいてァラ ィメントマークの位置検出が行われる。 したがって、 位置検出の情報処理 i が全 体的に少なく、 高速に位置検出を行えるという利点がある。 その結采、 作業速度 の高速化が要求される半導体製造ラインに特に好適な半導体露光システムとなる 《第 4の実施形態》

第 4の実施形態は、 請求項 1 4 ~ 1 6に対応したィン夕ーフェースシステムの 実施形態である。

図 1 0は、 コンビュ一夕 5 3に人間の姿勢情報を入力するインターフェース 5 0を示す図である。

なお、 請求項 1 4〜 1 6に記載の構成要素と、 図 1 0に示す各構成との対応関 係については、 画像特徴抽出装置は画像特徴抽出装置 5 1に対応し、 認識処理部 は認識処理部 5 2に対応する。 なお、 画像特徴抽出装置 5 1の内部構成について は、 第 1の実施形態の画像特徴抽出装置 1 1と同様であるため、 ここでの説明を 省略する。 図 1 0において、 ステージ上の人間を撮像する位置に、 画像特徴抽出装置 5 1 が配置される。 まず、 画像特徴抽出装置 3 1は、 人間の微分画像信号から両端ェ ッジを検出する。 画像特徴抽出装置 3 1は、 この両端エッジの座標情報に対して 膨張収縮による雑音除去を施す。このように雑音除去されたエッジの座標情報は、 認識処理部 5 2に与えられる。 この認識処理部 5 2は、 エッジの座標情報につい て認識処理を行い、 人間の姿勢をパターン分類する。 認識処理部 5 2は、 このよ うにパターン分類した結果を、人間の姿勢情報としてコンピュータ 5 3に与える。 コンピュータ 5 3は、この人間の姿勢情報を反映してゲーム画像などを生成し、 モニタ画面 5 4上に表示する。

以上のような動作では、 エツジの座標情報という少ない情報量に基づいて人間 の姿勢情報が認識される。 したがって、 特徴抽出および画像認識の情報処理量が 全体的に少なく、 高速に画像認識を行えるという利点がある。 その結果、 高速処 理の要求されるゲームマシンなどに特に好適なィンターフヱースシステムとなる なお、 本実施形態では、 人間の姿勢入力について説明したが、 これに限定され るものではない。 本実施形態のインターフェースシステムは、 手のジェスチャー 入力 （手話入力） などにも適用できる。

《実施形態の補足事項》

なお、 上述した実施形態では、 固体撮像素子 1 3において微分画像信号を時間 微分に基づいて生成している。 このような動作は、 背景などの静止画像と区別し て、 動体を監視できる点で、 非常に優れた動作である。 しかしながら、 この動作 に限定されるものではない。 例えば、 微分画像信号を隣接画素間の差分 （空間微 分） から生成してもかまわない。 このような空間微分による微分画像信号を生成 可能な固体撮像素子としては、 特開平 1 1— 2 2 5 2 8 9号公報に記載のエッジ 検出用固体撮像装置や、 特開平 6— 1 3 9 3 6 1号公報に記載の装置や、 特開平 8 - 2 7 5 0 5 9号公報に記載の受光素子回路アレイなどが使用可能である。 なお、 上述した実施形態では、 両端エッジの情報から物体の画面内面積を求め て、 この画面内面積に基づいて異常通知を行っている。 このような動作は、 物体 の大きさを識別する上で、 優れた動作である。 しかしながら、 この動作に限定さ れるものではない。 例えば、 マイクロプロセッサ 1 5が、 両端エッジの情報に基づいて、 物体の中 心位置を求めてもよい。 この場合、 マイクロプロセッサ 1 5において、 物体の中 心位置が画面内の侵入禁止域内にあるか否かなどが判定可能となる。したがって、 画面内の侵入禁止域に入った侵入者に対して、 的確に警報を発するなどの動作が 実現可能となる。

また例えば、 マイクロプロセッサ 1 5が、 両端エッジから物体の寸法を求めて もよい。 この場合、 マイクロプロセッサ 1 5において、 画面内を通過した大人と 子供とを区別して数えるなどの動作が可能となる。

なお、 上述した実施形態では、 半導体製造用の露光システムについて説叨して いるが、 本発明はこれに限定されるものではない。 例えば、 液晶デバイスまたは 磁気ヘッ ドなどの製造に使用される露光システムに本発明を適用しても良い。 なお、 本発明は、 その精神または主要な特徴から逸脱することなく、 他のいろ いろな形で実施することができる。 そのため、 上述の実施形態はあらゆる点で単 なる例示に過ぎず、 限定的に解釈してはならない。 本発明の範囲は、 特許詰求の 範囲によって示すものであって、 明細書本文には、 何ら拘束されない。 さらに、 特許請求の範囲の均等範囲に属する変形や変更は、 すべて本発明の範囲内のもの である。 産業上の利用可能性

請求項 1または請求項 7に記載の発明では、 微分画像信号から両端ェッジを検 出する処理が中心となる。 この場合、 1行当たりたかだか 2点の両端エッジを処 理すればよく、 画素単位の処理に比べて情報処理量が格段に少なくなる。 したが つて、 高速かつ簡易な画像処理が実現し、 メモリ必要量や処理時間が大幅に削減 される。 その結果、 動画像のリアルタイム監視などに特に好適な画像特徴抽出装 置が実現する。

請求項 2に記載の発明では、両端エッジを対象に雑音除去を行う。 したがって、 従来例のような画素単位の複雑処理が不要となり、 メモリ必要量や処理時間をさ らに削減することが可能となる。

請求項 3に記載の発明では、 両端エッジを対象に膨張および収縮を施すことに より、 雑音除去を行う。 したがって、 従来例のような画素単位の膨張収縮処理が 不要となり、 メモリ必要量や処理時間をさらに削減することが可能となる。

請求項 4に記載の発明では、 求めた両端エッジの情報を基礎にして、 物体の画 面内面積、 物体の中心位置、 または物体の寸法の少なくとも一つを算出する。 こ れらの算出値は、 いずれも物体の特徴を示す有効な情報であり、 このような算出 値に基づいて、 被写界内の物体の変化などを客観的かつ的確に判別することが可 能となる。 なお、 請求項 4の構成を請求項 2または請求項 3の構成と併せること が好ましい。 この場合には、 エッジのかすれや点雑音を低減できるので、 雑音に よって算出値が求められないなどの不具合が確実に減り、 正確な算出値を安定し て求めることが可能になる。

請求項 5に記載の発明では、 特徴演算部の算出値に基づいて異常状態を的確に 判別して通知することができる。

請求項 6に記載の微分画像信号生成部では、 微分画像信号の生成時に、 外部の 画像メモリが一切不要となる。 したがって、 請求項 6の微分画像信号生成部を、 上記した請求項 1〜5、 8〜 1 6のいずれか 1項の発明構成に併せることにより、 1画面分の画像メモリなどが一切不要となり、 極めて少容量のメモリ容量しか使 用しない画像特徴抽出装置を実現することが可能となる。

請求項 8〜 1 6に記載の各システムでは、 エッジの座標情報を処理するので情 報処理量が全体的に少なく、 処理を高速化することができる。

Claims

請 求 の 範 囲

1 . 被写界を撮像して微分画像信号を生成する微分画像信号生成部と、 前記微分画像信号生成部から出力される前記微分画像信号を行毎に処理し、 前 記被写界内の左端エッジおよび右端エッジを検出するエッジ座標検出部と、 前記エッジ座標検出部で行毎に検出された、 前記左端エッジおよび前記右端ェ ッジの情報を、 前記被写界内の物体の特徴として保存するエツジ座標記憶部と を備えたことを特徴とする画像特徴抽出装置。

2 . 請求項 1に記載の画像特徴抽出装置において、

前記エッジ座標検出部で検出された、 前記左端エッジおよび前記右端エッジに 対して雑音成分の除去を行う雑音除去部を備えた

ことを特徴とする画像特徴抽出装置。

3 . 請求項 2に記載の画像特徴抽出装置において、

前記雑音除去部は、

処理行 （雑音除去の対象行） を含んで近接する複数行に前記左端エッジが存在 する場合、 前記複数行について前記左端エッジの最左端を求め、 前記最左端の更 に左側位置を前記処理行の左端エッジとする左端膨張処理部と、

前記複数行に前記右端エッジが存在する場合、 前記複数行について前記右端ェ ッジの最右端を求め、 前記最右端の更に右側位置を、 前記処理行の右端エッジと する右端膨張処理部と、

前記複数行に前記左端ェッジの欠損がある場合は、 前記処理行の前記左端ェッ ジを消去し、 それ以外の場合は、 前記複数行について前記左端エッジの最右端を 求め、 前記最右端の更に右側位置を前記処理行の左端ェッジとする左端収縮処理 部と、

前記複数行に前記右端ェッジの欠損がある場合は、 前記処理行の前記右端ェッ ジを消去し、 それ以外の場合は、 前記複数行について前記右端エッジの最左端を 求め、 前記最左端の更に左側位置を前記処理行の右端エッジとする右端収縮処理 部とを含み、

前記雑音除去部は、 これらの処理部によって両端ェッジに膨張および収縮を施 25

して、 雑音除去を行う

ことを特徴とする画像特徴抽出装置。

4 . 請求項 1に記載の画像特徴抽出装置において、

前記ェッジ座標記憶部に行毎に保存された前記物体の前記右端ェッジと前記左 端エッジとに基づいて、 前記物体の画面内面積、 前記物体の中心位置、 および前 記物体の寸法の少なくとも一つを算出する特徴演算部を備えた

ことを特徴とする画像特徴抽出装置。

5 . 請求項 4に記載の画像特徴抽出装置において、

前記特徴演算部の算出値が、予め設定された許容の範囲にあるか否かを監視し、 前記許容の範囲から外れた場合に異常状態を通知する異常信号出力部を備えた ことを特徴とする画像特徴抽出装置。

6 . 請求項 1に記載の画像特徴抽出装置において、

前記微分画像信号生成部は、 被写界を結像する光学系と、 被写界像を撮像する 固体撮像素子とから構成され、

前記固体撮像素子は、

受光面上にマトリックス配列され、 入射光に応じた画素出力を生成する複数の 受光部と、

前記複数の受光部から画素出力を顺次に転送する画素出力転送部と、 前記画素出力転送部を転送中の画素出力について時問的または空 ίίΰ的な差異を 求めて微分画像信号を生成する微分処理部とを有して構成される

ことを特徴とする画像特徴抽出装置。

7 . 被写界を撮像して、 前記被写界内の物体エッジを示す微分画像信号を生成 し、

前記微分画像信号を行毎に処理して、 物体の左端ェッジぉよび右端ェッジを検 出し、

前記左端ェッジおよび前記右端ェッジの情報を、 物体の特徴量として保存する ことを特徴とする画像特徴抽出方法。

8 . 被写界を監視して正常/異常を判定する監視検査システムであって、 ( a ) 前記被写界を撮像して微分画像信号を生成する微分画像信号生成部と、 前記微分画像信号生成部から出力される前記微分画像信号を行毎に処理 し、 前記被写界内の左端ェッジおよび右端ェッジを検出するェッジ座標検 出部と、

前記ェッジ座標検出部で行毎に検出された、 前記左端ェッジおよび前記 右端エッジの情報を、 前記被写界内の物体の特徴として保存するエッジ座 標記憶部と

を有する画像特徴抽出装置

( b ) 前記画像特徴抽出装置において抽出される前記被写界の前記特徴に基づ いて、 前記被写界の正常/異常を判定する監視部

を備えたことを特徴とする監視検査システム。

9 . 請求項 8に記載の監視検査システムにおいて、

前記ェッジ座標検出部で検出された、 前記左端ェッジおよび前記右端ェッジに 対して雑音成分の除去を行う雑音除去部を備えた

ことを特徴とする監視検査システム。

1 0 . 請求項 9に記載の監視検査システムにおいて、

前記雑音除去部は、

処理行 （雑音除去の対象行） を含んで近接する複数行に前記左端エッジが存在 する場合、 前記複数行について前記左端エッジの最左端を求め、 前記最左端の更 に左側位置を前記処理行の左端エッジとする左端膨張処理部と、

前記複数行に前記右端エッジが存在する場合、 前記複数行について前記右端ェ ッジの最右端を求め、 前記最右端の更に右側位置を、 前記処理行の右端エッジと する右端膨張処理部と、

前記複数行に前記左端ェッジの欠損がある場合は、 前記処理行の前記左端ェッ ジを消去し、 それ以外の場合は、 前記複数行について前記左端エッジの最右端を 求め、 前記最右端の更に右側位置を前記処理行の左端エッジとする左端収縮処理 部と、

前記複数行に前記右端ェッジの欠損がある場合は、 前記処理行の前記右端ェッ ジを消去し、 それ以外の場合は、 前記複数行について前記右端エッジの最左端を 求め、 前記最左端の更に左側位置を前記処理行の右端エッジとする右端収縮処理 部とを含み、

前記雑音除去部は、 これらの処理部によって両端エッジに膨張および収縮を施 して、 雑音除去を行う

ことを特徴とする監視検査システム。

1 1 . 露光対象に露光パターンを投影する露光システムであって、

( a ) 被写界を撮像して微分画像信号を生成する微分画像信号生成部と、

前記微分画像信号生成部から出力される前記微分画像信号を行毎に処理 し、 前記被写界内の左端ェッジおよび右端ェッジを検出するェッジ座標検 出部と、

前記エッジ座標検出部で行毎に検出された、 前記左端エッジおよび前記 右端エッジの情報を、 前記被写界内の物体の特徴として保存するエッジ座 標記憶部と

を有する画像特徴抽出装置

( b ) 前記画像特徴抽出装置を用いて前記露光対象のァライメントマークを撮 像し、 抽出される前記被写界の前記特徴に基づいて、 前記露光対象の前記 ァライメントマ一クの位置検出を行うァラィメント検出部

( c ) 前記ァライメン卜検出部により位置検出された前記ァライメン卜マーク に応じて前記露光対象の位置決めを行う位置制御部

( d ) 前記位置制御部により位置決めされた前記露光対象に対して前記露光パ ターンを投影する露光部

を備えたことを特徴とする露光システム。

1 2 . 請求項 1 1に記載の露光システムにおいて、

前記ェッジ座標検出部で検出された、 前記左端ェッジおよび前記右端ェッジに 対して雑音成分の除去を行う雑音除去部を備えた

ことを特徴とする露光システム。

1 3 . 請求項 1 2に記載の露光システムにおいて、

前記雑音除去部は、

処理行 （雑音除去の対象行） を含んで近接する複数行に前記左端エッジが存在 する場合、 前記複数行について前記左端エッジの最左端を求め、 前記最左端の更 に左側位置を前記処理行の左端ェッジとする左端膨張処理部と、

前記複数行に前記右端エッジが存在する場合、 前記複数行について前記右端ェ ッジの最右端を求め、 前記最右端の更に右側位置を、 前記処理行の右端エッジと する右端膨張処理部と、

前記複数行に前記左端エッジの欠損がある場合は、 前記処理行の前記左端エツ ジを消去し、 それ以外の場合は、 前記複数行について前記左端エッジの最右端を 求め、 前記最右端の更に右側位置を前記処理行の左端エッジとする左端収縮処理 部と、

前記複数行に前記右端ェッジの欠損がある場合は、 前記処理行の前記右端ェッ ジを消去し、 それ以外の場合は、 前記複数行について前記右端エッジの最左端を 求め、 前記最左端の更に左側位置を前記処理行の右端ェッジとする右端収縮処理 部とを含み、

前記雑音除去部は、 これらの処理部によって両端ェッジに膨張および収縮を施 して、 雑音除去を行う

ことを特徴とする露光システム。

1 4 . 人間の姿勢や動きなどの被写界から得られる情報に基づいて、 入力信号 を生成するィン夕ーフェースシステムであって、

( a ) 前記被写界を撮像して微分画像信号を生成する微分画像信号生成部と、 前記微分画像信号生成部から出力される前記微分画像信号を行毎に処理 し、 前記被写界内の左端エッジおよび右端エッジを検出するエッジ座標検 出部と、

前記ェッジ座標検出部で行毎に検出された、 前記左端ェッジおよび前記 右端エッジの情報を、 前記被写界内の物体の特徴として保存するエッジ座 標記憶部と

を有する画像特徴抽出装置

( b ) 前記画像特徴抽出装置において検出される前記被写界の前記特徴に基づ いて認識処理を行い、 前記被写界の特徴に応じた入力信号を生成する認識 処理部

を備えたことを特徴とするインターフヱ一スシステム。

1 5 . 請求項 1 4に記載のインターフェースシステムにおいて、 前記ェッジ座標検出部で検出された、 前記左端ェッジおよび前記右端ェッジに 対して雑音成分の除去を行う雑音除去部を備えた

ことを特徴とするィンターフェースシステム。

1 6 . 請求項 1 5に記載のインターフェースシステムにおいて、

前記雑音除去部は、

処理行 （雑音除去の対象行） を含んで近接する複数行に前記左端エッジが存在 する場合、 前記複数行について前記左端エッジの最左端を求め、 前記最左端の更 に左側位置を前記処理行の左端ェッジとする左端膨張処理部と、

前記複数行に前記右端エッジが存在する場合、 前記複数行について前記右端ェ ッジの最右端を求め、 前記最右端の更に右側位置を、 前記処理行の右端エッジと する右端膨張処理部と、

前記複数行に前記左端エッジの欠損がある場合は、 前記処理行の前記左端エツ ジを消去し、 それ以外の場合は、 前記複数行について前記左端エッジの最右端を 求め、 前記最右端の更に右側位置を前記処理行の左端エッジとする左端収縮処理 部と、

前記複数行に前記右端ェッジの欠損がある場合は、 前記処理行の前記右端ェッ ジを消去し、 それ以外の場合は、 前記複数行について前記右端エッジの最左端を 求め、 前記最左端の更に左側位置を前記処理行の右端エッジとする右端収縮処理 部とを含み、

前記雑音除去部は、 これらの処理部によって両端ェッジに膨張および収縮を施 して、 雑音除去を行う

ことを特徴とするィン夕一フェースシステム。