JP4936074B2

JP4936074B2 - 特徴抽出方法

Info

Publication number: JP4936074B2
Application number: JP2008075180A
Authority: JP
Inventors: 利壽小坂; 利典田中; 淳栗林; 繁大松
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2008-03-24
Filing date: 2008-03-24
Publication date: 2012-05-23
Anticipated expiration: 2022-04-15
Also published as: JP2008181556A

Description

本発明は検査すべき試料、とりわけ紙面に文字及び絵柄模様等が印刷された紙葉類の紙面を光学的に特性分析して特徴を抽出分類する方法に関する。

紙幣、有価証券、切手等、紙葉を媒体として交換価値を体現させたものにあっては、その真贋鑑別が常に大きな問題となり、真贋を鑑別するにあたっては、その紙葉類の特徴が何であるかを適正に把握しておく必要がある。

近年ではカラーコピー機、カラープリンタ、スキャナ等の性能向上と価格低下が進み、紙葉類の偽造を誘発しやすくなっている。そのため、市販のカラーコピー用トナーやプリンタインクには含まれない物質、例えば蛍光物質その他の機能性材料を用いて、通常の照明条件下では、且つ肉眼では見えないマーキングを施すといったことも行われる。これらのマーキングは当然に紙葉類の特徴を構成する。

特許文献１に記載された紙葉類真偽識別装置では、被識別紙の特定部位に紫外線を照射し、この紫外線照射部位からの透過光または反射光を波長選択フィルタにかけて特定の波長帯域の光のみフォトセンサアレイに受光させ、フォトセンサアレイの光出力信号に基づき被識別紙の紙質の真偽を識別し、また、紫外線照射によって蛍光を発生する蛍光体の真偽を識別し、両識別結果がいずれも真のとき、被識別紙を真としている。

上記紙葉類真偽識別装置はフォトセンサの光出力信号により紙葉類に使われている紙が本物であるかどうかを識別する。ただしこの装置はすでに認知されている光学特性を確認するものであり、その紙の上の印刷図形までチェックするものではないため、紙葉類の真贋鑑別手法として万全であるとは言い難い。

特許文献２に記載された書類検査装置では、波長の異なった少なくとも２つの光部分を書類の共通区域上に向け、反射光または透過光を直線状検出器で検出する。

上記書類検査装置は印刷図形を検査基準とすることができる。また複数個の検出器で反射光または透過光を検出し、検出器から来る信号を単独で、または適切な組合わせで評価するものであり、多面的な検査が可能である。しかしながら、複数個の検出器により得たデータをどのように関連づけて処理し、検査装置の機能を向上させるかについては、技術面での追求が十分になされているとは言い難い。

特許文献３は銀行券の特徴的な色調に基づいて光学的に銀行券を検査する装置を開示している。検査にあたっては、銀行券の特定表面を広域光源から出る光で照射する。その反射光を光学的な散乱機構、例えばガラスプリズムで様々な波長域に分光する。様々な波長域に存在する色の明度をいくつかの、関連する光電検出器で記録する。測定した信号を閾水準で評価し、測定値が許容範囲に収まっていればＯＫ信号が得られる。

上記装置の場合、予め予定した光電検出器で特定される波長しか検出できないので、光学特性が未知の紙葉類の分析には適さないものであった。また、検査されるエリアもスポットであるので、光学画像としての分析もできない。

周知の分光光度計等は広波長域での光学特性を計測するが、計測エリアがスポットであり、紙面全域の特性検査は難しい。また、ＣＣＤカメラ等で紙面全域の光学特性を計測する装置も周知であるが、検索波長帯域が４００〜１，０００ｎｍと狭く、撮像画像を多数枚得るのみである。これらでは各波長光に対応する多数枚の紙面光学特性画像からの試料の特徴抽出に膨大な労力と時間を要し、各々紙面画像情報が複雑で且つ投受光の細密多段階な検索条件での試料の特徴検出は難しく不完全なものとなっていた。
特開２００１−５２２３２号公報特開平４−２８８６９７号公報スイス特許第４７６３５６号

本発明は、試料の特徴を、それが未知の試料であっても自動的且つ的確に抽出することのできる特徴抽出方法を提供することを目的とする。

本発明の特徴抽出方法は、試料に紫外域から近赤外域にわたる波長域の光を、全波長域光又は互いに中心波長を異ならせた複数波長帯域光を検査光として選択的に順次照射し、該照射された各々の検査光に対して前記試料からの光を互いに中心波長が異なる所定波長帯域毎に順次撮像することによって複数の撮像画像を得て、これら撮像画像から前記試料の光学的な特徴を抽出する方法であって、同類分類処理の指標データとして予測特徴画像を複数個ランダムに設定する第１ステップと、前記複数の撮像画像の各々別に、前記複数個の予測特徴画像との近似度を比較しつつ最も近似する予測特徴画像を同類関係にあるとして当該撮像画像に近づくように順次修正する第２ステップと、前記予測特徴画像の同類撮像画像への修正を前回より小さくして前記第２ステップを繰り返し実施させることにより、各々の特徴画像を同類関係にある撮像画像の代表画像として次第に収斂させる第３ステップと、前記複数の撮像画像のうちで収斂された前記予測特徴画像のいずれに対しても所定の近似範囲に含まれない撮像画像があった場合、これらの撮像画像を用いて新たな予測特徴画像を作成する第４ステップと、を含み、前記第４ステップにおいて新たな予測特徴画像が作成されたときに、当該新たに作成された予測特徴画像を含む複数の予測特徴画像について前記第２ステップ及び第３ステップを行い、前記複数の撮像画像のいずれもが、収斂された当該新たに作成された予測特徴画像を含む複数の予測特徴画像のいずれかと所定の近似範囲内となるまで第２ステップ〜第４ステップを繰り返すこととした。

この構成によると、試料に紫外域から近赤外域にわたる波長域の光を、全波長域光又は互いに中心波長の異なる所定波長帯域の光の検査光として選択的に順次照射し、該照射された各々の検査光に対して前記試料からの光を互いに中心波長の異なる所定波長帯域毎に順次撮像して複数の撮像画像を取得するものであるから、照射光の波長帯域（又は波長帯域の中心波長）と撮像光の波長帯域（又は波長帯域の中心波長）の双方を変化させつつ、あるいは一方の波長帯域（波長帯域の中心波長）を変えつつ撮像した複数個の撮像画像につき所定のルールに基づく演算を行って特徴を抽出し分類することができ、基となる光学特性としての画像数が多くてもその中から当該試料の特徴を自動的に絞り込むことができる。更には広い波長域にわたり多数の光学特性撮像画像を取得することとして、その試料の特徴を確実且つ正確に抽出分類できる。

そして同類分類処理の指標データとして予測特徴画像を複数個設定する第１ステップと、前記複数の撮像画像の各々別に、前記複数個の予測特徴画像との近似度を比較しつつ最も近似する予測特徴画像を同類関係にあるとして当該撮像画像に近づくように順次修正する第２ステップと、前記予測特徴画像の同類撮像画像への修正を前回より小さくして前記第２ステップを繰り返し実施させることにより、各々の特徴画像を同類関係にある撮像画像の代表画像として次第に収斂させる第３ステップと、を含むから、各々の予測特徴画像を次第に各々が類似する撮像画像の各グループ毎に収斂させ、特徴を明確化することができる。これにより、基となる撮像画像数が多くてもこれらを効率良く同類分類してこれらの代表画像を得ることができ、更には分類の指標すなわち特徴を各々グループ毎の中心的な画像として、より代表的な画像を浮かび上がらせることができる。

さらに、前記複数の撮像画像のうちで収斂された前記予測特徴画像のいずれに対しても所定の近似範囲に含まれない撮像画像があった場合、これらの撮像画像を用いて新たな予測特徴画像を作成する第４ステップを含み、前記第４ステップにおいて新たな予測特徴画像が作成されたときに、当該新たに作成された予測特徴画像を含む複数の予測特徴画像について前記第２ステップ及び第３ステップを行い、前記複数の撮像画像のいずれもが、収斂された当該新たに作成された予測特徴画像を含む複数の予測特徴画像のいずれかと所定の近似範囲内となるまで第２ステップ〜第４ステップを繰り返すので、特徴のある画像が他の予測特徴画像に同類仕分けされてしまうということがなくなり、またこれら画像が無視されることもなく適正に特徴が把握分類される。

また本発明では、上記構成の特徴抽出方法において、前記複数の撮像画像のいずれとも同類関係にない前記予測特徴画像が生じたときは、この予測特徴画像を削除することとした。これにより、無意味なデータにメモリが費消されることがなくなり、また当初の予測特徴画像が過多設定の場合にも適正に特徴の抽出分類が行える。

また本発明では、収斂された予測特徴画像相互間の距離が所定の値内の場合で且つ、当該予測特徴画像の各々に同類対応する撮像画像相互間の最大距離が別途設定した値内の場合、これらの予測特徴画像をこれらの平均値に統合更新することとした。これにより、予め定められた近似値内に複数の予測特徴画像グループが存在した場合、それらの平均値データの単一の予測特徴画像グループとして統合されるので、必要以上に多くの予測特徴画像グループに細分されることがなくなり、処理すべき撮像画像が所定の類似度で各々の代表画像別にグループ化され且つ特徴が同類分類される。

また本発明では、前記予測特徴画像は各撮像画像から所定の演算精度で抽出分類された平均的な特徴を備えた代表画像であり、該代表画像に対応する詳細なカメラ画像データを代表実画像として保持していることとした。これにより、分類仕分けを別途任意選択で設定した圧縮画像データに基づき簡易に高速処理するにしても、詳細なカメラ画像データがそのまま代表実画像として保持されているので、分類仕分け画像を更に同類仕分け演算することとなった場合、各々の代表実画像データと照合データから得られる仕分け画像の数量情報をもって精度の高い特徴抽出を行うことが可能となる。

本発明によると、基となる撮像画像数が多くてもこれらを効率良く同類分類してこれらの代表画像を得ることができる。

以下図に基づき本発明の実施形態を説明する。最初に、本発明特徴抽出方法を遂行する特徴抽出装置の構造を図１〜７により例示して説明する。

特徴抽出装置１は本体部２と演算装置３を備える。本体部２はハウジング１０を有し、その内部の構成要素はブロック構成で見ると図７に示すように光学セクション１１と制御セクション１２に区分される。図１〜６には専ら光学セクション１１に含まれる構成要素を図示する。

本体部２のハウジング１０は複数個のキャスタ２１により床面上に移動可能に支持されている。ハウジング１０の一部には扉２２があり、この扉２２を開けて試料ホルダ２３を出し入れする。扉２２を閉めればハウジング１０の内部は暗室状態になる。試料ホルダ２３は検査すべき紙葉類の試料をその被検査面がほぼ垂直になるように保持する。この被検査面に検査光を照射し、反射光（蛍光物質の励起光があれば、その励起光も含む）を撮像する。続いて検査光発生装置３０と撮像装置５０の構成を説明する。

検査光発生装置３０の光源部３１は２５０〜２，０００ｎｍの波長域の光を発する。このような広い帯域の光を単一のランプで発生させることはできないので、キセノンランプ３２とハロゲンランプ３３の２種類のランプを使用する（図４、５参照）。キセノンランプ３２は２５０〜３８０ｎｍの検査光を得るのに用い、ハロゲンランプ３３は３８１〜２，０００ｎｍの検査光を得るのに用いる。

キセノンランプ３２とハロゲンランプ３３はランプハウス３４の中に向かい合わせに配置されている。電源投入後ランプが所定のスペクトルの光を放つようになるまでには時間がかかるので、ランプの切り替えの度にランプを点灯したり消灯したりするのでなく、装置稼働中は両ランプとも連続点灯させておき、必要な側の光をその都度可動ミラーで反射させて選択的に取り出すようにしている。３５がその可動ミラーであって、反射面をキセノンランプ３２に向け４５゜の角度に置く図４の位置と、反射面をハロゲンランプ３３に向け４５゜の角度に置く図５の位置とに、図示しないモータ又はソレノイドにより切り替えられる。可動ミラー３５に当たった光は直角に向きを変え、ランプハウス３４の一側面の出射窓３６を通ってレンズハウス３７に入る。

レンズハウス３７の中のレンズ群により発散角度を整えられた光は分光器３８に入る。分光器３８は収差補正型の零分散ダブルモノクロメータであって、駆動波長域は２５０〜２，０００ｎｍ、半値幅は３０ｎｍ又は６０ｎｍ、分解能は１５〜３０ｎｍに設定されるが、必要時には「光源の全波長域を含む白色光」に設定することもできる。分光器３８から出射される所定の波長帯域の光が検査光となる。

分光器３８の出射窓にはレンズハウス３９が連結される。レンズハウス３９の中に配置されるレンズ（図示せず）は検査光の発散角度を調整するためのものであって、試料ホルダ２３において１８０×１８０ｍｍのエリアを照射するときと、同じく５０×５０ｍｍのエリアを照射するときとで発散角度を切り替える。

レンズハウス３９を出た検査光は固定ミラー４０、４１で反射を繰り返しながら空間内を進み、試料ホルダ２３に保持された試料を照射する。試料の被検査面で反射・吸収された光が撮像装置５０に入る。なお試料ホルダ２３は、試料の照射角と反射角が画像歪をできるだけ小さくする角度となるように角度設定されている。

前述のとおり検査光の帯域は２５０〜２，０００ｎｍにわたるが、ここまで広い感受域を備えた撮像手段は存在しないので、２種類のカメラをもって撮像装置５０を構成する。その一方はＣＣＤカメラ５１であり、図２、３に見られるように試料ホルダ２３の真正面に配置される。他方は赤外線カメラ５２で、試料ホルダ２３の真正面から水平方向にずれた位置に、ＣＣＤカメラ５１と平行に並ぶ形で配置される。

シリコン等からなる撮像素子を有するＣＣＤカメラ５１は波長２５０〜１，０００ｎｍの反射光を撮像するのに用いる。白金インジウム又はインジウムアンチモン等からなる撮像素子を有する赤外線カメラ５２は１，０００〜２，０００ｎｍの反射光を撮像するのに用いる。これらのカメラは約６５，０００（≒２５６×２５６）ピクセルから約１００万（≒１０２４×１０２４）ピクセル、あるいはそれ以上の画素数を有し、分析すべき試料面を１６３８４階調から６５５３６階調以上の濃淡細密画像として撮像し入力する。

カメラの切り替えは図２、３に示す可動ミラー５３により行う。可動ミラー５３は図示しない駆動機構により水平方向に移動するものであり、図２の位置にくると試料ホルダ２３からの反射光は真っ直ぐＣＣＤカメラ５１に届く。可動ミラー５３が図３の位置にくると反射光は可動ミラー５３により直角に曲げられ、固定ミラー５４でもう一度直角に曲げられて赤外線カメラ５２に届く。

５５ａ、５５ｂ、５６ａ、５６ｂは図示しない駆動機構により試料ホルダ２３とＣＣＤカメラ５１、及び固定ミラー５４と赤外線カメラ５２との間の各光路に出没する収束レンズである。収束レンズ５５ａ、５６ａは照射エリアが１８０×１８０ｍｍであった場合の反射光を収束するときに用い、収束レンズ５５ｂ、５６ｂは照射エリアが５０×５０ｍｍであった場合の反射光を収束するときに用いる。

なお図１、２、３において収束レンズ５５ａと５５ｂの組み合わせが同時に、又は収束レンズ５６ａと５６ｂの組み合わせが同時に、光路中に存在するように描かれているが、これは単に図示の都合によるものであって、実際には各々組み合わせの一方のみが光路中に進出し、他の一方は光路外に退避している。

収束レンズ５５ａ、５６ａを使用したときと収束レンズ５５ｂ、５６ｂを使用したときとでＣＣＤ又は赤外線撮像素子上の受光面積及び／又は結像位置が若干変化するため、図示しない駆動機構によりこれらカメラ５１、５２を光軸に沿って移動させ、前記変化に対応した補償を行うようにしている。なおカメラを移動させる代わりにズームレンズ機構を使用してもよい。

撮像する光を所定の波長域に絞り込むため、ＣＣＤカメラ５１には分光器（紫外可視イメージ分光器）５７が組み合わせられ、赤外線カメラ５２にはバンドパスフィルタ（近赤外バンドパスフィルタ）５８が組み合わせられる。分光器５７は半値幅３０ｎｍ、分解能１５ｎｍである。バンドパスフィルタ５８は半値幅３０〜６０ｎｍ、分解能３０ｎｍである。なお、これら分光器５７及びバンドパスフィルタ５８は光源側の分光器３８と同様に全波長域光を選択する機能も有する。

図６にバンドパスフィルタ５８の構造例を示す。これは、各々図示しないモータによりインデックス回転せしめられる３台のタレット５９ａ、５９ｂ、５９ｃを組み合わせたものである。各々のタレット５９ａ、５９ｂ、５９ｃは１３枚ずつのフィルタホルダ６０を放射状に保持し、各１枚のフィルタホルダ６０を光路に一致させる。図６においてハッチングを施した円（円はフィルタを表す）が光路の位置を示す。

タレット５９ａ、５９ｂ、５９ｃの保持する１３枚ずつのフィルタホルダ６０のうち、１２枚には通過波長の帯域を少しずつ異ならせたフィルタ６１を取り付け、残り１枚は全波長域用として素通しとする。タレット５９ｂ及び５９ｃで素通しのフィルタホルダ６０を選択すれば、タレット５９ａのフィルタ１２種を単独使用できる。タレット５９ａ及び５９ｃで素通しのフィルタホルダ６０を選択すれば、タレット５９ｂのフィルタ１２種を同様に単独使用できる。タレット５９ａ及び５９ｂで素通しのフィルタホルダ６０を選択すれば、タレット５９ｃのフィルタ１２種を同様に単独使用できる。またタレット５９ａ、５９ｂ、５９ｃのすべてで素通しのフィルタホルダ６０を選択すれば全波長域光が選択される。

次に図７に基づき特徴抽出装置１のブロック構成を説明する。

本体部１０の制御セクション１２はランプ制御部７０、ミラー制御部７１、レンズ制御部７２、照射側分光器制御部７３、撮像側分光器制御部７４、及びカメラ制御部７５を備える。ランプ制御部７０はキセノンランプ３２とハロゲンランプ３３の点消灯を制御する。ミラー制御部７１は可動ミラー３５、５３の動作を制御する。レンズ制御部７２はレンズハウス３９の中のレンズと収束レンズ５５ａ、５５ｂ、５６ａ、５６ｂの動作を制御する。照射側分光器制御部７３は分光器３８の動作を制御する。撮像側分光器制御部７４は分光器５７とバンドパスフィルタ５８の動作を制御する。カメラ制御部７５はＣＣＤカメラ５１と赤外線カメラ５２の露出時間その他の撮影条件の設定及び撮像を制御する。

演算装置３のブロック構成は次のようになっている。８０は中央処理部で、マイクロプロセッサと記憶装置を備えている。８１は操作部で、これはキーボード等の入力手段、及び演算装置３の本体筐体に設けられた各種スイッチにより構成される。８２は表示部で、ＣＲＴや液晶等のモニタと、演算装置３の本体筐体に設けられた発光ダイオード等の表示手段により構成される。演算装置３と本体部２とは図示しないケーブルで接続され、互いに信号を交換する。

８３〜８８は中央処理部８０のシステムリソースをそのまま利用して、あるいは中央処理部８０のシステムリソースにハードウェア要素を付加して構成されるデータ処理ブロック群である。８３はＡ／Ｄ変換部で、これは撮像装置５０から伝達された画像のアナログデータをデジタルデータに変換するものである。８４はＣＣＤカメラ５１及び赤外線カメラ５２を適正に制御するとともにＣＣＤカメラ５１で得た画像データと赤外線カメラ５２で得た画像データを一元化し、合わせて別途選択設定される必要サイズの入力画像として切り出すとともに、画像サイズを圧縮する補正演算部である。８５は補正演算部８４で演算を行うための演算係数等のパラメータを記憶する補正データ記憶部である。８６は上記必要サイズに切り出された画像、圧縮された画像、及び画像の特徴抽出のために加工演算される一時的な中間画像を保持するイメージバッファ部である。８７は特徴の抽出を行うための画像解析部、８８は特徴が明確であるとして選択された代表画像及び関連データを格納する代表データ格納部である。

次に特徴抽出装置１の操作につき説明する。まず本体部２の扉２２を開けて試料ホルダ２３を取り出し、検査すべき試料を取り付ける。試料を取り付けた試料ホルダ２３をハウジング１０内の所定の位置にセットし、扉２２を閉める。それから、試料を検査光で照射し、そこから反射した光を撮像装置５０で撮像する。

検査光発生装置３０は２５０〜２，０００ｎｍという、紫外域から近赤外域にわたる広い波長域の光を、全波長域光（白色光）又は所定ピッチで中心波長をずらしつつ所定帯域の検査光として選択的に順次発生する。試料面は検査光に応じた見え方をする。例えば紙を構成する物質の中に、あるいは印刷インクの中に蛍光物質が含まれていた場合、その蛍光物質は特定波長の検査光に反応して励起光を発する。この励起光と反射光を合わせた光画像を分光器５７又はバンドパスフィルタ５８に通し、特定波長光の濃淡画像としてＣＣＤカメラ５１又は赤外線カメラ５２で撮像する。

図８は照射する検査光の波長域をずらしつつカメラ側の分光器及びバンドパスフィルタを素通しで、すなわち全波長域光として撮像したときの紙葉類の画像の変遷を例示する。（ａ）では紙葉類本来のパターンは全く見えず、蛍光物質の励起によるパターンが右下に見えているのみである。（ｂ）→（ｃ）→（ｄ）→（ｅ）→（ｆ）と検査光の波長が長くなるにつれ、紙葉類本来の目視可視光パターンが徐々に見え出し、励起光パターンは消える。（ｇ）で紙葉類本来のパターンが最も鮮明で明るい像を結ぶ。以後、（ｈ）→（ｉ）→（ｊ）→（ｋ）と検査光の波長が長くなるにつれ、画像は鮮明さと明るさを失う。（ｌ）では近赤外線にのみ感応するパターンが見えるだけとなる。

なお、図８はあくまでも説明用に単純化した作図例であって、現実の画像がこれと同じような変遷をたどる訳ではない。実際の紙葉類を２５０ｎｍから２，０００ｎｍの波長にわたり撮像した画像群はこれよりはるかに複雑な変化を示す。

前述のとおり、検査光発生装置３０は検査光として段階的に波長が異なり且つ帯域の狭い複数種の光又は全波長域光（白色光）を照射する。検査光の中心波長を２５０〜２，０００ｎｍの間に８６段階（その内１段階は全波長域光）設定し、撮像側でも分光器５７とバンドパスフィルタ５８とを通算して８６段階（その内１段階は全波長域光）の通過波長帯域が設定されるものとすると、８６×８６＝７，３９６通りの画像が撮像されることになる。

ＣＣＤカメラ５１と赤外線カメラ５２はそれぞれ固有の光感受特性を有する。それを観念的に示したのが図９である。両カメラの撮像可能波長帯域は１，０００ｎｍ近辺で重複し、その中の１，０００ｎｍを切り替え点として両カメラを切り替え使用する。ところがそのままでは切り替え点において、画像の明るさと濃度勾配は、ＣＣＤカメラ５１で撮像した画像と赤外線カメラ５２で撮像した画像とでは全く異なったものとなる。このままでは同一条件の画像データに２つの種類があるということになり、画像処理ソフトウェアとデータ蓄積部が二元化し、演算装置３のシステムリソースを余分に費消する。

そこで、切り替え点におけるＣＣＤカメラ５１と赤外線カメラ５２の撮像画像の近似度が所定レベル以上になるよう、すなわち、あたかも単一のカメラをもって切り替え点をまたぐ撮像が行われたかのように一方又は双方のカメラを補正する。具体的にはカメラの露光時間を調整して画像の明るさを補正し、また感度とゲインを調整して濃度勾配を補正する。明るさと濃度勾配は一方だけ補正してもよく、両方補正してもよい。切り替え点を離れても撮像特性はフラットな方が望ましいので、各波長レベルで補正を行う。ここで行う補正を観念的に示したのが図１０である。

画像の明るさや濃度勾配を補正するには、撮像面の一部に予め明るい方の基準点と暗い方の基準点を定め、両方のカメラの読み取り値が明るい方は明るい方、暗い方は暗い方で同一レベルになるように、また必要な明暗域（ダイナミックレンジ）を演算用の２５６階調に補正する必要がある。基準点を定めるにあたっては、次の２手法のうちいずれかを用いる。

図１１に示す手法では、試料の画像自体の中に基準点を設定する。９０が試料の画像であって、その中の明るい部分と暗い部分とにそれぞれ基準点９１、９２を設定する。ＣＣＤカメラ５１で撮像した画像の基準点９１、９２と赤外線カメラ５２で撮像した画像の基準点９１、９２とを比較した場合、双方の明るさ及び濃度勾配が所定レベル以上の近似度となるようにカメラ制御値の補正を行う。

図１２に示す手法では装置の試料ホルダ２３に配置された明暗基準プレートを用いる。すなわち明るい方の基準プレート９３と暗い方の基準プレート９４が撮像エリアにあり且つ紙葉類の試料によって覆い隠されない場所に取り付けられており、試料の画像とともに基準プレート９３、９４の画像も取り込まれる。この基準プレート９３、９４の画像値に基づき上記と同様にカメラ制御値の補正を行う。

光蓄積時間調整はいわゆる時間可変のシャッター機能を備えたＣＣＤを利用することにより実現できる。また、ＣＣＤの前に硝子板表面に遷移金属酸化物等（ＩｒＯｘ、Ｔａ₂Ｏ₅・ＷＯ₃等）の膜を形成した物性素子を置き、この物性素子に電圧を印加することにより膜の光透過率又は光透過量を調整するようにしてもよい。この調整に当たっては、予め撮像波長毎に使用する印加電圧或いは、シャッター開時間の設定テーブルを用意しておく。

このようにカメラ制御値の補正を行うことにより、画像処理ソフトウェアとデータ蓄積部を一元化し、システムリソースの節約と処理のスピードアップを図ることができる。また、必要に応じて明るさ、及び／又は濃度勾配を演算処理で更に別精度に追加補正する場合にも、元の撮像画像同士が近似しているため正確な演算処理が可能となる。補正演算を行うための演算係数等のパラメータは補正データ記憶部８５に記憶させておく。

さて、特徴抽出装置１により撮像波長帯域の異なる多数の画像を取得することが可能であるが、例えば各ピクセルが数万濃淡階調で約１００万ピクセル構成の各々細密画像データ全てを当該紙葉類の特徴画像として扱うと膨大なメモリが必要となるうえ、後で同種の紙葉類の特徴抽出を行うに際してもこのように沢山のデータを特徴として格納していたのでは照合に時間がかかりすぎる。

また、同一種の試料同士であっても位置ずれやかすれ等で全く同じ印刷状態であるとは限らないし、使用すれば色褪せや皮脂等の汚れ成分の付着が発生して、撮像した画像に相違が生じるということが十分にあり得、同一種の試料でも偽造券として排除することにもなりかねない。従って、特別に微細な高精度の特徴検索以外では、抽出すべき特徴は細密微細な光学的特性を保持しつつもある程度大ぐくりなものに画像サイズ／又は濃淡階調度を圧縮して許容範囲を持たせたほうが良い。

そこで演算装置３は、イメージバッファ部８６に入力された多数の必要なサイズに切り出された切り出し画像及び／又は、圧縮画像につき所定のルールに従い、特徴抽出に基づく同類分類演算を行い、当該紙葉類の特徴を特に明確に現している画像を代表データとして代表データ格納部８８に格納する。以下、自動的に特徴を抽出する演算方法につき説明する。

紙葉類の特徴抽出及び同類分類に関する第１の方法は分類すべき画像間の差分を用いるものである。図１３に差分による分析の概念を示す。すなわち、ある画像と他の画像との間のデータの差異に着目する。第１の画像が「ＡＢＣＤＥＦ」のデータを持ち、第２の画像が「ＡＢＤＥＦ」のデータしか持っていないとすれば、両者の差分は「Ｃ」となる。この差分「Ｃ」を材料として特徴の分析を行うものである。

差分のデータとしては各画像の対応する画素別の「明るさ」についての差値（差分値）とこれら各差分値の度数（各差分値別のデータ数）を求める。「明るさ」が「明るい」とは、撮像した波長帯域において反射光及び／又は励起光の量が多いということを意味する。つまりその撮像波長帯域で現れるべき特徴的なパターンがより明確に表れているということである。「明るい」を「濃い」と言い換えることもできる。逆に「暗さ」は光の吸収の特性を表すものである。また「度数」は、その差分値を備えた画素の数を示す。

以後の演算は実際の画素における明るさをデジタル値に変換した２５６階調のＡＤ値により行う。従って、両画像の「明るさ」の差分値は図１４に示すように−２５５〜＋２５５のＡＤ値のいずれかに置き換えられる。

演算においては各ＡＤ値と度数との積を求めたうえで積の総和を求めるのであるが、この積の求め方に関して、ＡＤ値に正負の符号を付したまま度数との積を求める方法（図１４に示した例がこれに該当する）と、ＡＤ値の絶対値である「指数」と度数との積を求める方法（図１５に示した例がこれに該当する）とがある。前者の積の総和を「積和」と称し、後者の積の総和を「指数和」と称する。

指数を用いて演算を行う場合、演算を容易にするため、差分の差がさらに強調されるようにする。図１５にその手法の一例を示す。図１５では差分値の絶対値を求めたうえで、そこからさらに「一定の値」を減じたものを「差分値指数」としている。マイナスの値が出る場合はこれを「ゼロ」とする。

図１５では「一定の値」を「３０」に別途設定しており、これにより、差分値において−３０から＋３０までの区間はノイズ成分の領域として差分値指数においてはすべて「ゼロ」となる。すなわち差分値が−３０から＋３０までの画素（ピクセル）はすべて許容誤差域内の同一画像として取り扱われる。従って、近似画像間におけるノイズの影響が排除され、差分値が±３０以上となる真に差を持った画素のみが別画像として認識される要素となるように構成されている。差分値と指数の関係をグラフ化したものを図１６に示す。

差分値に基づき特徴を抽出し、特徴を特に明確に表している画像を代表画像として選定する手法を図１７により説明する。図１７には８枚の画像が示されている。これらの画像は、所定ピッチで中心波長を異ならせた波長帯域毎に撮像を行い、波長順に並べたものである。画像Ｐ_i-4は明るさが低く、そこからＰ_i-3、Ｐ_i-2とＰ_iに近づくにつれ次第に明るさが増し、画像Ｐ_iでピークを迎える。画像Ｐ_iを過ぎると、画像Ｐ_i+3まで順次明るさが減少して行く。すなわち、黒画像から人物像が徐々に浮かび上がり、その後徐々にフェードアウトして黒画像に戻る様子を例示している。なお、明暗逆の場合も同様であることは自明であり、説明は略す。

隣接画像間の各差分値指数とこれに対応する度数の積の総和（積和）をＤ_iで表す。「明るさ小」から「明るさ大」への変化は「プラス」、その逆は「マイナス」と表される。積和Ｄ_iは対比した両画像の相違量を示すものである。

以下に説明するのは、前述の指数和が別途定められたしきい値より小さく、同類画像と判定される場合の代表画像の選定処理手順である。

画像Ｐ_i-4とＰ_i-3、Ｐ_i-3とＰ_i-2、Ｐ_i-2とＰ_i-1、Ｐ_i-1とＰ_iの間の積和Ｄ_iはいずれも「プラス」すなわち人物像の浮かび上がりの領域にある。ところが画像Ｐ_iとＰ_i+1の間になると積和Ｄ_iが「マイナス」すなわち人物像のフェードアウトの領域に転じ、画像Ｐ_i+1とＰ_i+2、Ｐ_i+2とＰ_i+3の間も「マイナス」を維持する。「明るさ小」から「明るさ大」へと移ってきた趨勢が画像Ｐ_iと画像Ｐ_i+1の間で逆転したためにこのような結果になったものであり、画像Ｐ_iとＰ_i+1の間が変化点ということになる。

変化点の直前に位置する画像Ｐ_iは前後の画像群の中で最も明るくくっきりしている。すなわちこの画像群に共通する特徴が最も識別しやすい形で表れたものであるから、これを代表画像として採用するとともに画像Ｐ_iの前後の画像Ｐ_i-4、Ｐ_i-3…Ｐ_i+4を同類画像として代表データ格納部８８に格納登録する。

次に説明するのは、前述の指数和が別途定められたしきい値より大きく、同類画像でないと判定された場合の代表画像の選定処理手順である。

図１８は「明るさ小」から「明るさ大」へと変化してきたグループ１の画像群が画像Ｐ_iと画像Ｐ_i+1の間で突如同類でないグループ２の画像群に転換してしまった場合を示す。この場合上記指数和は別途定められたしきい値より大きくなる。このときは前述のようにグループ１の画像群のうち最も明るい最後の画像Ｐ_iが代表画像として登録されている。画像Ｐ_i-4、Ｐ_i-3、Ｐ_i-2、Ｐ_i-1では同類画像として情報のみが代表データ格納部８８に格納登録されている。

上記作業を繰り返し、２５０〜２，０００ｎｍの波長域にわたって取得した多数の画像群から何種類かの代表画像とその同類画像を抽出して同類画像情報と共に代表データ格納部８８に格納登録する。

このようにして１枚の試料から光学的な特徴が自動的に抽出され、その特徴を良く表した画像を代表画像として仕分け格納することになるが、この一連の画像解析は図１９のフローチャートに従って遂行される。

図１９のステップＳ１０１では「今回の画像」と「前回の画像」との各画素毎の差分値を全画素にわたり求める。「今回の画像」は現在解析を行おうとしている解析画像、「前回の画像」は直前に解析を行った解析画像のことである。「前回の画像」は既にいずれかの代表画像と同類であることが見いだされているものとする。ステップＳ１０２では図１５の手法により求めた差分値の値を強調した差分値指数と各差分値指数別の度数との積の総和を指数和として求める。ステップＳ１０３ではその指数和が所定のしきい値以上であるかどうかを判定する。予め定められたしきい値に達していなければ、すなわち今回の画像と前回の画像と類似であるとしてステップＳ１０４に進む。

ステップＳ１０４では今回の画像が前回の画像よりも「明るい」かどうかを判定する。前述のとおり、「明るい」とは撮像した波長帯域において反射光及び／又は励起光の量が多いということを意味する。つまりその撮像波長帯域で現れるべき特徴的なパターンがより明確に表れているということである。「明るさ」比較においては指数和でなく、正負の符号を付した差分値と度数との積の総和（図１４の積和）を用いる（ステップＳ１０５、ステップＳ１０６においても同様）。

今回の画像が前回の画像よりも明るければステップＳ１０５に進む。ここでは前回の画像と同類関係にある代表画像と今回の画像との各画素毎の差分値を全画素にわたり求め、明暗を比較する。その結果、ステップＳ１０６で今回の画像の方が代表画像よりも所定値以上に明るいと判定されればステップＳ１０７へと進む。

ステップＳ１０７では当該類似グループの代表画像を更新し、今回の画像を新たな代表画像とし、これまで代表画像であった画像を新しい代表画像の同類画像として登録する。

ステップＳ１０４において今回の画像が前回の画像より明るくなかった場合はステップＳ１０８に進む。そして前回までの代表画像と同類であると登録される。

ステップＳ１０６において、今回の画像が代表画像よりも所定値以上に明るくない、すなわち誤差域にあると判定された場合にもステップＳ１０８に進む。そして前回までの代表画像と同類であると登録される。

一方、ステップＳ１０３で、指数和が所定のしきい値以上であると判定されれば今回の画像と前回の画像とは非類似ということになり、ステップＳ１０９に進む。

ステップＳ１０９では当該試料に関してこれまで及び／又は今回の特徴抽出工程で登録した全代表画像と今回の画像とを積和でもって照合し、最近似画像として最小差分代表画像を探し、ステップＳ１１０に進む。

ステップＳ１１０では最小差分代表画像を今回の画像の代表画像に仮設定するとともに、この仮設定代表画像と今回の画像との各画素毎の差分値を全画素にわたり求める。ステップＳ１１１では図１５の手法により求めた差分値の値を強調した差分値指数と各指数別の度数との積の総和を指数和として求める。ステップＳ１１２ではその指数和が所定の判定値以上であるかどうかを判定する。予め定められた判定値に達していなければ、仮代表とした最小差分代表画像と今回の画像が類似であるとしてステップＳ１０５に進み、前述同様の処理が実行される。

ステップＳ１１２で指数和が所定の判定値以上であれば、仮代表とした最小差分代表画像と今回の画像が非類似であるとしてステップＳ１１３に進む。そして今回の画像が新たな代表画像として登録される。

画像データは、代表画像については特徴抽出演算に用いた詳細な画像データを残す。また、代表画像以外の画像については、各々代表画像との照合データ（光学特性の特徴抽出条件等の類分け情報）のみ残し、画像データそのものは消去し得るようにする。これにより１枚の試料に費やすメモリの量を節約可能とする。

さらに特徴抽出装置１では、図示はしないが、代表画像に対応するカメラからの読み出し画像（カメラ画像）を代表実画像として併せて記憶保持する構成とした。すなわち、前後画像の差分値算出及びその他の分類仕分け演算を別途設定した圧縮画像データに基づき簡易に高速処理するにしても、詳細なカメラ画像データがそのまま代表実画像として保持されているので、更に別の演算仕様で再仕分け演算することとなった場合、各々の代表実画像データと照合データから精度の高い特徴抽出を行うことが可能となる。

新たな試料につきこれら抽出特徴を用いて同異識別する必要が生じたときは、所定ピッチで検査光及び／又は撮像光の中心波長を異ならせつつ各々の波長帯域毎に新試料の撮像を行い、基準となる標本資料の代表画像撮像波長及び／又は所定の波長域で近似する画像を取得できたかどうか、及び／又は各々代表画像の同類画像の発現帯域を必要箇所で同異チェックすることにより比較判別を行う。

ここで、図３０の撮像ログ事例を用いて、照合データの説明を行う。撮像ログは検索仕様部と撮像データのインデックス部とで構成されている。検索番号は試料毎又は、検索単位毎に振られる番号である。試料サイズは撮像する媒体の大きさを示し、本例では５０ｍｍ×５０ｍｍの大きさを有している。照射波長は２５０ｎｍ〜９７０ｎｍであり、３０ｎｍピッチで変化させたことを示している。カメラはＣＣＤカメラとＩＲカメラのうち、ＣＣＤカメラを使ったことを示す。「ＣＣＤ画像サイズ＝４×４（２５６×２５６）」は４画素×４画素を１単位として縦横２５６画素の領域として取り扱うことを示している。ＣＣＤ露光時間は３０ｍＳである。「ＣＣＤ露光時間自動設定＝０」はオフを示し、ＣＣＤ検知波長はスウィープ開始波長、終了波長と撮像波長ピッチが入るが、本例では全て０なので全波長（白色光）使用の設定がされていることになる。ＭＥＭＯの欄には任意の文字を入力することができ、後で参照できる。「画像枚数＝２５」は、上記照射波長等の設定内容で算出される撮像枚数を示しており、撮像画像枚数が２５枚あり、測定条件を違えたものが２５種あることを示している。次にＣＣＤ撮像素子の冷却温度が−３０゜Ｃ、ＩＲ撮像素子は使用しないことを示している。切出位置はカメラ撮像画像の有効領域内の座標を示し、１０、３３、２９、２３３と設定されている。白基準位置は白基準の画像域を示しているもので、１１９、３９、１２７、４７で示される矩形領域である。また、黒基準の画像域は１２３、２３８、１３１、２４６で示される矩形領域である。ｆｏｌｄｅｒは撮像画像データを格納するハードディスク内のフォルダ名で、検索番号を使用している。

後半の撮像データのインデックス部は検索を開始してから終了までの各撮像に連番を振り分け、その撮像に対する条件を残している。例えば０００００００３番の行を説明すると次のようになる。１７：２８：５０が撮像時刻を示し、１７時２８分５０秒に撮像したことを示す。Ｆ＝ＭＣＸ０２５０−００００．ＢＭＰは、ＢＭＰ形式の画像ファイルを意味し、このファイル名で実画像データが格納されており、撮像手段として、ＣＣＤ撮像素子を用い、ランプはキセノンランプを使用し、検査光である照射光の波長は２５０ｎｍであり、撮像側は全波長光を通過させていることを意味している。

ファイル名に続くデータは、Ｔ＝３０．０が露光時間で３０．０ｍＳであることを示し、Ｗ＝６３６は、上述の条件における白基準位置の白基準の読み取り値が６３６ＡＤ値であることを示し、Ｂ＝６２１は黒基準位置の黒基準の読み取り値が６２１ＡＤ値であることを示している。Ｓ＝７３５＞＞６０１は補正すべき有効ダイナミックレンジの値である。補正されると７３５ＡＤから６０１ＡＤ値の間を２５６階調にダイナミックレンジをとることになる。末尾のＯＫは正常撮像画像であることを意味する。

ここで照合データとして、光学特性の特徴抽出条件等の図３０に示すファイル名データ及び、上述した付属の撮像条件のデータを残し、実際の画像データを消去することにより、メモリの節約が行える。

紙葉類の特徴抽出及び同類分類に関する第２の方法は競合型学習を用いたニューラルネットワークの一手法である自己組織化特徴地図（self-organizing feature map）を画像の同類分類処理の一部にマッピング演算として活用する。この自己組織化特徴地図の手法はニューラルネットワークモデルの一つのパラダイムとしてKohonenにより提唱されており、本発明では、分類性能を上げるために教師無し学習の一手法である競合型学習を対象として、自己組織的な学習則を適応する。以下その概念を図２０〜２３に基づき説明する。

まず、図２０のような２層のネットワークを想定する。第１層は入力層、第２層は競合層である。競合層は２次元グリッドとなっている。入力層の各入力ユニットは競合層のすべてのユニットと結合している。

入力パターンが与えられると、入力層のユニットは入力パターンの対応した要素の値をとる。競合層は入力の加算を行い、唯一の勝者を見いだす。

図２０において、各相互結合は重み値を持っている。初期状態ではランダムな重み値が与えられる。

図２１はランダムな入力パターンを得る様子を示す。乱数ジェネレータがパターンベクトルの各要素に数を与える。乱数ジェネレータから得られる数は０と１の間に一様に分布する。

Kohonen特徴地図の入力パターンは次のように表記される。

Ｅ＝［ｅ₁，ｅ₂，ｅ₃，…，ｅ_n］（Ｅは撮像画像、ｎは画素数）
この入力パターンの各ユニットが競合層の特定ユニットに結合する様子を図２２に示す。重みは
Ｕ_i＝［ｕ_i1，ｕ_i2，…，ｕ_in］（Ｕ_iは予測特徴画像、ｎは画素数）
で与えられる。ｉは競合層のユニットを表し、予測特徴画像の番号である。

Kohonen特徴地図では最初に競合層にある各ユニットにつき一致値（matching value）を計算する。この値は、各ユニットの重みが入力パターンの対応する値と一致する程度を計る目安となる。ユニットｉに対する一致値は
‖Ｅ−Ｕ_i‖
となる。これはベクトルＥとＵ_iの間の距離であり、次の式により計算される。
（ｊは画素番号、ｉは予測特徴画像の番号）

一致値の最も低い（最も良く一致する）ユニット（予測特徴画像）が競合に勝つ。最も良く一致するユニットをｃで表すことにすると、ｃは
‖Ｅ−Ｕ_c‖＝min｛‖Ｅ−Ｕ_i‖｝
のように選ばれる。最小値は競合層のすべてのユニットｉ（予測特徴画像）の中から選ばれる。同じ一致値を持つユニット（予測特徴画像）が複数個存在する場合は、指標値ｉ（予測特徴画像の番号）の最も小さいユニットが選ばれる。

勝者ユニットが決まったら、そのユニットの近傍を定める。図２３にその様子を示す。勝者ユニットｃを正方形に囲むユニットをもって近傍とする。近傍はユニットの集合Ｎ_cで表される。近傍のサイズは変化する。

勝者ユニットｃの近傍にあるすべてのユニットの重みが調整される。調整方程式は
Δｕ_ij＝α（ｅ_j−ｕ_ij）：ユニットｉが近傍Ｎ_cにある場合
Δｕ_ij＝０：それ以外の場合
である。また
ｕ_ij ^new＝ｕ_ij ^old＋Δｕ_ij
である。

この調整により、修正された重みを持ち、より入力パターンに近似した勝者ユニット（予測特徴画像）とその近傍が得られる。

調整方程式の学習率αは比較的大きな初期値（２〜０．５）を持つが、何回も繰り返して演習するうちに減少する。減少率は次式で表される。

上式においてｔは現在の訓練回数、Ｔは行われるべき訓練の全回数である。学習率αは初期値α₀から始まり、値０に達するまで減少していく。

近傍の幅も、初期値においては比較的大きく、訓練を繰り返すと減少する。図２３における勝者ユニットｃの位置は（ｘ_c，ｙ_c）である。ｃから近傍の縁までの距離をｄとすると、近傍は
ｃ−ｄ＜ｘ＜ｃ＋ｄ
と
ｃ−ｄ＜ｙ＜ｃ＋ｄ
を満たすすべての（ｘ，ｙ）からなる。

訓練を重ねるとともにｄの値は減少する。ｄの初期値ｄ₀は競合層（初期の予測特徴画像のエリア）の幅の１／２か１／３に設定される。ｄは次式によって求められる。

上式においてｔは現在の訓練回数、Ｔは行われるべき訓練の全回数である。ｄはｄ₀から１へ１次的に減少していく。

上記自己組織化特徴地図の手法を次のように画像解析に応用する。まず競合層に別途指定された複数個の指標データ（予測特徴画像）を設定する。指標データ（予測特徴画像）はランダムに設定したベクトルであるが、この場合の指標データ（予測特徴画像）は処理すべき画像データ（解析画像）の平均データを所定幅ずらせて作成し、「予測特徴画像」としての地位を与える。入力層には取得した画像（解析画像）のベクトルを入力する。

個々の予測特徴画像と取得した撮像画像とを逐次比較し、一致値を幾何学的な距離、すなわちユークリッド距離の値として計算する。一致値の最も低い（最も良く一致する、最も近似する）予測特徴画像が勝者ということになる。取得画像は勝者の予測特徴画像と同類関係になったものとする。

勝者とその近傍の予測特徴画像の重みは前述の調整方程式に基づき修正される。すなわち同類関係にある取得画像に一層近づくよう予測特徴画像が修正されることになる。その様子を図２４に示す。図２４において、ｕ_i(t)は予測特徴画像、ｅ_iは同類関係となった取得画像を、いずれもベクトルの形で表したものである。ｕ_i(t+1)は同類関係になった取得画像に基づき修正された予測特徴画像を、これまたベクトルの形で表したものである。もう一度比較（演習）を行うと、今度はｕ_i(t+1)とｅ_iが比較され、さらにｅ_iに近づいた予測特徴画像ｕ_i(t+2)が生成されることになる。このようにして比較（演習）の回を重ねるにつれ、予測特徴画像は取得画像にますます近づいていく。

ところで、予測特徴画像ｕ_i(t)と同類関係になる取得画像はただ１個とは限らない。ｅ_i-1、ｅ_i+1といった近傍画像の他、飛び離れた画像ｅ_i+xが同類関係となることもある。そのような同類の画像と比較される度、予測特徴画像は修正を受ける。

このように、取得した画像を複数個の予測特徴画像に逐次比較して最も近似する予測特徴画像と同類関係にあるものとするとともに、同類関係となった撮像画像に一層近づくよう予測特徴画像を修正し、その修正後の予測特徴画像に対し撮像画像を再度逐次比較するという工程を別途設定された学習回数だけ繰り返すことにより、予測特徴画像は次第に１点に収斂して行く。所定回数の学習終了時に比較を打ち切り、そのときの修正予測特徴画像を最終の予測特徴画像とする。

最初の一巡の比較で、概ねどの予測特徴画像もいずれかの撮像画像と同類関係を結ぶ。何巡も比較を繰り返し、予測特徴画像の値が修正を受けて変化するうちに、今まで競合のなかった予測特徴画像同士の競合が生じることがある。競合が生じれば必ず一方が勝者、他方が敗者となる（近似度同一の場合は指標値ｉ（予測特徴画像の番号）の小さいものが勝者になる）ため、同類関係とされていた撮像画像を他の予測特徴画像に奪われるといったケースも出てくる。本発明の処理においては同類関係の撮像画像をすべて奪われてしまった予測特徴画像はもはや存在の意義がないので最終的には全て消去する。

また本発明では、予め定められた近似度以内に複数の予測特徴画像が存在する場合、予測特徴画像が過剰であるとしてそれらの平均値をとった単一の予測特徴画像に統合更新し、統合前の予測特徴画像は削除する。

さらに本発明では、撮像画像は通常、いずれかの予測特徴画像と同類関係を結ぶが、中にはどの予測特徴画像とも所定距離での同類関係とならない撮像画像も出てくる。そこで、いずれの予測特徴画像とも所定の近似範囲になく、別途定められた分散許容値内で同類関係を結べない撮像画像が出てきたときは、これらの撮像画像を用いて新たな予測特徴画像を作成する。

この一連の画像解析は図２５のフローチャートに従って遂行される。

まずステップＳ２０１で初期指標データ（予測特徴画像）を作成する。ここでは分類すべき複数の撮像画像（通常は２０〜２００画像）の各要素別平均値の各々に小さな乱数を加えて初期指標データ（予測特徴画像）とする。初期指標データ（予測特徴画像）は予測特徴画像として別途指定される個数（通常は９〜１６個）作成する。なお、各要素別平均値は全取得画像のデータから求めるものとするが、任意に選択された撮像画像のデータから求めることとしてもよい。

ステップＳ２０２では、上記初期指標データ（予測特徴画像）の各々に上記全撮像画像データを同類分類するための演算定数をマッピング演算の初期定数として設定する。Ｔは学習回数を示し、通常は１０００回が設定される。α₀は初期学習率を示し、通常は０．５に設定される。ｄ₀は初期近傍幅を示し、通常は前述の競合層（初期予測特徴画像）の幅の１／３又は１／４に設定される。

ステップＳ２０３、及びＳ２０４では、上記演算定数を用い、上記初期指標データ（予測特徴画像）の各々についてマッピング演算が実行される。詳細は前述の自己組織化特徴地図の手法の通りである。

ステップＳ２０５では、同類分類作業を行った指標データ（予測特徴画像）毎に、指標データ（予測特徴画像）とこれに同類対応する撮像画像の各々とのユークリッド距離を計算する。

ステップＳ２０６では、指標データ（予測特徴画像）とこれに同類対応する撮像画像の各々とのユークリッド距離が所定の近似範囲内か近似範囲外かを判定し、近似範囲外であればステップＳ２０７に進む。

ステップＳ２０７では上記許容値外の撮像画像の平均値画像をこの指標データ（予測特徴画像）のサブ指標データ（予測特徴画像）として追加し、これら指標データ（予測特徴画像）及びサブ指標データ（予測特徴画像）に同類対応する撮像画像に関して再度ステップＳ２０２からのマッピング演算を実行する。マッピング演算は１固定値の近傍幅でのみ実行される。

上記によれば、いずれかの指標データ（予測特徴画像）につきユークリッド距離が近似範囲外となる類似度の低い撮像画像が存在する場合、この撮像画像に合わせてサブ指標データ（予測特徴画像）が追加設定され、既に指標データ（予測特徴画像）に同類分類されている撮像画像も前記サブ指標データ（予測特徴画像）を含めた複数の指標データ（予測特徴画像）に対し改めて同類分類し直されるものである。

他方、ステップＳ２０６で全撮像画像とこれに同類対応する指標データ（予測特徴画像）とのユークリッド距離が近似範囲内であると判定されればステップＳ２０８に進む。

ステップＳ２０８では全指標データ（予測特徴画像）相互間のユークリッド距離を計算して最短距離にある指標データ（予測特徴画像）の対を求める。さらに、これら対をなす指標データ（予測特徴画像）に同類対応する撮像画像相互間のユークリッド距離を計算し、その中で最大のものを求める。

最短距離にある指標データ（予測特徴画像）に同類対応する撮像画像相互間の最大ユークリッド距離をステップＳ２０８で求めた後、ステップＳ２０９でその最大ユークリッド距離が所定の判定値内か否かを判定する。判定値内の場合はステップＳ２１０に進む。

ステップＳ２１０ではこの最短距離にある両指標データ（予測特徴画像）の平均値を新指標データ（予測特徴画像）とし、元となった両指標データ（予測特徴画像）を削除する。そして再度上記ステップＳ２０８からの演算を実行する。

上記によれば、所定の近似値以上に近似する画像が複数の指標データ（予測特徴画像）に過剰に同類分類されるような場合、その複数の指標データ（予測特徴画像）は適正な新指標データ（予測特徴画像）に統合され、更新されることとなる。

他方、ステップＳ２０９で最大ユークリッド距離が判定値外と判定された場合はステップＳ２１１に進む。

ステップＳ２１１では、各指標データ（予測特徴画像）がいずれの撮像画像に同類対応するかを検索する。ステップＳ２１２において、いずれの撮像画像にも同類対応しない無対応指標データ（予測特徴画像）であると判定されたものがあった場合、それらの無対応指標データ（予測特徴画像）はステップＳ２１３で全て削除される。他方、ステップＳ２１２で無対応指標データ（予測特徴画像）と判定されたものがなかった場合は、有効な指標データ（予測特徴画像）のみ存在しているという結論をもって一連の処理が終了する。

以上のように分析すべき各撮像画像は、近似範囲内の指標データ（予測特徴画像）に、且つ所定の近似度以上に分散して存在する指標データ（予測特徴画像）グループに過不足なく分類仕分けされることになる。また、これらの処理結果を保存するについては、前記の特徴抽出演算された詳細な画像データである代表画像としての各予測特徴画像と、これら各々に同類分類された撮像画像の照合データを保存する。予測特徴画像は撮像のままの画像も含むが、加工され圧縮されたデータである場合もあるので、さらに特徴抽出装置１は、図示はしないが、各予測特徴画像とのユークリッド距離が最小である撮像画像のカメラ画像データを代表実画像として併せて記憶保存する構成となっている。

すなわち、予測特徴画像は各撮像画像から所定の演算精度で抽出分類された平均的な特徴を備えた代表画像ということになるのであるが、この代表画像に対応する詳細なカメラ画像データが代表実画像となる。このため、分類仕分けを別途任意選択で設定した圧縮画像データに基づき簡易に高速処理するにしても、詳細なカメラ画像データがそのまま代表実画像として保持されているので、分類仕分け画像を更に同類仕分け演算することとなった場合、各々の代表実画像データと照合データから得られる仕分け画像の数量情報をもって精度の高い特徴抽出を行うことが可能となる。

また、上記の分類仕分け演算方式では演算開始時に分類すべき全撮像画像が存在していることが必要である。そこで、演算の負荷を軽減するため、多量の画像データを所定数量（例えば２０〜２００画像）に分割して演算処理する（以下「分割演算処理」の語を用いる）とともに、全ての分割演算処理の終了後、これら分割演算処理で得た各々の特徴画像に関して上記同様に更に同類仕分け処理を行うこととする。この同類仕分け処理には先の分割演算処理で得た予測特徴画像か、これら予測特徴画像の各々に対応する代表実画像データを選択的に使用する。最終的には別途任意に選択される圧縮精度の画像データに基づき全画像データの特徴を抽出する。

上記のように何巡かの比較（学習）を繰り返して複数個の予測特徴画像を確定し、且つ各々の値を収斂させる。これにより試料の特徴が明確化する。別の試料の特徴抽出を行うに際しては、別の試料から撮像した各々の波長帯域画像がこれらの予測特徴画像と同様の同類関係となるかどうか、必要個数のチェックを行う。

図２６〜２８に、画像群を同類分類した例を示す。図２６には実際の試料を異なる波長で撮像した計１３枚の画像が示されている。撮像した波長は図２７、２８に示すとおりである。演算を行ったところ、最初は図２７のようにＡ〜Ｆのように６グループに分類されたが、次に画像一点の明るさを同レベル値にシフト補正して再度演算を行ったところ、今度は図２８の如く目視での特徴抽出同様にＡ〜Ｄの４グループに分類された。

ここで取得画像に明るさの基準点を設け、各画像の明暗両基準点の明度レベル値を合わせる画像補正を施すこととすれば、更に人の目視での特徴確認とほぼ同等に特徴把握と同類分類が可能となる。

画像データから試料の特徴を求めるのに、全画素データを用いない方法もある。その方法の一例を図２９に示す。ここではまず画像を２値化する。そしてピクセルのマトリックスの行単位と列単位でそれぞれ黒像（又は白像）のピクセルが何個あるかを調べ、各行各列の個数データをもって特徴とするものである。２値化でなくグレイスケールとして行単位、列単位で各々ピクセルのデータ量を加重し、各行各列の加算値又は平均値をもって特徴パターンを得てもよい。また、全画素を所定個数ずつブロック化し、そのブロックの平均値をとった圧縮画像を用いてもよい。

なお代表画像を求めるにあたり、上述のように第１の方法としては逐次比較演算の手法があり、第２の方法としては自己組織化特徴地図の手法を応用したものとがあるが、両者は随時選択して使用できるようにしてもよいし、何れか一方のみ実施するようにしてもよい。

なお上記説明では試料の紙面全域画像を対象にしたが、紙面全域でなく限定領域面での各検査波長光に対する光学特性の撮像画像としても、同様の構成で同様目的が達成できる。

以上本発明の各実施形態につき説明したが、発明の主旨を逸脱しない範囲でさらに種々の変更を加えて実施することができる。

本発明は試料の表面を光学的に特性分析する特徴抽出方法に広く利用可能である。

本発明特徴抽出方法を遂行する特徴抽出装置の構成図にして、光学機構部分を断面図としたもの特徴抽出装置本体部の水平断面図図２と同様の水平断面図にして、異なる状態を示すもの光源部の水平断面図図４と同様の水平断面図にして、異なる状態を示すものバンドパスフィルタの正面図特徴抽出装置のブロック構成図波長をずらしつつ撮像したときの画像の変遷を示す図複数のカメラの撮像画像を補正を加えないまま使用する状況を観念的に示す図複数のカメラの撮像画像を補正を加えて使用する状況を観念的に示す図カメラ補正用の明暗基準点を試料画像中に設定する状況を示す図カメラ補正用の明暗基準プレートの図第１の特徴抽出方法を説明する図にして、画像の差分のイメージを示すもの画像の差分値をデジタル値として表現するＡＤ値の表差分値の絶対値である指数の表指数のグラフ差分値に基づき代表画像を選定する方法の第１の説明図差分値に基づき代表画像を選定する方法の第２の説明図画像分類作業のフローチャート第２の特徴抽出方法を説明する図にして、動作原理の第１説明図上記動作原理の第２説明図上記動作原理の第３説明図上記動作原理の第４説明図上記動作原理の画像解析への適用を説明する図画像分類作業のフローチャート第２の特徴抽出方法を適用する画像例の図図２５の画像例の分類演習結果を示す第１の表図２５の画像例の分類演習結果を示す第２の表第３の特徴抽出方法を説明する図撮像ログ事例を説明する図

符号の説明

１特徴抽出装置
２本体部
３演算装置
１０ハウジング
１１光学セクション
１２制御セクション
２３試料ホルダ
３０検査光発生装置
３１光源部
３８分光器
５０撮像装置
５１ＣＣＤカメラ
５２赤外線カメラ
５７分光器
５８バンドパスフィルタ
８７画像解析部

Claims

試料に紫外域から近赤外域にわたる波長域の光を、全波長域光又は互いに中心波長を異ならせた複数波長帯域光を検査光として選択的に順次照射し、該照射された各々の検査光に対して前記試料からの光を互いに中心波長が異なる所定波長帯域毎に順次撮像することによって複数の撮像画像を得て、これら撮像画像から前記試料の光学的な特徴を抽出する方法であって、
同類分類処理の指標データとして予測特徴画像を複数個ランダムに設定する第１ステップと、
前記複数の撮像画像の各々別に、前記複数個の予測特徴画像との近似度を比較しつつ最も近似する予測特徴画像を同類関係にあるとして当該撮像画像に近づくように順次修正する第２ステップと、
前記予測特徴画像の同類撮像画像への修正を前回より小さくして前記第２ステップを繰り返し実施させることにより、各々の特徴画像を同類関係にある撮像画像の代表画像として次第に収斂させる第３ステップと、
前記複数の撮像画像のうちで収斂された前記予測特徴画像のいずれに対しても所定の近似範囲に含まれない撮像画像があった場合、これらの撮像画像を用いて新たな予測特徴画像を作成する第４ステップと、
を含み、
前記第４ステップにおいて新たな予測特徴画像が作成されたときに、当該新たに作成された予測特徴画像を含む複数の予測特徴画像について前記第２ステップ及び第３ステップを行い、前記複数の撮像画像のいずれもが、収斂された当該新たに作成された予測特徴画像を含む複数の予測特徴画像のいずれかと所定の近似範囲内となるまで第２ステップ〜第４ステップを繰り返すことを特徴とする特徴抽出方法。
前記複数の撮像画像のいずれとも同類関係にない前記予測特徴画像が生じたときは、この予測特徴画像を削除することを特徴とする請求項１に記載の特徴抽出方法。
収斂された前記予測特徴画像相互間の距離が所定の値内の場合で且つ、当該予測特徴画像に同類対応する複数の撮像画像相互間の最大距離が別途設定した値内の場合、これらの予測特徴画像をこれらの平均値に統合更新することを特徴とする請求項１に記載の特徴抽出方法。
前記予測特徴画像は各撮像画像から所定の演算精度で抽出分類された平均的な特徴を備えた代表画像であり、該代表画像に対応する詳細なカメラ画像データを代表実画像として保持していることを特徴とする請求項１〜請求項３のいずれか１項に記載の特徴抽出方法。