JP4123469B2 - 特徴抽出方法 - Google Patents
特徴抽出方法 Download PDFInfo
- Publication number
- JP4123469B2 JP4123469B2 JP2002112289A JP2002112289A JP4123469B2 JP 4123469 B2 JP4123469 B2 JP 4123469B2 JP 2002112289 A JP2002112289 A JP 2002112289A JP 2002112289 A JP2002112289 A JP 2002112289A JP 4123469 B2 JP4123469 B2 JP 4123469B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- value
- images
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Spectrometry And Color Measurement (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Inspection Of Paper Currency And Valuable Securities (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は検査すべき試料、とりわけ紙面に文字及び絵柄模様等が印刷された紙葉類の紙面を光学的に特性分析して特徴を抽出分類する方法に関する。
【0002】
【従来の技術】
紙幣、有価証券、切手等、紙葉を媒体として交換価値を体現させたものにあっては、その真贋鑑別が常に大きな問題となり、真贋を鑑別するにあたっては、その紙葉類の特徴が何であるかを適正に把握しておく必要がある。
【0003】
近年ではカラーコピー機、カラープリンタ、スキャナ等の性能向上と価格低下が進み、紙葉類の偽造を誘発しやすくなっている。そのため、市販のカラーコピー用トナーやプリンタインクには含まれない物質、例えば蛍光物質その他の機能性材料を用いて、通常の照明条件下では、且つ肉眼では見えないマーキングを施すといったことも行われる。これらのマーキングは当然に紙葉類の特徴を構成する。
【0004】
特開2001−52232号公報に記載された紙葉類真偽識別装置では、被識別紙の特定部位に紫外線を照射し、この紫外線照射部位からの透過光又は反射光を波長選択フィルタにかけて特定の波長帯域の光のみフォトセンサアレイに受光させ、フォトセンサアレイの光出力信号に基づき被識別紙の紙質の真偽を識別し、また、紫外線照射によって蛍光を発生する蛍光体の真偽を識別し、両識別結果がいずれも真のとき、被識別紙を真としている。
【0005】
上記紙葉類真偽識別装置はフォトセンサの光出力信号により紙葉類に使われている紙が本物であるかどうかを識別する。ただしこの装置はすでに認知されている光学特性を確認するものであり、その紙の上の印刷図形までチェックするものではないため、紙葉類の真贋鑑別手法として万全であるとは言い難い。
【0006】
特開平4−288697号公報に記載された書類検査装置では、波長の異なった少なくとも2つの光部分を書類の共通区域上に向け、反射光又は透過光を直線状検出器で検出する。
【0007】
上記書類検査装置は印刷図形を検査基準とすることができる。また複数個の検出器で反射光または透過光を検出し、検出器から来る信号を単独で、又は適切な組合わせで評価するものであり、多面的な検査が可能である。しかしながら、複数個の検出器により得たデータをどのように関連づけて処理し、検査装置の機能を向上させるかについては、技術面での追求が十分になされているとは言い難い。
【0008】
スイス特許第476356号は銀行券の特徴的な色調に基づいて光学的に銀行券を検査する装置を開示している。検査にあたっては、銀行券の特定表面を広域光源から出る光で照射する。その反射光を光学的な散乱機構、例えばガラスプリズムで様々な波長域に分光する。様々な波長域に存在する色の明度をいくつかの、関連する光電検出器で記録する。測定した信号を閾水準で評価し、測定値が許容範囲に収まっていればOK信号が得られる。
【0009】
上記装置の場合、予め予定した光電検出器で特定される波長しか検出できないので、光学特性が未知の紙葉類の分析には適さないものであった。また、検査されるエリアもスポットであるので、光学画像としての分析もできない。
【0010】
周知の分光光度計等は広波長域での光学特性を計測するが、計測エリアがスポットであり、紙面全域の特性検査は難しい。また、CCDカメラ等で紙面全域の光学特性を計測する装置も周知であるが、検索波長帯域が400〜1,000nmと狭く、撮像画像を多数枚得るのみである。これらでは各波長光に対応する多数枚の紙面光学特性画像からの試料の特徴抽出に膨大な労力と時間を要し、各々紙面画像情報が複雑で且つ投受光の細密多段階な検索条件での試料の特徴検出は難しく不完全なものとなっていた。
【0011】
【発明が解決しようとする課題】
本発明は、試料の特徴を、それが未知の試料であっても自動的且つ的確に抽出することのできる特徴抽出方法を提供することを目的とする。
【0012】
【課題を解決するための手段】
本発明は、試料に紫外域から近赤外域にわたる波長域の光を、全波長域光又は互いに中心波長を異ならせた複数波長帯域の光を検査光として選択的に順次照射し、該照射された各々の検査光に対して前記試料からの光を互いに中心波長が異なる所定波長帯域毎に順次撮像することによって複数の撮像画像を得て、これら撮像画像から前記試料の光学的な特徴を抽出する方法であって、前記順次得られる撮像画像同士の差分値を特徴抽出の指標として算出し、前記順次算出された差分値を用いて、同類画像と画像の明るさの増減の変化が現れた代表画像とを決定して登録し、前記代表画像に対して前記差分値により同類の特徴を示す撮像画像、及び前記登録した代表画像以外の撮像画像を消去することを特徴としている。
【0013】
このように、試料に紫外域から近赤外域にわたる波長域の光を、全波長域光又は互いに中心波長を異ならせた複数波長帯域の光を検査光として選択的に順次照射し、該照射された各々の検査光に対して試料からの光を互いに中心波長が異なる所定波長帯域毎に順次撮像することによって複数の撮像画像を得るものであるから、照射光の波長帯域(又は波長帯域の中心波長)と撮像光の波長帯域(又は波長帯域の中心波長)の双方を変化させつつ、あるいは一方の波長帯域(波長帯域の中心波長)を変えつつ撮像した複数個の撮像画像につき所定のルールに基づく演算を行って特徴を抽出し分類することができ、基となる光学特性としての画像数が多くてもその中から当該試料の特徴を自動的に絞り込むことができる。更には広い波長域にわたり多数の光学特性撮像画像を取得することとして、その試料の特徴を確実且つ正確に抽出分類できる。
【0014】
また、順次得られる撮像画像同士の差分値を特徴抽出の指標として算出し、順次算出された差分値を用いて、同類画像と画像の明るさの増減の変化が現れた代表画像とを決定して登録し、代表画像に対して前記差分値により同類の特徴を示す撮像画像、及び登録した代表画像以外の撮像画像を消去することとした。これにより、1枚の試料に費やすメモリの量を節約することができる。
【0015】
また本発明では、前記同類画像と代表画像の決定には、各対象画像に対応する画素の明るさについての差分AD値とこれら各差分値の度数との積の総和である積和を用いることとした。このように画像同士の差分値をもって特徴点抽出の指標とすることにより、各波長帯での試料紙面全域の多様な特徴と、これら波長の変化に伴う画像の明るさ、すなわち特性の変化に関する変遷トレンドをとらえ、特徴点も的確に把握することができる。
【0016】
また本発明では、前記同類画像と代表画像の決定には、対象画像に対応する画素別の明るさについての差分AD値の絶対値である指数とこれら各差分値の度数との積の総和である指数和を用いることとした。このように画像同士の差分値をもって特徴点抽出の指標とすることにより、各波長帯での試料紙面全域の多様な特徴と、これら波長の変化に伴う画像の明るさ、すなわち特性の変化に関する変遷トレンドをとらえ、特徴点も的確に把握することができる。
【0020】
【発明の実施の形態】
以下図に基づき本発明の実施形態を説明する。最初に、本発明特徴抽出方法を遂行する特徴抽出装置の構造を図1〜7により例示して説明する。
【0021】
特徴抽出装置1は本体部2と演算装置3を備える。本体部2はハウジング10を有し、その内部の構成要素はブロック構成で見ると図7に示すように光学セクション11と制御セクション12に区分される。図1〜6には専ら光学セクション11に含まれる構成要素を図示する。
【0022】
本体部2のハウジング10は複数個のキャスタ21により床面上に移動可能に支持されている。ハウジング10の一部には扉22があり、この扉22を開けて試料ホルダ23を出し入れする。扉22を閉めればハウジング10の内部は暗室状態になる。試料ホルダ23は検査すべき紙葉類の試料をその被検査面が検査光の光軸にほぼ垂直になるように保持する。この被検査面に検査光を照射し、反射光(蛍光物質の励起光があれば、その励起光も含む)を撮像する。続いて検査光発生装置30と撮像装置50の構成を説明する。
【0023】
検査光発生装置30の光源部31は250〜2,000nmの波長域の光を発する。このような広い帯域の光を単一のランプで発生させることはできないので、キセノンランプ32とハロゲンランプ33の2種類のランプを使用する(図4、5参照)。キセノンランプ32は250〜380nmの検査光を得るのに用い、ハロゲンランプ33は381〜2,000nmの検査光を得るのに用いる。
【0024】
キセノンランプ32とハロゲンランプ33はランプハウス34の中に向かい合わせに配置されている。電源投入後ランプが所定のスペクトルの光を放つようになるまでには時間がかかるので、ランプの切り替えの度にランプを点灯したり消灯したりするのでなく、装置稼働中は両ランプとも連続点灯させておき、必要な側の光をその都度可動ミラーで反射させて選択的に取り出すようにしている。35がその可動ミラーであって、反射面をキセノンランプ32に向け45゜の角度に置く図4の位置と、反射面をハロゲンランプ33に向け45゜の角度に置く図5の位置とに、図示しないモータ又はソレノイドにより切り替えられる。可動ミラー35に当たった光は直角に向きを変え、ランプハウス34の一側面の出射窓36を通ってレンズハウス37に入る。
【0025】
レンズハウス37の中のレンズ群により発散角度を整えられた光は分光器38に入る。分光器38は収差補正型の零分散ダブルモノクロメータであって、駆動波長域は250〜2,000nm、半値幅は30nm又は60nm、分解能は15〜30nmに設定されるが、必要時には「光源の全波長域を含む白色光」に設定することもできる。分光器38から出射される所定の波長帯域の光が検査光となる。
【0026】
分光器38の出射窓にはレンズハウス39が連結される。レンズハウス39の中に配置されるレンズ(図示せず)は検査光の発散角度を調整するためのものであって、試料ホルダ23において180×180mmのエリアを照射するときと、同じく50×50mmのエリアを照射するときとで発散角度を切り替える。
【0027】
レンズハウス39を出た検査光は固定ミラー40、41で反射を繰り返しながら空間内を進み、試料ホルダ23に保持された試料を照射する。試料の被検査面で反射・吸収された光が撮像装置50に入る。なお試料ホルダ23は、試料の照射角と反射角が画像歪をできるだけ小さくする角度となるように角度設定されている。
【0028】
前述のとおり検査光の帯域は250〜2,000nmにわたるが、ここまで広い感受域を備えた撮像手段は存在しないので、2種類のカメラをもって撮像装置50を構成する。その一方はCCDカメラ51であり、図2、3に見られるように試料ホルダ23の真正面に配置される。他方は赤外線カメラ52で、試料ホルダ23の真正面から水平方向にずれた位置に、CCDカメラ51と平行に並ぶ形で配置される。
【0029】
シリコン等からなる撮像素子を有するCCDカメラ51は波長250〜1,000nmの反射光を撮像するのに用いる。白金インジウム又はインジウムアンチモン等からなる撮像素子を有する赤外線カメラ52は1,000〜2,000nmの反射光を撮像するのに用いる。これらのカメラは約65,000(≒256×256)ピクセルから約100万(≒1024×1024)ピクセル、あるいはそれ以上の画素数を有し、分析すべき試料面を16384階調から65536階調以上の濃淡細密画像として撮像し入力する。
【0030】
カメラの切り替えは図2、3に示す可動ミラー53により行う。可動ミラー53は図示しない駆動機構により水平方向に移動するものであり、図2の位置にくると試料ホルダ23からの反射光は真っ直ぐCCDカメラ51に届く。可動ミラー53が図3の位置にくると反射光は可動ミラー53により直角に曲げられ、固定ミラー54でもう一度直角に曲げられて赤外線カメラ52に届く。
【0031】
55a、55b、56a、56bは図示しない駆動機構により試料ホルダ23とCCDカメラ51、及び固定ミラー54と赤外線カメラ52との間の各光路に出没する収束レンズである。収束レンズ55a、56aは照射エリアが180×180mmであった場合の反射光を収束するときに用い、収束レンズ55b、56bは照射エリアが50×50mmであった場合の反射光を収束するときに用いる。
【0032】
なお図1、2、3において収束レンズ55aと55bの組み合わせが同時に、又は収束レンズ56aと56bの組み合わせが同時に、光路中に存在するように描かれているが、これは単に図示の都合によるものであって、実際には各々組み合わせの一方のみが光路中に進出し、他の一方は光路外に退避している。
【0033】
収束レンズ55a、56aを使用したときと収束レンズ55b、56bを使用したときとでCCD又は赤外線撮像素子上の受光面積及び/又は結像位置が若干変化するため、図示しない駆動機構によりこれらカメラ51、52を光軸に沿って移動させ、前記変化に対応した補償を行うようにしている。なおカメラを移動させる代わりにズームレンズ機構を使用してもよい。
【0034】
撮像する光を所定の波長域に絞り込むため、CCDカメラ51には分光器(紫外可視イメージ分光器)57が組み合わせられ、赤外線カメラ52にはバンドパスフィルタ(近赤外バンドパスフィルタ)58が組み合わせられる。分光器57は半値幅30nm、分解能15nmである。バンドパスフィルタ58は半値幅30〜60nm、分解能30nmである。なお、これら分光器57及びバンドパスフィルタ58は光源側の分光器38と同様に全波長域光を選択する機能も有する。
【0035】
図6にバンドパスフィルタ58の構造例を示す。これは、各々図示しないモータによりインデックス回転せしめられる3台のタレット59a、59b、59cを組み合わせたものである。各々のタレット59a、59b、59cは13枚ずつのフィルタホルダ60を放射状に保持し、各1枚のフィルタホルダ60を光路に一致させる。図6においてハッチングを施した円(円はフィルタを表す)が光路の位置を示す。
【0036】
タレット59a、59b、59cの保持する13枚ずつのフィルタホルダ60のうち、12枚には通過波長の帯域を少しずつ異ならせたフィルタ61を取り付け、残り1枚は全波長域用として素通しとする。タレット59b及び59cで素通しのフィルタホルダ60を選択すれば、タレット59aのフィルタ12種を単独使用できる。タレット59a及び59cで素通しのフィルタホルダ60を選択すれば、タレット59bのフィルタ12種を同様に単独使用できる。タレット59a及び59bで素通しのフィルタホルダ60を選択すれば、タレット59cのフィルタ12種を同様に単独使用できる。またタレット59a、59b、59cのすべてで素通しのフィルタホルダ60を選択すれば全波長域光が選択される。
【0037】
次に図7に基づき特徴抽出装置1のブロック構成を説明する。
【0038】
本体部10の制御セクション12はランプ制御部70、ミラー制御部71、レンズ制御部72、照射側分光器制御部73、撮像側分光器制御部74、及びカメラ制御部75を備える。ランプ制御部70はキセノンランプ32とハロゲンランプ33の点消灯を制御する。ミラー制御部71は可動ミラー35、53の動作を制御する。レンズ制御部72はレンズハウス39の中のレンズと収束レンズ55a、55b、56a、56bの動作を制御する。照射側分光器制御部73は分光器38の動作を制御する。撮像側分光器制御部74は分光器57とバンドパスフィルタ58の動作を制御する。カメラ制御部75はCCDカメラ51と赤外線カメラ52の露出時間その他の撮影条件の設定及び撮像を制御する。
【0039】
演算装置3のブロック構成は次のようになっている。80は中央処理部で、マイクロプロセッサと記憶装置を備えている。81は操作部で、これはキーボード等の入力手段、及び演算装置3の本体筐体に設けられた各種スイッチにより構成される。82は表示部で、CRTや液晶等のモニタと、演算装置3の本体筐体に設けられた発光ダイオード等の表示手段により構成される。演算装置3と本体部2とは図示しないケーブルで接続され、互いに信号を交換する。
【0040】
83〜88は中央処理部80のシステムリソースをそのまま利用して、あるいは中央処理部80のシステムリソースにハードウェア要素を付加して構成されるデータ処理ブロック群である。83はA/D変換部で、これは撮像装置50から伝達された画像のアナログデータをデジタルデータに変換するものである。84はCCDカメラ51及び赤外線カメラ52を適正に制御するとともにCCDカメラ51で得た画像データと赤外線カメラ52で得た画像データを一元化し、合わせて別途選択設定される必要サイズの入力画像として切り出すとともに、画像サイズを圧縮する補正演算部である。85は補正演算部84で演算を行うための演算係数等のパラメータを記憶する補正データ記憶部である。86は上記必要サイズに切り出された画像、圧縮された画像、及び画像の特徴抽出のために加工演算される一時的な中間画像を保持するイメージバッファ部である。87は特徴の抽出を行うための画像解析部、88は特徴が明確であるとして選択された代表画像及び関連データを格納する代表データ格納部である。
【0041】
次に特徴抽出装置1の操作につき説明する。まず本体部2の扉22を開けて試料ホルダ23を取り出し、検査すべき試料を取り付ける。試料を取り付けた試料ホルダ23をハウジング10内の所定の位置にセットし、扉22を閉める。それから、試料を検査光で照射し、そこから反射した光を撮像装置50で撮像する。
【0042】
検査光発生装置30は250〜2,000nmという、紫外域から近赤外域にわたる広い波長域の光を、全波長域光(白色光)又は所定ピッチで中心波長をずらしつつ所定帯域の検査光として選択的に順次発生する。試料面は検査光に応じた見え方をする。例えば紙を構成する物質の中に、あるいは印刷インクの中に蛍光物質が含まれていた場合、その蛍光物質は特定波長の検査光に反応して励起光を発する。この励起光と反射光を合わせた光画像を分光器57又はバンドパスフィルタ58に通し、特定波長光の濃淡画像としてCCDカメラ51又は赤外線カメラ52で撮像する。
【0043】
図8は照射する検査光の波長域をずらしつつカメラ側の分光器及びバンドパスフィルタを素通しで、すなわち全波長域光として撮像したときの紙葉類の画像の変遷を例示する。(a)では紙葉類本来のパターンは全く見えず、蛍光物質の励起によるパターンが右下に見えているのみである。(b)→(c)→(d)→(e)→(f)と検査光の波長が長くなるにつれ、紙葉類本来の目視可視光パターンが徐々に見え出し、励起光パターンは消える。(g)で紙葉類本来のパターンが最も鮮明で明るい像を結ぶ。以後、(h)→(i)→(j)→(k)と検査光の波長が長くなるにつれ、画像は鮮明さと明るさを失う。(l)では近赤外線にのみ感応するパターンが見えるだけとなる。
【0044】
なお、図8はあくまでも説明用に単純化した作図例であって、現実の画像がこれと同じような変遷をたどる訳ではない。実際の紙葉類を250nmから2,000nmの波長にわたり撮像した画像群はこれよりはるかに複雑な変化を示す。
【0045】
前述のとおり、検査光発生装置30は検査光として段階的に波長が異なり且つ帯域の狭い複数種の光又は全波長域光(白色光)を照射する。検査光の中心波長を250〜2,000nmの間に86段階(その内1段階は全波長域光)設定し、撮像側でも分光器57とバンドパスフィルタ58とを通算して86段階(その内1段階は全波長域光)の通過波長帯域が設定されるものとすると、86×86=7,396通りの画像が撮像されることになる。
【0046】
CCDカメラ51と赤外線カメラ52はそれぞれ固有の光感受特性を有する。それを観念的に示したのが図9である。両カメラの撮像可能波長帯域は1,000nm近辺で重複し、その中の1,000nmを切り替え点として両カメラを切り替え使用する。ところがそのままでは切り替え点において、画像の明るさと濃度勾配は、CCDカメラ51で撮像した画像と赤外線カメラ52で撮像した画像とでは全く異なったものとなる。このままでは同一条件の画像データに2つの種類があるということになり、画像処理ソフトウェアとデータ蓄積部が二元化し、演算装置3のシステムリソースを余分に費消する。
【0047】
そこで、切り替え点におけるCCDカメラ51と赤外線カメラ52の撮像画像の近似度が所定レベル以上になるよう、すなわち、あたかも単一のカメラをもって切り替え点をまたぐ撮像が行われたかのように一方又は双方のカメラを補正する。具体的にはカメラの露光時間を調整して画像の明るさを補正し、また感度とゲインを調整して濃度勾配を補正する。明るさと濃度勾配は一方だけ補正してもよく、両方補正してもよい。切り替え点を離れても撮像特性はフラットな方が望ましいので、各波長レベルで補正を行う。ここで行う補正を観念的に示したのが図10である。
【0048】
画像の明るさや濃度勾配を補正するには、撮像面の一部に予め明るい方の基準点と暗い方の基準点を定め、両方のカメラの読み取り値が明るい方は明るい方、暗い方は暗い方で同一レベルになるように、また必要な明暗域(ダイナミックレンジ)を演算用の256階調に補正する必要がある。基準点を定めるにあたっては、次の2手法のうちいずれかを用いる。
【0049】
図11に示す手法では、試料の画像自体の中に基準点を設定する。90が試料の画像であって、その中の明るい部分と暗い部分とにそれぞれ基準点91、92を設定する。CCDカメラ51で撮像した画像の基準点91、92と赤外線カメラ52で撮像した画像の基準点91、92とを比較した場合、両カメラによる両基準点の明るさ及び基準点91、92間の濃度勾配が所定レベル以上の近似度となるようにカメラ制御値の補正を行う。
【0050】
図12に示す手法では装置の試料ホルダ23に配置された明暗基準プレートを用いる。すなわち明るい方の基準プレート93と暗い方の基準プレート94が撮像エリアにあり且つ紙葉類の試料によって覆い隠されない場所に取り付けられており、試料の画像とともに基準プレート93、94の画像も取り込まれる。この基準プレート93、94の画像値に基づき上記と同様にカメラ制御値の補正を行う。
【0051】
光蓄積時間調整はいわゆる時間可変のシャッター機能を備えたCCDを利用することにより実現できる。また、CCDの前に硝子板表面に遷移金属酸化物等(IrOx、Ta2O5・WO3等)の膜を形成した物性素子を置き、この物性素子に電圧を印加することにより膜の光透過率又は光透過量を調整するようにしてもよい。この調整にあたっては、予め撮像波長毎に使用する印加電圧或いは、シャッター開時間の設定テーブルを用意しておく。
【0052】
このようにカメラ制御値の補正を行うことにより、画像処理ソフトウェアとデータ蓄積部を一元化し、システムリソースの節約と処理のスピードアップを図ることができる。また、必要に応じて明るさ、及び/又は濃度勾配を演算処理で更に別精度に追加補正する場合にも、元の撮像画像同士が近似しているため正確な演算処理が可能となる。補正演算を行うための演算係数等のパラメータは補正データ記憶部85に記憶させておく。
【0053】
さて、特徴抽出装置1により撮像波長帯域の異なる多数の画像を取得することが可能であるが、例えば各ピクセルが数万濃淡階調で約100万ピクセル構成の各々細密画像データ全てを当該紙葉類の特徴画像として扱うと膨大なメモリが必要となるうえ、後で同種の紙葉類の特徴抽出を行うに際してもこのように沢山のデータを特徴として格納していたのでは照合に時間がかかりすぎる。
【0054】
また、同一種の試料同士であっても位置ずれやかすれ等で全く同じ印刷状態であるとは限らないし、使用すれば色褪せや皮脂等の汚れ成分の付着が発生して、撮像した画像に相違が生じるということが十分にあり得、同一種の試料でも偽造券として排除することにもなりかねない。従って、特別に微細な高精度の特徴検索以外では、抽出すべき特徴は細密微細な光学的特性を保持しつつもある程度大ぐくりなものに画像サイズ/又は濃淡階調度を圧縮して許容範囲を持たせたほうが良い。
【0055】
そこで演算装置3は、イメージバッファ部86に入力された多数の必要なサイズに切り出された切り出し画像及び/又は、圧縮画像につき所定のルールに従い、特徴抽出に基づく同類分類演算を行い、当該紙葉類の特徴を特に明確に現している画像を代表データとして代表データ格納部88に格納する。以下、自動的に特徴を抽出する演算方法につき説明する。
【0056】
紙葉類の特徴抽出及び同類分類に関する第1の方法は分類すべき画像間の差分を用いるものである。図13に差分による分析の概念を示す。すなわち、ある画像と他の画像との間のデータの差異に着目する。第1の画像が「ABCDEF」のデータを持ち、第2の画像が「ABDEF」のデータしか持っていないとすれば、両者の差分は「C」となる。この差分「C」を材料として特徴の分析を行うものである。
【0057】
差分のデータとしては各画像の対応する画素別の「明るさ」についての差値(差分値)とこれら各差分値の度数(各差分値別のデータ数)を求める。「明るさ」が「明るい」とは、撮像した波長帯域において反射光及び/又は励起光の量が多いということを意味する。つまりその撮像波長帯域で現れるべき特徴的なパターンがより明確に表れているということである。「明るい」を「濃い」と言い換えることもできる。逆に「暗さ」は光の吸収の特性を表すものである。また「度数」は、その差分値を備えた画素の数を示す。
【0058】
以後の演算は実際の画素における明るさをデジタル値に変換した256階調のAD値により行う。従って、両画像の「明るさ」の差分値は図14に示すように−255〜+255のAD値のいずれかに置き換えられる。
【0059】
演算においては各差分AD値と度数との積を求めたうえで積の総和を求めるのであるが、この積の求め方に関して、AD値に正負の符号を付したまま度数との積を求める方法(図14に示した例がこれに該当する)と、AD値の絶対値である「指数」と度数との積を求める方法(図15に示した例がこれに該当する)とがある。前者の積の総和を「積和」と称し、後者の積の総和を「指数和」と称する。
【0060】
指数を用いて演算を行う場合、演算を容易にするため、差分の差がさらに強調されるようにする。図15にその手法の一例を示す。図15では差分値の絶対値を求めたうえで、そこからさらに「一定の値」を減じたものを「差分値指数」としている。マイナスの値が出る場合はこれを「ゼロ」とする。
【0061】
図15では「一定の値」を「30」に別途設定しており、これにより、差分値において−30から+30までの区間はノイズ成分の領域として差分値指数においてはすべて「ゼロ」となる。すなわち差分値が−30から+30までの画素(ピクセル)はすべて許容誤差域内の同一画像として取り扱われる。従って、近似画像間におけるノイズの影響が排除され、差分値が±30以上となる真に差を持った画素のみが別画像として認識される要素となるように構成されている。差分値と指数の関係をグラフ化したものを図16に示す。
【0062】
差分値に基づき特徴を抽出し、特徴を特に明確に表している画像を代表画像として選定する手法を図17により説明する。図17には8枚の画像が示されている。これらの画像は、所定ピッチで中心波長を異ならせた波長帯域毎に撮像を行い、波長順に並べたものである。画像Pi-4は明るさが低く、そこからPi-3、Pi-2とPiに近づくにつれ次第に明るさが増し、画像Piでピークを迎える。画像Piを過ぎると、画像Pi+3まで順次明るさが減少して行く。すなわち、黒画像から人物像が徐々に浮かび上がり、その後徐々にフェードアウトして黒画像に戻る様子を例示している。なお、明暗逆の場合も同様であることは自明であり、説明は略す。
【0063】
隣接画像間の各差分値とこれに対応する度数の積の総和(積和)をDiで表す。「明るさ小」から「明るさ大」への変化は「プラス」、その逆は「マイナス」と表される。積和Diは対比した両画像の相違量を示すものである。
【0064】
以下に説明するのは、前述の指数和が別途定められたしきい値より小さく、同類画像と判定される場合の代表画像の選定処理手順である。
【0065】
画像Pi-4とPi-3、Pi-3とPi-2、Pi-2とPi-1、Pi-1とPiの間の積和Diはいずれも「プラス」すなわち人物像の浮かび上がりの領域にある。ところが画像PiとPi+1の間になると積和Diが「マイナス」すなわち人物像のフェードアウトの領域に転じ、画像Pi+1とPi+2、Pi+2とPi+3の間も「マイナス」を維持する。「明るさ小」から「明るさ大」へと移ってきた趨勢が画像Piと画像Pi+1の間で逆転したためにこのような結果になったものであり、画像PiとPi+1の間が変化点ということになる。
【0066】
変化点の直前に位置する画像Piは前後の画像群の中で最も明るくくっきりしている。すなわちこの画像群に共通する特徴が最も識別しやすい形で表れたものであるから、これを代表画像として採用するとともに画像Piの前後の画像Pi-4、Pi-3…Pi+4を同類画像として代表データ格納部88に格納登録する。
【0067】
次に説明するのは、前述の指数和が別途定められたしきい値より大きく、同類画像でないと判定された場合の代表画像の選定処理手順である。
【0068】
図18は「明るさ小」から「明るさ大」へと変化してきたグループ1の画像群が画像Piと画像Pi+1の間で突如同類でないグループ2の画像群に転換してしまった場合を示す。この場合上記指数和は別途定められたしきい値より大きくなる。このときは前述のようにグループ1の画像群のうち最も明るい最後の画像Piが代表画像として登録されている。画像Pi-4、Pi-3、Pi-2、Pi-1では同類画像として情報のみが代表データ格納部88に格納登録されている。
【0069】
上記作業を繰り返し、250〜2,000nmの波長域にわたって取得した多数の画像群から何種類かの代表画像とその同類画像を抽出して同類画像情報と共に代表データ格納部88に格納登録する。
【0070】
このようにして1枚の試料から光学的な特徴が自動的に抽出され、その特徴を良く表した画像を代表画像として仕分け格納することになるが、この一連の画像解析は図19のフローチャートに従って遂行される。
【0071】
図19のステップS101では「今回の画像」と「前回の画像」との各画素毎の差分値を全画素にわたり求める。「今回の画像」は現在解析を行おうとしている解析画像、「前回の画像」は直前に解析を行った解析画像のことである。「前回の画像」は既にいずれかの代表画像と同類であることが見いだされているものとする。ステップS102では図15の手法により求めた差分値の値を強調した差分値指数と各差分値指数別の度数との積の総和を指数和として求める。ステップS103ではその指数和が所定のしきい値以上であるかどうかを判定する。予め定められたしきい値に達していなければ、すなわち今回の画像と前回の画像と類似であるとしてステップS104に進む。
【0072】
ステップS104では今回の画像が前回の画像よりも「明るい」かどうかを判定する。前述のとおり、「明るい」とは撮像した波長帯域において反射光及び/又は励起光の量が多いということを意味する。つまりその撮像波長帯域で現れるべき特徴的なパターンがより明確に表れているということである。「明るさ」比較においては指数和でなく、正負の符号を付した差分値と度数との積の総和(図14の積和)を用いる(ステップS105、ステップS106においても同様)。
【0073】
今回の画像が前回の画像よりも明るければステップS105に進む。ここでは前回の画像と同類関係にある代表画像と今回の画像との各画素毎の差分値を全画素にわたり求め、明暗を比較する。その結果、ステップS106で今回の画像の方が代表画像よりも所定値以上に明るいと判定されればステップS107へと進む。
【0074】
ステップS107では当該類似グループの代表画像を更新し、今回の画像を新たな代表画像とし、これまで代表画像であった画像を新しい代表画像の同類画像として登録する。
【0075】
ステップS104において今回の画像が前回の画像より明るくなかった場合はステップS108に進む。そして前回までの代表画像と同類であると登録される。
【0076】
ステップS106において、今回の画像が代表画像よりも所定値以上に明るくない、すなわち誤差域にあると判定された場合にもステップS108に進む。そして前回までの代表画像と同類であると登録される。
【0077】
一方、ステップS103で、指数和が所定のしきい値以上であると判定されれば今回の画像と前回の画像とは非類似ということになり、ステップS109に進む。
【0078】
ステップS109では当該試料に関してこれまで及び/又は今回の特徴抽出工程で登録した全代表画像と今回の画像とを積和でもって照合し、最近似画像として最小差分代表画像を探し、ステップS110に進む。
【0079】
ステップS110では最小差分代表画像を今回の画像の代表画像に仮設定するとともに、この仮設定代表画像と今回の画像との各画素毎の差分値を全画素にわたり求める。ステップS111では図15の手法により求めた差分値の値を強調した差分値指数と各指数別の度数との積の総和を指数和として求める。ステップS112ではその指数和が所定の判定値以上であるかどうかを判定する。予め定められた判定値に達していなければ、仮代表とした最小差分代表画像と今回の画像が類似であるとしてステップS105に進み、前述同様の処理が実行される。
【0080】
ステップS112で指数和が所定の判定値以上であれば、仮代表とした最小差分代表画像と今回の画像が非類似であるとしてステップS113に進む。そして今回の画像が新たな代表画像として登録される。
【0081】
画像データは、代表画像については特徴抽出演算に用いた詳細な画像データを残す。また、代表画像以外の画像については、各々代表画像との照合データ(光学特性の特徴抽出条件等の類分け情報)のみ残し、画像データそのものは消去し得るようにする。これにより1枚の試料に費やすメモリの量を節約可能とする。
【0082】
さらに特徴抽出装置1では、図示はしないが、代表画像に対応するカメラからの読み出し画像(カメラ画像)を代表実画像として併せて記憶保持する構成とした。すなわち、前後画像の差分値算出及びその他の分類仕分け演算を別途設定した圧縮画像データに基づき簡易に高速処理するにしても、詳細なカメラ画像データがそのまま代表実画像として保持されているので、更に別の演算仕様で再仕分け演算することとなった場合、各々の代表実画像データと照合データから精度の高い特徴抽出を行うことが可能となる。
【0083】
新たな試料につきこれら抽出特徴を用いて同異識別する必要が生じたときは、所定ピッチで検査光及び/又は撮像光の中心波長を異ならせつつ各々の波長帯域毎に新試料の紙面光学特性の画像撮像を行い、基準となる標本試料の代表画像撮像波長及び/又は所定の波長域で近似する画像を取得できたかどうか、及び/又は各々代表画像の同類画像の発現帯域を必要箇所で同異チェックすることにより比較判別を行う。
【0084】
ここで、図30の撮像ログ事例を用いて、照合データの説明を行う。撮像ログは検索仕様部と撮像データのインデックス部とで構成されている。検索番号は試料毎又は、検索単位毎に振られる番号である。試料サイズは撮像する媒体の大きさを示し、本例では50mm×50mmの大きさを有している。照射波長は250nm〜970nmであり、30nmピッチで変化させたことを示している。カメラはCCDカメラとIRカメラのうち、CCDカメラを使ったことを示す。「CCD画像サイズ=4×4(256×256)」は4画素×4画素を1単位として縦横256画素の領域として取り扱うことを示している。CCD露光時間は30mSである。「CCD露光時間自動設定=0」はオフを示し、CCD検知波長はスウィープ開始波長、終了波長と撮像波長ピッチが入るが、本例では全て0なので全波長(白色光)使用の設定がされていることになる。MEMOの欄には任意の文字を入力することができ、後で参照できる。「画像枚数=25」は、上記照射波長等の設定内容で算出される撮像枚数を示しており、撮像画像枚数が25枚あり、測定条件を違えたものが25種あることを示している。次にCCD撮像素子の冷却温度が−30゜C、IR撮像素子は使用しないことを示している。切出位置はカメラ撮像画像の有効領域内の座標を示し、10、33、29、233と設定されている。白基準位置は白基準の画像域を示しているもので、119、39、127、47で示される矩形領域である。また、黒基準の画像域は123、238、131、246で示される矩形領域である。folderは撮像画像データを格納するハードディスク内のフォルダ名で、検索番号を使用している。
【0085】
後半の撮像データのインデックス部は検索を開始してから終了までの各撮像に連番を振り分け、その撮像に対する条件を残している。例えば00000003番の行を説明すると次のようになる。17:28:50が撮像時刻を示し、17時28分50秒に撮像したことを示す。F=MCX0250−0000.BMPは、BMP形式の画像ファイルを意味し、このファイル名で実画像データが格納されており、撮像手段として、CCD撮像素子を用い、ランプはキセノンランプを使用し、検査光である照射光の波長は250nmであり、撮像側は全波長光を通過させていることを意味している。
【0086】
ファイル名に続くデータは、T=30.0が露光時間で30.0mSであることを示し、W=636は、上述の条件における白基準位置の白基準の読み取り値が636AD値であることを示し、B=621は黒基準位置の黒基準の読み取り値が621AD値であることを示している。S=735>>601は補正すべき有効ダイナミックレンジの値である。補正されると735ADから601AD値の間を256階調にダイナミックレンジをとることになる。末尾のOKは正常撮像画像であることを意味する。
【0087】
ここで照合データとして、光学特性の特徴抽出条件等の図30に示すファイル名データ及び、上述した付属の撮像条件のデータを残し、実際の画像データを消去することにより、メモリの節約が行える。
【0088】
紙葉類の特徴抽出及び同類分類に関する第2の方法は競合型学習を用いたニューラルネットワークの一手法である自己組織化特徴地図(self-organizing
feature map)を画像の同類分類処理の一部にマッピング演算として活用する。この自己組織化特徴地図の手法はニューラルネットワークモデルの一つのパラダイムとしてKohonenにより提唱されており、本発明では、分類性能を上げるために教師無し学習の一手法である競合型学習を対象として、自己組織的な学習則を適応する。以下その概念を図20〜23に基づき説明する。
【0089】
まず、図20のような2層のネットワークを想定する。第1層は入力層、第2層は競合層である。競合層は2次元グリッドとなっている。入力層の各入力ユニットは競合層のすべてのユニットと結合している。
【0090】
入力パターンが与えられると、入力層のユニットは入力パターンの対応した要素の値をとる。競合層は入力の加算を行い、唯一の勝者を見いだす。
【0091】
図20において、各相互結合は重み値を持っている。初期状態ではランダムな重み値が与えられる。
【0092】
図21はランダムな入力パターンを得る様子を示す。乱数ジェネレータがパターンベクトルの各要素に数を与える。乱数ジェネレータから得られる数は0と1の間に一様に分布する。
【0093】
Kohonen特徴地図の入力パターンは次のように表記される。
E=[e1,e2,e3,…,en] (Eは撮像画像、nは画素数)
【0094】
この入力パターンの各ユニットが競合層の特定ユニットに結合する様子を図22に示す。重みは
Ui=[ui1,ui2,…,uin] (Uiは予測特徴画像、nは画素数)
で与えられる。iは競合層のユニットを表し、予測特徴画像の番号である。
【0095】
Kohonen特徴地図では最初に競合層にある各ユニットにつき一致値(matching value)を計算する。この値は、各ユニットの重みが入力パターンの対応する値と一致する程度を計る目安となる。ユニットi(予測特徴画像)に対する一致値は
‖E−Ui‖
となる。これはベクトルEとUiの間の距離であり、次の式により計算される。
(jは画素番号、iは予測特徴画像の番号)
【0096】
【数1】
【0097】
一致値の最も低い(最も良く一致する)ユニット(予測特徴画像)が競合に勝つ。最も良く一致するユニットをcで表すことにすると、cは
‖E−Uc‖=min{‖E−Ui‖}
のように選ばれる。最小値は競合層のすべてのユニットi(予測特徴画像)の中から選ばれる。同じ一致値を持つユニット(予測特徴画像)が複数個存在する場合は、指標値i(予測特徴画像の番号)の最も小さいユニットが選ばれる。
【0098】
勝者ユニットが決まったら、そのユニットの近傍を定める。図23にその様子を示す。勝者ユニットcを正方形に囲むユニットをもって近傍とする。近傍はユニットの集合Ncで表される。近傍のサイズは変化する。
【0099】
勝者ユニットcの近傍にあるすべてのユニットの重みが調整される。調整方程式は
Δuij=α(ej−uij):ユニットiが近傍Ncにある場合
Δuij=0 :それ以外の場合
である。また
uij new=uij old+Δuij
である。
【0100】
この調整により、修正された重みを持ち、より入力パターンに近似した勝者ユニット(予測特徴画像)とその近傍が得られる。
【0101】
調整方程式の学習率αは比較的大きな初期値(2〜0.5)を持つが、何回も繰り返して演習するうちに減少する。減少率は次式で表される。
【0102】
【数2】
【0103】
上式においてtは現在の訓練回数、Tは行われるべき訓練の全回数である。学習率αは初期値α0から始まり、値0に達するまで減少していく。
【0104】
近傍の幅も、初期値においては比較的大きく、訓練を繰り返すと減少する。図23における勝者ユニットcの位置は(xc,yc)である。cから近傍の縁までの距離をdとすると、近傍は
c−d<x<c+d
と
c−d<y<c+d
を満たすすべての(x,y)からなる。
【0105】
訓練を重ねるとともにdの値は減少する。dの初期値d0は競合層(初期の予測特徴画像のエリア)の幅の1/2か1/3に設定される。dは次式によって求められる。
【0106】
【数3】
【0107】
上式においてtは現在の訓練回数、Tは行われるべき訓練の全回数である。dはd0から1へ1次的に減少していく。
【0108】
上記自己組織化特徴地図の手法を次のように画像解析に応用する。まず競合層に別途指定された複数個の指標データ(予測特徴画像)を設定する。指標データ(予測特徴画像)はランダムに設定したベクトルであるが、この場合の指標データ(予測特徴画像)は処理すべき画像データ(解析画像)の平均データを所定幅ずらせて作成し、「予測特徴画像」としての地位を与える。入力層には取得した画像(解析画像)のベクトルを入力する。
【0109】
個々の予測特徴画像と取得した撮像画像とを逐次比較し、一致値を幾何学的な距離、すなわちユークリッド距離の値として計算する。一致値の最も低い(最も良く一致する、最も近似する)予測特徴画像が勝者ということになる。撮像画像は勝者の予測特徴画像と同類関係になったものとする。
【0110】
勝者とその近傍の予測特徴画像の重みは前述の調整方程式に基づき修正される。すなわち同類関係にある撮像画像に一層近づくよう予測特徴画像が修正されることになる。その様子を図24に示す。図24において、ui(t)は予測特徴画像、eiは同類関係となった取得画像を、いずれもベクトルの形で表したものである。ui(t+1)は同類関係になった撮像画像に基づき修正された予測特徴画像を、これまたベクトルの形で表したものである。もう一度比較(演習)を行うと、今度はui(t+1)とeiが比較され、さらにeiに近づいた予測特徴画像ui(t+2)が生成されることになる。このようにして比較(演習)の回を重ねるにつれ、予測特徴画像は撮像画像にますます近づいていく。
【0111】
ところで、予測特徴画像ui(t)と同類関係になる撮像画像はただ1個とは限らない。ei-1、ei+1といった近傍画像の他、飛び離れた画像ei+xが同類関係となることもある。そのような同類の画像と比較される度、予測特徴画像は修正を受ける。
【0112】
このように、撮像した画像を複数個の予測特徴画像に逐次比較して最も近似する予測特徴画像と同類関係にあるものとするとともに、同類関係となった撮像画像に一層近づくよう予測特徴画像を修正し、その修正後の予測特徴画像に対し撮像画像を再度逐次比較するという工程を別途設定された学習回数だけ繰り返すことにより、予測特徴画像は次第に1点に収斂して行く。所定回数の学習終了時に比較を打ち切り、そのときの修正予測特徴画像を最終の予測特徴画像とする。
【0113】
最初の一巡の比較で、概ねどの予測特徴画像もいずれかの撮像画像と同類関係を結ぶ。何巡も比較を繰り返し、予測特徴画像の値が修正を受けて変化するうちに、今まで競合のなかった予測特徴画像同士の競合が生じることがある。競合が生じれば必ず一方が勝者、他方が敗者となる(近似度同一の場合は指標値i(予測特徴画像の番号)の小さいものが勝者になる)ため、同類関係とされていた撮像画像を他の予測特徴画像に奪われるといったケースも出てくる。本発明の処理においては同類関係の撮像画像をすべて奪われてしまった予測特徴画像はもはや存在の意義がないので最終的には全て消去する。
【0114】
また本発明では、予め定められた近似度以内に複数の予測特徴画像が存在する場合、これら予測特徴画像が過剰であるとしてそれらの平均値をとった単一の予測特徴画像に統合更新し、統合前の予測特徴画像は削除する。
【0115】
さらに本発明では、撮像画像は通常、いずれかの予測特徴画像と同類関係を結ぶが、中にはどの予測特徴画像とも所定距離での同類関係とならない撮像画像も出てくる。そこで、いずれの予測特徴画像とも所定の近似範囲になく、別途定められた近似範囲内で同類関係を結べない撮像画像が出てきたときは、これらの撮像画像を用いて新たな予測特徴画像を作成する。
【0116】
この一連の画像解析は図25のフローチャートに従って遂行される。
【0117】
まずステップS201で初期指標データ(予測特徴画像)を作成する。ここでは分類すべき複数の撮像画像(通常は20〜200画像)の各要素別平均値の各々に小さな乱数を加えて初期指標データ(予測特徴画像)とする。初期指標データ(予測特徴画像)は予測特徴画像として別途指定される個数(通常は9〜16個)作成する。なお、各要素別平均値は全取得画像のデータから求めるものとするが、任意に選択された撮像画像のデータから求めることとしてもよい。
【0118】
ステップS202では、上記初期指標データ(予測特徴画像)の各々に上記全撮像画像データを同類分類するための演算定数をマッピング演算の初期定数として設定する。Tは学習回数を示し、通常は1000回が設定される。α0は初期学習率を示し、通常は0.5に設定される。d0は初期近傍幅を示し、通常は前述の競合層(初期予測特徴画像)の幅の1/3又は1/4に設定される。
【0119】
ステップS203、及びS204では、上記演算定数を用い、上記初期指標データ(予測特徴画像)の各々についてマッピング演算が実行される。詳細は前述の自己組織化特徴地図の手法の通りである。
【0120】
ステップS205では、同類分類作業を行った指標データ(予測特徴画像)毎に、指標データ(予測特徴画像)とこれに同類対応する撮像画像の各々とのユークリッド距離を計算する。
【0121】
ステップS206では、指標データ(予測特徴画像)とこれに同類対応する撮像画像の各々とのユークリッド距離が所定の近似範囲内か近似範囲外かを判定し、近似範囲外であればステップS207に進む。
【0122】
ステップS207では上記許容値外の撮像画像の平均値画像をこの指標データ(予測特徴画像)のサブ指標データ(予測特徴画像)として追加し、これら指標データ(予測特徴画像)及びサブ指標データ(予測特徴画像)に同類対応する撮像画像に関して再度ステップS202からのマッピング演算を実行する。マッピング演算は1固定値の近傍幅でのみ実行される。
【0123】
上記によれば、いずれかの指標データ(予測特徴画像)につきユークリッド距離が近似範囲外となる類似度の低い撮像画像が存在する場合、この撮像画像に合わせてサブ指標データ(予測特徴画像)が追加設定され、既に指標データ(予測特徴画像)に同類分類されている撮像画像も前記サブ指標データ(予測特徴画像)を含めた複数の指標データ(予測特徴画像)に対し改めて同類分類し直されるものである。
【0124】
他方、ステップS206で全撮像画像とこれに同類対応する指標データ(予測特徴画像)とのユークリッド距離が近似範囲内であると判定されればステップS208に進む。
【0125】
ステップS208では全指標データ(予測特徴画像)相互間のユークリッド距離を計算して最短距離にある指標データ(予測特徴画像)の対を求める。さらに、これら対をなす指標データ(予測特徴画像)に同類対応する撮像画像相互間のユークリッド距離を計算し、その中で最大のものを求める。
【0126】
最短距離にある指標データ(予測特徴画像)に同類対応する撮像画像相互間の最大ユークリッド距離をステップS208で求めた後、ステップS209でその最大ユークリッド距離が所定の判定値内か否かを判定する。判定値内の場合はステップS210に進む。
【0127】
ステップS210ではこの最短距離にある両指標データ(予測特徴画像)の平均値画像を新指標データ(予測特徴画像)とし、元となった両指標データ(予測特徴画像)を削除する。そして再度上記ステップS208からの演算を実行する。
【0128】
上記によれば、所定の近似値以上に近似する画像が複数の指標データ(予測特徴画像)に過剰に同類分類されるような場合、その複数の指標データ(予測特徴画像)は適正な新指標データ(予測特徴画像)に統合され、更新されることとなる。
【0129】
他方、ステップS209で最大ユークリッド距離が判定値外と判定された場合はステップS211に進む。
【0130】
ステップS211では、各指標データ(予測特徴画像)がいずれの撮像画像に同類対応するかを検索する。ステップS212において、いずれの撮像画像にも同類対応しない無対応指標データ(予測特徴画像)であると判定されたものがあった場合、それらの無対応指標データ(予測特徴画像)はステップS213で全て削除される。他方、ステップS212で無対応指標データ(予測特徴画像)と判定されたものがなかった場合は、有効な指標データ(予測特徴画像)のみ存在しているという結論をもって一連の処理が終了する。
【0131】
以上のように分析すべき各撮像画像は、近似範囲内の指標データ(予測特徴画像)に、且つ所定の近似度以上に分散して存在する指標データ(予測特徴画像)グループに過不足なく分類仕分けされることになる。また、これらの処理結果を保存するについては、前記の特徴抽出演算された詳細な画像データである代表画像としての各予測特徴画像と、これら各々に同類分類された撮像画像の照合データを保存する。予測特徴画像は撮像のままの画像も含むが、加工され圧縮されたデータである場合もあるので、さらに特徴抽出装置1は、図示はしないが、各予測特徴画像とのユークリッド距離が最小である撮像画像のカメラ画像データを代表実画像として併せて記憶保存する構成となっている。
【0132】
すなわち、予測特徴画像は各撮像画像から所定の演算精度で抽出分類された平均的な特徴を備えた代表画像ということになるのであるが、この代表画像に対応する詳細なカメラ画像データが代表実画像となる。このため、分類仕分けを別途任意選択で設定した圧縮画像データに基づき簡易に高速処理するにしても、詳細なカメラ画像データがそのまま代表実画像として保持されているので、分類仕分け画像を更に同類仕分け演算することとなった場合、各々の代表実画像データと照合データから得られる仕分け画像の数量情報をもって精度の高い特徴抽出を行うことが可能となる。
【0133】
また、上記の分類仕分け演算方式では演算開始時に分類すべき全撮像画像が存在していることが必要である。そこで、演算の負荷を軽減するため、多量の画像データを所定数量(例えば20〜200画像)に分割して演算処理する(以下「分割演算処理」の語を用いる)とともに、全ての分割演算処理の終了後、これら分割演算処理で得た各々の特徴画像に関して上記同様に更に同類仕分け処理を行うこととする。この同類仕分け処理には先の分割演算処理で得た予測特徴画像か、これら予測特徴画像の各々に対応する代表実画像データを選択的に使用する。最終的には別途任意に選択される圧縮精度の画像データに基づき全画像データの特徴を抽出する。
【0134】
上記のように何巡かの比較(学習)を繰り返して複数個の予測特徴画像を確定し、且つ各々の値を収斂させる。これにより試料の特徴が明確化する。別の試料の特徴抽出を行うに際しては、別の試料から撮像した各々の波長帯域画像がこれらの予測特徴画像と同様の同類関係となるかどうか、必要個数のチェックを行う。
【0135】
図26〜28に、画像群を同類分類した例を示す。図26には実際の試料を異なる波長で撮像した計13枚の画像が示されている。撮像した波長は図27、28に示すとおりである。演算を行ったところ、最初は図27のようにA〜Fのように6グループに分類されたが、次に画像一点の明るさを同レベル値にシフト補正して再度演算を行ったところ、今度は図28の如く目視での特徴抽出同様にA〜Dの4グループに分類された。
【0136】
ここで取得画像に明暗の両基準点を設け、各画像の明暗両基準点の明度レベル値を合わせる画像補正を施すこととすれば、更に人の目視での特徴確認とほぼ同等に特徴把握と同類分類が可能となる。
【0137】
画像データから試料の特徴を求めるのに、全画素データを用いない方法もある。その方法の一例を図29に示す。ここではまず画像を2値化する。そしてピクセルのマトリックスの行単位と列単位でそれぞれ黒像(又は白像)のピクセルが何個あるかを調べ、各行各列の個数データをもって特徴とするものである。2値化でなくグレイスケールとして行単位、列単位で各々ピクセルのデータ量を加重し、各行各列の加算値又は平均値をもって特徴パターンを得てもよい。また、全画素を所定個数ずつブロック化し、そのブロックの平均値をとった圧縮画像を用いてもよい。
【0138】
なお代表画像を求めるにあたり、上述のように第1の方法としては逐次比較演算の手法があり、第2の方法としては自己組織化特徴地図の手法を応用したものとがあるが、両者は随時選択して使用できるようにしてもよいし、何れか一方のみ実施するようにしてもよい。
【0139】
なお上記説明では試料の紙面全域画像を対象にしたが、紙面全域でなく限定領域面での各検査波長光に対する光学特性の撮像画像としても、同様の構成で同様目的が達成できる。
【0140】
【発明の効果】
本発明により、次に掲げるような効果が奏される。
【0141】
本発明では、試料に紫外域から近赤外域にわたる波長域の光を、全波長域光又は互いに中心波長を異ならせた複数波長帯域の光を検査光として選択的に順次照射し、該照射された各々の検査光に対して試料からの光を互いに中心波長が異なる所定波長帯域毎に順次撮像することによって複数の撮像画像を得て、これら撮像画像から試料の光学的な特徴を抽出することとしたから、広い波長域にわたり詳細多数の画像を取得でき、その試料の特徴を確実且つ正確に抽出できる。
【0142】
また、順次得られる撮像画像同士の差分値を特徴抽出の指標として算出し、順次算出された差分値を用いて、同類画像と画像の明るさの増減の変化が現れた代表画像とを決定して登録し、代表画像に対して差分値により同類の特徴を示す撮像画像、及び登録した代表画像以外の撮像画像を消去することとしたから、基となる試料紙面サイズが大きくなり且つ光学特性としての画像数が多くてもその中から当該試料の特徴を自動的に絞り込むことができる。また、1枚の試料に費やすメモリの量を節約することができる。
【0143】
このように、順次得られる画像同士の差分値をもって特徴抽出の指標とすることにより、波長の変化に伴う各画像の特徴抽出が処理すべき画像枚数に関係なく容易となり、且つこれら画像の変遷トレンドをとらえて特徴点を的確に把握することができる。また全画像のデータでなく順次得られる差分値に基づくデータ処理を行うこととすることにより、演算処理部のハードウェアの規模が小さくて済む。
【図面の簡単な説明】
【図1】 本発明特徴抽出方法を遂行する特徴抽出装置の構成図にして、光学機構部分を断面図としたもの
【図2】 特徴抽出装置本体部の水平断面図
【図3】 図2と同様の水平断面図にして、異なる状態を示すもの
【図4】 光源部の水平断面図
【図5】 図4と同様の水平断面図にして、異なる状態を示すもの
【図6】 バンドパスフィルタの正面図
【図7】 特徴抽出装置のブロック構成図
【図8】 波長をずらしつつ撮像したときの画像の変遷を示す図
【図9】 複数のカメラの撮像画像を補正を加えないまま使用する状況を観念的に示す図
【図10】 複数のカメラの撮像画像を補正を加えて使用する状況を観念的に示す図
【図11】 カメラ補正用の明暗基準点を試料画像中に設定する状況を示す図
【図12】 カメラ補正用の明暗基準プレートの図
【図13】 第1の特徴抽出方法を説明する図にして、画像の差分のイメージを示すもの
【図14】 画像の差分値をデジタル値として表現するAD値の表
【図15】 差分値の絶対値である指数の表
【図16】 指数のグラフ
【図17】 差分値に基づき代表画像を選定する方法の第1の説明図
【図18】 差分値に基づき代表画像を選定する方法の第2の説明図
【図19】 画像分類作業のフローチャート
【図20】 第2の特徴抽出方法を説明する図にして、動作原理の第1説明図
【図21】 上記動作原理の第2説明図
【図22】 上記動作原理の第3説明図
【図23】 上記動作原理の第4説明図
【図24】 上記動作原理の画像解析への適用を説明する図
【図25】 画像分類作業のフローチャート
【図26】 第2の特徴抽出方法を適用する画像例の図
【図27】 図25の画像例の分類演習結果を示す第1の表
【図28】 図25の画像例の分類演習結果を示す第2の表
【図29】 第3の特徴抽出方法を説明する図
【図30】 撮像ログ事例を説明する図
【符号の説明】
1 特徴抽出装置
2 本体部
3 演算装置
10 ハウジング
11 光学セクション
12 制御セクション
23 試料ホルダ
30 検査光発生装置
31 光源部
38 分光器
50 撮像装置
51 CCDカメラ
52 赤外線カメラ
57 分光器
58 バンドパスフィルタ
87 画像解析部
88 代表データ格納部
Claims (3)
- 試料に紫外域から近赤外域にわたる波長域の光を、全波長域光又は互いに中心波長を異ならせた複数波長帯域の光を検査光として選択的に順次照射し、
該照射された各々の検査光に対して前記試料からの光を互いに中心波長が異なる所定波長帯域毎に順次撮像することによって複数の撮像画像を得て、これら撮像画像から前記試料の光学的な特徴を抽出する方法であって、
前記順次得られる撮像画像同士の差分値を特徴抽出の指標として算出し、
前記順次算出された差分値を用いて、同類画像と画像の明るさの増減の変化が現れた代表画像とを決定して登録し、
前記代表画像に対して前記差分値により同類の特徴を示す撮像画像、及び前記登録した代表画像以外の撮像画像を消去することを特徴とする特徴抽出方法。 - 前記同類画像と代表画像の決定には、各対象画像に対応する画素の明るさについての差分AD値とこれら各差分値の度数との積の総和である積和を用いることを特徴とする請求項1に記載の特徴抽出方法。
- 前記同類画像と代表画像の決定には、対象画像に対応する画素別の明るさについての差分AD値の絶対値である指数とこれら各差分値の度数との積の総和である指数和を用いることを特徴とする請求項1に記載の特徴抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002112289A JP4123469B2 (ja) | 2002-04-15 | 2002-04-15 | 特徴抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002112289A JP4123469B2 (ja) | 2002-04-15 | 2002-04-15 | 特徴抽出方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008075180A Division JP4936074B2 (ja) | 2008-03-24 | 2008-03-24 | 特徴抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003307493A JP2003307493A (ja) | 2003-10-31 |
JP4123469B2 true JP4123469B2 (ja) | 2008-07-23 |
Family
ID=29394838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002112289A Expired - Fee Related JP4123469B2 (ja) | 2002-04-15 | 2002-04-15 | 特徴抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4123469B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103529041A (zh) * | 2013-10-31 | 2014-01-22 | 广州华工机动车检测技术有限公司 | 基于图像特征的电路板新旧程度判定方法和系统 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4171806B2 (ja) * | 2005-03-04 | 2008-10-29 | 国立大学法人弘前大学 | 果実そ菜類の等級判別方法。 |
JP2007285880A (ja) * | 2006-04-17 | 2007-11-01 | Omron Corp | 基板検査における見本画像の登録方法および見本画像作成装置 |
WO2015182571A1 (ja) * | 2014-05-29 | 2015-12-03 | コニカミノルタ株式会社 | 光学特性測定装置および光学特性測定方法 |
JP6620439B2 (ja) * | 2015-07-01 | 2019-12-18 | 株式会社リコー | 学習方法、プログラム及び学習装置 |
JP6949560B2 (ja) * | 2017-05-31 | 2021-10-13 | Juki株式会社 | 測色装置及び測色方法 |
-
2002
- 2002-04-15 JP JP2002112289A patent/JP4123469B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103529041A (zh) * | 2013-10-31 | 2014-01-22 | 广州华工机动车检测技术有限公司 | 基于图像特征的电路板新旧程度判定方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2003307493A (ja) | 2003-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101583979B (zh) | 用于识别有价票据上色彩过渡区域中的污染和/或色彩磨损的方法以及用于实施该方法的装置 | |
KR101297702B1 (ko) | 적분된 투과 및 반사 스펙트럼 응답을 이용한 개선된 위조 화폐 검출기 | |
RU2488886C2 (ru) | Определение пригодности документов с использованием чередующегося освещения | |
RU2481637C2 (ru) | Чередование освещения | |
US20050100204A1 (en) | Method and apparatus for detecting fluorescent particles contained in a substrate | |
Qin et al. | Detection of pits in tart cherries by hyperspectral transmission imaging | |
CN110199172A (zh) | 用于检测样本的溶血、黄疸、脂血、或常态的方法、设备和质量检验模块 | |
JP2000508095A (ja) | 境界マッピングのシステムおよび方法 | |
RU2438182C1 (ru) | Способ обработки банкнот (варианты) | |
US20080266430A1 (en) | Method and system for optimizing an image for improved analysis of material and illumination image features | |
JP5055241B2 (ja) | 電子画像比色法によるガス濃度測定システムおよび測定方法 | |
JP2002303586A (ja) | 欠陥検査方法及び欠陥検査装置 | |
US20060126168A1 (en) | Method for improved forensic detection | |
CN115032196B (zh) | 一种全划片高通量彩色病理成像分析仪器及方法 | |
US10664713B2 (en) | Method and system for acquiring and analysing fingerprints with fraud detection | |
JP4123469B2 (ja) | 特徴抽出方法 | |
EP0660277B1 (en) | Method and apparatus for the characterization and discrimination of legal tender bank notes and documents | |
EP1324283A1 (en) | Document authenticity discriminating apparatus and method therefor | |
JP2022533623A (ja) | 金属粉末分析方法及び装置 | |
US20040184660A1 (en) | Method for improved forensic analysis | |
JP4936074B2 (ja) | 特徴抽出方法 | |
JP3178017B2 (ja) | メロンの外観評価装置 | |
JP4247362B2 (ja) | 特徴抽出装置 | |
US20140348413A1 (en) | Method and Apparatus for the Determination of Classification Parameters for the Classification of Bank Notes | |
JP2003244434A (ja) | 書類真偽判別装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050107 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050325 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050419 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080424 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |