JP4633322B2 - 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム - Google Patents
画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム Download PDFInfo
- Publication number
- JP4633322B2 JP4633322B2 JP2002239616A JP2002239616A JP4633322B2 JP 4633322 B2 JP4633322 B2 JP 4633322B2 JP 2002239616 A JP2002239616 A JP 2002239616A JP 2002239616 A JP2002239616 A JP 2002239616A JP 4633322 B2 JP4633322 B2 JP 4633322B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display area
- observation
- comparison
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、見本となる参照画像を用いて、比較対照となる比較画像を画像比較するための画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、印刷物の偽造や、身分証明書などの特殊印刷、加工の偽造などの事件が多く発生しており、その偽造方法も巧妙で認識するのが難しくなっている。また、偽造を防止するための印刷や加工そのものも、人間の目視で確認するのが困難なほど精密になっている。
【０００３】
このようなことから、従来、特開平０６−６８０７号公報に開示されるようにデジタル画像として記憶された参照画像を用いて比較観察を行う画像比較装置が考えられている。この画像比較装置は、テレビカメラから取込んだ画像（以下、比較画像と称する。）をデジタルデータとして複数記憶し、このうち参照画像の半分の画像と比較画像の半分の画像を取り出し、それぞれを貼り合わせて１枚の画像としてモニター上に表示することで、左右の画像が一致しているかの比較判断を容易に確認できるようにしている。
【０００４】
【発明が解決しようとする課題】
ところが、特開平０６-６８０７号公報のものは、記録される参照画像を呼び出してモニター上で比較画像と比較するが、すでに取り込まれている静止画像同士を並べ合わせるので、参照画像と比較したい位置を比較画像に合わせるのが難しい。また、モニター上では、参照画像と比較画像を単純に左右に並べるだけのため、相違点を見つけ出すのが難しい。さらに、参照画像と比較画像を比較する場合、これらの画像の倍率、位置などの撮影条件が合っているのが望ましいが、これらの条件を合わせることも難しいばかりか、比較画像の参照画像と比較すべき部分が観察者によって異なってしまうという問題も生じる。
【０００５】
本発明は、上記事情に艦みてなされたもので、参照画像と同じ条件で比較画像の比較すべき部分を自動的に一致させて撮影でき、精度の高い画像比較を行うことができる画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、試料のマクロ的観察像およびミクロ的観察像の一方を取り込む観察像取り込み手段と、前記観察像取り込み手段により取り込まれた観察像を撮影する撮像手段と、前記撮像手段で撮影される観察像または予め用意された画像を、参照画像として記録する記録手段と、前記記録手段に記録された前記参照画像を表示する第１の画像表示領域と、前記撮像手段により撮影される観察像を比較画像として表示する第２の画像表示領域と、前記参照画像と前記比較画像を比較可能に表示する第３の画像表示領域とを同時に表示する表示手段と、前記記録手段に記録された観察像の観察条件に基づいて前記観察像取り込み手段および前記撮像手段の状態を再現するとともに、前記撮像手段により撮影される観察像を比較画像として前記参照画像と比較可能に前記表示手段に表示させる制御手段とを具備したことを特徴としている。
【０００７】
請求項２記載の発明は、請求項１記載の発明において、前記表示手段に色調整を行う画像入力ボードをさらに具備し、前記参照画像と前記比較画像の色再現が一致するように、前記画像入力ボードで前記参照画像の特徴点とバックの色情報が合うように色調整を行うことを特徴としている。
【０００９】
請求項３記載の発明は、試料のマクロ的観察像およびミクロ的観察像の一方を取り込むとともに、この取り込まれた観察像を撮影し、この撮影された観察像、または予め用意された画像を参照画像として表示手段の第１の画像表示領域に表示し、撮影された前記観察象を比較画像として前記表示手段の第２の画像表示領域に表示し、前記第１の画像表示領域に表示された前記参照画像の全体又は一部と、前記第２の画像表示領域に表示された前記比較画像の全体又は一部を比較観察可能に前記表示手段の第３の画像表示領域に、前記第１の画像表示領域の前記参照画像と前記第２の画像表示領域の比較画像と同時に表示させることを特徴としている。
請求項４記載の発明は、請求項３記載の発明において、前記参照画像と前記比較画像の色再現が一致するように、画像入力ボードで前記参照画像の特徴点とバックの色情報が合うように色調整を行うことを特徴としている。
【００１２】
請求項５記載の発明は、コンピュータで実行可能なプログラムにおいて、観察像取り込み手段により試料のマクロ的観察像およびミクロ的観察像の一方を取り込ませるとともに、この取り込まれた観察像を撮像手段により撮影させ、この撮像手段で撮影される観察像または予め用意された画像を、参照画像として表示手段の第１の画像表示領域に表示し、撮影される前記観察像より得られる比較画像を前記表示手段の第２の画像表示領域に表示し、前記第１の画像表示領域に表示された前記参照画像の全体又は一部と、前記第２の画像表示領域に表示された前記比較画像の全体又は一部を比較観察可能に前記表示手段の第３の画像表示領域に、前記第１の画像表示領域の前記参照画像と前記第２の画像表示領域の比較画像と同時に表示させることを特徴としている。
請求項６記載の発明は、請求項５記載の発明において、前記参照画像と前記比較画像の色再現が一致するように、画像入力ボードで前記参照画像の特徴点とバックの色情報が合うように色調整を行うことを特徴としている。
請求項７記載の発明は、請求項１又は２記載の発明において、前記第１の画像表示領域と前記第２の画像表示領域と前記第３の画像表示領域とは、同一の前記表示手段に同時に表示されることを特徴としている。
請求項８記載の発明は、請求項３又は４記載の発明において、前記第１の画像表示領域と前記第２の画像表示領域と前記第３の画像表示領域とを、同一の前記表示手段に同時に表示することを特徴としている。
請求項９記載の発明は、請求項５又は６記載の発明において、前記第１の画像表示領域と前記第２の画像表示領域と前記第３の画像表示領域とを、同一の前記表示手段に同時に表示することを特徴としている。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
【００１６】
図１は、本発明が適用される画像比較装置として顕微鏡画像比較装置のブロック図を示すものである。
【００１７】
図において、１は図示しない試料を観察する顕微鏡からなる観察装置で、この観察装置１は、試料のミクロ的観察像を取り込むミクロ観察像取り込み手段としてミクロ観察ユニット２、試料のマクロ的観察像を取り込むマクロ観察像取り込み手段としてマクロ観察ユニット３が設けられ、さらに、撮像手段としてＴＶカメラ４が設けられている。
【００１８】
ＴＶカメラ４は、ミクロ観察ユニット２またはマクロ観察ユニット３によりそれぞれ取り込んだミクロまたはマクロの観察像を撮像するもので、これら撮像した画像をデジタル画像として制御手段のパソコン本体５に出力するようにしている。
【００１９】
パソコン本体５は、画像入力ボード６、ビデオカード７、ＲＡＭ８、ＣＰＵ９、記録媒体１０、インターフェース１１およびバス１２を有するもので、ＴＶカメラ４からのデジタル画像を画像入力ボード６に取込み、この取込んだデジタル画像をＲＡＭ８に記憶したり、ビデオカード７を介して表示手段としてのモニター１３に静止画像または動画像として表示させる（動画像はＴＶカメラ４のビデオレートの動画像が映し出される）。また、記録媒体１０には、予め用意された複数のデジタル化された参照画像が記録されているとともに、後述する文章鑑識支援ソフト等のプログラム１０ａが記録されている。このプログラム１０ａはバス１２を介して外部より与えられるとともに、ＲＡＭ８に一旦記録され、ＣＰＵ９により実行されて画像の比較を支援する処理を行うものである。インターフェース１１には、プログラム１０ａを実行する際の指示を入力するキーボード１４およびマウス１５が接続されている。
【００２０】
図２は、このような顕微鏡画像比較装置のシステム構成図を示すものである。
【００２１】
この場合、本システムは、観察装置１９と画像処理装置２０より構成されている。
【００２２】
観察装置１９は、ミクロ観察像取り込み手段としてのミクロ観察ユニット２１とマクロ観察像取り込み手段としてのマクロ観察ユニット２２を一体のものとして構成し、これらミクロ観察ユニット２１およびマクロ観察ユニット２２には、それぞれのベース（ミクロ用）２３およびベース（マクロ用）２４上に共通のマクロ・ミクロ電動ステージ（自動Ｘ−Ｙステージ）２５が設けられ、このマクロ・ミクロ電動ステージ２５を駆動することで、ミクロ観察ユニット２１とマクロ観察ユニット２２の間で試料の受渡しが自動的にできるようになっている。
【００２３】
また、これらミクロ観察ユニット２１とマクロ観察ユニット２２に対して、これらの観察像を撮影するためのＴＶカメラ２６が設けられている。このＴＶカメラ２６は、ミクロ観察ユニット２１のミクロ・マクロ用電動ズーム２７、対物レンズ２８を介して試料を撮影する。また、フォーカスの調整はミクロ用電動フォーカス２９で行う。さらに、ＴＶカメラ２６は、マクロ観察ユニット２２のミクロ・マクロ用電動ズーム２７、不図示の光路切換え装置、マクロレンズ３０を介して試料の撮影を行う。また、フォーカスの調整はマクロ用電動フォーカス３１で行う。
【００２４】
この場合、これらミクロ観察ユニット２１およびマクロ観察ユニット２２のミクロ用電動フォーカス２９、マクロ用電動フォーカス３１、不図示の調光装置、不図示の光路切換え装置およびＴＶカメラ２６は、それぞれ画像処理装置２０の一部を構成する制御手段であるパソコン本体３２より自動制御可能となっている。
【００２５】
また、ミクロ観察ユニット２１およびマクロ観察ユニット２２には、各種の照明方法が設けられている。この場合、ミクロ観察ユニット２１には、偏向照明３３、落射照明３４、落射蛍光照明３５、偏射照明３６、透過照明３７、赤外線透過照明３８が設けられ、また、マクロ観察ユニット２２には、偏向照明３９、落射照明４０、落射蛍光照明４１、偏射照明４２、透過照明４３、赤外線透過照明４４が設けられている。これら照明装置は、対象となる試料の観察部位などに応じてパソコン本体３２やミクロ用コントロールボックス（手動操作ボックス）４５、マクロ用コントロールボックス（手動操作ボックス）４６により観察部位に適した照明方法が選択されるようになっている。
【００２６】
なお、接眼レンズ４７は、ミクロ観察ユニット２１およびマクロ観察ユニット２２により得られる試料の観察像を直接目視で見るためのものである。
【００２７】
このような観察装置１９は、マクロ・ミクロ通信ケーブル４８、テレビカメラビデオケーブル４９およびテレビカメラ通信ケーブル５０を介して画像処理装置２０に接続されている。
【００２８】
画像処理装置２０は、パソコン本体３２の他に、観察画像の表示や制御用のＧＵＩ等を表示する表示手段としてのモニター５１、入力装置のキーボード５２、マウス５３を有している。また、画像処理装置２０は、マクロ・ミクロ通信ケーブル４８を介して観察装置１９の制御を行い、また、テレビカメラビデオケーブル４９を介してＴＶカメラ２６からの映像信号を取り込み、さらに、テレビカメラ通信ケーブル５０を介してＴＶカメラ２６のブライトネス、コントラスト等の制御を行うようになっていて、ＴＶカメラ２６からの撮像信号をパソコン本体３２内のビデオキャプチャーボードを介してメモリ（ともに不図示）に取り込み、デジタル画像としてモニター５１に表示できるようにしている。
【００２９】
パソコン本体３２には、システム制御するためのメニュー、ボタン表示、画像表示のためのモニタ５１、メニュー及びボタンを操作するためのキーボード５２およびマウス５３が接続されている。
【００３０】
この場合、パソコン本体３２は、ＴＶカメラ２６で撮影した画像を表示させるためのフレームメモリ機能、システム制御のためのメニュー及びボタン操作機能、観察装置１９を制御するための通信機能などを備え、さらに、一時的に画像データを保存するためのメモリ機能も備えている。また、パソコン本体３２は、ＴＶカメラ２６で撮影した画像及び撮影条件などのデータを他のパソコンに保存させてデータを共有するために必要な通信手段を備えている。例えば、Ｅｔｈｅｒｎｅｔ、ＧＰ−ＩＢ、パラレル、シリアル等がある。さらに、パソコン本体３２は、マクロ・ミクロ電動ステージ２５の駆動指令、ミクロ観察ユニット２１およびマクロ観察ユニット２２に対するフォーカス、ズーム、光路切換え、照明方法の切換え、調光等の指令を始め、ＴＶカメラ２６の制御指令などをインターフェースを介して観察装置１９側に出力する。ここでのインターフェースは、観察装置１９とパソコン本体３２に内蔵されており、例えば、ＲＳ−２３２Ｃ、ＧＰ−ＩＢ、パラレル、シリアル、ＳＣＳＩ等がある。
【００３１】
次に、このように構成された実施の形態の動作を説明する。
【００３２】
図３は、モニター５１画面上での表示例、図４乃至図７は、作業手順と動作を説明するためのフローチャートである。
【００３３】
まず、図４において、観察者は、見本となる参照画像の登録が必要となり、観察者は、図３に示すモニター上に表示される操作画面１７０上で見本となる試料の種別、例えば身分証明書などを試料種別リスト２１０により選択する（ステップＳ１０）。
【００３４】
次に、観察者は、観察装置１９での観察ユニットを選択する。つまり、観察者は、見本となる試料上の観察したい領域の大きさに応じてマクロ観察ユニット２２にて観察するか、または、ミクロ観察ユニット２１にて観察するかを選択する（ステップＳ１１）。この場合、モニターの操作画面１７０で、マクロ観察ユニット２２またはミクロ観察ユニット２１に対応するマクロボタン２４３またはミクロボタン２４２をクリックして図２の観察装置１９の不図示の光路切替え装置を操作して光路切換えを選択し、所望する観察ユニットを選択する（ステップＳ１２，ステップＳ１３）。
【００３５】
次に、モニター上に表示される操作画面１７０上で動画ボタン２０３および静止画ボタン２０４のうちの動画ボタン２０３を選択し、ＴＶカメラ２６で撮影している動画像を観察画像表示領域２００に表示させる（ステップＳ１４）。
【００３６】
この状態で、観察者は見本となる試料を、選択した観察ユニットのマクロ・ミクロ電動ステージ２５にセットし（ステップＳ１５）、観察画像表示領域２００の動画像（観察画像）を見ながら、試料に適した照明方法をマクロ用コントロールボックス４６またはミクロ用コントロールボックス４５を用いて選択し、照明方法および明るさを調整する（ステップＳ１６）。
【００３７】
次に、観察者は、観察画像の細部を拡大観察するか否かを判断し（ステップＳ１７）、拡大したい場合（ｙｅｓ）は、倍率変更ボタン２３１にて拡大倍率を設定し、観察画像上にマウスのポインタを持って行く、すると、ポインタは、観察画像上で指定された倍率の撮り込みエリアを表示する。そして、観察者が撮り込みたい位置をクリックし拡大位置を決定し（ステップＳ１８）、操作画面１７０の設定ボタン２３２をクリックする。すると、パソコン本体３２は、現状のステージ位置、設定率および観察画像上でのマウスポインタの位置から拡大する画像の中心位置を算出し、選択されている観察ユニットの光軸上に拡大する画像の中心位置が一致するように、自動的にマクロ・ミクロ電動ステージ２５を移動し、セットされた試料を観察したい位置に移動させる（ステップＳ１９）。
【００３８】
次に、観察者は、試料の観察したい領域が表示されるようにズーム倍率を調整し、フォーカスを合せる（ステップＳ２０）。
【００３９】
なお、ステップＳ１７で、観察画像の細部を拡大観察しないと判断した場合は、直ちにステップＳ２０に進み、観察者は、試料の観察したい領域が表示されるようにズーム倍率を調整し、フォーカスを合せるようになる。
【００４０】
次に、図５において、観察者は、観察画像のコントラストは充分か判断する（ステップＳ２１）。ここで、蛍光照明や試料のコントラストが少ない場合は、はっきりした画像にならず、精度の高い画像比較ができない。
【００４１】
この場合は、画像積算処理を行う（ステップＳ２２）。まず、観察者は、モニター上に表示される操作画面１７０にある自動コントラストボタン２２１を選択し、自動コントラスト処理を行う。これにより、パソコン本体３２は、撮り込んだ画像に輝度レベルが最適になるようにゲインまたはオフセットをかけ、画像データを変更した上で、観察画像表示領域２００に表示する。観察者は、この観察画像を見ながら、試料の観察位置、倍率、フォーカスを合せる。次に、モニタの操作画面１７０にある積算ボタン２２２を選択し画像積算処理を開始する。これにより、パソコン本体３２は、撮り込んだ画像を設定された画像枚数分保存し、画像データを加算して、観察画像表示領域２００に表示する。観察者は、試料の明るさによりモニタの操作画面１７０にある積算数２２３で積算回数を調整し、観察し易い画像に調整する。
【００４２】
これらの撮り込み画像の準備ができたところで、モニター上に表示される操作画面１７０のティーチングボタン１８６を操作してティーチング画像としての登録を行う（ステップＳ２３）。これにより、パソコン本体３２は、ＴＶカメラ２６の映像信号をビデオキャプチャーボードを介してパソコン本体３２にデジタル画像（ティーチング画像）として取り込み、取り込んだデジタル画像を記録媒体１０に保存するとともに、静止画像表示領域１８０に表示する。また、パソコン本体３２は、このときの観察条件、つまり、マクロ・ミクロ電動ステージ２５の位置（デジタル画像の撮り込んだ位置）、ズーム倍率、照明方法、調光、光路切換え、ＴＶカメラ２６の設定などの各種の条件を観察装置１９およびＴＶカメラ２６との通信により確認し、ステップＳ１０において試料種別リスト２１０で選択した試料の種別ごとに保存する。
【００４３】
以下同様にして、観察者は、試料上の観察が必要な部分について、その数だけ、ティーチング画像の登録を繰り返す（ステップＳ２４）。
【００４４】
なお、このようなティーチング画像の登録は、モニター上に表示される操作画面１７０にあるファイル読込ボタン１８５を選択して、パソコン本体３２の記録媒体３２またはネットワーク等の通信手段を介して他のパソコンの記録媒体に保存されているティーチング画像を読み込んで登録してもよい。この場合は、ステップＳ１０〜ステップＳ２４の手順は、不要になる。
【００４５】
次に、観察者は、ティーチング登録された参照画像と同じ条件で比較するための試料画像が必要となり、図６に示すように、モニター上に表示される操作画面１７０上で見本となる試料の種別、例えば身分証明書を試料種別リスト２１０により選択する（ステップＳ３０）。
【００４６】
次に、観察者は、マクロ・ミクロ電動ステージ２５上に、比較画像を生成するための比較試料をセットする（ステップＳ３１）。そして、モニター上に表示される操作画面１７０上で取込みボタン２２９を選択する（ステップＳ３２）。
【００４７】
パソコン本体３２は、試料種別リスト２１０により選択された試料の種別ごとに登録したティーチング画像の登録時点での撮影条件ファイルを読み出すとともに、ティーチング画像を参照画像として静止画像表示領域１８０に表示する（ステップＳ３３）。また、パソコン本体３２は、読み出した撮影条件ファイルによるマクロ・ミクロ電動ステージ２５の位置、ズーム倍率、照明方法、調光、光路切換え、ＴＶカメラ２６の設定などを各種の条件に基づいてマクロ・ミクロ通信ケーブル４８を介して観察装置１９を自動制御し、参照画像（ティーチング画像）の取得時の観察条件に一致させる（ステップＳ３４）。そして、ＴＶカメラ２６で撮影されるマクロ・ミクロ電動ステージ２５上の試料の動画像を撮り込み（ステップＳ３５）、比較画像として動画像表示領域１９０に表示する（ステップＳ３６）。
【００４８】
ところで、同じ撮影条件で撮影しても照明装置のランプの劣化やレンズなどによる観察装置１９での機差により画像の色あいなどの違いが発生する。そこで、パソコン本体３２は、参照画像と比較画像の色再現が一致するように、画像入力ボードの色調整を行う。例えば、参照画像の特徴点とバックの色情報として赤・緑・青の輝度情報が、比較画像と合うように画像入力ボードの色調整を行う。（ステップＳ３７、ステップＳ３８）。これにより、参照画像と比較画像の撮影条件が一致し、画像比較し易い画像が撮影でき、以下の画像を比較する作業に入る。
【００４９】
この場合、図７に示すように、観察者は、比較画像と参照画像を静止画像表示領域１８０および動画像表示領域１９０のタブより選択し（ステップＳ３９）、続けて試料の比較したい領域に適した画像比較モードを選択する（ステップＳ４０）。
【００５０】
この場合、第一の画像比較モードとしての分割画像表示は、観察画像表示領域２００を上下または左右の２つの領域に分割し、一方の分割領域に参照画像を表示し、他方の分割領域に比較画像を表示する。また、この分割画像表示の選択において、分割モード表示の表示方法を選択する（ステップＳ４１）。この分割モード表示の表示方法は、左：参照画像・右：比較画像、左：比較画像・右：参照画像、上：参照画像・下：比較画像、上：比較画像・下：参照画像があり、これらはボタン２０５で選択できる。また、領域を分割する境界線の罫線を、罫線移動ボタン２２４により移動できる。
【００５１】
観察者は、試料の比較したい領域により適した分割モード表示の表示方法を選択する。この場合、観察画像表示領域２００の一方の分割領域に表示される参照画像には、縦スクロールバー２０１、横スクロールバー２０２が配置されており、観察者は、スクロールバーを移動させることにより参照画像の表示位置を調整する（ステップＳ４２）。ここで、パソコン本体３２は、スクロールバーの移動量に合せて、参照画像の画像表示位置と比較画像の画像表示位置が同じ位置になるように、自動的にマクロ・ミクロ電動ステージ２５を移動させる。また、観察画像表示領域２００の一方の分割領域に表示される比較画像は、動画像にて表示されており、観察者は、必要により位置を微調整したい場合は、画像を確認しながらマクロ・ミクロ電動ステージ２５を移動させる事により比較画像の表示位置を調整する。
【００５２】
また、第二の画像比較モードとしてのオーバーラップ表示は、参照画像と比較画像の輝度の割合を任意の整数ｎ，ｍ（但し、ｎ≧ｍ）において、ｍ／ｎ倍した画像と（ｎ−ｍ）／ｎ倍した画像とを加算した画像を観察画像表示領域２００に表示することにより、参照画像と比較画像が透けて見える画像を観察することができる。なお、整数ｎ，ｍを変更して参照画像と比較画像の輝度の割合いを徐々に変更することにより、片側の画像を強調させて表示することもできる。
【００５３】
この場合、観察者は、オーバーラップボタン２０６を選択し（ステップＳ４３）、参照画像と比較画像の位置調整により（ステップＳ４４）、参照画像と比較画像の微妙な位置ずれを、オーバラップ画像を確認しながらマクロ・ミクロ電動ステージ２５を移動させることにより一致させる。そして、観察者は、オーバラップ画像を確認し、一致していない部分を確認する。なお、表示割合の調整で（ステップＳ４５）、観察者はどちらかの画像を強調したい場合は、表示割合調整バー２０７を変更することにより、どちらかの画像の表示割合を強調して表示させることができる。
【００５４】
さらに、第三の画像比較モードとしての画像切換え表示(アニメーション)は、参照画像と比較画像の２つの画像を所定時間間隔で交互に観察画像表示領域２００に繰返し切換え表示する。観察者は、前もって、オーバーラップボタン２０６を選択し（ステップＳ４６）、参照画像と比較画像の位置調整により（ステップＳ４７）、参照画像と比較画像の微妙な位置ずれを一致させる。次に、画像切換え表示（アニメーション）ボタン２０８を選択し（ステップＳ４８）、切り換わる画像を確認しながら、一致していない部分を確認する。つまり、画像を交互に切り換えることにより、画像の残像効果によって異なる部分を認識する。この場合、観察者は、切換え時間を設定するが（ステップＳ４９）、比較しやすい切り換わり時間を設定時間ボタン２０９を操作し設定して観察する。
【００５５】
なお、参照画像の表示方法を変更するために、静止画像表示領域１８０に、上下ボタン１８１、左右ボタン１８２、ネガボタン１８３が設けられている。上下ボタン１８１、左右ボタン１８２は、例えば、試料の裏表の状態を比較する場合、裏側より撮影した画像と表側の画像の方向を一致させるために、参照画像を上下反転と左右反転ができるようにするためのもので、また、ネガボタン１８３は、試料により片側の画像をポジネガ反転することにより画像の比較を認識しやすくするためのものである。
【００５６】
画像比較が終了したところで、異物自動検出ボタン２２６を選択する。すると、異物自動検出処理により（ステップＳ５０）、パソコン本体３２にて参照画像と比較画像の二値化画像が比較され、異なる部分を色付けし、またはマークなどで表示することで、観察者の画像比較を支援する。そして、観察者が異物自動検出処理を参考に目視にて画像を観察し、画像を比較する（ステップＳ５１）。
【００５７】
次に、コメントボタン２２５を選択すると、描画機能により参照画像、比較画像、画像比較モードによる観察画像上にコメント入力が可能になり（ステップＳ５２）、補足説明を書き加える。また、観察者は、保存が必要な画像を観察画像表示領域２００に表示させ、画像保存ボタン２２８を選択すると、保存したい記憶媒体に画像が保存される（ステップＳ５３）。なお、この時に、パソコン本体３２は、保存画像の観察条件も合せて保存する。
【００５８】
次に、観察者は、さらに試料の観察部分を変更して詳細な比較観察を続けるかを判断する(ステップＳ５４)。ここで、比較観察を続ける場合は、ステップＳ３２に戻って、上述した動作を繰り返し、また、比較観察を続けない場合は、観察を終了する。
【００５９】
従って、このようにすれば、例えば、身分証明書などの試料の観察が必要な部分のティーチング画像（参照画像）を、これらの観察条件、つまり、マクロ・ミクロ電動ステージ２５の位置（デジタル画像の撮り込んだ位置）、ズーム倍率、照明方法、調光、光路切換え、ＴＶカメラ２６の設定などの各種の条件とともに登録しておき、比較する試料の観察の際に、これら観察条件を自動的に再現して比較試料の撮影を行い、撮り込まれた比較画像と参照画像との比較を行うようにしている。これにより、ティーチング画像（参照画像）と比較される試料の画像が、ティーチング画像の観察条件と同じ条件で観察ができるとともに、ティーチング画像の特徴と現在観察している試料の特徴を容易に同一条件で比較観察するができので、比較精度を飛躍的に高めることができ、印刷物や身分証明書などの特殊印刷や加工を施したものの鑑識を容易に、しかも高精度に行うことができる。
【００６０】
また、ティーチング画像（参照画像）を保存した時の観察条件は、画像データと共に保存されるため、例えば、共用の記憶媒体に保存しておけば、いかなるシステムでも比較する試料との画像比較の際に、常に同じ観察条件を自動的に設定することができ、画像比較作業の効率を大幅に向上することができる。
【００６１】
なお、このような画像比較の過程で、偽造箇所が１ケ所でも確認できれば、試料全てが偽造と判断できことから、一番怪しい部位の画像から比較することが比較判定する時間を短縮する上で好ましい。そこで、撮影した画像のタブの表示順番は、比較画像と参照画像を２値化して、その一致していない面積の多い割合により並べたり、過去の偽造の確認件数の多い順番の部位の画像より並べることもできる。
【００６２】
また、これまでは、スタンドアロンで使用している顕微鏡画像比較装置について説明してきたが、ネットワークを介して画像サーバに必要なデジタル画像と文書の偽造箇所の説明、撮影条件などの情報を保管するネットワークシステムを構築する。そこで、異なる箇所で新たに見つかった偽造物の画像や情報を画像サーバにその都度保存して、常に最新の参照画像に更新しておく。これにより、顕微鏡比較装置のパソコン本体から関連する情報をネットワークを介して画像サーバを検索し、常に最新の参照画像を入手できるようになる。また、現状多発している偽造物の情報があれば、参照画像の表示タブの表示順序を更新して保存し、始めのほうに確認するようにタブを並べ替え、効率的に偽造文書を確認することができる。この場合、ネットワーク上に偽造箇所のデータなどの秘密情報を通信することになるため、ユーザ管理およびデータの暗号化などの処理をして、外部に情報が漏れない処理が必要となる。
【００６３】
【発明の効果】
以上述べたように本発明によれば、参照画像と同じ条件で比較画像の比較すべき部分を自動的に一致させて撮影でき、精度の高い画像比較を行うことができる画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の顕微鏡画像比較装置のブロック図。
【図２】一実施の形態の顕微鏡画像比較装置のシステム構成を示す図。
【図３】一実施の形態に用いられるモニタの表示例を示す図。
【図４】一実施の形態の動作を説明するためのフローチャート。
【図５】一実施の形態の動作を説明するためのフローチャート。
【図６】一実施の形態の動作を説明するためのフローチャート。
【図７】一実施の形態の動作を説明するためのフローチャート。
【符号の説明】
１…観察装置
２…ミクロ観察ユニット
３…マクロ観察ユニット
４…ＴＶカメラ
５…パソコン本体
６…画像入力ボード
７…ビデオカード
８…ＲＡＭ
９…ＣＰＵ
１０…記録媒体
１０ａ…プログラム
１１…インターフェース
１２…バス
１３…パソコン用モニター
１４…キーボード
１５…マウス
１９…観察装置
２０…画像処理装置
２１…ミクロ観察ユニット
２２…マクロ観察ユニット
２５…マクロ・ミクロ電動ステージ
２６…ＴＶカメラ
２７…ミクロ・マクロ用電動ズーム
２８…対物レンズ
２９…ミクロ用電動フォーカス
３０…マクロレンズ
３１…マクロ用電動フォーカス
３２…パソコン本体
３３…偏向照明
３４…落射照明
３５…落射蛍光照明
３６…偏射照明
３７…透過照明
３８…赤外線透過照明
３９…偏向照明
４０…落射照明
４１…落射蛍光照明
４２…偏射照明
４３…透過照明
４４…赤外線透過照明
４５…ミクロ用コントロールボックス
４６…マクロ用コントロールボックス
４７…接眼レンズ
４８…マクロ・ミクロ通信ケーブル
４９…テレビカメラビデオケーブル
５０…テレビカメラ通信ケーブル
５１…パソコン用モニタ
５２…キーボード
５３…マウス
１７０…操作画面
１８０…静止画像表示領域
１８１…上下ボタン
１８２…左右ボタン
１８３…ネガボタン
１８５…ファイル読込ボタン
１８６…ティーチングボタン
１９０…動画像表示領域
２００…観察画像表示領域
２０１…縦スクロールバー
２０２…横スクロールバー
２０３…動画ボタン
２０４…静止画ボタン
２０５…ボタン
２０６…オーバーラップボタン
２０７…表示割合調整バー
２０８…画像切換え表示（アニメーション）ボタン
２０９…設定時間ボタン
２１０…試料種別リスト
２２１…自動コントラストボタン
２２２…積算ボタン
２２３…積算数
２２４…罫線移動ボタン
２２５…コメントボタン
２２６…異物自動検出ボタン
２２８…画像保存ボタン
２２９…取込みボタン
２３１…倍率変更ボタン
２３２…設定ボタン
２４２…ミクロボタン
２４３…マクロボタン
【発明の属する技術分野】
本発明は、見本となる参照画像を用いて、比較対照となる比較画像を画像比較するための画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、印刷物の偽造や、身分証明書などの特殊印刷、加工の偽造などの事件が多く発生しており、その偽造方法も巧妙で認識するのが難しくなっている。また、偽造を防止するための印刷や加工そのものも、人間の目視で確認するのが困難なほど精密になっている。
【０００３】
このようなことから、従来、特開平０６−６８０７号公報に開示されるようにデジタル画像として記憶された参照画像を用いて比較観察を行う画像比較装置が考えられている。この画像比較装置は、テレビカメラから取込んだ画像（以下、比較画像と称する。）をデジタルデータとして複数記憶し、このうち参照画像の半分の画像と比較画像の半分の画像を取り出し、それぞれを貼り合わせて１枚の画像としてモニター上に表示することで、左右の画像が一致しているかの比較判断を容易に確認できるようにしている。
【０００４】
【発明が解決しようとする課題】
ところが、特開平０６-６８０７号公報のものは、記録される参照画像を呼び出してモニター上で比較画像と比較するが、すでに取り込まれている静止画像同士を並べ合わせるので、参照画像と比較したい位置を比較画像に合わせるのが難しい。また、モニター上では、参照画像と比較画像を単純に左右に並べるだけのため、相違点を見つけ出すのが難しい。さらに、参照画像と比較画像を比較する場合、これらの画像の倍率、位置などの撮影条件が合っているのが望ましいが、これらの条件を合わせることも難しいばかりか、比較画像の参照画像と比較すべき部分が観察者によって異なってしまうという問題も生じる。
【０００５】
本発明は、上記事情に艦みてなされたもので、参照画像と同じ条件で比較画像の比較すべき部分を自動的に一致させて撮影でき、精度の高い画像比較を行うことができる画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、試料のマクロ的観察像およびミクロ的観察像の一方を取り込む観察像取り込み手段と、前記観察像取り込み手段により取り込まれた観察像を撮影する撮像手段と、前記撮像手段で撮影される観察像または予め用意された画像を、参照画像として記録する記録手段と、前記記録手段に記録された前記参照画像を表示する第１の画像表示領域と、前記撮像手段により撮影される観察像を比較画像として表示する第２の画像表示領域と、前記参照画像と前記比較画像を比較可能に表示する第３の画像表示領域とを同時に表示する表示手段と、前記記録手段に記録された観察像の観察条件に基づいて前記観察像取り込み手段および前記撮像手段の状態を再現するとともに、前記撮像手段により撮影される観察像を比較画像として前記参照画像と比較可能に前記表示手段に表示させる制御手段とを具備したことを特徴としている。
【０００７】
請求項２記載の発明は、請求項１記載の発明において、前記表示手段に色調整を行う画像入力ボードをさらに具備し、前記参照画像と前記比較画像の色再現が一致するように、前記画像入力ボードで前記参照画像の特徴点とバックの色情報が合うように色調整を行うことを特徴としている。
【０００９】
請求項３記載の発明は、試料のマクロ的観察像およびミクロ的観察像の一方を取り込むとともに、この取り込まれた観察像を撮影し、この撮影された観察像、または予め用意された画像を参照画像として表示手段の第１の画像表示領域に表示し、撮影された前記観察象を比較画像として前記表示手段の第２の画像表示領域に表示し、前記第１の画像表示領域に表示された前記参照画像の全体又は一部と、前記第２の画像表示領域に表示された前記比較画像の全体又は一部を比較観察可能に前記表示手段の第３の画像表示領域に、前記第１の画像表示領域の前記参照画像と前記第２の画像表示領域の比較画像と同時に表示させることを特徴としている。
請求項４記載の発明は、請求項３記載の発明において、前記参照画像と前記比較画像の色再現が一致するように、画像入力ボードで前記参照画像の特徴点とバックの色情報が合うように色調整を行うことを特徴としている。
【００１２】
請求項５記載の発明は、コンピュータで実行可能なプログラムにおいて、観察像取り込み手段により試料のマクロ的観察像およびミクロ的観察像の一方を取り込ませるとともに、この取り込まれた観察像を撮像手段により撮影させ、この撮像手段で撮影される観察像または予め用意された画像を、参照画像として表示手段の第１の画像表示領域に表示し、撮影される前記観察像より得られる比較画像を前記表示手段の第２の画像表示領域に表示し、前記第１の画像表示領域に表示された前記参照画像の全体又は一部と、前記第２の画像表示領域に表示された前記比較画像の全体又は一部を比較観察可能に前記表示手段の第３の画像表示領域に、前記第１の画像表示領域の前記参照画像と前記第２の画像表示領域の比較画像と同時に表示させることを特徴としている。
請求項６記載の発明は、請求項５記載の発明において、前記参照画像と前記比較画像の色再現が一致するように、画像入力ボードで前記参照画像の特徴点とバックの色情報が合うように色調整を行うことを特徴としている。
請求項７記載の発明は、請求項１又は２記載の発明において、前記第１の画像表示領域と前記第２の画像表示領域と前記第３の画像表示領域とは、同一の前記表示手段に同時に表示されることを特徴としている。
請求項８記載の発明は、請求項３又は４記載の発明において、前記第１の画像表示領域と前記第２の画像表示領域と前記第３の画像表示領域とを、同一の前記表示手段に同時に表示することを特徴としている。
請求項９記載の発明は、請求項５又は６記載の発明において、前記第１の画像表示領域と前記第２の画像表示領域と前記第３の画像表示領域とを、同一の前記表示手段に同時に表示することを特徴としている。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
【００１６】
図１は、本発明が適用される画像比較装置として顕微鏡画像比較装置のブロック図を示すものである。
【００１７】
図において、１は図示しない試料を観察する顕微鏡からなる観察装置で、この観察装置１は、試料のミクロ的観察像を取り込むミクロ観察像取り込み手段としてミクロ観察ユニット２、試料のマクロ的観察像を取り込むマクロ観察像取り込み手段としてマクロ観察ユニット３が設けられ、さらに、撮像手段としてＴＶカメラ４が設けられている。
【００１８】
ＴＶカメラ４は、ミクロ観察ユニット２またはマクロ観察ユニット３によりそれぞれ取り込んだミクロまたはマクロの観察像を撮像するもので、これら撮像した画像をデジタル画像として制御手段のパソコン本体５に出力するようにしている。
【００１９】
パソコン本体５は、画像入力ボード６、ビデオカード７、ＲＡＭ８、ＣＰＵ９、記録媒体１０、インターフェース１１およびバス１２を有するもので、ＴＶカメラ４からのデジタル画像を画像入力ボード６に取込み、この取込んだデジタル画像をＲＡＭ８に記憶したり、ビデオカード７を介して表示手段としてのモニター１３に静止画像または動画像として表示させる（動画像はＴＶカメラ４のビデオレートの動画像が映し出される）。また、記録媒体１０には、予め用意された複数のデジタル化された参照画像が記録されているとともに、後述する文章鑑識支援ソフト等のプログラム１０ａが記録されている。このプログラム１０ａはバス１２を介して外部より与えられるとともに、ＲＡＭ８に一旦記録され、ＣＰＵ９により実行されて画像の比較を支援する処理を行うものである。インターフェース１１には、プログラム１０ａを実行する際の指示を入力するキーボード１４およびマウス１５が接続されている。
【００２０】
図２は、このような顕微鏡画像比較装置のシステム構成図を示すものである。
【００２１】
この場合、本システムは、観察装置１９と画像処理装置２０より構成されている。
【００２２】
観察装置１９は、ミクロ観察像取り込み手段としてのミクロ観察ユニット２１とマクロ観察像取り込み手段としてのマクロ観察ユニット２２を一体のものとして構成し、これらミクロ観察ユニット２１およびマクロ観察ユニット２２には、それぞれのベース（ミクロ用）２３およびベース（マクロ用）２４上に共通のマクロ・ミクロ電動ステージ（自動Ｘ−Ｙステージ）２５が設けられ、このマクロ・ミクロ電動ステージ２５を駆動することで、ミクロ観察ユニット２１とマクロ観察ユニット２２の間で試料の受渡しが自動的にできるようになっている。
【００２３】
また、これらミクロ観察ユニット２１とマクロ観察ユニット２２に対して、これらの観察像を撮影するためのＴＶカメラ２６が設けられている。このＴＶカメラ２６は、ミクロ観察ユニット２１のミクロ・マクロ用電動ズーム２７、対物レンズ２８を介して試料を撮影する。また、フォーカスの調整はミクロ用電動フォーカス２９で行う。さらに、ＴＶカメラ２６は、マクロ観察ユニット２２のミクロ・マクロ用電動ズーム２７、不図示の光路切換え装置、マクロレンズ３０を介して試料の撮影を行う。また、フォーカスの調整はマクロ用電動フォーカス３１で行う。
【００２４】
この場合、これらミクロ観察ユニット２１およびマクロ観察ユニット２２のミクロ用電動フォーカス２９、マクロ用電動フォーカス３１、不図示の調光装置、不図示の光路切換え装置およびＴＶカメラ２６は、それぞれ画像処理装置２０の一部を構成する制御手段であるパソコン本体３２より自動制御可能となっている。
【００２５】
また、ミクロ観察ユニット２１およびマクロ観察ユニット２２には、各種の照明方法が設けられている。この場合、ミクロ観察ユニット２１には、偏向照明３３、落射照明３４、落射蛍光照明３５、偏射照明３６、透過照明３７、赤外線透過照明３８が設けられ、また、マクロ観察ユニット２２には、偏向照明３９、落射照明４０、落射蛍光照明４１、偏射照明４２、透過照明４３、赤外線透過照明４４が設けられている。これら照明装置は、対象となる試料の観察部位などに応じてパソコン本体３２やミクロ用コントロールボックス（手動操作ボックス）４５、マクロ用コントロールボックス（手動操作ボックス）４６により観察部位に適した照明方法が選択されるようになっている。
【００２６】
なお、接眼レンズ４７は、ミクロ観察ユニット２１およびマクロ観察ユニット２２により得られる試料の観察像を直接目視で見るためのものである。
【００２７】
このような観察装置１９は、マクロ・ミクロ通信ケーブル４８、テレビカメラビデオケーブル４９およびテレビカメラ通信ケーブル５０を介して画像処理装置２０に接続されている。
【００２８】
画像処理装置２０は、パソコン本体３２の他に、観察画像の表示や制御用のＧＵＩ等を表示する表示手段としてのモニター５１、入力装置のキーボード５２、マウス５３を有している。また、画像処理装置２０は、マクロ・ミクロ通信ケーブル４８を介して観察装置１９の制御を行い、また、テレビカメラビデオケーブル４９を介してＴＶカメラ２６からの映像信号を取り込み、さらに、テレビカメラ通信ケーブル５０を介してＴＶカメラ２６のブライトネス、コントラスト等の制御を行うようになっていて、ＴＶカメラ２６からの撮像信号をパソコン本体３２内のビデオキャプチャーボードを介してメモリ（ともに不図示）に取り込み、デジタル画像としてモニター５１に表示できるようにしている。
【００２９】
パソコン本体３２には、システム制御するためのメニュー、ボタン表示、画像表示のためのモニタ５１、メニュー及びボタンを操作するためのキーボード５２およびマウス５３が接続されている。
【００３０】
この場合、パソコン本体３２は、ＴＶカメラ２６で撮影した画像を表示させるためのフレームメモリ機能、システム制御のためのメニュー及びボタン操作機能、観察装置１９を制御するための通信機能などを備え、さらに、一時的に画像データを保存するためのメモリ機能も備えている。また、パソコン本体３２は、ＴＶカメラ２６で撮影した画像及び撮影条件などのデータを他のパソコンに保存させてデータを共有するために必要な通信手段を備えている。例えば、Ｅｔｈｅｒｎｅｔ、ＧＰ−ＩＢ、パラレル、シリアル等がある。さらに、パソコン本体３２は、マクロ・ミクロ電動ステージ２５の駆動指令、ミクロ観察ユニット２１およびマクロ観察ユニット２２に対するフォーカス、ズーム、光路切換え、照明方法の切換え、調光等の指令を始め、ＴＶカメラ２６の制御指令などをインターフェースを介して観察装置１９側に出力する。ここでのインターフェースは、観察装置１９とパソコン本体３２に内蔵されており、例えば、ＲＳ−２３２Ｃ、ＧＰ−ＩＢ、パラレル、シリアル、ＳＣＳＩ等がある。
【００３１】
次に、このように構成された実施の形態の動作を説明する。
【００３２】
図３は、モニター５１画面上での表示例、図４乃至図７は、作業手順と動作を説明するためのフローチャートである。
【００３３】
まず、図４において、観察者は、見本となる参照画像の登録が必要となり、観察者は、図３に示すモニター上に表示される操作画面１７０上で見本となる試料の種別、例えば身分証明書などを試料種別リスト２１０により選択する（ステップＳ１０）。
【００３４】
次に、観察者は、観察装置１９での観察ユニットを選択する。つまり、観察者は、見本となる試料上の観察したい領域の大きさに応じてマクロ観察ユニット２２にて観察するか、または、ミクロ観察ユニット２１にて観察するかを選択する（ステップＳ１１）。この場合、モニターの操作画面１７０で、マクロ観察ユニット２２またはミクロ観察ユニット２１に対応するマクロボタン２４３またはミクロボタン２４２をクリックして図２の観察装置１９の不図示の光路切替え装置を操作して光路切換えを選択し、所望する観察ユニットを選択する（ステップＳ１２，ステップＳ１３）。
【００３５】
次に、モニター上に表示される操作画面１７０上で動画ボタン２０３および静止画ボタン２０４のうちの動画ボタン２０３を選択し、ＴＶカメラ２６で撮影している動画像を観察画像表示領域２００に表示させる（ステップＳ１４）。
【００３６】
この状態で、観察者は見本となる試料を、選択した観察ユニットのマクロ・ミクロ電動ステージ２５にセットし（ステップＳ１５）、観察画像表示領域２００の動画像（観察画像）を見ながら、試料に適した照明方法をマクロ用コントロールボックス４６またはミクロ用コントロールボックス４５を用いて選択し、照明方法および明るさを調整する（ステップＳ１６）。
【００３７】
次に、観察者は、観察画像の細部を拡大観察するか否かを判断し（ステップＳ１７）、拡大したい場合（ｙｅｓ）は、倍率変更ボタン２３１にて拡大倍率を設定し、観察画像上にマウスのポインタを持って行く、すると、ポインタは、観察画像上で指定された倍率の撮り込みエリアを表示する。そして、観察者が撮り込みたい位置をクリックし拡大位置を決定し（ステップＳ１８）、操作画面１７０の設定ボタン２３２をクリックする。すると、パソコン本体３２は、現状のステージ位置、設定率および観察画像上でのマウスポインタの位置から拡大する画像の中心位置を算出し、選択されている観察ユニットの光軸上に拡大する画像の中心位置が一致するように、自動的にマクロ・ミクロ電動ステージ２５を移動し、セットされた試料を観察したい位置に移動させる（ステップＳ１９）。
【００３８】
次に、観察者は、試料の観察したい領域が表示されるようにズーム倍率を調整し、フォーカスを合せる（ステップＳ２０）。
【００３９】
なお、ステップＳ１７で、観察画像の細部を拡大観察しないと判断した場合は、直ちにステップＳ２０に進み、観察者は、試料の観察したい領域が表示されるようにズーム倍率を調整し、フォーカスを合せるようになる。
【００４０】
次に、図５において、観察者は、観察画像のコントラストは充分か判断する（ステップＳ２１）。ここで、蛍光照明や試料のコントラストが少ない場合は、はっきりした画像にならず、精度の高い画像比較ができない。
【００４１】
この場合は、画像積算処理を行う（ステップＳ２２）。まず、観察者は、モニター上に表示される操作画面１７０にある自動コントラストボタン２２１を選択し、自動コントラスト処理を行う。これにより、パソコン本体３２は、撮り込んだ画像に輝度レベルが最適になるようにゲインまたはオフセットをかけ、画像データを変更した上で、観察画像表示領域２００に表示する。観察者は、この観察画像を見ながら、試料の観察位置、倍率、フォーカスを合せる。次に、モニタの操作画面１７０にある積算ボタン２２２を選択し画像積算処理を開始する。これにより、パソコン本体３２は、撮り込んだ画像を設定された画像枚数分保存し、画像データを加算して、観察画像表示領域２００に表示する。観察者は、試料の明るさによりモニタの操作画面１７０にある積算数２２３で積算回数を調整し、観察し易い画像に調整する。
【００４２】
これらの撮り込み画像の準備ができたところで、モニター上に表示される操作画面１７０のティーチングボタン１８６を操作してティーチング画像としての登録を行う（ステップＳ２３）。これにより、パソコン本体３２は、ＴＶカメラ２６の映像信号をビデオキャプチャーボードを介してパソコン本体３２にデジタル画像（ティーチング画像）として取り込み、取り込んだデジタル画像を記録媒体１０に保存するとともに、静止画像表示領域１８０に表示する。また、パソコン本体３２は、このときの観察条件、つまり、マクロ・ミクロ電動ステージ２５の位置（デジタル画像の撮り込んだ位置）、ズーム倍率、照明方法、調光、光路切換え、ＴＶカメラ２６の設定などの各種の条件を観察装置１９およびＴＶカメラ２６との通信により確認し、ステップＳ１０において試料種別リスト２１０で選択した試料の種別ごとに保存する。
【００４３】
以下同様にして、観察者は、試料上の観察が必要な部分について、その数だけ、ティーチング画像の登録を繰り返す（ステップＳ２４）。
【００４４】
なお、このようなティーチング画像の登録は、モニター上に表示される操作画面１７０にあるファイル読込ボタン１８５を選択して、パソコン本体３２の記録媒体３２またはネットワーク等の通信手段を介して他のパソコンの記録媒体に保存されているティーチング画像を読み込んで登録してもよい。この場合は、ステップＳ１０〜ステップＳ２４の手順は、不要になる。
【００４５】
次に、観察者は、ティーチング登録された参照画像と同じ条件で比較するための試料画像が必要となり、図６に示すように、モニター上に表示される操作画面１７０上で見本となる試料の種別、例えば身分証明書を試料種別リスト２１０により選択する（ステップＳ３０）。
【００４６】
次に、観察者は、マクロ・ミクロ電動ステージ２５上に、比較画像を生成するための比較試料をセットする（ステップＳ３１）。そして、モニター上に表示される操作画面１７０上で取込みボタン２２９を選択する（ステップＳ３２）。
【００４７】
パソコン本体３２は、試料種別リスト２１０により選択された試料の種別ごとに登録したティーチング画像の登録時点での撮影条件ファイルを読み出すとともに、ティーチング画像を参照画像として静止画像表示領域１８０に表示する（ステップＳ３３）。また、パソコン本体３２は、読み出した撮影条件ファイルによるマクロ・ミクロ電動ステージ２５の位置、ズーム倍率、照明方法、調光、光路切換え、ＴＶカメラ２６の設定などを各種の条件に基づいてマクロ・ミクロ通信ケーブル４８を介して観察装置１９を自動制御し、参照画像（ティーチング画像）の取得時の観察条件に一致させる（ステップＳ３４）。そして、ＴＶカメラ２６で撮影されるマクロ・ミクロ電動ステージ２５上の試料の動画像を撮り込み（ステップＳ３５）、比較画像として動画像表示領域１９０に表示する（ステップＳ３６）。
【００４８】
ところで、同じ撮影条件で撮影しても照明装置のランプの劣化やレンズなどによる観察装置１９での機差により画像の色あいなどの違いが発生する。そこで、パソコン本体３２は、参照画像と比較画像の色再現が一致するように、画像入力ボードの色調整を行う。例えば、参照画像の特徴点とバックの色情報として赤・緑・青の輝度情報が、比較画像と合うように画像入力ボードの色調整を行う。（ステップＳ３７、ステップＳ３８）。これにより、参照画像と比較画像の撮影条件が一致し、画像比較し易い画像が撮影でき、以下の画像を比較する作業に入る。
【００４９】
この場合、図７に示すように、観察者は、比較画像と参照画像を静止画像表示領域１８０および動画像表示領域１９０のタブより選択し（ステップＳ３９）、続けて試料の比較したい領域に適した画像比較モードを選択する（ステップＳ４０）。
【００５０】
この場合、第一の画像比較モードとしての分割画像表示は、観察画像表示領域２００を上下または左右の２つの領域に分割し、一方の分割領域に参照画像を表示し、他方の分割領域に比較画像を表示する。また、この分割画像表示の選択において、分割モード表示の表示方法を選択する（ステップＳ４１）。この分割モード表示の表示方法は、左：参照画像・右：比較画像、左：比較画像・右：参照画像、上：参照画像・下：比較画像、上：比較画像・下：参照画像があり、これらはボタン２０５で選択できる。また、領域を分割する境界線の罫線を、罫線移動ボタン２２４により移動できる。
【００５１】
観察者は、試料の比較したい領域により適した分割モード表示の表示方法を選択する。この場合、観察画像表示領域２００の一方の分割領域に表示される参照画像には、縦スクロールバー２０１、横スクロールバー２０２が配置されており、観察者は、スクロールバーを移動させることにより参照画像の表示位置を調整する（ステップＳ４２）。ここで、パソコン本体３２は、スクロールバーの移動量に合せて、参照画像の画像表示位置と比較画像の画像表示位置が同じ位置になるように、自動的にマクロ・ミクロ電動ステージ２５を移動させる。また、観察画像表示領域２００の一方の分割領域に表示される比較画像は、動画像にて表示されており、観察者は、必要により位置を微調整したい場合は、画像を確認しながらマクロ・ミクロ電動ステージ２５を移動させる事により比較画像の表示位置を調整する。
【００５２】
また、第二の画像比較モードとしてのオーバーラップ表示は、参照画像と比較画像の輝度の割合を任意の整数ｎ，ｍ（但し、ｎ≧ｍ）において、ｍ／ｎ倍した画像と（ｎ−ｍ）／ｎ倍した画像とを加算した画像を観察画像表示領域２００に表示することにより、参照画像と比較画像が透けて見える画像を観察することができる。なお、整数ｎ，ｍを変更して参照画像と比較画像の輝度の割合いを徐々に変更することにより、片側の画像を強調させて表示することもできる。
【００５３】
この場合、観察者は、オーバーラップボタン２０６を選択し（ステップＳ４３）、参照画像と比較画像の位置調整により（ステップＳ４４）、参照画像と比較画像の微妙な位置ずれを、オーバラップ画像を確認しながらマクロ・ミクロ電動ステージ２５を移動させることにより一致させる。そして、観察者は、オーバラップ画像を確認し、一致していない部分を確認する。なお、表示割合の調整で（ステップＳ４５）、観察者はどちらかの画像を強調したい場合は、表示割合調整バー２０７を変更することにより、どちらかの画像の表示割合を強調して表示させることができる。
【００５４】
さらに、第三の画像比較モードとしての画像切換え表示(アニメーション)は、参照画像と比較画像の２つの画像を所定時間間隔で交互に観察画像表示領域２００に繰返し切換え表示する。観察者は、前もって、オーバーラップボタン２０６を選択し（ステップＳ４６）、参照画像と比較画像の位置調整により（ステップＳ４７）、参照画像と比較画像の微妙な位置ずれを一致させる。次に、画像切換え表示（アニメーション）ボタン２０８を選択し（ステップＳ４８）、切り換わる画像を確認しながら、一致していない部分を確認する。つまり、画像を交互に切り換えることにより、画像の残像効果によって異なる部分を認識する。この場合、観察者は、切換え時間を設定するが（ステップＳ４９）、比較しやすい切り換わり時間を設定時間ボタン２０９を操作し設定して観察する。
【００５５】
なお、参照画像の表示方法を変更するために、静止画像表示領域１８０に、上下ボタン１８１、左右ボタン１８２、ネガボタン１８３が設けられている。上下ボタン１８１、左右ボタン１８２は、例えば、試料の裏表の状態を比較する場合、裏側より撮影した画像と表側の画像の方向を一致させるために、参照画像を上下反転と左右反転ができるようにするためのもので、また、ネガボタン１８３は、試料により片側の画像をポジネガ反転することにより画像の比較を認識しやすくするためのものである。
【００５６】
画像比較が終了したところで、異物自動検出ボタン２２６を選択する。すると、異物自動検出処理により（ステップＳ５０）、パソコン本体３２にて参照画像と比較画像の二値化画像が比較され、異なる部分を色付けし、またはマークなどで表示することで、観察者の画像比較を支援する。そして、観察者が異物自動検出処理を参考に目視にて画像を観察し、画像を比較する（ステップＳ５１）。
【００５７】
次に、コメントボタン２２５を選択すると、描画機能により参照画像、比較画像、画像比較モードによる観察画像上にコメント入力が可能になり（ステップＳ５２）、補足説明を書き加える。また、観察者は、保存が必要な画像を観察画像表示領域２００に表示させ、画像保存ボタン２２８を選択すると、保存したい記憶媒体に画像が保存される（ステップＳ５３）。なお、この時に、パソコン本体３２は、保存画像の観察条件も合せて保存する。
【００５８】
次に、観察者は、さらに試料の観察部分を変更して詳細な比較観察を続けるかを判断する(ステップＳ５４)。ここで、比較観察を続ける場合は、ステップＳ３２に戻って、上述した動作を繰り返し、また、比較観察を続けない場合は、観察を終了する。
【００５９】
従って、このようにすれば、例えば、身分証明書などの試料の観察が必要な部分のティーチング画像（参照画像）を、これらの観察条件、つまり、マクロ・ミクロ電動ステージ２５の位置（デジタル画像の撮り込んだ位置）、ズーム倍率、照明方法、調光、光路切換え、ＴＶカメラ２６の設定などの各種の条件とともに登録しておき、比較する試料の観察の際に、これら観察条件を自動的に再現して比較試料の撮影を行い、撮り込まれた比較画像と参照画像との比較を行うようにしている。これにより、ティーチング画像（参照画像）と比較される試料の画像が、ティーチング画像の観察条件と同じ条件で観察ができるとともに、ティーチング画像の特徴と現在観察している試料の特徴を容易に同一条件で比較観察するができので、比較精度を飛躍的に高めることができ、印刷物や身分証明書などの特殊印刷や加工を施したものの鑑識を容易に、しかも高精度に行うことができる。
【００６０】
また、ティーチング画像（参照画像）を保存した時の観察条件は、画像データと共に保存されるため、例えば、共用の記憶媒体に保存しておけば、いかなるシステムでも比較する試料との画像比較の際に、常に同じ観察条件を自動的に設定することができ、画像比較作業の効率を大幅に向上することができる。
【００６１】
なお、このような画像比較の過程で、偽造箇所が１ケ所でも確認できれば、試料全てが偽造と判断できことから、一番怪しい部位の画像から比較することが比較判定する時間を短縮する上で好ましい。そこで、撮影した画像のタブの表示順番は、比較画像と参照画像を２値化して、その一致していない面積の多い割合により並べたり、過去の偽造の確認件数の多い順番の部位の画像より並べることもできる。
【００６２】
また、これまでは、スタンドアロンで使用している顕微鏡画像比較装置について説明してきたが、ネットワークを介して画像サーバに必要なデジタル画像と文書の偽造箇所の説明、撮影条件などの情報を保管するネットワークシステムを構築する。そこで、異なる箇所で新たに見つかった偽造物の画像や情報を画像サーバにその都度保存して、常に最新の参照画像に更新しておく。これにより、顕微鏡比較装置のパソコン本体から関連する情報をネットワークを介して画像サーバを検索し、常に最新の参照画像を入手できるようになる。また、現状多発している偽造物の情報があれば、参照画像の表示タブの表示順序を更新して保存し、始めのほうに確認するようにタブを並べ替え、効率的に偽造文書を確認することができる。この場合、ネットワーク上に偽造箇所のデータなどの秘密情報を通信することになるため、ユーザ管理およびデータの暗号化などの処理をして、外部に情報が漏れない処理が必要となる。
【００６３】
【発明の効果】
以上述べたように本発明によれば、参照画像と同じ条件で比較画像の比較すべき部分を自動的に一致させて撮影でき、精度の高い画像比較を行うことができる画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の顕微鏡画像比較装置のブロック図。
【図２】一実施の形態の顕微鏡画像比較装置のシステム構成を示す図。
【図３】一実施の形態に用いられるモニタの表示例を示す図。
【図４】一実施の形態の動作を説明するためのフローチャート。
【図５】一実施の形態の動作を説明するためのフローチャート。
【図６】一実施の形態の動作を説明するためのフローチャート。
【図７】一実施の形態の動作を説明するためのフローチャート。
【符号の説明】
１…観察装置
２…ミクロ観察ユニット
３…マクロ観察ユニット
４…ＴＶカメラ
５…パソコン本体
６…画像入力ボード
７…ビデオカード
８…ＲＡＭ
９…ＣＰＵ
１０…記録媒体
１０ａ…プログラム
１１…インターフェース
１２…バス
１３…パソコン用モニター
１４…キーボード
１５…マウス
１９…観察装置
２０…画像処理装置
２１…ミクロ観察ユニット
２２…マクロ観察ユニット
２５…マクロ・ミクロ電動ステージ
２６…ＴＶカメラ
２７…ミクロ・マクロ用電動ズーム
２８…対物レンズ
２９…ミクロ用電動フォーカス
３０…マクロレンズ
３１…マクロ用電動フォーカス
３２…パソコン本体
３３…偏向照明
３４…落射照明
３５…落射蛍光照明
３６…偏射照明
３７…透過照明
３８…赤外線透過照明
３９…偏向照明
４０…落射照明
４１…落射蛍光照明
４２…偏射照明
４３…透過照明
４４…赤外線透過照明
４５…ミクロ用コントロールボックス
４６…マクロ用コントロールボックス
４７…接眼レンズ
４８…マクロ・ミクロ通信ケーブル
４９…テレビカメラビデオケーブル
５０…テレビカメラ通信ケーブル
５１…パソコン用モニタ
５２…キーボード
５３…マウス
１７０…操作画面
１８０…静止画像表示領域
１８１…上下ボタン
１８２…左右ボタン
１８３…ネガボタン
１８５…ファイル読込ボタン
１８６…ティーチングボタン
１９０…動画像表示領域
２００…観察画像表示領域
２０１…縦スクロールバー
２０２…横スクロールバー
２０３…動画ボタン
２０４…静止画ボタン
２０５…ボタン
２０６…オーバーラップボタン
２０７…表示割合調整バー
２０８…画像切換え表示（アニメーション）ボタン
２０９…設定時間ボタン
２１０…試料種別リスト
２２１…自動コントラストボタン
２２２…積算ボタン
２２３…積算数
２２４…罫線移動ボタン
２２５…コメントボタン
２２６…異物自動検出ボタン
２２８…画像保存ボタン
２２９…取込みボタン
２３１…倍率変更ボタン
２３２…設定ボタン
２４２…ミクロボタン
２４３…マクロボタン
Claims (9)
- 試料のマクロ的観察像およびミクロ的観察像の一方を取り込む観察像取り込み手段と、
前記観察像取り込み手段により取り込まれた観察像を撮影する撮像手段と、
前記撮像手段で撮影される観察像または予め用意された画像を、参照画像として記録する記録手段と、
前記記録手段に記録された前記参照画像を表示する第１の画像表示領域と、前記撮像手段により撮影される観察像を比較画像として表示する第２の画像表示領域と、前記参照画像と前記比較画像を比較可能に表示する第３の画像表示領域とを同時に表示する表示手段と、
前記記録手段に記録された観察像の観察条件に基づいて前記観察像取り込み手段および前記撮像手段の状態を再現するとともに、前記撮像手段により撮影される観察像を比較画像として前記参照画像と比較可能に前記表示手段に表示させる制御手段と
を具備したことを特徴とする画像比較装置。 - 前記表示手段に色調整を行う画像入力ボードをさらに具備し、
前記参照画像と前記比較画像の色再現が一致するように、前記画像入力ボードで前記参照画像の特徴点とバックの色情報が合うように色調整を行うことを特徴とする請求項１記載の画像比較装置。 - 試料のマクロ的観察像およびミクロ的観察像の一方を取り込むとともに、この取り込まれた観察像を撮影し、
この撮影された観察像、または予め用意された画像を参照画像として表示手段の第１の画像表示領域に表示し、
撮影された前記観察象を比較画像として前記表示手段の第２の画像表示領域に表示し、
前記第１の画像表示領域に表示された前記参照画像の全体又は一部と、前記第２の画像表示領域に表示された前記比較画像の全体又は一部を比較観察可能に前記表示手段の第３の画像表示領域に、前記第１の画像表示領域の前記参照画像と前記第２の画像表示領域の比較画像と同時に表示させることを特徴とする画像比較方法。 - 前記参照画像と前記比較画像の色再現が一致するように、画像入力ボードで前記参照画像の特徴点とバックの色情報が合うように色調整を行うことを特徴とする請求項３記載の画像比較方法。
- 観察像取り込み手段により試料のマクロ的観察像およびミクロ的観察像の一方を取り込ませるとともに、この取り込まれた観察像を撮像手段により撮影させ、
この撮像手段で撮影される観察像または予め用意された画像を、参照画像として表示手段の第１の画像表示領域に表示し、
撮影される前記観察像より得られる比較画像を前記表示手段の第２の画像表示領域に表示し、
前記第１の画像表示領域に表示された前記参照画像の全体又は一部と、前記第２の画像表示領域に表示された前記比較画像の全体又は一部を比較観察可能に前記表示手段の第３の画像表示領域に、前記第１の画像表示領域の前記参照画像と前記第２の画像表示領域の比較画像と同時に表示させることを特徴とする画像比較をコンピュータに実行させるためのプログラム。 - 前記参照画像と前記比較画像の色再現が一致するように、画像入力ボードで前記参照画像の特徴点とバックの色情報が合うように色調整を行うことを特徴とする請求項５記載のコンピュータで実行可能なプログラム。
- 前記第１の画像表示領域と前記第２の画像表示領域と前記第３の画像表示領域とは、同一の前記表示手段に同時に表示されることを特徴とする請求項１又は２記載の画像比較装置。
- 前記第１の画像表示領域と前記第２の画像表示領域と前記第３の画像表示領域とを、同一の前記表示手段に同時に表示することを特徴とする請求項３又は４記載の画像比較方法。
- 前記第１の画像表示領域と前記第２の画像表示領域と前記第３の画像表示領域とを、同一の前記表示手段に同時に表示することを特徴とする請求項５又は６記載のコンピュータで実行可能なプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002239616A JP4633322B2 (ja) | 2002-08-20 | 2002-08-20 | 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム |
| PCT/JP2003/010531 WO2004019617A1 (ja) | 2002-08-20 | 2003-08-20 | 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム |
| EP03792749A EP1549072A4 (en) | 2002-08-20 | 2003-08-20 | IMAGE COMPARISON DEVICE, IMAGE COMPARISON METHOD, AND PROGRAM FOR COMPUTER COMPARISON OF IMAGES |
| US11/060,144 US20050157170A1 (en) | 2002-08-20 | 2005-02-17 | Image comparison apparatus, image comparison method, and program to execute image comparison by computer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002239616A JP4633322B2 (ja) | 2002-08-20 | 2002-08-20 | 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004080517A JP2004080517A (ja) | 2004-03-11 |
| JP4633322B2 true JP4633322B2 (ja) | 2011-02-16 |
Family
ID=32022677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002239616A Expired - Fee Related JP4633322B2 (ja) | 2002-08-20 | 2002-08-20 | 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4633322B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100651292B1 (ko) | 2004-12-30 | 2006-11-29 | 엘지전자 주식회사 | 카메라가 탑재된 티브이 및 그 티브이의 영상 정보 제공방법과 그 시스템 |
| JP5085860B2 (ja) * | 2005-11-28 | 2012-11-28 | 株式会社名南製作所 | 木材の検査方法及び装置及びプログラム |
| JP2008070238A (ja) * | 2006-09-14 | 2008-03-27 | Olympus Corp | 基板検査装置 |
| JP5370953B2 (ja) * | 2007-12-25 | 2013-12-18 | 独立行政法人 国立印刷局 | 印刷物の検査装置 |
| JP6140255B2 (ja) * | 2015-11-13 | 2017-05-31 | 株式会社キーエンス | 画像処理装置及び画像処理方法 |
| JP2019053050A (ja) | 2017-09-13 | 2019-04-04 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| WO2019054235A1 (ja) * | 2017-09-13 | 2019-03-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2019158555A (ja) * | 2018-03-13 | 2019-09-19 | 株式会社Ｓｃｒｅｅｎホールディングス | 欠陥確認装置、欠陥確認方法およびプログラム |
-
2002
- 2002-08-20 JP JP2002239616A patent/JP4633322B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004080517A (ja) | 2004-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7050622B2 (en) | Image comparison apparatus, image comparison method, and program for causing computer to execute image comparison | |
| JP4600395B2 (ja) | 顕微鏡システムおよび画像処理方法 | |
| US7248403B2 (en) | Microscopic image capture apparatus and microscopic image capturing method | |
| CN1977762B (zh) | 眼底图像的处理方法及装置 | |
| EP1293927A2 (en) | Image comparison device, image comparison method, and computer readable medium storing program to execute image comparison with computer | |
| KR20050032473A (ko) | 촬상 장치 및 촬상 방법 | |
| JP4633322B2 (ja) | 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム | |
| US20050157170A1 (en) | Image comparison apparatus, image comparison method, and program to execute image comparison by computer | |
| JPH11341331A (ja) | 電子的撮像装置 | |
| JP2004078690A (ja) | 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム | |
| JP4366975B2 (ja) | 顕微鏡システム | |
| JP2005266718A (ja) | 顕微鏡画像撮影システム | |
| JP2009210773A (ja) | 顕微鏡用画像の情報処理装置 | |
| JP2002267943A (ja) | 顕微鏡撮影装置 | |
| JP2021021850A (ja) | オートフォーカス顕微鏡及び顕微鏡画像の自動撮像装置 | |
| EP1549072A1 (en) | Image comparison device, image comparison method, and program causing computer to execute image comparison | |
| KR20000057920A (ko) | 현미경 화상 전송 시스템, 현미경 화상 처리 방법 및현미경 화상 처리에 이용하는 기록 매체 | |
| JPH0983789A (ja) | 映像入力装置 | |
| JP4050386B2 (ja) | 電子的撮像装置 | |
| JPH1155444A (ja) | 画像取込装置 | |
| JP2008227990A (ja) | 撮像装置及び撮像装置制御プログラム | |
| JP2021180366A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
| JP2021076858A (ja) | 顕微鏡画像の自動撮像装置 | |
| JP2005303522A (ja) | 表示制御装置、カメラおよび画像表示プログラム | |
| JPH07287312A (ja) | 赤目修正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080724 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080925 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081106 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090116 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101117 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4633322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |