JP3540260B2 - 照合登録画像選択方法および画像照合装置 - Google Patents
照合登録画像選択方法および画像照合装置 Download PDFInfo
- Publication number
- JP3540260B2 JP3540260B2 JP2000269773A JP2000269773A JP3540260B2 JP 3540260 B2 JP3540260 B2 JP 3540260B2 JP 2000269773 A JP2000269773 A JP 2000269773A JP 2000269773 A JP2000269773 A JP 2000269773A JP 3540260 B2 JP3540260 B2 JP 3540260B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- registered
- candidate
- matching
- registered image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、照合登録画像選択方法および画像照合装置に関し、特に照合対象から得られた画像を照合する場合に用いる登録画像を予め選択するための照合登録画像選択方法および画像照合装置に関するものである。
【０００２】
【従来の技術】
指紋や鼻紋など対象の微細な凹凸形状を検出して照合する画像照合装置では、その凹凸を画像として取り込み、予め登録しておいたいくつかの登録画像と比較することにより、対象の照合を行うものとなっている。このような照合に用いる登録画像は、照合対象の凹凸密度によっても変化するが、ある程度の照合精度を得るには１つの登録画像で比較的大きなデータ量が必要となる。また、認証システムなどでこれら登録画像をＩＣカードや所定の記録媒体へ格納して管理する場合には、なるべくデータ量が小さいほうがよい。
【０００３】
このため、少ない登録画像数で精度よく照合を行うためには、予め対象から得た候補画像のうち、有効な登録画像を数個だけ選択して登録する必要がある。
このような予め登録しておく登録画像を選択する場合、予め対象から得た候補画像について、それぞれの候補画像相互間で画像の一致率を算出し、高い一致率が得られた画像の一方または両方をその一致率の高い順に所定数だけ登録画像として選択する方法が考えられる。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の照合登録画像選択方法や画像照合装置では、予め対象から得た候補画像のうち一致率が高い順に複数の候補画像を選択しているため、各候補画像のうち同一傾向の標準的な画像が登録画像として選択される可能性が高く、実際の照合時に対象から得られる画像の変化に対応できず、高い照合精度を得ることができないという問題点があった。実際の照合時に対象から得られる画像が、その採取条件の違いにより大きく変化する。例えば、指紋照合の場合、対象すなわち指先の位置ずれ、湿潤度合いあるいは押圧力に応じて採取される指紋画像が大きく変化する。したがって、位置ずれ量や回転量などに差がない似通った標準的な登録画像を複数用意しても変化の大きい画像に対応できないという問題点があった。
本発明はこのような課題を解決するためのものであり、照合に効果的な登録画像を適切に選択できる照合登録画像選択方法および画像照合装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
このような目的を達成するために、本発明にかかる照合登録画像選択方法は、照合対象から登録画像の候補となる候補画像を取り込んで記憶手段に格納し、記憶手段に格納されている各候補画像を読み出し各候補画像相互間で画像の一致率を算出し、各候補画像ごとに、その候補画像が関係するすべての一致率のうち所定のしきい値以上となる一致率の数を一致充足数として計数し、各候補画像のうち、一致充足数が最大の候補画像を第１登録画像として選択し、第１登録画像と他の各候補画像と間で画像の位置ずれ量を算出し、これら他の各画像候補のうち、第１登録画像との位置ずれ量が最大の候補画像を第２登録画像として選択するようにしたものである。
【０００６】
本発明にかかる他の照合登録画像選択方法は、照合対象から登録画像の候補となる候補画像を取り込んで記憶手段に格納し、記憶手段に格納されている各候補画像を読み出し各候補画像相互間で画像の一致率を算出し、各候補画像ごとに、その候補画像が関係するすべての一致率のうち所定のしきい値以上となる一致率の平均値を算出し、各候補画像のうち、平均値が最大の候補画像を第１登録画像として選択し、第１登録画像と他の各候補画像と間で画像の位置ずれ量を算出し、これら他の各画像候補のうち、第１登録画像との位置ずれ量が最大の候補画像を第２登録画像として選択するようにしたものである。この位置ずれ量として、各候補画像の所定方向に沿った位置ずれ量を用いてもよい。
【０００７】
第３登録画像として、第１登録画像および第２登録画像以外の他の各候補画像のうち、第１登録画像および第２登録画像との一致率のそれぞれが所定のしきい値を越えない候補画像を選択するようにしてもよく、このとき所定のしきい値を越えない候補画像が複数存在する場合は、これら候補画像のうち、これら候補画像相互間の一致率が最大となる２つの候補画像のいずれか一方を第３登録画像として選択するようにしてもよい。また、第１登録画像および第２登録画像以外の他の各候補画像のうち、第１登録画像または第２登録画像との一致率が最も小さい候補画像を第３登録画像として選択してもよい、
また照合順序については、第１登録画像を最先の照合順序を有する登録画像として選択するようにしてもよい。
【０００８】
本発明にかかる画像照合装置は、照合対象から画像を取り込む画像取り込み手段と、この画像取り込み手段で取り込んだ画像を登録画像の候補となる候補画像として記憶手段へ格納する画像格納手段と、上記の照合登録画像選択方法を用いて画像格納手段に格納されている各候補画像から複数の登録画像を選択する登録画像選択手段と、この登録画像選択手段で選択された各登録画像を格納する登録画像記憶手段と、照合対象を照合する際に、画像取り込み手段から取り込みんだ画像と登録画像記憶手段に格納されている各登録画像を比較することにより、照合対象を照合する照合手段とを備えるものである。
【０００９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
図１は本発明の一実施の形態にかかる照合登録画像選択方法が適用される画像照合装置を示すブロック図である。以下では、画像照合装置のうち、指紋の凹凸を示す画像と所定の登録画像とを比較照合して認証を行う指紋照合装置を例として説明する。
この指紋照合装置は、指紋の凹凸を取り込み画像として出力する画像取り込み部１、取り込みんだ画像２を候補画像Ｚ1〜ＺNとして記憶する記憶部４、候補画像Ｚ1〜ＺNから選択した照合用の登録画像Ｇ1〜Ｇ3を記憶する登録画像記憶部５、および指紋照合装置全体を制御する制御部３から構成されている。
【００１０】
制御部３は、プログラムで所定の演算処理を行うＣＰＵからなり、画像取り込み部１で取り込みんだ画像２を候補画像Ｚ1〜ＺNとして記憶部４へ格納する画像格納手段３Ａ、記憶部４に格納されている候補画像Ｚ1〜ＺNから照合用の登録画像Ｇ1〜Ｇ3を選択して登録画像記憶部５へ格納する登録画像選択手段３Ｂ、および画像取り込み部１で取り込みんだ画像２と登録画像記憶部５に格納されている登録画像Ｇ1〜Ｇ3とを照合し、その結果を照合結果６として出力する照合手段３Ｃとを有している。これら画像格納手段３Ａ、登録画像選択手段３Ｂおよび照合手段３Ｃは、プログラムで実現されている。
【００１１】
次に、図２を参照して、本実施の形態の動作として、照合時に照合パターンとして用いる登録画像を選択する場合の処理動作について説明する。図２は登録画像選択処理を示すフローチャートである。
まず、照合時に照合パターンとして用いる登録画像を選択する場合、制御部３では、画像格納手段３Ａを動作させることにより、画像取り込み部１で同一指から複数の指紋画像２を採取し、これらを候補画像Ｚ1〜ＺNとして記憶部４へ格納する（ステップ１００）。
【００１２】
図３に画像取り込み部の外観図を示す。画像取り込み部１の検出面１２には、縦横マトリクス状に多数の検出素子１１が配置されている。各検出素子１１は、対象の微細な凹凸を電気量に変換する素子から構成されており、指１３を検出面１２に接触されることにより、各検出素子１１で指紋１４の凹凸が検出され、指紋画像２として出力される。図４に画像取り込み部１で取り込まれた指紋画像を示す。画像取り込み部１としてはこのような構成に限定されるものではなく、例えば、光学的に対象表面の形状を検出し画像として出力するものを用いてもよい。なお、本発明では、便宜上、指１３の長さ方向（指先−付け根方向）を垂直方向と定義し、これと直交する指１３の幅方向を水平方向と定義しているが、照合する画像に合わせてそれぞれ定義すればよい。
【００１３】
このようにして、候補画像Ｚ1〜ＺNを記憶部４へ格納した後、制御部２では、登録画像選択手段３Ｂを動作させることにより、これら候補画像Ｚ1〜ＺNから登録画像Ｇ1〜Ｇ3を選択する登録画像選択処理を開始する。
まず、各候補画像相互間ごとの評価指標を算出する評価指標算出処理を実行する（ステップ１０１）。図５に評価指標算出処理のフローチャートを示す。この評価指標算出処理では、評価指標として各候補画像Ｚ1〜ＺN相互間について、候補画像ＺiとＺjの一致率Ｍij、垂直移動量Ｖij、水平移動量Ｈij、および一致充足数Ｔiを算出している。
【００１４】
最初に候補画像Ｚ1〜ＺNから仮登録画像Ｚiを選択し（ステップ１１０）、このＺiと比較する比較画像Ｚj（但し、ｊ≠ｉ）を選択する（ステップ１１１）。そして、ＺiとＺjの一致率Ｍijを算出する（ステップ１１２）。画像の一致率については、両画像を画素単位で比較しその一致の割合いを表す指標である。例えば、階調度を持つ両画像をそれぞれ白黒に二値化し、一方の画像に存在する全ての黒画素について、他方の画像の同一位置にある画素が黒画素である割合いを求めればよい。一致率については、このような方法に限定されるものではなく、他の方法で両画像の一致率を求めてもよい。
【００１５】
次に、この一致率Ｍijとしきい値とを比較し、Ｍijがしきい値を下回る場合は（ステップ１１３：ＮＯ）、Ｚiについて所定範囲内の全位置で一致率をチェックしたがどうか判断し、未チェックの位置があれば（ステップ１１４：ＮＯ）、Ｚiを特定量だけ回転移動や平行移動させることにより他の位置へ移動させて（ステップ１１５）、ステップ１１２へ戻り一致率Ｍijを算出して再チェックする。Ｚiについて所定範囲内の全位置でチェックし終わった場合は（ステップ１１３：ＹＥＳ）、一致フラグＴij＝０とし（ステップ１１６）、未選択の比較画像Ｚjがあるかどうか判断し、未選択のＺjがある場合は（ステップ１２０：ＹＥＳ）、ステップ１１１へ戻って次のＺjを選択する。
【００１６】
ステップ１１３において、一致率Ｍijがしきい値以上の場合は（ステップ１１３：ＹＥＳ）、一致フラグＴij＝１とする（ステップ１１７）。そして、Ｚiの移動位置に基づき、Ｚjとの垂直移動量Ｖijを算出するとともに（ステップ１１８）、Ｚjとの水平移動量Ｈijを算出し（ステップ１１９）、ステップ１２０へ移行する。ステップ１２０において、全てのＺjについて選択が終了した場合は（ステップ１２１：ＮＯ）、Ｚiに関するすべての一致フラグＴijを集計することによりＺiの一致充足数Ｔi、すなわちしきい値以上の一致率となった比較画像数を算出する（ステップ１２１）。
【００１７】
そして、未選択の仮登録画像Ｚiがあるかどうか判断し、未選択のＺiがある場合は（ステップ１２２：ＹＥＳ）、ステップ１１０へ戻って次のＺiを選択し、全てのＺiについて選択が終了した場合は（ステップ１２２：ＮＯ）、一連の評価指標算出処理を終了する。
これにより、各候補画像Ｚ1〜ＺNについて、図６に示すように、それぞれ一致率ijおよび一致充足数Ｔiが算出され、一時的に記憶部４に格納される。
【００１８】
図２の登録画像選択処理では、ステップ１０１の評価指標算出処理が終了した後、一致充足数に基づく第１登録画像の選択処理を実行する（ステップ１０２）。図７に第１登録画像選択処理のフローチャートを示す。この第１登録画像選択処理では、まず、各候補画像Ｚ1〜ＺNのうち、一致充足数Ｔiが最大となるＺiを選択し（ステップ１３０）、選択したＺiが唯一の場合は（ステップ１３１：ＹＥＳ）、そのＺiを第１登録画像Ｇ1として選択し（ステップ１３２）、一連の第１登録画像選択処理を終了する。
【００１９】
ステップ１３１において、Ｚiが複数存在する場合は（ステップ１３１：ＮＯ）、それらＺiごとに平均一致率Ｍiを算出する（ステップ１３３）。このＭiとは、Ｚiに関する各一致率Ｍijのうち、しきい値以上の値を示すＭijの平均値であり、Ｔij＝１のｊについてＭi＝（ΣＭij）／Ｔiを算出すればよい。そして、一致充足数Ｔiが最大となるＺiのうちＭiが最大のＺiが唯一の場合は（ステップ１３４：ＹＥＳ）、ステップ１３２へ移行して、そのＺiを第１登録画像Ｇ1として選択する。
【００２０】
また、Ｍiが最大のＺiが複数存在する場合は（ステップ１３４：ＮＯ）、Ｍiが最大のＺiのうちいずれかのＺiを選択し（ステップ１３５）、ステップ１３２へ移行して、そのＺiを第１登録画像Ｇ1として選択する。
このように、各候補画像相互間の一致率から一致充足数を算出し、その一致充足数が最大となる画像、あるいは平均一致率が最大となる画像を第１登録画像として選択するようにしたので、単に一致率が最大となる画像を選択する場合と比較して、各候補画像Ｚ1〜ＺNを偏りなく代表する画像を第１登録画像Ｇ1として選択できる。
【００２１】
図２の登録画像選択処理では、ステップ１０２の第１登録画像選択処理が終了した後、垂直方向の位置ずれ量に基づく第２登録画像の選択処理を実行する（ステップ１０３）。図８に第２登録画像選択処理のフローチャートを示す。この第２登録画像選択処理では、まず第１登録画像Ｇ1（＝Ｚi）以外の候補画像Ｚ1〜ＺNについて、Ｇ1との垂直方向の位置ずれ量Ｄijが最大のＺjを選択する（ステップ１４０）。ここで、垂直方向の位置ずれ量Ｄijについて、Ｇ1（＝Ｚi）とＺjの一致率Ｍijがしきい値以上であれば垂直移動量Ｖijが定義されているため、このＶijの絶対値を垂直方向の位置ずれ量Ｄijとして使用できる。
【００２２】
一方、Ｖijが定義されていない場合は、Ｇ1およびＺj以外の候補画像Ｚdのうち、ＺiおよびＺjとの一致率Ｍdi，Ｍdjがしきい値以上であるＺdを１つ選択し、このＺdを仲立ちとしてＺdとＺiの垂直移動量Ｖdi、およびＺdとＺjの垂直移動量Ｖdjの合計からＺiとＺjの垂直方向の位置ずれ量Ｄijを算出すればよい。また、該当するＺdがない場合にはＤijを定義しない。
このようにして求めた位置ずれ量Ｄijのうち、最大の位置ずれ量ＤijとなるＺjを選択する。そして、Ｚjが唯一であれば（ステップ１４１：ＹＥＳ）、そのＺjを第２登録画像Ｇ2として選択し（ステップ１４２）、一連の第２登録画像選択処理を終了する。
【００２３】
また、Ｚjが複数存在する場合はそのいずれかのＺjを選択し（ステップ１４３）、ステップ１４２へ移行しそのＺjを第２登録画像Ｇ2として選択する。
このように、所定方向において第１登録画像Ｇ1と最も位置ずれ量が大きい候補画像Ｚjを第２登録画像Ｇ2として選択するようにしたので、第１登録画像Ｇ1とは位置的に最も異なる傾向を持つ画像を選択することができ、照合時に取り込んだ画像が大きく位置ずれしている場合でも対応でき、結果として精度よく照合できる。なお、上記において位置ずれ量の方向としては、垂直方向を例として説明したが、これは指紋を採取する際に垂直方向の位置ずれが生じやすいためであり、照合する対象やその取り込み方法に応じて位置ずれ量の方向を定義すればよい。
【００２４】
図２の登録画像選択処理では、ステップ１０３の第２登録画像選択処理が終了した後、一致率に基づく第３登録画像の選択処理を実行する（ステップ１０４）。図９に第３登録画像選択処理のフローチャートを示す。この第３登録画像選択処理では、まず第１登録画像Ｇ1（＝Ｚi）および第２登録画像Ｇ2（＝Ｚj）以外の候補画像Ｚkのうち、ＭikおよびＭjkがともにしきい値を下回るＺkを選択する（ステップ１５０）。
【００２５】
この条件に該当するＺkが存在する場合は（ステップ１５１：ＹＥＳ）、そのＺkが唯一の場合（ステップ１５２：ＹＥＳ）、そのＺkを第３登録画像Ｇ3として選択し（ステップ１５３）、一連の第３登録画像選択処理を終了する。また、Ｚkが複数存在する場合は（ステップ１５２：ＮＯ）、これら複数のＺk相互間の一致率で最大の一致率を呈する２つのＺk1，Ｚk2のいずれか一方を選択し（ステップ１５４）、ステップ１５３へ移行して、そのＺkを第３登録画像Ｇ3として選択する。
【００２６】
また、ステップ１５１において、条件に該当するＺkが存在しない場合は（ステップ１５１：ＮＯ）、Ｍik，Ｍjkの少なくともいずれか一方が最低であるＺkを選択し（ステップ１５５）、ステップ１５３へ移行して、そのＺkを第３登録画像Ｇ3として選択する。
このように、第１登録画像Ｇ1および第２登録画像Ｇ2との一致率が低い候補画像を第３登録画像として選択するようにしたので、第１登録画像Ｇ1および第２登録画像Ｇ2とはその画像自体が最も異なる傾向を持つ画像を選択することができ、照合時に取り込んだ画像が採取条件、例えば湿潤度合いあるいは押圧力に応じて大きく異なる場合でも対応でき、結果として精度よく照合できる。
【００２７】
以上の説明では、照合用の登録画像として、第１〜第３登録画像を選択する場合について説明したが、これら３つの登録画像の照合順次については、第１登録画像を最先としてもよく、照合回数を低減できる。これは、第１登録画像が全ての候補画像を平均して代表する画像であり、最も照合する可能性が高いからである。また、第３登録画像を最後としてもよく、第２の登録画像は位置ずれを考慮したものであり、第１登録画像で照合できなかった画像と照合する可能性が高いからである。
なお、本発明は、第１〜第３の登録画像すべてを選択する場合に限定されるものではなく、位置ずれの関係にある第１および第２登録画像を含む２つ以上の登録画像を選択するようにしてもよく、特に指紋など画像取り込み時に位置ずれを発生しやすいものを照合対象とする場合に効果的である。
【００２８】
【発明の効果】
以上説明したように、本発明は、各候補画像のうち、一致充足数あるいは一致率平均が最大の候補画像を第１登録画像として選択し、この他の各画像候補のうち、第１登録画像との位置ずれ量が最大の候補画像を登録画像を構成する第２登録画像として選択し、また必要に応じて、第１登録画像および第２登録画像以外の他の各候補画像のうち、第１登録画像および第２登録画像との一致率が低い候補画像を第３登録画像として選択するするようにしたので、実際の照合時に対象から得られる画像が、その採取条件の違いにより大きく変化した場合でも照合できる可能性が高い。したがって、本発明によれば照合に効果的な登録画像を適切に選択できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による照合登録画像選択方法が適用される画像照合装置を示すブロック図である。
【図２】照合登録画像選択処理を示すフローチャートである。
【図３】画像取り込み部を示す説明図である。
【図４】取り込み画像例である。
【図５】評価指標算出処理を示すフローチャートである。
【図６】算出した評価指標を示す説明図である。
【図７】第１登録画像選択処理を示すフローチャートである。
【図８】第２登録画像選択処理を示すフローチャートである。
【図９】第３登録画像選択処理を示すフローチャートである。
【符号の説明】
１…画像取り込み部、２…取り込み画像、３…制御部、３Ａ…画像格納手段、３Ｂ…登録画像選択手段、３Ｃ…照合手段、４…記憶部、５…登録画像記憶部、６…照合結果、Ｚ1〜ＺN…候補画像、Ｇ1〜Ｇ3…登録画像、Ｍij…一致率、Ｍi…一致率平均値、Ｔi…一致充足数、Ｄij…位置ずれ量。
【発明の属する技術分野】
本発明は、照合登録画像選択方法および画像照合装置に関し、特に照合対象から得られた画像を照合する場合に用いる登録画像を予め選択するための照合登録画像選択方法および画像照合装置に関するものである。
【０００２】
【従来の技術】
指紋や鼻紋など対象の微細な凹凸形状を検出して照合する画像照合装置では、その凹凸を画像として取り込み、予め登録しておいたいくつかの登録画像と比較することにより、対象の照合を行うものとなっている。このような照合に用いる登録画像は、照合対象の凹凸密度によっても変化するが、ある程度の照合精度を得るには１つの登録画像で比較的大きなデータ量が必要となる。また、認証システムなどでこれら登録画像をＩＣカードや所定の記録媒体へ格納して管理する場合には、なるべくデータ量が小さいほうがよい。
【０００３】
このため、少ない登録画像数で精度よく照合を行うためには、予め対象から得た候補画像のうち、有効な登録画像を数個だけ選択して登録する必要がある。
このような予め登録しておく登録画像を選択する場合、予め対象から得た候補画像について、それぞれの候補画像相互間で画像の一致率を算出し、高い一致率が得られた画像の一方または両方をその一致率の高い順に所定数だけ登録画像として選択する方法が考えられる。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の照合登録画像選択方法や画像照合装置では、予め対象から得た候補画像のうち一致率が高い順に複数の候補画像を選択しているため、各候補画像のうち同一傾向の標準的な画像が登録画像として選択される可能性が高く、実際の照合時に対象から得られる画像の変化に対応できず、高い照合精度を得ることができないという問題点があった。実際の照合時に対象から得られる画像が、その採取条件の違いにより大きく変化する。例えば、指紋照合の場合、対象すなわち指先の位置ずれ、湿潤度合いあるいは押圧力に応じて採取される指紋画像が大きく変化する。したがって、位置ずれ量や回転量などに差がない似通った標準的な登録画像を複数用意しても変化の大きい画像に対応できないという問題点があった。
本発明はこのような課題を解決するためのものであり、照合に効果的な登録画像を適切に選択できる照合登録画像選択方法および画像照合装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
このような目的を達成するために、本発明にかかる照合登録画像選択方法は、照合対象から登録画像の候補となる候補画像を取り込んで記憶手段に格納し、記憶手段に格納されている各候補画像を読み出し各候補画像相互間で画像の一致率を算出し、各候補画像ごとに、その候補画像が関係するすべての一致率のうち所定のしきい値以上となる一致率の数を一致充足数として計数し、各候補画像のうち、一致充足数が最大の候補画像を第１登録画像として選択し、第１登録画像と他の各候補画像と間で画像の位置ずれ量を算出し、これら他の各画像候補のうち、第１登録画像との位置ずれ量が最大の候補画像を第２登録画像として選択するようにしたものである。
【０００６】
本発明にかかる他の照合登録画像選択方法は、照合対象から登録画像の候補となる候補画像を取り込んで記憶手段に格納し、記憶手段に格納されている各候補画像を読み出し各候補画像相互間で画像の一致率を算出し、各候補画像ごとに、その候補画像が関係するすべての一致率のうち所定のしきい値以上となる一致率の平均値を算出し、各候補画像のうち、平均値が最大の候補画像を第１登録画像として選択し、第１登録画像と他の各候補画像と間で画像の位置ずれ量を算出し、これら他の各画像候補のうち、第１登録画像との位置ずれ量が最大の候補画像を第２登録画像として選択するようにしたものである。この位置ずれ量として、各候補画像の所定方向に沿った位置ずれ量を用いてもよい。
【０００７】
第３登録画像として、第１登録画像および第２登録画像以外の他の各候補画像のうち、第１登録画像および第２登録画像との一致率のそれぞれが所定のしきい値を越えない候補画像を選択するようにしてもよく、このとき所定のしきい値を越えない候補画像が複数存在する場合は、これら候補画像のうち、これら候補画像相互間の一致率が最大となる２つの候補画像のいずれか一方を第３登録画像として選択するようにしてもよい。また、第１登録画像および第２登録画像以外の他の各候補画像のうち、第１登録画像または第２登録画像との一致率が最も小さい候補画像を第３登録画像として選択してもよい、
また照合順序については、第１登録画像を最先の照合順序を有する登録画像として選択するようにしてもよい。
【０００８】
本発明にかかる画像照合装置は、照合対象から画像を取り込む画像取り込み手段と、この画像取り込み手段で取り込んだ画像を登録画像の候補となる候補画像として記憶手段へ格納する画像格納手段と、上記の照合登録画像選択方法を用いて画像格納手段に格納されている各候補画像から複数の登録画像を選択する登録画像選択手段と、この登録画像選択手段で選択された各登録画像を格納する登録画像記憶手段と、照合対象を照合する際に、画像取り込み手段から取り込みんだ画像と登録画像記憶手段に格納されている各登録画像を比較することにより、照合対象を照合する照合手段とを備えるものである。
【０００９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
図１は本発明の一実施の形態にかかる照合登録画像選択方法が適用される画像照合装置を示すブロック図である。以下では、画像照合装置のうち、指紋の凹凸を示す画像と所定の登録画像とを比較照合して認証を行う指紋照合装置を例として説明する。
この指紋照合装置は、指紋の凹凸を取り込み画像として出力する画像取り込み部１、取り込みんだ画像２を候補画像Ｚ1〜ＺNとして記憶する記憶部４、候補画像Ｚ1〜ＺNから選択した照合用の登録画像Ｇ1〜Ｇ3を記憶する登録画像記憶部５、および指紋照合装置全体を制御する制御部３から構成されている。
【００１０】
制御部３は、プログラムで所定の演算処理を行うＣＰＵからなり、画像取り込み部１で取り込みんだ画像２を候補画像Ｚ1〜ＺNとして記憶部４へ格納する画像格納手段３Ａ、記憶部４に格納されている候補画像Ｚ1〜ＺNから照合用の登録画像Ｇ1〜Ｇ3を選択して登録画像記憶部５へ格納する登録画像選択手段３Ｂ、および画像取り込み部１で取り込みんだ画像２と登録画像記憶部５に格納されている登録画像Ｇ1〜Ｇ3とを照合し、その結果を照合結果６として出力する照合手段３Ｃとを有している。これら画像格納手段３Ａ、登録画像選択手段３Ｂおよび照合手段３Ｃは、プログラムで実現されている。
【００１１】
次に、図２を参照して、本実施の形態の動作として、照合時に照合パターンとして用いる登録画像を選択する場合の処理動作について説明する。図２は登録画像選択処理を示すフローチャートである。
まず、照合時に照合パターンとして用いる登録画像を選択する場合、制御部３では、画像格納手段３Ａを動作させることにより、画像取り込み部１で同一指から複数の指紋画像２を採取し、これらを候補画像Ｚ1〜ＺNとして記憶部４へ格納する（ステップ１００）。
【００１２】
図３に画像取り込み部の外観図を示す。画像取り込み部１の検出面１２には、縦横マトリクス状に多数の検出素子１１が配置されている。各検出素子１１は、対象の微細な凹凸を電気量に変換する素子から構成されており、指１３を検出面１２に接触されることにより、各検出素子１１で指紋１４の凹凸が検出され、指紋画像２として出力される。図４に画像取り込み部１で取り込まれた指紋画像を示す。画像取り込み部１としてはこのような構成に限定されるものではなく、例えば、光学的に対象表面の形状を検出し画像として出力するものを用いてもよい。なお、本発明では、便宜上、指１３の長さ方向（指先−付け根方向）を垂直方向と定義し、これと直交する指１３の幅方向を水平方向と定義しているが、照合する画像に合わせてそれぞれ定義すればよい。
【００１３】
このようにして、候補画像Ｚ1〜ＺNを記憶部４へ格納した後、制御部２では、登録画像選択手段３Ｂを動作させることにより、これら候補画像Ｚ1〜ＺNから登録画像Ｇ1〜Ｇ3を選択する登録画像選択処理を開始する。
まず、各候補画像相互間ごとの評価指標を算出する評価指標算出処理を実行する（ステップ１０１）。図５に評価指標算出処理のフローチャートを示す。この評価指標算出処理では、評価指標として各候補画像Ｚ1〜ＺN相互間について、候補画像ＺiとＺjの一致率Ｍij、垂直移動量Ｖij、水平移動量Ｈij、および一致充足数Ｔiを算出している。
【００１４】
最初に候補画像Ｚ1〜ＺNから仮登録画像Ｚiを選択し（ステップ１１０）、このＺiと比較する比較画像Ｚj（但し、ｊ≠ｉ）を選択する（ステップ１１１）。そして、ＺiとＺjの一致率Ｍijを算出する（ステップ１１２）。画像の一致率については、両画像を画素単位で比較しその一致の割合いを表す指標である。例えば、階調度を持つ両画像をそれぞれ白黒に二値化し、一方の画像に存在する全ての黒画素について、他方の画像の同一位置にある画素が黒画素である割合いを求めればよい。一致率については、このような方法に限定されるものではなく、他の方法で両画像の一致率を求めてもよい。
【００１５】
次に、この一致率Ｍijとしきい値とを比較し、Ｍijがしきい値を下回る場合は（ステップ１１３：ＮＯ）、Ｚiについて所定範囲内の全位置で一致率をチェックしたがどうか判断し、未チェックの位置があれば（ステップ１１４：ＮＯ）、Ｚiを特定量だけ回転移動や平行移動させることにより他の位置へ移動させて（ステップ１１５）、ステップ１１２へ戻り一致率Ｍijを算出して再チェックする。Ｚiについて所定範囲内の全位置でチェックし終わった場合は（ステップ１１３：ＹＥＳ）、一致フラグＴij＝０とし（ステップ１１６）、未選択の比較画像Ｚjがあるかどうか判断し、未選択のＺjがある場合は（ステップ１２０：ＹＥＳ）、ステップ１１１へ戻って次のＺjを選択する。
【００１６】
ステップ１１３において、一致率Ｍijがしきい値以上の場合は（ステップ１１３：ＹＥＳ）、一致フラグＴij＝１とする（ステップ１１７）。そして、Ｚiの移動位置に基づき、Ｚjとの垂直移動量Ｖijを算出するとともに（ステップ１１８）、Ｚjとの水平移動量Ｈijを算出し（ステップ１１９）、ステップ１２０へ移行する。ステップ１２０において、全てのＺjについて選択が終了した場合は（ステップ１２１：ＮＯ）、Ｚiに関するすべての一致フラグＴijを集計することによりＺiの一致充足数Ｔi、すなわちしきい値以上の一致率となった比較画像数を算出する（ステップ１２１）。
【００１７】
そして、未選択の仮登録画像Ｚiがあるかどうか判断し、未選択のＺiがある場合は（ステップ１２２：ＹＥＳ）、ステップ１１０へ戻って次のＺiを選択し、全てのＺiについて選択が終了した場合は（ステップ１２２：ＮＯ）、一連の評価指標算出処理を終了する。
これにより、各候補画像Ｚ1〜ＺNについて、図６に示すように、それぞれ一致率ijおよび一致充足数Ｔiが算出され、一時的に記憶部４に格納される。
【００１８】
図２の登録画像選択処理では、ステップ１０１の評価指標算出処理が終了した後、一致充足数に基づく第１登録画像の選択処理を実行する（ステップ１０２）。図７に第１登録画像選択処理のフローチャートを示す。この第１登録画像選択処理では、まず、各候補画像Ｚ1〜ＺNのうち、一致充足数Ｔiが最大となるＺiを選択し（ステップ１３０）、選択したＺiが唯一の場合は（ステップ１３１：ＹＥＳ）、そのＺiを第１登録画像Ｇ1として選択し（ステップ１３２）、一連の第１登録画像選択処理を終了する。
【００１９】
ステップ１３１において、Ｚiが複数存在する場合は（ステップ１３１：ＮＯ）、それらＺiごとに平均一致率Ｍiを算出する（ステップ１３３）。このＭiとは、Ｚiに関する各一致率Ｍijのうち、しきい値以上の値を示すＭijの平均値であり、Ｔij＝１のｊについてＭi＝（ΣＭij）／Ｔiを算出すればよい。そして、一致充足数Ｔiが最大となるＺiのうちＭiが最大のＺiが唯一の場合は（ステップ１３４：ＹＥＳ）、ステップ１３２へ移行して、そのＺiを第１登録画像Ｇ1として選択する。
【００２０】
また、Ｍiが最大のＺiが複数存在する場合は（ステップ１３４：ＮＯ）、Ｍiが最大のＺiのうちいずれかのＺiを選択し（ステップ１３５）、ステップ１３２へ移行して、そのＺiを第１登録画像Ｇ1として選択する。
このように、各候補画像相互間の一致率から一致充足数を算出し、その一致充足数が最大となる画像、あるいは平均一致率が最大となる画像を第１登録画像として選択するようにしたので、単に一致率が最大となる画像を選択する場合と比較して、各候補画像Ｚ1〜ＺNを偏りなく代表する画像を第１登録画像Ｇ1として選択できる。
【００２１】
図２の登録画像選択処理では、ステップ１０２の第１登録画像選択処理が終了した後、垂直方向の位置ずれ量に基づく第２登録画像の選択処理を実行する（ステップ１０３）。図８に第２登録画像選択処理のフローチャートを示す。この第２登録画像選択処理では、まず第１登録画像Ｇ1（＝Ｚi）以外の候補画像Ｚ1〜ＺNについて、Ｇ1との垂直方向の位置ずれ量Ｄijが最大のＺjを選択する（ステップ１４０）。ここで、垂直方向の位置ずれ量Ｄijについて、Ｇ1（＝Ｚi）とＺjの一致率Ｍijがしきい値以上であれば垂直移動量Ｖijが定義されているため、このＶijの絶対値を垂直方向の位置ずれ量Ｄijとして使用できる。
【００２２】
一方、Ｖijが定義されていない場合は、Ｇ1およびＺj以外の候補画像Ｚdのうち、ＺiおよびＺjとの一致率Ｍdi，Ｍdjがしきい値以上であるＺdを１つ選択し、このＺdを仲立ちとしてＺdとＺiの垂直移動量Ｖdi、およびＺdとＺjの垂直移動量Ｖdjの合計からＺiとＺjの垂直方向の位置ずれ量Ｄijを算出すればよい。また、該当するＺdがない場合にはＤijを定義しない。
このようにして求めた位置ずれ量Ｄijのうち、最大の位置ずれ量ＤijとなるＺjを選択する。そして、Ｚjが唯一であれば（ステップ１４１：ＹＥＳ）、そのＺjを第２登録画像Ｇ2として選択し（ステップ１４２）、一連の第２登録画像選択処理を終了する。
【００２３】
また、Ｚjが複数存在する場合はそのいずれかのＺjを選択し（ステップ１４３）、ステップ１４２へ移行しそのＺjを第２登録画像Ｇ2として選択する。
このように、所定方向において第１登録画像Ｇ1と最も位置ずれ量が大きい候補画像Ｚjを第２登録画像Ｇ2として選択するようにしたので、第１登録画像Ｇ1とは位置的に最も異なる傾向を持つ画像を選択することができ、照合時に取り込んだ画像が大きく位置ずれしている場合でも対応でき、結果として精度よく照合できる。なお、上記において位置ずれ量の方向としては、垂直方向を例として説明したが、これは指紋を採取する際に垂直方向の位置ずれが生じやすいためであり、照合する対象やその取り込み方法に応じて位置ずれ量の方向を定義すればよい。
【００２４】
図２の登録画像選択処理では、ステップ１０３の第２登録画像選択処理が終了した後、一致率に基づく第３登録画像の選択処理を実行する（ステップ１０４）。図９に第３登録画像選択処理のフローチャートを示す。この第３登録画像選択処理では、まず第１登録画像Ｇ1（＝Ｚi）および第２登録画像Ｇ2（＝Ｚj）以外の候補画像Ｚkのうち、ＭikおよびＭjkがともにしきい値を下回るＺkを選択する（ステップ１５０）。
【００２５】
この条件に該当するＺkが存在する場合は（ステップ１５１：ＹＥＳ）、そのＺkが唯一の場合（ステップ１５２：ＹＥＳ）、そのＺkを第３登録画像Ｇ3として選択し（ステップ１５３）、一連の第３登録画像選択処理を終了する。また、Ｚkが複数存在する場合は（ステップ１５２：ＮＯ）、これら複数のＺk相互間の一致率で最大の一致率を呈する２つのＺk1，Ｚk2のいずれか一方を選択し（ステップ１５４）、ステップ１５３へ移行して、そのＺkを第３登録画像Ｇ3として選択する。
【００２６】
また、ステップ１５１において、条件に該当するＺkが存在しない場合は（ステップ１５１：ＮＯ）、Ｍik，Ｍjkの少なくともいずれか一方が最低であるＺkを選択し（ステップ１５５）、ステップ１５３へ移行して、そのＺkを第３登録画像Ｇ3として選択する。
このように、第１登録画像Ｇ1および第２登録画像Ｇ2との一致率が低い候補画像を第３登録画像として選択するようにしたので、第１登録画像Ｇ1および第２登録画像Ｇ2とはその画像自体が最も異なる傾向を持つ画像を選択することができ、照合時に取り込んだ画像が採取条件、例えば湿潤度合いあるいは押圧力に応じて大きく異なる場合でも対応でき、結果として精度よく照合できる。
【００２７】
以上の説明では、照合用の登録画像として、第１〜第３登録画像を選択する場合について説明したが、これら３つの登録画像の照合順次については、第１登録画像を最先としてもよく、照合回数を低減できる。これは、第１登録画像が全ての候補画像を平均して代表する画像であり、最も照合する可能性が高いからである。また、第３登録画像を最後としてもよく、第２の登録画像は位置ずれを考慮したものであり、第１登録画像で照合できなかった画像と照合する可能性が高いからである。
なお、本発明は、第１〜第３の登録画像すべてを選択する場合に限定されるものではなく、位置ずれの関係にある第１および第２登録画像を含む２つ以上の登録画像を選択するようにしてもよく、特に指紋など画像取り込み時に位置ずれを発生しやすいものを照合対象とする場合に効果的である。
【００２８】
【発明の効果】
以上説明したように、本発明は、各候補画像のうち、一致充足数あるいは一致率平均が最大の候補画像を第１登録画像として選択し、この他の各画像候補のうち、第１登録画像との位置ずれ量が最大の候補画像を登録画像を構成する第２登録画像として選択し、また必要に応じて、第１登録画像および第２登録画像以外の他の各候補画像のうち、第１登録画像および第２登録画像との一致率が低い候補画像を第３登録画像として選択するするようにしたので、実際の照合時に対象から得られる画像が、その採取条件の違いにより大きく変化した場合でも照合できる可能性が高い。したがって、本発明によれば照合に効果的な登録画像を適切に選択できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による照合登録画像選択方法が適用される画像照合装置を示すブロック図である。
【図２】照合登録画像選択処理を示すフローチャートである。
【図３】画像取り込み部を示す説明図である。
【図４】取り込み画像例である。
【図５】評価指標算出処理を示すフローチャートである。
【図６】算出した評価指標を示す説明図である。
【図７】第１登録画像選択処理を示すフローチャートである。
【図８】第２登録画像選択処理を示すフローチャートである。
【図９】第３登録画像選択処理を示すフローチャートである。
【符号の説明】
１…画像取り込み部、２…取り込み画像、３…制御部、３Ａ…画像格納手段、３Ｂ…登録画像選択手段、３Ｃ…照合手段、４…記憶部、５…登録画像記憶部、６…照合結果、Ｚ1〜ＺN…候補画像、Ｇ1〜Ｇ3…登録画像、Ｍij…一致率、Ｍi…一致率平均値、Ｔi…一致充足数、Ｄij…位置ずれ量。
Claims (8)
- 照合対象から得られた画像と比較して前記照合対象を照合する際に用いる複数の登録画像を、予め前記照合対象から得た複数の候補画像のうちから選択するための照合登録画像選択方法において、
照合対象から登録画像の候補となる候補画像を取り込んで記憶手段に格納し、前記記憶手段に格納されている前記各候補画像を読み出し前記各候補画像相互間で画像の一致率を算出し、
前記各候補画像ごとに、その候補画像が関係するすべての一致率のうち所定のしきい値以上となる一致率の数を一致充足数として計数し、
前記各候補画像のうち、前記一致充足数が最大の候補画像を第１登録画像として選択し、
前記第１登録画像と他の各候補画像と間で画像の位置ずれ量を算出し、
これら他の各画像候補のうち、前記第１登録画像との位置ずれ量が最大の候補画像を第２登録画像として選択することを特徴とする照合登録画像選択方法。 - 照合対象から得られた画像と比較して前記照合対象を照合する際に用いる複数の登録画像を、予め前記照合対象から得た複数の候補画像のうちから選択するための照合登録画像選択方法において、
照合対象から登録画像の候補となる候補画像を取り込んで記憶手段に格納し、前記記憶手段に格納されている前記各候補画像を読み出し前記各候補画像相互間で画像の一致率を算出し、
前記各候補画像ごとに、その候補画像が関係するすべての一致率のうち所定のしきい値以上となる一致率の平均値を算出し、
前記各候補画像のうち、前記平均値が最大の候補画像を第１登録画像として選択し、
前記第１登録画像と他の各候補画像と間で画像の位置ずれ量を算出し、
これら他の各画像候補のうち、前記第１登録画像との位置ずれ量が最大の候補画像を第２登録画像として選択することを特徴とする照合登録画像選択方法。 - 請求項１または２記載の照合登録画像選択方法において、
前記位置ずれ量は、前記各候補画像の所定方向に沿った位置ずれ量からなることを特徴とする照合登録画像選択方法。 - 請求項１または２記載の照合登録画像選択方法において、
前記第１登録画像および第２登録画像以外の他の各候補画像のうち、前記第１登録画像および第２登録画像との一致率のそれぞれが所定のしきい値を越えない候補画像を第３登録画像として選択することを特徴とする照合登録画像選択方法。 - 請求項４記載の照合登録画像選択方法において、
前記所定のしきい値を越えない候補画像が複数存在する場合は、これら候補画像のうち、これら候補画像相互間の一致率が最大となる２つの候補画像のいずれか一方を第３登録画像として選択することを特徴とする照合登録画像選択方法。 - 請求項１または２記載の照合登録画像選択方法において、
前記第１登録画像および第２登録画像以外の他の各候補画像のうち、前記第１登録画像または第２登録画像との一致率が最も小さい候補画像を第３登録画像として選択することを特徴とする照合登録画像選択方法。 - 請求項４〜６記載の照合登録画像選択方法において、
前記第１登録画像を最先の照合順序を有する登録画像として選択することを特徴とする照合登録画像選択方法。 - 複数の登録画像と照合対象から得た画像と比較して前記照合対象を照合する画像照合装置において、
照合対象から画像を取り込む画像取り込み手段と、
この画像取り込み手段で取り込んだ画像を前記登録画像の候補となる候補画像として記憶手段へ格納する画像格納手段と、
請求項１〜７の照合登録画像選択方法を用いて前記画像格納手段に格納されている前記各候補画像から複数の登録画像を選択する登録画像選択手段と、
この登録画像選択手段で選択された各登録画像を格納する登録画像記憶手段と、
照合対象を照合する際に、前記画像取り込み手段から取り込みんだ画像と前記登録画像記憶手段に格納されている各登録画像を比較することにより、前記照合対象を照合する照合手段とを備えることを特徴とする画像照合装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000269773A JP3540260B2 (ja) | 2000-09-06 | 2000-09-06 | 照合登録画像選択方法および画像照合装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000269773A JP3540260B2 (ja) | 2000-09-06 | 2000-09-06 | 照合登録画像選択方法および画像照合装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002083300A JP2002083300A (ja) | 2002-03-22 |
| JP3540260B2 true JP3540260B2 (ja) | 2004-07-07 |
Family
ID=18756321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000269773A Expired - Lifetime JP3540260B2 (ja) | 2000-09-06 | 2000-09-06 | 照合登録画像選択方法および画像照合装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3540260B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101031712B1 (ko) | 2005-06-13 | 2011-04-29 | 가부시키가이샤 히타치세이사쿠쇼 | 정맥 인증 장치 |
| JP4692174B2 (ja) | 2005-09-14 | 2011-06-01 | 株式会社日立製作所 | 個人認証装置及びドア開閉システム |
| JP2007206991A (ja) * | 2006-02-02 | 2007-08-16 | Hitachi Ltd | 生体情報処理装置及び生体情報処理プログラム |
| JP4945505B2 (ja) * | 2008-04-22 | 2012-06-06 | 株式会社日立製作所 | 生体情報処理装置 |
-
2000
- 2000-09-06 JP JP2000269773A patent/JP3540260B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002083300A (ja) | 2002-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8903142B2 (en) | Biometric verification device and method | |
| US4186378A (en) | Identification system | |
| US7203347B2 (en) | Method and system for extracting an area of interest from within a swipe image of a biological surface | |
| US5796857A (en) | Apparatus for fingerprint verification using different verification method in accordance with quality grade data | |
| US7277562B2 (en) | Biometric imaging capture system and method | |
| CN106056111A (zh) | 图像处理装置及图像处理方法 | |
| US20050226467A1 (en) | Biological image correlation device and correlation method thereof | |
| EP1339008A2 (en) | Authentication method, and program and apparatus therefor | |
| EP1643414A1 (en) | Plain four-finger image determination device, plain four-finger image determination method and plain four-finger image determination program | |
| EP3057037A1 (en) | Biometric information registration apparatus and biometric information registration method | |
| US20050129292A1 (en) | Method and arrangement for electronic recording of rolled fingerprints | |
| JP2002163655A (ja) | 個人認証装置 | |
| JP3540260B2 (ja) | 照合登録画像選択方法および画像照合装置 | |
| KR100869876B1 (ko) | 블록 레벨 품질 측정값을 이용한 지문 영상의 품질 측정방법과 그 기록매체 | |
| JP2018010703A (ja) | 認証データベース管理方法、認証データベース管理装置及び認証データベース管理プログラム | |
| KR100489430B1 (ko) | 위치이동, 회전에 무관한 지문인식 방법 및 지문인식 장치및 그 방법을 실행시키기 위한 프로그램을 기록한기록매체 | |
| US20060078178A1 (en) | Swipe sensor | |
| US20080240522A1 (en) | Fingerprint Authentication Method Involving Movement of Control Points | |
| JPH01271884A (ja) | 指紋中心検出装置 | |
| JP4575356B2 (ja) | アイデンティティのチェックのためのシステム、コンピュータ読み取り可能な記録媒体 | |
| JP2004145447A (ja) | 指紋照合装置 | |
| JP4479350B2 (ja) | 指紋照合装置およびその相対位置検出装置 | |
| CN114418601A (zh) | 基于视频图像的刷单检测方法、装置、计算机设备及介质 | |
| JPH11110486A (ja) | 文字認識装置 | |
| WO2005002316A2 (en) | Polygonal ridge flow classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040323 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040324 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3540260 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110402 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120402 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140402 Year of fee payment: 10 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |