JP4157322B2 - 人物認識システム - Google Patents
人物認識システム Download PDFInfo
- Publication number
- JP4157322B2 JP4157322B2 JP2002124590A JP2002124590A JP4157322B2 JP 4157322 B2 JP4157322 B2 JP 4157322B2 JP 2002124590 A JP2002124590 A JP 2002124590A JP 2002124590 A JP2002124590 A JP 2002124590A JP 4157322 B2 JP4157322 B2 JP 4157322B2
- Authority
- JP
- Japan
- Prior art keywords
- feature information
- biometric
- biometric feature
- registered
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、たとえば、複数の場所にそれぞれ設置され、あらかじめ登録されている人物の固有の生体特徴情報を利用して本人確認を行なう複数の生体照合端末装置(クライアント)と、この複数の生体照合端末装置とそれぞれネットワークを介して接続された生体照合管理装置(サーバ)とから構成され、複数地点での照合が可能な人物認識システムに関する。
【0002】
【従来の技術】
従来、この種のネットワーク対応型の照合を想定した人物認識システムにあっては、一度登録された生体特徴情報をネットワークで接続された複数の生体照合端末装置へ配信するか、あるいは、ICカードなどの記録媒体を介して複数の生体照合端末装置に生体特徴情報を受け渡し、本人の照合を行なっている。
【0003】
【発明が解決しようとする課題】
ネットワークで接続されて複数地点での照合が可能な人物認識システムにおいて、生体照合端末装置の設置環境によっては、登録された生体特徴情報とは異なる傾向のある生体特徴情報が入力される可能性があり、そのような状態においては正しく照合を行なえない可能性がある。
【0004】
たとえば、人物の顔の特徴情報を利用する人物認識システムにおいては、生体照合端末装置の設置場所における照明環境の違いなどによって、入力される生体特徴情報が変わってしまうことから、場所によって正しく認識できたり認識できなかったりという状態になることがある。
【0005】
そこで、本発明は、生体照合端末装置の設置環境によらず、常に安定した認識性能での本人確認を行なうことが可能となる人物認識システムを提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明の人物認識システムは、複数の場所にそれぞれ設置され、あらかじめ登録されている人物の固有の生体特徴情報を利用して本人確認を行なう複数の生体照合端末装置と、この複数の生体照合端末装置とそれぞれ通信回線を介して接続された生体照合管理装置とから構成され、前記生体照合端末装置は、認識対象となる人物の固有の生体特徴情報を取得する生体特徴取得手段と、あらかじめ登録されている人物の固有の生体特徴情報を記憶している第1の登録情報記憶手段と、前記生体特徴取得手段により取得された生体特徴情報と前記第1の登録情報記憶手段に記憶されている生体特徴情報とを照合することにより、当該人物は登録されている人物であるか否かを判定する照合手段と、前記生体特徴取得手段により取得された生体特徴情報を前記生体照合管理装置に送信する送信手段とを具備し、前記生体照合管理装置は、前記生体照合端末装置の送信手段により送信された生体特徴情報を受信する第1の受信手段と、前記生体照合端末装置の第1の登録情報記憶手段に記憶されている人物の固有の生体特徴情報と同等の人物の固有の生体特徴情報を記憶している第2の登録情報記憶手段と、前記第1の受信手段により受信した生体特徴情報と前記第2の登録情報記憶手段に記憶されている生体特徴情報とに基づき新たな生体特徴情報を生成する生体特徴情報管理手段と、この生体特徴情報管理手段により生成された新たな生体特徴情報を、前記第1の受信手段により受信した生体特徴情報を送信した生体照合端末装置と同じ配信グループであるとあらかじめ設定された生体照合端末装置に対してだけ配信する配信手段とを具備し、前記生体照合端末装置は、前記生体照合管理装置の配信手段により配信された新たな生体特徴情報を受信する第2の受信手段と、この第2の受信手段により受信した新たな生体特徴情報を前記第1の登録情報記憶手段に記憶する手段とをさらに具備している。
【0007】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
なお、本発明は、利用する生体特徴情報を限定せず、色々な生体特徴情報(顔、指紋、虹彩など)に対して適応が可能であるが、本実施の形態においては、生体特徴情報として顔の特徴情報を用いた場合を例にあげて説明を行なう。本実施の形態においては、入力された側の顔の特徴情報を「入力特徴情報」、あらかじめ登録されている顔の特徴情報を「登録特徴情報」と記述している。「登録特徴情報」はいわゆる「辞書」に相当する。
【0008】
まず、第1の実施の形態について説明する。
図1は、第1の実施の形態に係る人物認識システムの構成を概略的に示すものである。この人物認識システムは、複数の場所にそれぞれ設置され、あらかじめ登録されている人物の固有の顔特徴情報を利用して本人確認を行なう複数の生体照合端末装置としての顔照合端末装置10、この複数の顔照合端末装置10とそれぞれ通信回線としてのネットワーク回線20を介して接続された生体照合管理装置としての顔特徴情報管理サーバ30とから構成されている。
【0009】
顔照合端末装置10は、認識対象となる人物Mの顔画像を撮像して入力する生体特徴取得手段としてのカメラ100、カメラ100から入力された顔画像から人物固有の入力特徴情報(顔特徴情報)を取得する生体特徴取得手段としての顔特徴取得部101、あらかじめ登録されている人物の登録特徴情報(顔特徴情報)を記憶(保存)しておく登録情報記憶手段としての登録情報記憶部102、顔特徴取得部101から得られた入力特徴情報と登録情報記憶部102内の登録特徴情報とを照合することにより、あらかじめ登録されている人物であるか否かを判定する照合手段としての照合部103、照合部103の判定結果に応じて所定の出力を行なう出力手段としての出力部104、および、顔特徴情報管理サーバ30との通信(送受信)を行なう送信および受信手段としての通信部105から構成され、人物Mの顔を認識して登録者であるかどうかを判定し、登録者であればなんらかの操作を許可するといった制御を行なうようになっている。
【0010】
顔特徴情報管理サーバ30は、各顔照合端末装置10から送信される各種情報を受信したり、各顔照合端末装置10へ各種情報を配信(送信)したりする配信(送信)および受信手段としての通信部106、各顔照合端末装置10と同等の登録特徴情報を記憶する登録情報記憶手段としての登録情報記憶部107、および、顔照合端末装置10から得られる各種情報と登録情報記憶部107内の登録特徴情報から、新たな登録特徴情報を計算(生成)する生体特徴情報管理手段としての管理部108から構成され、各顔照合端末装置10から送られてきた各種情報を管理し、各顔照合端末装置10に適した特徴情報などを配信するようになっている。
【0011】
以下、各部について詳細に説明する。
カメラ100は、認識対象としての人物Mの顔画像を撮像して入力するものであり、たとえば、CCDセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。
【0012】
顔照合端末装置10の顔特徴取得部101は、カメラ100から入力された画像において、人物の顔を検出して入力特徴情報を抽出(取得)する。検出方法は、たとえば、文献(福井和広、山口修:「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌(D),vol.J80−D−II,No.8,pp2170−2177(1997))などの方法を用いることで、精度の高い顔の検出が実現可能である。この場合、あらかじめ用意されたテンプレートを画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。その他に、固有空間法や部分空間法を利用した顔抽出法などの顔検出手段でもよいが、本実施の形態においては、特定サイズに切り出した顔領域画像を入力特徴情報とすることとする。
【0013】
顔照合端末装置10の登録情報記憶部102は、あらかじめシステム全体で利用を許可された人物の登録特徴情報を顔特徴情報管理サーバ30から受信して保存しておくものである。登録する情報としては、入力された顔画像、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の際の時刻、日時、場所などの状況情報、暗証番号、ID番号などの個人情報といったものがあげられ、必要に応じて記憶しておくことが可能とするが、本実施の形態においては、顔特徴取得部101で取得された顔切出し画像をKL展開によって固有空間に変換して得られたベクトル情報を保存するものとし、この情報を登録特徴情報として扱う。
【0014】
顔照合端末装置10の照合部103は、顔特徴取得部101で取得された入力特徴情報をKL展開して得られたベクトル情報と、登録情報記憶部102に保存されている登録特徴情報とを照合することで、現在カメラ100の前にいる人物Mがあらかじめ登録されている人物かどうかを判定する。この判定方法としては、IDカードやテンキー入力を利用して特定された登録特徴情報と一致するかどうかの1対1照合と、全登録者または一部の登録特徴情報と総当りで一致判定を行ない、1つでも一致する登録特徴情報があれば登録者と判定するという1対N照合の両方が利用可能である。
【0015】
具体的な認識方法は、文献(山口修、福井和広、前田賢一:「動画像を用いた顔認識システム」、信学技報PRMU97−50),pp17−23,1997−06)にある相互部分空間法を用いることで実現可能である。この方法では、あらかじめ蓄えられた登録特徴情報の中の認識データも、入力されるデータも部分空間として表現され、2つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Cinを求め、
Cin=ΦinΛinΦinT
と対角化し、固有ベクトルΦinを求める。2つのΦin,Φdで表される部分空間の部分空間間類似度(0.0〜1.0)を求め、これを認識するための類似度とする。本実施の形態においては、この方法以外にも登録されている登録特徴情報の種類によってニューラルネットや単純類似度でも実現可能である。
【0016】
顔照合端末装置10の出力部104は、照合部103の判定結果に応じて接続機器の制御や画面表示、音声出力、警報を鳴らすといった所定の出力動作を行なう。たとえば、電子錠制御器に接続された状態であれば登録者と判定されたときに開錠信号を送ることや、未登録者が来た場合のみ管理者に音声や画像で通知をするといったことが可能である。
【0017】
顔照合端末装置10の通信部105は、カメラ100から入力された顔画像、および、照合部103の判定結果と顔特徴取得部101で取得された入力特徴情報の外にも、図示しない入力手段により入力されたID番号やパスワード、当該顔照合端末装置10のID番号といった各種情報を顔特徴情報管理サーバ30に送信することが可能である。なお、通信手段としては、イーサーネットやシリアルケーブル接続など、一般的に利用されている機器を利用することで実現される。また、通信内容は、必要に応じて暗号化処理をすることも可能とする。
【0018】
顔特徴情報管理サーバ30の通信部106は、各顔照合端末装置10から送られてくる入力特徴情報や入力された顔画像、ID番号や端末ID番号といったものを受信するとともに、必要に応じて各顔照合端末装置10への配信を行なうことができる。
【0019】
顔特徴情報管理サーバ30の登録情報記憶部107は、配信グループ単位で登録特徴情報を管理する。配信テーブルの内容によって最高、顔照合端末装置10の設置台数分のグループまで拡張できるようにしておく。また、顔照合端末装置10の故障時などのときには、顔特徴情報管理サーバ30で管理している登録特徴情報を送信することによって、後で情報を復元することを可能としている。
【0020】
顔特徴情報管理サーバ30の管理部108は、通信部106によって受信された入力特徴情報を受取り、必要に応じて登録済の登録特徴情報の一部または全てを再計算することによって書換え、書換えた結果を通信部106を用いて各顔照合端末装置10へ配信させることも行なう。この際、書換えた結果をどの顔照合端末装置10に反映させるかどうかは、図2に示すような配信テーブルの設定情報を基に判断する。
【0021】
図2の例では、顔照合端末装置10が6台接続された状態であって、顔照合端末装置A〜Cまでが配信グループ「1」、顔照合端末装置Dと顔照合端末装置Eが配信グループ「2」、顔照合端末装置Fは配信グループ「3」と設定されている。
【0022】
この場合、同じ配信グループに所属する顔照合端末装置同士では登録特徴情報を共有化するように設定されていることになり、顔照合端末装置Aからの入力特徴情報によって登録されていた登録特徴情報が書換えられた場合、その書換えられた登録特徴情報を配信するのは同じ配信グループに属する顔照合端末装置A,B,Cだけに送られることになる。違う配信グループである顔照合端末装置D,E,Fには配信されない。これは、設置場所の照明環境が類似しており、登録特徴情報を共有可能であると判定された配信グループのみに配信を行なうことを目的としたものである。
【0023】
ただし、新規に人物を登録する場合や、人物の登録情報を削除する場合には、全ての顔照合端末装置10の登録特徴情報を追加、削除するものとする。また、同じ配信グループにするかどうかの設定については、管理者が手動で設定することも可能であるが、登録情報に変化があった場合や、定期的な処理において登録されている登録情報間の類似性を計算し、あらかじめ設定された閾値よりも類似していると判定された場合には、同じ配信グループにしたり、同一配信グループ内での類似度スコアのばらつきがあらかじめ設定されている閾値よりも大きいと判定された場合には、違う配信グループに分割するといったことを行なうことも可能とする。
【0024】
以下、具体的に新規登録、照合、登録情報更新、登録情報削除の処理の流れを説明する。
まず、新規登録処理の流れについて説明する。新規登録処理時においては、専用の登録用端末装置が存在しても構わないが、機能的に同等で構わないため、本実施の形態においては、顔照合端末装置10から新規登録が行なえるものとする。実際の配信情報とその流れを図3に示す。
【0025】
新規登録処理時には、顔照合端末装置10において、図示しないキーボードなどの入力手段により登録者(人物M)のID番号、名前やメガネの有無など必要に応じた属性情報を入力するとともに、カメラ100による人物Mの顔画像の収集によって、顔特徴取得部101で入力特徴情報を取得し、これら取得したID番号や属性情報および入力特徴情報を通信部105により顔特徴情報管理サーバ30に送信する。
【0026】
顔特徴情報管理サーバ30では、顔照合端末装置10から送信されたID番号や属性情報および入力特徴情報を通信部106により受信し、管理部108において、この受信した入力特徴情報から登録特徴情報を計算(生成)し、この計算した登録特徴情報を、受信したID番号や属性情報とともに登録情報記憶部107の全配信グループの中に追加記憶するとともに、全ての顔照合端末装置10に対して上記計算した登録特徴情報をID番号や属性情報とともに配信する。
【0027】
各顔照合端末装置10は、顔特徴情報管理サーバ30から送信された登録特徴情報およびID番号や属性情報を通信部105により受信し、照合部103において、この受信した登録特徴情報およびID番号や属性情報を登録情報記憶部102に追加記憶し、以降その人物の照合を可能な状態とする。
【0028】
次に、照合処理の流れについて説明する。照合処理時には、顔照合端末装置10の照合部103において、カメラ100と顔特徴取得部101により取得された入力特徴情報を、登録情報記憶部102に記憶されている登録特徴情報とを照合することにより、当該人物Mは登録者であるかどうかを判定し、その判定結果を出力部104に送る。
【0029】
なお、本実施の形態では、顔照合端末装置10内の登録情報記憶部102に記憶されている登録特徴情報を用いて照合したが、取得した入力特徴情報を顔特徴情報管理サーバ30に送信して、顔特徴情報管理サーバ30内の登録情報記憶部107に記憶されている登録特徴情報と照合させることや(サーバ側での照合)、顔照合端末装置10内には通常、登録特徴情報(登録情報記憶部102)をもたず、照合開始時に必要に応じて顔特徴情報管理サーバ30の登録情報記憶部107内にある登録特徴情報をダウンロードして照合を行なうといったことも可能とする。
【0030】
次に、初期登録、あるいは、前回の更新から一定の期間が経過した場合や、顔の経年変化や髪型、メガネの変更など、あらかじめ登録されている登録特徴情報を置き換える、または、一部を修正すべきだと判断されたなどといった登録情報更新処理の流れについて説明する。実際に配信される情報とその流れを図4に示す。
【0031】
登録情報更新処理時には、ID番号とパスワードの入力などといった確実に本人であるといった確認を済んだ後に、辞書更新通知、登録者のID番号、利用する顔照合端末装置10のID番号(端末ID番号)、カメラ100と顔特徴取得部101により取得された入力特徴情報を通信部105により顔特徴情報管理サーバ30に対して送信する。
【0032】
顔特徴情報管理サーバ30では、顔照合端末装置10から送信される各情報を通信部106により受信し、管理部108において、受信した端末ID番号が所属する配信グループの登録特徴情報を処理対象とし、その中に含まれる登録者のID番号の登録特徴情報の一部または全てを受信した入力特徴情報の結果をふまえて書換えることとする。たとえば、登録特徴情報に加算する、平均をとる、完全に置き換えるといったことを行なうことにより、新たな登録特徴情報を生成する。
【0033】
こうして管理部108において生成された新たな登録特徴情報は、通信部106により、図2に示した配信テーブルの設定内容に基づき、該当する配信グループに所属する顔照合端末装置10に対してのみ配信される。この場合、別の配信グループに所属する顔照合端末装置10には、この登録特徴情報の配信は行なわれない。
【0034】
顔照合端末装置10では、顔特徴情報管理サーバ30から配信された新たな登録特徴情報を通信部105により受信し、照合部103において、登録情報記憶部102内の対応する登録特徴情報を、この受信した新たな登録特徴情報に更新し、以降その人物の照合を可能な状態とする。
【0035】
次に、削除処理の流れについて説明する。実際に配信される情報とその流れを図5に示す。特定の人物の登録情報を削除したい場合などには、削除したい人物のID番号を顔照合端末装置10(または、顔特徴情報管理サーバ30でもよい)から入力し、この入力したID番号を含む削除通知を、通信部105により、顔特徴情報管理サーバ30に送信し、顔特徴情報管理サーバ30から全ての顔照合端末装置10に対して当該削除通知を配信する。
【0036】
各顔照合端末装置10では、通信部105により、顔特徴情報管理サーバ30からの削除通知を受信し、照合部103により、この受信した削除通知内のID番号に該当する登録特徴情報を、登録情報記憶部102内から削除する。また、顔特徴情報管理サーバ30では、管理部108により、登録情報記憶部107内に管理している全配信グループ分の登録特徴情報の中から、顔照合端末装置10から削除通知依頼のあったID番号に相当する登録特徴情報を削除する。
【0037】
以上のような処理によって、各顔照合端末装置10の設置場所にあわせて個別に、あるいは、共有化された登録特徴情報を利用して照合を行なうことのできる人物認識システムを実現することができる。
【0038】
次に、第2の実施の形態について説明する。
図6は、第2の実施の形態に係る人物認識システムの構成を概略的に示すものである。第2の実施の形態は、前述した第1の実施の形態に対し、各顔照合端末装置10において、顔特徴取得部101から得られる入力特徴情報と登録情報記憶部102内の登録特徴情報から、新たな登録特徴情報を計算(生成)する生体特徴情報管理手段としての管理部109が追加された点が異なり、その他は基本的には第1の実施の形態と同様であるので、詳細な説明は省略する。
【0039】
顔特徴情報管理サーバ30の管理部108は、通信部106によって受信された登録特徴情報を受取り、図2に示すような配信テーブルの設定情報を基に各顔照合端末装置10へ配信する。なお、専用の登録用端末装置が別途設置されている場合や、顔特徴情報管理サーバ30で登録、削除などを行なうなどといった場合を想定して、第1の実施の形態と同様に顔特徴情報管理サーバ30内で登録特徴情報の書換えを行なわせることも可能であるが、顔照合端末装置10を利用したときの場合には登録特徴情報の再計算などは行なわない。
【0040】
以下、具体的に新規登録、照合、登録情報更新、登録情報削除の処理の流れを説明する。
まず、新規登録処理の流れについて説明する。新規登録処理時においては、専用の登録用端末装置が存在しても構わないが、機能的に同等で構わないため、本実施の形態においては、顔照合端末装置10から新規登録が行なえるものとする。実際の配信情報とその流れを図7に示す。
【0041】
新規登録処理時には、顔照合端末装置10において、図示しないキーボードなどの入力手段により登録者(人物M)のID番号、名前やメガネの有無など必要に応じた属性情報を入力するとともに、カメラ100による人物Mの顔画像の収集によって、顔特徴取得部101で入力特徴情報を取得した後、管理部109において、この取得した入力特徴情報により登録特徴情報を計算(生成)する。そして、入力されたID番号や属性情報および生成した登録特徴情報を通信部105により顔特徴情報管理サーバ30に送信する。
【0042】
顔特徴情報管理サーバ30では、顔照合端末装置10から送信されたID番号や属性情報および登録特徴情報を通信部106により受信し、管理部108において、この受信した登録特徴情報をID番号や属性情報とともに登録情報記憶部107の全配信グループの中に追加記憶するとともに、全ての顔照合端末装置10に対して上記受信した登録特徴情報をID番号や属性情報とともに配信する。
【0043】
各顔照合端末装置10は、顔特徴情報管理サーバ30から送信された登録特徴情報およびID番号や属性情報を通信部105により受信し、管理部109において、この受信した登録特徴情報およびID番号や属性情報を登録情報記憶部102に追加記憶し、以降その人物の照合を可能な状態とする。
【0044】
照合処理の流れでは、顔特徴情報管理サーバ30との通信が発生しないため第1の実施の形態と同様であり、ここでは説明を省略する。
【0045】
次に、初期登録、あるいは、前回の更新から一定の期間が経過した場合や、顔の経年変化や髪型、メガネの変更など、あらかじめ登録されている登録特徴情報を置き換える、または、一部を修正すべきだと判断されたなどといった登録情報更新処理の流れについて説明する。実際に配信される情報とその流れを図8に示す。
【0046】
登録情報更新処理時には、ID番号とパスワードの入力などといった確実に本人であるといった確認を済んだ後、管理部109において、顔特徴取得部101で取得した入力特徴情報と登録情報記憶部102内の登録特徴情報の一部または全ての登録特徴情報を利用し、新たな登録特徴情報を計算(生成)する。たとえば、登録特徴情報に加算する、平均をとる、完全に置き換えるといったことを行なうことにより、新たに入力された顔特徴情報を登録特徴情報に反映させる。
【0047】
こうして、新たな登録特徴情報を生成すると、辞書更新通知、登録者のID番号、端末ID番号、生成した新たな登録特徴情報を、通信部105により顔特徴情報管理サーバ30に対して送信する。顔特徴情報管理サーバ30では、顔照合端末装置10から送信される各情報を通信部106により受信し、管理部108において、受信した端末ID番号が所属する配信グループの登録特徴情報を処理対象とし、その中に含まれる登録者のID番号の登録特徴情報を、受信した新たな登録特徴情報に書換えるとともに、当該新たな登録特徴情報を、通信部106により、図2に示した配信テーブルの設定内容に基づき、該当する配信グループに所属する顔照合端末装置10に対してのみ配信される。この場合、別の配信グループに所属する顔照合端末装置10には、この登録特徴情報の配信は行なわれない。
【0048】
顔照合端末装置10では、顔特徴情報管理サーバ30から配信された新たな登録特徴情報を通信部105により受信し、管理部109において、登録情報記憶部102内の対応する登録特徴情報を、この受信した新たな登録特徴情報に更新し、以降その人物の照合を可能な状態とする。
【0049】
次に、削除処理の流れについて説明する。実際に配信される情報とその流れを図9に示す。特定の人物の登録情報を削除したい場合などには、削除したい人物のID番号を顔照合端末装置10(または、顔特徴情報管理サーバ30でもよい)から入力し、この入力したID番号を含む削除通知を、通信部105により、顔特徴情報管理サーバ30に送信し、顔特徴情報管理サーバ30から全ての顔照合端末装置10に対して当該削除通知を配信する。
【0050】
各顔照合端末装置10では、通信部105により、顔特徴情報管理サーバ30からの削除通知を受信し、管理部109により、この受信した削除通知内のID番号に該当する登録特徴情報を、登録情報記憶部102内から削除する。また、顔特徴情報管理サーバ30では、管理部108により、登録情報記憶部107内に管理している全配信グループ分の登録特徴情報の中から、顔照合端末装置10から削除通知依頼のあったID番号に相当する登録特徴情報を削除する。
【0051】
以上のような処理によって、各顔照合端末装置10の設置場所にあわせて個別に、あるいは、共有化された登録特徴情報を利用して照合を行なうことのできる人物認識システムを実現することができる。
【0052】
次に、第3の実施の形態について説明する。
第3の実施の形態に係るシステム構成や基本的な動作等は前述した第2の実施の形態と同様であるため詳細な説明は省略し、以下、異なる部分について詳細に説明する。
【0053】
顔照合端末装置10の管理部109は、登録から一定期間が経過していることや、本人との類似度の分布などの条件にあわせ、必要によっては顔特徴取得部101から得られる入力特徴情報と登録情報記憶部102内の登録特徴情報とから新たな登録特徴情報を計算することを可能とする。
【0054】
また、顔照合端末装置10による更新要求以外にも、他の顔照合端末装置10で更新要求が発生した場合に、顔特徴情報管理サーバ30を介して配信された入力特徴情報と現在当該顔照合端末装置10の登録情報記憶部102に保存されている登録特徴情報との類似度を評価し、あらかじめ設定される閾値よりも高い、あるいは、低いといった基準に合わせて登録特徴情報の一部または全ての書換え作業を行なう。
【0055】
顔特徴情報管理サーバ30の管理部108は、通信部106によって受信された登録特徴情報を受取り、この受取った登録特徴情報を全ての顔照合端末装置10へ配信する。なお、専用の登録用端末装置が別途設置されている場合や、顔特徴情報管理サーバ30で登録、削除などを行なうなどといった場合を想定して、第1の実施の形態と同様に顔特徴情報管理サーバ30内で登録特徴情報の書換えを行なわせることも可能であるが、本実施の形態においては、登録特徴情報の再計算などは行なわずに、単に登録情報記憶部107にバックアップをしておくにとどめる。
【0056】
以下、具体的に新規登録、照合、登録情報更新、登録情報削除の処理の流れを説明する。
まず、新規登録処理の流れについて説明する。新規登録処理時においては、専用の登録用端末装置が存在しても構わないが、機能的に同等で構わないため、本実施の形態においては、顔照合端末装置10から新規登録が行なえるものとする。実際の配信情報とその流れを図10に示す。
【0057】
新規登録処理時には、顔照合端末装置10において、図示しないキーボードなどの入力手段により登録者(人物M)のID番号、名前やメガネの有無など必要に応じた属性情報を入力するとともに、カメラ100による人物Mの顔画像の収集によって、顔特徴取得部101で入力特徴情報を取得した後、管理部109において、この取得した入力特徴情報により登録特徴情報を計算する。そして、入力されたID番号や属性情報および生成した登録特徴情報を通信部105により顔特徴情報管理サーバ30に送信する。
【0058】
顔特徴情報管理サーバ30では、顔照合端末装置10から送信されたID番号や属性情報および登録特徴情報を通信部106により受信し、管理部108において、この受信した登録特徴情報をID番号や属性情報とともに登録情報記憶部107の全配信グループの中に追加記憶するとともに、全ての顔照合端末装置10に対して上記受信した登録特徴情報をID番号や属性情報とともに配信する。
【0059】
各顔照合端末装置10は、顔特徴情報管理サーバ30から送信された登録特徴情報およびID番号や属性情報を通信部105により受信し、管理部109において、この受信した登録特徴情報およびID番号や属性情報を登録情報記憶部102に追加記憶し、以降その人物の照合を可能な状態とする。
【0060】
照合処理の流れでは、顔特徴情報管理サーバ30との通信が発生しないため第1の実施の形態と同様であり、ここでは説明を省略する。
【0061】
次に、初期登録、あるいは、前回の更新から一定の期間が経過した場合や、顔の経年変化や髪型、メガネの変更など、あらかじめ登録されている登録特徴情報を置き換える、または、一部を修正すべきだと判断されたなどといった登録情報更新処理の流れについて説明する。実際に配信される情報とその流れを図11に示す。
【0062】
登録情報更新処理時には、ID番号とパスワードの入力などといった確実に本人であるといった確認を済んだ後、管理部109において、顔特徴取得部101で取得した入力特徴情報と登録情報記憶部102内の登録特徴情報の一部または全ての登録特徴情報を利用し、新たな登録特徴情報を計算する。たとえば、登録特徴情報に加算する、平均をとる、完全に置き換えるといったことを行なうことにより、新たに入力された顔特徴情報を登録特徴情報に反映させる。
【0063】
こうして、新たな登録特徴情報を生成すると、辞書更新通知、登録者のID番号、端末ID番号、取得した入力特徴情報、生成した新たな登録特徴情報を、通信部105により顔特徴情報管理サーバ30に対して送信する。顔特徴情報管理サーバ30では、顔照合端末装置10から送信される各情報を通信部106により受信し、管理部108において、受信した新たな登録特徴情報を登録情報記憶部107内の全ての配信グループの登録特徴情報に対して追加登録するとともに、受信した入力特徴情報を、通信部106により、全ての顔照合端末装置10に対して配信する。
【0064】
顔照合端末装置10では、顔特徴情報管理サーバ30から配信された入力特徴情報を通信部105により受信し、管理部109において、この受信した入力特徴特徴情報と登録情報記憶部102内の登録特徴情報との類似度を計算し、このの計算した類似度があらかじめ定められた閾値以上であった場合、受信した入力特徴特徴情報と登録情報記憶部102内の登録特徴情報とにより新たな登録特徴情報を計算し、登録情報記憶部102内の対応する登録特徴情報を、この計算した新たな登録特徴情報に更新し、以降その人物の照合を可能な状態とする。
【0065】
なお、ここで利用する閾値を高めに設定することで、各顔照合端末装置10で管理する登録特徴情報が個別管理に近づき、逆に閾値を低くすることで、各顔照合端末装置10で管理する登録特徴情報が同一のものを利用するようになる。この閾値は、計算される類似度の傾向によって自動的に設定しても構わないし、管理者が手動で設定しても構わない。
【0066】
次に、削除処理の流れについて説明する。実際に配信される情報とその流れを図12に示す。特定の人物の登録情報を削除したい場合などには、削除したい人物のID番号を顔照合端末装置10(または、顔特徴情報管理サーバ30でもよい)から入力し、この入力したID番号を含む削除通知を、通信部105により、顔特徴情報管理サーバ30に送信し、顔特徴情報管理サーバ30から全ての顔照合端末装置10に対して当該削除通知を配信する。
【0067】
各顔照合端末装置10では、通信部105により、顔特徴情報管理サーバ30からの削除通知を受信し、管理部109により、この受信した削除通知内のID番号に該当する登録特徴情報を、登録情報記憶部102内から削除する。また、顔特徴情報管理サーバ30では、管理部108により、登録情報記憶部107内に管理している全配信グループ分の登録特徴情報の中から、顔照合端末装置10から削除通知依頼のあったID番号に相当する登録特徴情報を削除する。
【0068】
以上のような処理によって、各顔照合端末装置10の設置場所にあわせて個別に、あるいは、共有化された登録特徴情報を利用して照合を行なうことのできる人物認識システムを実現することができる。
【0069】
以上説明したように、上記実施の形態によれば、あらかじめ登録される人物の顔特徴情報(登録特徴情報)を、実際に照合を行なう各顔照合端末装置それぞれの設置環境に合わせて個別に記憶しておくことにより、各顔照合端末装置の設置場所によって本人と照合され易い、され難いといったことが発生しにくくすることが可能となる。
【0070】
また、複数設置されている顔照合端末装置の中でも、入力される顔特徴情報(入力特徴情報)が非常に類似している顔照合端末装置間においては、登録されている顔特徴情報を共有化することによって、顔特徴情報の学習効果を増やすことが可能となる。一方で、入力される顔特徴情報が極端に変化し易い顔照合端末装置間は顔特徴情報を別々に管理することによって、傾向の異なる顔特徴情報が入力されても、お互い影響を受けないようにすることが可能となる。
【0071】
これらのように、登録している顔特徴情報を共有するかどうかは、顔特徴情報管理サーバにおける配信テーブルで管理し、自動または手動で設定することが可能であり、顔照合端末装置の設置後に設置環境が変わった場合にも、速やかに対応することが可能となる。
【0072】
たとえば、顔の特徴情報を利用した人物認識システムにおいては、照明環境が極端に異なる顔照合端末装置同士で同一の顔特徴情報(辞書)を利用すると、正しく顔の特徴情報が得られずに認識精度が著しく低下してしまうといった問題があるが、顔照合端末装置の設置環境にあった顔特徴情報(辞書)を個別に管理することにより、安定した認識精度を確保することが可能となる。
一方で、非常に類似した照明環境の場合には、同一の顔特徴情報(辞書)を利用することで、お互いの学習情報を共有することが可能となる。
【0073】
このように、顔照合端末装置における照明環境の違いによって同一の顔特徴情報を利用するかどうかを、顔特徴情報管理サーバにおける配信テーブルの情報によって臨機応変に変更することが可能であり、システム全体として安定した認識精度を確保することが可能となる。
【0074】
【発明の効果】
以上詳述したように本発明によれば、生体照合端末装置の設置環境によらず、常に安定した認識性能での本人確認を行なうことが可能となる人物認識システムを提供できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る人物認識システムの構成を概略的に示すブロック図。
【図2】第1の実施の形態の顔特徴情報管理サーバにおける配信テーブルの一例を示す説明図。
【図3】第1の実施の形態における新規登録処理時の配信例を示す説明図。
【図4】第1の実施の形態における登録情報更新処理時の配信例を示す説明図。
【図5】第1の実施の形態における登録情報削除処理時の配信例を示す説明図。
【図6】本発明の第2の実施の形態に係る人物認識システムの構成を概略的に示すブロック図。
【図7】第2の実施の形態における新規登録処理時の配信例を示す説明図。
【図8】第2の実施の形態における登録情報更新処理時の配信例を示す説明図。
【図9】第2の実施の形態における登録情報削除処理時の配信例を示す説明図。
【図10】第3の実施の形態における新規登録処理時の配信例を示す説明図。
【図11】第3の実施の形態における登録情報更新処理時の配信例を示す説明図。
【図12】第3の実施の形態における登録情報削除処理時の配信例を示す説明図。
【符号の説明】
10…顔照合端末装置(生体照合端末装置)、20…ネットワーク回線(通信回線)、30…顔特徴情報管理サーバ(生体照合管理装置)、M…人物、100…カメラ(生体特徴取得手段)、101…顔特徴取得部(生体特徴取得手段)、102…登録情報記憶部(登録情報記憶手段)、103…照合部(照合手段)、104…出力部(出力手段)、105…通信部(送信および受信手段)、106…通信部(配信および受信手段)、107…登録情報記憶部(登録情報記憶手段)、108,109…管理部(生体特徴情報管理手段)。
Claims (5)
- 複数の場所にそれぞれ設置され、あらかじめ登録されている人物の固有の生体特徴情報を利用して本人確認を行なう複数の生体照合端末装置と、この複数の生体照合端末装置とそれぞれ通信回線を介して接続された生体照合管理装置とから構成され、
前記生体照合端末装置は、
認識対象となる人物の固有の生体特徴情報を取得する生体特徴取得手段と、
あらかじめ登録されている人物の固有の生体特徴情報を記憶している第1の登録情報記憶手段と、
前記生体特徴取得手段により取得された生体特徴情報と前記第1の登録情報記憶手段に記憶されている生体特徴情報とを照合することにより、当該人物は登録されている人物であるか否かを判定する照合手段と、
前記生体特徴取得手段により取得された生体特徴情報を前記生体照合管理装置に送信する送信手段とを具備し、
前記生体照合管理装置は、
前記生体照合端末装置の送信手段により送信された生体特徴情報を受信する第1の受信手段と、
前記生体照合端末装置の第1の登録情報記憶手段に記憶されている人物の固有の生体特徴情報と同等の人物の固有の生体特徴情報を記憶している第2の登録情報記憶手段と、
前記第1の受信手段により受信した生体特徴情報と前記第2の登録情報記憶手段に記憶されている生体特徴情報とに基づき新たな生体特徴情報を生成する生体特徴情報管理手段と、
この生体特徴情報管理手段により生成された新たな生体特徴情報を、前記第1の受信手段により受信した生体特徴情報を送信した生体照合端末装置と同じ配信グループであるとあらかじめ設定された生体照合端末装置に対してだけ配信する配信手段とを具備し、
前記生体照合端末装置は、
前記生体照合管理装置の配信手段により配信された新たな生体特徴情報を受信する第2の受信手段と、
この第2の受信手段により受信した新たな生体特徴情報を前記第1の登録情報記憶手段に記憶する手段とをさらに具備したことを特徴とする人物認識システム。 - 複数の場所にそれぞれ設置され、あらかじめ登録されている人物の固有の生体特徴情報を利用して本人確認を行なう複数の生体照合端末装置と、この複数の生体照合端末装置とそれぞれ通信回線を介して接続された生体照合管理装置とから構成され、
前記生体照合端末装置は、
認識対象となる人物の固有の生体特徴情報を取得する生体特徴取得手段と、
あらかじめ登録されている人物の固有の生体特徴情報を記憶している登録情報記憶手段と、
前記生体特徴取得手段により取得された生体特徴情報と前記登録情報記憶手段に記憶されている生体特徴情報とを照合することにより、当該人物は登録されている人物であるか否かを判定する照合手段と、
前記生体特徴取得手段により取得された生体特徴情報と前記登録情報記憶手段に記憶されている生体特徴情報とに基づき新たな生体特徴情報を生成する生体特徴情報管理手段と、
この生体特徴情報管理手段により生成された新たな生体特徴情報を前記生体照合管理装置に送信する送信手段とを具備し、
前記生体照合管理装置は、
前記生体照合端末装置の送信手段により送信された新たな生体特徴情報を受信する第1の受信手段と、
この第1の受信手段により受信した新たな生体特徴情報を、前記第1の受信手段により受信した新たな生体特徴情報を送信した生体照合端末装置と同じ配信グループであるとあらかじめ設定された生体照合端末装置に対してだけ配信する配信手段とを具備し、
前記生体照合端末装置は、
前記生体照合管理装置の配信手段により配信された新たな生体特徴情報を受信する第2の受信手段と、
この第2の受信手段により受信した新たな生体特徴情報を前記登録情報記憶手段に記憶する手段とをさらに具備したことを特徴とする人物認識システム。 - 複数の場所にそれぞれ設置され、あらかじめ登録されている人物の固有の生体特徴情報を利用して本人確認を行なう複数の生体照合端末装置と、この複数の生体照合端末装置とそれぞれ通信回線を介して接続された生体照合管理装置とから構成され、
前記生体照合端末装置は、
認識対象となる人物の固有の生体特徴情報を取得する生体特徴取得手段と、
あらかじめ登録されている人物の固有の生体特徴情報を記憶している登録情報記憶手段と、
前記生体特徴取得手段により取得された生体特徴情報と前記登録情報記憶手段に記憶されている生体特徴情報とを照合することにより、当該人物は登録されている人物であるか否かを判定する照合手段と、
必要に応じて前記生体特徴取得手段により取得された生体特徴情報を前記生体照合管理装置に送信する送信手段とを具備し、
前記生体照合管理装置は、
前記生体照合端末装置の送信手段により送信された生体特徴情報を受信する第1の受信手段と、
この第1の受信手段により受信した生体特徴情報を前記生体照合端末装置に対して配信する配信手段とを具備し、
前記生体照合端末装置は、
前記生体照合管理装置の配信手段により配信された生体特徴情報を受信する第2の受信手段と、
この第2の受信手段により受信した生体特徴情報と前記登録情報記憶手段に記憶されている生体特徴情報との類似度を求め、この求めた類似度があらかじめ定められた閾値以上であった場合、前記第2の受信手段により受信した生体特徴情報と前記登録情報記憶手段に記憶されている生体特徴情報とに基づき新たな生体特徴情報を生成し、この生成した新たな生体特徴情報に基づき前記登録情報記憶手段内の生体特徴情報を更新する生体特徴情報管理手段とをさらに具備したことを特徴とする人物認識システム。 - 前記配信手段は、前記第1の受信手段により受信した生体特徴情報を送信した生体照合端末装置を除いた残りの生体照合端末装置に対して配信することを特徴とする請求項3記載の人物認識システム。
- 前記生体特徴情報は人物の顔の特徴情報であることを特徴とする請求項1〜請求項3のいずれか1つに記載の人物認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002124590A JP4157322B2 (ja) | 2002-04-25 | 2002-04-25 | 人物認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002124590A JP4157322B2 (ja) | 2002-04-25 | 2002-04-25 | 人物認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003316746A JP2003316746A (ja) | 2003-11-07 |
JP4157322B2 true JP4157322B2 (ja) | 2008-10-01 |
Family
ID=29539595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002124590A Expired - Lifetime JP4157322B2 (ja) | 2002-04-25 | 2002-04-25 | 人物認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4157322B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2261839A1 (en) | 2009-06-12 | 2010-12-15 | Glory Ltd. | Biometric matching system and biometric matching method |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005301539A (ja) * | 2004-04-09 | 2005-10-27 | Oki Electric Ind Co Ltd | 顔認証による本人確認システム |
JP2007018247A (ja) * | 2005-07-07 | 2007-01-25 | Sony Corp | 生体情報テンプレート変更システム、生体情報テンプレート変更装置、生態情報テンプレート変更方法及び生体情報テンプレート変更プログラム |
JP4792885B2 (ja) * | 2005-09-15 | 2011-10-12 | 日本電気株式会社 | 自然言語処理システム、自然言語処理方法、自然言語処理プログラム |
JP4694424B2 (ja) * | 2006-06-21 | 2011-06-08 | 三菱電機株式会社 | 認証装置 |
KR100795160B1 (ko) | 2007-03-22 | 2008-01-16 | 주식회사 아트닉스 | 얼굴영역검출장치 및 검출방법 |
JP5205137B2 (ja) * | 2008-06-18 | 2013-06-05 | ローレルバンクマシン株式会社 | 行動管理システム |
JP5271628B2 (ja) * | 2008-07-31 | 2013-08-21 | グローリー株式会社 | 生体認証システム及び生体認証装置 |
JP5550222B2 (ja) * | 2008-09-22 | 2014-07-16 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5407806B2 (ja) * | 2009-11-25 | 2014-02-05 | 富士通株式会社 | 認証制御サーバ装置、認証データ更新方法、及び認証データ更新プログラム |
JP5397479B2 (ja) * | 2009-12-08 | 2014-01-22 | 富士通株式会社 | 生体認証システム及び生体認証方法 |
JP5588180B2 (ja) * | 2010-01-15 | 2014-09-10 | キヤノン株式会社 | パターン識別装置及びその制御方法 |
US9274594B2 (en) | 2010-05-28 | 2016-03-01 | Microsoft Technology Licensing, Llc | Cloud-based personal trait profile data |
JP5464277B2 (ja) | 2010-09-30 | 2014-04-09 | 富士通株式会社 | 生体認証装置、生体認証プログラム及び方法 |
US9042607B2 (en) * | 2011-05-02 | 2015-05-26 | Omnicell, Inc. | System and method for user access of dispensing unit |
JP5923723B2 (ja) | 2011-06-02 | 2016-05-25 | パナソニックIpマネジメント株式会社 | 人物属性推定システム、人物属性推定装置、及び人物属性推定方法 |
JP5869805B2 (ja) * | 2011-08-25 | 2016-02-24 | キヤノン株式会社 | 情報処理装置、撮像装置、およびそれらの制御方法、プログラム、並びに記憶媒体 |
JP6161271B2 (ja) * | 2011-12-22 | 2017-07-12 | キヤノン株式会社 | 情報処理装置、その制御方法、及びプログラム |
JP2014032539A (ja) * | 2012-08-03 | 2014-02-20 | Toshiba Tec Corp | オブジェクト認識スキャナシステム、辞書サーバ、オブジェクト認識スキャナ、辞書サーバプログラムおよび制御プログラム |
US10534995B2 (en) * | 2013-03-15 | 2020-01-14 | Qylur Intelligent Systems, Inc. | Network of intelligent machines |
CN104331649A (zh) * | 2013-07-22 | 2015-02-04 | 鸿富锦精密工业(武汉)有限公司 | 基于网络连接的身份识别系统及方法 |
JP6471934B2 (ja) | 2014-06-12 | 2019-02-20 | パナソニックIpマネジメント株式会社 | 画像認識方法、カメラシステム |
JP6801424B2 (ja) * | 2016-12-14 | 2020-12-16 | 沖電気工業株式会社 | 情報処理システム及び情報処理プログラム |
JP2020126343A (ja) * | 2019-02-01 | 2020-08-20 | パナソニックIpマネジメント株式会社 | 顔認証サーバ装置、顔認証方法および顔認証プログラム |
JP2020126348A (ja) * | 2019-02-01 | 2020-08-20 | パナソニックIpマネジメント株式会社 | 顔認証システム、顔認証サーバ装置、顔認証機、顔認証方法、および顔認証プログラム |
JP7038351B2 (ja) * | 2019-02-01 | 2022-03-18 | パナソニックIpマネジメント株式会社 | 顔認証サーバ装置、登録処理方法および登録処理プログラム |
JP7054847B2 (ja) * | 2019-03-04 | 2022-04-15 | パナソニックIpマネジメント株式会社 | 顔認証登録装置および顔認証登録方法 |
JP7193104B1 (ja) | 2021-11-25 | 2022-12-20 | 株式会社アジラ | 行動体同定システム |
JP2024005550A (ja) * | 2022-06-30 | 2024-01-17 | パナソニックIpマネジメント株式会社 | 顔認証システムおよび顔認証方法 |
-
2002
- 2002-04-25 JP JP2002124590A patent/JP4157322B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2261839A1 (en) | 2009-06-12 | 2010-12-15 | Glory Ltd. | Biometric matching system and biometric matching method |
Also Published As
Publication number | Publication date |
---|---|
JP2003316746A (ja) | 2003-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4157322B2 (ja) | 人物認識システム | |
US7876928B2 (en) | Method and device for authenticating a person, and computer product | |
JP4097710B2 (ja) | セキュリテイ装置及び方法 | |
US7007298B1 (en) | Apparatus and method for authenticating user according to biometric information | |
US7079007B2 (en) | Systems and methods utilizing biometric data | |
JP4177598B2 (ja) | 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法 | |
US7986817B2 (en) | Verification apparatus, verification method and verification program | |
JP2011123532A (ja) | 複数種類のテンプレートを用いた生体認証システム及び生体認証方法 | |
KR20080088416A (ko) | 대조 장치, 대조 방법 및 대조 프로그램을 기록한 컴퓨터판독 가능한 기록 매체 | |
JP2003256376A (ja) | 安全性保証付き生体認証方法及び認証サービスを行う装置 | |
US20060206722A1 (en) | Method and apparatus for networked biometric authentication | |
US8392721B2 (en) | Method and system to electronically identify and verify an individual presenting himself for such identification and verification | |
US20040146186A1 (en) | Method and system for processing personal characteristics | |
JP2000057343A (ja) | 指紋照合方法及び指紋照合システム | |
JP4085198B2 (ja) | 個人認証装置および個人認証システム | |
JPH10105517A (ja) | 自動個人確認処理方法 | |
CN111614697A (zh) | 用于身份识别的方法和系统 | |
Schuckers | Some statistical aspects of biometric identification device performance | |
JP4160433B2 (ja) | 指紋による個人認証装置 | |
JP2004005532A (ja) | 指紋による個人認証システム | |
JP2004013865A (ja) | 連想記憶による本人認証方法 | |
US20240193240A1 (en) | Method and system for biometric authentication for large numbers of enrolled persons | |
JP5271628B2 (ja) | 生体認証システム及び生体認証装置 | |
JP2002014695A (ja) | 対話型本人認証方法および装置 | |
JP2005107588A (ja) | 人物照合システムおよび入退室管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080711 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4157322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
EXPY | Cancellation because of completion of term |