JPH11339048A - 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 - Google Patents
個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体Info
- Publication number
- JPH11339048A JPH11339048A JP10148640A JP14864098A JPH11339048A JP H11339048 A JPH11339048 A JP H11339048A JP 10148640 A JP10148640 A JP 10148640A JP 14864098 A JP14864098 A JP 14864098A JP H11339048 A JPH11339048 A JP H11339048A
- Authority
- JP
- Japan
- Prior art keywords
- photographed
- person
- image
- photographing
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000005286 illumination Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 42
- 238000009529 body temperature measurement Methods 0.000 claims 2
- 238000005259 measurement Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 230000001815 facial effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Landscapes
- Collating Specific Patterns (AREA)
- Image Input (AREA)
Abstract
であるかどうかを判定し、人間を撮影した画像でなけれ
ば処理を中止することで、セキュリティの向上を図った
個人識別装置、個人識別方法および個人識別プログラム
を記録した記録媒体を提供する。 【解決手段】照明制御装置21aが照明装置21を点灯
させてCCDカメラ20の撮影画像を画像メモリ11に
記憶する。照明装置21で光を照射した人間を撮影した
場合、CCDカメラ20の撮影画像には目、鼻、口等の
顔部品の凹凸によって陰影が生じるが、撮影対象が写真
であると、表面に凹凸がないため、CCDカメラ20の
撮影画像に殆ど陰影が生じない。撮影対象判定部12
は、この相違に基づいて撮影対象が人間であるかどうか
を判定する。撮影対象が人間でなければ以下の処理を中
止するため、登録者の顔写真を利用されてもサービスを
提供することがなく、システムのセキュリティを向上で
きる。
Description
した識別対象者の外見上の特徴量から、該識別対象者を
特定する個人識別装置、個人識別方法および個人識別プ
ログラムを記録した記録媒体に関する。
から特定する個人識別装置が提案されている。外見上の
特徴として、1)顔の輪郭、2)目、鼻、口等の形状、3)顔
の凹凸等を利用したものがある。本人を特定する場合、
CCDカメラ等の撮影装置で撮影した識別対象者の顔画
像を処理して特徴量を抽出し、登録者の中から最も類似
度の高い登録者であるとしていた。また、識別対象者に
識別コードを入力させ、識別対象者の顔画像を処理して
抽出した特徴量と、入力された識別コードで識別される
登録者の特徴量との類似度から識別対象者が、この識別
コードで識別される登録者であるかどうかを判定する装
置もある。
以外の立ち入りを禁止している管理区域等で、管理区域
への立ち入りを希望する者が立ち入りが許可されている
人物(登録者)であるかどうかを判定(特定)し、立ち
入りが許可されている人物であれば入口を開放して立ち
入りを許可するシステム等に適用できる。
M(現金自動支払い機)等にも適用できる。ATMに適
用する場合、暗唱番号の入力の代わりに、撮影した画像
から利用者を特定すればよい。これによって、暗唱番号
の入力を不要にして操作性の向上がはかれるとともに、
利用者が暗唱番号を忘れてATMが利用できないという
問題も生じない。
個人識別装置は、CCDカメラ等の撮影装置で撮影した
画像を処理して抽出した特徴量に基づいて識別対象者を
特定しているだけであった。したがって、撮影装置に他
人の顔写真等を撮影させれば、顔写真の人物であると判
定させることができ、容易に他人になりすますことがで
きる。よって、従来の個人識別装置を適用したシステム
では、セキュリティの面において問題があった。
像が人間を撮影した画像であるかどうかを判定し、人間
を撮影した画像でなければ処理を中止することで、セキ
ュリティの向上を図った個人識別装置、個人識別方法お
よび個人識別プログラムを記録した記録媒体を提供する
ことにある。
外見上の特徴量を記憶した記憶部と、撮影装置により撮
影した画像を処理して抽出した外見上の特徴量と前記記
憶部に記憶している登録者の外見上の特徴量とに基づい
て、撮影された者を特定する制御部と、を備え、前記制
御部は、撮影装置が人間を撮影したかどうかを判定し、
撮影していなければ処理を中止する。
徴量を記憶した記憶部と、登録者を指定する入力部と、
撮影装置により撮影した画像を処理して抽出した外見上
の特徴量と前記記憶部に記憶している指定された登録者
の外見上の特徴量とに基づいて、撮影された者が指定さ
れた登録者であるかどうかを判定する制御部と、を備
え、前記制御部は、撮影装置が人間を撮影したかどうか
を判定し、撮影していなければ処理を中止する。
た画像が人間を撮影したものであるのかどうかを判定
し、人間を撮影した画像でなければ処理を中止する。す
なわち、他人のなりすますために、撮影装置に他人の顔
写真等を撮影させても、撮影された画像が人間を撮影し
た画像でないと判定され、処理が中止される。これによ
り、他人の顔写真等を用いても、他人になりすますこと
ができなくなり、セキュリティを向上させることができ
る。
鼻、口等、顔部品の形状に関する特徴量を用いることが
できる。
る個人識別装置の構成を示すブロック図である。個人識
別装置1は、装置本体の動作を制御する制御部2と、入
力操作を行う入力部3と、登録者毎に付与されている識
別コードと該識別コードで識別される登録者の顔の特徴
量(輪郭、目、鼻、口等の形状や顔の凹凸等)とを対応
づけて記憶した記憶部4と、撮影装置10とのインタフ
ェースとして機能するI/F部5と、を備えている。
図である。なお、制御部2には、後述する処理を実行さ
せるためのプログラムがCD−ROM等の記録媒体から
供給されている。図2において、11は撮影装置10が
撮影した画像を記憶する画像メモリ、12は画像メモリ
11に記憶した画像を処理して人間を撮影した画像であ
るかどうかを判定する撮影対象判定部、13は撮影装置
10で撮影された画像について顔領域を抽出する顔領域
抽出部、14は顔の特徴量を抽出する特徴抽出部、15
は特徴抽出部14で抽出した顔の特徴量と記憶部4に記
憶されている指定された登録者の顔の特徴量との類似度
を判定する類似度判定部である。
入力するPINパッド3aが設けられている。なお、識
別対象者に識別コードを記憶させたカード等の記憶媒体
を発行しておき、PINパッド3aにかえてこの記憶媒
体から識別コードを読み取る媒体読取装置(例えば、カ
ードリーダ)を設けてもよい。
別装置1の処理を説明する。図3は、個人識別装置の処
理を示すフローチャートである。この実施形態の個人識
別装置1は、撮影装置10で撮影された画像がI/F部
5を介して画像メモリ11に記憶される。制御部2は、
撮影対象判定部12において画像メモリ11に記憶され
た画像が人間を撮影した画像であるかどうかを判定する
撮影対象判定処理を行う(n1)。撮影対象判定処理の
詳細については後述する。個人識別装置1は、撮影対象
が人間であると判定するとn3以降の処理を行う。一
方、撮影対象が人間でないと判定すると(例えば、撮影
対象が写真やマネキン等であった場合)、警報を発する
等のエラー処理を行って本処理を終了する(n2)。
画像が人間を撮影したものでなければ、以降の処理が実
行されない(以降の処理を中止する。)。したがって、
撮影装置に他人の顔写真を撮影させても、撮影された画
像が人間を撮影した画像でないと判定され、処理が中止
される。よって、他人の顔写真等を用いても、他人にな
りすますことができす、セキュリティを確保できる。
(人間を撮影した画像であると判定すると)、顔領域抽
出部13が画像メモリ11に記憶している識別対象者の
画像(撮影装置10で撮影された画像)を読み出すとと
もに、識別コードの入力も受け付ける(n3、n4)。
識別コードは、識別対象者(撮影された者)がPINパ
ッド3aを操作して入力する。
読み出した画像を処理して識別対象者の画像領域と背景
領域との分離を行う(識別対象者の画像領域を抽出す
る。)(n5)。n5の処理は、識別対象者の画像とそ
の周辺とを含む粗い検出であり、背景画像と取得画像と
の差分を抽出する背景差分手法、カラーを用いた肌色検
出、オプチカルフローやフレーム間差分を用いた動き検
出手法、顔らしさをニューラルネットワークやパターン
マッチングによって求める手法等が知られている。
対象者の画像領域に基づいて、顔領域を正確に検出する
(n6)。n6では、目、鼻、口等の顔部品の特徴モデ
ルをもとにマッチングによって求める。n6で識別対象
者の顔領域を検出すると、特徴抽出部14が顔の特徴量
を求める(n7)。顔の特徴量を求める手法としては、
平均的な顔との差を主成分分析等の統計的手法を用いて
求める手法や、目、鼻、口等の濃淡画像からテンプレー
トマッチングにより求める手法等が知られている。
の特徴量を求めると、記憶部4からn4で入力された識
別コードで識別される登録者の顔の特徴量を読み出し
(n8)、類似度を算出する(n9)。n9で算出した
類似度が予め設定されている閾値以上であれば識別対象
者は入力された識別コードで識別される登録者であると
判定し(n10→n11)、類似度が閾値未満であれば
識別対象者は入力された識別コードで識別される登録者
でないと判定する(n10→n12)。
と判定した場合には、個人識別装置1を適用したシステ
ムにおいて、登録者に対して提供するサービスを実行す
ればよい。例えば、管理区域への入口を開放して立ち入
りを許可したり、周知のATMに適用した場合には入出
金を許可する等のサービスを実行すればよい。
4で識別コードを入力するとしたが、識別コードの入力
を無くしてもよい。この場合には、n9で算出した特徴
量と最も類似度の高い登録者を記憶部4から検出し、識
別対象者をここで検出した登録者であるとすればよい。
このようにすれば、識別コードの入力が不要となるた
め、操作性を向上できる。
細に説明する。図4は、この実施形態における撮影装置
10の構成を示す図である。撮影装置10は、CCDカ
メラ20と、CCDカメラ20の撮影領域に横方向から
光を照射する照明装置21と、照明装置21の点灯を制
御する照明制御装置21aとを備えている。
ャートである。照明装置21を点灯し、この時点におけ
るCCDカメラ20の撮影画像を画像メモリ11に記憶
する(n21、n22)。照明制御装置21aは照明装
置21を消灯し(n23)、この時点におけるCCDカ
メラ20の撮影画像を画像メモリ11に記憶する(n2
4)。すなわち、画像メモリ11には、撮影対象に対し
て照明装置21で光を照射した状態の画像と、光を照射
していない状態の画像とが記憶される。なお、図では画
像メモリ11に照明装置21で光を照射した状態の画像
が先に記憶されるとしたが、この順番は逆であってもよ
い。
象を照明装置21で照射した状態で撮影した画像から撮
影対象が人間であるかどうかを判定し、他方の画像は上
述したn3以降の処理に用いる。このように、撮影対象
が人間であるかどうかを判定するための画像と上述のn
3以降の処理を行うための画像とを、略同じタイミング
で得るようにしているため、両画像の撮影対象が異なる
ことがない。
た場合、CCDカメラ20の撮影画像には図6(A)に
示すように目、鼻、口等の顔部品の凹凸によって陰影が
生じる。一方、撮影対象が写真であると、表面に凹凸が
ないため、CCDカメラ20の撮影画像には図6(B)
に示すように殆ど陰影がない。この実施形態では撮影対
象判定部12は、この相違に基づいて撮影対象が人間で
あるかどうかを判定する。
憶した画像について輝度値の平均μおよび分散Vを求め
る(n25)。ここで、撮影対象が人間であった場合と
撮影対象が写真であった場合とを比較してみると、撮影
対象が人間であった場合のほうが輝度値の平均μが小さ
く、分散Vが大きい。撮影対象判定部12では、n25
で算出した輝度値の平均μが閾値THμよりも小さく、
且つ、分散Vが閾値THVよりも大きければ、撮影対象
が人間であると判定する(n26、n27、n28)。
これ以外の場合には、撮影対象が人間でないと判定する
(n26、n27、n29)。
値THVは、それぞれ適当な値を予め設定している。ま
た、撮影対象が人間でないと判定したときには、上述し
たように以降の処理が禁止されることになり、個人識別
装置1を適用したシステムではサービスの提供が行われ
ない。したがって、個人識別装置1を適用したシステム
のセキュリティを向上できる。
ついて説明する。この実施形態の撮影装置10には、図
7に示すようにCCDカメラ20、フラッシュ22およ
びフラッシュ制御部22aが設けられている。図8は、
この実施形態にかかる撮影対象判定処理を示すフローチ
ャートである。この実施形態では、フラッシュ22を点
灯させていない状態での撮影画像とフラッシュ22を点
灯させた状態での撮影画像とが画像メモリ11に記憶さ
れる(n31〜n33)。フラッシュを点灯させていな
い状態で撮影した画像は、n3以降の処理で用いる。
撮影した場合図9(A)に示すように殆ど反射光による
照かりの無い画像であるが、写真の場合図9(B)に示
すように局所的に照かりがある。撮影対象判定部12
は、この相違に基づいて撮影対象が人間であるかどうか
を判定する。
点灯させて撮影した画像に対して2値化処理を行い(n
34)、照かりの領域の有無を判定する(n35)。図
10(A)は図9(A)を2値化処理した画像であり、
図10(B)は図9(B)を2値化処理した画像であ
る。この図からも明らかなように、撮影対象が人間であ
ったときには照かりの領域がなく、対象が写真であった
場合には照かりの領域がある。画像判定部12は、照か
りの領域が無ければ撮影対象が人間であると判定し(n
36)、照かりの領域があれば撮影対象が人間でないと
判定する(n37)。
間であるかどうかを正確に判定することができ、上記の
実施形態のものと同様の効果を奏することができる。ま
た、撮影対象が人間であるかどうかを判定する際に用い
る画像と、撮影対象が人間であったときにn3以降の処
理に用いる画像とは略同じタイミングで撮影しており、
撮影対象判定処理を行う画像とn3以降の処理を行う画
像との撮影対象が異なることもない。
ついて説明する。この実施形態の撮影装置10には、C
CDカメラ20とサーマルカメラ23とが設けられてい
る(図11参照)。図12は、この実施形態にかかる撮
影対象判定処理を示すフローチャートである。この実施
形態では、CCDカメラ20およびサーマルカメラ23
が略同じタイミングで撮影した画像を画像メモリ11に
記憶する(n41、n42)。CCDカメラ20で撮影
した画像はn3以降の処理で用いる。サーマルカメラ2
3で撮影した画像は、温度の高い所ほど赤く、低い所ほ
ど青い。したがって、撮影対象が人間であれば肌が露出
している部分が赤くなる。一方、撮影対象が写真やマネ
キン等であれば表面温度が低く全体に青い画像となる。
3で撮影した画像について赤色成分の平均値を算出し
(n43)、ここで算出した平均値が予め設定した閾値
以上であるかどうかを判定する(n44)。赤色の平均
値が閾値以上であれば撮影対象は人間であると判定し
(n45)、閾値未満であれば撮影対象は人間でないと
判定する(n46)。
でなく、マネキン等の登録者の顔模型であっても、確実
に撮影対象者が人間でないと判定することができる。よ
って、個人識別装置1を適用したシステムのセキュリテ
ィを一層向上できる。
て、サーマルカメラ23を使った実施形態であるが、サ
ーマルカメラ23以外にも温度計測手段として適用でき
るものは多数ある。その一例として、赤外線カメラを使
った実施形態を次に説明する。この実施形態の撮影装置
10は、図13に示すようにCCDカメラ20と赤外線
カメラ24とを備えている。図14は、この実施形態に
おける撮影対象判定処理を示すフローチャートである。
この実施形態では、CCDカメラ20および赤外線カメ
ラ24が略同じタイミングで撮影した画像を画像メモリ
11に記憶する(n51、n52)。CCDカメラ20
で撮影した画像はn3以降の処理に用いる。赤外線カメ
ラ24で撮影した画像は、温度の高い所ほど明るく、低
い所ほど暗い。したがって、撮影対象が人間であれば赤
外線カメラ24で撮影した画像は、図15(A)に示す
ように、肌の露出している部分(特に顔領域)が明る
く、その他の部分が暗い画像となる。一方、撮影対象が
写真やマネキンであれば、図15(B)に示すように全
体に暗い画像となる。
で撮影した画像について画像全体における輝度値の平均
を算出し(n53)、ここで算出した輝度値の平均が予
め設定されている閾値以上であるかどうかを判定する
(n54)。輝度値の平均が閾値以上であれば撮影対象
は人間であると判定し、閾値未満であれば撮影対象は人
間でないと判定する(n55、n56)。
なく、マネキン等の登録者の顔模型が利用された場合で
あっても、確実に撮影対象者が人間でないと判定するこ
とができる。
ついて説明する。この実施形態の撮影装置10は、図1
6に示すようにCCDカメラ20とCCDカメラ20の
撮像レンズの焦点位置(ピント)を変更する焦点変更部
25とを備えている。図17は、この実施形態における
撮影対象判定処理を示すフローチャートである。この実
施形態では、CCDカメラ20の撮像レンズの焦点(ピ
ント)を撮影対象に合わせた状態で撮影した画像および
ピントを適当な距離だけ前方にずらして撮影した画像を
画像メモリ11に記憶する(n61〜n63)。鼻の頭
あたりにピントがあうようにピントを前方にずらす。ピ
ントを合わせたときの画像はn3以降の処理に用い、ピ
ントをずらしたときの画像をここでの処理に用いる。
撮影した画像について、鼻の特徴モデルとのマッチング
を行って相関値を算出する(n64)。ここで、撮影対
象が人間であれば、図18(A)に示すように鼻にピン
トのあった画像が撮影されているが、写真であると図1
8(B)に示すように全体にピントのぼけた画像となっ
ている。撮影対象判定部12は、n64で算出した相関
値が予め設定している閾値以上であるかどうかを判定し
(n65)、閾値以上であれば撮影対象が人間であると
判定し(n66)、閾値未満であれば撮影対象が人間で
ないと判定する(n67)。
間であるかどうかを判定できる。
ついて説明する。図19は、この実施形態の撮影対象判
定処理を示すフローチャートである。適当な時間間隔で
CCDカメラ20で撮影した撮影対象の画像を画像メモ
リ11に記憶する(n71)。例えば、2秒間隔でCC
Dカメラ20で撮影した画像を画像メモリ11に記憶す
る(図20(A)、図21(A)参照)。画像判定部1
2は、画像メモリ11に記憶したそれぞれの画像に対し
て、上述のn5、n6と同様の手法で顔領域を検出し
(n72)、異なるフレームの差分画像を作成する(n
73)。
ことができない(例えば、無意識の内に瞬き等をしてい
る。)。したがって、撮影対象が人間であれば、n73
で作成された差分画像は、図20(B)に示す画像とな
る。一方、写真やマネキンでは、このような現象は生じ
ず、n73で作成される差分画像は図21(B)に示す
ような画像となる。撮影対象判定部12は、n73で作
成された差分画像において、目や口等の顔部品があるか
どうかを判定し、顔部品があれば撮影対象が人間である
と判定する(n74〜n76)。
で画像メモリ11に記憶した画像の少なくとも1つを利
用すればよい。また、上記の説明では、人間が完全に静
止した状態を維持できないことを利用するとしたが、例
えば、『瞬きしてください』や『口を開けて下さい』等
の指示を出すようにしてもよい。この場合には指示した
動作を検出したときに撮影対象が人間であると判定すれ
ばよい。
ついて説明する。図22は、この実施形態の撮影対象判
定処理を示すフローチャートである。この実施形態も、
適当な時間間隔でCCDカメラ20で撮影されている撮
影対象の画像を画像メモリ11に記憶する(n81)。
撮影対象判定部12は、画像メモリ11に記憶したそれ
ぞれの画像を処理して目、鼻等の顔部品を検出し(n8
2)、図23(A)に示すように顔の輪郭の両端を通る
直線L1、L3を求めるとともに(n83)、L1とL
3との中心線L2および両目の中心を通る線Lを求める
(n84)。
たときに、直線LとL2との間隔が変化する(図23
(B)参照)。しかし、撮影対象が写真であれば写真の
向きをかえても直線LとL2とは略同じ位置に存在する
(図23(C)参照)。
間隔が予め設定した閾値よりも大きい画像が少なくとも
1つあれば撮影対象が人間で有ると判定し、閾値よりも
大きい画像がなければ対象が人間でないと判定する(n
85〜n87)。
の向きを左右に変えたときの変化を利用して撮影対象が
人間であるかどうかを判定する。なお、『右を向いて下
さい』や『左を向いて下さい』等の指示を出し、そのと
きの画像を画像メモリ11に記憶し、この画像を処理す
るようにしてもよい。
かどうかを判定する処理の例を説明する。この実施形態
では、撮影装置10の撮影領域において背景を変更する
機能を有している。背景の変更は、例えば背面にスクリ
ーンを設けておき、該スクリーンに異なる画像を写すこ
とができる映写機等を設ければよい。
を示すフローチャートである。この実施形態では、背景
を変化させた前後において、撮影装置10であるCCD
カメラの撮影画像を画像メモリ11に記憶する(n91
〜n93)。撮影対象判定部12は、これら2つの画像
から差分画像を作成する(n94)。ここで、対象が人
間であれば、差分画像は図25に示すように顔領域があ
いた画像となるが、写真の場合には図26に示すように
写真の枠の領域があいた画像となる。撮影対象判定部1
2は、差分画像における輝度値の総和を求め(n9
5)、この総和が予め設定した閾値以上であれば撮影対
象が人間であると判定し、閾値未満であれば人間でない
と判定する(n96〜n98)。
て、撮影対象が人間であるかどうかを判定することもで
きる。
10で撮影した画像における背景部分を検出し、この背
景領域が所定の領域未満であれば撮影対象が人間でない
と判定するようにしてもよい。
せて、撮影対象が人間であるかどうかを判定するように
してもよい。このようにすれば、判定精度を一層向上さ
せることができる。
れた画像が人間を撮影したものであるのかどうかが判定
され、人間を撮影した画像でなければ処理を中止するよ
うにした。これにより、他人のなりすますために、撮影
装置に他人の顔写真を撮影させても、撮影された画像が
人間を撮影した画像でないと判定して、処理を中止する
ので、他人の顔写真等を用いても他人になりすますこと
ができなくなり、セキュリティを向上できる。
を示すブロック図である。
示すブロック図である。
ーチャートである。
る。
る。
チャートである。
である。
図である。
る。
ーチャートである。
る。
ーチャートである。
図である。
る。
ーチャートである。
図である。
ーチャートである。
図である。
図である。
ーチャートである。
図である。
ーチャートである。
図である。
図である。
Claims (13)
- 【請求項1】 登録者毎に外見上の特徴量を記憶した記
憶部と、 撮影装置により撮影した画像を処理して抽出した外見上
の特徴量と前記記憶部に記憶している登録者の外見上の
特徴量とに基づいて、撮影された者を特定する制御部
と、を備えた個人識別装置であって、 前記制御部は、撮影装置が人間を撮影したかどうかを判
定し、撮影していなければ処理を中止する個人識別装
置。 - 【請求項2】 登録者毎に外見上の特徴量を記憶した記
憶部と、 登録者を指定する入力部と、 撮影装置により撮影した画像を処理して抽出した外見上
の特徴量と前記記憶部に記憶している指定された登録者
の外見上の特徴量とに基づいて、撮影された者が指定さ
れた登録者であるかどうかを判定する制御部と、を備え
た個人識別装置であって、 前記制御部は、撮影装置が人間を撮影したかどうかを判
定し、撮影していなければ処理を中止する個人識別装
置。 - 【請求項3】 前記外見上の特徴量は、輪郭、目、鼻、
口等、顔部品の形状に関する特徴量である請求項1また
は2に記載の個人識別装置。 - 【請求項4】 前記撮影装置の撮影領域を照らす照明を
設け、 前記制御部は、撮影された顔画像の陰影に基づいて人間
を撮影したかどうかを判定する請求項3に記載の個人識
別装置。 - 【請求項5】 前記撮影装置の撮影領域の温度分布を計
測する温度計測手段を設け、 前記制御部は、前記温度計測手段の計測に基づいて人間
を撮影したかどうかを判定する請求項3に記載の個人識
別装置。 - 【請求項6】 前記撮影装置は、ピントをずらす機能を
有し、 前記制御部は、ピントをずらして撮影した画像に基づい
て人間を撮影したかどうかを判定する請求項3に記載の
個人識別装置。 - 【請求項7】 前記制御部は、異なる時間に撮影した複
数の画像から目、口等の動きの有無を検出することで人
間を撮影したかどうかを判定する請求項3に記載の個人
識別装置。 - 【請求項8】 撮影装置により撮影した画像を処理して
抽出した外見上の特徴量と予め記憶している登録者の外
見上の特徴量とに基づいて、撮影された者を特定する個
人識別方法であって、 撮影装置が人間を撮影したかどうかを判定し、撮影して
いなければ処理を中止する個人識別方法。 - 【請求項9】 撮影装置により撮影した画像を処理して
抽出した外見上の特徴量と予め記憶している指定された
登録者の外見上の特徴量とに基づいて、撮影された者が
指定された登録者であるかどうかを判定する個人識別方
法であって、 撮影装置が人間を撮影したかどうかを判定し、撮影して
いなければ処理を中止する個人識別方法。 - 【請求項10】 前記外見上の特徴量は、輪郭、目、
鼻、口等、顔部品の形状に関する特徴量である請求項8
または9に記載の個人識別方法。 - 【請求項11】 撮影装置により撮影した画像を処理し
て外見上の特徴量を抽出する第1のステップと、 前記第1のステップで抽出した外見上の特徴量と予め記
憶している登録者の外見上の特徴量とに基づいて、撮影
された者を特定する第2のステップと、を有する個人識
別プログラムを記録した記録媒体であって、 撮影装置が人間を撮影したかどうかを判定する第3のス
テップと、 撮影装置が人間を撮影していなければ以降の処理を中止
する第4のステップと、を有する個人識別プログラムを
記録した記録媒体。 - 【請求項12】 撮影装置により撮影した画像を処理し
て外見上の特徴量を抽出する第1のステップと、 予め記憶している各登録者の外見上の特徴量から指定さ
れた登録者の外見上の特徴量を読み出す第2のステップ
と、 前記第1のステップで抽出した外見上の特徴量と前記第
2のステップで読み出した指定された登録者の外見上の
特徴量とに基づいて撮影された者が指定された登録者で
あるかどうかを判定する第3のステップと、を有する個
人識別プログラムを記録した記録媒体であって、 撮影装置が人間を撮影したかどうかを判定する第4のス
テップと、 撮影装置が人間を撮影していなければ以降の処理を中止
する第5のステップと、を有する個人識別プログラムを
記録した記録媒体。 - 【請求項13】 前記外見上の特徴量は、輪郭、目、
鼻、口等、顔部品の形状に関する特徴量である請求項1
1または12に記載の個人識別プログラムを記録した記
録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14864098A JP4085470B2 (ja) | 1998-05-29 | 1998-05-29 | 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14864098A JP4085470B2 (ja) | 1998-05-29 | 1998-05-29 | 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11339048A true JPH11339048A (ja) | 1999-12-10 |
JP4085470B2 JP4085470B2 (ja) | 2008-05-14 |
Family
ID=15457324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14864098A Expired - Fee Related JP4085470B2 (ja) | 1998-05-29 | 1998-05-29 | 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4085470B2 (ja) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312772A (ja) * | 2001-04-13 | 2002-10-25 | Oki Electric Ind Co Ltd | 個人識別装置及び眼偽造判定方法 |
JP2006099614A (ja) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | 生体判別装置および生体判別方法 |
JP2006215637A (ja) * | 2005-02-01 | 2006-08-17 | Southern Taiwan Univ Of Technology | 警備システムの素面判別方法 |
JP2006330936A (ja) * | 2005-05-24 | 2006-12-07 | Matsushita Electric Works Ltd | 顔認証装置 |
JP2007527270A (ja) * | 2003-07-16 | 2007-09-27 | オムニパーセプション リミティド | 生体の顔認定システム |
JP2007280367A (ja) * | 2006-03-14 | 2007-10-25 | Omron Corp | 顔照合装置 |
US7298880B2 (en) | 2003-03-07 | 2007-11-20 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
US7379114B2 (en) | 2002-02-14 | 2008-05-27 | Omron Corporation | Image determination apparatus and individual authentication apparatus |
US7454041B2 (en) | 2001-08-24 | 2008-11-18 | Kabushiki Kaisha Toshiba | Person recognition apparatus |
US7509044B2 (en) * | 2005-06-13 | 2009-03-24 | Fujitsu Limited | Electronic device, photographing control method, and photographing control program |
WO2009107237A1 (ja) * | 2008-02-29 | 2009-09-03 | グローリー株式会社 | 生体認証装置 |
WO2010109700A1 (ja) * | 2009-03-26 | 2010-09-30 | 株式会社東芝 | 立体物判定装置、立体物判定方法及び立体物判定プログラム |
WO2010134200A1 (ja) * | 2009-05-22 | 2010-11-25 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
US8423785B2 (en) | 2005-11-14 | 2013-04-16 | Omron Corporation | Authentication apparatus and portable terminal |
JP2013250856A (ja) * | 2012-06-01 | 2013-12-12 | Mitsubishi Electric Corp | 監視システム |
JP2015503866A (ja) * | 2011-12-27 | 2015-02-02 | インテル・コーポレーション | チューリングテストに基づくユーザ認証ならびにユーザ存在検証のデバイス、および方法 |
US9134878B2 (en) | 2012-09-28 | 2015-09-15 | Intel Corporation | Device and method for secure user interface gesture processing using processor graphics |
KR20150128510A (ko) * | 2014-05-09 | 2015-11-18 | 삼성전자주식회사 | 라이브니스 검사 방법과 장치,및 영상 처리 방법과 장치 |
JP2015215876A (ja) * | 2014-05-09 | 2015-12-03 | 三星電子株式会社Samsung Electronics Co.,Ltd. | ライブネス検査方法と装置、及び映像処理方法と装置 |
JP2017027379A (ja) * | 2015-07-23 | 2017-02-02 | 富士通株式会社 | 被写体判定方法、プログラム及び被写体判定装置 |
WO2019017080A1 (ja) * | 2017-07-20 | 2019-01-24 | パナソニックIpマネジメント株式会社 | 照合装置及び照合方法 |
JP2019515519A (ja) * | 2016-02-26 | 2019-06-06 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 被撮影物体の認識方法、装置、携帯端末及びカメラ |
WO2019163065A1 (ja) * | 2018-02-22 | 2019-08-29 | 日本電気株式会社 | なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体 |
JP2019220047A (ja) * | 2018-06-22 | 2019-12-26 | 富士通株式会社 | 認証装置、認証プログラム、認証方法 |
JP2020502602A (ja) * | 2016-09-30 | 2020-01-23 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 顔認識に基づいた認証 |
WO2020213166A1 (ja) * | 2019-04-19 | 2020-10-22 | 富士通株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US11087440B2 (en) | 2017-07-19 | 2021-08-10 | Panasonic Intellectual Property Management Co., Ltd. | Collation device and collation method |
JP2021522591A (ja) * | 2018-03-16 | 2021-08-30 | アイデンティー インコーポレイテッド | 三次元実物体を実物体の二次元のスプーフと区別するための方法 |
JP2022031456A (ja) * | 2018-02-22 | 2022-02-18 | 日本電気株式会社 | なりすまし検知装置、なりすまし検知方法、及びプログラム |
WO2022219680A1 (ja) * | 2021-04-12 | 2022-10-20 | 日本電気株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
US12033429B2 (en) | 2021-09-17 | 2024-07-09 | Fujitsu Limited | Image processing device of determining authenticity of object, image processing method of determining authenticity of object, and storage medium storing program of determining authenticity of object |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61221883A (ja) * | 1985-03-25 | 1986-10-02 | Fujitsu Ltd | 個人照合装置 |
JPS62212781A (ja) * | 1986-03-14 | 1987-09-18 | Hitachi Ltd | 個人認証方式 |
JPH04277874A (ja) * | 1991-03-06 | 1992-10-02 | Sharp Corp | 指紋入力装置 |
JPH05266173A (ja) * | 1992-01-17 | 1993-10-15 | Philips Gloeilampenfab:Nv | 顔分類システム |
JPH05297152A (ja) * | 1992-04-15 | 1993-11-12 | Minolta Camera Co Ltd | 物体認識装置 |
JPH06258048A (ja) * | 1993-03-05 | 1994-09-16 | Toshiba Corp | 物体入力装置 |
JPH07141506A (ja) * | 1993-11-17 | 1995-06-02 | Canon Inc | 情報処理装置 |
-
1998
- 1998-05-29 JP JP14864098A patent/JP4085470B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61221883A (ja) * | 1985-03-25 | 1986-10-02 | Fujitsu Ltd | 個人照合装置 |
JPS62212781A (ja) * | 1986-03-14 | 1987-09-18 | Hitachi Ltd | 個人認証方式 |
JPH04277874A (ja) * | 1991-03-06 | 1992-10-02 | Sharp Corp | 指紋入力装置 |
JPH05266173A (ja) * | 1992-01-17 | 1993-10-15 | Philips Gloeilampenfab:Nv | 顔分類システム |
JPH05297152A (ja) * | 1992-04-15 | 1993-11-12 | Minolta Camera Co Ltd | 物体認識装置 |
JPH06258048A (ja) * | 1993-03-05 | 1994-09-16 | Toshiba Corp | 物体入力装置 |
JPH07141506A (ja) * | 1993-11-17 | 1995-06-02 | Canon Inc | 情報処理装置 |
Non-Patent Citations (4)
Title |
---|
JASON BYRNE: "Visions Corp.changes the face of the PC security", GOVERNMENT COMPUTER NEWS(GCN.COM), JPN4007015540, 24 November 1997 (1997-11-24), US, ISSN: 0000881312 * |
JASON BYRNE: "Visions Corp.changes the face of the PC security", GOVERNMENT COMPUTER NEWS(GCN.COM), JPN6007003625, 24 November 1997 (1997-11-24), US, ISSN: 0000913936 * |
坂口裕一: "生体識別技術を使う装置が続々", 日経コンピュータ, vol. 453, CSND199801678008, 28 September 1998 (1998-09-28), JP, pages 150 - 152, ISSN: 0000881313 * |
田中正樹: "画像処理技術の新潮流", 映像情報, vol. 30, no. 23, CSND199900359007, 1 December 1998 (1998-12-01), JP, pages 63 - 65, ISSN: 0000881314 * |
Cited By (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312772A (ja) * | 2001-04-13 | 2002-10-25 | Oki Electric Ind Co Ltd | 個人識別装置及び眼偽造判定方法 |
US7454041B2 (en) | 2001-08-24 | 2008-11-18 | Kabushiki Kaisha Toshiba | Person recognition apparatus |
US7379114B2 (en) | 2002-02-14 | 2008-05-27 | Omron Corporation | Image determination apparatus and individual authentication apparatus |
US7298880B2 (en) | 2003-03-07 | 2007-11-20 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
JP2007527270A (ja) * | 2003-07-16 | 2007-09-27 | オムニパーセプション リミティド | 生体の顔認定システム |
JP2006099614A (ja) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | 生体判別装置および生体判別方法 |
JP2006215637A (ja) * | 2005-02-01 | 2006-08-17 | Southern Taiwan Univ Of Technology | 警備システムの素面判別方法 |
JP2006330936A (ja) * | 2005-05-24 | 2006-12-07 | Matsushita Electric Works Ltd | 顔認証装置 |
JP4548218B2 (ja) * | 2005-05-24 | 2010-09-22 | パナソニック電工株式会社 | 顔認証装置 |
US7509044B2 (en) * | 2005-06-13 | 2009-03-24 | Fujitsu Limited | Electronic device, photographing control method, and photographing control program |
US7725023B2 (en) | 2005-06-13 | 2010-05-25 | Fujitsu Limited | Electronic device, photographing control method, and recording medium |
US8423785B2 (en) | 2005-11-14 | 2013-04-16 | Omron Corporation | Authentication apparatus and portable terminal |
JP2007280367A (ja) * | 2006-03-14 | 2007-10-25 | Omron Corp | 顔照合装置 |
WO2009107237A1 (ja) * | 2008-02-29 | 2009-09-03 | グローリー株式会社 | 生体認証装置 |
JPWO2009107237A1 (ja) * | 2008-02-29 | 2011-06-30 | グローリー株式会社 | 生体認証装置 |
JP2010231398A (ja) * | 2009-03-26 | 2010-10-14 | Toshiba Corp | 立体物判定装置、立体物判定方法及び立体物判定プログラム |
US8620066B2 (en) | 2009-03-26 | 2013-12-31 | Kabushiki Kaisha Toshiba | Three-dimensional object determining apparatus, method, and computer program product |
WO2010109700A1 (ja) * | 2009-03-26 | 2010-09-30 | 株式会社東芝 | 立体物判定装置、立体物判定方法及び立体物判定プログラム |
WO2010134200A1 (ja) * | 2009-05-22 | 2010-11-25 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
JP2015503866A (ja) * | 2011-12-27 | 2015-02-02 | インテル・コーポレーション | チューリングテストに基づくユーザ認証ならびにユーザ存在検証のデバイス、および方法 |
US9081947B2 (en) | 2011-12-27 | 2015-07-14 | Intel Corporation | Turing test based user authentication and user presence verification system, device, and method |
JP2013250856A (ja) * | 2012-06-01 | 2013-12-12 | Mitsubishi Electric Corp | 監視システム |
US9134878B2 (en) | 2012-09-28 | 2015-09-15 | Intel Corporation | Device and method for secure user interface gesture processing using processor graphics |
US10360465B2 (en) | 2014-05-09 | 2019-07-23 | Samsung Electronics Co., Ltd. | Liveness testing methods and apparatuses and image processing methods and apparatuses |
KR20150128510A (ko) * | 2014-05-09 | 2015-11-18 | 삼성전자주식회사 | 라이브니스 검사 방법과 장치,및 영상 처리 방법과 장치 |
JP2015215876A (ja) * | 2014-05-09 | 2015-12-03 | 三星電子株式会社Samsung Electronics Co.,Ltd. | ライブネス検査方法と装置、及び映像処理方法と装置 |
US11151397B2 (en) | 2014-05-09 | 2021-10-19 | Samsung Electronics Co., Ltd. | Liveness testing methods and apparatuses and image processing methods and apparatuses |
JP2017027379A (ja) * | 2015-07-23 | 2017-02-02 | 富士通株式会社 | 被写体判定方法、プログラム及び被写体判定装置 |
JP2019515519A (ja) * | 2016-02-26 | 2019-06-06 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 被撮影物体の認識方法、装置、携帯端末及びカメラ |
US11551482B2 (en) | 2016-09-30 | 2023-01-10 | Alibaba Group Holding Limited | Facial recognition-based authentication |
JP2020502602A (ja) * | 2016-09-30 | 2020-01-23 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 顔認識に基づいた認証 |
US10762368B2 (en) | 2016-09-30 | 2020-09-01 | Alibaba Group Holding Limited | Facial recognition-based authentication |
US10997445B2 (en) | 2016-09-30 | 2021-05-04 | Alibaba Group Holding Limited | Facial recognition-based authentication |
US11087440B2 (en) | 2017-07-19 | 2021-08-10 | Panasonic Intellectual Property Management Co., Ltd. | Collation device and collation method |
JPWO2019017080A1 (ja) * | 2017-07-20 | 2020-05-28 | パナソニックIpマネジメント株式会社 | 照合装置及び照合方法 |
US11227170B2 (en) | 2017-07-20 | 2022-01-18 | Panasonic Intellectual Property Management Co., Ltd. | Collation device and collation method |
WO2019017080A1 (ja) * | 2017-07-20 | 2019-01-24 | パナソニックIpマネジメント株式会社 | 照合装置及び照合方法 |
JP2022031456A (ja) * | 2018-02-22 | 2022-02-18 | 日本電気株式会社 | なりすまし検知装置、なりすまし検知方法、及びプログラム |
US11200436B2 (en) | 2018-02-22 | 2021-12-14 | Nec Corporation | Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium |
JPWO2019163065A1 (ja) * | 2018-02-22 | 2021-01-07 | 日本電気株式会社 | なりすまし検知装置、なりすまし検知方法、及びプログラム |
US11694475B2 (en) | 2018-02-22 | 2023-07-04 | Nec Corporation | Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium |
WO2019163065A1 (ja) * | 2018-02-22 | 2019-08-29 | 日本電気株式会社 | なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体 |
US11495050B2 (en) | 2018-03-16 | 2022-11-08 | Identy Inc. | Method for distinguishing a real three-dimensional object from a two-dimensional spoof of the real object |
JP2021522591A (ja) * | 2018-03-16 | 2021-08-30 | アイデンティー インコーポレイテッド | 三次元実物体を実物体の二次元のスプーフと区別するための方法 |
US11386695B2 (en) | 2018-06-22 | 2022-07-12 | Fujitsu Limited | Authentication device and authentication method |
JP2019220047A (ja) * | 2018-06-22 | 2019-12-26 | 富士通株式会社 | 認証装置、認証プログラム、認証方法 |
WO2020213166A1 (ja) * | 2019-04-19 | 2020-10-22 | 富士通株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN113678164A (zh) * | 2019-04-19 | 2021-11-19 | 富士通株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
JPWO2020213166A1 (ja) * | 2019-04-19 | 2021-11-04 | 富士通株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2022219680A1 (ja) * | 2021-04-12 | 2022-10-20 | 日本電気株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
EP4325429A4 (en) * | 2021-04-12 | 2024-05-08 | NEC Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM |
US12033429B2 (en) | 2021-09-17 | 2024-07-09 | Fujitsu Limited | Image processing device of determining authenticity of object, image processing method of determining authenticity of object, and storage medium storing program of determining authenticity of object |
Also Published As
Publication number | Publication date |
---|---|
JP4085470B2 (ja) | 2008-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4085470B2 (ja) | 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体 | |
US9792499B2 (en) | Methods for performing biometric recognition of a human eye and corroboration of same | |
US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
EP1326197B1 (en) | Iris recognition method and system using the same | |
KR101286454B1 (ko) | 눈 영상의 특성을 이용한 모조얼굴 식별장치 및 방법 | |
US20060279726A1 (en) | Facial liveness assessment system | |
JP3829729B2 (ja) | 個人認証装置 | |
JP2003178306A (ja) | 個人認証装置および個人認証方法 | |
JP4819606B2 (ja) | 対象物の部位判別装置及び性別判定装置 | |
KR101172898B1 (ko) | 얼굴 인식 시스템에서의 위조 검출 방법 | |
CN1333374C (zh) | 图象输入装置及使用它的认证装置 | |
US8103069B2 (en) | Registration apparatus, verification apparatus, registration method, verification method and program | |
WO2019163066A1 (ja) | なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体 | |
US8515140B2 (en) | Registration apparatus, verification apparatus, registration method, verification method and program | |
JP2006318374A (ja) | 眼鏡判別装置および認証装置ならびに眼鏡判別方法 | |
KR101122513B1 (ko) | 3차원 위치정보를 이용한 안구위치 추정시스템 및 안구위치추정방법 | |
EP4287148A1 (en) | Contactless fingerprint biometric system | |
US20230353388A1 (en) | Information processing device, information processingmethod, and recording medium | |
JP7389392B2 (ja) | 顔認証方法、顔認証プログラム、および顔認証装置 | |
JP2006072652A (ja) | 個人認証装置及び個人認証方法 | |
KR100585640B1 (ko) | 홍채의 진위 판단방법 | |
JP2022028850A (ja) | なりすまし検知装置、なりすまし検知方法、及びプログラム | |
Gebhart et al. | Exclusion of photos and new segmentation algorithms for the automatic face recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20060915 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20061011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080211 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |