JP3580129B2 - 本人識別装置 - Google Patents
本人識別装置 Download PDFInfo
- Publication number
- JP3580129B2 JP3580129B2 JP12323198A JP12323198A JP3580129B2 JP 3580129 B2 JP3580129 B2 JP 3580129B2 JP 12323198 A JP12323198 A JP 12323198A JP 12323198 A JP12323198 A JP 12323198A JP 3580129 B2 JP3580129 B2 JP 3580129B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image acquisition
- face
- acquired
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、人の身体的特徴量を照合要素に用いて識別する本人特定装置に関し、さらに詳しくは１回で正しく本人を識別できない特定不能時に繰返し実行する再特定処理時の特定成功率を高めた本人特定装置に関する。
【０００２】
【従来の技術】
一般に、この種の本人特定装置は歩いて来る人の顔を撮像カメラで撮影し、これをリアルタイムで識別したり、機器の前に立止まっている人を撮影して識別する識別機能が備えられている。この識別に際しては、顔画像から特徴量を抽出し、この抽出した特徴量と登録データとを比較して類似度を求めることにより本人か否かを識別している。
【０００３】
このとき、正しく本人を識別できない場合は、識別手順を繰返して再識別処理を実行している。この場合、１回の識別処理で本人を正しく識別する確率は、例えば９０％の識別成功率を有していれば、
１−（１−０．９）N
となり、例えば再識別処理回数Ｎ＝３としても、識別成功率は９９．９９％となる。このように、１回あたりの識別成功率が低くても計算上では再識別処理回数を増やせば、識別成功率は大幅に向上することになる。
【０００４】
しかし、実際は再識別処理の識別処理画像が全く同じ画像であり、それが１回目にエラーになったものであれば、何度繰返しても成功することはなく、同様に再識別する識別処理画像が例え時間的に数フレーム異なっていたとしても、顔像に視覚的に大きな違いはなく、繰返し再識別処理しても成功しないことが多い。特に、入力画像の明るさが適切でなかったり、顔画像の陰影が過剰になっていたり、顔の向きが識別に不向きな場合は、何度再識別しても良い結果は得られず、識別エラーとなってしまうことが多い。
【０００５】
【発明が解決しようとする課題】
そこでこの発明は、本人の特定に伴って再識別処理するとき、この再識別処理に適した画像取得条件に設定変更して特定者を確実に識別できるようにした本人特定装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、人の顔画像を画像取得手段より取得し、この取得した顔画像と記憶手段が記憶する予め特定した特定者の顔画像との類似度から本人を識別する本人識別装置であって、上記画像取得手段による再画像取得時に、前回画像取得手段で取得した顔画像における顔の向きに基づいて再識別に適した顔画像を取得するための画像取得条件を推定する推定手段と、上記推定手段で推定した画像取得条件に基づいた所作行為案内を行い、人に対して顔の向きを変えさせる所作行為案内手段を備えたことを特徴とする。
【０００７】
請求項２記載の発明は、人の顔画像を画像取得手段より取得し、この取得した顔画像と記憶手段が記憶する予め特定した特定者の顔画像との類似度から本人を識別する本人識別装置であって、上記画像取得手段による再画像取得時に、前回画像取得手段で取得した顔画像に基づいて再識別に適した顔画像を取得するための画像取得条件を推定する推定手段と、上記推定手段で推定した画像取得条件に基づいて前記画像取得手段を移動調整する移動調整制御手段を備えたことを特徴とする。
【０００８】
請求項３記載の発明は、前記推定手段は、本人を識別できない特定不明原因となった画像取得条件の中から最も有効に変更要素が得られる画像取得条件を推定することを特徴とする。
【００１３】
【発明の作用及び効果】
この発明によれば、人の顔画像を画像取得手段より取得したとき、この取得した顔画像と記憶手段が記憶する予め特定した特定者の顔画像との類似度から本人を特定する。この際、本人を特定できないときは、再度、画像取得手段より顔画像を取得する。この再度の画像取得時に先に取得した顔画像における顔の向きに基づいて再識別に適した顔画像が得られるように画像取得条件を推定し、推定した該条件に基づいて、所作行為案内を行って人の顔の向きを変えさせる。
【００１４】
このため、再識別処理時の識別処理画像は前回と今回とで大きく異なり、前回の識別要素が不足していた画像取得条件そのものが変化するため、再識別に適した顔画像を取得し、再識別処理ができる。この結果、再識別時の識別成功率が向上し、また無駄な再識別の繰返しが解消されて識別処理時間の短縮が図れる。
【００１７】
同じく、再画像を取得するときの画像取得条件の変更に際して、移動調整制御手段により照明制御手段、画像取得手段の少なくとも一つを上下、左右、回転等に移動調整して画像取得条件を設定変更すれば、画像取得角度が大きく異なり、異方向からの画像を取得することができる。
【００１８】
【実施例】
この発明の一実施例を以下図面に基づいて詳述する。
図１は室の扉を開閉管理する入退室の管理に適用した本人特定装置１１を示し、この本人特定装置１１は撮像カメラ１２と、テンキー１３と、カードリーダ１４とを一体に備えた照合ユニット１５を扉近傍の顔高さ壁面位置に設置し、またその壁面上部には撮像条件を変えるための照明ライト１６とスピーカ１７を設置して構成している。
【００２１】
上述の撮像カメラ１２は、扉に近付いた人の顔を撮像する向きに設定して顔画像データを取得し、この顔画像データを撮像カメラ１２で取得する際、目、鼻、口…等の各部分および顔全体の形状や大きさ、髪型、眼鏡の有無、色、皺、化粧度合い等の本人固有の顔情報を取得する。
【００２２】
そして、この取得した顔情報を特定者１８の照合要素に用い、扉の前に人が近付いたとき、撮像カメラ１２が人の顔情報を撮像し、これを特定者１８の予め登録した登録データと照合して登録確認したとき解錠するように設定している。
【００２３】
また、撮像カメラ１２の電源をＯＦＦに設定しているときは、画像による解錠データ以外に、特定者１８が照合ユニット１５のテンキー１３に暗証番号（ＰＩＮ）を入力操作すれば解錠することができ、またカードリーダ１４に特定者１８のＩＤカードを読取りチェックさせれば解錠利用することができる。
【００２４】
図２は本人特定装置１１の制御回路ブロック図を示し、コントローラ２１は設定されたプログラムに沿って各回路装置を制御し、その制御データを読出し可能に記憶する。
【００２５】
先ず、撮像カメラ１２から画像を取得すると、この取得した画像を画像入力部２２に取込んだ後、識別処理部２３に導いて、この識別処理部２３で取得した画像の特徴量と、データベース２４で記憶管理している特定者の本人固有の特徴量とを比較させて照合確認する。
【００２６】
このとき、取得した画像から正しく本人の識別ができないと判定した場合は、このコントローラ２１が繰返し画像を取得するように出力制御する。この場合、コントローラ２１は再識別に適した画像を取得するため、画像取得条件を変更させる画像取得条件変更機能を有している。
【００２７】
この画像取得条件変更機能は、コントローラ２１から遠隔制御可能にカメラ制御部２５、照明制御部２６、音声出力部２７をそれぞれ接続し、このコントローラ２１から少なくとも１つを制御することにより顔画像の取得条件が大きく異なり、これにより画像取得データを前回と異ならせて取得する。
【００２８】
例えば、カメラ制御部２５を制御する場合、撮像カメラ１２の露光時間を変えて被写体の明るさを変更する。このときは、顔画像の画像取得に適した最適な明るさに設定変更することができる。
【００２９】
また、撮像カメラ１２を上下、左右、回転など移動調整して撮像位置や画像取得角度を変えて異方向から画像を取得する。このときは、取得した画像が前回と今回とで確実に異なり、識別要素が不足していた前回の画像取得条件そのものが改善されて特定者１８の顔画像を明確に取得できる。
【００３０】
照明制御部２６を制御する場合は、照明ライト１６の光量を変更する。このときは、周辺全体の明るさを変えて被写体の画像取得に適した明るさに設定変更することができる。
【００３１】
また、照明ライト１６を上下、左右など移動調整して照明位置や照明角度を変えて画像を取得する。この場合は、画像取得条件そのものが前回に比べて大きく変化し、この結果、特定者１８の顔画像を明確に取得できる。
【００３２】
音声出力部２７を制御する場合は、人の顔の向きを変えるなど人の所作行為を変えさせるようにスピーカ１７より音声案内する。この場合は、個人毎に異なる本人特有の識別要素が得られ、この結果、特定者１８の顔画像を明確にした画像が得られる。
【００３３】
この他、画像取得条件変更機能としてコントローラ２１は、特定不明原因となった前回の画像取得条件の中から最も有効に変更要素が得られる画像取得条件を推定し、この推定した画像取得条件になるようにカメラ制御部２５、照明制御部２６、音声出力部２７の一つ、あるいはその複数を変更制御する。
【００３４】
例えば、画像データから特徴量を抽出するときに、取得画像の濃度差、顔の向き、傾き度合い等の様々な識別要素に基づいて、撮像カメラ１２を修正方向に一定量移動させたり、照明ライト１６を修正方向に一定量移動調整したり、スピーカ１７より人の顔の向きを変えさせるように所作行為を音声案内させればよい。これにより、再識別に最も適した画像取得条件に設定変更して再画像を取得することができる。
【００３５】
このような画像取得条件変更機能を働かせることにより、再識別時の識別に適した顔画像を確実に取得することができるため識別成功率が向上し、また再識別時に近似する画像を繰返し取得することによる無駄な再識別の繰返しが解消されて識別処理時間の短縮を図ることができる。
【００３６】
ところで、データベース２４には予め特定した特定者固有の顔の特徴量を登録しておき、これを照合確認データに用い、撮像カメラ１２で顔情報を取得する毎
に、その顔の特徴量を比較照合して本人か否かを判定する。
【００３７】
図３は本人特定装置の類似度判定処理動作を示し、撮像カメラ１２から顔情報
を取得した生画像を一旦画像メモリ３１に蓄積する。
この蓄積した生画像から顔検出部３２で顔領域の検索を行って、撮像した顔領域を検出する。ここでは、顔とその周辺の概略を検出し、この顔領域の検出手法に際しては、
１．背景画像と取得画像の差を抽出する背景差分手法
２．カラーを用いた肌色検出手法
３．オプチカルフローやフレーム差分を用いた動き検出手法
４．顔らしさをニューラルネットワークやパターンマッチングによって求める手法
のいずれかを用いて顔領域を検出する。
【００３８】
この顔領域を検出した後、顔位置検出部３３で目、鼻、口…等の特徴モデルを元にマッチングによって顔の位置を正確に検出する。
顔の位置を正確に検出して位置決めすると、顔特徴抽出部３４で顔画像から切出された顔特徴量を抽出する。この顔特徴量は平均顔との差を主成分分析等の統計的手法を用いて抽出するか、あるいは目、鼻、口…等の濃淡画像からテンプレートマッチングにより抽出する。この抽出された顔特徴量と、データベース２４に予め登録された特徴メモリとを類似度判定部３５で比較照合して顔情報の類似度を判定する。
【００３９】
この場合、コントローラ２１は本人を特定するための判断基準となるスレッショルダレベルを設定しており、入力された画像データから求めた顔の特徴量と登録データの特徴量とを照合したときの類似度値を算出し、この値がスレッショルダレベルより高ければ本人と特定し、低ければ他人あるいは未登録者と判定する。
【００４０】
このように構成された本人特定装置１１の識別処理動作を図４に示すフローチャートを参照して説明する。 今、撮像カメラ１２から顔の画像データを取得すると、その画像データから顔領域の検索を行って、撮像した顔領域を検出し（ステップｎ1 〜ｎ2 ）、
この顔領域を検出した後、目、鼻、口…等の特徴から顔の位置を正確に検出して位置決めすると、この顔画像から顔特徴量を抽出する（ステップｎ3 〜ｎ4 ）。
【００４１】
この抽出された顔特徴量と、予め登録された特徴量とを比較照合して類似度を求め（ステップｎ5 〜ｎ6 ）、
類似度がスレッショルダレベル以上のときは特定者と認めて、識別処理が終了する（ステップｎ7 ）。
【００４２】
ところで、顔画像から顔特徴量を抽出したとき、撮像カメラ１２で撮像したときの画像取得条件、照明ライト１６で照明したときの照明条件、スピーカ１７で所作行為を音声案内した場合はその音声案内条件を、識別条件のパラメータとして取込み（ステップｎ8 ）、
識別エラーと判定されたときに、コントローラ２１が再識別に適したパラメータを選択し、この選択したパラメータの条件をコントローラ２１が設定変更して再識別する（ステップｎ9 〜ｎ10）。
【００４３】
例えば、図５に示すように、１回目の画像取得時に、傾いた顔の入力画像のために識別不能なエラーが発生した場合は、正規の正面顔の画像が得られるように撮像カメラ１２を移動調整することが、再識別するときに最も有効な画像取得条件となるパラメータと判定し、これに基づいてコントローラ２１は撮像カメラ１２の向きを修正して正面顔を得られるように再識別処理を実行する。これにより、２回目の画像取得時には正面顔に近い入力画像を取得することができ、この正面顔の画像を取得することによって識別確率が高まり、特定者を明確に区別して識別することができる。
【００４４】
また、図６に示すように、１回目の画像取得時に、顔の左半分が暗くなった入力画像のために識別不能なエラーが発生した場合は、正規の均一な照明が得られるように照明ライト１６を移動調整することが、再識別するときに最も有効な画像取得条件となるパラメータと判定し、これに基づいてコントローラ２１は照明ライト１６の向きを修正して均一な照明が得られるように再識別処理を実行する。これにより、２回目の画像取得時には識別の判定に適した均一な明るさの入力画像を取得することができ、この適切な明るさの画像を取得することによって識別確率が高まる。従って、数回の識別処理動作で特定者を確実に識別することができる。
【００４５】
上述のように、再画像取得時には先に取得した顔画像における顔の向きに基づいて、再識別に適した顔画像が得られるように画像取得条件を推定し、推定した該条件に基づいて、所作行為案内を行って、人の顔の向きを変えさせることができる。この結果、再識別時の識別成功率が向上し、また無駄な再識別の繰返しが解消されて識別処理時間の短縮が図れる。
【００４６】
この発明と、上述の一実施例の構成との対応において、
この発明の画像取得手段は、実施例の撮像カメラ１２に対応し、
以下同様に、
記憶手段は、データベース２４に対応し、
推定手段は、コントローラ２１に対応し、
所作行為案内手段は、スピーカ１７及び音声出力部２７に対応し、
本人識別装置は、本人特定装置１１に対応するも、
この発明は、請求項に示される技術思想に基づいて応用することができ、上述の一実施例の構成のみに限定されるものではない。
【図面の簡単な説明】
【図１】この発明の本人特定装置の使用状態を示す概略側面図。
【図２】この発明の本人特定装置の制御回路ブロック図。
【図３】この発明の本人特定装置の顔情報の類似度判定処理動作を示す説明図。
【図４】この発明の本人特定装置の識別処理動作を示すフローチャート。
【図５】この発明の撮像カメラの向きを修正した画像取得条件変更動作を示す説明図。
【図６】この発明の照明ライトの向きを修正した画像取得条件変更動作を示す説明図。
【符号の説明】
１１…本人特定装置
１２…撮像カメラ
１６…照明ライト
１７…スピーカ
１８…特定者
２１…コントローラ
２２…画像入力部
２３…識別処理部
２４…データベース
２５…カメラ制御部
２６…照明制御部
２７…音声出力部
【発明の属する技術分野】
この発明は、人の身体的特徴量を照合要素に用いて識別する本人特定装置に関し、さらに詳しくは１回で正しく本人を識別できない特定不能時に繰返し実行する再特定処理時の特定成功率を高めた本人特定装置に関する。
【０００２】
【従来の技術】
一般に、この種の本人特定装置は歩いて来る人の顔を撮像カメラで撮影し、これをリアルタイムで識別したり、機器の前に立止まっている人を撮影して識別する識別機能が備えられている。この識別に際しては、顔画像から特徴量を抽出し、この抽出した特徴量と登録データとを比較して類似度を求めることにより本人か否かを識別している。
【０００３】
このとき、正しく本人を識別できない場合は、識別手順を繰返して再識別処理を実行している。この場合、１回の識別処理で本人を正しく識別する確率は、例えば９０％の識別成功率を有していれば、
１−（１−０．９）N
となり、例えば再識別処理回数Ｎ＝３としても、識別成功率は９９．９９％となる。このように、１回あたりの識別成功率が低くても計算上では再識別処理回数を増やせば、識別成功率は大幅に向上することになる。
【０００４】
しかし、実際は再識別処理の識別処理画像が全く同じ画像であり、それが１回目にエラーになったものであれば、何度繰返しても成功することはなく、同様に再識別する識別処理画像が例え時間的に数フレーム異なっていたとしても、顔像に視覚的に大きな違いはなく、繰返し再識別処理しても成功しないことが多い。特に、入力画像の明るさが適切でなかったり、顔画像の陰影が過剰になっていたり、顔の向きが識別に不向きな場合は、何度再識別しても良い結果は得られず、識別エラーとなってしまうことが多い。
【０００５】
【発明が解決しようとする課題】
そこでこの発明は、本人の特定に伴って再識別処理するとき、この再識別処理に適した画像取得条件に設定変更して特定者を確実に識別できるようにした本人特定装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、人の顔画像を画像取得手段より取得し、この取得した顔画像と記憶手段が記憶する予め特定した特定者の顔画像との類似度から本人を識別する本人識別装置であって、上記画像取得手段による再画像取得時に、前回画像取得手段で取得した顔画像における顔の向きに基づいて再識別に適した顔画像を取得するための画像取得条件を推定する推定手段と、上記推定手段で推定した画像取得条件に基づいた所作行為案内を行い、人に対して顔の向きを変えさせる所作行為案内手段を備えたことを特徴とする。
【０００７】
請求項２記載の発明は、人の顔画像を画像取得手段より取得し、この取得した顔画像と記憶手段が記憶する予め特定した特定者の顔画像との類似度から本人を識別する本人識別装置であって、上記画像取得手段による再画像取得時に、前回画像取得手段で取得した顔画像に基づいて再識別に適した顔画像を取得するための画像取得条件を推定する推定手段と、上記推定手段で推定した画像取得条件に基づいて前記画像取得手段を移動調整する移動調整制御手段を備えたことを特徴とする。
【０００８】
請求項３記載の発明は、前記推定手段は、本人を識別できない特定不明原因となった画像取得条件の中から最も有効に変更要素が得られる画像取得条件を推定することを特徴とする。
【００１３】
【発明の作用及び効果】
この発明によれば、人の顔画像を画像取得手段より取得したとき、この取得した顔画像と記憶手段が記憶する予め特定した特定者の顔画像との類似度から本人を特定する。この際、本人を特定できないときは、再度、画像取得手段より顔画像を取得する。この再度の画像取得時に先に取得した顔画像における顔の向きに基づいて再識別に適した顔画像が得られるように画像取得条件を推定し、推定した該条件に基づいて、所作行為案内を行って人の顔の向きを変えさせる。
【００１４】
このため、再識別処理時の識別処理画像は前回と今回とで大きく異なり、前回の識別要素が不足していた画像取得条件そのものが変化するため、再識別に適した顔画像を取得し、再識別処理ができる。この結果、再識別時の識別成功率が向上し、また無駄な再識別の繰返しが解消されて識別処理時間の短縮が図れる。
【００１７】
同じく、再画像を取得するときの画像取得条件の変更に際して、移動調整制御手段により照明制御手段、画像取得手段の少なくとも一つを上下、左右、回転等に移動調整して画像取得条件を設定変更すれば、画像取得角度が大きく異なり、異方向からの画像を取得することができる。
【００１８】
【実施例】
この発明の一実施例を以下図面に基づいて詳述する。
図１は室の扉を開閉管理する入退室の管理に適用した本人特定装置１１を示し、この本人特定装置１１は撮像カメラ１２と、テンキー１３と、カードリーダ１４とを一体に備えた照合ユニット１５を扉近傍の顔高さ壁面位置に設置し、またその壁面上部には撮像条件を変えるための照明ライト１６とスピーカ１７を設置して構成している。
【００２１】
上述の撮像カメラ１２は、扉に近付いた人の顔を撮像する向きに設定して顔画像データを取得し、この顔画像データを撮像カメラ１２で取得する際、目、鼻、口…等の各部分および顔全体の形状や大きさ、髪型、眼鏡の有無、色、皺、化粧度合い等の本人固有の顔情報を取得する。
【００２２】
そして、この取得した顔情報を特定者１８の照合要素に用い、扉の前に人が近付いたとき、撮像カメラ１２が人の顔情報を撮像し、これを特定者１８の予め登録した登録データと照合して登録確認したとき解錠するように設定している。
【００２３】
また、撮像カメラ１２の電源をＯＦＦに設定しているときは、画像による解錠データ以外に、特定者１８が照合ユニット１５のテンキー１３に暗証番号（ＰＩＮ）を入力操作すれば解錠することができ、またカードリーダ１４に特定者１８のＩＤカードを読取りチェックさせれば解錠利用することができる。
【００２４】
図２は本人特定装置１１の制御回路ブロック図を示し、コントローラ２１は設定されたプログラムに沿って各回路装置を制御し、その制御データを読出し可能に記憶する。
【００２５】
先ず、撮像カメラ１２から画像を取得すると、この取得した画像を画像入力部２２に取込んだ後、識別処理部２３に導いて、この識別処理部２３で取得した画像の特徴量と、データベース２４で記憶管理している特定者の本人固有の特徴量とを比較させて照合確認する。
【００２６】
このとき、取得した画像から正しく本人の識別ができないと判定した場合は、このコントローラ２１が繰返し画像を取得するように出力制御する。この場合、コントローラ２１は再識別に適した画像を取得するため、画像取得条件を変更させる画像取得条件変更機能を有している。
【００２７】
この画像取得条件変更機能は、コントローラ２１から遠隔制御可能にカメラ制御部２５、照明制御部２６、音声出力部２７をそれぞれ接続し、このコントローラ２１から少なくとも１つを制御することにより顔画像の取得条件が大きく異なり、これにより画像取得データを前回と異ならせて取得する。
【００２８】
例えば、カメラ制御部２５を制御する場合、撮像カメラ１２の露光時間を変えて被写体の明るさを変更する。このときは、顔画像の画像取得に適した最適な明るさに設定変更することができる。
【００２９】
また、撮像カメラ１２を上下、左右、回転など移動調整して撮像位置や画像取得角度を変えて異方向から画像を取得する。このときは、取得した画像が前回と今回とで確実に異なり、識別要素が不足していた前回の画像取得条件そのものが改善されて特定者１８の顔画像を明確に取得できる。
【００３０】
照明制御部２６を制御する場合は、照明ライト１６の光量を変更する。このときは、周辺全体の明るさを変えて被写体の画像取得に適した明るさに設定変更することができる。
【００３１】
また、照明ライト１６を上下、左右など移動調整して照明位置や照明角度を変えて画像を取得する。この場合は、画像取得条件そのものが前回に比べて大きく変化し、この結果、特定者１８の顔画像を明確に取得できる。
【００３２】
音声出力部２７を制御する場合は、人の顔の向きを変えるなど人の所作行為を変えさせるようにスピーカ１７より音声案内する。この場合は、個人毎に異なる本人特有の識別要素が得られ、この結果、特定者１８の顔画像を明確にした画像が得られる。
【００３３】
この他、画像取得条件変更機能としてコントローラ２１は、特定不明原因となった前回の画像取得条件の中から最も有効に変更要素が得られる画像取得条件を推定し、この推定した画像取得条件になるようにカメラ制御部２５、照明制御部２６、音声出力部２７の一つ、あるいはその複数を変更制御する。
【００３４】
例えば、画像データから特徴量を抽出するときに、取得画像の濃度差、顔の向き、傾き度合い等の様々な識別要素に基づいて、撮像カメラ１２を修正方向に一定量移動させたり、照明ライト１６を修正方向に一定量移動調整したり、スピーカ１７より人の顔の向きを変えさせるように所作行為を音声案内させればよい。これにより、再識別に最も適した画像取得条件に設定変更して再画像を取得することができる。
【００３５】
このような画像取得条件変更機能を働かせることにより、再識別時の識別に適した顔画像を確実に取得することができるため識別成功率が向上し、また再識別時に近似する画像を繰返し取得することによる無駄な再識別の繰返しが解消されて識別処理時間の短縮を図ることができる。
【００３６】
ところで、データベース２４には予め特定した特定者固有の顔の特徴量を登録しておき、これを照合確認データに用い、撮像カメラ１２で顔情報を取得する毎
に、その顔の特徴量を比較照合して本人か否かを判定する。
【００３７】
図３は本人特定装置の類似度判定処理動作を示し、撮像カメラ１２から顔情報
を取得した生画像を一旦画像メモリ３１に蓄積する。
この蓄積した生画像から顔検出部３２で顔領域の検索を行って、撮像した顔領域を検出する。ここでは、顔とその周辺の概略を検出し、この顔領域の検出手法に際しては、
１．背景画像と取得画像の差を抽出する背景差分手法
２．カラーを用いた肌色検出手法
３．オプチカルフローやフレーム差分を用いた動き検出手法
４．顔らしさをニューラルネットワークやパターンマッチングによって求める手法
のいずれかを用いて顔領域を検出する。
【００３８】
この顔領域を検出した後、顔位置検出部３３で目、鼻、口…等の特徴モデルを元にマッチングによって顔の位置を正確に検出する。
顔の位置を正確に検出して位置決めすると、顔特徴抽出部３４で顔画像から切出された顔特徴量を抽出する。この顔特徴量は平均顔との差を主成分分析等の統計的手法を用いて抽出するか、あるいは目、鼻、口…等の濃淡画像からテンプレートマッチングにより抽出する。この抽出された顔特徴量と、データベース２４に予め登録された特徴メモリとを類似度判定部３５で比較照合して顔情報の類似度を判定する。
【００３９】
この場合、コントローラ２１は本人を特定するための判断基準となるスレッショルダレベルを設定しており、入力された画像データから求めた顔の特徴量と登録データの特徴量とを照合したときの類似度値を算出し、この値がスレッショルダレベルより高ければ本人と特定し、低ければ他人あるいは未登録者と判定する。
【００４０】
このように構成された本人特定装置１１の識別処理動作を図４に示すフローチャートを参照して説明する。 今、撮像カメラ１２から顔の画像データを取得すると、その画像データから顔領域の検索を行って、撮像した顔領域を検出し（ステップｎ1 〜ｎ2 ）、
この顔領域を検出した後、目、鼻、口…等の特徴から顔の位置を正確に検出して位置決めすると、この顔画像から顔特徴量を抽出する（ステップｎ3 〜ｎ4 ）。
【００４１】
この抽出された顔特徴量と、予め登録された特徴量とを比較照合して類似度を求め（ステップｎ5 〜ｎ6 ）、
類似度がスレッショルダレベル以上のときは特定者と認めて、識別処理が終了する（ステップｎ7 ）。
【００４２】
ところで、顔画像から顔特徴量を抽出したとき、撮像カメラ１２で撮像したときの画像取得条件、照明ライト１６で照明したときの照明条件、スピーカ１７で所作行為を音声案内した場合はその音声案内条件を、識別条件のパラメータとして取込み（ステップｎ8 ）、
識別エラーと判定されたときに、コントローラ２１が再識別に適したパラメータを選択し、この選択したパラメータの条件をコントローラ２１が設定変更して再識別する（ステップｎ9 〜ｎ10）。
【００４３】
例えば、図５に示すように、１回目の画像取得時に、傾いた顔の入力画像のために識別不能なエラーが発生した場合は、正規の正面顔の画像が得られるように撮像カメラ１２を移動調整することが、再識別するときに最も有効な画像取得条件となるパラメータと判定し、これに基づいてコントローラ２１は撮像カメラ１２の向きを修正して正面顔を得られるように再識別処理を実行する。これにより、２回目の画像取得時には正面顔に近い入力画像を取得することができ、この正面顔の画像を取得することによって識別確率が高まり、特定者を明確に区別して識別することができる。
【００４４】
また、図６に示すように、１回目の画像取得時に、顔の左半分が暗くなった入力画像のために識別不能なエラーが発生した場合は、正規の均一な照明が得られるように照明ライト１６を移動調整することが、再識別するときに最も有効な画像取得条件となるパラメータと判定し、これに基づいてコントローラ２１は照明ライト１６の向きを修正して均一な照明が得られるように再識別処理を実行する。これにより、２回目の画像取得時には識別の判定に適した均一な明るさの入力画像を取得することができ、この適切な明るさの画像を取得することによって識別確率が高まる。従って、数回の識別処理動作で特定者を確実に識別することができる。
【００４５】
上述のように、再画像取得時には先に取得した顔画像における顔の向きに基づいて、再識別に適した顔画像が得られるように画像取得条件を推定し、推定した該条件に基づいて、所作行為案内を行って、人の顔の向きを変えさせることができる。この結果、再識別時の識別成功率が向上し、また無駄な再識別の繰返しが解消されて識別処理時間の短縮が図れる。
【００４６】
この発明と、上述の一実施例の構成との対応において、
この発明の画像取得手段は、実施例の撮像カメラ１２に対応し、
以下同様に、
記憶手段は、データベース２４に対応し、
推定手段は、コントローラ２１に対応し、
所作行為案内手段は、スピーカ１７及び音声出力部２７に対応し、
本人識別装置は、本人特定装置１１に対応するも、
この発明は、請求項に示される技術思想に基づいて応用することができ、上述の一実施例の構成のみに限定されるものではない。
【図面の簡単な説明】
【図１】この発明の本人特定装置の使用状態を示す概略側面図。
【図２】この発明の本人特定装置の制御回路ブロック図。
【図３】この発明の本人特定装置の顔情報の類似度判定処理動作を示す説明図。
【図４】この発明の本人特定装置の識別処理動作を示すフローチャート。
【図５】この発明の撮像カメラの向きを修正した画像取得条件変更動作を示す説明図。
【図６】この発明の照明ライトの向きを修正した画像取得条件変更動作を示す説明図。
【符号の説明】
１１…本人特定装置
１２…撮像カメラ
１６…照明ライト
１７…スピーカ
１８…特定者
２１…コントローラ
２２…画像入力部
２３…識別処理部
２４…データベース
２５…カメラ制御部
２６…照明制御部
２７…音声出力部
Claims (3)
- 人の顔画像を画像取得手段より取得し、この取得した顔画像と記憶手段が記憶する予め特定した特定者の顔画像との類似度から本人を識別する本人識別装置であって、
上記画像取得手段による再画像取得時に、前回画像取得手段で取得した顔画像における顔の向きに基づいて再識別に適した顔画像を取得するための画像取得条件を推定する推定手段と、
上記推定手段で推定した画像取得条件に基づいた所作行為案内を行い、人に対して顔の向きを変えさせる所作行為案内手段を備えた
本人識別装置。 - 人の顔画像を画像取得手段より取得し、この取得した顔画像と記憶手段が記憶する予め特定した特定者の顔画像との類似度から本人を識別する本人識別装置であって、
上記画像取得手段による再画像取得時に、前回画像取得手段で取得した顔画像に基づいて再識別に適した顔画像を取得するための画像取得条件を推定する推定手段と、
上記推定手段で推定した画像取得条件に基づいて前記画像取得手段を移動調整する移動調整制御手段を備えた
本人識別装置。 - 前記推定手段は、本人を識別できない特定不明原因となった画像取得条件の中から最も有効に変更要素が得られる画像取得条件を推定することを特徴とする
請求項１または２記載の本人識別装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12323198A JP3580129B2 (ja) | 1998-05-06 | 1998-05-06 | 本人識別装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12323198A JP3580129B2 (ja) | 1998-05-06 | 1998-05-06 | 本人識別装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11316836A JPH11316836A (ja) | 1999-11-16 |
| JP3580129B2 true JP3580129B2 (ja) | 2004-10-20 |
Family
ID=14855454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12323198A Expired - Fee Related JP3580129B2 (ja) | 1998-05-06 | 1998-05-06 | 本人識別装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3580129B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230042100A1 (en) * | 2020-01-16 | 2023-02-09 | Nec Corporation | Face authentication apparatus, control method and non-transitory computer-readable storage medium therefor, face authentication gate apparatus, and control method and non-transitory computer-readable storage medium therefor |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4526639B2 (ja) * | 2000-03-02 | 2010-08-18 | 本田技研工業株式会社 | 顔認識装置およびその方法 |
| DE60119418T2 (de) | 2000-03-22 | 2007-05-24 | Kabushiki Kaisha Toshiba, Kawasaki | Gesichtsbildaufnehmendes Erkennungsgerät und Passüberprüfungsgerät |
| JP4770869B2 (ja) * | 2001-01-30 | 2011-09-14 | 日本電気株式会社 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
| JP4143305B2 (ja) | 2001-01-30 | 2008-09-03 | 日本電気株式会社 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
| EP1239405A3 (en) | 2001-03-09 | 2004-05-19 | Kabushiki Kaisha Toshiba | Face image recognition apparatus |
| JP4177598B2 (ja) | 2001-05-25 | 2008-11-05 | 株式会社東芝 | 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法 |
| JP2003108984A (ja) | 2001-07-27 | 2003-04-11 | Toshiba Corp | 顔画像認識装置、通行制御装置、顔画像認識方法、及び通行制御方法 |
| TWI299471B (en) | 2001-08-24 | 2008-08-01 | Toshiba Kk | Person recognition apparatus |
| JP2003223640A (ja) * | 2002-01-29 | 2003-08-08 | Yokogawa Electric Corp | 物体認識装置 |
| JP2004118627A (ja) * | 2002-09-27 | 2004-04-15 | Toshiba Corp | 人物認証装置および人物認証方法 |
| JP4572583B2 (ja) * | 2004-05-31 | 2010-11-04 | パナソニック電工株式会社 | 撮像装置 |
| JPWO2006030687A1 (ja) * | 2004-09-14 | 2008-07-31 | 日本電気株式会社 | データ照合システム、データ照合装置、及びデータ照合方法 |
| JP4519708B2 (ja) * | 2005-05-11 | 2010-08-04 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
| JP4645301B2 (ja) * | 2005-05-20 | 2011-03-09 | 富士通株式会社 | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
| JP4670521B2 (ja) * | 2005-07-19 | 2011-04-13 | 株式会社ニコン | 撮像装置 |
| JP2007094535A (ja) * | 2005-09-27 | 2007-04-12 | Konica Minolta Photo Imaging Inc | 認証システム及び認証方法 |
| JP4579169B2 (ja) * | 2006-02-27 | 2010-11-10 | 富士フイルム株式会社 | 撮影条件設定方法およびこれを用いた撮影装置 |
| JP4561703B2 (ja) * | 2006-07-06 | 2010-10-13 | 株式会社デンソー | 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム |
| JP4577446B2 (ja) * | 2009-07-13 | 2010-11-10 | パナソニック電工株式会社 | 撮像装置 |
| JP5881932B2 (ja) * | 2009-09-30 | 2016-03-09 | カシオ計算機株式会社 | 顔画像データ生成装置、顔画像データ生成方法及びプログラム |
| JP5166570B2 (ja) * | 2011-04-27 | 2013-03-21 | 株式会社東芝 | 電子機器、及び映像処理方法 |
| WO2023176375A1 (ja) * | 2022-03-16 | 2023-09-21 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6116662U (ja) * | 1984-06-29 | 1986-01-30 | 三菱電機株式会社 | 画像照合判定装置 |
| JPH06266497A (ja) * | 1993-03-11 | 1994-09-22 | Toshiba Corp | マンマシンインタフェース装置 |
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
| JPH1040380A (ja) * | 1996-07-22 | 1998-02-13 | Sony Corp | マーク検査方法及び装置 |
-
1998
- 1998-05-06 JP JP12323198A patent/JP3580129B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230042100A1 (en) * | 2020-01-16 | 2023-02-09 | Nec Corporation | Face authentication apparatus, control method and non-transitory computer-readable storage medium therefor, face authentication gate apparatus, and control method and non-transitory computer-readable storage medium therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11316836A (ja) | 1999-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3580129B2 (ja) | 本人識別装置 | |
| JP3564984B2 (ja) | 本人特定装置及び本人特定方法 | |
| JP4314016B2 (ja) | 人物認識装置および通行制御装置 | |
| KR100481116B1 (ko) | 안면화상 인식장치 | |
| US8422746B2 (en) | Face authentication system and authentication method thereof | |
| JP2003141541A (ja) | 人物認識装置および通行制御装置 | |
| JP2000259814A (ja) | 画像処理装置及びその方法 | |
| JP4594176B2 (ja) | 画像処理装置及び入退室管理システム | |
| JP2004213087A (ja) | 個人認証装置および個人認証方法 | |
| WO2009041963A1 (en) | Iris recognition using consistency information | |
| JP5955031B2 (ja) | 顔画像認証装置 | |
| KR102160137B1 (ko) | 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법 | |
| JP2013101551A (ja) | 顔画像認証装置 | |
| JP2008139973A (ja) | 顔画像認証システム、および撮像装置 | |
| KR20200119425A (ko) | 도메인 적응 기반 객체 인식 장치 및 그 방법 | |
| JP2010086403A (ja) | 顔認識装置、顔認識方法、及び通行制御装置 | |
| JP2005202731A (ja) | 顔認識装置、顔認識方法および通行制御装置 | |
| KR20090065026A (ko) | 지정맥을 이용한 생체 인식 방법 | |
| KR20110092848A (ko) | 얼굴 인증 및 등록방법 | |
| KR20110119214A (ko) | 얼굴 변화에 강인한 얼굴 인식 방법 | |
| Lee et al. | Improvements in video-based automated system for iris recognition (vasir) | |
| JP2002334335A (ja) | 顔画像認識装置および通行制御装置 | |
| Amjed et al. | Noncircular iris segmentation based on weighted adaptive hough transform using smartphone database | |
| KR20220061694A (ko) | 얼굴 윤곽 추정을 통한 마스크 착용 여부 확인 방법 및 장치 | |
| JP2005063172A (ja) | 顔照合装置および通行制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040712 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |