JP4696610B2 - 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法 - Google Patents

被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法 Download PDF

Info

Publication number
JP4696610B2
JP4696610B2 JP2005074034A JP2005074034A JP4696610B2 JP 4696610 B2 JP4696610 B2 JP 4696610B2 JP 2005074034 A JP2005074034 A JP 2005074034A JP 2005074034 A JP2005074034 A JP 2005074034A JP 4696610 B2 JP4696610 B2 JP 4696610B2
Authority
JP
Japan
Prior art keywords
subject
authentication
photographing
face
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005074034A
Other languages
English (en)
Other versions
JP2006259923A (ja
Inventor
崇 垣内
智裕 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2005074034A priority Critical patent/JP4696610B2/ja
Priority to KR1020060020208A priority patent/KR100814557B1/ko
Priority to US11/374,371 priority patent/US7561791B2/en
Priority to EP06111129A priority patent/EP1703439B1/en
Priority to CNB200610059112XA priority patent/CN100454329C/zh
Priority to AT06111129T priority patent/ATE450016T1/de
Priority to DE602006010611T priority patent/DE602006010611D1/de
Publication of JP2006259923A publication Critical patent/JP2006259923A/ja
Priority to KR1020070134881A priority patent/KR101005974B1/ko
Application granted granted Critical
Publication of JP4696610B2 publication Critical patent/JP4696610B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47KSANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
    • A47K10/00Body-drying implements; Toilet paper; Holders therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47KSANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
    • A47K5/00Holders or dispensers for soap, toothpaste, or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47KSANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
    • A47K2201/00Details of connections of bathroom accessories, e.g. fixing soap or towel holder to a wall
    • A47K2201/02Connections to a wall mounted support

Description

この発明は、例えば人の顔や虹彩や掌紋等の被写体を撮影し該被写体を認証するような被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法に関する。
従来、本人認証を行うシステムとして、顔を撮影して認証する顔認証システム、虹彩を撮影して認証する虹彩認証システム、手の掌紋を撮影して認証する掌紋認証システムなど、種々の認証システムが提案されている。
これらの認証システムは、顔、目、または手といった被写体を撮影して認証するものであるが、写真等により被写体を偽装した成りすましを排除する必要がある。
この写真による成りすましの排除の方法として、被写体を複数回撮影し、各撮影画像の背景が連続していなければ、本人ではないと判定する本人認証装置が提案されている(特許文献1参照)。
しかし、背景が連続していることで写真による成りすましを排除すると、例えば携帯電話機やPDA等の携帯情報端末に実装することを考えた場合、電車、自動車、あるいは徒歩等による移動中に認証を行おうとすれば、撮影画像中の背景が変化してしまい、本人であると認証できないという問題点があった。
また、同じ背景で撮影した写真を用意すれば、成りすましができてしまうという問題点があった。
特開2004−362079号公報
この発明は、上述の問題に鑑みて、本人が認証を行う際の障害とならずに写真を用いた成りすましを排除できる被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法を提供することを目的とする。
この発明は、被写体を撮影する撮影手段を備え、該撮影手段により被写体を撮影した撮影画像に基づいて被写体の認証を行う被写体認証方法、または被写体認証装置であって、前記被写体を照明する照明手段と、該照明手段及び前記撮影手段を制御する制御手段とを備え、該制御手段を、前記照明手段による照明状態を異ならせて前記撮影手段に複数回の撮影を実行させる複数回撮影処理と、前記撮影画像相互間での全体明度差と、前記撮影画像相互間での予め設定した部分領域についての部分明度差とをそれぞれ取得し、取得した該部分明度差が該全体明度差に対して予め定めた閾値以上大であるか否かに基づき、前記被写体が立体か否かを判定する立体判定処理と、少なくとも1つの撮影画像について登録済みの被写体であるか否かを照合する被写体照合処理と、前記立体判定処理により被写体が立体であると判定し、かつ前記被写体照合処理で登録済みの被写体であると判定した場合に、被写体が真であると認証する認証処理とを実行する構成と、前記複数回撮影処理を、予め定めた時間間隔で連続して実行する被写体認証方法、または被写体認証装置であることを特徴とする。
これにより、平面的な写真を用いた成りすましを適切に排除することができる。特に、被写体の背景を認証条件としていないため、背景変化の有無に関わらず、適切な認証を行うことができる。
また前記複数回撮影処理を、予め定めた時間間隔で連続して実行する構成としていることより、利用者の操作負担を軽減することができる。また、利用者に複数回の撮影を意識させないで撮影できる。特に、連続撮影する時間間隔を、撮影手段の前で人間が写真を差し替えることができない程度の時間間隔に設定した場合には、予め準備された明度差のある複数の写真が差し替えられるといった成りすましを防止することができる。
またこの発明は、前記被写体認証装置を備え、前記撮影手段により、被写体として顔を撮影する構成とした顔認証装置とすることができる。
これにより、指紋や虹彩などに比べて心理的な抵抗感が少なく、また顔見知りや顔パスなどの習慣からも受け入れやすい顔認証で、写真による成りすましを適切に排除することができる。
またこの発明は、前記被写体認証装置を備えた携帯電話機とすることができる。
これにより、携帯電話機の不正利用を防止することができる。
この発明により、本人が認証を行う際の障害とならずに、写真を用いた成りすましを排除することができる。
この発明の一実施形態を以下図面と共に説明する。
まず、図1に示す被写体認証装置1の斜視図と共に、被写体認証装置1の構成について説明する。
被写体認証装置1は、携帯情報端末の一種である携帯電話機によって構成されており、正面に上から順に音声出力用のスピーカ11、画像表示を行う液晶モニタ14、操作入力用の複数の操作ボタン16、及び音声入力用のマイク18が設けられている。
前記スピーカ11の右横には、撮影用のカメラ12と照明装置13とが上下に近接して備えられている。そして、被写体認証装置1の右側面には、カメラ12のシャッタボタン15が備えられている。
また、被写体認証装置1の正面下部には、前後回動する開閉カバー19が枢着されており、該開閉カバー19は、閉状態で複数の操作ボタン16を被覆し保護する構成となっている。そして、被写体認証装置1の背面上部には、無線通信用のアンテナ10が備えられている。また、被写体認証装置1の内部には、CPU及び記憶部(ROMやRAM等)により構成される制御装置や充電池が設けられている。
以上の構成により、被写体認証装置1は、操作ボタン16が操作されて架電(発信)すること、及び着信を操作ボタン16の操作により受けることができ、遠隔地の電話機との音声通話を許容することができる。また、操作ボタン16が操作されることで、インターネット接続によるコンテンツ表示や電子メールの送受信を行うことができる。そして、カメラ12による静止画や動画の撮影を、シャッタボタン15の押下によって実行でき、液晶モニタ14に撮影画像を表示することができる。
次に、図2に示す被写体認証装置1のブロック図と共に、被写体認証装置1の構成について説明する。なお、この説明では、個人認証に必要な撮影機能と認証機能に関する要素について説明し、他の要素については省略する。
被写体認証装置1は、画像入力部21、被写体判定部22、顔認識部23、登録データ(辞書データ)24、照明部25、制御部26、及び認証結果出力部27により構成されている。
前記画像入力部21は、前述したカメラ12(図1)により構成されており、制御部26の制御に従って、前記カメラ12で被写体を撮影して得た撮影画像データを被写体判定部22及び顔認識部23に送信する。
前記被写体判定部22は、被写体認証装置1内部の制御装置内に設けられており、制御部26の制御に従って、撮影画像データに映っている被写体が立体か否かの判定を行い、判定結果を顔認識部23に送信する。
前記顔認識部23は、被写体認証装置1内部の制御装置内に設けられており、制御部26の制御に従って、画像入力部21から得た撮影画像データと、記憶部から読み出した登録データ24とを比較して、生体認証の一種である顔照合を行う。
前記登録データ24は、記憶部に記憶されているデータであり、予め登録された利用者の撮影画像データである。この撮影画像データは、顔画像、アイリス画像、又は掌紋画像等、人物の立体部の画像であって個人認証が可能な画像により構成すると良く、本実施の形態では、利用者に心理的な抵抗のない顔画像を用いる。なお、登録データ24は画像データに限らず、この画像データから特徴点や特徴量を抽出した特徴データにより構成してもよい。
前記照明部25は、前述した照明装置13(図1)により構成され、制御部26の制御に従って、撮影に使用する照明の照射を実行する。なお、照明装置13は、閃光するフラッシュ照明装置、あるいは点灯する点灯照明装置(例えばLEDや蛍光灯)など、適宜の照明装置で構成するとよい。
前記制御部26は、被写体認証装置1内部の制御装置内に設けられており、記憶部に記憶されているデータやプログラムに従って、各要素に制御信号を送信して動作制御を行う。記憶部に記憶されているプログラムには、撮影画像によって被写体を認証する被写体認証プログラムも含まれている。
また、前記被写体判定部22による立体か否かの判定と前記顔認識部23による顔照合の照合結果とに基づいて、個人認証を行う。
前記認証結果出力部27は、前述した液晶モニタ14により構成されており、制御部26の制御に従って、前記顔認識部23から取得した認証結果を出力する。なお、認証結果出力部27は、液晶モニタ14に限らず、例えば、インターネット通信の際に認証結果を送信する通信部、認証後の携帯電話機の操作可否を制御する制御部26等、他の要素により構成してもよい。この場合、認証結果情報の出力により携帯電話機の動作を制御し、認証結果を液晶モニタ14に表示しないことで、利用者に認証動作を意識させないようにすることができる。
以上の構成により、被写体認証装置1の照明装置13で照明環境を整え、この照明環境でカメラ12により撮影し、撮影した撮影画像から個人認証を行って、認証結果を出力する(液晶モニタ14で表示する)ことができる。
次に、図3に示す領域説明図と共に、撮影した撮影画像のうち、立体か否かの判定に用いる各種領域について説明する。
撮影画像41には、被写体である利用者の顔画像43が含まれている。この顔画像43に対して、顔全体の代表となる中央部を顔全体明度領域44に設定し、頬付近の領域を頬明度領域45に設定している。
これにより、照明条件を異ならせて撮影した場合に、各照明条件での顔全体の明度差と、一般的に凸となっている頬部分の明度差とを比較することができる。なお、顔全体明度領域44は、図示した中央部の領域に限らず、顔のほぼ全体に設定してもよい。
次に、図4に示す制御部26が実行する動作を示すフローチャートと共に、被写体認証プログラムによって制御部26が実行する動作について説明する。
制御部26は、照明装置13の照明をOFFにして被写体の顔の撮影を実行し、照明無し顔画像データを取得する(ステップn1)。
次に制御部26は、照明装置13の照明をONにして被写体の顔の撮影を実行し、照明有り顔画像データを取得する(ステップn2)。このステップn1とステップn2との間は、予め定められた時間間隔であり、この間にカメラ12の前で写真をすり替えることができない程度(あるいはすり替えが難しい程度)の短い時間間隔に設定している。これによって短時間で2回の撮影を連続して行う設定としている。
制御部26は、取得した照明無し顔画像データと照明有り顔画像データとを被写体判定部22に送り、被写体判定部22は、それぞれの顔画像データについて、顔位置を認識し、相互の顔位置を合わせる処理を実行する(ステップn3)。この顔位置の認識は、例えば、顔のラフな輪郭を検出し、ノード数が少ないグラフをベースとして画像全体に様々な大きさのグラフを当てはめることで実行することができる。
そして、被写体判定部22は、顔位置を合わせた画像の差分から、顔全体の明度変化量すなわち全体変化量と、頬部分の明度変化量すなわち部分変化量とを検出し、顔全体の明度変化量によって正規化する(ステップn4)。このとき、全体変化量は、前述した顔全体明度領域44(図3)の明度変化量により求め、部分変化量は、前述した頬明度領域45(図3)の明度変化量によって求める。
この全体変化量と部分変化量について詳述すると、被写体となる利用者の顔を実際に撮影した場合には、図5(A)のグラフに示すように、照明無しと照明有りとの明度変化として、頬の平均の変化量(部分変化量)が、顔全体の平均の変化量(全体変化量)よりも多くなる。
これは、顔が凹凸のある立体物であることから、照明環境の差によってコントラストに違いが出ることによるものである。すなわち、図7(A)の照明効果説明図に示すように、照明無しで撮影すると顔全体のコントラストは弱くなるが、図7(B)の照明効果説明図に示すように照明有りで撮影すると、顔全体のコントラストが上がり、頬や鼻や額といった凸部分が、他の凹部分より突出して明るくなる。従って、顔全体(顔全体明度領域44)の明度変化量より、頬部分(頬明度領域45)の明度変化量が多くなる。
これに対して被写体が写真であった場合は、図5(B)のグラフに示すように、頬の平均の変化量(部分変化量)と、顔全体の平均の変化量(全体変化量)は殆ど変わらないこととなる。これは、図7(C)の照明効果説明図に示すように、照明環境を変えても、平面である写真は全体的に明るくなるか暗くなるだけであり、コントラストに殆ど変化が現れず、顔全体(顔全体明度領域44)の明度変化量と頬部分(頬明度領域45)の明度変化量が殆ど変わらないからである。
写真の明度変化については、図6(C)に示すように、照明によって白飛びが発生した場合には、逆に部分変化量よりも全体変化量の方が多くなることや、図6(D)に示すように、写真が傾いていた場合に、照明環境が異なっても明度に全く影響しない場合がある。
このような部分変化量及び全体変化量について、被写体判定部22は、前記部分変化量が前記全体変化量より一定以上(すなわち予め定めた閾値による許容範囲以上)多いか否か判定し(ステップn5)、判定結果を制御部26に送る。
制御部26は、部分変化量が全体変化量より一定以上多い場合は(ステップn5:Yes)、立体であると判定して顔認識部23により顔照合を実行する(ステップn6)。この顔照合では、照明無し顔画像データと照明有り顔画像データのうち照明環境が好ましい方、例えば照明有り顔画像データを、登録データ24と比較して顔照合を行う。なお、いずれの顔画像データを使用して顔照合するかは、予め定めておいてもよい。
顔画像データと登録データ24との比較では、照明有り顔画像データから本人固有の特徴量を求め、登録データ24の特徴量と比較(照合)して、特徴量の差が予め定めた一定の閾値以内であれば、同一人物であると判定する。
前記本人固有の特徴量は、例えば、顔画像データから取得した特徴点に、ガボールウェーブレット変換を用いて求めることができる。この特徴点は、顔のラフな位置から顔部分を切り出し、顔の大きさを正規化し、さらに詳細なグラフを当てはめて、顔の特徴点の位置を詳細に検出することで取得することができる。なお、ガボールウェーブレット変換とは、信号解析や画像圧縮に用いられる手法で、変換対象から、ウェーブレット波形を利用して、その波形が持つ特徴(周波数成分など)のみを取り出すことをいう。
制御部26は、顔認識部23から受け取った顔照合の結果が適合であれば(ステップn7:Yes)、個人認証結果として適合(認証OK)の情報を出力する(ステップn8)。
前記ステップn5で部分変化量から全体変化量を減算した値が一定値に満たなかった場合には偽装されていると判定し(ステップn5:No)、制御部26は、前記ステップn6〜n7を実行するのと同程度の待機時間だけ待機する(ステップn9)。この待機時間は、写真等による偽装が行われた場合に、偽装が解かっているから不適合なのか、顔照合がうまく行かないから不適合なのか、処理時間によって不正利用者に看破させないようにするためのものである。
制御部26は、このステップn9の後、及び前記ステップn7で顔照合の結果が不適合であった場合(ステップn7:No)に、認証結果として不適合(認証NG)の情報を出力し(ステップn10)、処理を終了する。
これら適合/不適合を示す認証結果情報に基づき、制御部26は、液晶モニタ14への結果表示や、シャッタボタン15及び操作ボタン16での操作可否などの機能制御を行う。
以上の動作により、利用者の顔を撮影した顔画像データに基づいて、個人認証を行うことができる。この個人認証に際して、カメラ12の前に写真がかざされて成りすましが図られた場合には、ステップn5にて被写体が立体でない、すなわち正規な画像データでないと判定でき、写真を用いた成りすましを排除することができる。
そして、この個人認証は、撮影画像の背景に関係なく認証を行うため、移動中であっても本人を本人であると正しく認証することができる。
また、照明無しの1回目の撮影に引き続き、自動的に照明有りの2回目の撮影を行うので、照明ONによって利用者が撮影終了と感じても、その時点では既に確実に2つの顔画像データを取得しておくことができる。
さらに、1回目の照明無し撮影においては、撮影中である旨の表示やシャッター音などを出さないようにしておくとよく、これにより利用者に複数回の撮影に気付かれず、被写体判定の処理の仕組みについて知られないようにすることができる。
また、照明無しの撮影と照明有りの撮影とを組み合わせることで、照明装置13にフラッシュ照明装置を用いた場合に、フラッシュ用のストロボ充電時間に影響されず、連続撮影の時間間隔を設定することができる。
また、既に述べたように、本発明では明度変化の度合いに基づいて立体判定することにより写真を用いた擬装を判別できるが、この被写体判定の仕組みを知った者により、予め照明有りと無しで撮影する等により明度を異ならせた写真が2枚用意され、2回の撮影の間に写真がすり替えられるという更なる擬装策が講じられることも考えられる。
しかし、2回の撮影の時間間隔を短く設定しているため、成りすましをしようとする者が、前述のように照明状態の異なる2枚の写真を各撮影タイミングにあわせてすり替えて成りすましを図っても、この成りすましを排除できる。
また、本実施形態のうち最も処理時間を要し、アルゴリズムが複雑である顔照合は、被写体判定処理で立体と判定された場合に1回しか行わないため、高速に認証処理を完了することができる。さらにステップn5で立体でないと判定した場合は顔照合を実行しないことや、立体と判定した場合でも顔照合は1回のみとすることで、携帯電話機のバッテリ(充電池)の電力消耗を最小限に抑制することができる。
そして、被写体が立体か否かの判定は、撮影画像から顔照合して本人か否か判定するよりも高速に処理完了できるため、照明環境の異なる複数の撮影画像をそれぞれ顔照合するよりも、認証結果を高速に出力することができる。
さらに、カメラ12と照明装置13とは、近接させて備えているため、カメラ12と照明装置13の位置関係がほぼ同一光軸上となり、利用者の顔から照明の正反射を得て良好な明度変化を得ることができる。
また、カメラ12の撮影方向と液晶モニタ14の表示方向とを同一方向に向けて構成しているため、撮影前にカメラ12に映っている利用者を液晶モニタ14でプレビュー表示できる。これにより、利用者は映っている範囲を確認して撮影できるため、良好な顔画像を得ることができる。
なお、撮影回数は2回に設定したが、これに限らず複数回の撮影を行う構成としてもよい。
また、照明有りと無しとで複数回の撮影を行う構成としたが、照明の強度を変えて複数回の撮影を行う構成としてもよい。この場合でも、明度変化とコントラストの変化によって立体物か否かが判定でき、写真を用いた成りすましを排除することができる。
また、撮影は、認証モードとして利用者に認証用の操作がされたタイミングで実行する構成として利用者に意識させてもよく、また、装置(携帯電話機など)側で適当なタイミングで実行する構成として利用者に意識させないようにしてもよい。また、利用者が何らかの機能操作を開始した時点で、利用者に意識させずに撮影する構成にしてもよい。
また、照明装置13は、カメラ12の近傍に備えるのではなく、離れた位置に備えてもよく、例えば利用者の顔を正面から撮影している状態で横方向から照明するといった構成にしてもよい。この場合でも照明変化による明度変化とコントラストの変化によって立体物か否かが判定でき、写真を用いた成りすましを排除することができる。
また、照明装置13は、照明の異なる複数の照明装置で構成し、照明する照明装置を切り替えて照明環境を変化させ、複数回の撮影を行う構成としてもよい。この場合、照明を異ならせる構成として、照明装置の種類、照明装置の照明強度、照明装置の位置と照明方向、又はこれらの複数を異ならせる構成とすることができる。この場合でも、照明環境の異なる撮影画像を複数取得することができる。
また、被写体認証装置1は、携帯電話機に限らず、施設の出入口や駅構内の改札通路といった適宜の場所に、カメラ12、照明装置13、液晶モニタ14といった各構成要素を適宜配設して構成し、入退室管理用の認証や、ATM等の金融機器用の認証に使用してもよい。この場合も、写真による成りすましを排除して個人認証を行うことができ、被写体認証装置1を様々な場所、用途で利用することができる。
また、認証用の撮影前には、カメラ12に映っている画像を液晶モニタ14に表示しない構成としてもよい。この場合は、利用者が撮影前に映っている範囲を確認できないが、特に携帯電話機では利用者の手の長さがある程度決まっていることから、大抵問題なく顔画像を取得することができる。そして、写真は一般的に実物の顔サイズよりも小さいことから、写真を用いた成りすましを図る者は、カメラ12と写真の距離をどの程度にして撮影すれば適度な大きさで撮影されるのか解からず、これにより、写真を用いた成りすましを更に困難にすることができる。
次に、第2の実施例の被写体認証装置1について、図8に示すブロック図と共に説明する。
この被写体認証装置1は、被写体認証ユニット50が携帯電話機に搭載されて構成されている。
被写体認証装置1は、画像入力部21、照明部25、及び制御部26が設けられている。これらの各要素は、画像入力部21による撮影画像データの出力先を制御部26にする以外は、前述した実施例1と同一であるため、その詳細な説明を省略する。なお、画像入力部21、照明部25、及び制御部26により、撮影処理を実行する撮影ユニット5が構成される。
前記被写体認証装置1には、被写体認証ユニット50が、適宜の入出力部に電気的に接続されて設けられている。この被写体認証ユニット50は、CPU及び記憶部(ROMやRAM等)により構成される制御装置(図示省略)が設けられており、この制御装置内に、認証制御部51、被写体判定部52、顔認識部53、及び登録データ54により構成されている。
前記認証制御部51は、記憶部に記憶されているデータやプログラムに従って、各種制御動作を実行する。記憶部に記憶されているプログラムには、撮影画像によって被写体を認証する被写体認証プログラムも含まれている。
また、被写体判定部52による立体か否かの判定と顔認識部53による顔照合の照合結果とに基づいて、個人認証を行い、この個人認証の認証結果を被写体認証装置1の制御部26に送信する。
前記被写体判定部52は、認証制御部51の制御に従って、撮影画像データに映っている被写体が立体か否かの判定を行い、判定結果を認証制御部51に送信する。
前記顔認識部53は、認証制御部51の制御に従って、認証制御部51から得た撮影画像データと、記憶部から読み出した登録データ54とを比較して、生体認証の一種である顔照合を行う。
前記登録データ54は、記憶部に記憶されているデータであり、予め登録された利用者の撮影画像データである。この撮影画像データは、顔画像、アイリス画像、又は掌紋画像等、人物の立体部の画像であって個人認証が可能な画像により構成すると良く、本実施の形態では、利用者に心理的な抵抗のない顔画像を用いる。なお、登録データ54は画像データに限らず、この画像データから特徴点や特徴量を抽出した特徴データにより構成してもよい。
以上の構成により、被写体認証ユニット50を携帯電話機等の機器に搭載して、被写体認証を実行することが可能となり、実施例1と同一の作用効果が得られる。
このように構成された実施例2の被写体認証装置1は、実施例1とほぼ同一の動作を行う。すなわち、図4に示したステップn1〜n2の動作は制御部26が実行し、ステップn2からステップn3の間では、制御部26が認証制御部51に撮影画像データを送信する。そして、ステップn3〜n10で制御部26が実行する動作は、認証制御部51が実行する。このとき、被写体判定部52は、実施例1の被写体判定部22の動作を実行し、顔認識部53は、実施例1の顔認識部23の動作を実行する。そして、登録データ54には、登録データ24と同一のデータが記憶されている。
以上の動作により、実施例1と同一の作用効果を奏することができる。被写体認証ユニット50は、入出力部を有する部品であるため、種々の機器に搭載することができ、様々な機器で成りすまし困難な被写体認証を実装することができる。
なお、第2実施例において、登録データは被写体認証ユニット50の中に記憶したが、撮影ユニット5側の記憶部内に記憶させてもよい。
この発明の構成と、上述の実施形態との対応において、
この発明の顔認証装置及び携帯電話機は、実施形態の被写体認証装置1に対応し、
以下同様に、
撮影手段は、カメラ12及び画像入力部21に対応し、
照明手段は、照明装置13及び照明部25に対応し、
制御手段は、制御装置、被写体判定部22と顔認識部23と制御部26、及び、認証制御部51と被写体判定部52と顔認識部53に対応し、
複数回撮影処理は、ステップn1〜n2に対応し、
認証処理は、ステップn8に対応し、
立体判定処理は、ステップn3〜n5に対応し、
被写体照合処理は、ステップn6〜n7に対応し、
予め定めた時間間隔は、カメラ12の前で写真をすり替えることができない程度(あるいはすり替えが難しい程度)の短い時間に対応し、
被写体は、利用者の顔に対応するも、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
被写体認証装置の斜視図。 被写体認証装置の構成を示すブロック図。 撮影画像の各種領域を説明する領域説明図。 制御部が実行する動作を示すフローチャート。 明度変化を示すグラフ。 明度変化を示すグラフ。 照明効果を説明する説明図。 第2実施例の被写体認証装置の構成を示すブロック図。
1…被写体認証装置
12…カメラ
13…照明装置
21…画像入力部
22…被写体判定部
23…顔認識部
25…照明部
26…制御部
41…撮影画像
50…被写体認証ユニット
51…認証制御部
52…被写体判定部
53…顔認識部

Claims (4)

  1. 被写体を撮影する撮影手段を備え、該撮影手段により被写体を撮影した撮影画像に基づいて被写体の認証を行う被写体認証装置であって、
    前記被写体を照明する照明手段と、
    該照明手段及び前記撮影手段を制御する制御手段とを備え、
    該制御手段を、
    前記照明手段による照明状態を異ならせて前記撮影手段に複数回の撮影を実行させる複数回撮影処理と、
    前記撮影画像相互間での全体明度差と、前記撮影画像相互間での予め設定した部分領域についての部分明度差とをそれぞれ取得し、取得した該部分明度差が該全体明度差に対して予め定めた閾値以上大であるか否かに基づき、前記被写体が立体か否かを判定する立体判定処理と、
    少なくとも1つの撮影画像について登録済みの被写体であるか否かを照合する被写体照合処理と、
    前記立体判定処理により被写体が立体であると判定し、かつ前記被写体照合処理で登録済みの被写体であると判定した場合に、被写体が真であると認証する認証処理とを実行する構成とし
    前記複数回撮影処理を、予め定めた時間間隔で連続して実行する
    被写体認証装置。
  2. 請求項記載の被写体認証装置を備え、
    前記撮影手段により、被写体として顔を撮影する構成とした
    顔認証装置。
  3. 請求項記載の被写体認証装置を備えた
    携帯電話機。
  4. 撮影手段により被写体を撮影した撮影画像に基づいて被写体の認証を行う被写体認証方法であって、
    照明手段による照明状態を異ならせて撮影手段に予め定めた時間間隔で連続して複数回の撮影を実行させ、
    撮影画像相互間での全体明度差と、前記撮影画像相互間での予め設定した部分領域についての部分明度差とをそれぞれ取得し、取得した該部分明度差が該全体明度差に対して予め定めた閾値以上大であるか否かに基づき、前記被写体が立体か否かを立体判定処理により判定し、
    少なくとも1つの撮影画像について登録済みの被写体であるか否かを被写体照合処理により照合し、
    前記立体判定処理により被写体が立体であると判定し、かつ前記被写体照合処理で登録済みの被写体であると判定した場合に、被写体が真であると認証する
    被写体認証方法。

JP2005074034A 2005-03-15 2005-03-15 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法 Expired - Fee Related JP4696610B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2005074034A JP4696610B2 (ja) 2005-03-15 2005-03-15 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法
KR1020060020208A KR100814557B1 (ko) 2005-03-15 2006-03-03 피사체 인증 장치, 얼굴 인증 장치, 휴대 전화, 피사체인증 유닛, 피사체 인증 방법, 및 피사체 인증 프로그램
US11/374,371 US7561791B2 (en) 2005-03-15 2006-03-13 Photographed body authenticating device, face authenticating device, portable telephone, photographed body authenticating unit, photographed body authenticating method and photographed body authenticating program
CNB200610059112XA CN100454329C (zh) 2005-03-15 2006-03-14 被拍体验证设备以及验证方法
EP06111129A EP1703439B1 (en) 2005-03-15 2006-03-14 Photographed body authenticating device, face authenticating device, portable telephone, photographed body authenticating unit, photographed body authenticating method and photographed body authenticating program
AT06111129T ATE450016T1 (de) 2005-03-15 2006-03-14 Authentifizierungsvorrichtung für einen fotografierten körper, gesichtsauthentifizierungsvorrichtung, tragbares telefon, authentifizierungseinheit für einen fotografierten körper, authentifizierungsverfahren für einen fotografierten körper und authentifizierungsprogramm für einen fotografierten körper
DE602006010611T DE602006010611D1 (de) 2005-03-15 2006-03-14 Authentifizierungsvorrichtung für einen fotografierten Körper, Gesichtsauthentifizierungsvorrichtung, tragbares Telefon, Authentifizierungseinheit für einen fotografierten Körper, Authentifizierungsverfahren für einen fotografierten Körper und Authentifizierungsprogramm für einen fotografierten Körper
KR1020070134881A KR101005974B1 (ko) 2005-03-15 2007-12-21 피사체 인증 장치, 얼굴 인증 장치, 휴대 전화, 피사체인증 유닛, 피사체 인증 방법, 및 피사체 인증 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005074034A JP4696610B2 (ja) 2005-03-15 2005-03-15 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法

Publications (2)

Publication Number Publication Date
JP2006259923A JP2006259923A (ja) 2006-09-28
JP4696610B2 true JP4696610B2 (ja) 2011-06-08

Family

ID=36617004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005074034A Expired - Fee Related JP4696610B2 (ja) 2005-03-15 2005-03-15 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法

Country Status (7)

Country Link
US (1) US7561791B2 (ja)
EP (1) EP1703439B1 (ja)
JP (1) JP4696610B2 (ja)
KR (2) KR100814557B1 (ja)
CN (1) CN100454329C (ja)
AT (1) ATE450016T1 (ja)
DE (1) DE602006010611D1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5168995B2 (ja) * 2007-04-13 2013-03-27 日本電気株式会社 携帯端末装置、その認証方法及びプログラム
RU2431190C2 (ru) * 2009-06-22 2011-10-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и устройство распознавания рельефности лица
KR101251793B1 (ko) * 2010-11-26 2013-04-08 현대자동차주식회사 차량내 운전자 실제 얼굴 인증 방법
US8548207B2 (en) * 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US20130100266A1 (en) * 2011-10-25 2013-04-25 Kenneth Edward Salsman Method and apparatus for determination of object topology
WO2013100898A1 (en) * 2011-12-27 2013-07-04 Intel Corporation Turing test based user authentication and user presence verification system, device, and method
US9094733B2 (en) 2012-03-31 2015-07-28 Intel Corporation Methods and systems for cryptographic access control of video
KR20130119759A (ko) * 2012-04-24 2013-11-01 삼성전자주식회사 3차원 물체 인식 방법 및 장치
WO2013179250A1 (en) * 2012-05-30 2013-12-05 Evertech Properties Limited Article authentication apparatus having a built-in light emitting device and camera
US10452894B2 (en) 2012-06-26 2019-10-22 Qualcomm Incorporated Systems and method for facial verification
KR101938033B1 (ko) 2012-09-05 2019-01-11 엘리먼트, 인크. 카메라 장착 디바이스들과 관련된 생체인식 인증
KR101937323B1 (ko) * 2012-09-18 2019-01-11 한국전자통신연구원 위장 얼굴 판별 장치 및 방법
US9134878B2 (en) 2012-09-28 2015-09-15 Intel Corporation Device and method for secure user interface gesture processing using processor graphics
CN103077382A (zh) * 2013-01-08 2013-05-01 紫光股份有限公司 一种用于人脸识别系统的真人鉴别装置
US9996726B2 (en) 2013-08-02 2018-06-12 Qualcomm Incorporated Feature identification using an RGB-NIR camera pair
US9679212B2 (en) 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
KR102506826B1 (ko) 2014-05-13 2023-03-06 엘리먼트, 인크. 모바일 장치와 관련된 전자 키 지급 및 액세스 관리를 위한 시스템 및 방법
US9965728B2 (en) 2014-06-03 2018-05-08 Element, Inc. Attendance authentication and management in connection with mobile devices
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
CA2902093C (en) 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
JP6540322B2 (ja) * 2015-07-23 2019-07-10 富士通コネクテッドテクノロジーズ株式会社 被写体判定方法、プログラム及び被写体判定装置
CN105488486B (zh) * 2015-12-07 2018-10-30 清华大学 防止照片攻击的人脸识别方法及装置
JP6599269B2 (ja) * 2016-03-14 2019-10-30 Kddi株式会社 生体検知方法、生体検知装置及び生体検知プログラム
CN107886032B (zh) 2016-09-30 2021-12-14 阿里巴巴集团控股有限公司 终端设备、智能手机、基于脸部识别的认证方法和系统
CN107292290B (zh) * 2017-07-17 2021-02-19 Oppo广东移动通信有限公司 人脸活体识别方法及相关产品
CA3076038C (en) * 2017-09-18 2021-02-02 Element Inc. Methods, systems, and media for detecting spoofing in mobile authentication
CN109040033A (zh) * 2018-07-19 2018-12-18 国政通科技有限公司 基于拍摄的身份认证方法、电子设备及存储介质
CA3133229C (en) 2019-03-12 2023-04-04 Element Inc. Detecting spoofing of facial recognition with mobile devices
JP7382767B2 (ja) * 2019-09-06 2023-11-17 東芝テック株式会社 デジタル撮像機器、デジタル撮像方法、プログラム
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking
JP6896307B1 (ja) * 2020-07-28 2021-06-30 株式会社サイバーウェア 画像判定方法および画像判定装置
WO2022219680A1 (ja) * 2021-04-12 2022-10-20 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP2002312772A (ja) * 2001-04-13 2002-10-25 Oki Electric Ind Co Ltd 個人識別装置及び眼偽造判定方法
JP2003178306A (ja) * 2001-12-12 2003-06-27 Toshiba Corp 個人認証装置および個人認証方法
JP2006099614A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 生体判別装置および生体判別方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1191358A (zh) * 1998-02-05 1998-08-26 杨振宁 人脸图像防伪认证法
US7660444B2 (en) * 2000-02-24 2010-02-09 Nokia Corporation Method and apparatus for user recognition using CCD cameras
US6704447B2 (en) 2001-02-21 2004-03-09 Justsystem Corporation Method and apparatus for using illumination from a display for computer vision based user interfaces and biometric authentication
GB0113263D0 (en) * 2001-05-31 2001-07-25 Univ Surrey Personal identity verification process system
JP2003168084A (ja) * 2001-11-30 2003-06-13 Sanyo Electric Co Ltd 本人認証システム及び方法
JP3829729B2 (ja) * 2002-02-14 2006-10-04 オムロン株式会社 個人認証装置
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP2004362079A (ja) 2003-06-02 2004-12-24 Fuji Photo Film Co Ltd 本人認証装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP2002312772A (ja) * 2001-04-13 2002-10-25 Oki Electric Ind Co Ltd 個人識別装置及び眼偽造判定方法
JP2003178306A (ja) * 2001-12-12 2003-06-27 Toshiba Corp 個人認証装置および個人認証方法
JP2006099614A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 生体判別装置および生体判別方法

Also Published As

Publication number Publication date
ATE450016T1 (de) 2009-12-15
KR101005974B1 (ko) 2011-01-05
JP2006259923A (ja) 2006-09-28
US7561791B2 (en) 2009-07-14
KR20060101244A (ko) 2006-09-22
KR100814557B1 (ko) 2008-03-17
DE602006010611D1 (de) 2010-01-07
CN100454329C (zh) 2009-01-21
CN1834987A (zh) 2006-09-20
EP1703439B1 (en) 2009-11-25
US20060210261A1 (en) 2006-09-21
KR20080003299A (ko) 2008-01-07
EP1703439A1 (en) 2006-09-20

Similar Documents

Publication Publication Date Title
JP4696610B2 (ja) 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法
JP2006259924A (ja) 被写体認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム
KR100760102B1 (ko) 피사체 인증 장치, 휴대 전화, 피사체 인증 방법, 및 피사체 인증 프로그램이 기록된 기록매체
JP4553138B2 (ja) 顔画像認証装置
JP4734980B2 (ja) 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
KR101730255B1 (ko) 얼굴 인식 디지털 도어록
KR101682311B1 (ko) 얼굴 인식 디지털 도어록
JP2007135149A (ja) 移動携帯端末
JP2006259921A (ja) 被写体認証装置、携帯電話、及び被写体認証プログラム
JP2005004524A (ja) 識別装置および個人認証装置
KR101030518B1 (ko) 얼굴인식 디지털 도어록
EP1798594A3 (en) Portable device
JP2007094535A (ja) 認証システム及び認証方法
JP4833115B2 (ja) 掌紋認証装置、携帯電話端末、プログラム、および掌紋認証方法
JP4344876B2 (ja) 生体認証装置
JP2009015518A (ja) 眼画像撮影装置及び認証装置
WO2020095350A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2006212185A (ja) 生体判別装置および認証装置ならびに生体判別方法
KR20200080533A (ko) 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법
JP4320775B2 (ja) 顔認証装置
KR20080104610A (ko) 원격 영상 촬영 휴대단말기 및 그의 촬영 방법
JP4175056B2 (ja) 個人認証装置、個人認証システム、携帯端末、個人認証用プログラム
JP4696609B2 (ja) 被写体認証装置、携帯電話、被写体認証方法、及び被写体認証プログラム
JP4131180B2 (ja) 顔認証装置
CN114066458A (zh) 生物识别方法、生物识别装置及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110214

R150 Certificate of patent or registration of utility model

Ref document number: 4696610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees