JP5642410B2 - 顔認識装置及び顔認識方法 - Google Patents

顔認識装置及び顔認識方法 Download PDF

Info

Publication number
JP5642410B2
JP5642410B2 JP2010077418A JP2010077418A JP5642410B2 JP 5642410 B2 JP5642410 B2 JP 5642410B2 JP 2010077418 A JP2010077418 A JP 2010077418A JP 2010077418 A JP2010077418 A JP 2010077418A JP 5642410 B2 JP5642410 B2 JP 5642410B2
Authority
JP
Japan
Prior art keywords
unit
face
feature amount
feature
point position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010077418A
Other languages
English (en)
Other versions
JP2011210030A (ja
Inventor
勝司 青木
勝司 青木
祥裕 中野渡
祥裕 中野渡
伸 山田
伸 山田
宏明 由雄
宏明 由雄
隆行 松川
隆行 松川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010077418A priority Critical patent/JP5642410B2/ja
Priority to EP10848870.1A priority patent/EP2555159A4/en
Priority to PCT/JP2010/006550 priority patent/WO2011121688A1/ja
Priority to CN2010800660105A priority patent/CN102822865A/zh
Priority to US13/637,528 priority patent/US9621779B2/en
Publication of JP2011210030A publication Critical patent/JP2011210030A/ja
Application granted granted Critical
Publication of JP5642410B2 publication Critical patent/JP5642410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)

Description

本発明は、防犯や重要顧客の来客管理等のカメラシステムに用いられ、人物等の被写体を撮影して該被写体の認識を行う顔認識装置及び顔認識方法に関する。
従来、連続した複数の顔画像を用いて顔認証することで個人を識別する技術として、例えば特許文献１〜３で明示されたものがある。まず特許文献１には、歩行者の顔面を安定して撮影できるカメラの設置及び撮影条件が明示されている。
図２５は、特許文献１に明示された歩行者観測装置の設置例を示す図である。同図は建物などの入り口を上から俯瞰（ふかん：高い所から見下ろすこと）した図である。人は入り口（左右両側の壁４００１の間）に向かって（矢印４００２で示す向きに）移動する。左右両側の壁４００１を結ぶ入り口の通過ライン４００３を跨ぐ位置に、幅Ａ、高さＢの必須観測領域４００４を設定し、また必須観測領域４００４の中央に通過ライン４００３を設定している。通過ライン４００３に対し、人の移動方向である矢印４００２方向にカメラ４００５の向き及び画角θが設定されている。またカメラ４００５の焦点距離が同図に示すｆからｆ＋Ｄに設定されている。“カメラ設置位置”、“カメラの向き及び画角”、“カメラの焦点距離”の条件を設定することにより、カメラ４００５は必須観測領域４００４を撮影範囲内に収め、この撮影範囲内で焦点距離があった画像を撮影することができる。これにより、必須観測領域４００４を通過する人物の顔を安定して撮影することが可能となる。なお、特許文献１には、同一人物に対し、複数のカメラにより撮影した顔向きが異なる複数枚の画像のそれぞれを顔認識することで、個人の識別精度を向上させるという記載がある。
一方、特許文献２及び特許文献３には、同一人物に対し、複数のカメラにより撮影した顔向きの異なる複数枚の画像からアフィン変換やフィールドモーフィングにより人物の正面画像を合成し、その結果を用いて顔認証を行うことにより、個人識別を行う方法が明示されている。
図２６は、特許文献２に明示された顔特徴合成を説明するための図である。同図の（Ａ）及び（Ｂ）は同一人物を異なるカメラから撮影した異なる顔向きの顔画像である。これらの（Ａ）及び（Ｂ）の画像に対し、顔特徴点探索により同図中で×印で示す顔の特徴点を検出する。そして、検出した顔特徴点位置に基づき、アフィン変換により図２６の（Ｃ）に示す正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより、個人識別を行う。
特許文献３では、アフィン変換ではなくフィールドモーフィングにより正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより、個人識別を行う。
特開２００１−０１６５７３号公報 特開２００６−１４６３２３号公報 特開２００９−０２５８７４号公報
しかしながら、上述した従来の顔認識技術には以下に示す課題がある。
特許文献１は、単に歩行者の顔面を安定して撮影できるカメラの設置及び撮影条件を明示しているにすぎず、明示された位置及び向きにカメラを設置できない場合や、明示された撮影条件では撮影できない場合があり、そのような場合、顔面を安定して撮影することができない。その結果、顔認識がうまく行かず個人識別の精度が低下してしまう。なお、同公報では、複数のカメラにより撮影した顔向きが異なる複数枚の画像からそれぞれ顔認識により個人識別し、その結果を用いて識別精度を向上させるとしているが、同結果をどのように用いて認識精度を向上されるかまでは明示されていない。
特許文献２及び特許文献３では、検出した顔特徴点位置に基づきアフィン変換又はフィールドモーフィングにより正面画像を合成し、合成した正面画像を用いて顔認識を行うことにより個人識別を行っているが、顔の向きによっては顔特徴点を正確に検出することができない場合があり、そのような場合、正確な正面画像を得ることが難しく、特許文献１の場合と同様に個人識別の精度が低下してしまう。
本発明は、係る事情に鑑みてなされたものであり、精度の高い認識が可能な顔認識装置及び顔認識方法を提供することを目的とする。
本発明の顔認識装置は、被写体を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする。
上記構成によれば、距離推定部が撮影部と被写体との間の距離を推定し、その距離に応じて、特徴量更新部が特徴量を更新するので、被写体の所定領域を高い精度で認識することができる。
上記構成において、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部を備え、前記検索部での検索結果に基づき前記所定の領域を認識する。
上記構成において、前記所定の領域内の特徴点位置を検出する特徴点位置検出部を備え、前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記所定の領域との間の距離を推定する。
本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記撮影部と前記顔との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、その距離に応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。
上記構成において、前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する。
本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、前記顔の向きを推定する角度推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記角度推定部で推定された前記顔の向きに応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、また角度推定部が顔の向きを推定し、推定された距離と顔の向きに応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。特に、顔の向きを考慮するので、更に高い精度で認識することができる。
上記構成において、前記角度推定部は前記特徴点位置検出部で検出された前記特徴点位置の位置関係から前記顔の向きを推定する。
本発明の顔認識装置は、人物を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、前記特徴点位置検出部で検出された前記特徴点位置での明度を検出する明度検出部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記明度検出部で検出された前記特徴点位置での明度に応じて更新する特徴量更新部と、前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、を備え、前記検索部での検索結果に基づき前記顔を認識する。
上記構成によれば、距離推定部が撮影部と人物の顔との間の距離を推定し、また明度検出部が顔内の特徴点位置での明度を検出し、推定された距離と検出された明度に応じて、特徴量更新部が顔内の特徴点位置での特徴量を更新し、検索部が特徴量更新部で更新された特徴量と予め保持されている特徴量を比較検索するので、人物の顔を高い精度で認識することができる。特に、特徴点位置での明度を考慮するので、更に高い精度で認識することができる。
本発明の顔認識方法は、撮影部が被写体を撮影する撮影ステップと、前記撮影ステップでの撮影結果としての画像から前記被写体の所定の領域を検出する領域検出ステップと、前記領域検出ステップで検出された前記所定の領域内の特徴量を抽出する特徴量抽出ステップと、前記被写体を撮影した前記撮影部と前記所定の領域との間の距離を推定する距離推定ステップと、前記特徴量抽出ステップで抽出された前記特徴量を前記距離推定ステップで推定された前記距離に応じて更新する特徴量更新ステップと、を備えることを特徴とする。また、本発明の顔認識装置は、被写体を撮影部が撮影した画像を受け取り、前記画像から前記被写体の所定の領域を検出する領域検出部と、前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする。また、本発明の顔認識システムは、被写体を撮影する撮影部と、前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする。
上記方法によれば、距離推定ステップで撮影部と被写体との間の距離を推定し、その距離に応じて、特徴量更新ステップで特徴量を更新するので、被写体の所定領域を高い精度で認識することができる。
本発明によれば、撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができる。
本発明の実施の形態１に係る顔認識装置の概略構成を示すブロック図 図１の顔認識装置で撮影される人物と撮影部の関係を示す図 図１の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図 図１の顔認識装置が取得する顔の特徴点の一例を示す図 図１の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図 図１の顔認識装置で撮影された時刻Ｔ１，Ｔ２，Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図 図６の（Ｄ）に示す時刻Ｔ１，Ｔ２，Ｔ３での検索結果範囲を示すイメージに対し、データベースに保持される各個人の特徴量の位置をプロットした図 図１の顔認識装置のメイン処理を説明するためのフローチャート 図８のメイン処理におけるタスクＡの処理を説明するためのフローチャート 本発明の実施の形態２に係る顔認識装置の概略構成を示すブロック図 図１０の顔認識装置で撮影される人物と撮影部の関係を示す図 図１０の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図 斜め左上を向いた顔を示す図 図１０の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図 図１０の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図 図１０の顔認識装置のメイン処理を説明するためのフローチャート 図１６のメイン処理におけるタスクＢの処理を説明するためのフローチャート 本発明の実施の形態３に係る顔認識装置の概略構成を示すブロック図 図１８の顔認識装置で撮影される人物と撮影部の関係を示す図 図１８の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図 図１８の顔認識装置の特徴量更新部が更新する特徴量の一例を示す図 図１８の顔認識装置において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図 図１８の顔認識装置のメイン処理を説明するためのフローチャート 図２３のメイン処理におけるタスクＣの処理を説明するためのフローチャート 従来の歩行者観測装置の設置例を示す図 従来の顔特徴合成を説明するための図
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る顔認識装置の概略構成を示すブロック図である。同図において、本実施の形態の顔認識装置１００は、撮影部１０１と、顔検出部１０２と、追跡部１０３と、特徴点位置検出部１０４と、特徴量抽出部１０５と、距離推定部１０６と、特徴量更新部１０７と、記憶部１０８と、データベース１０９と、検索部１１０と、表示通報部１１１とを備える。
撮影部１０１は、人物等の被写体を撮影する。顔検出部１０２は、撮影部１０１での撮影結果としての画像から人物の顔の領域を特定する。追跡部１０３は、同一人物の顔画像に対して同一のＩＤ番号を付与する。追跡部１０３は、連続して撮影される画像の顔領域を追跡することによりこの機能を実現する。特徴点位置検出部１０４は、顔の目や鼻や口などの特徴点位置を検出する。特徴量抽出部１０５は、特徴点位置検出部１０４で検出された各特徴点位置での特徴量を抽出する。距離推定部１０６は、特徴点位置検出部１０４で検出された顔の各特徴点位置同士の距離関係から撮影部１０１と撮影された顔との間の距離を推定する。特徴量更新部１０７は、距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する。記憶部１０８は、追跡部１０３で同一ＩＤ番号が付与された各同一人物の顔画像において、特徴量抽出部１０５で抽出された特徴量を一時保持すると共に、特徴量の一部を更新する。データベース（ＤＢ）１０９は、顔認識に用いる各個人の顔特徴量を保持する。検索部１１０は、特徴量更新部１０７で更新された顔画像の顔特徴量をデータベース１０９で保持されている各個人の顔特徴量と比較し、検索して個人を特定する。表示通報部１１１は、検索部１１０での検索結果を表示し、利用者にその結果を通報する。検索結果の表示としては、例えば“顔画像のみ”、“顔画像とＩＤ”又は“顔画像とＩＤと警報”が挙げられる。
図２は、実施の形態１の顔認識装置１００で撮影される人物と撮影部１０１の関係を示す図である。人物２０１は撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３の各時刻で人物２０１を撮影している。
図３は、実施の形態１の顔認識装置１００において、各時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
次に、実施の形態１の顔認識装置１００の動作を説明する。
撮影部１０１は、図２に示すように、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物２０１を撮影する。図３の（Ａ１）は時刻Ｔ１で撮影された画像、図３の（Ｂ１）は時刻Ｔ２で撮影された画像、図３の（Ｃ１）は時刻Ｔ３で撮影された画像である。
顔検出部１０２は、撮影部１０１が撮影した画像から顔の領域を検出する。顔検出分野では、ＡｄａＢｏｏｓｔ学習法をベースとした検出方式により画像内から顔の領域を検出できることが報告されている（例えば非特許文献１：Paul Viola、Michael Jones、「Rapid Object Detection Using a Boosted Cascade of Simple Features」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)、2001年12月、ISSN:1063-6919、Vol.1、p.511−518）。顔検出部１０２はこの検出方式を用いて、撮影部１０１が撮影した画像内から顔領域を検出し、顔領域の画像を出力する。なお、この検出方式は一例であり、本発明で用いる顔検出の方式は上記検出方式に限るものではない。画像内から顔領域を特定することができる検出方式であればどのようなものでも良い。例えば、パターンマッチングなどでも顔を検出することは可能である。
追跡部１０３は、顔検出部１０２が検出した顔領域の時間的な位置変化量をもとに各顔領域の顔が同一人物であるかどうかを判定する。この場合、撮影される人物が移動していたとしても撮影部１０１の撮影間隔が人物の移動量に対して十分に短ければ、各撮影画像上での顔領域の位置変化量は少ない。このため、複数の人物が撮影されたとしても各時刻Ｔの撮影画像上でお互い位置変化量が少ない顔領域同士は同一人物であると判定できる。追跡部１０３はこの追跡方法により、顔検出部１０２が出力する顔領域画像内の顔が同一人物であるかどうかを判定する。なお、この追跡方法は一例であり、本発明で用いる追跡方法はこの追跡方法に限るものではない。顔領域の顔が同一人物であると推定することができる方法であればどのようなものでも良い。また、この追跡方法に加え、顔領域下部に撮影される服の色や模様の一致具合、顔領域の時間的な位置変化向きなどの情報により、顔領域の顔が同一人物であると推定することも可能である。
以上の追跡部１０３までの動作により、各時刻Ｔの撮影画像上の顔領域画像は同一人物毎に分類される。本実施の形態の動作では、分類された各人物の顔領域画像群のそれぞれに対して同一人物毎に分類される。
特徴点位置検出部１０４は、各時刻Ｔの顔領域画像内の顔の特徴点位置を検出する。顔特徴点位置検出分野では、Ａｄａｐｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ方式により顔画像から顔の特徴点を検出できることが報告されている（例えば非特許文献２：Stephen Milborrow、Fred Nicolls、「Locating Facial Features with an Extended Active Shape Model」、Lecture Notes Computer Science ;Vol.5303、Proceedings of the 10th European Conference on Computer Vision :PartIV）。
図４は、顔の特徴点の一例を示す図である。同図において、４０１は顔、４０２は顔の特徴点である。顔の特徴点とは、目中心（または黒目）、目頭、目尻、鼻翼、鼻筋の頭、口中心、口両端、こめかみや顎先などの顎のライン上の点など、眉、目、鼻、口、顎などの顔のパーツの位置や輪郭特徴を示す点位置である。特徴点位置検出部１０４は上記検出方式を用いて、各時刻Ｔの顔領域画像内から図４に例を示す顔特徴点を検出し、同特徴点位置を出力する。なお、上記検出方式は一例であり、本発明で用いる顔特徴点位置検出の方式は上記検出方式に限るものではない。顔領域画像から顔の特徴点位置を特定することができる検出方式であれば、どのようなものでも良い。例えばパターンマッチングなどであっても顔の特徴点位置を検出することは可能である。
特徴量抽出部１０５は、特徴点位置検出部１０４が検出した顔の各特徴点位置の特徴量を算出する。顔認識分野では、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換により算出した特徴量により、顔を高精度に認識できることが報告されている（例えば非特許文献３：E. Elagin、J.Steffens、H.Neven、「Automatic Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology」、Proceedings of the International Conference on Automatic Face and Gesture Recognition‘98. pp136-141、1998）。
Ｇａｂｏｒ Ｗａｖｅｌｅｔフィルタ係数を（式１）に示す（ｘ、ｙは画素の水平及び垂直位置、ｋは周波数、θは方位、σはガウス関数の標準偏差であり２πである）。周波数ｋ及び方位θを変化させ、各画素位置ｘ、ｙの画素値に式により求められる係数を畳み込み演算することにより、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換を行う。
Figure 0005642410
特徴量抽出部１０５は、上記Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換により、各周波数ｋ成分及び各方位θに対してそれぞれ、特徴点位置検出部１０４が検出した顔の各特徴点位置の特徴量を算出する。なお、上記Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換による特徴量抽出は一例であり、本発明で用いる特徴量抽出の方式は上記方式に限るものではない。顔の各特徴点位置に対し、各周波数成分の特徴量を抽出するものであれば良い。
距離推定部１０６は、特徴点位置検出部１０４で検出された顔の特徴点位置をもとに、撮影部１０１と人物の顔との間の距離を推定する。撮影部１０１と人物の顔との間の距離が離れていればいるほど、図４に示す顔４０１における各特徴点位置４０２間の距離は小さくなる。このことを利用して、各特徴点位置間の距離から、撮影部１０１と人物の顔との間の距離を推定することができる。また、撮影部１０１から顔までの距離が離れていればいるほど、撮影される顔のサイズは小さくなる。このことを利用し、顔検出部１０２で検出される顔領域のサイズから、撮影部１０１と人物の顔との間の距離を推定することもできる。このような推定方法を用いて距離推定部１０６は各時刻Ｔの顔領域画像における撮影部１０１と人物の顔との間の距離を推定し、その結果を出力する。なお、これらの距離推定方法は一例であり、本発明で用いる距離推定の方法は、上記距離推定方法に限るものではない。撮影部１０１と人物の顔との間の距離を推定することができる方法であれば、どのようなものでも良く、特徴点位置の間隔を利用しないステレオカメラや超音波センサなどを利用して距離を推定しても良い。
特徴量更新部１０７は、特徴量抽出部１０５で抽出された同一人物の顔に対する特徴量の一部を更新する。図５は、特徴量更新部１０７が更新する特徴量の一例を示す図である。同図の（Ａ２）、（Ｂ２）、（Ｃ２）は図３に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）のそれぞれ対応している。図５の（Ａ２）に示す時刻Ｔ１撮影画像では、撮影部１０１と人物の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、特徴点位置の低周波成分の特徴量５０１のみを更新する。これは、サイズが小さい顔画像には特徴量の中周波数成分及び高周波成分が多く含まれておらず、同成分の特徴量の信頼性が低いためである。
図５の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、特徴点位置の中周波成分の特徴量５０２のみを更新する。これは、顔画像のサイズが大きくなったために画像に中周波数成分が含まれ、特徴量の中周波数成分の信頼性が高くなったためである。図５の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きい。このような場合、特徴点位置の高周波成分の特徴量５０３のみを更新する。これは、顔画像のサイズが大きいため、画像に更に高周波成分が含まれ、特徴量の高周波数成分の信頼性が高くなったためである。以上のように、特徴量更新部１０７は、信頼性が高い周波数成分の特徴量のみを更新する。
記憶部１０８は、各時刻Ｔの更新した特徴量を保持する。そして、特徴量更新部１０７が現時刻に更新した特徴量、及び記憶部１０８に保持する現時刻以前に更新した特徴量は検索部１１０に出力される。検索部１１０は、特徴量更新部１０７が更新出力する特徴量とデータベース１０９に保持される各個人の特徴量を比較検索する。比較検索時に用いる評価式を（式２）に示す（Ｆｎ,θは特徴量更新部１０７が出力するｎ番目の特徴点における周波数θの特徴量、ｆｎ,θはデータベース１０９に保持される当該個人のｎ番目の特徴点における周波数θの特徴量、Ｓは当該個人の評価スコアである）。
Figure 0005642410
但し、特徴量更新部１０７が更新出力する特徴量において、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外する（同成分に対する演算結果を、Σで示す総和演算の要素値として含まない）。検索部１１０は、データベース１０９に保持される各個人データに対して、（式２）に示す評価式で求められる評価スコアを算出し、予め定めた値以上の評価スコアが算出された個人を検索する。そして、検索結果は表示通報部１１１を通じてユーザに通知される。
図６は、各時刻Ｔの撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図３に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図６の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔの特徴量は、特徴量更新部１０７により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図６の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージ図である。
以上説明した特徴量更新部１０７までの動作によれば、図６の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、時間経過と共に、各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。検索部１１０は、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図６の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
図７は、図６の（Ｄ）に示す各時刻Ｔでの検索結果範囲を示すイメージに対し、データベース１０９に保持される各個人の特徴量の位置をプロットした図である。時刻Ｔ1では、時刻Ｔ1検索結果範囲内の７人が検索結果となる。時刻Ｔ２ではこの７人に対してのみ（式２）に示す評価スコアを算出する。そして、時刻Ｔ２では、時刻Ｔ２検索結果範囲内の４人が検索結果となる。同様に、時刻Ｔ３ではこの４人に対してのみ（式２）に示す評価スコアを算出する。そして、時刻Ｔ３では、時刻Ｔ３検索結果範囲内の１人が検索結果となる。以上のように、検索部１１０は絞り込み検索する。これにより、高速に検索処理を行うことができる。また、検索部１１０は、上記絞り込み検索により、検索結果の人数が予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知する。これにより、早い段階で検索結果をユーザに提供することも可能になる。
図８は、実施の形態１の顔認識装置１００のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ１）。そして、撮影部１０１で取り込まれた画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ２）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ３）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、特徴量更新部１０７及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＡの処理を行う（ステップＳ４）。タスクＡの処理が行われた後、タスクＡの処理による検索結果を表示し、ユーザに通知する（ステップＳ５）。
図９は、前記タスクＡの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ３２）。次いで、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ３３）。距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１０７が距離推定部１０６で推定された距離に応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ３４）。撮影部１０１と人物の顔との間の距離に応じて特徴量が更新された後、検索部１１０が特徴量更新部１０７で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し、検索する（ステップＳ３５）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ３６）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ３７）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ３１に戻り、上記同様の処理を繰り返す。
このように実施の形態１の顔認識装置１００によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、その距離に応じて、特徴量更新部１０７が各特徴点位置の信頼性がある周波数成分の特徴量のみを更新し、検索部１１０が特徴量更新部１０７で更新された特徴量とデータベース１０９に保持された個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に、検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知するので、早い段階で検索結果をユーザに提供することができる。
（実施の形態２）
図１０は、本発明の実施の形態２に係る顔認識装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の顔認識装置１００と共通する部分には同一の符号を付けている。
図１０において、実施の形態２の顔認識装置１２０は、前述した実施の形態１の顔認識装置１００と同様の構成に角度推定部１２１を追加したものである。角度推定部１２１は、特徴点位置検出部１０４で検出された顔の各特徴点の位置関係から顔の向きを推定する。特徴量更新部１２２は、距離推定部１０６で推定された距離及び角度推定部１２１で推定された顔の向きに応じて特徴量抽出部１０５で抽出された特徴量を更新する。
図１１は、実施の形態２の顔認識装置１２０で撮影される人物と撮影部１０１の関係を示す図である。人物１２０１は、撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物１２０１を撮影している。
図１２は、実施の形態２の顔認識装置１２０において、各時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
撮影部１０１は、図１１における各時刻Ｔで人物１２０１を撮影する。図１２の（Ａ１）は時刻Ｔ１で撮影された画像、図１２の（Ｂ１）は時刻Ｔ２で撮影された画像、図１２の（Ｃ１）は時刻Ｔ３で撮影された画像である。
角度推定部１２１は、前述したように、特徴点位置検出部１０４で検出された顔の各特徴点位置の位置関係から顔の向きを推定する。図１３は、斜め左上を向いた顔１４０１を示す図である。同図中に示す各特徴点位置を通る各破線１４０３同士の角度や、各特徴点位置間の距離比率は顔の向きによって差が現れる。このことを利用することで、各特徴点位置により顔向きを推定することができる。
また、各特徴点位置の３次元位置モデルを事前に用意し、（式３）に示す３次元姿勢式を当てはめた時に（Ｘ、Ｙは水平及び垂直方向の平行移動量、Ａｎ、Ｂｎ、及びＣｎは３次元位置モデルの各特徴点ｎの位置であり、θp、θt及びθrはそれぞれ３次元回転角であり、関数Ｒ（ ）は３次元回転関数である。Ｓはスケール係数、関数Ｐ（ ）は３次元位置を２次元位置へ投影する関数であり、Ｘn及びＹnは同投影後の各特徴点ｎの２次元位置である）、（式４）に示す位置誤差評価（ｘn及びｙnは特徴点位置検出部１０４が検出した各特徴点ｎの水平及び垂直方向位置）が最小になるような角度θp、θt及びθr（及び、スケールＳ、平行移動量Ｘ及びＹ）を求めることによっても、顔向きを推定することができる。
Figure 0005642410
Figure 0005642410
角度推定部１２１は、上記角度推定方法を用いて、各時刻Ｔの顔領域画像の顔向きを推定し、同向きを出力する。なお、上記角度推定方法は一例であり、本発明で用いる角度推定の方法は、上記角度推定方法に限るものではない。顔の角度を推定することができる方法であれば、どのようなものでも良く、特徴点位置を利用せずに超音波センサや人物に取り付けたジャイロセンサの情報を取得するなどして顔の角度を推定しても良い。
特徴量更新部１２２は、特徴量抽出部１０５で抽出された同一人物の顔に対する特徴量の一部を更新する。図１４は、特徴量更新部１２２が更新する特徴量の一例を示す図である。同図における（Ａ２）、（Ｂ２）、（Ｃ２）は図１２に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）に対応している。図１４の（Ａ２）に示す時刻Ｔ１撮影画像では、撮影部１０１と人物の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、前述した実施の形態１と同様に、特徴点位置の低周波成分の特徴量５０１のみを更新する。また、図１４の（Ａ２）に示す時刻Ｔ１撮影画像では、顔は撮影部１０１とほぼ正対し、顔の各パーツも撮影部１０１とほぼ正対している。このような場合、顔の全てのパーツに対する特徴点の特徴量を更新する。
図１４の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、前述した実施の形態１と同様に、特徴点位置の中周波成分の特徴量５０２のみを更新する。図１４の（Ｂ２）に示す時刻Ｔ２撮影画像では、顔は右方向を向いており、顔の右部分のパーツのみ撮影部１０１とほぼ正対している。このような場合、顔の右部分のパーツに対する特徴点に対する特徴量のみ更新する。
図１４の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きくなる。このような場合、前述した実施の形態１と同様に、特徴点位置の高周波成分の特徴量５０３のみを更新する。図１４の（Ｃ２）に示す時刻Ｔ３撮影画像では顔は下方向を向いており、顔の上部分のパーツのみ撮影部１０１とほぼ正対している。このような場合、顔の上部分のパーツに対する特徴点に対する特徴量のみ更新する。
以上のように、特徴量更新部１２２は、前述した実施の形態１と同様に、信頼性が高い周波数成分の特徴量のみ、且つ、顔認証精度が良い撮影部１０１と正対した顔パーツ部分の特徴点位置の特徴量のみを更新する。
記憶部１０８、データベース１０９、検索部１１０、表示通報部１１１の動作は前述した実施の形態１の顔認識装置１００のものと同じである。図１５は、各時刻Ｔの撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図１２に示す撮影部１０１が各時刻Ｔに撮影した画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図１５の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔ特徴量は、特徴量更新部１２２により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図１５の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージを示す図である。
以上説明した特徴量更新部１２２までの動作によれば、図１５の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、前述した実施の形態１と同様に、時間経過と共に各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。また、撮影部１０１と正対した顔パーツ部分の特徴点位置の特徴量のみが順次更新される。
検索部１１０は、未更新の特徴点及び特徴量の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図１５の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
図１６は、実施の形態２の顔認識装置１２０のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ１０）。そして、撮影部１０１が取り込んだ画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ１１）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ１２）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、角度推定部１２１、特徴量更新部１２２及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＢの処理を行う（ステップＳ１３）。タスクＢの処理が行われた後、タスクＢの処理による検索結果を表示し、ユーザに通知する（ステップＳ１４）。
図１７は、前記タスクＢの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ１３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ１３２）。次いで、角度推定部１２１が特徴点位置検出部１０４で検出された特徴点位置の位置関係から人物の顔の向きを推定する（ステップＳ１３３）。更に、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ１３４）。距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、角度推定部１２１が特徴点位置から顔向きを推定し、更に特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１２２が距離推定部１０６で推定された距離及び角度推定部１２１で推定された顔の向きに応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ１３５）。撮影部１０１と人物の顔との間の距離に応じ、且つ撮影部１０１に正対する特徴点位置の特徴量が更新された後、検索部１１０が特徴量更新部１２２で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し、検索する（ステップＳ１３６）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ１３７）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ１３８）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ１３１に戻り、上記同様の処理を繰り返す。
このように実施の形態２の顔認識装置１２０によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、また角度推定部１２１が顔内の特徴点位置の位置関係から顔の向きを推定し、推定された距離と顔の向きに応じて、特徴量更新部１２２が顔内の特徴点位置での特徴量を更新し、検索部１１０が特徴量更新部１２２で更新された特徴量とデータベース１０９に保持されている個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じてユーザに通知するので、早い段階で検索結果をユーザに提供することができる。
（実施の形態３）
図１８は、本発明の実施の形態３に係る顔認識装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の顔認識装置１００と共通する部分には同一の符号を付けている。
図１８において、実施の形態３の顔認識装置１３０は、前述した実施の形態１の顔認識装置１００と同様の構成に明度検出部１３１を追加したものである。明度検出部１３１は明度を検出するものであり、顔領域画像から特徴点位置検出部１０４で検出された顔の各特徴点の位置における明度を検出する。
図１９は、実施の形態３の顔認識装置１３０で撮影される人物と撮影部１０１の関係を示す図である。人物２２０１は撮影部１０１が設置されている方向に移動している。すなわち、撮影部１０１に向って同図左から右に移動している。撮影部１０１は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で人物２２０１を撮影している。人物２２０１の上方には光源である太陽２２０４の光を遮る遮蔽物２２０５があり、人物２２０１の時刻Ｔ2での顔の一部には太陽２２０４からの光が当っていない。
図２０は、実施の形態３の顔認識装置１３０において、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３で撮影された画像を示す図である。同図において、（Ａ１）は時刻Ｔ１における撮影画像、（Ｂ１）は時刻Ｔ２における撮影画像、（Ｃ１）は時刻Ｔ３における撮影画像である。撮影部１０１に近づくに従って撮影画像が大きくなり、且つ俯角が存在することから顔が徐々に下向きになる。
撮影部１０１は、図１９における各時刻Ｔの人物２２０１を撮影する。これにより、時刻Ｔ１には図２０の（Ａ１）の撮影画像が撮影され、時刻Ｔ２には図２０の（Ｂ１）の撮影画像が撮影され、時刻Ｔ３には図２０の（Ｃ１）の撮影画像が撮影される。（Ｂ１）の時刻Ｔ２撮影画像に示すように、人物２２０１の顔の半分より下の部分には光が当たっていないため、暗くなっている。
顔検出部１０２、追跡部１０３、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６の処理は前述した実施の形態１と同じであるので説明を省略する。
明度検出部１３１は、特徴点位置検出部１０４で検出された顔の特徴点位置における明度を検出する。一般的にカメラ等の撮像装置で撮影される画像はＲＧＢもしくは輝度（グレイスケール）画像である。ＲＧＢのＧ値及び輝度値は明度とほぼ等しく、画像のＧ値又は輝度値をそのまま明度としても問題はない。特徴点位置を中心に予め決めた範囲内の画素のＧ値又は輝度値の平均値を明度として利用する。明度検出部１３１は上記明度検出方法を用いて各特徴点位置の明度を検出し出力する。なお、この明度検出方法は一例であり、本発明で用いる明度検出方法はその明度検出方法に限るものではない。特徴点位置の明度を検出することができる方法であれば、どのようなものでも良い。
特徴量更新部１３２は、特徴量抽出部１０５が抽出した同一人物の顔に対する特徴量の一部を更新する。図２１は、特徴量更新部１３２が更新する特徴量の一例を示す図である。同図における（Ａ２）、（Ｂ２）、（Ｃ２）は図２０に示す撮影部１０１が各時刻Ｔに撮影する画像（Ａ１）、（Ｂ１）、（Ｃ１）に対応している。図２１の（Ａ２）に示す時刻Ｔ1撮影画像では、撮影部１０１の顔との間の距離が長く、顔画像のサイズが小さい。このような場合、前述した実施の形態１と同様に、特徴点位置の低周波成分の特徴量５０１のみを更新する。また、図２１の（Ａ２）に示す時刻Ｔ１撮影画像では、顔の各パーツに光が当っており、明度検出部１３１が出力する各特徴点の明度も予め定めた一定値以上の値となる。このような場合、顔の各パーツに対する特徴点の特徴量を更新する。これは、一般的な顔認証では一定値以上の明度の顔画像が入力されること想定しており、このような場合に顔認証精度が良いためである。
図２１の（Ｂ２）に示す時刻Ｔ２撮影画像では、撮影部１０１と人物の顔との間の距離が（Ａ２）に比べて短くなり、顔画像のサイズが大きくなっている。このような場合、前述した実施の形態１と同様に、特徴点位置の中周波成分の特徴量５０２のみを更新する。また、図２１の（Ｂ２）に示す時刻Ｔ2撮影画像では、顔の上部分のパーツにのみ光が当っており、明度検出部１３１が出力する上部分のパーツに対する特徴点の明度のみ予め定めた一定値以上の値となる。このような場合、顔の上部分のパーツに対する特徴点に対する特徴量のみ更新する。
図２１の（Ｃ２）に示す時刻Ｔ３撮影画像では、撮影部１０１と人物の顔との間の距離が（Ｂ２）に比べて短くなり、顔画像のサイズは大きくなる。このような場合、前述した実施の形態１と同様に、特徴点位置の高周波成分の特徴量５０３のみを更新する。また、図２１の（Ｃ２）に示す時刻Ｔ3撮影画像では、顔の各パーツに光が当っており、明度検出部１３１が出力する各特徴点の明度も、予め定めた一定値以上の値となる。このような場合、顔の各パーツに対する特徴点の特徴量を更新する。以上のように、特徴量更新部１３２は、前述した実施の形態１と同様に信頼性が高い周波数成分の特徴量のみ、且つ、顔認証精度が良い、明度が予め定めた一定値以上の値となる特徴点位置の特徴量のみを更新する。
記憶部１０８、検索部１１０、データベース１０９及び表示通報部１１１の動作は前述した実施の形態１の顔認識装置１００と同じであり、以下に簡単に説明する。図２２は、顔認識装置１３０で撮影された時刻Ｔ１，Ｔ２，Ｔ３の撮影画像、特徴量及び評価空間上の範囲の一例を示す図である。同図における（Ａ１）、（Ｂ１）、（Ｃ１）は、図２０に示す撮影部１０１で各時刻Ｔに撮影される画像（Ａ１）、（Ｂ１）、（Ｃ１）である。図２２の（Ａ３）、（Ｂ３）、（Ｃ３）に示す各時刻Ｔ特徴量は、特徴量更新部１３２により更新された特徴量である。更新された特徴量が斜線（一点鎖線）で示されている。図２２の（Ｄ）は、（式２）に示す評価空間での各時刻Ｔでの検索結果範囲を２次元空間に投影した場合のイメージを示す図である。
以上説明した特徴量更新部１３２までの動作によれば、図２２の（Ａ３）、（Ｂ３）、（Ｃ３）に示すように、前述した実施の形態１と同様に、時間経過と共に各特徴点位置の低周波成分、中周波成分、高周波成分の特徴量が順次更新される。また、明度が予め定めた一定値以上の値となる特徴点位置の特徴量のみが更新される。検索部１１０は、未更新の特徴量点の周波数成分に対する演算は、（式２）の計算から除外し、予め定めた値以上の評価スコアが算出された個人を検索結果とするので、図２２の（Ｄ）に示すように、評価空間上における検索結果として出力される範囲は徐々に狭くなって行くことになる。
図２３は、実施の形態３の顔認識装置１３０のメイン処理を説明するためのフローチャートである。同図において、まず撮影部１０１が人物を撮影し画像を取り込む（ステップＳ２０）。そして、撮影部１０１が取り込んだ画像から顔検出部１０２が人物の顔領域を検出する（ステップＳ２１）。人物の顔領域が検出されると、追跡部１０３が顔領域を追跡し、同一人物かを特定する（ステップＳ２２）。次いで、特徴点位置検出部１０４、特徴量抽出部１０５、距離推定部１０６、明度検出部１３１、特徴量更新部１３２及び検索部１１０が同一人物毎に複数の顔領域画像に対し、タスクＣの処理を行う（ステップＳ２３）。タスクＣの処理が行われた後、タスクＣの処理による検索結果を表示し、ユーザに通知する（ステップＳ２４）。
図２４は、タスクＣの処理を説明するためのフローチャートである。同図において、特徴点位置検出部１０４は、顔検出部１０２で検出された人物の顔内の特徴点位置を検出する（ステップＳ２３１）。次いで、距離推定部１０６が特徴点位置検出部１０４で検出された特徴点位置の間隔から撮影部１０１と人物の顔との間の距離を推定する（ステップＳ２３２）。次いで、明度検出部１３１が特徴点位置検出部１０４で検出された特徴点位置での明度を検出する（ステップ２３３）。更に、特徴量抽出部１０５が特徴点位置検出部１０４で検出された特徴点位置での特徴量を抽出する（ステップＳ２３４）。
距離推定部１０６が撮影部１０１と人物との間の距離を推定し、明度検出部１３１が特徴点位置の明度を検出し、更に特徴量抽出部１０５が特徴点位置での特徴量を抽出した後、特徴量更新部１３２が距離推定部１０６で推定された距離及び明度検出部１３１で検出された明度に応じて特徴量抽出部１０５で抽出された特徴量を更新する（ステップＳ２３５）。撮影部１０１と人物の顔との間の距離に応じ、且つ特徴点位置の明度に応じて特徴量が更新された後、検索部１１０が特徴量更新部１３２で更新された特徴量をデータベース１０９で保持された各個人の特徴量と比較し検索する（ステップＳ２３６）。そして、検索部１１０は比較検索処理で個人を特定できたか否かを判定する（ステップＳ２３７）。この判定で個人を特定できた場合は本処理を終了し、特定できなかった場合は残りの顔領域画像があるか否かを判定する（ステップＳ２３８）。この判定で残りの顔領域画像がなければ本処理を終了し、残りの顔領域画像があればステップＳ２３１に戻り、上記同様の処理を繰り返す。
このように実施の形態３の顔認識装置１３０によれば、距離推定部１０６が撮影部１０１と人物の顔との間の距離を推定し、また明度検出部１３１が顔内の特徴点位置での明度を検出し、推定された距離と検出された明度に応じて、特徴量更新部１３２が顔内の特徴点位置での特徴量を更新し、検索部１１０が特徴量更新部１３２で更新された特徴量とデータベース１０９に保持されている個人の特徴量を比較検索するので、人物の顔を高い精度で認識することができる。更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に更新される特徴量数の増加と共に、検索結果範囲が狭まり、前回の検索結果に対して絞り込み検索を行うため、高速に検索処理を行うことができる。また更に、前述した実施の形態１と同様に、検索部１１０は時間経過と共に狭まる検索結果範囲内の人数が、予め定めた一定数以下であれば、検索処理を打ち切り、その検索結果を、表示通報部１１１を通じて通知するので、早い段階で検索結果をユーザに提供することができる。
なお、上記実施の形態１〜３では、人物の顔を認識するものであったが、人物の顔に限定されるものではなく、それ以外の動く被写体であれば、どのようなものでも認識することができる。
本発明は、撮影して得られた画像から人物の顔等の被写体の所定領域を高い精度で認識することができるといった効果を有し、防犯や重要顧客の来客管理等のカメラシステムへの適用が可能である。
１００、１２０、１３０ 顔認識装置
１０１ 撮影部
１０２ 顔検出部
１０３ 追跡部
１０４ 特徴点位置検出部
１０５ 特徴量抽出部
１０６ 距離推定部
１０７、１２２、１３２ 特徴量更新部
１０８ 記憶部
１０９ データベース
１１０ 検索部
１１１ 表示通報部
１２１ 角度推定部
１３１ 明度検出部
２０１、１２０１、２２０１ 人物
２２０４ 太陽
２２０５ 遮蔽物

Claims (11)

  1. 被写体を撮影する撮影部と、
    前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、
    前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、
    前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、
    前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする顔認識装置。
  2. 前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部を備え、前記検索部での検索結果に基づき前記所定の領域を認識する請求項１記載の顔認識装置。
  3. 前記所定の領域内の特徴点位置を検出する特徴点位置検出部を備え、
    前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記所定の領域との間の距離を推定する請求項１記載の顔認識装置。
  4. 人物を撮影する撮影部と、
    前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
    前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
    前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
    前記撮影部と前記顔との間の距離を推定する距離推定部と、
    前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、
    前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
    を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
  5. 前記距離推定部は前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する請求項４記載の顔認識装置。
  6. 人物を撮影する撮影部と、
    前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
    前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
    前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
    前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、
    前記顔の向きを推定する角度推定部と、
    前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記角度推定部で推定された前記顔の向きに応じて更新する特徴量更新部と、
    前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
    を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
  7. 前記角度推定部は前記特徴点位置検出部で検出された前記特徴点位置の位置関係から前記顔の向きを推定する請求項６記載の顔認識装置。
  8. 人物を撮影する撮影部と、
    前記撮影部での撮影結果としての画像から前記人物の顔を検出する顔検出部と、
    前記顔検出部で検出された前記顔内の特徴点位置を検出する特徴点位置検出部と、
    前記特徴点位置検出部で検出された前記特徴点位置での特徴量を抽出する特徴量抽出部と、
    前記特徴点位置検出部で検出された前記特徴点位置の間隔から前記撮影部と前記顔との間の距離を推定する距離推定部と、
    前記特徴点位置検出部で検出された前記特徴点位置での明度を検出する明度検出部と、
    前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離及び前記明度検出部で検出された前記特徴点位置での明度に応じて更新する特徴量更新部と、
    前記特徴量更新部で更新された前記特徴量を予め保持されている特徴量と比較し検索する検索部と、
    を備え、前記検索部での検索結果に基づき前記顔を認識する顔認識装置。
  9. 撮影部が被写体を撮影する撮影ステップと、
    前記撮影ステップでの撮影結果としての画像から前記被写体の所定の領域を検出する領域検出ステップと、
    前記領域検出ステップで検出された前記所定の領域内の特徴量を抽出する特徴量抽出ステップと、
    前記被写体を撮影した前記撮影部と前記所定の領域との間の距離を推定する距離推定ステップと、
    前記特徴量抽出ステップで抽出された前記特徴量を前記距離推定ステップで推定された前記距離に応じて更新する特徴量更新ステップと、を備えることを特徴とする顔認識方法。
  10. 被写体を撮影部が撮影した画像を受け取り、前記画像から前記被写体の所定の領域を検出する領域検出部と、
    前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、
    前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、
    前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする顔認識装置。
  11. 被写体を撮影する撮影部と、
    前記撮影部での撮影結果としての画像から前記被写体の所定の領域を検出する領域検出部と、
    前記領域検出部で検出された前記所定の領域内の特徴量を抽出する特徴量抽出部と、
    前記撮影部と前記所定の領域との間の距離を推定する距離推定部と、
    前記特徴量抽出部で抽出された前記特徴量を前記距離推定部で推定された前記距離に応じて更新する特徴量更新部と、を備えることを特徴とする顔認識システム。
JP2010077418A 2010-03-30 2010-03-30 顔認識装置及び顔認識方法 Active JP5642410B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010077418A JP5642410B2 (ja) 2010-03-30 2010-03-30 顔認識装置及び顔認識方法
EP10848870.1A EP2555159A4 (en) 2010-03-30 2010-11-08 FACE DETECTION DEVICE AND FACIAL RECOGNITION METHOD
PCT/JP2010/006550 WO2011121688A1 (ja) 2010-03-30 2010-11-08 顔認識装置及び顔認識方法
CN2010800660105A CN102822865A (zh) 2010-03-30 2010-11-08 脸部识别设备和脸部识别方法
US13/637,528 US9621779B2 (en) 2010-03-30 2010-11-08 Face recognition device and method that update feature amounts at different frequencies based on estimated distance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010077418A JP5642410B2 (ja) 2010-03-30 2010-03-30 顔認識装置及び顔認識方法

Publications (2)

Publication Number Publication Date
JP2011210030A JP2011210030A (ja) 2011-10-20
JP5642410B2 true JP5642410B2 (ja) 2014-12-17

Family

ID=44711485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010077418A Active JP5642410B2 (ja) 2010-03-30 2010-03-30 顔認識装置及び顔認識方法

Country Status (5)

Country Link
US (1) US9621779B2 (ja)
EP (1) EP2555159A4 (ja)
JP (1) JP5642410B2 (ja)
CN (1) CN102822865A (ja)
WO (1) WO2011121688A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5669082B2 (ja) 2010-04-19 2015-02-12 パナソニックＩｐマネジメント株式会社 照合装置
JP5923723B2 (ja) 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
WO2013001144A1 (en) * 2011-06-30 2013-01-03 Nokia Corporation Method and apparatus for face tracking utilizing integral gradient projections
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
EP2811736A4 (en) 2012-01-30 2014-12-10 Panasonic Corp OPTIMUM CAMERA SETUP DEVICE AND OPTIMUM CAMERA SETTING METHOD
JP5965654B2 (ja) * 2012-02-02 2016-08-10 オリンパス株式会社 追尾装置及び撮像装置、撮像装置に用いる追尾方法
JP5955031B2 (ja) * 2012-02-29 2016-07-20 セコム株式会社 顔画像認証装置
JP5955056B2 (ja) * 2012-03-30 2016-07-20 セコム株式会社 顔画像認証装置
JP5955057B2 (ja) * 2012-03-30 2016-07-20 セコム株式会社 顔画像認証装置
KR101408591B1 (ko) * 2012-04-27 2014-06-17 삼성전기주식회사 무안경 3차원 영상 디스플레이 장치 및 방법
JP5949912B2 (ja) * 2012-05-22 2016-07-13 富士通株式会社 生体情報処理装置、生体情報処理方法及びプログラム
JP5899472B2 (ja) * 2012-05-23 2016-04-06 パナソニックＩｐマネジメント株式会社 人物属性推定システム、及び学習用データ生成装置
JP5955133B2 (ja) * 2012-06-29 2016-07-20 セコム株式会社 顔画像認証装置
KR101899978B1 (ko) 2012-07-11 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20140098296A1 (en) * 2012-10-04 2014-04-10 Ati Technologies Ulc Method and apparatus for changing a perspective of a video
WO2014076899A1 (ja) * 2012-11-16 2014-05-22 パナソニック株式会社 カメラ、カメラシステム、及び自己診断方法
US9143763B2 (en) * 2013-11-20 2015-09-22 Olympus Corporation Imaging apparatus, imaging method, and computer-readable recording medium
US20150201124A1 (en) * 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
JP5830706B2 (ja) * 2014-01-29 2015-12-09 パナソニックＩｐマネジメント株式会社 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
WO2017010514A1 (ja) 2015-07-15 2017-01-19 日本電信電話株式会社 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
JP6722878B2 (ja) * 2015-07-30 2020-07-15 パナソニックＩｐマネジメント株式会社 顔認証装置
US10496874B2 (en) 2015-10-14 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Facial detection device, facial detection system provided with same, and facial detection method
CN107169397B (zh) * 2016-03-07 2022-03-01 佳能株式会社 特征点检测方法及装置、图像处理系统和监视系统
US10565712B2 (en) * 2016-06-21 2020-02-18 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same
US9875398B1 (en) 2016-06-30 2018-01-23 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition with two-dimensional sensing modality
FR3055161B1 (fr) * 2016-08-19 2023-04-07 Safran Identity & Security Procede de surveillance au moyen d’un systeme multi-capteur
JP6705738B2 (ja) * 2016-12-05 2020-06-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびプログラム
JP7051287B2 (ja) 2016-12-05 2022-04-11 株式会社ソニー・インタラクティブエンタテインメント システム、治具、および情報処理方法
US10755422B2 (en) * 2017-07-24 2020-08-25 Htc Corporation Tracking system and method thereof
CN109325393B (zh) * 2017-08-01 2022-12-09 苹果公司 使用单一网络的面部检测、姿态估计和距相机距离的估计
JP6544404B2 (ja) * 2017-09-19 2019-07-17 日本電気株式会社 照合システム
KR102466942B1 (ko) 2017-12-27 2022-11-14 한국전자통신연구원 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법
CN112771522A (zh) * 2018-10-03 2021-05-07 富士通株式会社 生物体认证装置、生物体认证方法以及生物体认证程序
CN109684918A (zh) * 2018-11-14 2019-04-26 南宁学院 一种高速物体识别系统
JP6675564B1 (ja) * 2019-05-13 2020-04-01 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
CN112395902A (zh) * 2019-08-12 2021-02-23 北京旷视科技有限公司 人脸活体检测方法、图像分类方法、装置、设备和介质
TWI705383B (zh) * 2019-10-25 2020-09-21 緯創資通股份有限公司 人物追蹤系統及人物追蹤方法
CN112333418B (zh) * 2020-04-30 2023-05-23 深圳Tcl新技术有限公司 智能开锁模式的确定方法、装置、智能门铃及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315145A (ja) * 1995-05-16 1996-11-29 Hitachi Ltd パターン認識における入力選択方法およびその装置
JPH11252587A (ja) * 1998-03-03 1999-09-17 Matsushita Electric Ind Co Ltd 物体追跡装置
JP3755343B2 (ja) 1999-06-30 2006-03-15 オムロン株式会社 歩行者観測装置、およびその装置を用いた歩行者認識システム、扉開閉制御システムならびに建造物
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP4531501B2 (ja) 2003-09-29 2010-08-25 富士フイルム株式会社 照合システム及びそのプログラム
JP4599110B2 (ja) * 2004-07-30 2010-12-15 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
JP4459788B2 (ja) 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP4734980B2 (ja) 2005-03-15 2011-07-27 オムロン株式会社 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP2007156541A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 人物認識装置、人物認識方法および入退場管理システム
JP4862518B2 (ja) * 2006-06-29 2012-01-25 パナソニック株式会社 顔登録装置、顔認証装置および顔登録方法
JP2008015871A (ja) * 2006-07-07 2008-01-24 Konica Minolta Holdings Inc 認証装置、及び認証方法
JP2009025874A (ja) 2007-07-17 2009-02-05 Nec Corp 顔画像登録装置、顔識別装置、顔画像登録方法、顔識別方法、顔画像登録プログラム
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
KR100883519B1 (ko) * 2007-08-27 2009-02-13 한국전자통신연구원 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법
JP4518157B2 (ja) * 2008-01-31 2010-08-04 カシオ計算機株式会社 撮像装置及びそのプログラム
JP5053136B2 (ja) * 2008-03-13 2012-10-17 セコム株式会社 移動物体追跡装置

Also Published As

Publication number Publication date
JP2011210030A (ja) 2011-10-20
WO2011121688A1 (ja) 2011-10-06
US9621779B2 (en) 2017-04-11
CN102822865A (zh) 2012-12-12
EP2555159A4 (en) 2013-12-18
EP2555159A1 (en) 2013-02-06
US20130010095A1 (en) 2013-01-10

Similar Documents

Publication Publication Date Title
JP5642410B2 (ja) 顔認識装置及び顔認識方法
Ahmed et al. A robust features-based person tracker for overhead views in industrial environment
Portmann et al. People detection and tracking from aerial thermal views
JP4241763B2 (ja) 人物認識装置及びその方法
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
US10002286B1 (en) System and method for face recognition robust to multiple degradations
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
Juefei-Xu et al. Unconstrained periocular biometric acquisition and recognition using COTS PTZ camera for uncooperative and non-cooperative subjects
KR100580626B1 (ko) 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
US20080013837A1 (en) Image Comparison
JP5766564B2 (ja) 顔認証装置及び顔認証方法
JP2004199669A (ja) 顔検出
JP2004192637A (ja) 顔検出
JP2014182480A (ja) 人物認識装置、及び方法
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
JP5971712B2 (ja) 監視装置及び方法
Alqahtani et al. 3D face tracking using stereo cameras: A review
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム
Tu et al. An intelligent video framework for homeland protection
CN113763418B (zh) 一种基于头肩检测的多目标跟踪方法
JP7374632B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4061405B2 (ja) 顔画像分類登録装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130311

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141029

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250