JP5791364B2 - 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 - Google Patents

顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP5791364B2
JP5791364B2 JP2011109412A JP2011109412A JP5791364B2 JP 5791364 B2 JP5791364 B2 JP 5791364B2 JP 2011109412 A JP2011109412 A JP 2011109412A JP 2011109412 A JP2011109412 A JP 2011109412A JP 5791364 B2 JP5791364 B2 JP 5791364B2
Authority
JP
Japan
Prior art keywords
face
image
dictionary
similarity
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011109412A
Other languages
English (en)
Other versions
JP2012242891A (ja
Inventor
経史朗 中元
経史朗 中元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011109412A priority Critical patent/JP5791364B2/ja
Priority to US13/461,254 priority patent/US20120294496A1/en
Priority to CN201210150489.1A priority patent/CN102855463B/zh
Publication of JP2012242891A publication Critical patent/JP2012242891A/ja
Application granted granted Critical
Publication of JP5791364B2 publication Critical patent/JP5791364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は顔認識機能で被写体人物を判別するための顔認識装置に関する。
画像ブラウザで、顔認識機能により自動的に人物ごとに画像を管理する機能が普及してきている。
それでも、同一人物の顔画像を複数枚、顔辞書に登録する際には繰り返し顔画像を登録する手間が必要になる。
顔辞書に登録する作業の手間の軽減のために、顔認識機能を使って、最初に登録された人物と同一人物と思われる顔画像を、似ている順にソートしたものを一覧表示してユーザに提示する方法が提案されている。(例えば特許文献1)
ユーザは提示された顔画像一覧から本人が写っている顔画像を選択して、本人であると確定すると、画像ブラウザはこれらの顔画像を顔辞書に追加登録する。
顔画像が追加登録された時点で顔辞書が更新され、よりよい精度で顔認識した結果、同一人物と思われる顔画像を改めて一覧表示してユーザに提示する。
また、顔認識機能の特性として、同じような顔画像ばかりを登録すると、認識精度が少ししか上がらないということが分かっている。
特開2005−174308号公報
上述したように、顔辞書に登録済の顔画像に対して類似度が非常に高い同一人物の顔画像を顔辞書に新たに登録しても、認識精度を効率的に向上させることができない。むしろ、認識精度を効率的に向上させるには、顔辞書に登録する同一人物の顔画像同士が似すぎないような顔画像を登録する方が良い。
しかしながら、顔辞書に登録すべき顔画像として、似すぎていない同一人物の顔画像を探すには手間がかかる。また、似すぎていない同一人物の顔画像を顔辞書に登録する方が認識精度が効率的に向上することを知らないユーザにとっては、似すぎていない顔画像を探すことさえしない可能性がある。
上記従来技術の問題を解決するため、本件発明の顔認識装置は、画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された特徴量を人物名と関連付けて、前記顔の人物を認識するための顔辞書を生成する顔辞書生成手段と、前記顔辞書に追加する顔の特徴量に対応する顔画像の候補の一覧を表示部に表示する表示制御手段と、前記顔画像の一覧から、前記顔辞書に追加すべき顔の特徴量に対応する顔画像を選択する選択手段と、他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出する算出手段とを有し、前記表示制御手段は、前記類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として前記表示部に表示し、前記所定の範囲は、前記算出手段で算出された類似度が第1の閾値よりも低い低類似度を示す範囲と、前記第1の閾値よりも大きな第2の閾値よりも高い高類似度を示す範囲とを含まない範囲である
本発明によれば、効率よく検索精度が向上する顔候補画像を表示できるので、ユーザが本人確定作業を繰り返す際に、より少ない手数で確定の精度を向上することができる。
また、ユーザが似すぎていない同一人物の顔画像を顔辞書に登録するほうが認識精度が効率的に向上するという顔認識機能の特性を知らなくても、より少ない手数で似すぎていない同一人物の顔画像を顔辞書に登録することができる。
本発明の実施形態に係るパーソナルコンピュータを示すブロック図である。 本発明の実施形態に係る顔検索ダイアログを示す図である。 本発明の実施形態に係る顔辞書編集対象人物選択ダイアログを示す図である。 本発明の実施形態に係る顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)を示す図である。 本発明の実施形態に係る顔画像リストの構成を示す図である。 本発明の実施形態に係る顔辞書の構成を示す図である。 本発明の第1の実施例に係る顔辞書登録画像候補抽出処理のフローチャートである。 本発明の第1の実施例に係る認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 本発明の実施形態に係る顔画像追加前の顔検索ダイアログの動作例を示す図である。 本発明の実施形態に係る顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)の動作例を示す図である。 本発明の実施形態に係る顔画像追加後の顔検索ダイアログの動作例を示す図である。 第1の実施例の変形例に係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 第1の実施例の他の変形例にか係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 第1の実施例の他の変形例に係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 第1の実施例の他の変形例に係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示すである。 本件発明の第2の実施例に係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 本件発明の第2の実施例に係わる顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)を示す図である。 第2の実施例の変形例に係わる顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)を示す図である。
[第1の実施例]
以下の実施例に置いて、画像ブラウザは、画像ファイルの管理や画像の表示、画像ファイルに付属するサムネイル画像の一覧表示する機能等を有するアプリケーションである。
また、以下の実施例では、画像に写っている人物の顔を解析して、例えば目・鼻・口や顔の、形状や色等の特徴を所定の演算でパラメータ化したものを「顔特徴量」と記す。
また、上記の顔特徴量の情報を、それぞれ番号やファイル名などでデータベース化し、管理可能にしたデータベースファイルを「顔辞書」と記す。
本実施形態の顔認識装置は、ハードディスク等の記憶装置内の画像ファイルの画像に含まれる顔を認識して、人物ごとに顔を管理する機能を備えている。
本実施例では、顔辞書に顔を登録する際に、ユーザに認識精度が効率的に向上する顔画像候補一覧を表示する顔認識装置の説明を行う。
[顔認識装置として動作する画像ブラウザ]
まず、本件発明の実施形態に係わる顔認識装置として動作するパーソナルコンピュータについて説明する。
図1は本発明の一実施形態にかかるパーソナルコンピュータを示すブロック図である。パーソナルコンピュータにおいて所定の制御プログラムを実行することにより、以下に説明する顔認識処理を実現し、顔認識装置として機能する。
図1において、101はパーソナルコンピュータ全体の制御をつかさどるCPU(Central Processing Unit)である。
102はCPU101の動作処理手順(例えばパーソナルコンピュータの電源をONにした時の処理や基本入出力処理などのプログラム)を記憶しているROM(Read Only Memory)である。
103はRAM(Random Access Memory)であり、CPU101のメインメモリとして機能する。RAM103には後述の処理を実現するための制御プログラムを含む各種処理を実行する際のワークエリアを提供する。
104はディスプレイ(表示部)であり、CPU101の制御下で各種表示を行う。たとえば、画像ブラウザのアプリケーションで、サムネイルの一覧表示を行う。
105はハードディスクドライブ(Hard Disk Drive)であり、画像ブラウザの制御プログラムを格納しているものである。また、画像ブラウザが管理する画像ファイルと顔辞書もハードディスク105内に格納するものとする。
106はDVD(Digital Versatile Disc)であり、着脱可能な光学記録媒体を装着し、記録されたデータを読み出すことを可能とする。
107は画像ブラウザの各種操作を行うためのマウスやキーボードとしての入力装置である。
108は記録媒体装着ユニット(メディアドライブ)であり、着脱可能な記録媒体を装着し、データを記録したり、記録されたデータを読み書きすることを可能とする。
109は上述した各ユニット間を接続するシステムバス(アドレスバス、データバスおよび制御バスからなる)である。
[顔認識装置のユーザインタフェース]
本件発明の実施形態に係わる顔認識装置として動作する画像ブラウザのユーザインタフェースを図2と図3と図4を用いて詳細に説明する。一般的な画像ブラウザには、特定のフォルダに保持されている画像の一覧表示機能の他に、撮影日時で管理する機能や、画像の撮影場所で管理する機能があるが、ここでは本件発明が係わる画像ブラウザが持つ機能のうち、顔認識機能に絞って説明する。
図2は本発明の実施形態に係る顔検索ダイアログを示す図である。
図3は本発明の実施形態に係わる顔辞書編集対象人物選択ダイアログを示す図である。
図4は本発明の実施形態に係わる顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)を示す図である。
201はCPU101がパーソナルコンピュータのディスプレイ104に表示する顔検索ダイアログである。
202は顔検索ダイアログの終了ボタンである。ユーザによって終了ボタン202が押下されると、CPU101は画像ブラウザにおける顔検索ダイアログを終了する。
203は人物名入力テキストボックスである。204は顔検索ダイアログにおける顔画像一覧表示エリアである。
人物名テキストボックス203に人物名が入力されて検索コマンドの実行が指示されると、CPU101は人物名テキストボックス203に入力された人物名を取得する。そして、ハードディスクの中の特定のフォルダ内からその人物が写っているとユーザによって確定された画像(顔辞書登録画像)、およびCPU101がその人物に似ていると(例えば所定値以上の類似度を有する画像)判定した画像をすべて顔画像一覧表示エリア204に並べて表示する。
209は辞書登録ボタンである。ユーザが辞書登録ボタン209を押下すると、CPUは101は図3の顔辞書編集対象人物選択ダイアログ301を表示する。
301は顔辞書編集対象人物選択ダイアログである。ユーザによって終了ボタン302が押下されると、CPU101は顔辞書編集対象人物選択ダイアログ301を閉じて、顔検索ダイアログ201に遷移する。
303は顔辞書編集対象人物選択リストボックスである。辞書登録ボタン209が押されて、顔辞書編集対象人物選択ダイアログ301が表示された時点で、CPU101は顔辞書から、既に顔辞書に登録されているすべての人物名のリストを取得して、顔辞書編集対象人物選択リストボックス303に表示する。ユーザがマウスを操作して、顔辞書編集対象人物選択リストボックス303に表示されている人物のうち、特定の人物を選択すると、CPU101は選択された人物名を選択状態(図3では反転表示)にする。
304は顔辞書編集対象人物選択ダイアログ301のOKボタンである。ユーザがOKボタン304を押下すると、CPU101は顔辞書編集対象人物選択リストボックス303で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログを閉じる。そして、CPU101は取得した人物名に対応した顔辞書ダイアログ401と顔候補画像一覧ダイアログ405を表示する。
402は終了ボタンであり、ユーザが終了ボタン402を押下すると、CPU101は顔辞書ダイアログ401と顔候補画像一覧ダイアログ405を閉じて、顔検索ダイアログ201に遷移する。
403は顔辞書ダイアログ401における顔辞書登録済画像一覧表示エリアであり、選択された特定の人物についてユーザが既に顔辞書に登録済の顔画像をCPU101が顔辞書から取得して一覧表示する領域である。例として、図4ではCPU101が顔辞書から取得したAさんの顔として顔画像404を表示する。
406は顔候補画像一覧表示エリアであり、ユーザが指定した特定の人物に似ているとCPU101が判定した顔画像をHDD105から取得して一覧表示する領域である。例として、図4ではCPU101がHDD105から取得した顔候補画像として顔画像407、顔画像408、顔画像409が表示されている。
ユーザが顔候補画像一覧表示エリア406に表示されている顔画像407を目視で本人であると認定して顔辞書に登録したい場合、ユーザは顔画像407をマウスで選択したのち、顔辞書登録済画像一覧エリア403へドラッグ&ドロップ410操作を行う。ユーザのドラッグ&ドロップ410操作を受けてCPU101は、顔画像407の顔を顔辞書編集対象人物選択ダイアログ303で選択した人物名の顔として顔辞書に登録する(顔辞書生成)。
[顔画像リストの構成]
本発明の実施形態に係る顔画像リストの構成を図5を参照して説明する。
図中、501は顔画像リストであり、HDD105の特定のフォルダに収められている全画像に含まれるすべての顔とそれらに関連した情報を保持するリストである。
502は顔ID(顔識別子)であり、HDD105内の画像に写っている人物それぞれを識別するために割り当てられたユニークな番号である。
503はサムネイルとしての顔画像であり、顔ID502に対応したHDD105内の画像に含まれている人物の顔部分の領域を特定の大きさ(図5では縦120ピクセル、横96ピクセルの大きさ)に正規化したものである。顔画像503は、顔辞書ダイアログ401と顔候補画像一覧表示エリア406で顔画像を表示する際にCPU101が使用する。
504は顔特徴量であり、このデータはバイナリデータとして顔画像リスト501に格納されている。顔特徴量とは、画像に含まれる人物の顔をCPU101が解析して目鼻口や顔の形状をパラメータ化したバイナリデータである。
505は顔ID502の顔を含む画像のファイル名である。つまり、このファイル名の画像に顔ID502の顔が写っていることを意味する。
顔画像リスト501内の情報は、ユーザが検索対象範囲フォルダとして、画像ブラウザに設定した特定のフォルダの情報に基づいて、あらかじめCPU101が特定のフォルダ内の全画像を解析して生成した情報であるものとする。
[顔辞書の構成]
図6は本発明の実施形態に係る顔辞書の構成を示す図である。
601は顔辞書テーブルであり、CPU101が顔の情報を管理するためにHDD105内に保持するテーブルである。
602は人物名のカラムであり、ユーザが管理対象の人物名を顔辞書に登録した際に、CPU101が顔辞書テーブル601の人物名602のカラムに記録する。
603は顔IDのカラムであり、ユーザが管理対象の顔ID502を顔辞書に登録した際に、CPU101が顔辞書テーブル601の顔ID603のカラムに記録する。
604は顔特徴量のカラムであり、ユーザが顔画像リスト501で管理されている顔ID502をの顔を顔辞書に登録する際に、CPU101が顔ID502にの顔特徴量504を顔辞書テーブル601の顔特徴量604のカラムに記録する。
人物名602のカラムの中のひとつの人物名602については複数の顔ID502とそれらの顔特徴量504とをまとめてグループ化することができる。
図7は本発明の第1の実施例に係る顔辞書登録画像候補抽出処理のフローチャートである。
このフローチャートはユーザによって顔候補画像一覧ダイアログ405が開かれたことをトリガにてCPU101が始める処理を示す。
ステップS701にて、CPU101は予め作成された特定フォルダの顔画像リスト501をHDD501からメモリにコピーする。
ステップS702にて、CPU101は顔辞書編集対象人物選択リストボックス303で選択された人物名に従って、HDDにある顔辞書601から検索対象となる人物名602とそれに関連付けられた顔ID603と顔特徴量604を取得する(特徴量抽出)。
ステップS703にて、CPU101はステップS702にて取得した顔辞書に既に登録済みの顔画像と同じ顔ID603を有する顔画像を、コピーされた顔画像リストから削除する。
ステップS704にて、CPU101は顔画像リスト内の各顔特徴量504に対して、顔辞書の顔特徴量604とを比較して、類似度を算出する。
ここで算出された類似度は、CPU101が顔画像リスト内の顔IDと関連づけて保持する。
また、顔辞書において検索対象の人物名に複数の顔IDと顔特徴量が関連付けられている場合は、CPUは顔辞書の複数の顔特徴量をマージしたものを、顔画像リスト内の顔特徴量と比較して類似度を算出する。
ステップS705にて、CPU101は認識精度が効率的に向上する顔画像を抽出する認識精度向上顔画像抽出処理を実行する。
ステップS705の処理の詳細は後述する。
ステップS706にて、CPU101はステップS706にて抽出された顔画像を候補画像としてディスプレイ画面上に一覧表示して、このフローチャートを終了する。
図8は本発明の第1の実施例に係る認識精度向上顔画像抽出処理の詳細なフローチャートである。
図8のフローチャートはステップS705の認識精度向上顔画像抽出処理を詳細に記述したものである。
ステップS801にて、CPU101は顔画像リストの現在のポインタを顔画像リストの先頭(図8では1番目)に移動する。
ステップS802にて、CPU101は、顔画像リストの現在のポインタのデータを取得できるか否かを判定し、顔画像リストの現在のポインタからデータを取得できると判定した場合は、ステップS803へと処理を進める。
ステップS802にて、顔画像リストの現在のポインタからデータを取得できないと判定した場合は、CPU101は、このフローチャートを終了する。
ステップS803にて、CPU101は顔画像リストの現在のポインタのデータを取得する。この場合、顔画像リストのデータだけでなくステップS704で算出されて顔IDと関連つけられて保持された類似度もデータとして取得する。
ステップS804にて、CPU101は、S803にて取得した類似度が第一閾値以上であるか否かを判定し、類似度が第一閾値以上であると判定した場合は、ステップS805へと処理を進める。この判定は、同じ人物の顔画像であっても例えば一方の顔画像が正面を向いた顔画像で、他方が横を向いた顔画像であるために類似度が低くなって検索されない低類似度の場合を回避するための判定である。
ステップS804にて類似度が第一閾値以上ではないと判定した場合は、CPU101はステップS808へと処理を進める。
ステップS805にて、CPU101は、S803にて取得した類似度が、第一閾値より大きな値の第二閾値以下であるか否かを判定し、類似度が第二閾値以下であると判定した場合は、ステップS806へと処理を進める。この判定は、例えばともに正面から撮った証明用の写真画像である場合のように、明らかに同一人物の似た画像を検索してしまう高類似度の場合を避けるための判定である。なお、Aさん”の人物名で検索をかけたときに表示された顔画像902、903、904はこの高類似度の場合に相当する。
ステップS805にてCPU101は、類似度が第二閾値以下ではないと判定した場合は、ステップS808へと処理を進める。
ステップS806にて、CPU101は、S803にて取得した顔画像の顔の向きが登録済み画像と異なるか否かを判定し、顔画像の顔の向きが登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。このステップS806での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS806にて、顔画像の顔の向きが登録済み画像と異なると判定されなかった場合は、CPU101はステップS808へと処理を進める。このステップS806での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS807にて、CPU101は顔画像リストの現在のポインタを1進める。その後、ステップS802へと処理を進める。
ステップS808にて、CPU101は顔画像リストから現在のポインタにある顔画像を削除し、ステップS807へと処理を進める。
以上の処理を顔画像リストに格納されているすべての顔IDに対応する顔画像にたいして行なうことにより、同一人物の顔画像であり、かつ例えばポーズの異なる顔画像を人物名を指定するだけで顔辞書に登録することが可能となる。
以上、本件発明の第1の実施例に係わる顔認識装置について説明した。
これより以下、本件発明の第1の実施例に係わる顔認識装置を使用した場合のユーザインタフェースの動作例について説明する。
図9は本発明の第1の実施例に係る顔画像追加前の顔検索ダイアログの動作例を示す図である。図9の基本的なユーザインタフェースは図2と同様である。
図10は本発明の第1の実施例に係る顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)の動作例を示す図である。図10の基本的なユーザインタフェースは図4と同様である。
図11は本発明の第1の実施例に係る顔画像追加後の顔検索ダイアログの動作例を示す図である。図11の基本的なユーザインタフェースは図2と同様である。
図9において、ユーザが画像ブラウザの一機能である顔検索ダイアログ201を開き、人物名入力テキストボックス203に人物名として“Aさん”と入力する。CPU101はこの入力を検出すると顔辞書から“Aさん”と確定した顔画像901と、HDD105からCPU101が“Aさん”に似ていると判定した顔画像902、顔画像903、顔画像904を顔画像一覧表示エリア204に表示する。しかし、ユーザから見て明らかに“Aさん”が写っているが、CPU101が“Aさん”に似ていると判定しなかったために、顔画像一覧表示エリア204に出てこなかった検索漏れの顔画像905、顔画像906がHDD105上に存在する。
ここで、ユーザが辞書登録ボタン209を押下し、さらに図3の顔辞書編集対象人物選択ダイアログ301にて、顔辞書編集対象人物選択リストボックス303で顔辞書を編集したい人物名として“Aさん”を選択して、OKボタン304を押下するとする。すると、CPU101は図10の顔辞書ダイアログと顔候補画像一覧ダイアログを表示する。
図10の顔候補画像一覧ダイアログ406を表示する際に、CPU101は前述の認識精度向上顔画像抽出処理を実行することで、“Aさん”に似すぎていない顔画像1001、顔画像1002を顔候補画像一覧表示エリア406に一覧表示する。
ここで、ユーザが“Aさん”に似すぎていない顔画像1001を本人と認定して、この顔画像1001を顔辞書登録済画像一覧表示エリア403へドラッグ&ドロップ1003する。すると、CPU101はユーザによって選択された顔画像1001を“Aさん”の顔として顔辞書に登録する。
ユーザが図11の顔検索ダイアログ201に戻り、改めて人物名入力テキストボックス203で“Aさん”の人物名で検索をかける。これを受けて、CPU101は更新された顔辞書に従って次の画像を表示する。即ち、“Aさん”と確定した顔画像901と顔画像1101、HDD105からCPU101が“Aさん”に似ていると判定した顔画像902、顔画像903、顔画像904、顔画像1102を顔画像一覧表示エリア204に表示する。すなわち、顔画像1001を顔辞書に登録できたので、Aさん”の人物名で検索をかけたときに、従来検索されていた類似顔画像902−904に加えて、新たに顔画像1102も検索されて表示されるようになる。
以上、説明したとおり、本実施形態の顔認識装置を用いれば、効率よく精度が向上する顔候補画像が表示されるので、ユーザは本人確定作業を繰り返す際に、より少ない手数で認識精度をあるレベルまで向上することができる。
また、似すぎていない同一人物の顔画像を顔辞書に登録するほうが認識精度が効率的に向上するという顔認識機能の特性を知らなくても、より少ない手数で認識精度をあるレベルまで向上することができる。
そして、顔認識率が効果的に向上すると思われる顔の特徴量の登録を促し、一方、そうでない特徴量の登録を減少させることも出来るので、登録済の顔特徴量のデータを保持するためのメモリやハードディスクの消費量を節約できる。
また、本発明によれば、人物を検索する際に、認識率向上に寄与しない顔辞書登録画像の顔特徴量との比較が無くなるので、認識率が同程度の検索をより高速に行うことができる。
本実施例においては、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔の向きが顔辞書登録済み顔画像と異なるものを顔画像候補とする認識精度向上顔画像抽出処理を挙げた。しかし、本実施例の変形例として、顔の向き以外の特徴量を判定対象とすることも可能である。例えば、顔画像の光源の方向、顔の表情、推定年齢、ひげなどの顔のパーツを判定対象とすることが考えられる。以下、各変形例を順に説明する。認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔に対する光の当り方(即ち、顔画像の光源の方向)が、登録済み顔画像とは異なるものを顔画像候補とする変形例を説明する。尚、顔認識装置の構成は第1の実施例と同じである。
図12は、本変形例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図12のフローチャートは第1の実施例におけるステップS705の処理をさらに詳細に記述したものである。
図12において、ステップS801〜S805とステップS807〜S808は、第1の実施例と同じ処理内容である。
ステップS1201にて、CPU101は、S803にて取得した顔画像の顔に対する光の当り方が登録済み画像と異なるか否かを判定し、顔画像の顔に対する光の当り方が登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。このステップS1201での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS1201にて顔画像の顔に対する光の当り方が登録済み画像と異なると判定されなかった場合は、CPU101はステップS808へと処理を進める。
以上説明したとおり、本変形例によれば、既に顔辞書に登録されている顔画像と同じ様な影が顔にある顔画像が、顔候補画像一覧表示エリア406に表示されない。そのため、たとえHDD105に同じような影が顔にある顔画像が多数あったとしても、ユーザは顔辞書登録時に同じような影が顔にある画像を何度も繰り返し顔辞書に登録する手間を省くことが可能になる。
次に、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔の表情が、登録済み顔画像とは異なるものを顔画像候補とする変形例を説明する。尚、顔認識装置の構成は第1の実施例と同じである。
図13は、本変形例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図13のフローチャートは第1の実施例おけるステップS705の処理をさらに詳細に記述したものである。
図13において、ステップS801〜S805とステップS807〜S808は第1の実施例と同じ処理内容である。
ステップS1301にて、CPU101は、S803にて取得した顔画像の顔の表情が登録済み画像と異なるか否かを判定し、顔画像の顔の表情が登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。このステップS1301での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS1301にて顔画像の顔の表情が登録済み画像と異なると判定されなかった場合は、CPU101はステップS808へと処理を進める。
以上説明したとおり、本変形例によれば、既に顔辞書に登録されている顔画像と同じ様な表情をした顔画像が、顔候補画像一覧表示エリア406に表示されない。そのため、たとえHDD105に同じような表情をした顔画像が多数あったとしても、ユーザは顔辞書登録時に同じような表情をした顔画像を何度も繰り返し顔辞書に登録する手間を省くことが可能になる。
次に、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ被写体人物の推定年齢が、登録済み顔画像と離れているものを顔画像候補とする変形例を説明する。尚、顔認識装置の構成は第1の実施例と同じである。
図14は、本変形例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図14のフローチャートは第1の実施例おけるステップS705の処理をさらに詳細に記述したものである。
図14において、ステップS801〜S805とステップS807〜S808は、第1の実施例と同じ処理内容である。
ステップS1401にて、CPU101は、S803にて取得した顔画像の被写体人物の推定年齢が登録済み画像のそれと離れているか否かを判定し、顔画像の被写体人物の年齢が登録済み画像と離れていると判定した場合は、ステップS807へと処理を進める。このステップS1401での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS1401にて顔画像の被写体人物の推定年齢が登録済み画像と離れていると判定されなかった場合は、CPU101はステップS808へと処理を進める。
以上説明したとおり、本変形例によれば、既に顔辞書に登録されている人物の顔画像で、今までは推定年齢による顔の変化の影響で類似度が低いと判定された画像も顔候補画像一覧表示エリア406に表示されるようになる。そのため、ユーザは顔辞書登録時にわざわざHDD105から手動で同一人物で推定年齢が異なる顔画像を探してきて登録する必要が無くなる。
次に、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔の一部のパーツが、登録済み顔画像とは異なるものを顔画像候補とする変形例を説明する。尚、顔認識装置の構成は第1の実施例と同じである。
図15は第5の実施例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図15のフローチャートは第1の実施例おけるステップS705の処理をさらに詳細に記述したものである。
図15において、ステップS801〜S805とステップS807〜S808は、第1の実施例と同じ処理内容である
ステップS1501にて、CPU101は、S803にて取得した顔画像の顔の一部のパーツが登録済み画像と異なるか否かを判定し、顔画像の顔の一部のパーツが登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。このステップS1501での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS1501にて顔画像の顔の一部のパーツが登録済み画像と異なると判定されなかった場合は、CPU101はステップS808へと処理を進める。
以上説明したとおり、本変形例によれば、既に顔辞書に登録されている顔画像が撮影された時点と比較して、ヒゲや眉毛や睫毛の形状に変化があった顔画像であっても、顔候補画像一覧表示エリア406に表示される。そのため、ユーザは顔辞書登録時にわざわざHDD105から手動で同一人物で顔の一部のパーツが異なる顔画像を探してきて登録する必要が無くなる。
[第2の実施例]
第1の実施例においては、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔の向きなどが顔辞書登録済み顔画像と異なるものを顔画像候補とする認識精度向上顔画像抽出処理を挙げた。
第2の実施例においては、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲の顔画像を顔画像候補とすること加えて、類似度が第二閾値を超過する顔画像も顔画像候補とする。しかし、類似度が第二閾値を超過する顔画像を顔候補画像一覧ダイアログに一覧表示するが、顔辞書には登録できないようにする。尚、顔認識装置の構成は第1の実施例と同じである。
図16は第2の実施例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図16のフローチャートは第1の実施例おけるステップS705の処理をさらに詳細に記述したものである。
図16において、ステップS801〜S803とステップS807は、第1の実施例と同じ処理内容である。
ステップS804にて類似度が第一閾値以上であると判定した場合は、CPU101はステップS805へと処理を進める。
ステップS804にて、CPU101は、S803にて取得した類似度が第一閾値以上であるか否かを判定し、類似度が第一閾値以上ではないと判定した場合は、ステップS1601へと処理を進める。
ステップS805にて、CPU101は、S803にて取得した類似度が第二閾値以下であるか否かを判定し、類似度が第二閾値以下であると判定した場合は、ステップS806へと処理を進める。
ステップS805にて類似度が第二閾値以下ではないと判定した場合は、CPU101はステップS1602へと処理を進める。
ステップS806にて、CPU101は、S803にて取得した顔画像の顔の向きが登録済み画像と異なるか否かを判定し、顔画像の顔の向きが登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。
ステップS806にて顔画像の顔の向きが登録済み画像と異なると判定されなかった場合は、CPU101はステップS1602へと処理を進める。
ステップS1602にて、CPU101はリストの現在のポインタにある顔画像にフラグ情報を追加し、ステップS807へと処理を進める。
ステップS1601にて、CPU101は顔画像リストから現在のポインタにある顔画像を削除し、ステップS802へと処理を進める。
図17は第2の実施例における顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)である。
ユーザが図3のOKボタン304を押下すると、CPU101は、顔辞書編集対象人物選択リストボックス303で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログを閉じる。そしてCPU101は取得した人物名に対応した顔辞書ダイアログ401と顔候補画像一覧ダイアログ405を表示する。このとき、CPU101は図7の顔辞書登録顔画像候補一覧表示処理を行う。実施例2ではステップS705にて、類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像とを抽出する。さらにステップS706にて、CPU101は類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像とを顔候補画像一覧表示エリア406に並べて表示する。
ここで、ユーザが類似度が第二閾値を超過する顔画像を、マウスで選択して顔辞書登録済み画像一覧表示エリアにドラッグ&ドロップしようとすると、CPU101はユーザが選択した顔画像にフラグ情報が追加されているか否かの判定を行う。ユーザが選択した顔画像にフラグ情報が追加されていた場合、ユーザのドラッグ&ドロップ操作を完了しても、CPU101はユーザが選択した顔画像を顔辞書には登録しない。ユーザが選択した顔画像にフラグ情報が追加されていなかった場合、ユーザのドラッグ&ドロップ操作の完了を受けて、CPU101はユーザが選択した顔画像を顔辞書に登録する。
また、顔候補画像一覧表示エリア406に類似度が第二閾値を超過する顔画像を並べて表示する際に、ユーザに顔辞書に登録できない顔画像である旨を知らせるために、CPU101は類似度が第二閾値を超過する顔画像を半透明表示することにしてもよい。また、類似度が第二閾値を超過する顔画像を半透明表示するかわりに、顔画像の周りの枠の色を変える、または顔辞書に登録できない顔画像である旨のアイコンやマークを表示してもよい。
また、第2の実施例では特定の条件として顔の向きを挙げたが、顔の向きのかわりに、表情や顔に対する光の当り方や年齢や顔の一部のパーツの変化を特定の条件としてもよい。
以上説明したとおり、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像をユーザに提示しつつ、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像もユーザに提示する。そのため、ユーザは広い範囲の類似度で本人と判定された顔画像を視認することができる。
また、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像と、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像とを混在して一覧表示することができる。そして、類似度が非常に高い顔候補画像は顔辞書に登録できないようにしたため、ユーザは本人確定作業を繰り返す際に、より少ない手数で認識精度をあるレベルまで向上することができる。
また、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像と、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像とを混在して一覧表示しつつ、顔辞書に登録できない顔画像はその旨の情報をユーザに通知する。そのため、ユーザは本人確定作業の際に、どの画像が認識精度が効率的に向上する顔候補画像かを視認することができる。
本実施例では、認識精度が効率的に向上する顔候補画像に加えて、類似度が非常に高い顔候補画像も混在してユーザに提示した。この場合の表示制御(図17)の変形例を位階に説明する。
本変形例では、認識精度が効率的に向上する顔候補画像は顔候補画像一覧表示エリア406の先頭に優先的に表示し、類似度が非常に高い顔候補画像は優先順位を下げて、顔候補画像一覧表示エリア406の後方に表示する。尚、顔認識装置の構成は第6の実施例と同じである。
図18は本変形例における顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)を示す図である。
ユーザが図3のOKボタン304を押下すると、CPU101は、顔辞書編集対象人物選択リストボックス303で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログを閉じる。そしてCPU101は取得した人物名に対応した顔辞書ダイアログ401と顔候補画像一覧ダイアログ405を表示する。このとき、CPU101は図7の顔辞書登録顔画像候補一覧表示処理を行う。第2の実施例ではステップS705にて、類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像と、を抽出する。さらにステップS706にて、CPU101は類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像とを顔候補画像一覧表示エリア406に並べて表示する。
ここでCPU101はステップS705で抽出した顔画像に対して、フラグ情報が追加されているか否かの判定を行う。フラグ情報が追加されていない顔画像である場合、CPU101はこの顔画像を顔候補画像一覧表示エリア406の先頭に優先的に一覧表示する。ステップS705にて抽出した顔画像に対して、フラグ情報が追加されている顔画像である場合、CPU101はこの顔画像を表示優先順位をさげて顔候補画像一覧表示エリア406の後方に一覧表示する。
また、本変形例では特定の条件として第2の実施例と同様に顔の向きを挙げたが、顔の向きのかわりに、表情や顔に対する光の当り方や推定年齢や顔の一部のパーツの変化を特定の条件としてもよい。
以上説明したとおり、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像をユーザに提示できる。そして、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像もユーザに提示するので、ユーザは広い範囲の類似度で本人と判定された顔画像を視認することができる。
また、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像は顔候補画像一覧表示エリアの先頭に、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像は顔候補画像一覧表示エリアの後方に一覧表示される。そのため、ユーザはどの画像が認識精度が効率的に向上する顔画像かを意識することなく、最初に提示された顔画像を登録すればするほど、認識精度が効率的に向上させることができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims (18)

  1. 画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出手段と、
    前記特徴量抽出手段で抽出された特徴量を人物名と関連付けて、前記顔の人物を認識するための顔辞書を生成する顔辞書生成手段と、
    前記顔辞書に追加する顔の特徴量に対応する顔画像の候補の一覧を表示部に表示する表示制御手段と、
    前記顔画像の一覧から、前記顔辞書に追加すべき顔の特徴量に対応する顔画像を選択する選択手段と
    他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出する算出手段とを有し
    前記表示制御手段は、前記類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として前記表示部に表示し、
    前記所定の範囲は、前記算出手段で算出された類似度が第1の閾値よりも低い低類似度を示す範囲と、前記第1の閾値よりも大きな第2の閾値よりも高い高類似度を示す範囲とを含まない範囲であることを特徴とする顔認識装置。
  2. 前記表示制御手段は、前記類似度が所定の範囲にある抽出された顔画像に対し、顔の向きが前記顔辞書に登録されている顔の向きと異なるかどうかを判定して、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項に記載の顔認識装置。
  3. 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔画像に対する光源の方向が前記顔辞書に登録されている顔に対する光源の向きと異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項1または2のいずれか一項に記載の顔認識装置。
  4. 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔の表情が前記顔辞書に登録されている顔の表情と異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項1ないしのいずれか一項に記載の顔認識装置。
  5. 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔の推定年齢が前記顔辞書に登録されている顔の推定年齢と異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項1ないしのいずれか一項に記載の顔認識装置。
  6. 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔の少なくとも一つのパーツが前記顔辞書に登録されている顔のパーツと異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項1ないしのいずれか一項に記載の顔認識装置。
  7. 前記表示制御手段は、顔辞書へ追加する候補の顔画像とともに、前記算出された類似度が前記高類似度の範囲にある顔画像を表示することを特徴とする請求項ないしのいずれか一項に記載の顔認識装置。
  8. 前記表示制御手段は、前記算出された類似度が前記高類似度の範囲にある顔画像を、顔辞書へ追加する候補の顔画像より後に表示することを特徴とする請求項に記載の顔認識装置。
  9. 前記算出された類似度が前記高類似度の範囲にある顔画像を前記顔辞書へ追加する候補の顔画像とともに表示部に表示するときに、前記算出された類似度が前記高類似度の範囲にある顔画像を前記顔辞書に登録できないよう制御することを特徴とする請求項7または8に記載の顔認識装置。
  10. 前記表示制御手段は、前記所定の範囲に含まれない顔の特徴量に対応する顔画像を、前記顔画像の候補の一覧に含めないことを特徴とする請求項1乃至6のいずれか一項に記載の顔認識装置。
  11. 前記表示制御手段は、前記所定の範囲に含まれない顔の特徴量に対応する顔画像を、前記選択手段による選択が不可能な状態で前記顔画像の候補の一覧と共に表示することを特徴とする請求項1乃至7のいずれか一項に記載の顔認識装置。
  12. 顔認識装置の制御方法において、
    画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出ステップと、
    前記特徴量抽出ステップで抽出された特徴量を人物名と関連付けて、前記顔の人物を認識するための顔辞書を生成する顔辞書生成ステップと、
    前記顔辞書に追加する顔の特徴量に対応する顔画像の候補の一覧を表示部に表示する表示制御ステップと、
    前記顔画像の一覧から、前記顔辞書に追加すべき顔の特徴量に対応する顔画像を選択する選択ステップと
    他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出する算出ステップとを有し
    前記表示制御ステップは、前記類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として前記表示部に表示し、
    前記所定の範囲は、前記算出ステップで算出された類似度が第1の閾値よりも低い低類似度を示す範囲と、前記第1の閾値よりも大きな第2の閾値よりも高い高類似度を示す範囲とを含まない範囲であることを特徴とする制御方法。
  13. 請求項12の制御方法をコンピュータに実行させるプログラム。
  14. 請求項13に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
  15. コンピュータを、
    顔認識装置の制御方法において、
    画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出手段、
    前記特徴量抽出手段で抽出された特徴量を人物名と関連付けて、前記顔の人物を認識するための顔辞書を生成する顔辞書生成手段、
    前記顔辞書に追加する顔の特徴量に対応する顔画像の候補の一覧を表示部に表示する表示制御手段、
    前記顔画像の一覧から、前記顔辞書に追加すべき顔の特徴量に対応する顔画像を選択する選択手段
    他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出する算出手段として機能させ
    前記表示制御手段は、前記類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として前記表示部に表示し、
    前記所定の範囲は、前記算出手段で算出された類似度が第1の閾値よりも低い低類似度を示す範囲と、前記第1の閾値よりも大きな第2の閾値よりも高い高類似度を示す範囲とを含まない範囲である、プログラム。
  16. 請求項15に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
  17. コンピュータを請求項1乃至11のいずれか一項に記載の認識装置の各手段として機能させるプログラム。
  18. コンピュータを請求項1乃至11のいずれか一項に記載の認識装置の各手段として機能させるプログラムを記録したコンピュータが読み取り可能な記録媒体。
JP2011109412A 2011-05-16 2011-05-16 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 Active JP5791364B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011109412A JP5791364B2 (ja) 2011-05-16 2011-05-16 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体
US13/461,254 US20120294496A1 (en) 2011-05-16 2012-05-01 Face recognition apparatus, control method thereof, and face recognition method
CN201210150489.1A CN102855463B (zh) 2011-05-16 2012-05-14 面部识别装置及其控制方法和面部识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011109412A JP5791364B2 (ja) 2011-05-16 2011-05-16 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2012242891A JP2012242891A (ja) 2012-12-10
JP5791364B2 true JP5791364B2 (ja) 2015-10-07

Family

ID=47174948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011109412A Active JP5791364B2 (ja) 2011-05-16 2011-05-16 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体

Country Status (3)

Country Link
US (1) US20120294496A1 (ja)
JP (1) JP5791364B2 (ja)
CN (1) CN102855463B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617627B2 (ja) * 2010-12-28 2014-11-05 オムロン株式会社 監視装置および方法、並びにプログラム
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
DE102012216191A1 (de) * 2011-09-14 2013-03-14 Hitachi Information & Communication Engineering, Ltd. Authentifizierungssystem
JP6161271B2 (ja) * 2011-12-22 2017-07-12 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
JP5899472B2 (ja) * 2012-05-23 2016-04-06 パナソニックIpマネジメント株式会社 人物属性推定システム、及び学習用データ生成装置
JP6210234B2 (ja) * 2012-09-19 2017-10-11 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
US9987552B2 (en) * 2013-06-26 2018-06-05 Smilegate, Inc. Method and system for expressing emotion during game play
JP6025690B2 (ja) 2013-11-01 2016-11-16 ソニー株式会社 情報処理装置および情報処理方法
JP6268960B2 (ja) 2013-11-15 2018-01-31 オムロン株式会社 画像認識装置及び画像認識装置に対するデータ登録方法
WO2015154205A1 (en) * 2014-04-11 2015-10-15 Xiaoou Tang Methods and systems for verifying face images based on canonical images
JP6344984B2 (ja) * 2014-06-09 2018-06-20 キヤノン株式会社 人物推定装置、人物推定方法及びプログラム
US9384385B2 (en) * 2014-11-06 2016-07-05 Intel Corporation Face recognition using gradient based feature analysis
US10769255B2 (en) 2015-11-11 2020-09-08 Samsung Electronics Co., Ltd. Methods and apparatuses for adaptively updating enrollment database for user authentication
KR102474244B1 (ko) * 2015-11-20 2022-12-06 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US10069955B2 (en) * 2016-04-29 2018-09-04 Samuel Philip Gerace Cloud-based contacts management
JP6788205B2 (ja) * 2019-02-15 2020-11-25 キヤノンマーケティングジャパン株式会社 情報処理装置、個人認証システム、その制御方法、個人認証方法、そのプログラム
JP7521256B2 (ja) 2020-05-22 2024-07-24 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
JP7093037B2 (ja) * 2020-10-28 2022-06-29 キヤノンマーケティングジャパン株式会社 情報処理装置、顔認証システム、その制御方法とプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
WO2004055715A1 (en) * 2002-12-13 2004-07-01 Koninklijke Philips Electronics N.V. Expression invariant face recognition
WO2005096213A1 (en) * 2004-03-05 2005-10-13 Thomson Licensing Face recognition system and method
CN1866270B (zh) * 2004-05-17 2010-09-08 香港中文大学 基于视频的面部识别方法
JP4429873B2 (ja) * 2004-10-29 2010-03-10 パナソニック株式会社 顔画像認証装置及び顔画像認証方法
KR100703693B1 (ko) * 2005-01-13 2007-04-05 삼성전자주식회사 얼굴 인식 시스템 및 방법
JP2007164401A (ja) * 2005-12-13 2007-06-28 Matsushita Electric Ind Co Ltd 立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法
JP2009245338A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 顔画像照合装置
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5371083B2 (ja) * 2008-09-16 2013-12-18 Kddi株式会社 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体
JP5224360B2 (ja) * 2008-11-10 2013-07-03 日本電気株式会社 電子広告装置、電子広告方法及びプログラム
JP4636190B2 (ja) * 2009-03-13 2011-02-23 オムロン株式会社 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム

Also Published As

Publication number Publication date
CN102855463A (zh) 2013-01-02
JP2012242891A (ja) 2012-12-10
US20120294496A1 (en) 2012-11-22
CN102855463B (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
JP5791364B2 (ja) 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体
US10192583B2 (en) Video editing using contextual data and content discovery using clusters
JP4168940B2 (ja) 映像表示システム
US10229323B2 (en) Terminal and method for managing video file
JP5524219B2 (ja) 対話式画像選択方法
JP2017504861A (ja) 画像ベース検索
WO2015101289A1 (zh) 图片管理方法、装置及系统
JP5774558B2 (ja) 手書き文書処理装置、方法及びプログラム
CN109726712A (zh) 文字识别方法、装置及存储介质、服务器
JP7128665B2 (ja) 画像処理装置,画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体
US10482169B2 (en) Recommending form fragments
JP6080409B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2007280325A (ja) 動画表示装置
JP2013210868A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JPWO2020050413A1 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
JP2013246732A (ja) 手書き文書検索装置、方法及びプログラム
JP2020140557A (ja) 画像処理装置、制御方法、及びプログラム
KR20240128047A (ko) 비디오 생성 방법 및 장치, 전자 장치 및 판독 가능한 저장 매체
JP2008269490A (ja) 画像管理方法、画像管理装置、制御プログラム及びコンピュータ可読記憶媒体
JP2002183205A (ja) データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
JP7409134B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
JP2013152543A (ja) 画像蓄積プログラム、方法および装置
JP2021189835A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20120128094A (ko) 얼굴 인식 장치, 그 제어 방법, 및 얼굴 인식 방법
US11042274B2 (en) Extracting demonstrations from in-situ video content

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150804

R151 Written notification of patent or utility model registration

Ref document number: 5791364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151