JP5791364B2 - 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 - Google Patents
顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP5791364B2 JP5791364B2 JP2011109412A JP2011109412A JP5791364B2 JP 5791364 B2 JP5791364 B2 JP 5791364B2 JP 2011109412 A JP2011109412 A JP 2011109412A JP 2011109412 A JP2011109412 A JP 2011109412A JP 5791364 B2 JP5791364 B2 JP 5791364B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- dictionary
- similarity
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Collating Specific Patterns (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
それでも、同一人物の顔画像を複数枚、顔辞書に登録する際には繰り返し顔画像を登録する手間が必要になる。
顔辞書に登録する作業の手間の軽減のために、顔認識機能を使って、最初に登録された人物と同一人物と思われる顔画像を、似ている順にソートしたものを一覧表示してユーザに提示する方法が提案されている。(例えば特許文献1)
ユーザは提示された顔画像一覧から本人が写っている顔画像を選択して、本人であると確定すると、画像ブラウザはこれらの顔画像を顔辞書に追加登録する。
顔画像が追加登録された時点で顔辞書が更新され、よりよい精度で顔認識した結果、同一人物と思われる顔画像を改めて一覧表示してユーザに提示する。
また、顔認識機能の特性として、同じような顔画像ばかりを登録すると、認識精度が少ししか上がらないということが分かっている。
しかしながら、顔辞書に登録すべき顔画像として、似すぎていない同一人物の顔画像を探すには手間がかかる。また、似すぎていない同一人物の顔画像を顔辞書に登録する方が認識精度が効率的に向上することを知らないユーザにとっては、似すぎていない顔画像を探すことさえしない可能性がある。
また、ユーザが似すぎていない同一人物の顔画像を顔辞書に登録するほうが認識精度が効率的に向上するという顔認識機能の特性を知らなくても、より少ない手数で似すぎていない同一人物の顔画像を顔辞書に登録することができる。
以下の実施例に置いて、画像ブラウザは、画像ファイルの管理や画像の表示、画像ファイルに付属するサムネイル画像の一覧表示する機能等を有するアプリケーションである。
また、以下の実施例では、画像に写っている人物の顔を解析して、例えば目・鼻・口や顔の、形状や色等の特徴を所定の演算でパラメータ化したものを「顔特徴量」と記す。
また、上記の顔特徴量の情報を、それぞれ番号やファイル名などでデータベース化し、管理可能にしたデータベースファイルを「顔辞書」と記す。
本実施例では、顔辞書に顔を登録する際に、ユーザに認識精度が効率的に向上する顔画像候補一覧を表示する顔認識装置の説明を行う。
まず、本件発明の実施形態に係わる顔認識装置として動作するパーソナルコンピュータについて説明する。
図1において、101はパーソナルコンピュータ全体の制御をつかさどるCPU(Central Processing Unit)である。
102はCPU101の動作処理手順(例えばパーソナルコンピュータの電源をONにした時の処理や基本入出力処理などのプログラム)を記憶しているROM(Read Only Memory)である。
103はRAM(Random Access Memory)であり、CPU101のメインメモリとして機能する。RAM103には後述の処理を実現するための制御プログラムを含む各種処理を実行する際のワークエリアを提供する。
104はディスプレイ(表示部)であり、CPU101の制御下で各種表示を行う。たとえば、画像ブラウザのアプリケーションで、サムネイルの一覧表示を行う。
105はハードディスクドライブ(Hard Disk Drive)であり、画像ブラウザの制御プログラムを格納しているものである。また、画像ブラウザが管理する画像ファイルと顔辞書もハードディスク105内に格納するものとする。
106はDVD(Digital Versatile Disc)であり、着脱可能な光学記録媒体を装着し、記録されたデータを読み出すことを可能とする。
107は画像ブラウザの各種操作を行うためのマウスやキーボードとしての入力装置である。
108は記録媒体装着ユニット(メディアドライブ)であり、着脱可能な記録媒体を装着し、データを記録したり、記録されたデータを読み書きすることを可能とする。
109は上述した各ユニット間を接続するシステムバス(アドレスバス、データバスおよび制御バスからなる)である。
本件発明の実施形態に係わる顔認識装置として動作する画像ブラウザのユーザインタフェースを図2と図3と図4を用いて詳細に説明する。一般的な画像ブラウザには、特定のフォルダに保持されている画像の一覧表示機能の他に、撮影日時で管理する機能や、画像の撮影場所で管理する機能があるが、ここでは本件発明が係わる画像ブラウザが持つ機能のうち、顔認識機能に絞って説明する。
図2は本発明の実施形態に係る顔検索ダイアログを示す図である。
図3は本発明の実施形態に係わる顔辞書編集対象人物選択ダイアログを示す図である。
図4は本発明の実施形態に係わる顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)を示す図である。
202は顔検索ダイアログの終了ボタンである。ユーザによって終了ボタン202が押下されると、CPU101は画像ブラウザにおける顔検索ダイアログを終了する。
203は人物名入力テキストボックスである。204は顔検索ダイアログにおける顔画像一覧表示エリアである。
人物名テキストボックス203に人物名が入力されて検索コマンドの実行が指示されると、CPU101は人物名テキストボックス203に入力された人物名を取得する。そして、ハードディスクの中の特定のフォルダ内からその人物が写っているとユーザによって確定された画像(顔辞書登録画像)、およびCPU101がその人物に似ていると(例えば所定値以上の類似度を有する画像)判定した画像をすべて顔画像一覧表示エリア204に並べて表示する。
209は辞書登録ボタンである。ユーザが辞書登録ボタン209を押下すると、CPUは101は図3の顔辞書編集対象人物選択ダイアログ301を表示する。
303は顔辞書編集対象人物選択リストボックスである。辞書登録ボタン209が押されて、顔辞書編集対象人物選択ダイアログ301が表示された時点で、CPU101は顔辞書から、既に顔辞書に登録されているすべての人物名のリストを取得して、顔辞書編集対象人物選択リストボックス303に表示する。ユーザがマウスを操作して、顔辞書編集対象人物選択リストボックス303に表示されている人物のうち、特定の人物を選択すると、CPU101は選択された人物名を選択状態(図3では反転表示)にする。
304は顔辞書編集対象人物選択ダイアログ301のOKボタンである。ユーザがOKボタン304を押下すると、CPU101は顔辞書編集対象人物選択リストボックス303で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログを閉じる。そして、CPU101は取得した人物名に対応した顔辞書ダイアログ401と顔候補画像一覧ダイアログ405を表示する。
402は終了ボタンであり、ユーザが終了ボタン402を押下すると、CPU101は顔辞書ダイアログ401と顔候補画像一覧ダイアログ405を閉じて、顔検索ダイアログ201に遷移する。
403は顔辞書ダイアログ401における顔辞書登録済画像一覧表示エリアであり、選択された特定の人物についてユーザが既に顔辞書に登録済の顔画像をCPU101が顔辞書から取得して一覧表示する領域である。例として、図4ではCPU101が顔辞書から取得したAさんの顔として顔画像404を表示する。
406は顔候補画像一覧表示エリアであり、ユーザが指定した特定の人物に似ているとCPU101が判定した顔画像をHDD105から取得して一覧表示する領域である。例として、図4ではCPU101がHDD105から取得した顔候補画像として顔画像407、顔画像408、顔画像409が表示されている。
本発明の実施形態に係る顔画像リストの構成を図5を参照して説明する。
図中、501は顔画像リストであり、HDD105の特定のフォルダに収められている全画像に含まれるすべての顔とそれらに関連した情報を保持するリストである。
502は顔ID(顔識別子)であり、HDD105内の画像に写っている人物それぞれを識別するために割り当てられたユニークな番号である。
503はサムネイルとしての顔画像であり、顔ID502に対応したHDD105内の画像に含まれている人物の顔部分の領域を特定の大きさ(図5では縦120ピクセル、横96ピクセルの大きさ)に正規化したものである。顔画像503は、顔辞書ダイアログ401と顔候補画像一覧表示エリア406で顔画像を表示する際にCPU101が使用する。
504は顔特徴量であり、このデータはバイナリデータとして顔画像リスト501に格納されている。顔特徴量とは、画像に含まれる人物の顔をCPU101が解析して目鼻口や顔の形状をパラメータ化したバイナリデータである。
505は顔ID502の顔を含む画像のファイル名である。つまり、このファイル名の画像に顔ID502の顔が写っていることを意味する。
図6は本発明の実施形態に係る顔辞書の構成を示す図である。
601は顔辞書テーブルであり、CPU101が顔の情報を管理するためにHDD105内に保持するテーブルである。
602は人物名のカラムであり、ユーザが管理対象の人物名を顔辞書に登録した際に、CPU101が顔辞書テーブル601の人物名602のカラムに記録する。
603は顔IDのカラムであり、ユーザが管理対象の顔ID502を顔辞書に登録した際に、CPU101が顔辞書テーブル601の顔ID603のカラムに記録する。
604は顔特徴量のカラムであり、ユーザが顔画像リスト501で管理されている顔ID502をの顔を顔辞書に登録する際に、CPU101が顔ID502にの顔特徴量504を顔辞書テーブル601の顔特徴量604のカラムに記録する。
このフローチャートはユーザによって顔候補画像一覧ダイアログ405が開かれたことをトリガにてCPU101が始める処理を示す。
ステップS701にて、CPU101は予め作成された特定フォルダの顔画像リスト501をHDD501からメモリにコピーする。
ステップS702にて、CPU101は顔辞書編集対象人物選択リストボックス303で選択された人物名に従って、HDDにある顔辞書601から検索対象となる人物名602とそれに関連付けられた顔ID603と顔特徴量604を取得する(特徴量抽出)。
ステップS703にて、CPU101はステップS702にて取得した顔辞書に既に登録済みの顔画像と同じ顔ID603を有する顔画像を、コピーされた顔画像リストから削除する。
ステップS704にて、CPU101は顔画像リスト内の各顔特徴量504に対して、顔辞書の顔特徴量604とを比較して、類似度を算出する。
ここで算出された類似度は、CPU101が顔画像リスト内の顔IDと関連づけて保持する。
また、顔辞書において検索対象の人物名に複数の顔IDと顔特徴量が関連付けられている場合は、CPUは顔辞書の複数の顔特徴量をマージしたものを、顔画像リスト内の顔特徴量と比較して類似度を算出する。
ステップS705にて、CPU101は認識精度が効率的に向上する顔画像を抽出する認識精度向上顔画像抽出処理を実行する。
ステップS705の処理の詳細は後述する。
ステップS706にて、CPU101はステップS706にて抽出された顔画像を候補画像としてディスプレイ画面上に一覧表示して、このフローチャートを終了する。
図8のフローチャートはステップS705の認識精度向上顔画像抽出処理を詳細に記述したものである。
ステップS801にて、CPU101は顔画像リストの現在のポインタを顔画像リストの先頭(図8では1番目)に移動する。
ステップS802にて、CPU101は、顔画像リストの現在のポインタのデータを取得できるか否かを判定し、顔画像リストの現在のポインタからデータを取得できると判定した場合は、ステップS803へと処理を進める。
ステップS802にて、顔画像リストの現在のポインタからデータを取得できないと判定した場合は、CPU101は、このフローチャートを終了する。
ステップS803にて、CPU101は顔画像リストの現在のポインタのデータを取得する。この場合、顔画像リストのデータだけでなくステップS704で算出されて顔IDと関連つけられて保持された類似度もデータとして取得する。
ステップS804にて、CPU101は、S803にて取得した類似度が第一閾値以上であるか否かを判定し、類似度が第一閾値以上であると判定した場合は、ステップS805へと処理を進める。この判定は、同じ人物の顔画像であっても例えば一方の顔画像が正面を向いた顔画像で、他方が横を向いた顔画像であるために類似度が低くなって検索されない低類似度の場合を回避するための判定である。
ステップS804にて類似度が第一閾値以上ではないと判定した場合は、CPU101はステップS808へと処理を進める。
ステップS805にて、CPU101は、S803にて取得した類似度が、第一閾値より大きな値の第二閾値以下であるか否かを判定し、類似度が第二閾値以下であると判定した場合は、ステップS806へと処理を進める。この判定は、例えばともに正面から撮った証明用の写真画像である場合のように、明らかに同一人物の似た画像を検索してしまう高類似度の場合を避けるための判定である。なお、Aさん”の人物名で検索をかけたときに表示された顔画像902、903、904はこの高類似度の場合に相当する。
ステップS805にてCPU101は、類似度が第二閾値以下ではないと判定した場合は、ステップS808へと処理を進める。
ステップS806にて、CPU101は、S803にて取得した顔画像の顔の向きが登録済み画像と異なるか否かを判定し、顔画像の顔の向きが登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。このステップS806での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS806にて、顔画像の顔の向きが登録済み画像と異なると判定されなかった場合は、CPU101はステップS808へと処理を進める。このステップS806での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS807にて、CPU101は顔画像リストの現在のポインタを1進める。その後、ステップS802へと処理を進める。
ステップS808にて、CPU101は顔画像リストから現在のポインタにある顔画像を削除し、ステップS807へと処理を進める。
以上の処理を顔画像リストに格納されているすべての顔IDに対応する顔画像にたいして行なうことにより、同一人物の顔画像であり、かつ例えばポーズの異なる顔画像を人物名を指定するだけで顔辞書に登録することが可能となる。
以上、本件発明の第1の実施例に係わる顔認識装置について説明した。
図9は本発明の第1の実施例に係る顔画像追加前の顔検索ダイアログの動作例を示す図である。図9の基本的なユーザインタフェースは図2と同様である。
図10は本発明の第1の実施例に係る顔辞書ダイアログ(A)と顔候補画像一覧ダイアログ(B)の動作例を示す図である。図10の基本的なユーザインタフェースは図4と同様である。
図11は本発明の第1の実施例に係る顔画像追加後の顔検索ダイアログの動作例を示す図である。図11の基本的なユーザインタフェースは図2と同様である。
ここで、ユーザが辞書登録ボタン209を押下し、さらに図3の顔辞書編集対象人物選択ダイアログ301にて、顔辞書編集対象人物選択リストボックス303で顔辞書を編集したい人物名として“Aさん”を選択して、OKボタン304を押下するとする。すると、CPU101は図10の顔辞書ダイアログと顔候補画像一覧ダイアログを表示する。
図10の顔候補画像一覧ダイアログ406を表示する際に、CPU101は前述の認識精度向上顔画像抽出処理を実行することで、“Aさん”に似すぎていない顔画像1001、顔画像1002を顔候補画像一覧表示エリア406に一覧表示する。
ここで、ユーザが“Aさん”に似すぎていない顔画像1001を本人と認定して、この顔画像1001を顔辞書登録済画像一覧表示エリア403へドラッグ&ドロップ1003する。すると、CPU101はユーザによって選択された顔画像1001を“Aさん”の顔として顔辞書に登録する。
また、似すぎていない同一人物の顔画像を顔辞書に登録するほうが認識精度が効率的に向上するという顔認識機能の特性を知らなくても、より少ない手数で認識精度をあるレベルまで向上することができる。
また、本発明によれば、人物を検索する際に、認識率向上に寄与しない顔辞書登録画像の顔特徴量との比較が無くなるので、認識率が同程度の検索をより高速に行うことができる。
図12は、本変形例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図12のフローチャートは第1の実施例におけるステップS705の処理をさらに詳細に記述したものである。
図12において、ステップS801〜S805とステップS807〜S808は、第1の実施例と同じ処理内容である。
ステップS1201にて、CPU101は、S803にて取得した顔画像の顔に対する光の当り方が登録済み画像と異なるか否かを判定し、顔画像の顔に対する光の当り方が登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。このステップS1201での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS1201にて顔画像の顔に対する光の当り方が登録済み画像と異なると判定されなかった場合は、CPU101はステップS808へと処理を進める。
以上説明したとおり、本変形例によれば、既に顔辞書に登録されている顔画像と同じ様な影が顔にある顔画像が、顔候補画像一覧表示エリア406に表示されない。そのため、たとえHDD105に同じような影が顔にある顔画像が多数あったとしても、ユーザは顔辞書登録時に同じような影が顔にある画像を何度も繰り返し顔辞書に登録する手間を省くことが可能になる。
図13は、本変形例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図13のフローチャートは第1の実施例おけるステップS705の処理をさらに詳細に記述したものである。
図13において、ステップS801〜S805とステップS807〜S808は第1の実施例と同じ処理内容である。
ステップS1301にて、CPU101は、S803にて取得した顔画像の顔の表情が登録済み画像と異なるか否かを判定し、顔画像の顔の表情が登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。このステップS1301での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS1301にて顔画像の顔の表情が登録済み画像と異なると判定されなかった場合は、CPU101はステップS808へと処理を進める。
図14は、本変形例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図14のフローチャートは第1の実施例おけるステップS705の処理をさらに詳細に記述したものである。
図14において、ステップS801〜S805とステップS807〜S808は、第1の実施例と同じ処理内容である。
ステップS1401にて、CPU101は、S803にて取得した顔画像の被写体人物の推定年齢が登録済み画像のそれと離れているか否かを判定し、顔画像の被写体人物の年齢が登録済み画像と離れていると判定した場合は、ステップS807へと処理を進める。このステップS1401での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS1401にて顔画像の被写体人物の推定年齢が登録済み画像と離れていると判定されなかった場合は、CPU101はステップS808へと処理を進める。
図15は第5の実施例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図15のフローチャートは第1の実施例おけるステップS705の処理をさらに詳細に記述したものである。
図15において、ステップS801〜S805とステップS807〜S808は、第1の実施例と同じ処理内容である
ステップS1501にて、CPU101は、S803にて取得した顔画像の顔の一部のパーツが登録済み画像と異なるか否かを判定し、顔画像の顔の一部のパーツが登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。このステップS1501での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップS1501にて顔画像の顔の一部のパーツが登録済み画像と異なると判定されなかった場合は、CPU101はステップS808へと処理を進める。
第1の実施例においては、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔の向きなどが顔辞書登録済み顔画像と異なるものを顔画像候補とする認識精度向上顔画像抽出処理を挙げた。
第2の実施例においては、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲の顔画像を顔画像候補とすること加えて、類似度が第二閾値を超過する顔画像も顔画像候補とする。しかし、類似度が第二閾値を超過する顔画像を顔候補画像一覧ダイアログに一覧表示するが、顔辞書には登録できないようにする。尚、顔認識装置の構成は第1の実施例と同じである。
図16は第2の実施例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図16のフローチャートは第1の実施例おけるステップS705の処理をさらに詳細に記述したものである。
図16において、ステップS801〜S803とステップS807は、第1の実施例と同じ処理内容である。
ステップS804にて類似度が第一閾値以上であると判定した場合は、CPU101はステップS805へと処理を進める。
ステップS804にて、CPU101は、S803にて取得した類似度が第一閾値以上であるか否かを判定し、類似度が第一閾値以上ではないと判定した場合は、ステップS1601へと処理を進める。
ステップS805にて、CPU101は、S803にて取得した類似度が第二閾値以下であるか否かを判定し、類似度が第二閾値以下であると判定した場合は、ステップS806へと処理を進める。
ステップS805にて類似度が第二閾値以下ではないと判定した場合は、CPU101はステップS1602へと処理を進める。
ステップS806にて、CPU101は、S803にて取得した顔画像の顔の向きが登録済み画像と異なるか否かを判定し、顔画像の顔の向きが登録済み画像と異なると判定した場合は、ステップS807へと処理を進める。
ステップS806にて顔画像の顔の向きが登録済み画像と異なると判定されなかった場合は、CPU101はステップS1602へと処理を進める。
ステップS1602にて、CPU101はリストの現在のポインタにある顔画像にフラグ情報を追加し、ステップS807へと処理を進める。
ステップS1601にて、CPU101は顔画像リストから現在のポインタにある顔画像を削除し、ステップS802へと処理を進める。
ユーザが図3のOKボタン304を押下すると、CPU101は、顔辞書編集対象人物選択リストボックス303で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログを閉じる。そしてCPU101は取得した人物名に対応した顔辞書ダイアログ401と顔候補画像一覧ダイアログ405を表示する。このとき、CPU101は図7の顔辞書登録顔画像候補一覧表示処理を行う。実施例2ではステップS705にて、類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像とを抽出する。さらにステップS706にて、CPU101は類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像とを顔候補画像一覧表示エリア406に並べて表示する。
ここで、ユーザが類似度が第二閾値を超過する顔画像を、マウスで選択して顔辞書登録済み画像一覧表示エリアにドラッグ&ドロップしようとすると、CPU101はユーザが選択した顔画像にフラグ情報が追加されているか否かの判定を行う。ユーザが選択した顔画像にフラグ情報が追加されていた場合、ユーザのドラッグ&ドロップ操作を完了しても、CPU101はユーザが選択した顔画像を顔辞書には登録しない。ユーザが選択した顔画像にフラグ情報が追加されていなかった場合、ユーザのドラッグ&ドロップ操作の完了を受けて、CPU101はユーザが選択した顔画像を顔辞書に登録する。
また、顔候補画像一覧表示エリア406に類似度が第二閾値を超過する顔画像を並べて表示する際に、ユーザに顔辞書に登録できない顔画像である旨を知らせるために、CPU101は類似度が第二閾値を超過する顔画像を半透明表示することにしてもよい。また、類似度が第二閾値を超過する顔画像を半透明表示するかわりに、顔画像の周りの枠の色を変える、または顔辞書に登録できない顔画像である旨のアイコンやマークを表示してもよい。
また、第2の実施例では特定の条件として顔の向きを挙げたが、顔の向きのかわりに、表情や顔に対する光の当り方や年齢や顔の一部のパーツの変化を特定の条件としてもよい。
また、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像と、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像とを混在して一覧表示することができる。そして、類似度が非常に高い顔候補画像は顔辞書に登録できないようにしたため、ユーザは本人確定作業を繰り返す際に、より少ない手数で認識精度をあるレベルまで向上することができる。
また、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像と、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像とを混在して一覧表示しつつ、顔辞書に登録できない顔画像はその旨の情報をユーザに通知する。そのため、ユーザは本人確定作業の際に、どの画像が認識精度が効率的に向上する顔候補画像かを視認することができる。
本変形例では、認識精度が効率的に向上する顔候補画像は顔候補画像一覧表示エリア406の先頭に優先的に表示し、類似度が非常に高い顔候補画像は優先順位を下げて、顔候補画像一覧表示エリア406の後方に表示する。尚、顔認識装置の構成は第6の実施例と同じである。
ユーザが図3のOKボタン304を押下すると、CPU101は、顔辞書編集対象人物選択リストボックス303で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログを閉じる。そしてCPU101は取得した人物名に対応した顔辞書ダイアログ401と顔候補画像一覧ダイアログ405を表示する。このとき、CPU101は図7の顔辞書登録顔画像候補一覧表示処理を行う。第2の実施例ではステップS705にて、類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像と、を抽出する。さらにステップS706にて、CPU101は類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像とを顔候補画像一覧表示エリア406に並べて表示する。
ここでCPU101はステップS705で抽出した顔画像に対して、フラグ情報が追加されているか否かの判定を行う。フラグ情報が追加されていない顔画像である場合、CPU101はこの顔画像を顔候補画像一覧表示エリア406の先頭に優先的に一覧表示する。ステップS705にて抽出した顔画像に対して、フラグ情報が追加されている顔画像である場合、CPU101はこの顔画像を表示優先順位をさげて顔候補画像一覧表示エリア406の後方に一覧表示する。
また、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像は顔候補画像一覧表示エリアの先頭に、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像は顔候補画像一覧表示エリアの後方に一覧表示される。そのため、ユーザはどの画像が認識精度が効率的に向上する顔画像かを意識することなく、最初に提示された顔画像を登録すればするほど、認識精度が効率的に向上させることができる。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
Claims (18)
- 画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された特徴量を人物名と関連付けて、前記顔の人物を認識するための顔辞書を生成する顔辞書生成手段と、
前記顔辞書に追加する顔の特徴量に対応する顔画像の候補の一覧を表示部に表示する表示制御手段と、
前記顔画像の一覧から、前記顔辞書に追加すべき顔の特徴量に対応する顔画像を選択する選択手段と、
他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出する算出手段とを有し、
前記表示制御手段は、前記類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として前記表示部に表示し、
前記所定の範囲は、前記算出手段で算出された類似度が第1の閾値よりも低い低類似度を示す範囲と、前記第1の閾値よりも大きな第2の閾値よりも高い高類似度を示す範囲とを含まない範囲であることを特徴とする顔認識装置。 - 前記表示制御手段は、前記類似度が所定の範囲にある抽出された顔画像に対し、顔の向きが前記顔辞書に登録されている顔の向きと異なるかどうかを判定して、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項1に記載の顔認識装置。
- 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔画像に対する光源の方向が前記顔辞書に登録されている顔に対する光源の向きと異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項1または2のいずれか一項に記載の顔認識装置。
- 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔の表情が前記顔辞書に登録されている顔の表情と異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項1ないし3のいずれか一項に記載の顔認識装置。
- 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔の推定年齢が前記顔辞書に登録されている顔の推定年齢と異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項1ないし4のいずれか一項に記載の顔認識装置。
- 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔の少なくとも一つのパーツが前記顔辞書に登録されている顔のパーツと異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項1ないし5のいずれか一項に記載の顔認識装置。
- 前記表示制御手段は、顔辞書へ追加する候補の顔画像とともに、前記算出された類似度が前記高類似度の範囲にある顔画像を表示することを特徴とする請求項1ないし6のいずれか一項に記載の顔認識装置。
- 前記表示制御手段は、前記算出された類似度が前記高類似度の範囲にある顔画像を、顔辞書へ追加する候補の顔画像より後に表示することを特徴とする請求項7に記載の顔認識装置。
- 前記算出された類似度が前記高類似度の範囲にある顔画像を前記顔辞書へ追加する候補の顔画像とともに表示部に表示するときに、前記算出された類似度が前記高類似度の範囲にある顔画像を前記顔辞書に登録できないよう制御することを特徴とする請求項7または8に記載の顔認識装置。
- 前記表示制御手段は、前記所定の範囲に含まれない顔の特徴量に対応する顔画像を、前記顔画像の候補の一覧に含めないことを特徴とする請求項1乃至6のいずれか一項に記載の顔認識装置。
- 前記表示制御手段は、前記所定の範囲に含まれない顔の特徴量に対応する顔画像を、前記選択手段による選択が不可能な状態で前記顔画像の候補の一覧と共に表示することを特徴とする請求項1乃至7のいずれか一項に記載の顔認識装置。
- 顔認識装置の制御方法において、
画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出された特徴量を人物名と関連付けて、前記顔の人物を認識するための顔辞書を生成する顔辞書生成ステップと、
前記顔辞書に追加する顔の特徴量に対応する顔画像の候補の一覧を表示部に表示する表示制御ステップと、
前記顔画像の一覧から、前記顔辞書に追加すべき顔の特徴量に対応する顔画像を選択する選択ステップと、
他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出する算出ステップとを有し、
前記表示制御ステップは、前記類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として前記表示部に表示し、
前記所定の範囲は、前記算出ステップで算出された類似度が第1の閾値よりも低い低類似度を示す範囲と、前記第1の閾値よりも大きな第2の閾値よりも高い高類似度を示す範囲とを含まない範囲であることを特徴とする制御方法。 - 請求項12の制御方法をコンピュータに実行させるプログラム。
- 請求項13に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
- コンピュータを、
顔認識装置の制御方法において、
画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出手段、
前記特徴量抽出手段で抽出された特徴量を人物名と関連付けて、前記顔の人物を認識するための顔辞書を生成する顔辞書生成手段、
前記顔辞書に追加する顔の特徴量に対応する顔画像の候補の一覧を表示部に表示する表示制御手段、
前記顔画像の一覧から、前記顔辞書に追加すべき顔の特徴量に対応する顔画像を選択する選択手段、
他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出する算出手段として機能させ、
前記表示制御手段は、前記類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として前記表示部に表示し、
前記所定の範囲は、前記算出手段で算出された類似度が第1の閾値よりも低い低類似度を示す範囲と、前記第1の閾値よりも大きな第2の閾値よりも高い高類似度を示す範囲とを含まない範囲である、プログラム。 - 請求項15に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
- コンピュータを請求項1乃至11のいずれか一項に記載の顔認識装置の各手段として機能させるプログラム。
- コンピュータを請求項1乃至11のいずれか一項に記載の顔認識装置の各手段として機能させるプログラムを記録したコンピュータが読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011109412A JP5791364B2 (ja) | 2011-05-16 | 2011-05-16 | 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 |
US13/461,254 US20120294496A1 (en) | 2011-05-16 | 2012-05-01 | Face recognition apparatus, control method thereof, and face recognition method |
CN201210150489.1A CN102855463B (zh) | 2011-05-16 | 2012-05-14 | 面部识别装置及其控制方法和面部识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011109412A JP5791364B2 (ja) | 2011-05-16 | 2011-05-16 | 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012242891A JP2012242891A (ja) | 2012-12-10 |
JP5791364B2 true JP5791364B2 (ja) | 2015-10-07 |
Family
ID=47174948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011109412A Active JP5791364B2 (ja) | 2011-05-16 | 2011-05-16 | 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120294496A1 (ja) |
JP (1) | JP5791364B2 (ja) |
CN (1) | CN102855463B (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5617627B2 (ja) * | 2010-12-28 | 2014-11-05 | オムロン株式会社 | 監視装置および方法、並びにプログラム |
KR20120118383A (ko) * | 2011-04-18 | 2012-10-26 | 삼성전자주식회사 | 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들 |
DE102012216191A1 (de) * | 2011-09-14 | 2013-03-14 | Hitachi Information & Communication Engineering, Ltd. | Authentifizierungssystem |
JP6161271B2 (ja) * | 2011-12-22 | 2017-07-12 | キヤノン株式会社 | 情報処理装置、その制御方法、及びプログラム |
JP5899472B2 (ja) * | 2012-05-23 | 2016-04-06 | パナソニックIpマネジメント株式会社 | 人物属性推定システム、及び学習用データ生成装置 |
JP6210234B2 (ja) * | 2012-09-19 | 2017-10-11 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム |
JP2014139734A (ja) * | 2013-01-21 | 2014-07-31 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US9987552B2 (en) * | 2013-06-26 | 2018-06-05 | Smilegate, Inc. | Method and system for expressing emotion during game play |
JP6025690B2 (ja) | 2013-11-01 | 2016-11-16 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP6268960B2 (ja) | 2013-11-15 | 2018-01-31 | オムロン株式会社 | 画像認識装置及び画像認識装置に対するデータ登録方法 |
WO2015154205A1 (en) * | 2014-04-11 | 2015-10-15 | Xiaoou Tang | Methods and systems for verifying face images based on canonical images |
JP6344984B2 (ja) * | 2014-06-09 | 2018-06-20 | キヤノン株式会社 | 人物推定装置、人物推定方法及びプログラム |
US9384385B2 (en) * | 2014-11-06 | 2016-07-05 | Intel Corporation | Face recognition using gradient based feature analysis |
US10769255B2 (en) | 2015-11-11 | 2020-09-08 | Samsung Electronics Co., Ltd. | Methods and apparatuses for adaptively updating enrollment database for user authentication |
KR102474244B1 (ko) * | 2015-11-20 | 2022-12-06 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작방법 |
US10069955B2 (en) * | 2016-04-29 | 2018-09-04 | Samuel Philip Gerace | Cloud-based contacts management |
JP6788205B2 (ja) * | 2019-02-15 | 2020-11-25 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、個人認証システム、その制御方法、個人認証方法、そのプログラム |
JP7521256B2 (ja) | 2020-05-22 | 2024-07-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置およびプログラム |
JP7093037B2 (ja) * | 2020-10-28 | 2022-06-29 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、顔認証システム、その制御方法とプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4314016B2 (ja) * | 2002-11-01 | 2009-08-12 | 株式会社東芝 | 人物認識装置および通行制御装置 |
WO2004055715A1 (en) * | 2002-12-13 | 2004-07-01 | Koninklijke Philips Electronics N.V. | Expression invariant face recognition |
WO2005096213A1 (en) * | 2004-03-05 | 2005-10-13 | Thomson Licensing | Face recognition system and method |
CN1866270B (zh) * | 2004-05-17 | 2010-09-08 | 香港中文大学 | 基于视频的面部识别方法 |
JP4429873B2 (ja) * | 2004-10-29 | 2010-03-10 | パナソニック株式会社 | 顔画像認証装置及び顔画像認証方法 |
KR100703693B1 (ko) * | 2005-01-13 | 2007-04-05 | 삼성전자주식회사 | 얼굴 인식 시스템 및 방법 |
JP2007164401A (ja) * | 2005-12-13 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法 |
JP2009245338A (ja) * | 2008-03-31 | 2009-10-22 | Secom Co Ltd | 顔画像照合装置 |
JP2010027035A (ja) * | 2008-06-16 | 2010-02-04 | Canon Inc | 個人認証装置及び個人認証方法 |
JP4720880B2 (ja) * | 2008-09-04 | 2011-07-13 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP5371083B2 (ja) * | 2008-09-16 | 2013-12-18 | Kddi株式会社 | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 |
JP5224360B2 (ja) * | 2008-11-10 | 2013-07-03 | 日本電気株式会社 | 電子広告装置、電子広告方法及びプログラム |
JP4636190B2 (ja) * | 2009-03-13 | 2011-02-23 | オムロン株式会社 | 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム |
-
2011
- 2011-05-16 JP JP2011109412A patent/JP5791364B2/ja active Active
-
2012
- 2012-05-01 US US13/461,254 patent/US20120294496A1/en not_active Abandoned
- 2012-05-14 CN CN201210150489.1A patent/CN102855463B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102855463A (zh) | 2013-01-02 |
JP2012242891A (ja) | 2012-12-10 |
US20120294496A1 (en) | 2012-11-22 |
CN102855463B (zh) | 2016-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5791364B2 (ja) | 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 | |
US10192583B2 (en) | Video editing using contextual data and content discovery using clusters | |
JP4168940B2 (ja) | 映像表示システム | |
US10229323B2 (en) | Terminal and method for managing video file | |
JP5524219B2 (ja) | 対話式画像選択方法 | |
JP2017504861A (ja) | 画像ベース検索 | |
WO2015101289A1 (zh) | 图片管理方法、装置及系统 | |
JP5774558B2 (ja) | 手書き文書処理装置、方法及びプログラム | |
CN109726712A (zh) | 文字识别方法、装置及存储介质、服务器 | |
JP7128665B2 (ja) | 画像処理装置,画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体 | |
US10482169B2 (en) | Recommending form fragments | |
JP6080409B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2007280325A (ja) | 動画表示装置 | |
JP2013210868A (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
JPWO2020050413A1 (ja) | 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体 | |
JP2013246732A (ja) | 手書き文書検索装置、方法及びプログラム | |
JP2020140557A (ja) | 画像処理装置、制御方法、及びプログラム | |
KR20240128047A (ko) | 비디오 생성 방법 및 장치, 전자 장치 및 판독 가능한 저장 매체 | |
JP2008269490A (ja) | 画像管理方法、画像管理装置、制御プログラム及びコンピュータ可読記憶媒体 | |
JP2002183205A (ja) | データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置 | |
JP7409134B2 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
JP2013152543A (ja) | 画像蓄積プログラム、方法および装置 | |
JP2021189835A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR20120128094A (ko) | 얼굴 인식 장치, 그 제어 방법, 및 얼굴 인식 방법 | |
US11042274B2 (en) | Extracting demonstrations from in-situ video content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20130701 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150804 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5791364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |