JP4305672B2 - 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム - Google Patents

個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム Download PDF

Info

Publication number
JP4305672B2
JP4305672B2 JP2006313735A JP2006313735A JP4305672B2 JP 4305672 B2 JP4305672 B2 JP 4305672B2 JP 2006313735 A JP2006313735 A JP 2006313735A JP 2006313735 A JP2006313735 A JP 2006313735A JP 4305672 B2 JP4305672 B2 JP 4305672B2
Authority
JP
Japan
Prior art keywords
identification
time
dictionary data
information
personal identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006313735A
Other languages
English (en)
Other versions
JP2008129830A (ja
Inventor
由佳 江浦
環 児嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006313735A priority Critical patent/JP4305672B2/ja
Priority to US11/983,691 priority patent/US7916903B2/en
Priority to TW096142703A priority patent/TWI348119B/zh
Priority to CN2007101875208A priority patent/CN101187979B/zh
Priority to KR1020070119440A priority patent/KR20090004348A/ko
Publication of JP2008129830A publication Critical patent/JP2008129830A/ja
Application granted granted Critical
Publication of JP4305672B2 publication Critical patent/JP4305672B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Description

この発明は、例えば、個人の顔画像、声などの個人を識別するための識別要素を用いて個人を識別する個人識別装置および個人識別方法に関する。また、この発明は、個人識別装置における識別用辞書データの更新方法および個人識別装置に用いられる識別用辞書データの更新プログラムに関する。
例えば、辞書データとして、識別すべき複数の人の顔、声、指紋、などの識別要素の特徴データを予め保存しておき、取り込まれた識別すべき個人の上記識別要素の特徴データと、辞書データとして記憶されている識別要素の特徴データとを比較することにより、取り込まれた個人の識別要素が誰の識別要素であるかを識別するようにする個人識別手法が知られている。
この個人識別手法において、識別要素として顔画像を例に取ると、辞書データは、前記識別しようとする個人の顔画像を取り込んで、その顔画像から抽出した特徴データを用いて生成する。この場合において、一般には、識別要素としての顔画像の取り込み時の撮像条件や顔の向きなどの取り込み誤差を平均化するために、同じ個人について複数の顔画像を取り込んで、特徴データを平均化したものを当該個人の識別用の辞書データとして記憶するようにする(特許文献1(特開2003−271958号公報)参照)。
そして、通常は、新たに各個人毎の顔画像の識別が行なわれたときに、識別された個人の顔画像の特徴データを識別用辞書データに反映させることで、各個人用の顔画像の辞書データの更新を行なうようにしている。
この場合に、従来は、取り込んだ各顔画像は、すべて等しい重みを持つものとして、辞書データの生成および更新をするようにしている。すなわち、従来は、過去に取り込んだ顔画像の特徴データと新たに取り込んだ特徴データのすべてを均等に平均化して、識別用辞書データを更新するようにしている。例えば、新たに取り込んだ特徴データを識別用辞書データに加算し、その加算結果を、特徴データを取り込んだ全回数により除算することにより単純に平均化し、その平均化により得た特徴データを、新たな識別用辞書データとして使用するものである。
上記の特許文献は、次の通りである。
特開2003−271958号公報
ところで、個人の顔画像や声は、一般に年月の経過により、変化するものである。したがって、個人を識別するための識別要素として、個人の顔画像や声を使用する場合、年月の経過による個人の顔画像や声の変化を考慮すべきである。
従来の単純平均化手法により更新した識別用辞書データは、常に最新の顔画像や声などの識別要素の特徴データを用いて更新するので、ある程度は、上記年月の経過による識別要素による影響を考慮しているといえる。
したがって、従来の方法は、単純平均であるので、過去の識別要素の取り込み回数が多いと、最新の、つまり、現在の顔画像や声などの識別要素は、その全取り込み回数により除算されて寄与率が非常に低くなり、識別精度の向上があまり期待できない問題があった。また、従来の方法により単純平均化による識別用辞書データの更新方法では、更新をし続けると、平均化されすぎて、辞書データとして、個人特徴が薄まってしまうという問題もある。
この発明は、この点にかんがみ、個人識別用の辞書データの精度を向上させることができるようにすることを目的とする。
上記の課題を解決するために、請求項1の発明は、
個人を識別するための識別要素から抽出された特徴データから生成した前記識別すべき個人の識別用辞書データを、前記個人を特定するための個人特定情報に対応して記憶する辞書データ記憶部と、
前記個人から取り込まれた識別要素から抽出された特徴データと、前記辞書データ記憶部の前記識別用辞書データとを比較して、前記識別要素を持つ個人を識別する識別手段と、
前記個人から取り込まれた識別要素の取り込み時刻の情報を取得する時刻取得手段と、
前記識別手段での前記個人の識別結果に基づいて、前記取り込まれた識別要素を持つ個人を特定する前記個人特定情報を得る個人特定手段と、
前記取り込まれた識別要素のデータまたは前記識別要素から抽出された特徴データと、前記時刻取得手段で取得した時刻の情報とを、前記個人特定手段で取得された前記個人特定情報に対応させて、辞書データ生成用情報記憶部に、追加記憶する辞書データ生成用情報記憶手段と、
前記個人特定手段で取得された前記個人特定情報に対応する前記識別用辞書データを、前記時刻取得手段で新たに取得した最新取り込み時刻の情報と、前記辞書データ生成用情報記憶部に前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取得した前記識別要素の過去取り込み時刻の情報と、それぞれの取り込み時刻で取り込まれた特徴データとを用いて生成または更新する手段であって、前記各特徴データに対して、その取り込み時刻に応じた重み係数で重み付けを行なって、前記識別用辞書データを更新する辞書データ更新処理手段と、
を備え
前記辞書データ更新処理手段は、
前記最新取り込み時刻と、前記過去取り込み時刻のうちの前記辞書データ生成用情報記憶部の最古の過去取り込み時刻との間の第1の時間区間に対して、予め所定の第2の時間区間に割り付けられている重み係数算出用関数を、前記第1の時間区間を前記第2の時間区間として割り当て、前記第1の時間区間内において、前記最新取り込み時刻および前記過去取り込み時刻のそれぞれに対応する重み係数を、前記重み係数算出用関数にしたがって算出することにより、前記新たに取り込まれた前記識別要素についての特徴データについての重み係数、および過去に取り込まれた前記識別要素についての特徴データについての重み係数を算出する重み係数算出手段と、
前記辞書データ生成用情報記憶部に、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取り込まれた前記識別要素の特徴データと、前記新たに取得した識別要素の特徴データとに対して、前記重み係数算出手段で算出した重み係数のそれぞれにより重み付けを行ない、当該重み付けを行なった前記複数の特徴データを用いて、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている前記識別用辞書データを生成または更新する辞書データ生成または更新手段と、
を備える個人識別装置を提供する。
上述の構成のこの発明による個人識別装置においては、識別しようとする個人から取得する識別要素の取り込み時刻(取得時刻)により、それぞれの識別要素から抽出した特徴データに重み付けを行い、その重み付けを行なった特徴データを用いて識別用辞書を更新するようにするので、例えば、最新の特徴データほど重みを大きくすることで、個人識別精度の向上が期待できる識別用辞書データを、その更新により得ることができる。
この発明によれば、識別用辞書データとして精度の良いものを更新により得ることができ、個人識別精度が向上する。
以下、この発明による個人識別装置の実施形態を、顔画像を個人を識別するための識別要素として個人識別する装置の場合を例に、図を参照しながら説明する。
図1は、この実施形態の顔画像による個人識別装置の構成例を示すブロック図である。この図1の例は、例えばパーソナルコンピュータに、顔画像による個人識別装置を構成した場合の例であり、ブロックで示したものの一部は、ソフトウエア構成とすることもできるものである。
図1に示すように、この実施形態の顔画像による個人識別装置は、CPU(Central Processing Unit)1に対してシステムバス2を介して、プログラム等が記憶されているROM(Read Only Memory)3と、ワークエリア用のRAM(Random Access Memory)4と、操作部インターフェース5と、ディスプレイインターフェース76と、画像データ入力インターフェース7とが接続されている。
操作部インターフェース5には、キーボードやマウスなどの操作入力部8が接続されている。また、ディスプレイインターフェース6には、例えばLCD(Liquid Crystal Display;液晶ディスプレイ)などからなるディスプレイ9が接続されている。
画像データ入力インターフェース7は、例えば、USB(Universal Serial Bus)インターフェースを備える撮像カメラ等の画像出力装置からの画像データを受け取る場合には、USB端子およびUSBインターフェースからなる。
また、画像データ入力インターフェース7は、画像データが格納されたカード型メモリからの画像データを受け取る場合には、当該カード型メモリが装填されるメモリリーダで構成される。
また、画像データ入力インターフェース7は、画像データが格納された光ディスクからの画像データを受け取る場合には、当該光ディスクからの画像データの読み出しが可能な光ディスクドライブで構成される。
なお、画像データ入力インターフェース7は、画像データのみでなく、画像データに付随する、例えば撮像時刻の情報、撮像条件などからなる情報(例えば、Exif(Exchange image file format)形式の情報など)も取り込むものである。
この場合に、画像データ入力インターフェース7を通じて取り込まれる画像データに、もしも、撮像時刻の情報が含まれていない場合には、図示は省略するが、CPU1は、ユーザに対し、撮影時刻の情報が存在しないので撮影時刻の入力をするように促すメッセージを、ディスプレイ9に表示し、このメッセージに対応してユーザが入力する撮像時刻の情報を取り込まれた画像データに対応させて取得するようにする。
また、この実施形態においては、システムバス2には、顔識別用辞書データベース10と、顔識別用画像処理部11と、顔識別処理部12と、表示情報生成部13と、辞書データ更新処理部14とが接続されている。辞書データ更新処理部14は、重み係数算出部15と、辞書データ生成・更新部16とを備えている。
顔識別用辞書データベース10は、例えばハードディスク装置などの記憶装置の全部あるいは一部の記憶エリアが用いられて構成されている。この実施形態では、この顔識別用辞書データベース10には、顔画像による個人識別すべく登録された複数の個人Pi(i=1,2,・・・以下同じ。iは個人番号に対応する)のそれぞれについての個人辞書データDiが、それぞれの個人を特定するための個人特定情報(個人識別ID等)と対応付けられて記憶保持されている。なお、以下の説明において、「顔識別」は、「顔画像による個人識別」と同義である。
この実施形態では、一人当たりの個人辞書データDiは、図2に示すように、顔識別用辞書データFRDiと、1個以上のn個(n=1,2,・・・,N)の辞書データ生成用情報DPIi,nとからなり、個人特定情報に対応付けられて記憶保持されている。個人特定情報としては、この実施形態では、個人名(氏名)が登録される。個人特定情報としては、個人名(氏名)に限らず、個人識別番号や記号、その他、個人情報を用いるようにしても良いし、それらの個人を特定するための情報の組み合わせを用いるようにしても良い。
この実施形態では、個人辞書データDiは、一人当たりとして、最大N個、例えば40個の辞書データ生成用情報が、蓄積可能とされている。これは、辞書データベースとして使用する記憶容量を考慮したものである。そして、この実施形態では、個人辞書データDiとして蓄積されるデータは、常に最新のN個のデータを残すようにして、蓄積する個人辞書データDiを更新するようにする。
辞書データ生成用情報DPIi,nは、顔識別対象である一人の個人Piについて、この例では異なる時点で取り込まれたn個(n=1〜N、最大N個)の顔画像についての情報からなるもので、この実施形態では、図2に示すように、時刻の情報Ti,nと、取り込まれた顔画像の特徴データVi,nと、取り込まれた顔画像の特徴データVi,nを用いて顔識別用辞書データを更新するために用いる、特徴データVi,nについての重み係数i,nとが、この辞書データ生成用情報DPIi,nに含まれる。重み係数Wi,nについては、後で詳述する。
顔識別用辞書データFRDiは、i番の個人Piについての辞書データ生成用情報DPIi,nの一部として記憶される顔画像についての特徴データ(特徴ベクトル)を用いて生成または更新される特徴データ(特徴ベクトル)であり、顔識別すべく取り込まれた顔画像についての顔識別処理の際に用いられる当該個人Piについての辞書データである。
この実施形態では、各個人Piの顔識別用辞書データFRDiは、後述するように、当該個人Piに対応付けられて顔識別用辞書データベース10に格納されている辞書データ生成用情報DPIi,nのそれぞれの特徴データ(特徴ベクトル)を、その特徴データについての重み係数によりそれぞれ重み付けし、その重み付けしたものを用いて、後述のようにして生成する。
また、この実施形態では、後述するように、重み係数Wi,nの算出方法(設定方法)として、複数通りの算出方法が用意されており、ユーザが当該用意されている複数の重み係数Wi,nの算出方法の中の一つを選択することができるようにされている。そして、その選択された重み係数の算出方法を特定するための情報として、重み係数パラメータ設定情報STが、顔識別用辞書データベース10に記憶されている。
なお、重み係数の算出方法は、識別する個人の個人辞書データDi毎に選択設定するようにしても良いが、この実施形態では、顔識別用辞書データベース10全体として、一つの重み係数算出方法を選択設定するようにしている。
図3は、顔識別用辞書データベース10の格納データのフォーマットを説明するための図である。
すなわち、この実施形態では、図3に示すように、顔識別用辞書データベース10全体として、一つの重み係数の算出方法を特定する重み係数パラメータ設定情報が格納される。
そして、顔識別用辞書データベース10は、複数人分の個人辞書データDi(i=1,2,・・・)を備える。それぞれの個人辞書データDiは、対応する個人Fiの顔識別用辞書データFRDiと、辞書データ生成用情報配列とからなる。辞書データ生成用情報配列は、前述したように、n個(n=1〜N、最大N個)の辞書データ生成用情報DPIi,nからなる。そして、各辞書データ生成用情報DPIi,nは、特徴データ(特徴ベクトル)Vi,nと、撮像時刻情報Ti,nと、重み係数Wi,nとからなる。
次に、顔識別用画像処理部11は、図4に示すように、画像データ入力インターフェース7を通じて取り込んだ原画の画像データから、顔検出および目検出を行い、検出した両目の位置が水平になるように、目の位置に合わせて顔画像の回転をする。目の位置に合わせて顔画像を回転するのは、後述のように、顔識別においては、正面を向いた顔画像であって、両目が水平になっている顔画像を基準にしているからである。
そして、さらに、顔識別用画像処理部11では、顔画像を識別するための特徴部位(例えば眉、目、鼻、口など)の特徴データを抽出するための特徴点プロット(特徴点サンプリング)を行い、当該取り込まれた顔画像Finについての特徴データとしての特徴ベクトルVinを取得する。ここで、特徴ベクトルVinは、複数種の特徴量を変数とする関数からなるものである。
なお、顔識別用画像処理部11における顔検出、目検出、特徴ベクトルVinの算出などの処理に関しては、特許文献2(特開2006−72770号公報)、特許文献3(特開2005−44330号公報)、非特許文献(佐部浩太郎、日台健一、“ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習”、第10回画像センシングシンポジウム講演論文集、pp.547-552,2004年6月)などに詳しく記載されているので、ここでは省略することとする。
顔識別用画像処理部11は、取り込まれた顔画像Finについて取得した特徴データとしての特徴ベクトルVinを、顔識別処理部12に供給する。
また、顔識別用画像処理部11において、顔検出や目検出ができなかった場合、または、顔検出や目検出ができても、特徴ベクトルの算出ができなかった場合には、その旨を顔識別処理部12や表示情報生成部13に送るようにする。
顔識別処理部12は、顔識別用画像処理部11からの取り込まれた画像から取得された顔画像Finの特徴データとしての特徴ベクトルVinを受けて、この特徴ベクトルVinと、顔識別用辞書データベース10に格納されている複数の個人の顔識別用辞書データ(特徴ベクトル)FRDiとを比較して照合し、一致していると判定することができる顔識別用辞書データFRDiを検出するようにする。
そして、顔識別処理部12は、一致していると判定することができる顔識別用辞書データFRDiが検出できたときには、その旨と、検出できた顔識別用辞書データFRDiに対応する個人特定情報、この例では、個人の氏名とを、表示情報生成部13に送る。
また、顔識別処理部12は、一致していると判定することができる顔識別用辞書データFRDiが検出できなかったときには、その旨を、表示情報生成部13に送る。
なお、顔識別処理部12は、顔識別用画像処理部11から、顔検出や目検出ができなかった旨、または、顔検出や目検出ができても、特徴ベクトルの算出ができなかった旨の通知を受けたときには、上述した顔識別処理は実行しない。
表示情報生成部13は、顔識別処理部12から、顔識別ができた旨および顔識別結果として個人特定情報としての個人の氏名を受け取ったときには、図5に示すような、顔識別結果をユーザに確認させるための顔識別結果確認画面の表示情報を生成し、ディスプレイインターフェース6を通じてディスプレイ9の画面に表示させるようにする。
図5に示すように、この顔識別結果確認画面には、取り込んだ顔画像Finの表示画像21が表示されると共に、顔識別結果が正しいかどうかをユーザに問い合わせるメッセージ「この人は、「○○○○」さんですか?」の表示22と、当該問い合わせメッセージ22に対する回答のボタンアイコン23,24とが表示される。問い合わせメッセージ22のうちの、「○○○○」の部分には、顔識別結果の氏名が表示される。
図5の例では、顔識別処理部12では、取り込まれた顔画像の特徴データは、「田中太郎」さんの個人辞書データDiの顔画像の特徴データ(顔識別用辞書データFRDi)と一致したと判定したので、問い合わせメッセージ22の「○○○○」の部分には、「田中太郎」が表示されている。
回答のボタンアイコン23は、肯定の回答用であり、また、回答のボタンアイコン24は、否定の回答用である。
図5の画面において、ユーザが、操作入力部8を用いて肯定の回答用のボタンアイコン23をクリックしたときには、表示情報生成部13は、CPU1の制御に従って、顔識別結果の氏名の情報を辞書データ更新処理部14に供給する。辞書データ更新処理部14は、後述するように、受け取った氏名で特定される個人特定情報に対応して顔識別用辞書データベース10に記憶されている個人辞書データDiの生成または更新処理を行なう。
また、図5の画面において、ユーザが、操作入力部8を用いて否定の回答用のボタンアイコン24をクリックしたときには、表示情報生成部13は、図6に示すような、顔識別結果が不正解であることをユーザに報知する顔識別結果不正解画面の表示情報を生成し、ディスプレイインターフェース6を通じてディスプレイ9の画面に表示させるようにする。
この顔識別結果不正解画面には、図6に示すように、取り込んだ顔画像Finの表示画像21と、当該取り込んだ顔画像Finが誰の顔画像であるか、氏名を入力するように促すメッセージ25を表示する。ユーザは、このメッセージ25中の氏名入力欄26に、表示画像21として表示されている個人の氏名を入力するようにする。
このユーザによる氏名の入力を受け付けると、表示情報生成部13は、CPU1の制御に従って、その入力された氏名の情報を、辞書データ更新処理部14に供給する。辞書データ更新処理部14は、後述するように、受け取った氏名からなる個人特定情報に対応して顔識別用辞書データベース10に記憶されている個人辞書データDiの生成または更新処理を行なう。
なお、氏名入力欄26に氏名の入力がなされずに、ユーザから顔識別の処理の終了が指示されたときには、表示情報生成部13からは、氏名の情報が伝達されず、CPU1の制御に従って辞書更新をしない旨の通知が辞書データ更新処理部14に通知される。したがって、辞書データ更新処理部14は、辞書データの生成または更新は行なわない。
また、表示情報生成部13は、顔識別処理部12から、顔識別結果として辞書データベース10中に、取り込まれた顔画像と一致する個人辞書データがない旨の通知を受け取ったときには、図7に示すような、顔識別結果として「一致無し」をユーザに報知させるための顔識別結果一致無し画面の表示情報を生成し、ディスプレイインターフェース6を通じてディスプレイ9の画面に表示させるようにする。
この顔識別結果一致無し画面には、図7に示すように、取り込んだ顔画像Finの表示画像21と、当該取り込んだ顔画像Finが誰の顔画像であるか、氏名を入力するように促すメッセージ27を表示する。ユーザは、このメッセージ27中の氏名入力欄28に、表示画像21として表示されている個人の氏名を入力するようにする。
このユーザによる氏名の入力を受け付けると、表示情報生成部13は、その入力された氏名の情報を、辞書データ更新処理部14に供給する。辞書データ更新処理部14は、後述するように、受け取った氏名を個人特定情報とする個人辞書データDiの生成または更新処理を行なう。
なお、氏名入力欄28に氏名の入力がなされずに、ユーザから顔識別の処理の終了が指示されたときには、表示情報生成部13からは、氏名の情報が伝達されず、辞書更新をしない旨の通知が辞書データ更新処理部14に通知される。したがって、辞書データ更新処理部14は、辞書データの生成または更新は行なわない。
また、表示情報生成部13は、顔識別用画像処理部11から、顔検出や目検出、最終的には、特徴ベクトルの算出ができなかった旨の通知を受けたときには、図8に示すような、照合不能通知画面の表示情報を生成し、ディスプレイインターフェース6を通じてディスプレイ9の画面に表示させるようにする。
この照合不能通知画面には、図8に示すように、取り込まれた顔画像は、辞書の更新には用いられない旨のメッセージ29が表示される。そして、CPU1の制御に従って、表示情報生成部13は、辞書更新をしない旨の通知を辞書データ更新処理部14に通知する。
辞書データ更新処理部14は、この実施形態では、顔識別処理部13での識別結果に基づいて個人特定情報が特定されたとき、当該個人特定情報に対応する個人辞書データDiの更新処理を実行する。
この場合、上述の説明から分かるように、「顔識別処理部13での識別結果に基づいて個人特定情報が特定されたとき」には、顔識別結果が正解であって個人特定情報が個人識別装置において特定される場合と、顔識別結果が不正解であって、ユーザにより入力された個人の氏名により個人特定情報が特定される場合と、顔識別の結果、一致するものがなくて新規の顔画像の取り込みの場合であってユーザにより入力された個人の氏名により個人特定情報が特定される場合と、を含むものである。
顔識別用画像処理部11で、顔検出や目検出、最終的には、特徴ベクトルの算出ができなかった旨の通知を受けたときには、辞書データ更新処理部14は、前記個人辞書データDiの更新処理は行なわない。また、取り込まれた顔画像についての個人特定情報の特定が最終的にできなかったときにも、辞書データ更新処理部14は、前記個人辞書データDiの更新処理は行なわない。
辞書データ更新処理部14は、顔識別辞書データベース10において、特定された個人特定情報に対応する個人辞書データDiの更新の実行に際しては、この実施形態では、まず、前記個人辞書データDiに含まれる辞書データ生成用情報DPIi,nの数を参照し、その数が最大値であるN個よりも少ないときには、新たに取得した顔画像の特徴ベクトルVinと、その撮像時刻情報とを、最新の辞書データ生成用情報として、個人辞書データDiに追加記憶する。
また、辞書データ更新処理部14は、顔識別辞書データベース10において、更新対象の個人特定情報に対応する個人辞書データDiに含まれる辞書データ生成用情報DPIi,nの数が、最大であるN個であるときには、そのときに辞書データ生成用情報DPIi,n中で最古である辞書データ生成用情報DPIi,1を廃棄し、かつ、各辞書データ生成用情報DPIi,nのそれぞれの時間順位を順次下げて、
DPIi,n→DPIi,n−1
とする。
そして、新たに取り込んだ顔画像の特徴ベクトルVinと、撮像時刻の情報とを、最新の辞書データ生成用情報DPIi,Nの情報として記憶して、個人辞書データDiを更新する。この時点では、重み係数は算出されていないので、記憶されていた重み係数は、元のままである。
重み係数は、上述のように更新された個人辞書データDiに含まれる撮像時刻の情報が用いられて、少なくとも最新の辞書データ生成用情報DPIi,Nについては算出されて記憶される。その他の元々個人辞書データDiとして記憶されていた辞書データ生成用情報についての重み係数は、後述するように、選択される重み係数算出方法に応じて更新される場合と、更新されずにそのまま用いられる場合とがある。
辞書データ更新処理部14は、重み係数算出部15に、重み係数パラメータ設定情報STを渡して、後述するように、重み係数算出部15で実行する重み係数算出の方法を指示すると共に、重み係数算出部15に、最新の辞書データ生成用情報DPIi,Nの撮像時刻情報Ti,Nおよび必要な過去の辞書データ生成用情報DPIi,nを渡して、重み係数の算出を指示する。
重み係数算出部15は、この実施形態では、顔識別処理部13での識別結果に基づいて個人特定情報が特定されたとき、当該個人特定情報に対応する個人辞書データDiの顔識別用辞書データFRDiを更新する際に使用する、特徴ベクトルについての重み係数を、最新の撮像時刻情報および過去の撮像時刻情報を用いて算出する。
前述したように、この実施形態の個人識別装置は、この重み係数の算出方法(設定方法)として複数通り、この例では、4通りの算出方法を用意しており、ユーザの選択により、当該4通りの重み係数算出方法のどの方法を用いるかが選択設定され、その選択設定情報が顔識別用辞書データベース10に格納される。
この実施形態においては、ユーザが操作入力部8を通じて、例えば設定メニューから、「重み係数の設定方法の選択」を指示すると、図9に示すような「重み係数の設定方法選択画面」がディスプレイ9に表示される。
図9に示すように、この実施形態では、重み係数算出方法(設定方法)としては、
(1)撮像順に線形的に重み係数を設定、
(2)撮像順に非線形的に重み係数を設定、
(3)撮像間隔に応じて重み係数を設定(区間)、
(4)撮像間隔に応じて重み係数を設定(前画像との時間差)、
の4通りが、選択設定できる重み係数算出方法候補の一覧として表示される。各算出方法の詳細については後述する。
そして、図9に示すように、この例では、各重み係数算出方法候補の先頭には、ユーザが選択設定するためのチェックマーク記入欄30が設けられている。ユーザは、この図9の一覧表示画面において、自分が希望する重み係数算出方法候補の先頭に設けられるチェック欄30を、マウスなどのポインティングデバイスでクリックすることで、当該重み係数算出方法候補を使用する重み係数算出方法として、選択設定することができる。図9の例では、「(1)撮像順に線形的に重み係数を設定」が選択されている状態を示している。
なお、この場合に、重み係数算出部15は、選択される重み係数の算出方法によっては、新たに取り込んだ顔画像の特徴ベクトルについての重み係数のみを算出する場合と、新たに取り込んだ顔画像の特徴ベクトルについての重み係数のみならず、個人特定情報に対応して記憶されている過去に取り込んだ顔画像の特徴ベクトルについての重み係数をも再計算する場合とがある。
次に、この実施形態で用いる4種の重み係数算出方法のそれぞれについて、さらに説明する。
[第1の例;撮像順に線形的に重み係数を設定(線形算出方法)]
図10は、撮像順に線形的に重み係数を算出(設定)する方法を説明するための図である。この重み係数算出方法を、以下、線形算出方法と称することとする。
この線形算出方法が採用される場合には、新たに取り込まれた顔画像による識別に基づいて特定された個人特定情報に対応して記憶されている個人辞書データDiの特徴データについての重み係数は、最新の辞書データ生成用情報DPIi,New(N個の辞書データ生成用情報が記憶されているときには、DPIi,New=DPIi,N)の重み係数Wi,Newのみではなく、過去に取り込まれて保存されている辞書データ生成用情報DPIi,n(n=1,2,・・・)の重み係数Wi,nのすべてが、再計算されて更新される。
このため、この線形算出方法が採用される場合には、辞書データ更新処理部14は、更新されたすべての辞書データ生成用情報の撮像時刻の情報を、重み係数算出部15に渡す。
そして、この線形算出方法においては、重み係数算出部15においては、この実施形態では、まず、更新された個人辞書データDiのうちの最古の辞書データ生成用情報の撮像時刻Ti,1を基準にするために、更新された個人辞書データDiのそれぞれの辞書データ生成用情報の撮像時刻Ti,n(n=1,2,・・・,New)と、最古の撮像時刻Ti,1との時間差ΔTi(1_n)を算出する。
そして、重み係数算出部15は、重み係数Wi,nを、図10に示すように、算出された時間差ΔTi(1_n)が大きいほど、線形的に大きくなるように、次の(式1)により算出する。
すなわち、重み係数算出部15は、
Wi,n=p×ΔTi(1_n)+q ・・・(式1)
により、各特徴ベクトルVi,nについての重み係数Wi,nを算出する。
なお、図10において、時間差ΔTi,1=0であり、このときの重み係数Wi,1は、予め定められた重み係数の最小値qになる。また、予め定められた重み係数の最大値をrとしたとき、最新の撮像時刻についての時間差ΔTi(1_New)のときの重み係数Wi,Newは、Wi,New=rとされる。
また、図10の一次関数の直線の傾きpは、
p=(r−q)/(ΔTi(1_New)−ΔTi(1_1))
となり、更新された複数個の辞書データ生成用情報DPIi,nのうちの、最新の撮像時刻と最古の撮像時刻との差(ΔTi,New−ΔTi,1)に応じたものとなり、一定ではなく、新たなデータが取り込まれる毎に変わるものとなる。
ここで、顔識別用辞書データベース10において、個人特定情報に対応してN個の辞書データ生成用情報DPIi,1〜DPIi,Nが記憶されている場合には、時間差ΔTi(1_New)は、
時間差ΔTi(1_New)=ΔTi(1_N)=Ti,N−Ti,1
である。しかし、顔識別用辞書データベース10には、新たに追加したとしても、個人特定情報に対応した辞書データ生成用情報が、N個未満しか記憶されていないときには、当該N個未満の辞書データ生成用情報の最新のものの撮像時刻が最新の撮像時刻となり、その撮像時刻と最古の撮像時刻Ti,1との時間差が、最新の撮像時刻についての時間差ΔTi(1_New)となる。
なお、上述の説明では、更新された個人辞書データDiのうちの最古の辞書データ生成用情報の撮像時刻Ti,1を基準に、各辞書データ生成用情報の撮像時刻Ti,nとの時間差ΔT(1_n)を算出し、その時間差ΔT(1_n)が大きいほど、重み係数Wi,nが線形的に大きくなるように設定したが、時間差を取る基準は、最新の撮像時刻Ti,Newとするようにしてもよい。
その場合には、時間差ΔT(New_New)(=0)のときに重み係数Wi,Newが最大値rとなり、時間差ΔT(New_n)が大きくなるほど線形的に小さくなり、最古の撮像時刻Ti,1との時間差ΔT(New_1)のときに、その重み係数Wi,1が最小値qとなる。
[第2の例;撮像順に非線形的に重み係数を設定(非線形算出方法)]
図11は、撮像順に非線形的に重み係数を算出(設定)する方法を説明するための図である。この重み係数算出方法を、以下、非線形算出方法と称することとする。
この非線形算出方法が採用される場合にも、新たに取り込まれた顔画像による識別に基づいて特定された個人特定情報に対応して記憶されている個人辞書データDiの特徴データについての重み係数は、最新の辞書データ生成用情報DPIi,New(N個の辞書データ生成用情報が記憶されているときには、DPIi,New=DPIi,N)の重み係数Wi,Newのみではなく、過去に取り込まれて保存されている辞書データ生成用情報DPIi,n(n=1,2,・・・)の重み係数Wi,nのすべてが、再計算されて更新される。
このため、この非線形算出方法が採用される場合にも、辞書データ更新処理部14は、更新されたすべての辞書データ生成用情報の撮像時刻の情報を、重み係数算出部15に渡す。
この非線形算出方法においても、重み係数算出部15においては、この実施形態では、まず、更新された個人辞書データDiのうちの最古の辞書データ生成用情報の撮像時刻Ti,1を基準にするために、更新された個人辞書データDiのそれぞれの辞書データ生成用情報の撮像時刻Ti,n(n=1,2,・・・,New)と、最古の撮像時刻Ti,1との時間差ΔTi(1_n)を算出する。
そして、重み係数算出部15は、重み係数Wi,nを、図11に示すように、算出された時間差ΔTi(1_n)が大きいほど、非線形的に大きくなるように、次の(式2)により算出する。
すなわち、
時間差ΔTi(1_n)<ΔTθのとき、
Wi,n=f(ΔTi(1_n))+q
時間差ΔTi(1_n)≧ΔTθのとき、
Wi,n=r
・・・(式2)
により、各特徴ベクトルVi,nについての重み係数Wi,nを算出する。
(式2)におけるf(ΔTi(1_n))は、時間差ΔTi(1_n)を変数とする非線形関数であり、種々様々の非線形変化パターンの曲線関数を用いることができる。図11の例では、過去の顔画像の特徴ベクトルの重み係数を小さくして、顔識別用辞書データに対するその影響を抑え、最近の顔画像の特徴ベクトルほど重み係数を大きくして、顔識別用辞書データに対するその影響を強くするようにしてする曲線関数を用いている。
そして、図11および(式2)から分かるように、この実施形態の非線形算出方法においては、最新の撮像時刻Ti,Newに対応する時間差ΔTi,Newから所定の閾値時間差ΔTθ分だけ小さい時間差区間PTを優先区間として、この優先区間PT内に含まれる時間差ΔT(1_n)に対する重み係数Wi,nは最大値rに設定する。つまり、最近の顔画像の特徴ベクトルは最大重み係数として、顔識別辞書データに対する影響をより強くするようにする。
そして、この実施形態では、閾値時間差ΔTθは、ユーザが調整設定することが可能とされている。すなわち、この実施形態では、図9に示した重み係数設定方法の選択設定画面において、2番目の「撮像順に非線形的に設定」がユーザにより選択されている場合において、個人特定情報が特定されて、対応する個人辞書データDiの更新を行なうとCPU1が決定したとき、当該CPU1の制御にしたがって表示情報生成部13は、図12に示す「優先区間PT調整」の画面を生成してディスプレイ9に表示する。
この「優先区間PT調整」の画面には、図12に示すように、更新対象となっている個人辞書データDiとして記憶されている更新後の辞書データ生成用情報DPIi,nのそれぞれに含まれる撮像時刻の配列を、撮像時刻配列欄31に表示すると共に、その撮像時刻配列に対応して調整することが可能なように、優先区間PT調整欄32が設けられている。
撮像時刻配列欄31は、横方向を時間方向としており、それぞれ撮像時刻を縦線31aで示している。また、優先区間PT調整欄32は、前述した最古撮像時刻Ti,1との時間差ΔT(1_n)を、撮像時刻配列欄31に対応して横方向を時間差方向として横バー表示したものである。そして、優先区間PT調整欄32においては、ユーザは、調整点マーク33の位置を、横方向(時間差方向)に移動させることにより、優先区間PT、したがって、閾値時間差ΔTθを設定することができるようにされている。
なお、優先区間PTはゼロとして、設けなくても勿論良い。
なお、この非線形算出方法においても、上述した線形算出方法と同様に、更新された個人辞書データDiのうちの最古の辞書データ生成用情報の撮像時刻Ti,1を基準にする代わりに、最新の撮像時刻Ti,Newを基準として時間差を算出するようにしてもよい。
その場合には、重み係数の設定特性曲線は、最新の時間差と最古の時間差との中心の時間差の位置を対称軸線位置として、図11に示した特性曲線を、最新の時間差と最古の時間差との位置が反転するように、線対称に反転したものと等しいものとなる。
また、上述の説明では、優先区間PTの設定は、個人特定情報が特定されて重み係数の算出がなされる前に行なうようにしたが、図9に示した重み係数設定方法の選択設定画面において、2番目の「撮像順に非線形的に設定」がユーザにより選択されたときに、当該優先区間PTの大きさをユーザが設定するようにすることができるようにしてもよい。その場合には、ユーザは、重み係数を更新するたびに、優先区間PTの再設定をする必要はない。
なお、上述した第1の例の線形算出方法においても、時間差ΔT(1_n)が、所定の大きさの時間差ΔTθ以上となったときに、対応する重み係数Wi,nの値を最大値であるrとする優先区間PTを設けるようにしてもよい。
[第3の例;撮像間隔に応じて重み係数を設定(区間)]
通常、撮像間隔が近い(撮像時刻が近い)場合には、それらの撮像時刻で取り込まれた個人の顔の変化はあまりなく、それらの特徴ベクトルはほぼ変化がないと考えられる。一方、撮像間隔が離れている場合には、個人の顔が変化している可能性があり、それらの特徴ベクトルの変化があると考えられる。
この第3の例においては、このことにかんがみ、撮像間隔を元に重み係数を設定するもので、撮像間隔が短い場合には、1つの顔画像による顔識別用辞書データへの影響を低くするため重み係数は小さい値に設定し、撮像間隔が長い場合には、1つの顔画像による顔識別用辞書データへの影響を高くするために重み係数は大きい値に設定する。
撮像間隔が短いか長いかを判定する方法としては、種々考えられるが、この第3の例の場合の重み係数算出方法においては、最古および最新の撮像時刻を含む期間を複数の区間に分割し、各分割区間における顔画像データの取り込み回数(撮像時刻の取り込み回数)を算出し、取り込み回数が少なければ撮像間隔が長いと判定し、取り込み間隔が多ければ撮像間隔が短いと判定し、その判定結果に応じて、各分割区間に含まれる撮像時刻に対応する重み係数を設定する。
この第3の例が採用される場合にも、新たに取り込まれた顔画像による識別に基づいて特定された個人特定情報に対応して記憶されている個人辞書データDiの特徴データについての重み係数は、最新の辞書データ生成用情報DPIi,New(N個の辞書データ生成用情報が記憶されているときには、DPIi,New=DPIi,N)の重み係数Wi,Newのみではなく、過去に取り込まれて保存されている辞書データ生成用情報DPIi,n(n=1,2,・・・)の重み係数Wi,nのすべてが、再計算されて更新される。
したがって、この第3の算出方法が採用される場合にも、辞書データ更新処理部14は、更新されたすべての辞書データ生成用情報の撮像時刻の情報を、重み係数算出部15に渡す。重み係数算出部15は、それらの撮像時刻の情報を用いて、それぞれ対応する重み係数を算出するようにする。
図13は、この第3の例の場合の重み係数算出方法を説明するための図である。図13(A)は、横方向に時間を取ったときの撮像時刻の分布を示す図で、丸印のそれぞれが撮像時刻を示している。また、図13(B)は、分割区間毎の重み係数の例を示している。
すなわち、この第3の例においては、更新後の辞書データ生成用情報の最古の撮像時刻Ti,1を基準として、予め定められた所定時間長t毎に、分割区間を設定する。図13(B)に示し例では、4つの分割区間DV1,DV2,DV3,DV4が設定される。
次に、各分割区間DV1,DV2,DV3,DV4に含まれる撮像時刻の数を計数する。そして、その計数結果の値が小さいほど大きい重み係数となるように、各分割区間DV1,DV2,DV3,DV4についての重み係数を決定する。
この場合に、各分割区間DV1,DV2,DV3,DV4に含まれる撮像時刻の数に対応する重み係数の決定に当たっては、撮像時刻の数に線形的に重み係数を割り当てる方法、撮像時刻の数に非線形に重み係数を割り当てる方法など、種々の方法を用いることができる。
そして、各辞書データ生成用情報DPIi,nの撮像時刻Ti,nが、いずれの分割区間に含まれるかを判定し、その判定結果の分割区間に設定されている重み係数を、当該撮像時刻Ti,nに対応する重み係数Wi,nとして算出する。
なお、予め定められた所定時間長tは、固定的に定めても良いが、前述した優先区間PTの調整設定と同様にして、ユーザが調整設定することができるようにしてもよい。
また、上述の例のように、最古の撮像時刻を基準にして、一定の区間長毎に分割区間を区切るのではなく、最古の撮像時刻から最新の撮像時刻までの時間区間を、所定数に分割するようにして分割区間を設定するようにしても良い。そのように分割区間を設定する場合に、最古の撮像時刻よりもマージン時間だけ前の時刻から、最新の撮像時刻よりもマージン時間だけ後の時刻までの区間を、所定数に分割するようにしてもよい。
[第4の例;撮像間隔に応じて重み係数を設定(前画像との時間差)]
この第4の例の重み係数算出方法は、前述の第3の例と同様に撮像間隔に応じて重み係数を算出する方法であって、撮像間隔が短いか長いかを判定する方法として、最新の撮像時刻Ti,Newとその一つ前の撮像時刻との時間差を用いるものである。
すなわち、この第4の例の重み係数算出方法が採用されている場合においては、新たに取り込まれた顔画像による識別に基づいて特定された個人特定情報に対応して記憶されている個人辞書データDiが、上述したように更新されたら、辞書データ更新処理部14は、新たに取り込まれた顔画像についての最新の撮像時刻と、その一つ前の撮像時刻とを重み係数算出部15に渡す。
重み係数算出部15は、受け取った2つの撮像時刻の情報から、最新の撮像時刻Ti,Newと、その一つ前の撮像時刻との時間差ΔT((New−1)_New)を算出する。そして、算出した時間差ΔT((New−1)_New)に対応する重み係数Wi,Newを算出する。
この第4の例の重み係数算出方法の場合には、最新の撮像時刻Ti,Newに対応する重み係数Wi,Newのみを算出すればよく、その他の過去の撮像時刻に対応する重み係数は、辞書データ生成用情報として記憶されている重み係数をそのまま用いることができ、それらの更新をする必要はない。
この第4の例において、算出した時間差ΔT((New−1)_New)に対応する重み係数Wi,Newの算出方法としては、線形的に求める方法、非線形的に求める方法のいずれも用いることができる。
図14に、この第4の例において、算出した時間差ΔT((New−1)_New)に対応する重み係数Wi,Newの算出方法としては、線形的に求める方法を採用した場合の例を示す。
すなわち、この図14に示す例においては、重み係数算出部15は、
時間差ΔT((New−1)_New)<MAX_INTのときには、
Wi,n=p×ΔTi(1_n)+q
時間差ΔT((New−1)_New)≧MAX_INTのときには、
Wi,n=r
・・・(式3)
により、新たに取り込んだ顔画像の特徴ベクトルについての重み係数Wi,New(個人辞書データDiとして、N個以上の辞書データ生成用情報が格納されている場合には、Wi,New=Wi,N)を算出する。
ここで、閾値MAX_INTは、前に取り込んだ顔画像と新たに取り込んだ顔画像との間に変化があると考えられるような、比較的長い時間間隔に相当するものであり、この閾値MAX_INTよりも、算出した時間差ΔT((New−1)_New)が大きければ、その重み係数を最大にして、顔識別用辞書データに強い影響を与えるようにするものである。この例では閾値MAX_INTは、例えば24時間とする。
[顔識別用辞書データFRDiの更新]
以上のようにして、重み係数算出部15において、更新された辞書データ生成用情報DPIi,nについての重み係数Wi,nの更新が終了すると、辞書データ更新処理部14は、その算出した重み係数Wi,nを、顔識別用辞書データベース10の個人特定情報に対応する個人辞書データDiの各辞書データ生成用情報DPIi,nの更新された重み係数Wi,nとして保存すると共に、辞書データ生成・更新部16に渡し、顔識別用辞書データFRDiの生成または更新を実行させるようにする。
辞書データ生成・更新部16は、特定された個人特定情報に対応する顔識別用辞書データFRDiの更新を、図15の(式4)に示す算出式により実行する。すなわち、辞書データ生成・更新部16は、最大N個の辞書データ生成用情報DPIi,1〜DPIi,Nのそれぞれに含まれる特徴ベクトルVi,nと、対応する重み係数Wi,nとを掛け算した結果の総和を、N個の重み係数Wi,nの総和で除算したものとして、更新した顔識別用辞書データFRDiを得るようにする。
この顔識別用辞書データFRDi(特徴ベクトルに対応)は、従来は、図15の(式5)に示すように、N個の辞書データ生成用情報DPIi,1〜DPIi,Nに含まれる特徴ベクトルの総和を、個数Nで除算した単純平均により求めていたものに比べて、N個の辞書データ生成用情報DPIi,1〜DPIi,Nの重み係数Wi,nを用いた値となり、顔識別用辞書データFRDiの精度が向上する。
そして、この実施形態においては、有限個であるN個の辞書データ生成用情報DPIi,1〜DPIi,Nとして、常に、最新のものが顔識別用辞書データベース10に残るようにしているので、顔識別用辞書データFRDiは、より高精度のものに更新されることとなる。
なお、顔識別用辞書データベース10に、個人辞書データDiとして辞書データ生成用情報DPIi,nが、N個以下しか存在しないときには、辞書データ更新処理部14は、新たに取り込んだ顔画像についての特徴ベクトル、取得時刻情報、重み係数Wnewを、最新の辞書データ生成用情報DPIi,nとして顔識別用辞書データベース10に追加格納して更新し、顔識別用辞書データFRDiの生成または更新処理を実行する。
その場合における顔識別用辞書データFRDiの生成の際には、辞書データ生成・更新部16は、前記(式4)におけるNの代わりに、顔識別用辞書データベース10に当該個人辞書データDiとして格納されている辞書データ生成用情報DPIi,nの個数を用いて、顔識別用辞書データFRDiの生成または更新処理を実行する。
そして、顔識別用辞書データベース10に、個人辞書データDiとして辞書データ生成用情報DPIi,nが、N個格納されたときから、辞書データ更新処理部14は、上述したように、最古の辞書データ生成用情報を廃棄すると共に、新たに取り込んだ顔画像の特徴データ、撮像時刻情報、重み係数の情報からなるデータを、最新の辞書データ生成用情報として記憶するようにすることで、個人辞書データDiを構成する辞書データ生成用情報DPIi,nを更新し、当該更新された辞書データ生成用情報DPIi,nのそれぞれの重み係数Wi,nを用いた顔識別用辞書データFRDiの更新をするようにする。
なお、以上説明した図1のブロック構成において、顔識別用画像処理部11、顔識別処理部12、表示情報生成部13、重み係数算出部15および辞書データ生成・更新部16を含む辞書データ更新処理部14の各部は、ハードウエアの構成としてもよいし、CPU1が、ROM3に格納されたソフトウエアプログラムに基づいて、RAM4をワークエリアとして用いてソフトウエア処理を実行するソフトウエア機能部として構成しても良い。
また、上述の構成では、辞書データ生成用情報DPIi,nとしては、特徴ベクトルと、時刻情報と、総合スコアと、重み係数を少なくとも含むものとしたが、重み係数は、保存せずに、顔識別用辞書データFRDiの更新時に、取り込んだ最新の撮像時刻と、保存した過去の撮像時刻から算出するようにしてもよい。ただし、第4の例の重み係数算出方法を採用する場合には、過去に算出された重み係数は更新されないので、重み係数をも保存しておいた方がよい。
また、特徴ベクトルの代わりに、取り込んだ顔画像の情報を保存しておき、その保存した顔画像の情報から特徴ベクトルを抽出し直すようにしてもよい。その場合に、辞書データ生成用情報DPIi,nには、少なくとも顔画像の情報と、撮像時刻の情報とを含むようにすれば良い。
[図1の顔画像識別装置における処理動作]
[顔識別処理]
次に、上述の構成の顔画像識別装置における顔識別の処理動作、取り込んだ顔画像の特徴データについてのスコア算出動作および顔識別用辞書データの生成または更新処理動作について説明する。
図16およびその続きである図17は、顔識別処理動作の一例を説明するためのフローチャートである。この図16および図17を用いて説明する処理動作は、CPU1の制御の下に、画像データ入力インターフェース部7、顔識別用画像処理部11、顔識別処理部12、表示情報生成部13の各部が実行するものである。
なお、CPU1が、ROM3に格納されたソフトウエアプログラムに基づいてRAM4をワークエリアとして用いて、上記各部の処理をソフトウエア処理として実行するように構成して上記各部を省略しても良いことは、前述した通りである。
まず、CPU1は、画像データ入力インターフェース7を通じて、顔画像を含む画像データおよびそれに付随するExif情報を含む情報を取り込み、顔識別用画像処理部11に転送する(ステップS101)。
顔識別用画像処理部11は、CPU1からの制御開始指示に基づき、受け取った画像データから、前述したように、顔画像、目検出、検出した目の位置に基づく顔回転処理を行ない、特徴点プロットしたデータから特徴ベクトルを生成するようにする(ステップS102)。このとき、画像データに付随するExif情報から撮像時刻の情報を抽出して保持するようにする。
そして、顔識別用画像処理部11は、特徴ベクトルの生成に成功したときには、その旨の情報と生成した特徴ベクトルを出力し、顔画像の画像データサイズが小さすぎたりして特徴ベクトルの生成に失敗したときには、特徴ベクトルの生成を失敗した旨の情報を出力する。
CPU1は、顔識別用画像処理部11からの情報により、取り込まれた顔画像の特徴ベクトルの生成に成功したか否かを判別する(ステップS103)。そして、顔識別用画像処理部11から顔画像の特徴ベクトルの生成に失敗した旨の情報が出力されていて、特徴ベクトルの生成に失敗したと判別したときには、その情報を表示情報生成部13に転送する。
表示情報生成部13は、この顔画像の特徴ベクトルの生成に失敗した旨の情報を受け取ると、図8に示した照合不能通知画面の表示情報を生成し、出力する。CPU1は、この照合不能通知画面の表示情報をディスプレイインターフェース6を通じてディスプレイ9に送って、図8に示したように、取り込まれた顔画像を用いては照合が不能であり、かつ、辞書に利用しない旨のメッセージ29を表示する(ステップS104)。
また、CPU1は、ステップS103で、顔識別用画像処理部11から顔画像の特徴ベクトルの生成に成功した旨の情報と、生成された特徴ベクトルとが出力されていると判別したときには、当該成功した旨の情報と、生成された特徴ベクトルが顔識別処理部12に転送される。
顔識別処理部12では、受け取った取り込まれた顔画像の特徴ベクトルにより、顔識別用辞書データベース10の顔識別用辞書データFRDiを検索し、一致していると判断できる顔識別用辞書データFRDiを探す。そして、顔識別処理部12は、一致していると判断できる顔識別用辞書データFRDiを検出したときには、その旨の情報と、当該一致したと判断した顔識別用辞書データFRDiに対応する個人特定情報、この例では、個人の氏名の情報を出力し、一致していると判断できる顔識別用辞書データFRDiを検出できなかったときには、その旨の情報を出力する(ステップS105)。
CPU1は、顔識別処理部12からの出力を受けて、一致していると判断できる顔識別用辞書データFRDiが検出されたか否か判別し(ステップS106)、一致していると判断できる顔識別用辞書データFRDiが検出されたと判別したときには、顔識別処理部12から受けた、一致しているとされた顔識別用辞書データFRDiに対応する個人特定情報としての個人の氏名の情報を、顔識別ができた旨の情報と共に、表示情報生成部13に転送する。
表示情報生成部13は、顔識別ができた旨の情報と、個人の氏名の情報を受け取ると、図5に示すような、顔識別結果をユーザに確認させるための顔識別結果確認画面の表示情報を生成し、出力する。CPU1は、この顔識別結果確画面の表示情報を、ディスプレイインターフェース6を通じてディスプレイ9に送って、図5に示したような、顔識別結果が正しいかどうかをユーザに問い合わせるメッセージ22を表示する(ステップS107)。
そして、CPU1は、ユーザによる図5の画面を通じての確認操作入力を待ち、当該確認操作入力が顔識別の照合結果が正解であるか否か判別する(ステップS108)。そして、CPU1は、ユーザによる確認操作入力が、照合結果は「正解」であることを示すものであると判別したときには、顔識別用辞書データベース10の更新ルーチンを実行するようにする(ステップS109)。この顔識別用辞書データベース10の更新ルーチンの詳細については、後述する。
また、ステップS108で、ユーザによる確認操作入力が、照合結果は「不正解」であることを示すものであると判別したときには、そのことを示す情報を表示情報生成部13に送る。すると、表示情報生成部13は、図6に示したような顔識別結果不正解画面の表示情報を生成し、出力するので、CPU1は、その表示情報をディスプレイインターフェース6を通じてディスプレイ9に送り、図6に示した取り込んだ顔画像が誰の顔画像であるか、氏名を入力するようにユーザに促すメッセージ25を表示する(図17のステップS111)。
そして、CPU1は、このメッセージ25中の氏名入力欄26へのユーザによる氏名の入力を待ち(ステップS112)、氏名の入力を受け付けたと判別したときには、顔識別用辞書データベース10に、当該入力された氏名の個人辞書データDiがあるか否か判別する(ステップS113)。そして、入力された氏名の個人辞書データDiがあると判別したときには、ステップS109に飛んで、顔識別用辞書データベース10の更新ルーチンを実行するようにする。
また、ステップS113で、入力された氏名の個人辞書データDiが、顔識別用辞書データベース10に存在しないと判別したときには、CPU1は、入力された氏名を個人特定情報として、これに対応させた個人辞書データDiを、顔識別用辞書データベース10に保存して新規登録する(ステップS114)。ここで、新規登録する個人辞書データDiには、図2に示したように、取り込んだ顔画像の特徴ベクトル、撮像時刻の情報、重み係数などの情報を含む。また、初めて取り込んだ顔画像の特徴ベクトルは、一つだけであるので、そのまま顔識別用辞書データとしても登録される。
なお、この顔識別用辞書データベース10への個人辞書データDiの新規登録は、後述する顔識別用辞書データベース10の更新処理の一部の処理として実行することができる。
次に、ステップS106で、取り込んだ顔画像の特徴ベクトルと一致していると判断できる顔識別用辞書データFRDiが検出されなかったと判別したときには、CPU1は、その旨の情報を表示情報生成部13に送る。表示情報生成部13は、一致していると判断できる顔識別用辞書データFRDiが検出されなかった旨の情報を受け取ると、図7に示すような、顔識別結果として「一致無し」をユーザに報知させるための顔識別結果一致無し画面の表示情報を生成し、出力する。CPU1は、その表示情報をディスプレイインターフェース6を通じてディスプレイ9に送り、図7に示した取り込んだ顔画像が誰の顔画像であるか、氏名を入力するようにユーザに促すメッセージ27を表示する(図17のステップS115)。
そして、CPU1は、このメッセージ27中の氏名入力欄28へのユーザによる氏名の入力を待ち(ステップS116)、氏名の入力を受け付けたと判別したときには、入力された氏名を個人特定情報として、これに対応させた個人辞書データDiを、顔識別用辞書データベース10に保存して新規登録する(ステップS114)。
[顔識別用辞書データベースの更新処理]
次に、図16のステップS109の顔識別用辞書データベースの更新処理を説明する。図18は、この顔識別用辞書データベースの更新処理の一例のフローチャートである。この図18の各処理ステップは、この実施形態では、重み係数算出部15と、辞書データ生成・更新部16とを備える辞書データ更新処理部14が、CPU1の制御にしたがって実行するものである。なお、CPU1が、ROM3に格納されたソフトウエアプログラムに基づいてRAM4をワークエリアとして用いて、上記各部の処理をソフトウエア処理として実行するように構成して、上記各部を省略しても良いことは、前述した通りである。
なお、以下の説明は、簡単のため、個人辞書データDiの辞書データ生成用情報DPIi,nは、N個が格納された後における処理とした場合である。
まず、辞書データ更新処理部14は、特定された個人特定情報に対応する個人辞書データDiの辞書データ生成用情報DPIi,nのすべてを読み出し、その最古の撮像時刻の情報DPIi,1を廃棄して、辞書データ生成用情報DPIi,nの配列を、一つずつ撮像時刻が古い方に順次ずらす。そして、新規に取り込んだ特徴ベクトル、撮像時刻の情報を、最新の情報DPIi,Nとして、顔識別用辞書データベース10に再格納する(ステップS201)。
次に、辞書データ更新処理部14は、顔識別用辞書データベース10の重み係数パラメータ設定情報STを読み出して、それを重み係数算出部15に渡し、いずれの重み係数算出方法が採用されているかを重み係数算出部15に知らせる(ステップS202)。
この重み係数パラメータ設定情報STを受けた重み係数算出部15は、まず、ユーザに選択された重み係数算出方法が、前述した第4の例である「撮像間隔に応じて重み係数設定(前画像との時間差)」であるか否か判別する(ステップS203)。
このステップS203で、ユーザにより選択された重み係数算出方法が、前述の第4の例ではないと判別したときには、重み係数算出部15は、更新された個人辞書データDiの辞書データ生成用情報DPIi,nのすべての撮像時刻情報Ti,n(n=1〜N)を取得して、すべての重み係数Wi,n(n=1〜N)を再計算して更新する(ステップS204)。
そして、このステップS204の次においては、辞書データ生成・更新部16が、ステップS204で生成された重み係数Wi,n(n=1〜N)を取得し、当該取得した重み係数Wi,n(n=1〜N)により、対応する特徴ベクトルVi,nのそれぞれを重み付けし、そして、前述した図15の(式4)を用いて、顔識別用辞書データFRDiを生成または更新し、当該生成または更新した顔識別用辞書データFRDiを、顔識別用辞書データベース10に、前記個人特定情報に対応した顔識別用辞書データFRDiとして書き戻すようにする(ステップS206)。
また、ステップS203で、ユーザにより選択された重み係数算出方法が、前述の第4の例であると判別したときには、重み係数算出部15は、更新された個人辞書データDiの辞書データ生成用情報DPIi,nのうちの、最新の撮像時刻情報Ti,Nと、その一つ前の撮像時刻情報Ti,(N―1)とを取得して、最新の特徴ベクトルVi,Nについての重み係数Wi,Nを算出する(ステップS205)。
このステップS205の次においては、辞書データ生成・更新部16が、ステップS204で生成された重み係数Wi,Nを取得すると共に、過去のすべての辞書データ生成用情報の重み係数Wi,n(n=1〜(N―1))を取得して、それらを用いて対応する特徴ベクトルVi,nのそれぞれを重み付けし、そして、前述した図15の(式4)を用いて、顔識別用辞書データFRDiを生成または更新し、当該生成または更新した顔識別用辞書データFRDiを、顔識別用辞書データベース10に、前記個人特定情報に対応した顔識別用辞書データFRDiとして書き戻すようにする(ステップS206)。
[重み係数の再計算]
次に、図18のステップS204およびステップS205として示した重み係数の算出処理について、図19およびその続きである図20を参照して説明する。なお、図18では、すべての特徴ベクトルについての重み係数を再計算するか、新規の撮像時刻に取り込んだ特徴ベクトルについてのみについての重み係数を算出するかという観点から、処理手順を記述したが、図19および図20では、重み係数パラメータ設定情報STが何であるかを、順次に判定して処理を実行するようにした場合としての例を示すものである。
すなわち、図19に示すように、重み係数算出部15は、まず、ユーザにより選択された重み係数算出方法が、撮像順にしたがって重み係数を算出する方法であるか否かを判別する(ステップS301)。
ステップS301で、撮像順にしたがって重み係数を算出する方法であると判別したときには、重み係数算出部15は、更新された個人辞書データDiの辞書データ生成用情報DPIi,nのすべての撮像時刻情報Ti,n(n=1〜N)を取得して、最古の撮像時刻Ti,1と、それぞれの撮像時刻Ti,n(n=1〜N)との時間差ΔTi(1_n)(n=1〜N)を算出する(ステップS302)。
そして、重み係数算出部15は、撮像順の重み係数設定方法は、線形的に設定する方法であるか否か判別し(ステップS303)、線形的に設定する方法であると判別したときには、線形算出方法として前述したように、前記(式1)により、各特徴ベクトルVi,nについての重み係数Wi,nを算出し、算出した重み係数Wi,nを辞書データ生成・更新部16に渡すようにする(ステップS304)。そして、この処理ルーチンを終了する。
また、ステップS303で、撮像順の重み係数設定方法は、非線形的に設定する方法であると判別したときには、重み係数算出部15は、非線形算出方法として前述したように、前記(式2)により、各特徴ベクトルVi,nについての重み係数Wi,nを算出し、算出した重み係数Wi,nを辞書データ生成・更新部16に渡すようにする(ステップS305)。そして、この処理ルーチンを終了する。
また、ステップS301で、ユーザにより選択された重み係数算出方法が、撮像順にしたがって重み係数を算出する方法ではないと判別したときには、重み係数算出部15は、ユーザにより選択された重み係数算出方法は、前述した第4の例の撮像間隔に応じて設定(前画像との差)であるか否か判別する(図20のステップS311)。
ステップS311で、ユーザにより選択された重み係数算出方法は、前述した第4の例の撮像間隔に応じて設定(前画像との差)ではなく、前述した第3の例の撮像間隔に応じて設定(区間)であると判別したときには、重み係数算出部15は、前述の図13を用いて説明したように、複数個の分割区間を設定し、当該設定した分割区間毎に、当該分割区間に含まれる撮像時刻の数kを計算する(ステップS312)。
次に、重み係数算出部15は、算出した撮像時刻の数に応じて、各分割区間についての重み係数を設定する(ステップS313)。次に、重み係数算出部15は、撮像時刻Ti,nのそれぞれが、どの分割区間に属するかを判定し、その判定結果により、撮像時刻Ti,nのそれぞれに対応する重み係数Wi,nを算出する(ステップS314)。そして、この処理ルーチンを終了する。
算出された重み係数Wi,nのそれぞれは、辞書データ生成・更新部16に渡されると共に、辞書データ生成用情報DPIi,nのそれぞれの情報として記憶される。
また、ステップS311で、ユーザにより選択された重み係数算出方法は、前述した第4の例の撮像間隔に応じて設定(前画像との差)であると判別したときには、重み係数算出部15は、新たに取り込んだ顔画像の撮像時刻Ti,Nと、それより一つ前の撮像時刻Ti,(N−1)との時間差ΔTi(N_N−1)を算出する(ステップS315)。
そして、重み係数算出部15は、新たな撮像時刻Ti,Nで取り込んだ顔画像の特徴ベクトルについての重み係数Wi,Nを、前述した(式3)の算出式にしたがって算出する(ステップS316)。以上で、この処理ルーチンを終了する。
算出された重み係数Wi,Nは、辞書データ生成・更新部16に渡されると共に、辞書データ生成用情報DPIi,Nの情報として記憶される。
なお、以上の説明では、個人識別を行なった後には、当該個人識別に続いて、取り込んだ新たな顔画像を用いた顔識別用辞書データの更新を行なうようにしたが、新たに取り込んだ顔画像のデータあるいは特徴ベクトルと、時刻情報と、重み係数とを一時記憶しておき、個人識別時点の後の適当な時点において、顔識別用辞書データの更新を行うようにしても良い。
[実施形態の効果]
以上説明したように、上述の実施形態においては、顔識別用辞書データFRDiの更新演算に際し、N個の辞書データ生成用情報DPIi,nのそれぞれの特徴ベクトルの単純平均を取るのではなく、それぞれの特徴ベクトルに、撮像時刻に基づいて算出した直近のものほど高くなる重み係数を乗算したものの総和を、重み係数の総和で除算するようにしたので、それぞれの特徴ベクトルは、その撮像時刻に応じて顔識別用辞書データFRDiの生成に寄与するようになるので、さらに高精度の辞書データを得ることができる。
[他の実施形態]
以上は、この発明を顔識別処理装置に適用した場合であるが、この発明の適用範囲は、このような顔画像を用いた個人識別装置の場合に限らないことは言うまでもない。
例えば、個人識別処理の場合において、人の声などの、時間の経過につれて変化をする識別要素として個人を識別する場合においても、それぞれそれらの識別要素を取り込んだ取り込み時刻に基づいて重み係数を算出して、個人識別用の辞書データを更新する場合にも適用することができる。
この発明による個人識別装置の実施形態のハードウエア構成例を示すブロック図である。 この発明の実施形態における顔識別用辞書データベースの格納内容の例を説明するための図である。 この発明の実施形態における顔識別用辞書データベースの格納内容のフォーマット例を説明するための図である。 この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。 この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。 この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。 この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。 この発明による個人識別装置の実施形態における顔識別処理の例を説明するために用いる図である。 この発明による個人識別装置の実施形態における重み係数算出方法の選択設定を説明するための図である。 この発明による個人識別装置の実施形態における重み係数算出方法の第1の例を説明するための図である。 この発明による個人識別装置の実施形態における重み係数算出方法の第2の例を説明するための図である。 この発明による個人識別装置の実施形態における重み係数算出方法の第2の例の説明に用いる図である。 この発明による個人識別装置の実施形態における重み係数算出方法の第3の例を説明するための図である。 この発明による個人識別装置の実施形態における重み係数算出方法の第4の例を説明するための図である。 この発明による個人識別装置の実施形態における顔識別用辞書データの算出方法の一例を説明するために用いる図である。 この発明による個人識別装置の実施形態における顔識別処理の流れを説明するためのフローチャートの一部を示す図である。 この発明による個人識別装置の実施形態における顔識別処理の流れを説明するためのフローチャートの一部を示す図である。 この発明による個人識別装置の実施形態における顔識別用辞書データの更新処理の流れを説明するためのフローチャートを示す図である。 この発明による個人識別装置の実施形態における重み係数算出処理の流れを説明するためのフローチャートの一部を示す図である。 この発明による個人識別装置の実施形態における重み係数算出処理の流れを説明するためのフローチャートの一部を示す図である。
符号の説明
10…顔識別用辞書データベース、11…顔識別用画像処理部、12…顔識別処理部、14…辞書データ更新処理部、15…重み係数算出部、16…辞書データ生成・更新部

Claims (12)

  1. 個人を識別するための識別要素から抽出された特徴データから生成した前記識別すべき個人の識別用辞書データを、前記個人を特定するための個人特定情報に対応して記憶する辞書データ記憶部と、
    前記個人から取り込まれた識別要素から抽出された特徴データと、前記辞書データ記憶部の前記識別用辞書データとを比較して、前記識別要素を持つ個人を識別する識別手段と、
    前記個人から取り込まれた識別要素の取り込み時刻の情報を取得する時刻取得手段と、
    前記識別手段での前記個人の識別結果に基づいて、前記取り込まれた識別要素を持つ個人を特定する前記個人特定情報を得る個人特定手段と、
    前記取り込まれた識別要素のデータまたは前記識別要素から抽出された特徴データと、前記時刻取得手段で取得した時刻の情報とを、前記個人特定手段で取得された前記個人特定情報に対応させて、辞書データ生成用情報記憶部に、追加記憶する辞書データ生成用情報記憶手段と、
    前記個人特定手段で取得された前記個人特定情報に対応する前記識別用辞書データを、前記時刻取得手段で新たに取得した最新取り込み時刻の情報と、前記辞書データ生成用情報記憶部に前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取得した前記識別要素の過去取り込み時刻の情報と、それぞれの取り込み時刻で取り込まれた特徴データとを用いて生成または更新する手段であって、前記各特徴データに対して、その取り込み時刻に応じた重み係数で重み付けを行なって、前記識別用辞書データを更新する辞書データ更新処理手段と、
    を備え
    前記辞書データ更新処理手段は、
    前記最新取り込み時刻と、前記過去取り込み時刻のうちの前記辞書データ生成用情報記憶部の最古の過去取り込み時刻との間の第1の時間区間に対して、所定の第2の時間区間に割り付けられている重み係数算出用関数を、前記第1の時間区間を前記第2の時間区間として割り当て、前記第1の時間区間内において、前記最新取り込み時刻および前記過去取り込み時刻のそれぞれに対応する重み係数を、前記重み係数算出用関数にしたがって算出することにより、前記新たに取り込まれた前記識別要素についての特徴データについての重み係数、および過去に取り込まれた前記識別要素についての特徴データについての重み係数を算出する重み係数算出手段と、
    前記辞書データ生成用情報記憶部に、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取り込まれた前記識別要素の特徴データと、前記新たに取得した識別要素の特徴データとに対して、前記重み係数算出手段で算出した重み係数のそれぞれにより重み付けを行ない、当該重み付けを行なった前記複数の特徴データを用いて、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている前記識別用辞書データを生成または更新する辞書データ生成または更新手段と、
    を備える個人識別装置。
  2. 請求項1に記載の個人識別装置において、
    前記第1の時間区間に対して、前記所定の第2の時間区間に割り付けられている重み係数算出用関数を割り当てるに際し、前記最新取り込み時刻から所定時間だけ遡る優先区間を設定し、前記優先区間は、前記重み係数を最大値とする
    人識別装置。
  3. 請求項2に記載の個人識別装置において、
    前記優先区間の長さが使用者により設定可能とされてなる
    個人識別装置。
  4. 請求項1に記載の個人識別装置において、
    前記辞書データ生成用情報記憶部は、前記個人特定情報に対応させて記憶可能な前記個人の識別要素のデータまたは前記識別要素から抽出された特徴データと、前記時刻取得手段で取得した時刻の情報とを、有限個、記憶可能であり、
    前記辞書データ生成用情報記憶部に、前記個人特定情報に対応して、記憶可能な前記有限個の前記識別要素のデータまたは特徴データと、前記取得した時刻の情報とを記憶した後に、新たに前記個人の識別要素を取り込んだときには、前記取り込み時刻の最古のデータを廃棄して、前記新たに取り込んだ前記識別要素のデータまたは特徴データと、前記取得した時刻の情報とを、前記辞書データ生成用情報記憶部に記憶する
    人識別装置。
  5. 請求項1に記載の個人識別装置において、
    前記重み係数算出手段は、前記識別要素の取り込み時刻により、時系列に沿って最新の時点ほど線形的に高くするように、前記特徴データのそれぞれについての前記重み係数を算出する
    ことを特徴とする個人識別装置。
  6. 請求項1に記載の個人識別装置において、
    前記重み係数算出手段は、前記識別要素の取り込み時刻により、時系列に沿って最新の時点ほど非線形的に高くするように、前記特徴データのそれぞれについての前記重み係数を算出する
    ことを特徴とする個人識別装置。
  7. 請求項1に記載の個人識別装置において、
    前記重み係数算出手段は、それぞれの前記識別要素の取り込み時刻と最古の識別要素の取り込み時刻との時間差に基づいて、前記特徴データのそれぞれについての前記重み係数を算出する
    ことを特徴とする個人識別装置。
  8. 請求項1に記載の個人識別装置において、
    前記重み係数算出手段は、最古および最新の前記識別要素の取り込み時刻を含む期間を、複数個の所定の時間長区間に分割し、それぞれの所定の時間長区間に含まれる前記識別要素の取り込み時刻の数を計数し、その計数値が大きいほど高くするように、前記所定の時間毎に、それぞれの前記特徴データのそれぞれについての前記重み係数を算出する
    ことを特徴とする個人識別装置。
  9. 請求項1に記載の個人識別装置において、
    前記重み係数算出手段で用いる重み係数の算出方法を複数通り備え、
    前記複数通りの重み係数の算出方法のうちのいずれを用いるかをユーザに問い合わせて、当該問い合わせに対するユーザの選択設定を受け付ける手段を備え、
    前記重み係数算出手段は、前記ユーザにより選択設定された前記重み係数の算出方法を用いて前記重み係数を算出する
    ことを特徴とする個人識別装置。
  10. 個人から取り込まれた識別要素から抽出された特徴データと、前記特徴データから生成した前記識別すべき個人の識別用辞書データを、前記個人を特定するための個人特定情報に対応して記憶する辞書データ記憶部の前記識別用辞書データとを比較して、前記取り込まれた前記識別要素を持つ個人を識別する識別工程と、
    前記個人から取り込まれた識別要素の取り込み時刻の情報を取得する時刻取得工程と、
    前記識別工程での前記個人の識別結果に基づいて、前記取り込まれた識別要素を持つ個人を特定する前記個人特定情報を得る個人特定工程と、
    前記取り込まれた識別要素のデータまたは前記識別要素から抽出された特徴データと、前記時刻取得手段で取得した時刻の情報とを、前記個人特定工程で取得された前記個人特定情報に対応させて、辞書データ生成用情報記憶部に、追加記憶する辞書データ生成用情報記憶工程と、
    前記個人特定工程で取得された前記個人特定情報に対応する前記識別用辞書データを、前記時刻取得手段で新たに取得した最新取り込み時刻の情報と、前記辞書データ生成用情報記憶部に前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取得した前記識別要素の過去取り込み時刻の情報と、それぞれの取り込み時刻で取り込まれた特徴データとを用いて生成または更新する工程であって、前記特徴データのそれぞれに対して、その取り込み時刻に応じた重み係数で重み付けを行なって、前記識別用辞書データを更新する辞書データ更新処理工程と、
    有し、
    前記辞書データ更新処理工程は、
    前記最新取り込み時刻と、前記過去取り込み時刻のうちの前記辞書データ生成用情報記憶部の最古の過去取り込み時刻との間の第1の時間区間に対して、所定の第2の時間区間に割り付けられている重み係数算出用関数を、前記第1の時間区間を前記第2の時間区間として割り当て、前記第1の時間区間内において、前記最新取り込み時刻および前記過去取り込み時刻のそれぞれに対応する重み係数を、前記重み係数算出用関数にしたがって算出することにより、前記新たに取り込まれた前記識別要素についての特徴データについての重み係数、および過去に取り込まれた前記識別要素についての特徴データについての重み係数を算出する重み係数算出工程と、
    前記辞書データ生成用情報記憶部に、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取り込まれた前記識別要素の特徴データと、前記新たに取得した識別要素の特徴データとに対して、前記重み係数算出手段で算出した重み係数のそれぞれにより重み付けを行ない、当該重み付けを行なった前記複数の特徴データを用いて、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている前記識別用辞書データを生成または更新する辞書データ生成または更新工程と、
    を有する個人識別方法。
  11. 個人を識別するための識別要素から抽出された特徴データから生成し、前記個人を特定するための個人特定情報に対応して記憶されている前記識別すべき個人の識別用辞書データと、個人から取り込んだ識別要素から抽出された特徴データとを比較して、前記取り込んだ前記識別要素を持つ個人を識別する個人識別装置における前記識別用辞書データの更新方法であって、
    前記個人から取り込んだ識別要素の取り込み時刻の情報を取得する時刻取得工程と、
    前記取り込んだ前記識別要素を持つ個人の識別結果に基づいて、前記取り込んだ識別要素を持つ個人を特定する前記個人特定情報を得る個人特定工程と、
    前記取り込んだ個人の識別要素のデータまたは前記識別要素から抽出された特徴データと、前記時刻取得工程で取得した時刻の情報とを、前記個人特定工程で取得された前記個人特定情報に対応させて、辞書データ生成用情報記憶部に、追加記憶する辞書データ生成用情報記憶工程と、
    前記個人特定工程で取得された前記個人特定情報に対応する前記識別用辞書データを、前記時刻取得手段で新たに取得した最新取り込み時刻の情報と、前記辞書データ生成用情報記憶部に前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取得した前記識別要素の過去取り込み時刻の情報と、それぞれの取り込み時刻で取り込まれた特徴データとを用いて生成または更新する工程であって、前記特徴データのそれぞれに対して、その取り込み時刻に応じた重み係数で重み付けを行なって、前記識別用辞書データを更新する辞書データ更新処理工程と、
    有し、
    前記辞書データ更新処理工程は、
    前記最新取り込み時刻と、前記過去取り込み時刻のうちの前記辞書データ生成用情報記憶部の最古の過去取り込み時刻との間の第1の時間区間に対して、所定の第2の時間区間に割り付けられている重み係数算出用関数を、前記第1の時間区間を前記第2の時間区間として割り当て、前記第1の時間区間内において、前記最新取り込み時刻および前記過去取り込み時刻のそれぞれに対応する重み係数を、前記重み係数算出用関数にしたがって算出することにより、前記新たに取り込まれた前記識別要素についての特徴データについての重み係数、および過去に取り込まれた前記識別要素についての特徴データについての重み係数を算出する重み係数算出工程と、
    前記辞書データ生成用情報記憶部に、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取り込まれた前記識別要素の特徴データと、前記新たに取得した識別要素の特徴データとに対して、前記重み係数算出手段で算出した重み係数のそれぞれにより重み付けを行ない、当該重み付けを行なった前記複数の特徴データを用いて、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている前記識別用辞書データを生成または更新する辞書データ生成または更新工程と、
    有する識別用辞書データの更新方法。
  12. 個人を識別するための識別要素から抽出された特徴データから生成し、前記個人を特定するための個人特定情報に対応して記憶されている前記識別すべき個人の識別用辞書データと、取り込んだ個人の識別要素から抽出された特徴データとを比較して、前記取り込んだ前記識別要素を持つ個人を識別する個人識別装置における前記識別用辞書データを生成または更新するために、コンピュータに、
    前記個人から取り込んだ識別要素の取り込み時刻の情報を取得する時刻取得工程、
    前記取り込んだ前記識別要素を持つ個人の識別結果に基づいて、前記取り込んだ識別要素を持つ個人を特定する前記個人特定情報を得る個人特定工程、
    前記取り込んだ前記識別要素のデータまたは前記識別要素から抽出された特徴データと、前記時刻取得工程で取得した時刻の情報とを、前記個人特定工程で取得された前記個人特定情報に対応させて、辞書データ生成用情報記憶部に、追加記憶する辞書データ生成用情報記憶工程、
    前記個人特定工程で取得された前記個人特定情報に対応する前記識別用辞書データを、前記時刻取得手段で新たに取得した最新取り込み時刻の情報と、前記辞書データ生成用情報記憶部に前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取得した前記識別要素の過去取り込み時刻の情報と、それぞれの取り込み時刻で取り込まれた特徴データとを用いて生成または更新する工程であって、前記特徴データのそれぞれに対して、その取り込み時刻に応じた重み係数で重み付けを行なって、前記識別用辞書データを更新する辞書データ更新処理工程と、
    を実行させる識別用辞書データの更新プログラムであって、
    前記辞書データ更新処理工程は、
    前記最新取り込み時刻と、前記過去取り込み時刻のうちの前記辞書データ生成用情報記憶部の最古の過去取り込み時刻との間の第1の時間区間に対して、所定の第2の時間区間に割り付けられている重み係数算出用関数を、前記第1の時間区間を前記第2の時間区間として割り当て、前記第1の時間区間内において、前記最新取り込み時刻および前記過去取り込み時刻のそれぞれに対応する重み係数を、前記重み係数算出用関数にしたがって算出することにより、前記新たに取り込まれた前記識別要素についての特徴データについての重み係数、および過去に取り込まれた前記識別要素についての特徴データについての重み係数を算出する重み係数算出工程と、
    前記辞書データ生成用情報記憶部に、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている過去に取り込まれた前記識別要素の特徴データと、前記新たに取得した識別要素の特徴データとに対して、前記重み係数算出手段で算出した重み係数のそれぞれにより重み付けを行ない、当該重み付けを行なった前記複数の特徴データを用いて、前記個人特定手段で取得した前記個人特定情報に対応して記憶されている前記識別用辞書データを生成または更新する辞書データ生成または更新工程と、
    からなる識別用辞書データの更新プログラム
JP2006313735A 2006-11-21 2006-11-21 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム Expired - Fee Related JP4305672B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006313735A JP4305672B2 (ja) 2006-11-21 2006-11-21 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム
US11/983,691 US7916903B2 (en) 2006-11-21 2007-11-09 Personal identification device, personal identification method, updating method for identification dictionary data, and updating program for identification dictionary data
TW096142703A TWI348119B (en) 2006-11-21 2007-11-12 Personal identification device, personal identification method, updating method for identification dictionary data, and updating program for identification dictionary data
CN2007101875208A CN101187979B (zh) 2006-11-21 2007-11-21 个人识别设备及方法和识别辞典数据的更新方法及程序
KR1020070119440A KR20090004348A (ko) 2006-11-21 2007-11-21 개인 식별 장치, 개인 식별 방법, 식별 사전 데이터의 갱신방법, 및 식별 사전 데이터의 갱신 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006313735A JP4305672B2 (ja) 2006-11-21 2006-11-21 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム

Publications (2)

Publication Number Publication Date
JP2008129830A JP2008129830A (ja) 2008-06-05
JP4305672B2 true JP4305672B2 (ja) 2009-07-29

Family

ID=39463747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006313735A Expired - Fee Related JP4305672B2 (ja) 2006-11-21 2006-11-21 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム

Country Status (5)

Country Link
US (1) US7916903B2 (ja)
JP (1) JP4305672B2 (ja)
KR (1) KR20090004348A (ja)
CN (1) CN101187979B (ja)
TW (1) TWI348119B (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825756B1 (ko) * 2006-12-05 2008-04-29 한국전자통신연구원 얼굴 특징 추출 방법 및 그 장치
CN101334780A (zh) * 2007-06-25 2008-12-31 英特维数位科技股份有限公司 人物影像的搜寻方法、系统及存储影像元数据的记录媒体
JP4816717B2 (ja) 2008-12-09 2011-11-16 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4636190B2 (ja) * 2009-03-13 2011-02-23 オムロン株式会社 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
TWI427544B (zh) * 2010-09-20 2014-02-21 Egis Technology Inc 具智能學習功能之生物特徵辨識裝置及其方法
JP4893855B1 (ja) * 2010-12-21 2012-03-07 オムロン株式会社 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
JP5050113B1 (ja) * 2011-04-27 2012-10-17 株式会社東芝 映像表示装置、電子機器、映像表示方法
JP2012247840A (ja) * 2011-05-25 2012-12-13 Sony Corp 近隣人物特定装置、近隣人物特定方法、近隣人物特定プログラム及び近隣人物特定システム
JP5868164B2 (ja) * 2011-12-21 2016-02-24 キヤノン株式会社 撮像装置、情報処理システム、制御方法、及びプログラム
JP6161271B2 (ja) * 2011-12-22 2017-07-12 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
JP5279930B1 (ja) * 2012-03-27 2013-09-04 株式会社東芝 サーバ、電子機器、サーバの制御方法、サーバの制御プログラム
JP2014029623A (ja) * 2012-07-31 2014-02-13 Canon Inc 情報処理装置及び情報処理方法
US9519858B2 (en) * 2013-02-10 2016-12-13 Microsoft Technology Licensing, Llc Feature-augmented neural networks and applications of same
AU2014297265A1 (en) * 2013-07-30 2016-02-18 Nec Corporation Information processing device, authentication system, authentication method, and program
CN104573652B (zh) * 2015-01-04 2017-12-22 华为技术有限公司 确定人脸图像中人脸的身份标识的方法、装置和终端
JP6418033B2 (ja) * 2015-03-30 2018-11-07 オムロン株式会社 個人識別装置、識別閾値設定方法、およびプログラム
JP6671268B2 (ja) * 2016-09-12 2020-03-25 株式会社日立製作所 呼気アルコール検知のための認証システム及び認証方法
US10282592B2 (en) * 2017-01-12 2019-05-07 Icatch Technology Inc. Face detecting method and face detecting system
JP6862952B2 (ja) * 2017-03-16 2021-04-21 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法
CN107808149A (zh) * 2017-11-17 2018-03-16 腾讯数码(天津)有限公司 一种人脸信息标注方法、装置和存储介质
CN109492560A (zh) * 2018-10-26 2019-03-19 深圳力维智联技术有限公司 基于时间尺度的人脸图像特征融合方法、装置和存储介质
US11176597B2 (en) * 2018-10-30 2021-11-16 Ncr Corporation Associating shoppers together
CN109981890B (zh) * 2019-02-26 2020-10-27 维沃移动通信有限公司 一种提醒任务处理方法、终端及计算机可读存储介质
US11170271B2 (en) * 2019-06-26 2021-11-09 Dallas Limetree, LLC Method and system for classifying content using scoring for identifying psychological factors employed by consumers to take action
US11636117B2 (en) 2019-06-26 2023-04-25 Dallas Limetree, LLC Content selection using psychological factor vectors
CN112150557B (zh) * 2020-09-14 2024-04-19 阿波罗智联(北京)科技有限公司 用于路侧感知相机数据流的众数获取方法、装置及介质
US11961334B2 (en) 2021-04-18 2024-04-16 Microsoft Technology Licensing, Llc. Biometric data storage using feature vectors and associated global unique identifier
WO2022225610A1 (en) * 2021-04-18 2022-10-27 Microsoft Technology Licensing, Llc Object data storage

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3254994B2 (ja) * 1995-03-01 2002-02-12 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
JP3621245B2 (ja) 1997-12-12 2005-02-16 株式会社東芝 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体
JP3808639B2 (ja) 1998-10-13 2006-08-16 株式会社東芝 署名照合方法及び装置
JP2000214238A (ja) 1999-01-22 2000-08-04 Toshiba Corp バッテリ駆動予想時間算出装置及びバッテリ駆動予想時間算出方法
JP4645872B2 (ja) 2000-11-29 2011-03-09 オムロン株式会社 制御装置および認証方法
JP2003108984A (ja) * 2001-07-27 2003-04-11 Toshiba Corp 顔画像認識装置、通行制御装置、顔画像認識方法、及び通行制御方法
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
US7804982B2 (en) * 2002-11-26 2010-09-28 L-1 Secure Credentialing, Inc. Systems and methods for managing and detecting fraud in image databases used with identification documents
FR2850190B1 (fr) * 2003-01-21 2006-04-28 Atmel Grenoble Sa Procede et dispositif de reconnaissance de personne
US7421097B2 (en) 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
JP2005044330A (ja) 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP2006072540A (ja) 2004-08-31 2006-03-16 Toshiba Corp 個人認証システム
JP2006072770A (ja) 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
JP2006092491A (ja) 2004-09-27 2006-04-06 Glory Ltd 本人認証装置、本人認証システム、本人認証方法および本人認証プログラム
JP4267584B2 (ja) * 2005-02-28 2009-05-27 株式会社東芝 機器制御装置及びその方法
US7711157B2 (en) * 2006-08-01 2010-05-04 California Institute Of Technology Artificial intelligence systems for identifying objects

Also Published As

Publication number Publication date
KR20090004348A (ko) 2009-01-12
US7916903B2 (en) 2011-03-29
CN101187979A (zh) 2008-05-28
JP2008129830A (ja) 2008-06-05
US20080123907A1 (en) 2008-05-29
CN101187979B (zh) 2012-07-04
TWI348119B (en) 2011-09-01
TW200839621A (en) 2008-10-01

Similar Documents

Publication Publication Date Title
JP4305672B2 (ja) 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム
KR101426952B1 (ko) 정보처리 장치, 정보처리 방법, 개인 식별 장치 및 개인 식별 장치에서 사전 데이터 생성/갱신 방법
JP6934564B2 (ja) 偽装防止の検出方法および装置、電子機器、記憶媒体
EP2797019B1 (en) Biometric authentication device and method
EP2546782B1 (en) Liveness detection
US20040247177A1 (en) Image processing
CN108335026A (zh) 银行密码信息变更实现方法、设备、系统及存储介质
JP5286297B2 (ja) 生体認証システム
WO2011102416A1 (ja) 移動物体追跡システムおよび移動物体追跡方法
JP5355446B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
US20160267339A1 (en) Image processing apparatus and method of generating face image
EP2930640A1 (en) Method, system and computer program for validating a facial image-bearing identity document
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP2019023785A (ja) 人物識別装置及びプログラム
JP2008165314A (ja) 個人識別装置および個人識別方法
JP2022003526A (ja) 情報処理装置、検出システム、情報処理方法、及びプログラム
JP4487247B2 (ja) 人物画像検索装置
JP2018049566A (ja) 画像処理装置、画像処理方法およびプログラム
EP2535835B1 (en) Real-time user identification by hand motion signatures
CN111937005A (zh) 生物特征识别方法、装置、设备及存储介质
JP5604573B2 (ja) 生体認証システム、コンピュータ及びプログラム
EP4089628A1 (en) Sight line estimation device, sight line estimation method, model generation device, and model generation method
US20240104178A1 (en) Information processing apparatus, information processing method, matching system, program, and storage medium
KR102344848B1 (ko) 안면 인식을 이용한 환자 식별 장치 및 방법
US20230401894A1 (en) Behavior estimation device, behavior estimation method, and recording medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090421

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees