JP3886660B2 - 人物認識装置における登録装置及びその方法 - Google Patents
人物認識装置における登録装置及びその方法 Download PDFInfo
- Publication number
- JP3886660B2 JP3886660B2 JP6540599A JP6540599A JP3886660B2 JP 3886660 B2 JP3886660 B2 JP 3886660B2 JP 6540599 A JP6540599 A JP 6540599A JP 6540599 A JP6540599 A JP 6540599A JP 3886660 B2 JP3886660 B2 JP 3886660B2
- Authority
- JP
- Japan
- Prior art keywords
- instruction
- face
- image
- person
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000012795 verification Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 32
- 238000012905 input function Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims 2
- 230000008921 facial expression Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 239000013598 vector Substances 0.000 description 16
- 230000014509 gene expression Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 12
- 238000012790 confirmation Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 230000036544 posture Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000008451 emotion Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013524 data verification Methods 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 0 C(C1)C*2C1COCC2 Chemical compound C(C1)C*2C1COCC2 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は人物認識装置における登録装置及びその登録方法に関する。
【０００２】
【従来の技術】
近年、セキュリティやヒューマンインタフェースの分野では、人物をカメラで撮影し、その画像を解析することによって得られた情報に基づいて個人認証、表情認識、視線検出、ジェスチャ認識、口唇認識などを用い、システムに利用することへの関心が高まっている。
【０００３】
セキュリティの観点からは、人間の生体情報を利用する個人認識法としては、顔、声紋、指紋、虹彩などを利用したものがある。それらの中でも顔を利用した場合は、精神的、肉体的負担をかけることなく認識でき、利用しやすいといった特徴がある。
【０００４】
顔の認識方法については、様々な研究報告、文献があるが、サーベイ論文として、文献（赤松茂：”コンピュータによる顔の認識の研究動向”電子情報通信学会誌Vol. 80 No.3 pp.257-266(1997) ）がある。この文献の中で、顔の向きなどの視点変化のバリエーションを考慮した顔認識を行うためには、顔の向き、姿勢を予め求め、それぞれの方向に適合した登録辞書を用いて認識を行うことが一例として紹介されている。この場合、識別対象人物のあらゆる姿勢、表情などの顔画像の学習サンプルを予め取得し用意しておく必要がある。
【０００５】
この学習サンプルをどのようにして集めるかが問題となるが、これまでに、一枚の画像からコンピュータグラフィックスを応用し、別の顔の向きを合成して登録するなどの方法があるが、合成データが十分なクオリティではないため、学習サンプルとして適切ではないことがわかっている。すなわち実データから得られた登録サンプルでなければ実用的な認識率は得られない。
【０００６】
実データから学習サンプルを得るということは、登録対象人物に姿勢や表情を実際にしてもらう必要がある。このため従来は登録対象人物に対して説明者である人間が予め指示していたが、言葉や図だけの静的な説明では指示内容が不明確になりがちで、登録者のバラエティのあるデータが充分に得られるとはいえなかった。
【０００７】
また、人物認識装置には、人物認証だけでなく、人物の表情や、人物の視線方向や、口や唇の動きなどを認識する口唇認識などを認識する用途も含まれるため、それらのデータ登録の際には、様々な指示を人物に行う必要がある。しかしながら、これまでの写真の撮影装置や顔を用いた認識装置の多くは、正面顔を対象としていたため、正面を向くように指示するなどの簡単な指示だけで済んでいたが、様々な方向を向いた顔画像をバラエティよく自動的に取得するのは困難であった。また、指示がうまく伝わったとしても、実際に登録者が指示どおりの姿勢や表情をできているという保証はなかった。
【０００８】
【発明が解決しようとする課題】
本発明では、顔画像の登録時に様々なバリエーションを考慮し、自動的に登録する方法や登録内容などを提示することにより、バラエティに富んだデータを確実に収集可能にするための装置、方法、記録媒体を提供する。
【００１０】
【課題を解決するための手段】
請求項１の発明は、人物を撮像する画像入力手段と、前記画像入力手段によって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録手段と、前記顔画像登録手段へ前記人物の正面向き、左向き、右向き、上向き、下向きの顔画像の登録情報を登録するために前記人物に顔向きの変化を、顔をモチーフとしたＣＧによって指示する指示情報を作成する作法指示手段と、前記作法指示手段によって生成された指示情報を出力する指示内容出力手段と、を有し、前記作法指示手段は、前記指示内容出力手段において指示内容の表示を行うタイミング、または、前記画像入力手段によって画像を入力するタイミングを設定する同期調整手段を有することを特徴とする人物認識装置における登録装置である。
【００１１】
請求項２の発明は、前記顔画像に基づく登録情報以外の付帯情報、前記人物の状態の情報、その他の本登録装置への情報を入力するための外部情報入力手段を有することを特徴とする請求項１記載の人物認識装置における登録装置である。
【００１２】
請求項３の発明は、前記顔画像登録手段の登録情報が、所定の条件を満たしているかどうかを確かめる登録内容検証手段を有することを特徴とする請求項１記載の人物認識装置における登録装置である。
【００１３】
請求項４の発明は、前記作法指示手段は、音声を用いて前記人物に顔向きの変化を同時に指示することを特徴とする請求項１から３の中で少なくとも一項に記載の人物認識装置における登録装置である。
【００１５】
請求項５の発明は、人物を撮像する画像入力ステップと、前記画像入力ステップによって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録ステップと、前記顔画像登録手段へ前記人物の正面向き、左向き、右向き、上向き、下向きの顔画像の登録情報を登録するために前記人物に顔向きの変化を、顔をモチーフとしたＣＧによって指示する指示情報を作成する作法指示ステップと、前記作法指示ステップによって生成された指示情報を出力する指示内容出力ステップと、前記作法指示ステップは、前記指示内容出力ステップにおいて指示内容の表示を行うタイミング、または、前記画像入力手段によって画像を入力するタイミングを設定する同期調整ステップを有するを有することを特徴とする人物認識装置における登録方法である。
【００１７】
請求項６の発明は、人物を撮像する画像入力機能と、前記画像入力機能によって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録機能と、前記顔画像登録手段へ前記人物の正面向き、左向き、右向き、上向き、下向きの顔画像の登録情報を登録するために前記人物に顔向きの変化を、顔をモチーフとしたＣＧによって指示する指示情報を作成する作法指示機能と、前記作法指示機能によって生成された指示情報を出力する指示内容出力機能と、前記作法指示機能は、前記指示内容出力機能において指示内容の表示を行うタイミング、または、前記画像入力手段によって画像を入力するタイミングを設定する同期調整機能を有する を実現するプログラムを記録したことを特徴とする人物認識装置における登録方法の記録媒体である。
【００２６】
請求項１０の発明は、人物を撮像する画像入力機能と、前記画像入力機能によって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録機能と、前記顔画像登録機能において登録情報を登録するために前記人物に登録方法を指示する指示情報を作成する作法指示機能と、前記作法指示機能によって生成された指示情報を出力する指示内容出力機能と、を実現するプログラムを記録したことを特徴とする人物認識装置における登録方法の記録媒体である。
【００２７】
【発明の実施の形態】
以下に本発明の実施例について説明する。ここでは、認識対象を人間の顔として、ＣＣＤカメラなどを用いて顔画像を入力し、画像処理を行った後、パターン類似度などを用いて認識を行う人物認識装置について説明する。
【００２８】
＜実施形態１＞
図１は基本的な構成例を示した図であり、この実施形態１では、各部について詳細に説明する。
【００２９】
(1) 画像入力部
画像入力部100 は、顔画像をコンピュータに入力するための装置からなり、ＣＣＤカメラ101 などの画像入力手段から構成される。構成例を図２に示す。
【００３０】
入力された画像は画像入力ボード102 などのＡ／Ｄ変換104 によってデジタル化され、画像メモリ103 に蓄えられる。画像メモリは103 、画像入力ボード上の構成でもよいし、画像入力部100 の外部のメモリでもよい。なお、画像入力装置の数に関しては限定せず複数の台数から構成されてもよい。
【００３１】
(2) 顔画像登録部
顔画像登録部200 では、入力画像を画像処理し、顔領域、顔部品を検出する顔画像解析を行い、認証のためのデータを抽出し、登録データを構成、保持する。顔画像登録部200 の構成例は、図３に示す。顔画像登録部200 は、入力されたデジタル画像中から、認識のための顔情報を登録するための特徴量を抽出し、データベースに登録する。本実施例では、顔画像の濃淡情報を特徴量として取り出す。なお、顔画像の特徴量はこれに限定するものではない。
【００３２】
▲１▼顔領域検出部
画像メモリ103 に蓄えられた画像中から、顔領域検出部201 では、画像中から顔の領域、もしくは頭部領域を検出する。
【００３３】
本実施例での検出方法は、予め用意された顔検出のためのテンプレートを、画像中を移動させながら相関値を求めることによって、最も高い相関値を持った場所を顔領域とする。
【００３４】
相関値を計算する代わりに、Eigenface 法や部分空間法を利用して距離や類似度を求め、その類似度の高い場所を抽出する方法などの顔検出手段でもよく、方法は問わない。
【００３５】
また、大きく横を向いた頭部から顔領域を取り出すために、数方向の横向き顔のテンプレートを用意しておき利用してもよい。
【００３６】
また、画像としてカラー画像を用いた場合、そのカラー画像をRGB カラー空間からＨＳＶカラー空間に変換し、色相、彩度などの色情報を用いて、顔領域や頭髪部の領域などを、領域分割によって部分領域を求め、領域併合法などを用いて検出してもよい。
【００３７】
そして、顔領域を含んだ部分画像を顔部品検出部202 に送る。
【００３８】
▲２▼顔部品検出部
次に、顔部品検出部202 では、目、鼻、口、耳といった顔部品を検出する。
【００３９】
本実施例では、検出された顔領域の部分の中から、目の位置を検出する。検出方法は、顔検出と同様のパターンマッチングによるものや、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌(D), vol.J80-D-II, No.8, pp2170-2177(1997)）などの方法を用いることができ、方法は問わない。
【００４０】
▲３▼特徴量抽出部
特徴量抽出部203 では、認識のために必要な特徴量を入力画像から求める。
【００４１】
まず、顔を用いた人物認証のための特徴量について説明する。
【００４２】
本実施例では、検出された部品の位置と顔領域の位置をもとに、領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。検出されるいくつかの顔部品のうち、２つの組合せを考え、その２つの顔部品特徴点を結ぶ線分が、一定の割合で顔領域検出部分に収まっていれば、図４（ｃ）のような顔領域抽出の結果領域を、ｍピクセル×ｎピクセルの領域に変換する。
【００４３】
一例として、２つの部品が目の場合を説明する。図４（ａ）の入力に対して、図４（ｂ）の右目と左目を結ぶベクトルとそのベクトルに垂直なベクトルの二つの方向の基準ベクトルを考え、２つのベクトルを図４（ｂ）のように中点からの特定の距離に位置するピクセルを抽出する。
【００４４】
本実施例では、各ピクセルの濃淡値を特徴ベクトルの要素情報として、ｍ×ｎ次元の情報を用いる。この特徴ベクトルの構成法については、この内容を問わない。これらの処理は、時系列画像、もしくは複数台のカメラの入力画像に対して行われる。
【００４５】
ある一人が正面付近を見ていたときに画像入力を行った場合、特徴ベクトル画像は図５のようになり、時系列的、または空間的にパラメータの異なる、大量のデータが得られることになる。
【００４６】
別の認識装置の特徴量について例を挙げると、表情認識のための特徴量として、顔の特定の領域、例えば、頬や口などの部分領域に対する特徴抽出を行う。検出された顔部品の位置から頬の位置や別の顔部品位置の特定を行い、その領域の濃淡値や濃淡の変化量などから認識のための特徴量を求める。
【００４７】
視線認識のための特徴量としては、目領域周辺から特徴量を求める。目領域の濃淡値に基づいて、認識のための特徴量が得られることになる。
【００４８】
口唇認識のための特徴量としては、口領域周辺の画像から特徴量を求める。例えば、口領域の濃淡値値に基づいた特徴量や、口の開閉具合などの構造的な特徴量、時間的変化に伴う動き情報の変化量等が認識のための特徴量として利用される。
【００４９】
▲４▼登録情報生成部
登録情報生成部204 では、特徴量抽出部203 で得られた特徴量から登録情報を生成する。
【００５０】
本実施例では、登録情報は、特徴量をＫＬ展開することによって得られる部分空間とする。
【００５１】
収集された特徴ベクトルの相関行列を求め、ＫＬ展開による正規直交ベクトルを求めることにより、データの次元数を下げた部分空間を計算する。
【００５２】
入力パターンとして得られたｍ×ｎピクセルの画像について、濃淡の補正を行いｍ×ｎ次元の特徴ベクトルを用いて認識を行う。収集されたパターンは、以下の式により相関行列Ｃを求め、
【数１】
Ｃを対角化することにより、主成分（固有ベクトル）を求める。ここで、ｒはデータの収集枚数、Ｎｋ は特徴ベクトルを表している。この固有ベクトルの対応する固有値の大きなものからＭ個用い、これらの固有ベクトルで張られる部分空間を認識のための登録データとする。この登録データ、部分空間のことを辞書と呼ぶ。
【００５３】
▲５▼登録情報記憶部
登録情報記憶部205 は、登録情報生成部204 で生成された登録情報を保持する。
【００５４】
登録情報は、ＩＤ番号の他、画像データ等も含まれる。また、部分空間（固有値、固有ベクトル、次元数、サンプルデータ数）、また、このデータがどのような指示内容の時に得られたデータであるかを示すインデックス情報などから構成される。
【００５５】
また、別の実施例で述べるように外部情報入力部500 からの付帯情報と関連づけて記憶することも可能である。
【００５６】
顔画像登録部200 の基本動作について、図６を用いて説明する。
【００５７】
顔領域検出部201 は、入力画像をとりこみ（ステップ2000）、顔領域の検出を行う（ステップ2001）。検出された顔領域に対して、顔部品検出部202 では、目鼻の特徴点の検出を行う（ステップ2002）。特徴量抽出部203 では、パターンの切り出しを行い（ステップ2003）、特徴ベクトルの生成を行う（ステップ2004）。次に収集の継続判断を行う（ステップ2005）。収集を継続する場合は、画像の入力から再び処理を開始する。収集を終了する場合は、登録情報生成部204 で部分空間の生成を行う（ステップ2006）。その後、全ての収集が終了の判断を行い（ステップ2007）、収集を継続する場合は、画像の入力から再び処理を開始する。収集を終了する場合は、登録情報記憶部205 に部分空間の記録を行う（ステップ2008）。
【００５８】
(3) 作法指示部300
作法指示部300 は、登録データのバラエティの取得を目的として、使用者に適切な指示を与える。
【００５９】
作法指示部300 の構成例を図７に示す。
【００６０】
作法指示部300 は、指示情報蓄積部301 、指示情報再生部302 、同期調整部303 からなる。
【００６１】
以下の実施例は、パーソナルコンピュータを利用した実施形態に基づいて説明を行う。
【００６２】
▲１▼指示情報蓄積部
指示情報蓄積部301 は、登録者に対して、所定の動作を指示する情報を少なくとも含む動作記述を蓄える。本発明では、登録者が指示にしたがって、ある一定の動作をシステムに対して与えるようにすることを目的とする。ここでの動作とは、顔の向き、表情、体の位置、手足の位置など、体の状態を変化させることをさす。また、動作記述とは、ある動作を行ってもらうために必要な指示内容をさす。
【００６３】
動作記述としては、ある人物が具体的にある一定の動作を行った場合に撮影したビデオデータ（動画）などでよく、これを被登録者に見せることで動作を真似させることができる。その場合のビデオデータはアナログ、デジタルを問わない。ビデオフォーマットの種類は規定しないため、ビデオはデジタル化されてパーソナルコンピュータで再生することのできる、ＡＶＩ、ＭＯＶフォーマットのデータ、ＭＰＥＧなどのデジタルビデオデータとすることができる。そして、被登録者に対して、その動画を見ながら指定の動作を実行するように指示できる。
【００６４】
動作記述をビデオデータで構成した場合、動作記述にはビデオデータ本体3011とビデオの内容を示すインデックス情報3012が記述される。インデックス情報3012は、提示方法や提示内容、また、後の実施例で説明されるデータの検証のための情報などを含む。図８（ａ）は、その構造を示した例である。
【００６５】
顔の向きについては、ある指標を画面に表示し、その方法を向くように指示することもできるため、指標などの動作、表示の記述なども動作記述とすることができる。その場合、表示に用いる装置名やプログラム名3013、プログラムを動作させるためのシーケンスデータ3014、内容を表すインデックス情報3015からなる。図８（ｂ）は、その構造を示した例である。
【００６６】
表情などの変化を提示する場合は、顔をモチーフとしたＣＧなどを用いてもよい。ＣＧの表情を変化させて同じ表情形成をするように従わせる。この場合、ＣＧ表示に用いるプログラム名3016、プログラムを動作させるためのシーケンスデータ3017、内容を表すインデックス情報3018から動作記述が構成される。図８（ｃ）は、その構造を示した例である。
【００６７】
立ち位置、座り方などについても表示できる。例えば、その場所データも動作記述に含めることができる。また、動作を示すシンボルを表示してもよい。この場合、表示に用いる装置名やプログラム名3019、プログラムを動作させるためのシーケンスデータ3020、内容を表すインデックス情報3021から動作記述が構成される。図８（ｂ）が、その例である。
【００６８】
ここでは、具体的な実施例として、表情、顔の向き、姿勢などを変更する例について述べる。
【００６９】
取得したいシーケンス例としては、図９に示すように、表情変化として、図９（ａ）〜図９（ｃ）のように無表情から笑顔の変化を経由して無表情に戻る動作を行い、次に図９（ｃ）〜図９（ｋ）のような顔の向きのバリエーションとして、上方向、下方向、右方向、左方向といった方向を向く動作を行う。そして次に、図９（ｋ）〜図９（ｌ）のように姿勢の変化として、カメラに対し前後するといった動作シーケンスである。
【００７０】
表情の変化を指示する動作記述については、ＣＧによる表情合成を用いる。一般的な方法としてはモーフィングによる画像生成法などが知られているため、無表情の顔と笑顔の間を線形補間して、時間的に変化させるなどの表現手法がある。一例としては、目的とする表情の最終状態の画像と、その幾何学的な対応点情報、変形に要する時間間隔などをパラメータとして記憶しておけばよい。ここでは、予め表情を時系列的に変化させて作成したＣＧムービーをデジタルビデオデータとして記述する。
【００７１】
顔向きの変化を指示する動作記述については、予め画面に表示される指標の方向を向くように指示しておいて、その指標の位置、方向などの表示パラメータを記述しておく。例えば、図１０の（ａ）〜（ｑ）までの例では、ボールが動作することを表しており、その位置データ、書換え速度をパラメータとして与えておく。表示については、図形表示ルーチンを用いる。図形表示ルーチンは、ある図形（矩形、多角形、円など）を位置、大きさ、色などの指定を行うことで、画面に表示することができるソフトウェアである。
【００７２】
姿勢を指示する動作記述については、画面に向かって前後することを表現するために図１０（ｒ），（ｓ）の例のように、シンボル表示として、矢印を表示する。その矢印に対応して体を前後させることを指示内容とする。顔向きの変化を指示する動作記述と同様に、表示は図形表示ルーチンを用いる。
【００７３】
また、図１１のように人体を背面から映したような映像生成を用いることで、実際に自分がどのように顔の向きを変化させればよいかを視認しやすくすることができる。この場合、ＣＧを合成するためのパラメータの記述、VRMLなどの言語による記述を用いてよい。さらには、先の説明の際に用いた図９のような簡略的な画像による指示を行ってもよい。
【００７４】
もちろん、これらについては、先に述べたように、ＣＧなどを用いて合成したＣＧムービーを利用するものではなく、実写した映像を用い、デジタルビデオデータとして記憶しておいてもよい。
【００７５】
さらに、画像情報だけでなく、同時に音声、信号音などを用いて指示することで一層わかりやすく効果的である。例えば、「こちらを向いて下さい。」「笑顔で右の指標をごらんになって下さい。」などの指示や、提示内容が変更されることを示すブザーやチャイムなどの信号音なども指示内容として含むことができる。音声での指示は、人物画指示内容を受けとり動作を行っている途中では画面を見ていないこともあるため、音声により指示することで、「こちらを向いて下さい。」などと指示することが可能となる。
【００７６】
人間の動作をそのまま指示するのではなく、人間の反射的な行動や文化的な刺激を行うような視聴覚的な提示内容でもよい。例として、落語を聞かせるなどの表情の変化を起こす可能性のある内容を提示してもよい。また、ボールなどが右から左に高速で移動する映像やボールが画面に大きく近づいてくる映像などのように、意識せずに顔の向きを変えたり、後ずさりして姿勢を変えたり、予期できない表情変化を起こすことが期待できる刺激でもよい。これらにより、様々な顔のバリエーションが得られることになる。
【００７７】
▲２▼指示情報再生部
指示情報再生部302 は、指示情報蓄積部301 に蓄えられた内容を加工、表示、再生する。指示情報再生部は、図１３のような構成をとり、指示情報蓄積部301 に蓄えられた内容を再生する再生手段を有する。
【００７８】
本実施例では、先の図９に表したシーケンスを取得する例を用いて説明する。実施形態としてパーソナルコンピュータを利用した例について述べる。表情の変化を指示するには、デジタルデータとして記憶しておき、再生部によってデジタルビデオとして再生する。ここで再生部はビデオデータをデコードするデコーダソフトウェア3201によって表現され、デコードされた出力は、出力部に送られる。
【００７９】
次に顔の向きについては、図１０（ａ）〜（ｑ）に示すようにボールの動きで指示する。ボールの表示の時間間隔、位置などは、指示情報蓄積部に蓄えられた内容に沿って表示し、ボールの位置を時間的に変化させることで動きを実現する。再生部は、図形表示ルーチン3202で実現され、指示情報出力部400 にその結果が送られる。
【００８０】
姿勢の指示については、図１０（ｒ），（ｓ）に示すようにシンボルを表示させる。シンボルの表示にも、再生部としてボール表示と同じように、図形表示ルーチン3202を用いる。ここでは、矢印の向きを変えるために、ある時間間隔で数種類の表示を行い、表示部に送られる。
【００８１】
先に述べたように、音声や信号音を用いてもよい。よって、パーソナルコンピュータの音声出力機能を用いて、音声により指示を行ったり、指示内容の種類が変更される場合に、信号音を出すなどを行ってもよい。その場合の再生部は、オーディオデコーダ3203を用いる。
【００８２】
▲３▼同期調整部
同期調整部303 は、指示情報の表示を開始、一時停止、スピード調整などタイミングを調整する機構を有する。また、登録装置の画像収集の制御も行うことができる。
【００８３】
同期調整部303 は、例として図１２に示すように、同期信号受取部3301、制御信号出力部3302、制御調停部3303からなる。
【００８４】
同期信号受取部3301は、他の各手段とつながっており、各手段の動作の開始、終了、また制御のための各種のパラメータなどの信号を受信する。
【００８５】
制御信号出力部3302は、同期信号受取部3301と同様に、他の各手段とつながっており、各手段に対して、動作の開始、終了、また各手段の動作を決定する各種のパラメータを送信する。
【００８６】
制御調停部3303は、設定された動作にしたがって、他の手段の動作を規定する。制御調停部3303では、図１６のようなスケジューリングを行うように設定されており、同期信号受取部3301から受けた信号を判断し、設定された動作にしたがって、他の手段に対し制御信号出力部3302を通して、制御信号を送信する。
【００８７】
同期調整部303 によって、指示表示の提示と画像情報の収集のタイムラグを防ぐことが可能である。例えば、動画像の提示の場合、人間が知覚として実際に顔の向きを変化させるためには、若干の時間が必要となるため、その時間の補正などを行って画像の収集を行うことができる。
【００８８】
(4) 指示情報出力部
指示情報出力部400 は、人間に指示を行うための表示内容を表示、すなわち作法指示部300 の再生部から出された信号を表示、発音、発声する。
【００８９】
図１４に示すように、構成要素としては、入出力監視部401 、ディスプレイ410 、スピーカー420 、ランプ430 、ブザー440 などが挙げられる。指示情報出力部400 に送られてくる情報は、そのメディアに応じて画像情報はディスプレイ410 、音声情報はスピーカー420 に送られる。またランプ430 やブザー440 などを配置し、適宜用いてよい。入出力監視部401 は、指示情報出力部400 から送られた入力情報をそれぞれの機器に対して信号を送るとともに、信号入力の開始、終了の検知も行う。これらの情報は別の実施例で用いられる。
【００９０】
また、画像入力部100 を通じて得られる、登録中の顔画像を指示情報出力部400 に出力することが可能である。この場合、顔画像を鏡面反転して表示するなどの画像処理だけでなく、対象人物がきちんと認識処理されていることを知らせるために、検出結果としての顔領域の矩形表示や、顔部品の検出位置を人物に知らせるために図１５のように、顔部品のマーキングなどのシンボル表示を同時に行ってもよい。
【００９１】
＜動作例１＞
図１の構成における全体動作について、顔画像を入力して人物認証を行う人物認証装置を例として説明する。登録内容は、個人認証のための顔画像データと辞書である。具体的な登録例において、同期調整部303 を中心として各部の動作について図１６を用いて説明する。
【００９２】
図１６の下向きの矢印は時間の方向を表しており、下向き矢印の間の横の矢印は、同期をとるための信号や各種のパラメータの受け渡しを表している。
【００９３】
図１７は、システム全体の動作のフローチャートである。新たに人物を登録する際には、まず、顔画像登録部200 の顔領域検出部201 において、顔が検出されることを待つ（ステップ7001）。同期調整部303 は図１６のスケジューリングを行うように設定されており、顔領域検出部201 からの信号を受け取ると、指示内容蓄積部に指示内容の出力の信号を送信する（信号7101）。指示内容は、図１０のような画面構成とする。指示内容蓄積部は、指示内容を指示内容再生部に送り、指示内容を出力する（ステップ7002）。指示内容出力部は、信号7102を受け、指示内容を出力する（ステップ7003）。
【００９４】
顔画像登録部200 は指示内容が出力されている間、顔画像を収集する（ステップ7004）。人物は、図９で示されるような動作を指示内容を見ながら行う。指示内容出力部は、幾つかの指示内容について、内容出力開始の信号7103、内容終了開始の信号7104を同期調整部303 に送信し、指示内容全体の出力の開始と終了の時には、信号7105によって顔画像登録部200 に登録の開始、終了の信号を与える。
【００９５】
指示内容全体が終了するかどうかを判断し（ステップ7005）、指示内容がまだある場合は指示内容の出力、ならびに顔画像の収集を継続する。指示内容全体が終了した場合は、顔画像収集を終了し、登録内容である辞書の生成を行う（ステップ7006）。辞書が生成された後、登録内容記憶部のデータベースの更新、この場合は新規登録内容の追加を行う（ステップ7007）。
【００９６】
＜実施形態２＞
別の実施形態として、図２０のものについて述べる。図２０では、個人情報や人間の状態、さらにシステム外部からの同期信号などの入力を取得する手段を有する外部情報入力部500 を有する。なお、図２０では、外部情報入力部500 をＩＤ取得部という。
【００９７】
(5) 外部情報入力部
外部情報入力部500 は、登録情報を識別するための付帯情報やコード、またシステム外部からの確認入力などの情報を取得する。付帯情報とは、具体的には、登録者に対応するコード番号、氏名、年齢、性別などの個人に関する情報を示す。さらに喜怒哀楽などの感情やどの方向を見ているかといった人間の状態をあらわすコードも入力できる。また、外部からの同期信号、例えば、登録の開始、登録内容の確認などの各種の対話型のシステム動作に必要な信号の入力にも用いられる。
【００９８】
付帯情報読み取り部510 は、キーボード511 、ＩＤカード装置512 、無線装置513 、マウス514 、ボタン515 などの装置の一つ、または複数の組合せにより実現される。
【００９９】
例としては、登録者に対応するコード番号や氏名を人間が入力するためにキーボード511 を用いることや、社員証など既存のＩＤカードを読み取ることのできるＩＤカード装置512 により、カードに書かれた情報を付帯情報として読み出して利用することが挙げられる。また、無線装置513 などによりＩＤを読み取ったり、マウス514 を使って画面に表示された選択内容を選択できる。ここでの選択内容とは、例えば認証のためのＩＤ、感情を表す言葉のアイコン、見ている方向を示すアイコンなどである。また、提示内容の確認やシステムへの指示を行うためのボタン515 なども利用できる。
【０１００】
ＩＤ発行部520 は、登録されるべき付帯情報のために通し番号などを発行し、付帯情報とともに出力を行う。または、対話型動作のための入力データの信号変換も行う。
【０１０１】
まず、認証装置の場合について実施例を説明する。付帯情報読み取り部510 によって、氏名、年齢、ＩＤ番号、性別などを入力された個人情報について、顔画像登録部200 で管理するための通し番号を付属させて、出力する。
【０１０２】
次に、表情認識や視線検出の場合について説明する。まず、視線検出装置の場合については、上、下、左、右などの向きをマウスで指定するなどにより、視線の方向や顔の向きを指示することで、その通し番号もしくは、場所の情報を付加して、出力される。
【０１０３】
また、表情認識装置の場合については、「喜」「怒」「哀」「楽」など表情の表すボタンを指示するとその表情に対応した、番号を出力する。また、表情の変化は時間的に起こるものであり、その表情の変化順序に依存して中間的な変化（ある表情からある表情への中途の表情）に変動が起きることが考えられる。そこで、ComicChat(David Kurlander, Tim Skellyu, David Sales, ComicChat, SIGGRAPH ´96, pp.225-236, 1996) で用いられているような、図１９のEmotion wheel 風のインタフェースを用いて、どのように表情を変化させるかといった記述を人間に申告させ、その変動軌跡の系列を動作記述として出力する。
【０１０４】
図１９（ａ）は、Emotion wheel 風のインタフェースで、いくつかの方向に表情の変化を表すアイコンがあり、中央が無表情であることに対し、ある方向に十字を動かすと、表情の大きさと種類を選択できる。図１９（ｂ），（ｃ）では、そのインターフェースを用いて、表情の変化軌跡を示しており、（ｂ）では、ある表情から無表情になり別の表情に推移し、（ｃ）では、あらゆる表情へ変化する軌跡を表すことになる。
【０１０５】
この場合、作法指示部300 では、その変動軌跡に応じて、ＣＧによる表情の合成、もしくは表情を収めたビデオの系列の再生順序を編成することによって、指示内容が変化する。これに応じた、指示内容の提示を行い、顔画像の登録を行うことになる。
【０１０６】
このように、人物の行動内容を人物自身で規定するために外部情報入力部500 を利用することもでき、その形態については本例に限るものではない。
【０１０７】
また対話型動作の入力として入力部を用いる例としては、「登録を開始しますか？」といった指示内容に対して、キーボードやマウス、ボタンなどを用いて開始を指示する。もしくは、登録のための指示内容の種類が複数ある場合は、各動作指示毎に確認を促し、キーボードやマウス、ボタンなどを用いて開始を指示、内容の確認などを行う。
【０１０８】
＜動作例２＞
外部情報入力部500 を用いたシステムの動作例について説明する。図２１は、システム全体の動作のフローチャートである。
【０１０９】
まず、外部情報入力部500 において、付帯情報である氏名、ＩＤ番号、年齢などをキーボードから入力する（ステップ7201）。入力が終了すると基本的には、先の動作例１のフローチャート図１７と同様の動作を行い（ステップ群7202）、収集が終了すると、ＩＤ発行部502 から、付帯情報である氏名、ＩＤ番号、年齢などを登録情報記憶部に転送し（ステップ7203）、作成された辞書とともに、追加される（ステップ7204）。
【０１１０】
また、同期調整部303 は、図２２のスケジューリングを行う。信号7301により外部情報入力部500 からの付帯情報の入力が終了したことが受信すると、指示内容の出力の開始を指示し、顔画像の収集を開始する。そして、指示内容の出力が終了し、顔画像の登録が終了を信号7302により同期調整部303 につげられると、外部情報入力部500 からの付帯情報の送信を指示し（信号7303）、外部情報入力部500 からの付帯情報を顔画像登録部200 に送信する（信号7304）。登録が終了すると同期調整部303 に終了の合図が送られ、一連の処理が終了する（信号7305）。
【０１１１】
＜動作例３＞
外部情報入力部500 を用いたシステムの別の動作例について説明する。外部情報入力部500 は、ＩＤの付帯情報だけでなく、対話的なシステム動作のための対話入力の入力手段としても用いられ、その例を示す。
【０１１２】
図２３は、システム全体の動作のフローチャートである。システムは、複数の指示内容、例えば、図１０における、顔向き（ａ）〜（ｑ）と、画面からの相対位置の姿勢指示（ｒ），（ｓ) のような異なる指示内容の場合、それぞれの指示に対して確認要求を行う。
【０１１３】
まず、外部情報入力部500 において、付帯情報である氏名、ＩＤ番号、年齢などをキーボードから入力する（ステップ401 ）。入力が終了すると確認要求の内容を表示する。例えば、「これから顔の向きを変化させて下さい。用意ができたらキーボードのいずれかのキーを押して下さい。」といった要求を提示する（ステップ7402）。
【０１１４】
確認要求のループでキーの入力を待ち（ステップ7403）、キーが入力されると、指示内容を再生、出力を行う（ステップ7404,7405 ）。そして同時に顔画像の収集を行う（ステップ7406）。一つの指示内容が出力されたかどうかを判断し（ステップ7407）、終了していなければ、さらに画像収集を継続する。終了していれば、次にすべての指示内容が出力されたかどうかを判断する（ステップ7408）。別の指示内容が存在する場合は、複数の指示内容がまだ終了しなければ、新たな確認要求に進む。全ての指示内容が終了していれば、辞書の生成、登録を行う（ステップ7409,7410,7411）。
【０１１５】
また、同期調整部303 は、図２４のスケジューリングを行う。図２４は、複数の指示内容のスケジューリングの中の、ある一つの指示内容の同期制御について図示している。信号7501により外部情報入力部500 からの付帯情報の入力が終了したことが受信すると、指示内容の確認要求（信号7502）を送信する。外部情報入力部500 は、キー入力の確認を待ち（処理7503）、入力があると確認結果を送信する（信号7504）。その後指示内容蓄積部に開始の指示を送信（信号7505）すると、指示内容蓄積部は、指示内容を指示内容再生部に送り（信号7505）、指示内容を出力する。
【０１１６】
指示内容出力部は、内容出力開始の信号7506を同期調整部303 に送信し、信号7507によって顔画像登録部200 に画像収集の開始を知らせる。画像の収集を続けた後、指示内容出力部は、内容出力終了の信号7508を同期調整部303 に送信し、信号7509によって顔画像登録部200 に画像収集の終了の指示を送信する。顔画像登録部200 は信号7510によって画像収集の終了を知らせる。同期調整部303 は次の指示内容の確認要求を前と同様に行う（信号7511）。後は同様に、他の指示内容について処理を行う（信号7512以降）。
【０１１７】
＜実施形態３＞
別の実施形態として、図２５のものについて述べる。図２５では、収集過程、または収集終了後に、適合したデータ収得ができているかどうか登録内容を検証する登録内容検証部600 を有する。なお、図２５では、外部情報入力部500 をＩＤ取得部という。
【０１１８】
(6) 登録内容検証部
登録内容検証部600 は、登録データが要求どおりの内容を満たしているか、もしくは十分なバラエティが収集できたかどうか取得データを検証し確かめる。一つの構成例として、図２６のように、登録内容検証部600 は、指示内容受取部601 、データ検証部602 からなる。
【０１１９】
指示内容受取部601 は、指示情報蓄積部301 から指示内容を受け取り、どのような指示が行われたかを解釈し、その内容にあった、データ検証のための判断基準や評価関数を選択し、データ検証部に送る。
【０１２０】
データ検証部602 は、指示内容受取部601 から受け取った判断基準や評価関数に基づいて、入力データが判断基準や評価関数を満たしているかどうかを検証し、その結果を出力する。
【０１２１】
図２６のように、データ検証部620 は、顔向き認識手段6201、表情認識手段6202、姿勢認識手段6203、画像変動認識手段6204を有し、検証結果記録部6205にその結果を保持する。
【０１２２】
各手段は、画像入力部100 から画像を入力するか、もしくは、顔画像登録部200 で処理された途中結果、ならびに切り出された処理結果、検出パラメータなどを入力として受け取る。各手段は、その画像と指示内容受取部601 から受け取った評価基準に基づいて取得されたデータが基準に適合しているかどうかのスコアを計算し、検証結果記録部6205に送る。
【０１２３】
例として、指示内容として「顔を上向きにする」という内容の場合、指示内容受取部は、顔向き認識手段に対して、「上向き」に関する評価関数を送る。顔向き認識手段は、抽出された画像を受け取りテンプレートマッチングによる類似度を求めることとし、評価関数は、その「上向き」テンプレートを表す関数とする。顔向き認識手段は、類似度を求め、検証結果記録部に送る。検証結果記録部では、設定された類似度に対する閾値を越えているかどうかで判断する。
【０１２４】
また、個別に指示内容について詳細に判断するのではなく、十分にバラエティが得られているかどうかを検証する場合もある。この場合、収集されたデータについて、各ピクセル値の分散を比較するなどの方法が考えられる。画像変動認識手段6204はこのデータのばらつきの度合いを検知する。顔の表情などは、頬や目周辺の変動が多いため、それらの場所に対応するピクセル値の分散を計算する。正面を向いている場合の分散値と比較してある一定以上の値を注目ピクセルで取りうるならば、バラエティが得られていると判断する。
【０１２５】
さらに、画像変動認識手段6204では、動作を検証するために、画像中のオプティカルフローを求めて、動きの方向が正しいかどうかを判断することによって、検証する方法について説明する。この方法は、顔の向きをある方向から別の方向へ（右向きから左向きなど）変化する場合、顔部品などが作り出すエッジ成分について着目した場合、その方向に沿って動きベクトルが観測される。この場合、そのベクトル情報を蓄積していき、あまり変化の見られないフレームで取得されたデータは利用しないなどの判断が可能となる。
【０１２６】
＜動作例４＞
登録内容検証部600 を用いた例として、画像の収集後にまとめてデータを検証する例について述べる。
【０１２７】
これまでの動作例と同様の説明方法で、スケジューリングを図２７として説明する。この例では、ある一つの指示内容の提示を行い、その結果得られた画像の検証を行う。
【０１２８】
同期調整部303 は、指示内容蓄積部に対し、指示内容の送信を行うように信号7601を送信する。指示内容蓄積部は、指示内容を再生し指示内容出力部に送信する（信号7602）。さらに指示内容蓄積部は、登録内容検証部600 に指示内容を送信し（信号7603）、登録内容検証部600 は、その情報を保持する。次に同期調整部303 は、指示内容出力部からの出力開始信号（信号7604）を受け取ると、顔画像登録部200 に顔画像の収集開始を指示する（信号7605）。指示内容出力部から終了の指示（信号7606）が送られると、顔画像登録部200 に顔画像の収集終了を指示する（信号7607）。顔画像登録部200 は顔画像の収集終了を同期調整部303 に通知する（信号7608）と同時に収集した顔画像を登録内容検証部600 に送る（信号7609）。登録内容検証部600 は、収集した顔画像を保持し、同期調整部303 からの通知（信号7610）により、検証を開始する。そして検証結果を同期調整部303 に通知する（信号7611）。
【０１２９】
同期調整部303 は、その受け取った結果、再度収集するかなどの判断を行うことが可能である。
【０１３０】
＜動作例５＞
前述した検証機能を用いて、検証を画像収集と同時に行う実施例について述べる。この動作は、スケジューリングが図２８のようになる。
【０１３１】
同期調整部303 は、指示内容蓄積部に対し、指示内容の送信を行うように信号7701を送信する。指示内容蓄積部は、指示内容を再生し指示内容出力部に送信する（信号7702）。さらに指示内容蓄積部は、登録内容検証部600 に指示内容を送信し（信号7703）、登録内容検証部600 は、その情報を保持する。次に同期調整部303 は、指示内容出力部からの出力開始信号（信号7704）を受け取ると、顔画像登録部200 に顔画像の収集開始を指示する（信号7705）。同時に、登録内容検証部600 に対しても検証開始を指示する（信号7706）。
【０１３２】
登録内容検証部600 は、検証結果を、同期調整部303 に対して随時送信し（信号7707）、必要とするデータが得られている場合、顔画像登録部200 に顔画像の収集の一時停止を指示する（信号7708）。また、別の指示内容を提示し（信号7709）、再度顔画像登録部200 に顔画像の収集を再開させる（信号7710）。
【０１３３】
同様にして、いくつかの指示内容を提示すると、同期調整部303 は、顔画像登録部200 に収集終了を通知し（信号7711）、顔画像登録部200 は顔画像の収集が完了したことを同期調整部303 に通知する（信号7712）。
【０１３４】
この動作例を用いて、登録内容検証部600 では、検証を行いながら、指示内容も変化させることができる。図２８において、信号7710のところで、指示内容を検証結果に基づいて変更すればよい。具体例とすると、ある方向に顔を向けることを指示し、その方向を向いているときの顔画像収集を行ったとき、収集結果として、画像認識が失敗して収集枚数が少ない場合や検証結果として目的としている方向と異なる方向のデータが収集された場合などは、再度同じ指示内容にする、もしくは別の提示方法に変更するなどの処理が行える。
【０１３５】
＜変形例＞
変形例について述べる。
【０１３６】
顔画像登録部200 の顔領域検出部、顔部品検出部、特徴量抽出部などの特徴量抽出に関連する手段が、認識装置の一部として組み込まれ、同様な特徴量を求めるための手段が備わっている場合は、それらの構成要素を利用してもよい。
【０１３７】
認識のための特徴量として本実施例では、濃淡に基づいた画像特徴を用いたが、人物の個人性、状態などを認識するために必要な特徴量は、様々な別のものを用いても構わない。
【０１３８】
本実施例は個人認識装置を中心に説明を行ったが、その他の人物認識装置、例えば、表情認識装置、視線検出装置、口唇認識装置などに応用してもよい。
【０１３９】
以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。
【０１４０】
なお、上記動作内容を実行するためのプログラムを作成し、これをＦＤ，ＣＤ−ＲＯＭ，ＭＯなどの記録媒体に記憶させておき、パーソナルコンピュータのハードディスクにインストールさせて、本発明を実施してもよい。また、記録媒体には、上記プログラムをインストールしたハードディスクも含まれる。
【０１４１】
【発明の効果】
本発明によれば、効率的にバラエティを含んだ顔画像を得ることができ、例えば、人物認証装置、表情認識装置、視線検出装置、口唇認識装置などの顔認識装置における認識率の向上に多大な効果をもたらす。
【図面の簡単な説明】
【図１】第１の実施形態の装置の構成を示す図である。
【図２】画像入力部の一構成例を示す図である。
【図３】顔画像登録部の一構成例を示す図である。
【図４】顔画像の切り出し方法の説明図である。
【図５】特徴ベクトル画像例を示す図である。
【図６】顔画像登録部の動作フローチャートである。
【図７】作法指示部の一構成例を示す図である。
【図８】動作記述の構造体の説明図である。
【図９】取得シーカンスの例の説明図である。
【図１０】指標の提示例の図である。
【図１１】人物の背面からのＣＧを用いた提示例の図である。
【図１２】同期調整部の一構成例を示す図である。
【図１３】指示情報再生部の一構成例を示す図である。
【図１４】指示情報出力部の一構成例を示す図である。
【図１５】結果のマーキングの一例の図である。
【図１６】同期スケジューリングの例の図である。
【図１７】動作例１の全体動作のフローチャートである。
【図１８】外部情報入力部の一構成例を示す図である。
【図１９】表情変化経路指定の例の説明図である。
【図２０】第２の実施形態の装置の構成を示す図である。
【図２１】動作例２の全体動作のフローチャートである。
【図２２】ＩＤ入力スケジューリングの例の図である。
【図２３】動作例３の全体動作のフローチャートである。
【図２４】入力確認スケジューリングの例の図である。
【図２５】第３の実施形態の装置の構成を示す図である。
【図２６】登録内容検証部の一構成例を示す図である。
【図２７】同期検証スケジューリングの例の図である。
【図２８】登録同期検証スケジューリングの例の図である。
【符号の説明】
１００ 画像入力部
２００ 顔画像登録部
３００ 作法指示部
４００ 指示内容出力部
５００ 外部情報入力部
６００ 登録内容検証部
【発明の属する技術分野】
本発明は人物認識装置における登録装置及びその登録方法に関する。
【０００２】
【従来の技術】
近年、セキュリティやヒューマンインタフェースの分野では、人物をカメラで撮影し、その画像を解析することによって得られた情報に基づいて個人認証、表情認識、視線検出、ジェスチャ認識、口唇認識などを用い、システムに利用することへの関心が高まっている。
【０００３】
セキュリティの観点からは、人間の生体情報を利用する個人認識法としては、顔、声紋、指紋、虹彩などを利用したものがある。それらの中でも顔を利用した場合は、精神的、肉体的負担をかけることなく認識でき、利用しやすいといった特徴がある。
【０００４】
顔の認識方法については、様々な研究報告、文献があるが、サーベイ論文として、文献（赤松茂：”コンピュータによる顔の認識の研究動向”電子情報通信学会誌Vol. 80 No.3 pp.257-266(1997) ）がある。この文献の中で、顔の向きなどの視点変化のバリエーションを考慮した顔認識を行うためには、顔の向き、姿勢を予め求め、それぞれの方向に適合した登録辞書を用いて認識を行うことが一例として紹介されている。この場合、識別対象人物のあらゆる姿勢、表情などの顔画像の学習サンプルを予め取得し用意しておく必要がある。
【０００５】
この学習サンプルをどのようにして集めるかが問題となるが、これまでに、一枚の画像からコンピュータグラフィックスを応用し、別の顔の向きを合成して登録するなどの方法があるが、合成データが十分なクオリティではないため、学習サンプルとして適切ではないことがわかっている。すなわち実データから得られた登録サンプルでなければ実用的な認識率は得られない。
【０００６】
実データから学習サンプルを得るということは、登録対象人物に姿勢や表情を実際にしてもらう必要がある。このため従来は登録対象人物に対して説明者である人間が予め指示していたが、言葉や図だけの静的な説明では指示内容が不明確になりがちで、登録者のバラエティのあるデータが充分に得られるとはいえなかった。
【０００７】
また、人物認識装置には、人物認証だけでなく、人物の表情や、人物の視線方向や、口や唇の動きなどを認識する口唇認識などを認識する用途も含まれるため、それらのデータ登録の際には、様々な指示を人物に行う必要がある。しかしながら、これまでの写真の撮影装置や顔を用いた認識装置の多くは、正面顔を対象としていたため、正面を向くように指示するなどの簡単な指示だけで済んでいたが、様々な方向を向いた顔画像をバラエティよく自動的に取得するのは困難であった。また、指示がうまく伝わったとしても、実際に登録者が指示どおりの姿勢や表情をできているという保証はなかった。
【０００８】
【発明が解決しようとする課題】
本発明では、顔画像の登録時に様々なバリエーションを考慮し、自動的に登録する方法や登録内容などを提示することにより、バラエティに富んだデータを確実に収集可能にするための装置、方法、記録媒体を提供する。
【００１０】
【課題を解決するための手段】
請求項１の発明は、人物を撮像する画像入力手段と、前記画像入力手段によって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録手段と、前記顔画像登録手段へ前記人物の正面向き、左向き、右向き、上向き、下向きの顔画像の登録情報を登録するために前記人物に顔向きの変化を、顔をモチーフとしたＣＧによって指示する指示情報を作成する作法指示手段と、前記作法指示手段によって生成された指示情報を出力する指示内容出力手段と、を有し、前記作法指示手段は、前記指示内容出力手段において指示内容の表示を行うタイミング、または、前記画像入力手段によって画像を入力するタイミングを設定する同期調整手段を有することを特徴とする人物認識装置における登録装置である。
【００１１】
請求項２の発明は、前記顔画像に基づく登録情報以外の付帯情報、前記人物の状態の情報、その他の本登録装置への情報を入力するための外部情報入力手段を有することを特徴とする請求項１記載の人物認識装置における登録装置である。
【００１２】
請求項３の発明は、前記顔画像登録手段の登録情報が、所定の条件を満たしているかどうかを確かめる登録内容検証手段を有することを特徴とする請求項１記載の人物認識装置における登録装置である。
【００１３】
請求項４の発明は、前記作法指示手段は、音声を用いて前記人物に顔向きの変化を同時に指示することを特徴とする請求項１から３の中で少なくとも一項に記載の人物認識装置における登録装置である。
【００１５】
請求項５の発明は、人物を撮像する画像入力ステップと、前記画像入力ステップによって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録ステップと、前記顔画像登録手段へ前記人物の正面向き、左向き、右向き、上向き、下向きの顔画像の登録情報を登録するために前記人物に顔向きの変化を、顔をモチーフとしたＣＧによって指示する指示情報を作成する作法指示ステップと、前記作法指示ステップによって生成された指示情報を出力する指示内容出力ステップと、前記作法指示ステップは、前記指示内容出力ステップにおいて指示内容の表示を行うタイミング、または、前記画像入力手段によって画像を入力するタイミングを設定する同期調整ステップを有するを有することを特徴とする人物認識装置における登録方法である。
【００１７】
請求項６の発明は、人物を撮像する画像入力機能と、前記画像入力機能によって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録機能と、前記顔画像登録手段へ前記人物の正面向き、左向き、右向き、上向き、下向きの顔画像の登録情報を登録するために前記人物に顔向きの変化を、顔をモチーフとしたＣＧによって指示する指示情報を作成する作法指示機能と、前記作法指示機能によって生成された指示情報を出力する指示内容出力機能と、前記作法指示機能は、前記指示内容出力機能において指示内容の表示を行うタイミング、または、前記画像入力手段によって画像を入力するタイミングを設定する同期調整機能を有する を実現するプログラムを記録したことを特徴とする人物認識装置における登録方法の記録媒体である。
【００２６】
請求項１０の発明は、人物を撮像する画像入力機能と、前記画像入力機能によって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録機能と、前記顔画像登録機能において登録情報を登録するために前記人物に登録方法を指示する指示情報を作成する作法指示機能と、前記作法指示機能によって生成された指示情報を出力する指示内容出力機能と、を実現するプログラムを記録したことを特徴とする人物認識装置における登録方法の記録媒体である。
【００２７】
【発明の実施の形態】
以下に本発明の実施例について説明する。ここでは、認識対象を人間の顔として、ＣＣＤカメラなどを用いて顔画像を入力し、画像処理を行った後、パターン類似度などを用いて認識を行う人物認識装置について説明する。
【００２８】
＜実施形態１＞
図１は基本的な構成例を示した図であり、この実施形態１では、各部について詳細に説明する。
【００２９】
(1) 画像入力部
画像入力部100 は、顔画像をコンピュータに入力するための装置からなり、ＣＣＤカメラ101 などの画像入力手段から構成される。構成例を図２に示す。
【００３０】
入力された画像は画像入力ボード102 などのＡ／Ｄ変換104 によってデジタル化され、画像メモリ103 に蓄えられる。画像メモリは103 、画像入力ボード上の構成でもよいし、画像入力部100 の外部のメモリでもよい。なお、画像入力装置の数に関しては限定せず複数の台数から構成されてもよい。
【００３１】
(2) 顔画像登録部
顔画像登録部200 では、入力画像を画像処理し、顔領域、顔部品を検出する顔画像解析を行い、認証のためのデータを抽出し、登録データを構成、保持する。顔画像登録部200 の構成例は、図３に示す。顔画像登録部200 は、入力されたデジタル画像中から、認識のための顔情報を登録するための特徴量を抽出し、データベースに登録する。本実施例では、顔画像の濃淡情報を特徴量として取り出す。なお、顔画像の特徴量はこれに限定するものではない。
【００３２】
▲１▼顔領域検出部
画像メモリ103 に蓄えられた画像中から、顔領域検出部201 では、画像中から顔の領域、もしくは頭部領域を検出する。
【００３３】
本実施例での検出方法は、予め用意された顔検出のためのテンプレートを、画像中を移動させながら相関値を求めることによって、最も高い相関値を持った場所を顔領域とする。
【００３４】
相関値を計算する代わりに、Eigenface 法や部分空間法を利用して距離や類似度を求め、その類似度の高い場所を抽出する方法などの顔検出手段でもよく、方法は問わない。
【００３５】
また、大きく横を向いた頭部から顔領域を取り出すために、数方向の横向き顔のテンプレートを用意しておき利用してもよい。
【００３６】
また、画像としてカラー画像を用いた場合、そのカラー画像をRGB カラー空間からＨＳＶカラー空間に変換し、色相、彩度などの色情報を用いて、顔領域や頭髪部の領域などを、領域分割によって部分領域を求め、領域併合法などを用いて検出してもよい。
【００３７】
そして、顔領域を含んだ部分画像を顔部品検出部202 に送る。
【００３８】
▲２▼顔部品検出部
次に、顔部品検出部202 では、目、鼻、口、耳といった顔部品を検出する。
【００３９】
本実施例では、検出された顔領域の部分の中から、目の位置を検出する。検出方法は、顔検出と同様のパターンマッチングによるものや、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌(D), vol.J80-D-II, No.8, pp2170-2177(1997)）などの方法を用いることができ、方法は問わない。
【００４０】
▲３▼特徴量抽出部
特徴量抽出部203 では、認識のために必要な特徴量を入力画像から求める。
【００４１】
まず、顔を用いた人物認証のための特徴量について説明する。
【００４２】
本実施例では、検出された部品の位置と顔領域の位置をもとに、領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。検出されるいくつかの顔部品のうち、２つの組合せを考え、その２つの顔部品特徴点を結ぶ線分が、一定の割合で顔領域検出部分に収まっていれば、図４（ｃ）のような顔領域抽出の結果領域を、ｍピクセル×ｎピクセルの領域に変換する。
【００４３】
一例として、２つの部品が目の場合を説明する。図４（ａ）の入力に対して、図４（ｂ）の右目と左目を結ぶベクトルとそのベクトルに垂直なベクトルの二つの方向の基準ベクトルを考え、２つのベクトルを図４（ｂ）のように中点からの特定の距離に位置するピクセルを抽出する。
【００４４】
本実施例では、各ピクセルの濃淡値を特徴ベクトルの要素情報として、ｍ×ｎ次元の情報を用いる。この特徴ベクトルの構成法については、この内容を問わない。これらの処理は、時系列画像、もしくは複数台のカメラの入力画像に対して行われる。
【００４５】
ある一人が正面付近を見ていたときに画像入力を行った場合、特徴ベクトル画像は図５のようになり、時系列的、または空間的にパラメータの異なる、大量のデータが得られることになる。
【００４６】
別の認識装置の特徴量について例を挙げると、表情認識のための特徴量として、顔の特定の領域、例えば、頬や口などの部分領域に対する特徴抽出を行う。検出された顔部品の位置から頬の位置や別の顔部品位置の特定を行い、その領域の濃淡値や濃淡の変化量などから認識のための特徴量を求める。
【００４７】
視線認識のための特徴量としては、目領域周辺から特徴量を求める。目領域の濃淡値に基づいて、認識のための特徴量が得られることになる。
【００４８】
口唇認識のための特徴量としては、口領域周辺の画像から特徴量を求める。例えば、口領域の濃淡値値に基づいた特徴量や、口の開閉具合などの構造的な特徴量、時間的変化に伴う動き情報の変化量等が認識のための特徴量として利用される。
【００４９】
▲４▼登録情報生成部
登録情報生成部204 では、特徴量抽出部203 で得られた特徴量から登録情報を生成する。
【００５０】
本実施例では、登録情報は、特徴量をＫＬ展開することによって得られる部分空間とする。
【００５１】
収集された特徴ベクトルの相関行列を求め、ＫＬ展開による正規直交ベクトルを求めることにより、データの次元数を下げた部分空間を計算する。
【００５２】
入力パターンとして得られたｍ×ｎピクセルの画像について、濃淡の補正を行いｍ×ｎ次元の特徴ベクトルを用いて認識を行う。収集されたパターンは、以下の式により相関行列Ｃを求め、
【数１】
【００５３】
▲５▼登録情報記憶部
登録情報記憶部205 は、登録情報生成部204 で生成された登録情報を保持する。
【００５４】
登録情報は、ＩＤ番号の他、画像データ等も含まれる。また、部分空間（固有値、固有ベクトル、次元数、サンプルデータ数）、また、このデータがどのような指示内容の時に得られたデータであるかを示すインデックス情報などから構成される。
【００５５】
また、別の実施例で述べるように外部情報入力部500 からの付帯情報と関連づけて記憶することも可能である。
【００５６】
顔画像登録部200 の基本動作について、図６を用いて説明する。
【００５７】
顔領域検出部201 は、入力画像をとりこみ（ステップ2000）、顔領域の検出を行う（ステップ2001）。検出された顔領域に対して、顔部品検出部202 では、目鼻の特徴点の検出を行う（ステップ2002）。特徴量抽出部203 では、パターンの切り出しを行い（ステップ2003）、特徴ベクトルの生成を行う（ステップ2004）。次に収集の継続判断を行う（ステップ2005）。収集を継続する場合は、画像の入力から再び処理を開始する。収集を終了する場合は、登録情報生成部204 で部分空間の生成を行う（ステップ2006）。その後、全ての収集が終了の判断を行い（ステップ2007）、収集を継続する場合は、画像の入力から再び処理を開始する。収集を終了する場合は、登録情報記憶部205 に部分空間の記録を行う（ステップ2008）。
【００５８】
(3) 作法指示部300
作法指示部300 は、登録データのバラエティの取得を目的として、使用者に適切な指示を与える。
【００５９】
作法指示部300 の構成例を図７に示す。
【００６０】
作法指示部300 は、指示情報蓄積部301 、指示情報再生部302 、同期調整部303 からなる。
【００６１】
以下の実施例は、パーソナルコンピュータを利用した実施形態に基づいて説明を行う。
【００６２】
▲１▼指示情報蓄積部
指示情報蓄積部301 は、登録者に対して、所定の動作を指示する情報を少なくとも含む動作記述を蓄える。本発明では、登録者が指示にしたがって、ある一定の動作をシステムに対して与えるようにすることを目的とする。ここでの動作とは、顔の向き、表情、体の位置、手足の位置など、体の状態を変化させることをさす。また、動作記述とは、ある動作を行ってもらうために必要な指示内容をさす。
【００６３】
動作記述としては、ある人物が具体的にある一定の動作を行った場合に撮影したビデオデータ（動画）などでよく、これを被登録者に見せることで動作を真似させることができる。その場合のビデオデータはアナログ、デジタルを問わない。ビデオフォーマットの種類は規定しないため、ビデオはデジタル化されてパーソナルコンピュータで再生することのできる、ＡＶＩ、ＭＯＶフォーマットのデータ、ＭＰＥＧなどのデジタルビデオデータとすることができる。そして、被登録者に対して、その動画を見ながら指定の動作を実行するように指示できる。
【００６４】
動作記述をビデオデータで構成した場合、動作記述にはビデオデータ本体3011とビデオの内容を示すインデックス情報3012が記述される。インデックス情報3012は、提示方法や提示内容、また、後の実施例で説明されるデータの検証のための情報などを含む。図８（ａ）は、その構造を示した例である。
【００６５】
顔の向きについては、ある指標を画面に表示し、その方法を向くように指示することもできるため、指標などの動作、表示の記述なども動作記述とすることができる。その場合、表示に用いる装置名やプログラム名3013、プログラムを動作させるためのシーケンスデータ3014、内容を表すインデックス情報3015からなる。図８（ｂ）は、その構造を示した例である。
【００６６】
表情などの変化を提示する場合は、顔をモチーフとしたＣＧなどを用いてもよい。ＣＧの表情を変化させて同じ表情形成をするように従わせる。この場合、ＣＧ表示に用いるプログラム名3016、プログラムを動作させるためのシーケンスデータ3017、内容を表すインデックス情報3018から動作記述が構成される。図８（ｃ）は、その構造を示した例である。
【００６７】
立ち位置、座り方などについても表示できる。例えば、その場所データも動作記述に含めることができる。また、動作を示すシンボルを表示してもよい。この場合、表示に用いる装置名やプログラム名3019、プログラムを動作させるためのシーケンスデータ3020、内容を表すインデックス情報3021から動作記述が構成される。図８（ｂ）が、その例である。
【００６８】
ここでは、具体的な実施例として、表情、顔の向き、姿勢などを変更する例について述べる。
【００６９】
取得したいシーケンス例としては、図９に示すように、表情変化として、図９（ａ）〜図９（ｃ）のように無表情から笑顔の変化を経由して無表情に戻る動作を行い、次に図９（ｃ）〜図９（ｋ）のような顔の向きのバリエーションとして、上方向、下方向、右方向、左方向といった方向を向く動作を行う。そして次に、図９（ｋ）〜図９（ｌ）のように姿勢の変化として、カメラに対し前後するといった動作シーケンスである。
【００７０】
表情の変化を指示する動作記述については、ＣＧによる表情合成を用いる。一般的な方法としてはモーフィングによる画像生成法などが知られているため、無表情の顔と笑顔の間を線形補間して、時間的に変化させるなどの表現手法がある。一例としては、目的とする表情の最終状態の画像と、その幾何学的な対応点情報、変形に要する時間間隔などをパラメータとして記憶しておけばよい。ここでは、予め表情を時系列的に変化させて作成したＣＧムービーをデジタルビデオデータとして記述する。
【００７１】
顔向きの変化を指示する動作記述については、予め画面に表示される指標の方向を向くように指示しておいて、その指標の位置、方向などの表示パラメータを記述しておく。例えば、図１０の（ａ）〜（ｑ）までの例では、ボールが動作することを表しており、その位置データ、書換え速度をパラメータとして与えておく。表示については、図形表示ルーチンを用いる。図形表示ルーチンは、ある図形（矩形、多角形、円など）を位置、大きさ、色などの指定を行うことで、画面に表示することができるソフトウェアである。
【００７２】
姿勢を指示する動作記述については、画面に向かって前後することを表現するために図１０（ｒ），（ｓ）の例のように、シンボル表示として、矢印を表示する。その矢印に対応して体を前後させることを指示内容とする。顔向きの変化を指示する動作記述と同様に、表示は図形表示ルーチンを用いる。
【００７３】
また、図１１のように人体を背面から映したような映像生成を用いることで、実際に自分がどのように顔の向きを変化させればよいかを視認しやすくすることができる。この場合、ＣＧを合成するためのパラメータの記述、VRMLなどの言語による記述を用いてよい。さらには、先の説明の際に用いた図９のような簡略的な画像による指示を行ってもよい。
【００７４】
もちろん、これらについては、先に述べたように、ＣＧなどを用いて合成したＣＧムービーを利用するものではなく、実写した映像を用い、デジタルビデオデータとして記憶しておいてもよい。
【００７５】
さらに、画像情報だけでなく、同時に音声、信号音などを用いて指示することで一層わかりやすく効果的である。例えば、「こちらを向いて下さい。」「笑顔で右の指標をごらんになって下さい。」などの指示や、提示内容が変更されることを示すブザーやチャイムなどの信号音なども指示内容として含むことができる。音声での指示は、人物画指示内容を受けとり動作を行っている途中では画面を見ていないこともあるため、音声により指示することで、「こちらを向いて下さい。」などと指示することが可能となる。
【００７６】
人間の動作をそのまま指示するのではなく、人間の反射的な行動や文化的な刺激を行うような視聴覚的な提示内容でもよい。例として、落語を聞かせるなどの表情の変化を起こす可能性のある内容を提示してもよい。また、ボールなどが右から左に高速で移動する映像やボールが画面に大きく近づいてくる映像などのように、意識せずに顔の向きを変えたり、後ずさりして姿勢を変えたり、予期できない表情変化を起こすことが期待できる刺激でもよい。これらにより、様々な顔のバリエーションが得られることになる。
【００７７】
▲２▼指示情報再生部
指示情報再生部302 は、指示情報蓄積部301 に蓄えられた内容を加工、表示、再生する。指示情報再生部は、図１３のような構成をとり、指示情報蓄積部301 に蓄えられた内容を再生する再生手段を有する。
【００７８】
本実施例では、先の図９に表したシーケンスを取得する例を用いて説明する。実施形態としてパーソナルコンピュータを利用した例について述べる。表情の変化を指示するには、デジタルデータとして記憶しておき、再生部によってデジタルビデオとして再生する。ここで再生部はビデオデータをデコードするデコーダソフトウェア3201によって表現され、デコードされた出力は、出力部に送られる。
【００７９】
次に顔の向きについては、図１０（ａ）〜（ｑ）に示すようにボールの動きで指示する。ボールの表示の時間間隔、位置などは、指示情報蓄積部に蓄えられた内容に沿って表示し、ボールの位置を時間的に変化させることで動きを実現する。再生部は、図形表示ルーチン3202で実現され、指示情報出力部400 にその結果が送られる。
【００８０】
姿勢の指示については、図１０（ｒ），（ｓ）に示すようにシンボルを表示させる。シンボルの表示にも、再生部としてボール表示と同じように、図形表示ルーチン3202を用いる。ここでは、矢印の向きを変えるために、ある時間間隔で数種類の表示を行い、表示部に送られる。
【００８１】
先に述べたように、音声や信号音を用いてもよい。よって、パーソナルコンピュータの音声出力機能を用いて、音声により指示を行ったり、指示内容の種類が変更される場合に、信号音を出すなどを行ってもよい。その場合の再生部は、オーディオデコーダ3203を用いる。
【００８２】
▲３▼同期調整部
同期調整部303 は、指示情報の表示を開始、一時停止、スピード調整などタイミングを調整する機構を有する。また、登録装置の画像収集の制御も行うことができる。
【００８３】
同期調整部303 は、例として図１２に示すように、同期信号受取部3301、制御信号出力部3302、制御調停部3303からなる。
【００８４】
同期信号受取部3301は、他の各手段とつながっており、各手段の動作の開始、終了、また制御のための各種のパラメータなどの信号を受信する。
【００８５】
制御信号出力部3302は、同期信号受取部3301と同様に、他の各手段とつながっており、各手段に対して、動作の開始、終了、また各手段の動作を決定する各種のパラメータを送信する。
【００８６】
制御調停部3303は、設定された動作にしたがって、他の手段の動作を規定する。制御調停部3303では、図１６のようなスケジューリングを行うように設定されており、同期信号受取部3301から受けた信号を判断し、設定された動作にしたがって、他の手段に対し制御信号出力部3302を通して、制御信号を送信する。
【００８７】
同期調整部303 によって、指示表示の提示と画像情報の収集のタイムラグを防ぐことが可能である。例えば、動画像の提示の場合、人間が知覚として実際に顔の向きを変化させるためには、若干の時間が必要となるため、その時間の補正などを行って画像の収集を行うことができる。
【００８８】
(4) 指示情報出力部
指示情報出力部400 は、人間に指示を行うための表示内容を表示、すなわち作法指示部300 の再生部から出された信号を表示、発音、発声する。
【００８９】
図１４に示すように、構成要素としては、入出力監視部401 、ディスプレイ410 、スピーカー420 、ランプ430 、ブザー440 などが挙げられる。指示情報出力部400 に送られてくる情報は、そのメディアに応じて画像情報はディスプレイ410 、音声情報はスピーカー420 に送られる。またランプ430 やブザー440 などを配置し、適宜用いてよい。入出力監視部401 は、指示情報出力部400 から送られた入力情報をそれぞれの機器に対して信号を送るとともに、信号入力の開始、終了の検知も行う。これらの情報は別の実施例で用いられる。
【００９０】
また、画像入力部100 を通じて得られる、登録中の顔画像を指示情報出力部400 に出力することが可能である。この場合、顔画像を鏡面反転して表示するなどの画像処理だけでなく、対象人物がきちんと認識処理されていることを知らせるために、検出結果としての顔領域の矩形表示や、顔部品の検出位置を人物に知らせるために図１５のように、顔部品のマーキングなどのシンボル表示を同時に行ってもよい。
【００９１】
＜動作例１＞
図１の構成における全体動作について、顔画像を入力して人物認証を行う人物認証装置を例として説明する。登録内容は、個人認証のための顔画像データと辞書である。具体的な登録例において、同期調整部303 を中心として各部の動作について図１６を用いて説明する。
【００９２】
図１６の下向きの矢印は時間の方向を表しており、下向き矢印の間の横の矢印は、同期をとるための信号や各種のパラメータの受け渡しを表している。
【００９３】
図１７は、システム全体の動作のフローチャートである。新たに人物を登録する際には、まず、顔画像登録部200 の顔領域検出部201 において、顔が検出されることを待つ（ステップ7001）。同期調整部303 は図１６のスケジューリングを行うように設定されており、顔領域検出部201 からの信号を受け取ると、指示内容蓄積部に指示内容の出力の信号を送信する（信号7101）。指示内容は、図１０のような画面構成とする。指示内容蓄積部は、指示内容を指示内容再生部に送り、指示内容を出力する（ステップ7002）。指示内容出力部は、信号7102を受け、指示内容を出力する（ステップ7003）。
【００９４】
顔画像登録部200 は指示内容が出力されている間、顔画像を収集する（ステップ7004）。人物は、図９で示されるような動作を指示内容を見ながら行う。指示内容出力部は、幾つかの指示内容について、内容出力開始の信号7103、内容終了開始の信号7104を同期調整部303 に送信し、指示内容全体の出力の開始と終了の時には、信号7105によって顔画像登録部200 に登録の開始、終了の信号を与える。
【００９５】
指示内容全体が終了するかどうかを判断し（ステップ7005）、指示内容がまだある場合は指示内容の出力、ならびに顔画像の収集を継続する。指示内容全体が終了した場合は、顔画像収集を終了し、登録内容である辞書の生成を行う（ステップ7006）。辞書が生成された後、登録内容記憶部のデータベースの更新、この場合は新規登録内容の追加を行う（ステップ7007）。
【００９６】
＜実施形態２＞
別の実施形態として、図２０のものについて述べる。図２０では、個人情報や人間の状態、さらにシステム外部からの同期信号などの入力を取得する手段を有する外部情報入力部500 を有する。なお、図２０では、外部情報入力部500 をＩＤ取得部という。
【００９７】
(5) 外部情報入力部
外部情報入力部500 は、登録情報を識別するための付帯情報やコード、またシステム外部からの確認入力などの情報を取得する。付帯情報とは、具体的には、登録者に対応するコード番号、氏名、年齢、性別などの個人に関する情報を示す。さらに喜怒哀楽などの感情やどの方向を見ているかといった人間の状態をあらわすコードも入力できる。また、外部からの同期信号、例えば、登録の開始、登録内容の確認などの各種の対話型のシステム動作に必要な信号の入力にも用いられる。
【００９８】
付帯情報読み取り部510 は、キーボード511 、ＩＤカード装置512 、無線装置513 、マウス514 、ボタン515 などの装置の一つ、または複数の組合せにより実現される。
【００９９】
例としては、登録者に対応するコード番号や氏名を人間が入力するためにキーボード511 を用いることや、社員証など既存のＩＤカードを読み取ることのできるＩＤカード装置512 により、カードに書かれた情報を付帯情報として読み出して利用することが挙げられる。また、無線装置513 などによりＩＤを読み取ったり、マウス514 を使って画面に表示された選択内容を選択できる。ここでの選択内容とは、例えば認証のためのＩＤ、感情を表す言葉のアイコン、見ている方向を示すアイコンなどである。また、提示内容の確認やシステムへの指示を行うためのボタン515 なども利用できる。
【０１００】
ＩＤ発行部520 は、登録されるべき付帯情報のために通し番号などを発行し、付帯情報とともに出力を行う。または、対話型動作のための入力データの信号変換も行う。
【０１０１】
まず、認証装置の場合について実施例を説明する。付帯情報読み取り部510 によって、氏名、年齢、ＩＤ番号、性別などを入力された個人情報について、顔画像登録部200 で管理するための通し番号を付属させて、出力する。
【０１０２】
次に、表情認識や視線検出の場合について説明する。まず、視線検出装置の場合については、上、下、左、右などの向きをマウスで指定するなどにより、視線の方向や顔の向きを指示することで、その通し番号もしくは、場所の情報を付加して、出力される。
【０１０３】
また、表情認識装置の場合については、「喜」「怒」「哀」「楽」など表情の表すボタンを指示するとその表情に対応した、番号を出力する。また、表情の変化は時間的に起こるものであり、その表情の変化順序に依存して中間的な変化（ある表情からある表情への中途の表情）に変動が起きることが考えられる。そこで、ComicChat(David Kurlander, Tim Skellyu, David Sales, ComicChat, SIGGRAPH ´96, pp.225-236, 1996) で用いられているような、図１９のEmotion wheel 風のインタフェースを用いて、どのように表情を変化させるかといった記述を人間に申告させ、その変動軌跡の系列を動作記述として出力する。
【０１０４】
図１９（ａ）は、Emotion wheel 風のインタフェースで、いくつかの方向に表情の変化を表すアイコンがあり、中央が無表情であることに対し、ある方向に十字を動かすと、表情の大きさと種類を選択できる。図１９（ｂ），（ｃ）では、そのインターフェースを用いて、表情の変化軌跡を示しており、（ｂ）では、ある表情から無表情になり別の表情に推移し、（ｃ）では、あらゆる表情へ変化する軌跡を表すことになる。
【０１０５】
この場合、作法指示部300 では、その変動軌跡に応じて、ＣＧによる表情の合成、もしくは表情を収めたビデオの系列の再生順序を編成することによって、指示内容が変化する。これに応じた、指示内容の提示を行い、顔画像の登録を行うことになる。
【０１０６】
このように、人物の行動内容を人物自身で規定するために外部情報入力部500 を利用することもでき、その形態については本例に限るものではない。
【０１０７】
また対話型動作の入力として入力部を用いる例としては、「登録を開始しますか？」といった指示内容に対して、キーボードやマウス、ボタンなどを用いて開始を指示する。もしくは、登録のための指示内容の種類が複数ある場合は、各動作指示毎に確認を促し、キーボードやマウス、ボタンなどを用いて開始を指示、内容の確認などを行う。
【０１０８】
＜動作例２＞
外部情報入力部500 を用いたシステムの動作例について説明する。図２１は、システム全体の動作のフローチャートである。
【０１０９】
まず、外部情報入力部500 において、付帯情報である氏名、ＩＤ番号、年齢などをキーボードから入力する（ステップ7201）。入力が終了すると基本的には、先の動作例１のフローチャート図１７と同様の動作を行い（ステップ群7202）、収集が終了すると、ＩＤ発行部502 から、付帯情報である氏名、ＩＤ番号、年齢などを登録情報記憶部に転送し（ステップ7203）、作成された辞書とともに、追加される（ステップ7204）。
【０１１０】
また、同期調整部303 は、図２２のスケジューリングを行う。信号7301により外部情報入力部500 からの付帯情報の入力が終了したことが受信すると、指示内容の出力の開始を指示し、顔画像の収集を開始する。そして、指示内容の出力が終了し、顔画像の登録が終了を信号7302により同期調整部303 につげられると、外部情報入力部500 からの付帯情報の送信を指示し（信号7303）、外部情報入力部500 からの付帯情報を顔画像登録部200 に送信する（信号7304）。登録が終了すると同期調整部303 に終了の合図が送られ、一連の処理が終了する（信号7305）。
【０１１１】
＜動作例３＞
外部情報入力部500 を用いたシステムの別の動作例について説明する。外部情報入力部500 は、ＩＤの付帯情報だけでなく、対話的なシステム動作のための対話入力の入力手段としても用いられ、その例を示す。
【０１１２】
図２３は、システム全体の動作のフローチャートである。システムは、複数の指示内容、例えば、図１０における、顔向き（ａ）〜（ｑ）と、画面からの相対位置の姿勢指示（ｒ），（ｓ) のような異なる指示内容の場合、それぞれの指示に対して確認要求を行う。
【０１１３】
まず、外部情報入力部500 において、付帯情報である氏名、ＩＤ番号、年齢などをキーボードから入力する（ステップ401 ）。入力が終了すると確認要求の内容を表示する。例えば、「これから顔の向きを変化させて下さい。用意ができたらキーボードのいずれかのキーを押して下さい。」といった要求を提示する（ステップ7402）。
【０１１４】
確認要求のループでキーの入力を待ち（ステップ7403）、キーが入力されると、指示内容を再生、出力を行う（ステップ7404,7405 ）。そして同時に顔画像の収集を行う（ステップ7406）。一つの指示内容が出力されたかどうかを判断し（ステップ7407）、終了していなければ、さらに画像収集を継続する。終了していれば、次にすべての指示内容が出力されたかどうかを判断する（ステップ7408）。別の指示内容が存在する場合は、複数の指示内容がまだ終了しなければ、新たな確認要求に進む。全ての指示内容が終了していれば、辞書の生成、登録を行う（ステップ7409,7410,7411）。
【０１１５】
また、同期調整部303 は、図２４のスケジューリングを行う。図２４は、複数の指示内容のスケジューリングの中の、ある一つの指示内容の同期制御について図示している。信号7501により外部情報入力部500 からの付帯情報の入力が終了したことが受信すると、指示内容の確認要求（信号7502）を送信する。外部情報入力部500 は、キー入力の確認を待ち（処理7503）、入力があると確認結果を送信する（信号7504）。その後指示内容蓄積部に開始の指示を送信（信号7505）すると、指示内容蓄積部は、指示内容を指示内容再生部に送り（信号7505）、指示内容を出力する。
【０１１６】
指示内容出力部は、内容出力開始の信号7506を同期調整部303 に送信し、信号7507によって顔画像登録部200 に画像収集の開始を知らせる。画像の収集を続けた後、指示内容出力部は、内容出力終了の信号7508を同期調整部303 に送信し、信号7509によって顔画像登録部200 に画像収集の終了の指示を送信する。顔画像登録部200 は信号7510によって画像収集の終了を知らせる。同期調整部303 は次の指示内容の確認要求を前と同様に行う（信号7511）。後は同様に、他の指示内容について処理を行う（信号7512以降）。
【０１１７】
＜実施形態３＞
別の実施形態として、図２５のものについて述べる。図２５では、収集過程、または収集終了後に、適合したデータ収得ができているかどうか登録内容を検証する登録内容検証部600 を有する。なお、図２５では、外部情報入力部500 をＩＤ取得部という。
【０１１８】
(6) 登録内容検証部
登録内容検証部600 は、登録データが要求どおりの内容を満たしているか、もしくは十分なバラエティが収集できたかどうか取得データを検証し確かめる。一つの構成例として、図２６のように、登録内容検証部600 は、指示内容受取部601 、データ検証部602 からなる。
【０１１９】
指示内容受取部601 は、指示情報蓄積部301 から指示内容を受け取り、どのような指示が行われたかを解釈し、その内容にあった、データ検証のための判断基準や評価関数を選択し、データ検証部に送る。
【０１２０】
データ検証部602 は、指示内容受取部601 から受け取った判断基準や評価関数に基づいて、入力データが判断基準や評価関数を満たしているかどうかを検証し、その結果を出力する。
【０１２１】
図２６のように、データ検証部620 は、顔向き認識手段6201、表情認識手段6202、姿勢認識手段6203、画像変動認識手段6204を有し、検証結果記録部6205にその結果を保持する。
【０１２２】
各手段は、画像入力部100 から画像を入力するか、もしくは、顔画像登録部200 で処理された途中結果、ならびに切り出された処理結果、検出パラメータなどを入力として受け取る。各手段は、その画像と指示内容受取部601 から受け取った評価基準に基づいて取得されたデータが基準に適合しているかどうかのスコアを計算し、検証結果記録部6205に送る。
【０１２３】
例として、指示内容として「顔を上向きにする」という内容の場合、指示内容受取部は、顔向き認識手段に対して、「上向き」に関する評価関数を送る。顔向き認識手段は、抽出された画像を受け取りテンプレートマッチングによる類似度を求めることとし、評価関数は、その「上向き」テンプレートを表す関数とする。顔向き認識手段は、類似度を求め、検証結果記録部に送る。検証結果記録部では、設定された類似度に対する閾値を越えているかどうかで判断する。
【０１２４】
また、個別に指示内容について詳細に判断するのではなく、十分にバラエティが得られているかどうかを検証する場合もある。この場合、収集されたデータについて、各ピクセル値の分散を比較するなどの方法が考えられる。画像変動認識手段6204はこのデータのばらつきの度合いを検知する。顔の表情などは、頬や目周辺の変動が多いため、それらの場所に対応するピクセル値の分散を計算する。正面を向いている場合の分散値と比較してある一定以上の値を注目ピクセルで取りうるならば、バラエティが得られていると判断する。
【０１２５】
さらに、画像変動認識手段6204では、動作を検証するために、画像中のオプティカルフローを求めて、動きの方向が正しいかどうかを判断することによって、検証する方法について説明する。この方法は、顔の向きをある方向から別の方向へ（右向きから左向きなど）変化する場合、顔部品などが作り出すエッジ成分について着目した場合、その方向に沿って動きベクトルが観測される。この場合、そのベクトル情報を蓄積していき、あまり変化の見られないフレームで取得されたデータは利用しないなどの判断が可能となる。
【０１２６】
＜動作例４＞
登録内容検証部600 を用いた例として、画像の収集後にまとめてデータを検証する例について述べる。
【０１２７】
これまでの動作例と同様の説明方法で、スケジューリングを図２７として説明する。この例では、ある一つの指示内容の提示を行い、その結果得られた画像の検証を行う。
【０１２８】
同期調整部303 は、指示内容蓄積部に対し、指示内容の送信を行うように信号7601を送信する。指示内容蓄積部は、指示内容を再生し指示内容出力部に送信する（信号7602）。さらに指示内容蓄積部は、登録内容検証部600 に指示内容を送信し（信号7603）、登録内容検証部600 は、その情報を保持する。次に同期調整部303 は、指示内容出力部からの出力開始信号（信号7604）を受け取ると、顔画像登録部200 に顔画像の収集開始を指示する（信号7605）。指示内容出力部から終了の指示（信号7606）が送られると、顔画像登録部200 に顔画像の収集終了を指示する（信号7607）。顔画像登録部200 は顔画像の収集終了を同期調整部303 に通知する（信号7608）と同時に収集した顔画像を登録内容検証部600 に送る（信号7609）。登録内容検証部600 は、収集した顔画像を保持し、同期調整部303 からの通知（信号7610）により、検証を開始する。そして検証結果を同期調整部303 に通知する（信号7611）。
【０１２９】
同期調整部303 は、その受け取った結果、再度収集するかなどの判断を行うことが可能である。
【０１３０】
＜動作例５＞
前述した検証機能を用いて、検証を画像収集と同時に行う実施例について述べる。この動作は、スケジューリングが図２８のようになる。
【０１３１】
同期調整部303 は、指示内容蓄積部に対し、指示内容の送信を行うように信号7701を送信する。指示内容蓄積部は、指示内容を再生し指示内容出力部に送信する（信号7702）。さらに指示内容蓄積部は、登録内容検証部600 に指示内容を送信し（信号7703）、登録内容検証部600 は、その情報を保持する。次に同期調整部303 は、指示内容出力部からの出力開始信号（信号7704）を受け取ると、顔画像登録部200 に顔画像の収集開始を指示する（信号7705）。同時に、登録内容検証部600 に対しても検証開始を指示する（信号7706）。
【０１３２】
登録内容検証部600 は、検証結果を、同期調整部303 に対して随時送信し（信号7707）、必要とするデータが得られている場合、顔画像登録部200 に顔画像の収集の一時停止を指示する（信号7708）。また、別の指示内容を提示し（信号7709）、再度顔画像登録部200 に顔画像の収集を再開させる（信号7710）。
【０１３３】
同様にして、いくつかの指示内容を提示すると、同期調整部303 は、顔画像登録部200 に収集終了を通知し（信号7711）、顔画像登録部200 は顔画像の収集が完了したことを同期調整部303 に通知する（信号7712）。
【０１３４】
この動作例を用いて、登録内容検証部600 では、検証を行いながら、指示内容も変化させることができる。図２８において、信号7710のところで、指示内容を検証結果に基づいて変更すればよい。具体例とすると、ある方向に顔を向けることを指示し、その方向を向いているときの顔画像収集を行ったとき、収集結果として、画像認識が失敗して収集枚数が少ない場合や検証結果として目的としている方向と異なる方向のデータが収集された場合などは、再度同じ指示内容にする、もしくは別の提示方法に変更するなどの処理が行える。
【０１３５】
＜変形例＞
変形例について述べる。
【０１３６】
顔画像登録部200 の顔領域検出部、顔部品検出部、特徴量抽出部などの特徴量抽出に関連する手段が、認識装置の一部として組み込まれ、同様な特徴量を求めるための手段が備わっている場合は、それらの構成要素を利用してもよい。
【０１３７】
認識のための特徴量として本実施例では、濃淡に基づいた画像特徴を用いたが、人物の個人性、状態などを認識するために必要な特徴量は、様々な別のものを用いても構わない。
【０１３８】
本実施例は個人認識装置を中心に説明を行ったが、その他の人物認識装置、例えば、表情認識装置、視線検出装置、口唇認識装置などに応用してもよい。
【０１３９】
以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。
【０１４０】
なお、上記動作内容を実行するためのプログラムを作成し、これをＦＤ，ＣＤ−ＲＯＭ，ＭＯなどの記録媒体に記憶させておき、パーソナルコンピュータのハードディスクにインストールさせて、本発明を実施してもよい。また、記録媒体には、上記プログラムをインストールしたハードディスクも含まれる。
【０１４１】
【発明の効果】
本発明によれば、効率的にバラエティを含んだ顔画像を得ることができ、例えば、人物認証装置、表情認識装置、視線検出装置、口唇認識装置などの顔認識装置における認識率の向上に多大な効果をもたらす。
【図面の簡単な説明】
【図１】第１の実施形態の装置の構成を示す図である。
【図２】画像入力部の一構成例を示す図である。
【図３】顔画像登録部の一構成例を示す図である。
【図４】顔画像の切り出し方法の説明図である。
【図５】特徴ベクトル画像例を示す図である。
【図６】顔画像登録部の動作フローチャートである。
【図７】作法指示部の一構成例を示す図である。
【図８】動作記述の構造体の説明図である。
【図９】取得シーカンスの例の説明図である。
【図１０】指標の提示例の図である。
【図１１】人物の背面からのＣＧを用いた提示例の図である。
【図１２】同期調整部の一構成例を示す図である。
【図１３】指示情報再生部の一構成例を示す図である。
【図１４】指示情報出力部の一構成例を示す図である。
【図１５】結果のマーキングの一例の図である。
【図１６】同期スケジューリングの例の図である。
【図１７】動作例１の全体動作のフローチャートである。
【図１８】外部情報入力部の一構成例を示す図である。
【図１９】表情変化経路指定の例の説明図である。
【図２０】第２の実施形態の装置の構成を示す図である。
【図２１】動作例２の全体動作のフローチャートである。
【図２２】ＩＤ入力スケジューリングの例の図である。
【図２３】動作例３の全体動作のフローチャートである。
【図２４】入力確認スケジューリングの例の図である。
【図２５】第３の実施形態の装置の構成を示す図である。
【図２６】登録内容検証部の一構成例を示す図である。
【図２７】同期検証スケジューリングの例の図である。
【図２８】登録同期検証スケジューリングの例の図である。
【符号の説明】
１００ 画像入力部
２００ 顔画像登録部
３００ 作法指示部
４００ 指示内容出力部
５００ 外部情報入力部
６００ 登録内容検証部
Claims (6)
- 人物を撮像する画像入力手段と、
前記画像入力手段によって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録手段と、
前記顔画像登録手段へ前記人物の正面向き、左向き、右向き、上向き、下向きの顔画像の登録情報を登録するために前記人物に顔向きの変化を、顔をモチーフとしたＣＧによって指示する指示情報を作成する作法指示手段と、
前記作法指示手段によって生成された指示情報を出力する指示内容出力手段と、
を有し、
前記作法指示手段は、
前記指示内容出力手段において指示内容の表示を行うタイミング、または、前記画像入力手段によって画像を入力するタイミングを設定する同期調整手段を有する
ことを特徴とする人物認識装置における登録装置。 - 前記顔画像に基づく登録情報以外の付帯情報、前記人物の状態の情報、その他の本登録装置への情報を入力するための外部情報入力手段を有する
ことを特徴とする請求項１記載の人物認識装置における登録装置。 - 前記顔画像登録手段の登録情報が、所定の条件を満たしているかどうかを確かめる登録内容検証手段を有する
ことを特徴とする請求項１記載の人物認識装置における登録装置。 - 前記作法指示手段は、
音声を用いて前記人物に顔向きの変化を同時に指示する
ことを特徴とする請求項１から３の中で少なくとも一項に記載の人物認識装置における登録装置。 - 人物を撮像する画像入力ステップと、
前記画像入力ステップによって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録ステップと、
前記顔画像登録手段へ前記人物の正面向き、左向き、右向き、上向き、下向きの顔画像の登録情報を登録するために前記人物に顔向きの変化を、顔をモチーフとしたＣＧによって指示する指示情報を作成する作法指示ステップと、
前記作法指示ステップによって生成された指示情報を出力する指示内容出力ステップと、
前記作法指示ステップは、
前記指示内容出力ステップにおいて指示内容の表示を行うタイミング、または、前記画像入力手段によって画像を入力するタイミングを設定する同期調整ステップを有する
を有する
ことを特徴とする人物認識装置における登録方法。 - 人物を撮像する画像入力機能と、
前記画像入力機能によって入力した人物の顔画像を特徴量に変換して、この特徴量に基づいて生成された登録情報を登録する顔画像登録機能と、
前記顔画像登録手段へ前記人物の正面向き、左向き、右向き、上向き、下向きの顔画像の登録情報を登録するために前記人物に顔向きの変化を、顔をモチーフとしたＣＧによって指示する指示情報を作成する作法指示機能と、
前記作法指示機能によって生成された指示情報を出力する指示内容出力機能と、
前記作法指示機能は、
前記指示内容出力機能において指示内容の表示を行うタイミング、または、前記画像入力手段によって画像を入力するタイミングを設定する同期調整機能を有する
を実現するプログラムを記録した
ことを特徴とする人物認識装置における登録方法の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6540599A JP3886660B2 (ja) | 1999-03-11 | 1999-03-11 | 人物認識装置における登録装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6540599A JP3886660B2 (ja) | 1999-03-11 | 1999-03-11 | 人物認識装置における登録装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000259834A JP2000259834A (ja) | 2000-09-22 |
| JP3886660B2 true JP3886660B2 (ja) | 2007-02-28 |
Family
ID=13286095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6540599A Expired - Fee Related JP3886660B2 (ja) | 1999-03-11 | 1999-03-11 | 人物認識装置における登録装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3886660B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4675492B2 (ja) * | 2001-03-22 | 2011-04-20 | 本田技研工業株式会社 | 顔画像を使用した個人認証装置 |
| JP2008217803A (ja) * | 2002-02-27 | 2008-09-18 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
| JP4161659B2 (ja) | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | 画像認識システム及びその認識方法並びにプログラム |
| KR20020041394A (ko) * | 2002-05-16 | 2002-06-01 | 이종현 | 성인 사이트 접근 차단 장치 |
| JP2004038713A (ja) * | 2002-07-05 | 2004-02-05 | Toshiba Corp | 物体識別装置、物体識別方法、辞書生成装置、プログラム |
| JP4191452B2 (ja) * | 2002-10-02 | 2008-12-03 | 株式会社ピートゥピーエー | 画像表示装置、画像表示方法及びプログラム |
| JP4247041B2 (ja) | 2003-04-01 | 2009-04-02 | 本田技研工業株式会社 | 顔識別システム |
| JP2005115896A (ja) * | 2003-10-10 | 2005-04-28 | Nec Corp | 通信装置及び通信方法 |
| EP1966758B1 (en) * | 2005-12-21 | 2009-09-02 | Koninklijke Philips Electronics N.V. | Computer-based facial paralysis assessment |
| JP2014153817A (ja) | 2013-02-06 | 2014-08-25 | Toshiba Corp | 通行制御装置、その方法、及び、そのプログラム |
| CN103259796A (zh) * | 2013-05-15 | 2013-08-21 | 金硕澳门离岸商业服务有限公司 | 认证系统和方法 |
| JP5541407B1 (ja) * | 2013-08-09 | 2014-07-09 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| CN106326816A (zh) * | 2015-06-30 | 2017-01-11 | 芋头科技（杭州）有限公司 | 一种面部识别系统及面部识别方法 |
| JP7415510B2 (ja) * | 2019-12-09 | 2024-01-17 | 富士フイルムビジネスイノベーション株式会社 | 登録許可装置及び登録許可プログラム |
| WO2022209912A1 (ja) * | 2021-03-30 | 2022-10-06 | パナソニックＩｐマネジメント株式会社 | 集中値算出システム、集中値算出方法、プログラム、及び、集中値算出モデル生成システム |
| JP2023152116A (ja) * | 2022-04-01 | 2023-10-16 | ソニーグループ株式会社 | 移動体、制御装置、および制御方法 |
-
1999
- 1999-03-11 JP JP6540599A patent/JP3886660B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000259834A (ja) | 2000-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3886660B2 (ja) | 人物認識装置における登録装置及びその方法 | |
| JP6619847B2 (ja) | 身元認証方法、端末装置、およびコンピュータ可読記憶媒体｛ｉｄｅｎｔｉｔｙ ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｍｅｔｈｏｄ， ｔｅｒｍｉｎａｌ ｅｑｕｉｐｍｅｎｔ ａｎｄ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ｝ | |
| JP4481663B2 (ja) | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム | |
| US9818024B2 (en) | Identifying facial expressions in acquired digital images | |
| US7233684B2 (en) | Imaging method and system using affective information | |
| Sonawane et al. | Review of automated emotion-based quantification of facial expression in Parkinson’s patients | |
| US20110273551A1 (en) | Method to control media with face detection and hot spot motion | |
| US12106353B2 (en) | System and method for generating a product recommendation in a virtual try-on session | |
| WO2010087796A1 (en) | Method for controlling and requesting information from displaying multimedia | |
| JP6529314B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| WO2010133661A1 (en) | Identifying facial expressions in acquired digital images | |
| US20230309882A1 (en) | Multispectral reality detector system | |
| KR20200092207A (ko) | 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법 | |
| JP2005258801A (ja) | 個人認証システム | |
| WO2017086108A1 (ja) | 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム | |
| KR102247481B1 (ko) | 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법 | |
| KR102288001B1 (ko) | 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 이를 포함한 포토 부스 | |
| JP7206741B2 (ja) | 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム | |
| JP2017188787A (ja) | 撮像装置、画像合成方法、および画像合成プログラム | |
| CN111435268A (zh) | 基于图像的识别与重建的人机交互方法和使用该方法的系统及装置 | |
| JP5464965B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 | |
| CN112101479A (zh) | 一种发型识别方法及装置 | |
| JP2019185349A (ja) | 検索装置、検索方法及びプログラム | |
| CN113454634A (zh) | 信息处理系统、信息处理装置、信息处理方法和程序 | |
| WO2021065488A1 (ja) | 手続き支援装置、手続き支援システム、手続き支援方法、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040712 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041202 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041207 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061122 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3886660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101201 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111201 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131201 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |