JP4078117B2 - 被写体判別方法、被写体判別装置、及び被写体判別プログラム - Google Patents
被写体判別方法、被写体判別装置、及び被写体判別プログラム Download PDFInfo
- Publication number
- JP4078117B2 JP4078117B2 JP2002148905A JP2002148905A JP4078117B2 JP 4078117 B2 JP4078117 B2 JP 4078117B2 JP 2002148905 A JP2002148905 A JP 2002148905A JP 2002148905 A JP2002148905 A JP 2002148905A JP 4078117 B2 JP4078117 B2 JP 4078117B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- subject
- discrimination
- feature data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体判別方法、被写体判別装置、及び被写体判別プログラムに係り、特に、映像中に含まれる顔画像系列から被写体の判別を行う被写体判別方法、被写体判別装置、及び被写体判別プログラムに関する。
【０００２】
【従来の技術】
近年、映像中に被写体として含まれる人物（顔）を自動的に検出し、その顔が予め登録されている人物を特定する情報集合中のうちの誰であるかを自動的に判別する被写体認識装置が研究・開発されている。上述した被写体認識装置の例としては、本出願人により出願され開示されている特開２００１−０３４７５６号公報等がある。
【０００３】
特開２００１−０３４７５６号公報にて開示されている発明は、顔の正面を０°とした場合に左横向き（−９０°）から右横向き（９０°）までの角度幅が１８０°の広範囲にわたる顔角度において推定及び顔判別を可能とする認識装置である。
【０００４】
ここで、上述した被写体認識装置について、図を用いた簡単な説明を行う。
【０００５】
図１は、上述した被写体認識装置を用いて実現される機能を示す機能ブロック図である。
【０００６】
図１の被写体認識装置は、仮説によるデータベースの位置情報修正機能１と、多重解像度可変テンプレートマッチング機能２と、仮説の修正・生成機能３と、時間的・空間的フィルタリング機能４と、データベース５と、被写体の初期検出による仮説追加機能６と、仮説集合７とを有するよう構成されている。
【０００７】
仮説によるデータベースの位置情報修正機能１では、データベース５中に蓄積された特定されない不特定人物の顔の特徴点（例えば、眼、口等の構成部分）の配列を、被写体を認識（特定）するための情報を有する仮説集合７を用いて修正する。
【０００８】
多重解像度可変テンプレートマッチング機能２では、入力フレームと、仮説によるデータベースの位置情報修正機能１により修正されたデータベーステンプレートとを、多重解像度ガボールウェーブレットの可変テンプレートマッチングにより照合し、更に、ウェーブレット係数の位相で位置のずれを推定して映像フレーム中の被写体を追跡する。
【０００９】
仮説の修正・生成機能３では、多重解像度可変テンプレートマッチング機能２によって得られた閾値を越えたマッチング結果に基づいて、仮説集合７内の仮説の修正又は新しい仮説の生成等を行う。全ての仮説について入力フレームとのマッチングが終了した後、時間的・空間的フィルタリング機能４は仮説集合７内にある仮説の人物である確立等の証拠値が高い仮説のみを平滑化して、平滑化された仮説を認識結果として出力する。
【００１０】
なお、被写体の初期検出による仮説追加機能６は、システムのスタート時とその後の適当な間隔で、入力フレーム中の被写体の初期検出を行い、その結果を仮説集合７に追加する。これにより、更に正確な被写体認識を行うことができる。
【００１１】
上述した被写体認識装置を用いることにより、動画像であっても、画像中の被写体を高精度で認識することができる。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した被写体認識装置は、判別対象人物の顔データベースに対して、例えば、顔角度１０°毎等のように、複数の顔角度に関するデータを登録しておく必要がある。そのため、膨大なデータ量を蓄積することになり、更に、データ量が膨大になるためデータベース構築が困難であった。また、事前に１０°間隔の顔角度のデータを取得しておく必要があったため、そのデータベースを構築するための時間（手間）も膨大になってしまう。
【００１３】
本発明は、上述した問題点に鑑みなされたものであり、顔の回転等によって様々な顔角度（１８０°範囲）を有する顔の判別を、正面顔に関するデータのみを用いて実現可能となる被写体判別方法、被写体判別装置、及び被写体判別プログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１５】
請求項１に記載された発明は、映像中に含まれる１又は複数の被写体の各顔画像系列から各被写体の判別を行う被写体判別方法において、前記各顔画像系列に含まれる全顔画像に対して、画像毎に予め付加されている顔角度、顔領域に外接する正方形の位置、及び前記正方形の一辺の長さに関するデータを用いて、前記顔角度が真正面を基準として予め設定される角度範囲内にある少なくとも１つの顔画像を抽出し、抽出した前記角度範囲内にある顔画像の外接領域を前記正方形の位置及び一辺の長さに対応させて正方形に切出す正面顔抽出段階と、人物を特定する情報と関連付けられて蓄積された正面顔を予め設定された画像サイズに正規化した画像から取得した特徴データと、前記正面顔抽出段階にて抽出された各顔画像を前記画像サイズに正規化した画像から取得した特徴データとを比較して顔の判別を行う顔判別段階とを有し、前記顔判別段階は、前記正面顔の特徴データと前記各顔画像から算出される特徴データとにおける各特徴データに含まれる特徴点間の距離から類似度を算出し、算出した類似度が予め設定された閾値以上の場合に同一の顔画像であると判別し、前記被写体毎の顔画像系列に対して前記人物を特定する情報を付加することを特徴とする。
【００１６】
請求項１記載の発明によれば、正面顔の関連データから被写体の判別を行うことができる。また、正面顔のみを用いるので、判別を行う判別処理時間を少なくすることができ、効率的に判別を行うことができる。更に、人物を特定する情報と関連付けられて蓄積される関連データのデータ量は正面顔のみで良いため、所定の顔角度毎にデータを蓄積する方法と比較してデータ量を削減させることができる。また、前記顔角度が真正面を基準とした所定の角度範囲内にある少なくとも１つの顔画像を用いるため、高精度な判別を行うことができる。また、類似度に基づいて判別を行うため、高精度な顔画像の判別を行うことができる。また、顔画像系列毎にその人物を特定することができるため、高付加価値な情報を提供することができる。また、顔画像系列中に被写体が正面を向いていない場合においても、その被写体が誰であるか特定することができる。
【００１７】
請求項２に記載された発明は、映像中に含まれる１又は複数の被写体の各顔画像系列から各被写体の判別を行う被写体判別装置において、前記各顔画像系列に含まれる全顔画像に対して、画像毎に予め付加されている顔角度、顔領域に外接する正方形の位置、及び前記正方形の一辺の長さに関するデータを用いて、前記顔角度が真正面を基準として予め設定される角度範囲内にある少なくとも１つの顔画像を抽出し、抽出した前記角度範囲内にある顔画像の外接領域を前記正方形の位置及び一辺の長さに対応させて正方形に切出す正面顔抽出部と、人物を特定する情報と関連付けられて蓄積された正面顔を予め設定された画像サイズに正規化した画像から取得した特徴データと、前記正面顔抽出部にて抽出された各顔画像を前記画像サイズに正規化した画像から取得した特徴データとを比較して顔の判別を行う顔判別部とを有し、前記顔判別部は、前記正面顔の特徴データと前記各顔画像から算出される特徴データとにおける各特徴データに含まれる特徴点間の距離から類似度を算出し、算出した類似度が予め設定された閾値以上の場合に同一の顔画像であると判別し、前記被写体毎の顔画像系列に対して前記人物を特定する情報を付加することを特徴とする。
【００１８】
請求項２記載の発明によれば、正面顔の関連データから被写体の判別を行うことができる。また、正面顔のみを用いるので、判別を行う判別処理時間を少なくすることができ、効率的に判別を行うことができる。更に、人物を特定する情報と関連付けられて蓄積される関連データのデータ量は正面顔のみで良いため、所定の顔角度毎にデータを蓄積する方法と比較してデータ量を削減させることができる。また、前記顔角度が真正面を基準とした所定の角度範囲内にある少なくとも１つの顔画像を用いるため、高精度な判別を行うことができる。また、類似度に基づいて判別を行うため、高精度な顔画像の判別を行うことができる。また、顔画像系列毎にその人物を特定することができるため、高付加価値な情報を提供することができる。また、顔画像系列中に被写体が正面を向いていない場合においても、その被写体が誰であるか特定することができる。
【００１９】
請求項３に記載された発明は、請求項１に記載された被写体判別方法をコンピュータに実行させる被写体判別プログラムである。
【００３２】
【発明の実施の形態】
本発明は、記録媒体中のある映像に対して、その映像中に被写体として含まれる、様々な顔角度を持つ顔画像系列が人物を特定する情報集合中の誰であるかを判別する所謂「被写体判別」を、集合に属する各人物の正面顔のみに関するデータを用いて行うことを主眼とする。
【００３３】
つまり、本発明は顔の回転等によって様々な顔角度（−９０°〜９０°の１８０°範囲）を有する顔からの被写体の判別を、正面顔のみのデータからなる顔判別用データベースを用いて実現可能とし、判別のために複数角度の顔画像及び顔データを必要とし、データベース構築が困難であった従来の被写体認識装置の課題を解決するものである。
【００３４】
ここで、上述した被写体認識装置は、顔判別不可能でも顔角度の推定のみは可能であるため、本発明は、その被写体認識装置を用いて計算した未判別人物の顔角度関連データを利用して、入力映像中の顔画像集合から正面顔角度に最も近い顔画像を抽出し、その顔画像の特徴データと、判別対象人物等の人物を特定する情報の集合に属する各人物の正面顔のみのデータとからなる顔判別用データベースとを照合することで顔判別を行う手段を有する。
【００３５】
次に、本発明における実施の形態を図を用いて説明する。
【００３６】
図２は、本発明における被写体判別装置のハードウェア構成を示す一例のブロック図である。
【００３７】
図２の被写体判別装置は、専用の装置構成とすることもできるが、例えば、汎用のパーソナルコンピュータ、ワークステーション等を適用することができる。図２において、被写体判別装置は、入力装置２１と、出力装置２２と、ドライブ装置２３と、補助記憶装置２４と、メモリ装置２５と、演算処理装置２６と、データベース２７と、ネットワーク接続装置２８とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００３８】
入力装置２１は、使用者が操作するキーボード及びマウスを有しており、各種操作信号を入力する。出力装置２２は、被写体判別装置を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、実行プログラムに基づいて表示される。ここで、本発明において、被写体判別装置にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体２９等により提供される。プログラムを記録した記録媒体２９はドライブ装置２３にセット可能であり、記憶媒体２９に含まれる実行プログラムが、記録媒体２９からドライブ装置２３を介して補助記憶装置２４にインストールされる。
【００３９】
演算処理装置２６は、メモリ装置２５により読み出され格納されている実行プログラムに基づいて、各種演算や後述する各処理を含む被写体判別装置全体の処理を制御する。また、プログラムの実行中に必要な各種情報は、データベース２７から取得することができ、また格納することもできる。ネットワーク接続装置２８は、通信ネットワーク等と接続することにより、被写体判別プログラムを実行することで得られた情報を他の端末等に提供することができる。
【００４０】
次に、本発明における被写体判別装置を用いた全体のシステム構成例について図を用いて説明する。
【００４１】
図３は、本発明における被写体判別の一実施例を示す図である。
【００４２】
図３に示す実施例は、映像認識装置３１と、顔角度推定用データベース３２と、被写体判別装置３３とを有するように構成されている。また、被写体判別装置３３は、正面顔抽出部３４と、顔判別処理部３５と、顔判別用正面顔データベース３６とを有するよう構成されている。
【００４３】
まず、映像認識装置３１は、ハードディスク等の補助記憶装置２４等に予め蓄積された映像信号（映像フレーム）を入力すると、顔角度推定用データベース３２を用いて、映像中に映し出されている被写体（人物）に対する顔角度関連データを被写体判別装置３３に出力する。
【００４４】
ここで、顔角度推定用データベース３２は、平均的な顔を持つ特定していない１０人から２５人程度の人物の夫々に対して、複数の顔角度（例えば、―９０°（左向き），…，−１０°，０°（正面），１０°，…，９０°（右向き）の計１９角度）に関する特徴データから構成されている。なお、特徴データとは、例えば、特開２００１−０３４７５６号公報にて開示されている映像認識装置で用いられる画像特徴のような、従来の画像認識及び画像処理分野で用いられるものであり、眼や口等顔の構成部分に関する特徴点から所定の関数（例えば、ガボールウェーブレット関数等）を用いて導出される値である。
【００４５】
なお、顔角度推定用データベース３２は、既存の映像認識装置が顔角度推定のみに使用し顔判別処理には使用しないため、処理対象映像中の被写体人物が顔角度推定用データベース３２に含まれているか否かは問題にならず、本発明においては、上述の映像認識装置で人物を特定するための照合処理は行わない。
【００４６】
また、映像認識装置３１の出力である顔角度関連データは、テキストファイルであり、少なくとも映像の全フレームについての「顔角度」、「顔領域に外接する正方形の位置」、及び「顔領域に外接する正方形の一辺の長さ」を有している。また、顔角度推定用データベース３２には、入力フレームに映っている顔全てについての「顔角度」、「顔領域に外接する正方形の位置」、及び「顔領域に外接する正方形の一辺の長さ」がデータとして蓄積される。
【００４７】
ここで、映像認識装置３１を用いた処理により抽出される情報について図を用いて説明する。
【００４８】
図４は、映像認識装置３１による顔領域抽出処理の一例の概要を示す図である。
【００４９】
図４において、連続するｎ枚のフレーム４１を処理対象として処理が行われたとすると、図４の帯Ａ、Ｂ、Ｃ、及びＤは、人物Ａ、Ｂ、及びＣがフレーム４１にフレームインしてから、フレームアウトするまでの追随した時間領域を表している。なお、帯Ａ、Ｂ、Ｃ、及びＤは処理対象映像中で同一人物の顔領域を追随した顔領域静止画像系列であり、以下、「顔追跡シーケンス」という。また、図４の例では、対象映像中に人物Ａが再登場しているが、ここでは、人物Ａが、再登場した場合であっても、新しい人物Ｄとして認識されている。なお、顔追跡シーケンスも映像認識装置３１から出力する。
【００５０】
次に、被写体判別装置３３は、映像信号（映像フレーム）と、顔角度関連データとを入力して被写体判別処理を行う。ここで、被写体判別処理の内容をフローチャートを用いて説明する。
【００５１】
図５は、被写体判別処理手順を示す一例のフローチャートである。
【００５２】
図５の被写体判別処理は、処理対象画像中の全顔追跡シーケンスから、既存の映像（被写体）認識装置によって全顔画像に付加された、顔角度、顔領域位置および大きさに関するデータをもとに正面（顔角度０°）に最も近い顔画像を顔領域に外接する正方形で切出す正面顔抽出処理（Ｓ０１）と、各顔追跡シーケンスから切出した正面顔画像から、顔判別用データベース３６にある正面顔情報と比較を行い、顔の判別結果を出力する顔判別処理（Ｓ０２）とからなる。なお、Ｓ０１は、正面顔抽出部３４で、また、Ｓ０２は顔判別処理部３５にて夫々行われる。
【００５３】
上述の処理により、正面顔のみから人物顔の判別を行うことができる。
【００５４】
次に、被写体判別装置３３にて行われる各処理について図を用いて詳細に説明する。図６は、本発明における正面顔抽出処理の一例の処理フローチャートである。
【００５５】
まず、入力した映像信号と、全顔追跡シーケンスと、顔角度関連データとに基づいて、正面（顔角度０°）に最も近い顔画像を抽出する（Ｓ１１）。次に、Ｓ１１にて、抽出された顔画像に対する顔角度が閾値の範囲内にあるかを判断する（Ｓ１２）。例えば、被写体が正面を向いている角度を０°として、左側を向く顔角度をー（マイナス）とし、右側を向く顔角度を＋（プラス）とすると、顔角度が−ｒ°以上＋ｒ°以下の範囲内の顔画像が抽出されているか否かを判断する。なお、ｒは予め設定される「正面への近さ」を表す閾値であり、例えばｒ＝１０とする。
【００５６】
Ｓ１２において、顔角度が範囲内にあった場合は（Ｓ１２において、ＹＥＳ）、顔領域を外接正方形で切出して出力する。また、Ｓ１２において範囲内の顔画像が存在しない場合は（Ｓ１２において、ＮＯ）、顔判別不可能とし、エラー処理を行う（Ｓ１４）。エラー処理としては、例えば、後続の顔判別処理（Ｓ０２）を行わないよう制御信号を出力したり、出力装置２２からエラーメッセージを表示する等の処理を行う。
【００５７】
ここで、上述の正面顔抽出部３４にて行われた一例の処理概要を図７に示す。なお、図７においては、図４で使用したものと同様のフレーム４１を用いている。上述した正面顔抽出処理により顔追跡シーケンスの帯Ａ、Ｂ，Ｃ、及びＤの内容から正面角度に最も近いフレームの顔画像を抽出することができる。但し、抽出した正面顔の正面角度が所定の範囲を超えている場合は、対応する帯については抽出エラーとして制御情報が出力される。
【００５８】
次に、正面顔抽出部３４で出力された正面顔データと顔判別用正面顔データベース３６に基づいて、顔判別処理部３５により顔判別処理を行う。
【００５９】
ここで、顔判別用正面顔データベース３６について説明する。
【００６０】
顔判別用正面顔データベース３６は、判別対象人物集合に属する全ての人物の、人物名及びある一定の大きさ（Ｗ（Ｗｉｄｔｈ）×Ｈ（Ｈｅｉｇｈｔ））に正規化された正面顔画像から計算した特徴データから構成される。基となる正面顔画像は特別に撮影する必要は無く、既存にある写真等から切出したものでよい。なお、被写体の正面写真は、特定の顔角度で撮影された写真よりも容易に取得することができる。
【００６１】
ここで、顔判別用正面顔データベース３６へ登録されている人数をＭ人（Ｍは１以上の自然数）と、その正面顔集合を｛ＦＤ１，ＦＤ２，…，ＦＤＭ｝、その人物名を｛ＮＤ１，ＮＤ２，…，ＮＤＭ｝と、各正面顔から計算した特徴データ｛ＶＤ１，ＶＤ２，…，ＶＤＭ｝（各添字は、前記の正面顔集合の添字に対応）とが夫々蓄積されている。なお、顔判別用正面顔データベース３６は、データベース２７と同等であり、システムバスＢで各装置と接続されている。
【００６２】
次に、顔判別処理の処理について図を用いて詳細に説明する。
【００６３】
図８は、本発明における顔判別処理の一例の処理フローチャートである。
【００６４】
まず、正面顔抽出部３４で各顔追跡シーケンスから切出したＬ個（Ｌは１以上の自然数）の正面顔｛ＦＴ１，ＦＴ２，…，ＦＴＬ｝を、顔判別用データベース３６で用いられている大きさ（Ｗ（Ｗｉｄｔｈ）×Ｈ（Ｈｅｉｇｈｔ））に正規化する（Ｓ２１）。なお、上述した例では、Ｍの値は、Ａ、Ｂ、Ｃ、及びＤの４となる。
【００６５】
次に、Ｓ２１にて正規化した各正面顔画像から、顔判別用データベース３６で使用したものと同様の特徴データを計算する。この特徴データを｛ＶＴ１，ＶＴ２，…，ＶＴＬ｝とする。なお、各添え字は、正面顔集合ＦＴの添字に対応している。
【００６６】
ここで、各ＶＴｉ（ｉ＝１，２，…，Ｌ）から、顔ＦＴｉの判別を行う手順について説明する。
【００６７】
まず、顔判別用データベース３６の各特徴データＶＤｊ（ｊ＝１，２，…，Ｍ）との類似度を計算する（Ｓ２２）。類似度の計算方法は、一般的なデータ処理分野で用いられるもので、例えば、特徴点におけるベクトル同士間の距離に基づいた算出方法等がある。この場合は、距離数値が０に近い方が類似度が高いことになる。次に、類似度が最も高いＶＤｊを抽出する（Ｓ２３）。Ｓ２３にて、抽出したＶＤｊをＶＤｋｉとすると、ＶＤｋｉの類似度が予め設定された閾値以上であるかを判断する（Ｓ２４）。Ｓ２４にて、閾値以上であった場合は（Ｓ２４において、ＹＥＳ）、顔ＦＴｉの判別結果を顔ＦＤｋｉとして、処理を行った顔ＦＴｉ（ｉ＝０，１，…，Ｌ）について、その切出し元である顔追跡シーケンスに対して人物名ＮＤｋｉという人物情報を付加する（Ｓ２５）。また、Ｓ２４にて、閾値未満であった場合は（Ｓ２４において、ＮＯ）は、「顔ＦＴｉは判別不可能」として、エラー処理を行う（Ｓ２６）。Ｓ２６では、出力装置２２からエラーメッセージを出力されるための制御情報を出力する。
【００６８】
上述のような処理を行うことにより、正面顔のみを用いて容易に顔判別を行うことができる。なお、演算処理装置２６は、上述したエラー処理にて出力される制御情報に基づいて、出力装置２２からエラーメッセージを出力させることにより、被写体判別装置３３の使用者に状況を通知することができる。
【００６９】
次に、本発明における顔判別処理を行った結果を図を用いて説明する。
【００７０】
図９は、顔判別処理部３５にて行われた一例の処理概要を示す図である。
【００７１】
なお、図９においては、図４及び図７で使用したものと同様のフレーム４１を用いている。上述した顔判別処理により顔追跡シーケンスの帯Ａ、Ｂ，Ｃ、及びＤの正面角度に最も近いフレームの顔画像と、顔判別用正面顔データベース３６との比較を行うことにより、顔画像の人物を特定することができ（図９（ａ））、更に、フレーム４１中の各顔追随シーケンスに人物の特定情報を付加させた映像フレームを出力することができる（図９（ｂ））。
【００７２】
上述したように、本発明によれば、顔の回転などにより様々な顔角度（１８０度範囲）をもつ顔の判別を、構築が非常に容易な正面顔のみのデータからなるデータベースを用いて実現することが可能となる。
【００７３】
なお、本発明において、映像（被写体）認識装置は、必ず必要な装置構成ではなく、例えば、上述した顔角度関連データを含むデータベース等があれば、それを利用することもできる。
【００７４】
また、上述では、本発明における被写体判別するための処理を被写体判別装置３３にて行う手順について説明したが、映像信号から被写体判別処理を行う被写体判別プログラムを生成し、そのプログラムに基づいて、コンピュータに、上述した被写体判別における各処理を実行させることができる。なお、被写体判別プログラムの実行における信号の制御は演算処理装置２６にて行う。
【００７５】
なお、上述した被写体判別プログラムは、ＣＤ−ＲＯＭ等の記憶媒体２９に記憶させてコンピュータにインストールすることにより、容易に被写体判別処理を行うことができる。更に、この他の方法として、ネットワーク接続装置２８を介した通信インターフェース及びネットワークにより被写体判別プログラムをファイル形式で取得し、コンピュータにインストールすることによっても被写体判別処理を実行させることができる。
【００７６】
上述したように、本発明によれば、顔の回転等により様々な顔角度（１８０度範囲）をもつ顔の判別を、膨大な量の顔画像データを有することなく正面顔に関するデータのみから被写体の判別を実現することができる。また、正面顔のみを用いるので、判別を行う判別処理時間を少なくすることができ、効率的に判別を行うことができる。
【００７７】
また、本発明を用いることにより、顔画像系列として蓄積された映像中から人物を特定することができるため、付加価値をつけた放送サービスの提供、銀行、企業等のセキュリティシステムやテレビ電話等における人物判別処理の迅速化等、多様な分野で利用することができる。
【００７８】
【発明の効果】
本発明によれば、本発明によれば、顔の回転等により様々な顔角度をもつ顔の判別を、膨大な量の顔画像データを有することなく正面顔に関するデータのみから被写体の判別を実現することができる。
【図面の簡単な説明】
【図１】被写体認識装置を用いて実現される機能を示す機能ブロック図である。
【図２】本発明における被写体判別装置のハードウェア構成を示す一例のブロック図である。
【図３】本発明における被写体判別の一実施例を示す図である。
【図４】映像認識装置３１による顔領域抽出処理の一例の概要を示す図である。
【図５】被写体判別処理手順を示す一例のフローチャートである。
【図６】本発明における正面顔抽出処理の一例の処理フローチャートである。
【図７】正面顔抽出部にて行われた一例の処理概要を示す図である。
【図８】本発明における顔判別処理の一例の処理フローチャートである。
【図９】顔判別処理部にて行われた一例の処理概要を示す図である。
【符号の説明】
２１ 入力装置
２２ 出力装置
２３ ドライブ装置
２４ 補助記憶媒体
２５ メモリ装置
２６ 演算処理装置
２７ データベース
２８ ネットワーク接続装置
２９ 記憶媒体
３１ 映像認識装置
３２ 顔角度推定用データベース
３３ 被写体判別装置
３４ 正面顔抽出部
３５ 顔判別処理部
３６ 顔判別用正面顔データベース
【発明の属する技術分野】
本発明は、被写体判別方法、被写体判別装置、及び被写体判別プログラムに係り、特に、映像中に含まれる顔画像系列から被写体の判別を行う被写体判別方法、被写体判別装置、及び被写体判別プログラムに関する。
【０００２】
【従来の技術】
近年、映像中に被写体として含まれる人物（顔）を自動的に検出し、その顔が予め登録されている人物を特定する情報集合中のうちの誰であるかを自動的に判別する被写体認識装置が研究・開発されている。上述した被写体認識装置の例としては、本出願人により出願され開示されている特開２００１−０３４７５６号公報等がある。
【０００３】
特開２００１−０３４７５６号公報にて開示されている発明は、顔の正面を０°とした場合に左横向き（−９０°）から右横向き（９０°）までの角度幅が１８０°の広範囲にわたる顔角度において推定及び顔判別を可能とする認識装置である。
【０００４】
ここで、上述した被写体認識装置について、図を用いた簡単な説明を行う。
【０００５】
図１は、上述した被写体認識装置を用いて実現される機能を示す機能ブロック図である。
【０００６】
図１の被写体認識装置は、仮説によるデータベースの位置情報修正機能１と、多重解像度可変テンプレートマッチング機能２と、仮説の修正・生成機能３と、時間的・空間的フィルタリング機能４と、データベース５と、被写体の初期検出による仮説追加機能６と、仮説集合７とを有するよう構成されている。
【０００７】
仮説によるデータベースの位置情報修正機能１では、データベース５中に蓄積された特定されない不特定人物の顔の特徴点（例えば、眼、口等の構成部分）の配列を、被写体を認識（特定）するための情報を有する仮説集合７を用いて修正する。
【０００８】
多重解像度可変テンプレートマッチング機能２では、入力フレームと、仮説によるデータベースの位置情報修正機能１により修正されたデータベーステンプレートとを、多重解像度ガボールウェーブレットの可変テンプレートマッチングにより照合し、更に、ウェーブレット係数の位相で位置のずれを推定して映像フレーム中の被写体を追跡する。
【０００９】
仮説の修正・生成機能３では、多重解像度可変テンプレートマッチング機能２によって得られた閾値を越えたマッチング結果に基づいて、仮説集合７内の仮説の修正又は新しい仮説の生成等を行う。全ての仮説について入力フレームとのマッチングが終了した後、時間的・空間的フィルタリング機能４は仮説集合７内にある仮説の人物である確立等の証拠値が高い仮説のみを平滑化して、平滑化された仮説を認識結果として出力する。
【００１０】
なお、被写体の初期検出による仮説追加機能６は、システムのスタート時とその後の適当な間隔で、入力フレーム中の被写体の初期検出を行い、その結果を仮説集合７に追加する。これにより、更に正確な被写体認識を行うことができる。
【００１１】
上述した被写体認識装置を用いることにより、動画像であっても、画像中の被写体を高精度で認識することができる。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した被写体認識装置は、判別対象人物の顔データベースに対して、例えば、顔角度１０°毎等のように、複数の顔角度に関するデータを登録しておく必要がある。そのため、膨大なデータ量を蓄積することになり、更に、データ量が膨大になるためデータベース構築が困難であった。また、事前に１０°間隔の顔角度のデータを取得しておく必要があったため、そのデータベースを構築するための時間（手間）も膨大になってしまう。
【００１３】
本発明は、上述した問題点に鑑みなされたものであり、顔の回転等によって様々な顔角度（１８０°範囲）を有する顔の判別を、正面顔に関するデータのみを用いて実現可能となる被写体判別方法、被写体判別装置、及び被写体判別プログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１５】
請求項１に記載された発明は、映像中に含まれる１又は複数の被写体の各顔画像系列から各被写体の判別を行う被写体判別方法において、前記各顔画像系列に含まれる全顔画像に対して、画像毎に予め付加されている顔角度、顔領域に外接する正方形の位置、及び前記正方形の一辺の長さに関するデータを用いて、前記顔角度が真正面を基準として予め設定される角度範囲内にある少なくとも１つの顔画像を抽出し、抽出した前記角度範囲内にある顔画像の外接領域を前記正方形の位置及び一辺の長さに対応させて正方形に切出す正面顔抽出段階と、人物を特定する情報と関連付けられて蓄積された正面顔を予め設定された画像サイズに正規化した画像から取得した特徴データと、前記正面顔抽出段階にて抽出された各顔画像を前記画像サイズに正規化した画像から取得した特徴データとを比較して顔の判別を行う顔判別段階とを有し、前記顔判別段階は、前記正面顔の特徴データと前記各顔画像から算出される特徴データとにおける各特徴データに含まれる特徴点間の距離から類似度を算出し、算出した類似度が予め設定された閾値以上の場合に同一の顔画像であると判別し、前記被写体毎の顔画像系列に対して前記人物を特定する情報を付加することを特徴とする。
【００１６】
請求項１記載の発明によれば、正面顔の関連データから被写体の判別を行うことができる。また、正面顔のみを用いるので、判別を行う判別処理時間を少なくすることができ、効率的に判別を行うことができる。更に、人物を特定する情報と関連付けられて蓄積される関連データのデータ量は正面顔のみで良いため、所定の顔角度毎にデータを蓄積する方法と比較してデータ量を削減させることができる。また、前記顔角度が真正面を基準とした所定の角度範囲内にある少なくとも１つの顔画像を用いるため、高精度な判別を行うことができる。また、類似度に基づいて判別を行うため、高精度な顔画像の判別を行うことができる。また、顔画像系列毎にその人物を特定することができるため、高付加価値な情報を提供することができる。また、顔画像系列中に被写体が正面を向いていない場合においても、その被写体が誰であるか特定することができる。
【００１７】
請求項２に記載された発明は、映像中に含まれる１又は複数の被写体の各顔画像系列から各被写体の判別を行う被写体判別装置において、前記各顔画像系列に含まれる全顔画像に対して、画像毎に予め付加されている顔角度、顔領域に外接する正方形の位置、及び前記正方形の一辺の長さに関するデータを用いて、前記顔角度が真正面を基準として予め設定される角度範囲内にある少なくとも１つの顔画像を抽出し、抽出した前記角度範囲内にある顔画像の外接領域を前記正方形の位置及び一辺の長さに対応させて正方形に切出す正面顔抽出部と、人物を特定する情報と関連付けられて蓄積された正面顔を予め設定された画像サイズに正規化した画像から取得した特徴データと、前記正面顔抽出部にて抽出された各顔画像を前記画像サイズに正規化した画像から取得した特徴データとを比較して顔の判別を行う顔判別部とを有し、前記顔判別部は、前記正面顔の特徴データと前記各顔画像から算出される特徴データとにおける各特徴データに含まれる特徴点間の距離から類似度を算出し、算出した類似度が予め設定された閾値以上の場合に同一の顔画像であると判別し、前記被写体毎の顔画像系列に対して前記人物を特定する情報を付加することを特徴とする。
【００１８】
請求項２記載の発明によれば、正面顔の関連データから被写体の判別を行うことができる。また、正面顔のみを用いるので、判別を行う判別処理時間を少なくすることができ、効率的に判別を行うことができる。更に、人物を特定する情報と関連付けられて蓄積される関連データのデータ量は正面顔のみで良いため、所定の顔角度毎にデータを蓄積する方法と比較してデータ量を削減させることができる。また、前記顔角度が真正面を基準とした所定の角度範囲内にある少なくとも１つの顔画像を用いるため、高精度な判別を行うことができる。また、類似度に基づいて判別を行うため、高精度な顔画像の判別を行うことができる。また、顔画像系列毎にその人物を特定することができるため、高付加価値な情報を提供することができる。また、顔画像系列中に被写体が正面を向いていない場合においても、その被写体が誰であるか特定することができる。
【００１９】
請求項３に記載された発明は、請求項１に記載された被写体判別方法をコンピュータに実行させる被写体判別プログラムである。
【００３２】
【発明の実施の形態】
本発明は、記録媒体中のある映像に対して、その映像中に被写体として含まれる、様々な顔角度を持つ顔画像系列が人物を特定する情報集合中の誰であるかを判別する所謂「被写体判別」を、集合に属する各人物の正面顔のみに関するデータを用いて行うことを主眼とする。
【００３３】
つまり、本発明は顔の回転等によって様々な顔角度（−９０°〜９０°の１８０°範囲）を有する顔からの被写体の判別を、正面顔のみのデータからなる顔判別用データベースを用いて実現可能とし、判別のために複数角度の顔画像及び顔データを必要とし、データベース構築が困難であった従来の被写体認識装置の課題を解決するものである。
【００３４】
ここで、上述した被写体認識装置は、顔判別不可能でも顔角度の推定のみは可能であるため、本発明は、その被写体認識装置を用いて計算した未判別人物の顔角度関連データを利用して、入力映像中の顔画像集合から正面顔角度に最も近い顔画像を抽出し、その顔画像の特徴データと、判別対象人物等の人物を特定する情報の集合に属する各人物の正面顔のみのデータとからなる顔判別用データベースとを照合することで顔判別を行う手段を有する。
【００３５】
次に、本発明における実施の形態を図を用いて説明する。
【００３６】
図２は、本発明における被写体判別装置のハードウェア構成を示す一例のブロック図である。
【００３７】
図２の被写体判別装置は、専用の装置構成とすることもできるが、例えば、汎用のパーソナルコンピュータ、ワークステーション等を適用することができる。図２において、被写体判別装置は、入力装置２１と、出力装置２２と、ドライブ装置２３と、補助記憶装置２４と、メモリ装置２５と、演算処理装置２６と、データベース２７と、ネットワーク接続装置２８とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００３８】
入力装置２１は、使用者が操作するキーボード及びマウスを有しており、各種操作信号を入力する。出力装置２２は、被写体判別装置を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、実行プログラムに基づいて表示される。ここで、本発明において、被写体判別装置にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体２９等により提供される。プログラムを記録した記録媒体２９はドライブ装置２３にセット可能であり、記憶媒体２９に含まれる実行プログラムが、記録媒体２９からドライブ装置２３を介して補助記憶装置２４にインストールされる。
【００３９】
演算処理装置２６は、メモリ装置２５により読み出され格納されている実行プログラムに基づいて、各種演算や後述する各処理を含む被写体判別装置全体の処理を制御する。また、プログラムの実行中に必要な各種情報は、データベース２７から取得することができ、また格納することもできる。ネットワーク接続装置２８は、通信ネットワーク等と接続することにより、被写体判別プログラムを実行することで得られた情報を他の端末等に提供することができる。
【００４０】
次に、本発明における被写体判別装置を用いた全体のシステム構成例について図を用いて説明する。
【００４１】
図３は、本発明における被写体判別の一実施例を示す図である。
【００４２】
図３に示す実施例は、映像認識装置３１と、顔角度推定用データベース３２と、被写体判別装置３３とを有するように構成されている。また、被写体判別装置３３は、正面顔抽出部３４と、顔判別処理部３５と、顔判別用正面顔データベース３６とを有するよう構成されている。
【００４３】
まず、映像認識装置３１は、ハードディスク等の補助記憶装置２４等に予め蓄積された映像信号（映像フレーム）を入力すると、顔角度推定用データベース３２を用いて、映像中に映し出されている被写体（人物）に対する顔角度関連データを被写体判別装置３３に出力する。
【００４４】
ここで、顔角度推定用データベース３２は、平均的な顔を持つ特定していない１０人から２５人程度の人物の夫々に対して、複数の顔角度（例えば、―９０°（左向き），…，−１０°，０°（正面），１０°，…，９０°（右向き）の計１９角度）に関する特徴データから構成されている。なお、特徴データとは、例えば、特開２００１−０３４７５６号公報にて開示されている映像認識装置で用いられる画像特徴のような、従来の画像認識及び画像処理分野で用いられるものであり、眼や口等顔の構成部分に関する特徴点から所定の関数（例えば、ガボールウェーブレット関数等）を用いて導出される値である。
【００４５】
なお、顔角度推定用データベース３２は、既存の映像認識装置が顔角度推定のみに使用し顔判別処理には使用しないため、処理対象映像中の被写体人物が顔角度推定用データベース３２に含まれているか否かは問題にならず、本発明においては、上述の映像認識装置で人物を特定するための照合処理は行わない。
【００４６】
また、映像認識装置３１の出力である顔角度関連データは、テキストファイルであり、少なくとも映像の全フレームについての「顔角度」、「顔領域に外接する正方形の位置」、及び「顔領域に外接する正方形の一辺の長さ」を有している。また、顔角度推定用データベース３２には、入力フレームに映っている顔全てについての「顔角度」、「顔領域に外接する正方形の位置」、及び「顔領域に外接する正方形の一辺の長さ」がデータとして蓄積される。
【００４７】
ここで、映像認識装置３１を用いた処理により抽出される情報について図を用いて説明する。
【００４８】
図４は、映像認識装置３１による顔領域抽出処理の一例の概要を示す図である。
【００４９】
図４において、連続するｎ枚のフレーム４１を処理対象として処理が行われたとすると、図４の帯Ａ、Ｂ、Ｃ、及びＤは、人物Ａ、Ｂ、及びＣがフレーム４１にフレームインしてから、フレームアウトするまでの追随した時間領域を表している。なお、帯Ａ、Ｂ、Ｃ、及びＤは処理対象映像中で同一人物の顔領域を追随した顔領域静止画像系列であり、以下、「顔追跡シーケンス」という。また、図４の例では、対象映像中に人物Ａが再登場しているが、ここでは、人物Ａが、再登場した場合であっても、新しい人物Ｄとして認識されている。なお、顔追跡シーケンスも映像認識装置３１から出力する。
【００５０】
次に、被写体判別装置３３は、映像信号（映像フレーム）と、顔角度関連データとを入力して被写体判別処理を行う。ここで、被写体判別処理の内容をフローチャートを用いて説明する。
【００５１】
図５は、被写体判別処理手順を示す一例のフローチャートである。
【００５２】
図５の被写体判別処理は、処理対象画像中の全顔追跡シーケンスから、既存の映像（被写体）認識装置によって全顔画像に付加された、顔角度、顔領域位置および大きさに関するデータをもとに正面（顔角度０°）に最も近い顔画像を顔領域に外接する正方形で切出す正面顔抽出処理（Ｓ０１）と、各顔追跡シーケンスから切出した正面顔画像から、顔判別用データベース３６にある正面顔情報と比較を行い、顔の判別結果を出力する顔判別処理（Ｓ０２）とからなる。なお、Ｓ０１は、正面顔抽出部３４で、また、Ｓ０２は顔判別処理部３５にて夫々行われる。
【００５３】
上述の処理により、正面顔のみから人物顔の判別を行うことができる。
【００５４】
次に、被写体判別装置３３にて行われる各処理について図を用いて詳細に説明する。図６は、本発明における正面顔抽出処理の一例の処理フローチャートである。
【００５５】
まず、入力した映像信号と、全顔追跡シーケンスと、顔角度関連データとに基づいて、正面（顔角度０°）に最も近い顔画像を抽出する（Ｓ１１）。次に、Ｓ１１にて、抽出された顔画像に対する顔角度が閾値の範囲内にあるかを判断する（Ｓ１２）。例えば、被写体が正面を向いている角度を０°として、左側を向く顔角度をー（マイナス）とし、右側を向く顔角度を＋（プラス）とすると、顔角度が−ｒ°以上＋ｒ°以下の範囲内の顔画像が抽出されているか否かを判断する。なお、ｒは予め設定される「正面への近さ」を表す閾値であり、例えばｒ＝１０とする。
【００５６】
Ｓ１２において、顔角度が範囲内にあった場合は（Ｓ１２において、ＹＥＳ）、顔領域を外接正方形で切出して出力する。また、Ｓ１２において範囲内の顔画像が存在しない場合は（Ｓ１２において、ＮＯ）、顔判別不可能とし、エラー処理を行う（Ｓ１４）。エラー処理としては、例えば、後続の顔判別処理（Ｓ０２）を行わないよう制御信号を出力したり、出力装置２２からエラーメッセージを表示する等の処理を行う。
【００５７】
ここで、上述の正面顔抽出部３４にて行われた一例の処理概要を図７に示す。なお、図７においては、図４で使用したものと同様のフレーム４１を用いている。上述した正面顔抽出処理により顔追跡シーケンスの帯Ａ、Ｂ，Ｃ、及びＤの内容から正面角度に最も近いフレームの顔画像を抽出することができる。但し、抽出した正面顔の正面角度が所定の範囲を超えている場合は、対応する帯については抽出エラーとして制御情報が出力される。
【００５８】
次に、正面顔抽出部３４で出力された正面顔データと顔判別用正面顔データベース３６に基づいて、顔判別処理部３５により顔判別処理を行う。
【００５９】
ここで、顔判別用正面顔データベース３６について説明する。
【００６０】
顔判別用正面顔データベース３６は、判別対象人物集合に属する全ての人物の、人物名及びある一定の大きさ（Ｗ（Ｗｉｄｔｈ）×Ｈ（Ｈｅｉｇｈｔ））に正規化された正面顔画像から計算した特徴データから構成される。基となる正面顔画像は特別に撮影する必要は無く、既存にある写真等から切出したものでよい。なお、被写体の正面写真は、特定の顔角度で撮影された写真よりも容易に取得することができる。
【００６１】
ここで、顔判別用正面顔データベース３６へ登録されている人数をＭ人（Ｍは１以上の自然数）と、その正面顔集合を｛ＦＤ１，ＦＤ２，…，ＦＤＭ｝、その人物名を｛ＮＤ１，ＮＤ２，…，ＮＤＭ｝と、各正面顔から計算した特徴データ｛ＶＤ１，ＶＤ２，…，ＶＤＭ｝（各添字は、前記の正面顔集合の添字に対応）とが夫々蓄積されている。なお、顔判別用正面顔データベース３６は、データベース２７と同等であり、システムバスＢで各装置と接続されている。
【００６２】
次に、顔判別処理の処理について図を用いて詳細に説明する。
【００６３】
図８は、本発明における顔判別処理の一例の処理フローチャートである。
【００６４】
まず、正面顔抽出部３４で各顔追跡シーケンスから切出したＬ個（Ｌは１以上の自然数）の正面顔｛ＦＴ１，ＦＴ２，…，ＦＴＬ｝を、顔判別用データベース３６で用いられている大きさ（Ｗ（Ｗｉｄｔｈ）×Ｈ（Ｈｅｉｇｈｔ））に正規化する（Ｓ２１）。なお、上述した例では、Ｍの値は、Ａ、Ｂ、Ｃ、及びＤの４となる。
【００６５】
次に、Ｓ２１にて正規化した各正面顔画像から、顔判別用データベース３６で使用したものと同様の特徴データを計算する。この特徴データを｛ＶＴ１，ＶＴ２，…，ＶＴＬ｝とする。なお、各添え字は、正面顔集合ＦＴの添字に対応している。
【００６６】
ここで、各ＶＴｉ（ｉ＝１，２，…，Ｌ）から、顔ＦＴｉの判別を行う手順について説明する。
【００６７】
まず、顔判別用データベース３６の各特徴データＶＤｊ（ｊ＝１，２，…，Ｍ）との類似度を計算する（Ｓ２２）。類似度の計算方法は、一般的なデータ処理分野で用いられるもので、例えば、特徴点におけるベクトル同士間の距離に基づいた算出方法等がある。この場合は、距離数値が０に近い方が類似度が高いことになる。次に、類似度が最も高いＶＤｊを抽出する（Ｓ２３）。Ｓ２３にて、抽出したＶＤｊをＶＤｋｉとすると、ＶＤｋｉの類似度が予め設定された閾値以上であるかを判断する（Ｓ２４）。Ｓ２４にて、閾値以上であった場合は（Ｓ２４において、ＹＥＳ）、顔ＦＴｉの判別結果を顔ＦＤｋｉとして、処理を行った顔ＦＴｉ（ｉ＝０，１，…，Ｌ）について、その切出し元である顔追跡シーケンスに対して人物名ＮＤｋｉという人物情報を付加する（Ｓ２５）。また、Ｓ２４にて、閾値未満であった場合は（Ｓ２４において、ＮＯ）は、「顔ＦＴｉは判別不可能」として、エラー処理を行う（Ｓ２６）。Ｓ２６では、出力装置２２からエラーメッセージを出力されるための制御情報を出力する。
【００６８】
上述のような処理を行うことにより、正面顔のみを用いて容易に顔判別を行うことができる。なお、演算処理装置２６は、上述したエラー処理にて出力される制御情報に基づいて、出力装置２２からエラーメッセージを出力させることにより、被写体判別装置３３の使用者に状況を通知することができる。
【００６９】
次に、本発明における顔判別処理を行った結果を図を用いて説明する。
【００７０】
図９は、顔判別処理部３５にて行われた一例の処理概要を示す図である。
【００７１】
なお、図９においては、図４及び図７で使用したものと同様のフレーム４１を用いている。上述した顔判別処理により顔追跡シーケンスの帯Ａ、Ｂ，Ｃ、及びＤの正面角度に最も近いフレームの顔画像と、顔判別用正面顔データベース３６との比較を行うことにより、顔画像の人物を特定することができ（図９（ａ））、更に、フレーム４１中の各顔追随シーケンスに人物の特定情報を付加させた映像フレームを出力することができる（図９（ｂ））。
【００７２】
上述したように、本発明によれば、顔の回転などにより様々な顔角度（１８０度範囲）をもつ顔の判別を、構築が非常に容易な正面顔のみのデータからなるデータベースを用いて実現することが可能となる。
【００７３】
なお、本発明において、映像（被写体）認識装置は、必ず必要な装置構成ではなく、例えば、上述した顔角度関連データを含むデータベース等があれば、それを利用することもできる。
【００７４】
また、上述では、本発明における被写体判別するための処理を被写体判別装置３３にて行う手順について説明したが、映像信号から被写体判別処理を行う被写体判別プログラムを生成し、そのプログラムに基づいて、コンピュータに、上述した被写体判別における各処理を実行させることができる。なお、被写体判別プログラムの実行における信号の制御は演算処理装置２６にて行う。
【００７５】
なお、上述した被写体判別プログラムは、ＣＤ−ＲＯＭ等の記憶媒体２９に記憶させてコンピュータにインストールすることにより、容易に被写体判別処理を行うことができる。更に、この他の方法として、ネットワーク接続装置２８を介した通信インターフェース及びネットワークにより被写体判別プログラムをファイル形式で取得し、コンピュータにインストールすることによっても被写体判別処理を実行させることができる。
【００７６】
上述したように、本発明によれば、顔の回転等により様々な顔角度（１８０度範囲）をもつ顔の判別を、膨大な量の顔画像データを有することなく正面顔に関するデータのみから被写体の判別を実現することができる。また、正面顔のみを用いるので、判別を行う判別処理時間を少なくすることができ、効率的に判別を行うことができる。
【００７７】
また、本発明を用いることにより、顔画像系列として蓄積された映像中から人物を特定することができるため、付加価値をつけた放送サービスの提供、銀行、企業等のセキュリティシステムやテレビ電話等における人物判別処理の迅速化等、多様な分野で利用することができる。
【００７８】
【発明の効果】
本発明によれば、本発明によれば、顔の回転等により様々な顔角度をもつ顔の判別を、膨大な量の顔画像データを有することなく正面顔に関するデータのみから被写体の判別を実現することができる。
【図面の簡単な説明】
【図１】被写体認識装置を用いて実現される機能を示す機能ブロック図である。
【図２】本発明における被写体判別装置のハードウェア構成を示す一例のブロック図である。
【図３】本発明における被写体判別の一実施例を示す図である。
【図４】映像認識装置３１による顔領域抽出処理の一例の概要を示す図である。
【図５】被写体判別処理手順を示す一例のフローチャートである。
【図６】本発明における正面顔抽出処理の一例の処理フローチャートである。
【図７】正面顔抽出部にて行われた一例の処理概要を示す図である。
【図８】本発明における顔判別処理の一例の処理フローチャートである。
【図９】顔判別処理部にて行われた一例の処理概要を示す図である。
【符号の説明】
２１ 入力装置
２２ 出力装置
２３ ドライブ装置
２４ 補助記憶媒体
２５ メモリ装置
２６ 演算処理装置
２７ データベース
２８ ネットワーク接続装置
２９ 記憶媒体
３１ 映像認識装置
３２ 顔角度推定用データベース
３３ 被写体判別装置
３４ 正面顔抽出部
３５ 顔判別処理部
３６ 顔判別用正面顔データベース
Claims (3)
- 映像中に含まれる１又は複数の被写体の各顔画像系列からから各被写体の判別を行う被写体判別方法において、
前記各顔画像系列に含まれる全顔画像に対して、画像毎に予め付加されている顔角度、顔領域に外接する正方形の位置、及び前記正方形の一辺の長さに関するデータを用いて、前記顔角度が真正面を基準として予め設定される角度範囲内にある少なくとも１つの顔画像を抽出し、抽出した前記角度範囲内にある顔画像の外接領域を前記正方形の位置及び一辺の長さに対応させて正方形に切出す正面顔抽出段階と、
人物を特定する情報と関連付けられて蓄積された正面顔を予め設定された画像サイズに正規化した画像から取得した特徴データと、前記正面顔抽出段階にて抽出された各顔画像を前記画像サイズに正規化した画像から取得した特徴データとを比較して顔の判別を行う顔判別段階とを有し、
前記顔判別段階は、前記正面顔の特徴データと前記各顔画像から算出される特徴データとにおける各特徴データに含まれる特徴点間の距離から類似度を算出し、算出した類似度が予め設定された閾値以上の場合に同一の顔画像であると判別し、前記被写体毎の顔画像系列に対して前記人物を特定する情報を付加することを特徴とする被写体判別方法。 - 映像中に含まれる１又は複数の被写体の各顔画像系列から各被写体の判別を行う被写体判別装置において、
前記各顔画像系列に含まれる全顔画像に対して、画像毎に予め付加されている顔角度、顔領域に外接する正方形の位置、及び前記正方形の一辺の長さに関するデータを用いて、前記顔角度が真正面を基準として予め設定される角度範囲内にある少なくとも１つの顔画像を抽出し、抽出した前記角度範囲内にある顔画像の外接領域を前記正方形の位置及び一辺の長さに対応させて正方形に切出す正面顔抽出部と、
人物を特定する情報と関連付けられて蓄積された正面顔を予め設定された画像サイズに正規化した画像から取得した特徴データと、前記正面顔抽出部にて抽出された各顔画像を前記画像サイズに正規化した画像から取得した特徴データとを比較して顔の判別を行う顔判別部とを有し、
前記顔判別部は、前記正面顔の特徴データと前記各顔画像から算出される特徴データとにおける各特徴データに含まれる特徴点間の距離から類似度を算出し、算出した類似度が予め設定された閾値以上の場合に同一の顔画像であると判別し、前記被写体毎の顔画像系列に対して前記人物を特定する情報を付加することを特徴とする被写体判別装置。 - 請求項１に記載された被写体判別方法をコンピュータに実行させる被写体判別プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002148905A JP4078117B2 (ja) | 2002-05-23 | 2002-05-23 | 被写体判別方法、被写体判別装置、及び被写体判別プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002148905A JP4078117B2 (ja) | 2002-05-23 | 2002-05-23 | 被写体判別方法、被写体判別装置、及び被写体判別プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003346147A JP2003346147A (ja) | 2003-12-05 |
| JP4078117B2 true JP4078117B2 (ja) | 2008-04-23 |
Family
ID=29767269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002148905A Expired - Lifetime JP4078117B2 (ja) | 2002-05-23 | 2002-05-23 | 被写体判別方法、被写体判別装置、及び被写体判別プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4078117B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2571643C (en) * | 2004-06-21 | 2011-02-01 | Nevengineering, Inc. | Single image based multi-biometric system and method |
| JP4697106B2 (ja) * | 2006-09-25 | 2011-06-08 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4841447B2 (ja) * | 2007-01-26 | 2011-12-21 | オリンパスイメージング株式会社 | 画像同定装置 |
| JP4773998B2 (ja) * | 2007-03-15 | 2011-09-14 | 富士フイルム株式会社 | 監視カメラ・システム，動画検索装置および顔画像データベース更新装置ならびにそれらの動作制御方法 |
| JP4941124B2 (ja) * | 2007-06-25 | 2012-05-30 | オムロン株式会社 | 監視システムおよび方法、情報処理装置、並びにプログラム |
| JP4569670B2 (ja) * | 2008-06-11 | 2010-10-27 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP5062054B2 (ja) * | 2008-06-19 | 2012-10-31 | 富士ゼロックス株式会社 | 画像処理装置および画像処理プログラム |
| JP5702663B2 (ja) * | 2011-05-10 | 2015-04-15 | 日本放送協会 | 顔画像認識装置及び顔画像認識プログラム |
| JP2014021896A (ja) * | 2012-07-23 | 2014-02-03 | Nippon Hoso Kyokai <Nhk> | 顔画像認識装置及び顔画像認識プログラム |
-
2002
- 2002-05-23 JP JP2002148905A patent/JP4078117B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003346147A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2088535B1 (en) | Image processing apparatus and method, and program | |
| JP3337988B2 (ja) | 個体識別装置 | |
| CN106557723B (zh) | 一种带交互式活体检测的人脸身份认证系统及其方法 | |
| EP3229171A1 (en) | Method and device for determining identity identifier of human face in human face image, and terminal | |
| JP5801601B2 (ja) | 画像認識装置、画像認識装置の制御方法、およびプログラム | |
| CN111881726B (zh) | 一种活体检测方法、装置及存储介质 | |
| EP2304649B1 (en) | Frame based video matching | |
| US20040122675A1 (en) | Visual feature extraction procedure useful for audiovisual continuous speech recognition | |
| US20030108240A1 (en) | Method and apparatus for automatic face blurring | |
| CN109118420B (zh) | 水印识别模型建立及识别方法、装置、介质及电子设备 | |
| JP4078117B2 (ja) | 被写体判別方法、被写体判別装置、及び被写体判別プログラム | |
| CN111339806A (zh) | 唇语识别模型的训练方法、活体识别方法及装置 | |
| CN111444817B (zh) | 一种人物图像识别方法、装置、电子设备和存储介质 | |
| WO2007123368A1 (en) | Method and apparatus for user authentication using face image | |
| JP2006331271A (ja) | 代表画像抽出装置及び代表画像抽出プログラム | |
| JP6434718B2 (ja) | 顔画像認識装置及び顔画像認識プログラム | |
| CN116364064B (zh) | 一种音频拼接方法、电子设备及存储介质 | |
| CN116844093A (zh) | 一种基于实时视频流的人员识别方法、设备及介质 | |
| JP4384366B2 (ja) | 画像照合処理システムおよび画像照合方法 | |
| WO2006009035A1 (ja) | 信号検出方法，信号検出システム，信号検出処理プログラム及びそのプログラムを記録した記録媒体 | |
| Luque et al. | Audio, video and multimodal person identification in a smart room | |
| JP2007140695A (ja) | 不審顔検出システム、不審顔検出方法および不審顔検出プログラム | |
| JP3305551B2 (ja) | 特定対称物体判定方法 | |
| KR20180041072A (ko) | 오디오 프레임 프로세싱을 위한 디바이스 및 방법 | |
| JP2007213582A (ja) | デジタル画像データ内のオブジェクト・パーツの場所を特定する方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4078117 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |