JP4251719B2 - 複数人物が存在する場合の人間の顔のロバスト追跡システム - Google Patents
複数人物が存在する場合の人間の顔のロバスト追跡システム Download PDFInfo
- Publication number
- JP4251719B2 JP4251719B2 JP16919399A JP16919399A JP4251719B2 JP 4251719 B2 JP4251719 B2 JP 4251719B2 JP 16919399 A JP16919399 A JP 16919399A JP 16919399 A JP16919399 A JP 16919399A JP 4251719 B2 JP4251719 B2 JP 4251719B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- trimming
- average value
- filtered image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数人物が存在する場合の人間の顔のロバスト追跡方法、より具体的には、ビデオ通信、高度の人と計算機間のインタフェース、ディジタルライブラリ及びオブジェクトベースのビデオ符号化のような種々の用途に用いることが出来る人間の顔追跡技法に関する。
【０００２】
【従来の技術】
例えば、人間の顔や、その他の関心を引くような特定対象のごとくの画像中の重要な領域を検出する多数の技法が知られている。顔の検出は特に興味を引く領域であり、顔認識は画像処理だけでなく、同一人の識別と保安及び人と計算機のインタフェース等の目的のためにも重要である。人と計算機間のインタフェースにおいては、顔が表示されていれば、顔の場所を特定するだけでなく特定な顔を識別し、顔の表情とジェスチャーを理解することが出来る。
【０００３】
従来の顔部検出技法は、一定の目標パターンと複数の候補画像位置間の相似性を計算する相関テンプレートを含んでいる。相似性測定の任意部分がしきい値を越えていれば、顔が発見されたことを示す“一致”が宣言され、検出された顔の位置情報が供給される。複数の相関テンプレートは、目の形、鼻の形等の顔の主な特徴を検出するために使用される。関連技法は、原画像のベクトル空間のパラメタ化可能な小空間に基づき距離を規定する、視覚に基づく固有空間技術である。距離測定値が予め定められたしきい値より小さければ顔は検出されたと見なされる。
【０００４】
もう１つの顔検出技法は、顔画像に特有な不変画像のセットを集めた空間不変画像を用いる。入力画像は、全ての可能な位置におけるこれらの不変画像の積極的な出現に対して走査され、人物の顔が任意位置にあるかどうかが決定される。現行の顔追跡技法例としては、（１）隣接フレーム間の相関、（２）二次元／三次元の幾何学的顔モデル，（３）照度モデル，を用いる技法がある。現行の顔追跡アルゴリズムは下記の不利点のうちの１つ以上を含んでいる。即ち、（１）部分的な明暗と影に鋭敏に反応する、（２）顔の向き及び/又はスケールの変化に鋭敏に反応する、（３）照明条件の変化に鋭敏に反応する、（４）計算が集中的でリアルタイムの応用装置に適用するのが困難である、（５）顔の元の位置を必要とする、以上の点である。
【０００５】
顔追跡方法用の特別な技法が、Ｊ.YangとA.Waibelの論文“Tracking human faces in real-time（リアルタイムでの人間の顔のトラッキング）”（Proc.IEEE Workshop on Application of Computer Vision，１９９６年）に開示されている。この論文中で、赤−緑−青（ＲＧＢ）の画像を受取り、フィルタでその画像を処理して輝度又は明るさのない純粋色の色画像（赤と緑）を生成するシステムが記述されている。ＲＧＢからＲＧへの転換は三次元空間から二次元空間への変換である。有彩色空間内の顔の色分布は小領域に群集すると推定される。論文では、有彩色空間中の皮膚色が、皮膚色の個人差及び照明条件に拘りなく、ガウス分布に相似であると記述されている。二次元（２Ｄ）のガウスモデルは、顔の色を示すＲＧＢ画素マップを有彩色空間（ｒ，ｇ）に写像するために使用される。この２Ｄガウスモデルに基づき、ＲＧＢ画像内の各画素毎に、画像の顔領域を計算する。２Ｄガウスモデルは、しかしながら、計算量が莫大で、論文のタイトルに反し、リアルタイムシステムには高価過ぎる。さらに、この技法は非常に簡単なトラッキング装置を用いており、処理中に追跡顔画像の“揺れ”が生じる。
【０００６】
A.ElefheriadisとA.Jacquinの論文“Automatic face location detection and tracking for model-assisted coding of video teleconferencing sequences at low bit-rates（低ビットレートでのビデオ会議シーケンスのモデル援用符号化のための自動顔位置の検出及び追跡）”（Signal Processing Image Communication，Ｎｏ．７，１９９５年）には、ビデオ処理用に設計され、“話者頭部”、即ち頭と肩の画像の検出に適した顔検出追跡システムが記述されており、画像中の人物は楕円形の注目領域としてモデル化される。このシステムは、人間の頭部輪郭が通常楕円であり、フレーム間の時間的相関性は非常に高いものとして仮定する。システムは、連続するフレーム中の対象物の位置差を計算し、非ゼロ領域として表示する重要な動き領域の識別用しきい値を設定する。楕円形で且つ非ゼロ領域として表示される領域はその位置を確定し非ゼロ領域として識別する。
【０００７】
G.D.HagerとP.N.Belhumeuerは、論文“Real-time tracking of image regions with changes in geometry and illumination，（幾何学形状と照明が変化する画像領域のリアルタイムトラッキング）”（Proc.Computer Vision and Pattern Recognition，１９９６年）において、１つのウィンドウを定義し、同ウィンドウ内の画像の明るさ又は輝度を分析する顔追跡システムが記述されている。ウィンドウ内の明るさ又は輝度のパターンを、連続するフレーム間の顔のようなウィンドウ内対象物の追跡に用いる。このシステムは顔の向きに鋭敏に反応して変化し、画像パターンを暗くする部分的明暗と影を含んでいる。しかしながら、このシステムは画像中の顔の位置を最初に決定することはできない。
【０００８】
１９９７年６月２４日付けでPiggio他に対し付与された米国特許Ｎｏ．５，６４２，４３１の“Network-based system and method for detection of faces and the like（顔及び類似物を検出する方法とネットワークに基づくシステム）”は、画像を取得し、パターン・プロトタイプ・シンセサイザーにより生成されたパターンに従い取得画像を分類する画像システムを記述している。
【０００９】
１９９５年９月１２日付けでCaliaに対し付与された米国特許Ｎｏ．５，４５０，５０４の“Method for finding a most likely matching of a target facial image in a data base of facial images（顔画像データベース中に目標顔画像と最も一致しているものを検出する方法）”は、データベースに保管されている画像に対象画像を一致させるために使用される識別システムを記述している。
【００１０】
１９９５年７月４日付けでTomitakaに付与された米国特許Ｎｏ．５，４３０，８０９の“Human face tracking system（人間の顔追跡システム）”は、ビデオカメラで撮影された画像中の人の顔のような対象物を識別して追跡する技法を記述している。
【００１１】
１９９４年１月１８日付けでTrew他に付与された米国特許Ｎｏ．５，２８０，５３０の“Method and apparatus for tracking a moving object（運動対象物の追跡方法と装置）”は、顔部にマスクをかけテンプレートを形成し、さらに小テンプレートに分割するテレビ電話装置における顔追跡技法を記述している。ビデオの後続フレームを分析してテンプレートと小テンプレートの変位を検出する。変位値を用いてアフィン変換係数を計算し、最終的にテンプレートとマスクを更新する。
【００１２】
１９９３年２月１６日付けでKosemura他に付与された米国特許Ｎｏ．５，１８７，５７４の“Method for automatically adjusting field of view of the television monitor system and apparatus for carrying out the same（テレビジョンモニタシステムの視野を自動調節する方法と同方法を実施する装置）”は、対象物の頭部と肩の寸法をビデオモニタ上で比較的一定に維持するように操作する保安システムを記述している。
【００１３】
１９９２年１１月１７日付けでTurk他に付与された米国特許Ｎｏ．５，１６４，９９２の“Face recognition system（顔認識システム）”は、グループのメンバーをデータベースに保管された画像と比較することを記述している。
【００１４】
１９９２年４月７日付けでStafford他に付与された米国特許Ｎｏ．５，１０３，４８４の“Target aimpoint location（目標物の目標点位置）”は、識別のために構造線図で示すシステムを記述している。
【００１５】
１９９１年２月５日付けでBradley他に付与された米国特許Ｎｏ．４，９９１，２２３の“Apparatus and Method for Recognizing image features using color elements（色要素を用い画像の特徴を認識する装置と方法）”は、ビデオ画像を評価し、与えられた画素が多数の注目画像特徴の中の１つであるか否かを画素ごとに判定することを記述している。
【００１６】
１９９０年１２月４日付けでTalに付与された米国特許Ｎｏ．４，９７５，９６９の“Method and apparatus for uniquely identifying individuals by particular physical characterstics and security system utilizing the same（特定の物理的特性により個人を特定する方法と装置および同方法と装置を用いた保安システム）”は、対象物上の予め定められた顔の特徴間の距離を比較し、同データをデータベースに保管されているデータと比較するシステムを記述している。
【００１７】
１９９０年１２月４日付けでPetajanに付与された米国特許Ｎｏ．４，９７５，９６０の“Electronic facial tracking and detection system and method and apparatus for automated speech recognition（顔の追跡と検出のための電子システム並びに自動音声認識方法と装置）”は、顔の動きを分析することにより音声パターンを測定するシステムを記述している。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、効果的に演算が出来てリアルタイムで実行出来る顔追跡システムを提供することである。
本発明の他の目的は、部分的明暗と影に対しロバストである顔追跡システムを提供することである。
本発明の更に他の目的は、顔の向きと尺度の変化に対し不変である顔追跡システムを提供することである。
本発明の更に他の目的は、照明条件の変化に鋭敏でない顔追跡システムを提供することである。
【００１９】
本発明の更に他の目的は、追跡顔の当初位置の算定を必要としない顔追跡システムを提供することである。
本発明の更に他の目的は、複数の顔又は複数の他の皮膚類似色の対象物が画像中に存在する場合に顔を追跡できる有力な顔追跡システムを提供することである。
本発明の上記及び他の目的と利点は、図面を参照して以下の説明を読めばより明らかとなろう。
【００２０】
【課題を解決するための手段】
請求項１の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μ t （０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μ t （ｋ＋１）を計算し前記トリミングした間隔［μ t （ｋ）−δ，μ t （ｋ）＋δ］を規定することと、｜μ t （ｋ＋１）−μ t （ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σ t を計算し、寸法＝ｃ*σ t （但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸にそれぞれ投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴としたものである。
【００２１】
請求項２の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σ t を計算し、h（μ*＋ｄ*σ t ）≧ｇ*ｈ（μ*）またはｈ（μ*−ｄ*σ t ）≧ｇ*ｈ（μ*）であれば、条件がもはや真でなくなるまでσ t を増大し、寸法＝ｃ*σ t （但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴としたものである。
【００２２】
請求項３の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μ t （０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μ t （ｋ＋１）を計算し前記トリミングした間隔［μ t （ｋ）−δ，μ t （ｋ）＋δ］を規定することと、｜μ t （ｋ＋１）−μ t （ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、Ｎを顔画像の寸法計算に使用するサンプル数とし、
【００２３】
【数１】
【００２４】
に設定して、顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。
【００２５】
請求項４の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μ t （０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μ t （ｋ＋１）を計算し前記トリミングした間隔［μ t （ｋ）−δ，μ t （ｋ）＋δ］を規定することと、｜μ t （ｋ＋１）−μ t （ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、［μ x *−Δ，μ x *＋Δ］（Δは計算に使用したサンプル数）の範囲内の色フィルタ処理画像中の列を射影してクリップした射影ヒストグラムｈ c y を形成し、前記射影ヒストグラムｈ c y に基づきｙ方向の寸法を計算し、顔の動きを追跡するために顔位置を推定することにより色フィルタ処理画像のクリップした領域の射影ヒストグラムから顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴としたものである。
【００２９】
請求項５の発明は、請求項１〜４のいずれか１の発明において、線形カルマンフィルタを介し顔の動きを推定することを特徴としたものである。
【００３０】
請求項６の発明は、請求項５の発明において、後処理の期間に顔の動きを平滑化することを特徴としたものである。
【００５０】
【発明の実施の形態】
複数の顔画像が存在する場合の人の顔のロバスト追跡方法は、カラービデオ画列から１枚のフレームを現入力画像として取得し、現入力画像をフィルタで処理してフィルタ処理画像を形成し、フィルタ処理画像の投影ヒストグラムに基づきフィルタ処理画像中の顔位置と寸法を推定し、フィルタ処理画像中の顔の動きを推定し、フィルタ処理画像中の追跡顔部の位置と寸法を出力するステップを含むものである。
【００５１】
本発明は、上述した先行技術の問題を克服するために、動き推定技法と組み合わせた線形カルマンフィルタによる色に基づくフィルタ処理システムを提供する。本発明はさらに、画面中に複数の顔又は複数の他の皮膚類似色の対象物が画像中に存在する場合に優勢な顔を追跡できる顔追跡システムを提供する。
【００５２】
本発明の顔追跡方法は、部分的明暗と影に対し反応せず、顔の向きと尺度の変化に対し反応せず、照明条件の変化に感応せず、容易に調整出来、顔の当初位置を算定できる。
【００５３】
図１は本発明によるリアルタイムの顔追跡システムの処理の一例を説明するためのブロック図である。本発明に関る方法１０において、静止画像又はビデオ画像カメラのようなビデオ撮影装置１２で、カラー動画像列から１枚のフレームを取り出し、例えば、赤−緑−青（ＲＧＢ）の色空間中の現入力画像１４とする。この画像に対し赤−緑の有彩色空間中におけるフィルタ処理１６を実行する。次いで、フィルタ処理の結果に基づく画像中の顔位置の推定１８を行う。好ましい実施例においては、次に線形カルマンフィルタを用いた顔の動きの推定２０を行う。そして抽出した追跡した顔の出力２２を行う。
【００５４】
入力画像１４は、シアン、マゼンタ及び黄色（ＣＭＹ）；明るさ、輝度及び色度（ＹＩＱ）；色相、飽和度及び輝度；色相、明るさ及び飽和度；色相、値及びクロマのような他の色フォーマットで表現することが出来る。ＲＧＢ系は皮膚色を表現する最良の表色系ではないが、人間の視覚システムは、異なる強度又は明るさ、レベル及び種々の照明源に適応出来、広い範囲の周囲照明条件において色が不変であることを知覚しこれを維持することが出来る。ＲＧＢ色空間において、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）は色を表示するだけでなく輝度成分を含んでいるので、ＲＧＢ色空間は人間の視覚システムにより知覚され得る。例えば、Ｒ１，Ｇ１，Ｂ１とＲ２，Ｇ２，Ｂ２の２つの画素が比例していれば、即ち、次式で表現されれば、この２つの画素は同一色を異なる輝度で特徴づけたものである。
【００５５】
【数７】
【００５６】
故に、正確な低次元の色情報を保存しながら表示色から輝度情報を減少させることが望ましい。通常の照明条件における皮膚色を特徴づけるのに輝度は重要ではないので、入力画像１４をフィルタで有彩色空間画像に変換する（フィルタ処理１６）。変換結果が、輝度への依存度が減少する色空間（特にＲＧＢ色空間）における表示色である限り任意の好適な変換を用いることができる。有彩色（ｒ，ｇ）は輝度が無い純粋色として知られている。有彩色（ｒ，ｇ）空間は下式で定義される。
【００５７】
【数８】
【００５８】
皮膚色は、有彩色空間における二次元の等方性クラスタC（ｒc，ｇc，ｄ）としてモデル化できる。尚、上記の（ｒc，ｇc）はクラスタの中心を規定し、（ｄ）はクラスタの半径を規定する。この色フィルタ処理プロセスでは、入力画像（I）１４中の１画素（Ｒ，Ｇ，Ｂ）を、その画素が有彩色空間の規定皮膚色クラスタ内であれば“１”と写像し、クラスタ外であれば“０”と写像する。これにより、殆どの顔画素を１とし、殆どの背景画素を０として記録した２値画像Ｂ（Ｉ）が得られる。図２は、本発明における投影ヒストグラムに基づき顔の位置を推定する技法を説明するための図である。２値画像３０において、暗い領域３２は背景中の“０”画素を表し、明るい領域３４は顔領域中の“１”画素を表している。
【００５９】
図２に示すように、この方法は、Ｘ及びＹ方向に各々射影して得た２つの一次元ヒストグラム３６，３８から色フィルタ処理結果Ｂ（Ｉ）に基づき、顔位置を推定する。関連応用装置において、上述のように特定された追跡顔部の中心位置と寸法は、これらのヒストグラムの平均値と標準偏差に基づき推定される。人物の皮膚色の分布は有彩色空間中に群集する。人物の皮膚色は人それぞれに広い範囲で変化するように見えるが、実際には純粋色における差ではなく輝度における差である。異なる人々の皮膚色は、実際にはよく類似しており、我々が異なる色であると知覚するのは輝度である。フィルタ処理１６のステップは、（１）フレーム内の皮膚の色調と他の対象物の判別を助け、（２）人物の皮膚の知覚色に関係なく皮膚の色調を検出する。
【００６０】
この皮膚の色調は各人それぞれに異なり、又、同一人物でも照明条件によって異なる。適当なフィルタを用いれば、照明条件に係わり無く、人間の視覚系により知覚される皮膚の色調にも係わり無く、画像中の顔（又は複数の顔）を追跡するシステムの能力を高めることが出来る。
【００６１】
しかしながら、サンプル平均と標準偏差により推定した顔部の中心位置と寸法は、複数の顔又は他の対象物が画像中に存在する場合に偏向が生じ得る。従って、本発明は、上記の問題を解決する方法を提供することを目的とするものである。本発明は、画像が複数の顔を含んでいる場合に顔の中心位置と寸法のロバスト測定を達成するためのロバストルーチンを記述する。
【００６２】
図３ないし図５は、一次元ヒストグラムのロバスト平均に基づく顔中心位置を推定する本発明のステップを説明するための図である。２値画像４０は、主たる（最大の）顔領域４２と従の（小さい）顔領域４４を含んでいる。各顔領域４２，４４は１つの背景４６上に配置されている。入力画像中の主たる顔の中心位置を、ロバスト又はトリミングしたＸ方向とＹ方向の２つの一次元投影ヒストグラム３６，３８に基づき各々推定する。一次元分布のロバスト平均を得るこのルーチンは下記の通り記述される。
【００６３】
ステップ１；分布５０中の全サンプルを使用してサンプル平均値μ４８と標準偏差値σを計算する。
ステップ２；μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅）に設定する（図４参照）。但し、ａとｂはスケールファクタで例えばａ＝１及びｂ＝０.２とし、当初のトリミングした平均値μ５２を得て当初のトリミング間隔（ｋ）５４の定義に用いる。
【００６４】
ステップ３；間隔［μt（ｋ）−δ，μt（ｋ）＋δ］内のサンプルに基づきトリミングした平均値μt（ｋ＋１）５６を計算する。
ステップ４；上記ステップ３を｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差で、例えばε＝１.０）になるまで反復する。
ステップ５；得られたロバスト平均値μ*６０は、最終トリミング間隔６２内の最終的に収束したトリミング平均値である。
【００６５】
顔中心のロバスト測定に加え、ロバスト寸法測定値のアドレスを指定する。先述のサンプルの標準偏差と比較されるロバスト寸法測定値を生成する４つの方法について説明する。トリミング標準偏差値の計算は最初の２つの方法に基づく。第３の方法は、直交射影と共に中心情報を使用して寸法を計算する。第４の方法は位置の定まった中心付近での再射影を含む。４つの方法について以下に記述する。中心位置ルーチンからロバスト平均μ*とδが与えられると、X又はYの何れかの方向の寸法を求めるために第１の方法は、次のステップを実行する。
【００６６】
ステップ１；間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算する。
ステップ２；スケールファクタを例えばｃ＝２.０にとり、寸法＝ｃ*σtとする。
【００６７】
上記の方法では、当初のδが小さ過ぎる場合は寸法を過小評価する。これを修正するために、次の第２の方法もトリミング標準偏差に基づく。中心位置ルーチンと射影ヒストグラムｈからロバスト平均μ*とδが与えられる。
ステップ１；間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算する。
ステップ２；例えばｄ＝１.０，ｇ＝０.４の場合、ｈ（μ*＋ｄ*σt）≧ｇ*ｈ（μ*）またはｈ（μ*−ｄ*σt）≧ｇ*ｈ（μ*）であれば、条件がもはや真でなくなるまでσtを増大する。
ステップ３；スケールファクタを例えばｃ＝２.０にとり、寸法＝ｃ*σとする。
【００６８】
第３の方法は、ｘ又はｙ方向の中心位置における射影ヒストグラムの値が、完全な色フィルタの場合、各々ｙ方向の顔の高さ及びｘ方向の顔の幅であると云う観測事実に基づいている。中心位置ルーチンと射影ヒストグラムｈx及びｈyからロバスト平均値μx*，μy*及びδが与えられる。
【００６９】
【数９】
【００７０】
式中、Ｎは計算に使用されたサンプル数である。
第４の方法において、色フィルタ処理画像のクリップされた領域の射影ヒストグラムから寸法を計算する。例えばｘ方向のロバスト平均μx*が与えられる。
ステップ１；［μx*−Δ，μx*＋Δ］（Δは計算に使用したサンプル数）の範囲内の色フィルタ処理画像中の列を射影してクリップされた射影ヒストグラムｈc yを形成する。
ステップ２；前記１又は２の方法を用い又は先述のサンプル標準偏差により、射影ヒストグラムｈc yに基づきｙ方向の寸法を計算する。
【００７１】
推定した顔位置を用い追跡する。この方法の場合、追跡される顔の動きは画像平面内の区分的な一定の二次元移動としてモデル化出来る。線形カルマンフィルタを用い追跡顔部の二次元移動速度ベクトル（Ｖx，Ｖy）を平滑化して予測する。平滑化速度を最終的に用いて顔の追跡位置を計算する。この動き追跡システムモデルは、次のように表現される。
ｘ（ｋ＋１）＝Ｆ（ｋ）ｘ（ｋ）＋ｗ（ｋ）
ｚ（ｋ＋１）＝Ｈ（ｋ＋１）ｘ（ｋ＋１）＋ｖ（ｋ＋１）
式中、ｘ（ｋ）は推定される真の速度ベクトル、ｚ（ｋ）は瞬間速度ベクトル、ｗ（ｋ），ｖ（ｋ）は白色雑音であり、区分的な一定の動きの場合Ｆ（ｋ）ｈ≡Ｉ，Ｈ（ｋ）≡Ｉである。
【００７２】
カルマンの予測子は、
【００７３】
【式１】
【００７４】
カルマンの結合子は、
【００７５】
【式２】
【００７６】
式中、Ｋ（ｋ＋１）はカルマンの利得である。このカルマンの利得は次式で計算される。
Ｋ（ｋ＋１）＝Ｐ（ｋ＋１｜ｋ）ＨT（ｋ＋１）［Ｈ（ｋ＋１）Ｐ（ｋ＋１｜ｋ）ＨT（ｋ＋１）＋Ｒ（ｋ＋１）］-1
共変量は次式で計算される。
Ｐ（ｋ＋１｜ｋ）＝Ｆ（ｋ）Ｐ（ｋ｜ｋ）ＦT（ｋ）＋Ｑ（ｋ），Ｐ（０｜０）＝Ｐ0
Ｐ（ｋ＋１｜ｋ＋１）＝［Ｉ−Ｋ（ｋ＋１）Ｈ（ｋ＋１）］Ｐ（ｋ＋１｜ｋ）式中、Ｐ（ｋ）＝Ｅ［ｗ（ｋ）ｗT（ｋ）］，Ｒ（ｋ）＝Ｅ［ｖ（ｋ）ｖT（ｋ）］，Ｐ0＝Ｅ［ｘ（０）ｘT（０）］である。
【００７７】
複数の顔の検出と追跡は本発明が提案する技法を用いて容易に達成することが出来る。顔を検出した後で、射影ヒストグラム中で顔が占有する領域をマスクし、位置及び寸法を算定するための選択プロセスを後続の顔部に対して繰り返す。
【００７８】
本発明に関る方法を、Ｃ＋＋に実装しＳｕｎ（登録商標）ワークステーションで実行する。本方法による３２０×２４０のビデオ分解能と毎秒１５フレームの速度での完全自動運転が実験結果として実証された。この方法は、（１）複数の顔及び他の皮膚色対象物が存在しており、（２）部分的明暗及び影があり、（３）顔の向きと尺度が変化し、（４）照明条件が変化する場合でも異なる人物の顔をよく追跡出来る。
【００７９】
図６に本発明が適用されるシステム７０を図示する。このシステム７０は、リアルタイムのビデオ通信装置に適用運転でき、ビデオカメラ７２，ビデオフレームグラバー７４，及びと計算装置７６より成り、方法を実施するのに必要なプロセッサ７８とコンピュータソフトウェアとハードウェアを含み、さらに通信ソフトウェアと通信モジュール８０を含んでいる。
【００８０】
本発明に関る方法によれば、ユーザは入力ビデオシーケンス中の背景を除去又は取り替えることが出来る。従って、このシステムは通信周波数帯域をすべて顔部に割り当てることが出来る。以上本発明の好ましい実施態様につき記述してきたが、特許請求の範囲に規定されている本発明の範囲から逸脱することなくさらなる変更及び修正を加えることが出来ることは明らかであろう。
【図面の簡単な説明】
【図１】本発明によるリアルタイムの顔追跡方法の一例を説明するためのブロック図である。
【図２】投影ヒストグラムに基づく顔の位置を推定する技法を説明するための図である。
【図３】一次元ヒストグラムのロバスト平均に基づく顔中心位置を推定する本発明技法のステップを説明するための図である。
【図４】図３に続く本発明の技法の後半ステップを説明するための図である。
【図５】図４に続く本発明の技法の最終ステップを説明するための図である。
【図６】本発明による方法を組み込んだシステムの一例を示す図である。
【符号の説明】
１０…本発明の人間の顔のロバスト追跡方法、１２…ビデオ撮影装置、１４…入力画像、１６…フィルタ処理、１８…顔位置の推定、２０…カルマンフィルタを用いた動き推定、２２…追跡した顔の出力、３０…２値画像、３２…暗い領域、３４…明るい領域、３６，３８…ヒストグラム、４０…２値画像、４２…主たる顔領域、４４…従の顔領域、４６…背景、４８…サンプル平均値μ、５０…分布、５２…当初のトリミングした平均値μ（ｋ）、５４…当初のトリミング間隔ｋ、５６…トリミングした平均値μｔ（ｋ＋１）、６０…ロバスト平均値、７０…本発明が適用されるシステム、７２…ビデオカメラ、７４…フレームグラバー、７６…計算装置、７８…プロセッサ、８０…通信モジュール。
【発明の属する技術分野】
本発明は、複数人物が存在する場合の人間の顔のロバスト追跡方法、より具体的には、ビデオ通信、高度の人と計算機間のインタフェース、ディジタルライブラリ及びオブジェクトベースのビデオ符号化のような種々の用途に用いることが出来る人間の顔追跡技法に関する。
【０００２】
【従来の技術】
例えば、人間の顔や、その他の関心を引くような特定対象のごとくの画像中の重要な領域を検出する多数の技法が知られている。顔の検出は特に興味を引く領域であり、顔認識は画像処理だけでなく、同一人の識別と保安及び人と計算機のインタフェース等の目的のためにも重要である。人と計算機間のインタフェースにおいては、顔が表示されていれば、顔の場所を特定するだけでなく特定な顔を識別し、顔の表情とジェスチャーを理解することが出来る。
【０００３】
従来の顔部検出技法は、一定の目標パターンと複数の候補画像位置間の相似性を計算する相関テンプレートを含んでいる。相似性測定の任意部分がしきい値を越えていれば、顔が発見されたことを示す“一致”が宣言され、検出された顔の位置情報が供給される。複数の相関テンプレートは、目の形、鼻の形等の顔の主な特徴を検出するために使用される。関連技法は、原画像のベクトル空間のパラメタ化可能な小空間に基づき距離を規定する、視覚に基づく固有空間技術である。距離測定値が予め定められたしきい値より小さければ顔は検出されたと見なされる。
【０００４】
もう１つの顔検出技法は、顔画像に特有な不変画像のセットを集めた空間不変画像を用いる。入力画像は、全ての可能な位置におけるこれらの不変画像の積極的な出現に対して走査され、人物の顔が任意位置にあるかどうかが決定される。現行の顔追跡技法例としては、（１）隣接フレーム間の相関、（２）二次元／三次元の幾何学的顔モデル，（３）照度モデル，を用いる技法がある。現行の顔追跡アルゴリズムは下記の不利点のうちの１つ以上を含んでいる。即ち、（１）部分的な明暗と影に鋭敏に反応する、（２）顔の向き及び/又はスケールの変化に鋭敏に反応する、（３）照明条件の変化に鋭敏に反応する、（４）計算が集中的でリアルタイムの応用装置に適用するのが困難である、（５）顔の元の位置を必要とする、以上の点である。
【０００５】
顔追跡方法用の特別な技法が、Ｊ.YangとA.Waibelの論文“Tracking human faces in real-time（リアルタイムでの人間の顔のトラッキング）”（Proc.IEEE Workshop on Application of Computer Vision，１９９６年）に開示されている。この論文中で、赤−緑−青（ＲＧＢ）の画像を受取り、フィルタでその画像を処理して輝度又は明るさのない純粋色の色画像（赤と緑）を生成するシステムが記述されている。ＲＧＢからＲＧへの転換は三次元空間から二次元空間への変換である。有彩色空間内の顔の色分布は小領域に群集すると推定される。論文では、有彩色空間中の皮膚色が、皮膚色の個人差及び照明条件に拘りなく、ガウス分布に相似であると記述されている。二次元（２Ｄ）のガウスモデルは、顔の色を示すＲＧＢ画素マップを有彩色空間（ｒ，ｇ）に写像するために使用される。この２Ｄガウスモデルに基づき、ＲＧＢ画像内の各画素毎に、画像の顔領域を計算する。２Ｄガウスモデルは、しかしながら、計算量が莫大で、論文のタイトルに反し、リアルタイムシステムには高価過ぎる。さらに、この技法は非常に簡単なトラッキング装置を用いており、処理中に追跡顔画像の“揺れ”が生じる。
【０００６】
A.ElefheriadisとA.Jacquinの論文“Automatic face location detection and tracking for model-assisted coding of video teleconferencing sequences at low bit-rates（低ビットレートでのビデオ会議シーケンスのモデル援用符号化のための自動顔位置の検出及び追跡）”（Signal Processing Image Communication，Ｎｏ．７，１９９５年）には、ビデオ処理用に設計され、“話者頭部”、即ち頭と肩の画像の検出に適した顔検出追跡システムが記述されており、画像中の人物は楕円形の注目領域としてモデル化される。このシステムは、人間の頭部輪郭が通常楕円であり、フレーム間の時間的相関性は非常に高いものとして仮定する。システムは、連続するフレーム中の対象物の位置差を計算し、非ゼロ領域として表示する重要な動き領域の識別用しきい値を設定する。楕円形で且つ非ゼロ領域として表示される領域はその位置を確定し非ゼロ領域として識別する。
【０００７】
G.D.HagerとP.N.Belhumeuerは、論文“Real-time tracking of image regions with changes in geometry and illumination，（幾何学形状と照明が変化する画像領域のリアルタイムトラッキング）”（Proc.Computer Vision and Pattern Recognition，１９９６年）において、１つのウィンドウを定義し、同ウィンドウ内の画像の明るさ又は輝度を分析する顔追跡システムが記述されている。ウィンドウ内の明るさ又は輝度のパターンを、連続するフレーム間の顔のようなウィンドウ内対象物の追跡に用いる。このシステムは顔の向きに鋭敏に反応して変化し、画像パターンを暗くする部分的明暗と影を含んでいる。しかしながら、このシステムは画像中の顔の位置を最初に決定することはできない。
【０００８】
１９９７年６月２４日付けでPiggio他に対し付与された米国特許Ｎｏ．５，６４２，４３１の“Network-based system and method for detection of faces and the like（顔及び類似物を検出する方法とネットワークに基づくシステム）”は、画像を取得し、パターン・プロトタイプ・シンセサイザーにより生成されたパターンに従い取得画像を分類する画像システムを記述している。
【０００９】
１９９５年９月１２日付けでCaliaに対し付与された米国特許Ｎｏ．５，４５０，５０４の“Method for finding a most likely matching of a target facial image in a data base of facial images（顔画像データベース中に目標顔画像と最も一致しているものを検出する方法）”は、データベースに保管されている画像に対象画像を一致させるために使用される識別システムを記述している。
【００１０】
１９９５年７月４日付けでTomitakaに付与された米国特許Ｎｏ．５，４３０，８０９の“Human face tracking system（人間の顔追跡システム）”は、ビデオカメラで撮影された画像中の人の顔のような対象物を識別して追跡する技法を記述している。
【００１１】
１９９４年１月１８日付けでTrew他に付与された米国特許Ｎｏ．５，２８０，５３０の“Method and apparatus for tracking a moving object（運動対象物の追跡方法と装置）”は、顔部にマスクをかけテンプレートを形成し、さらに小テンプレートに分割するテレビ電話装置における顔追跡技法を記述している。ビデオの後続フレームを分析してテンプレートと小テンプレートの変位を検出する。変位値を用いてアフィン変換係数を計算し、最終的にテンプレートとマスクを更新する。
【００１２】
１９９３年２月１６日付けでKosemura他に付与された米国特許Ｎｏ．５，１８７，５７４の“Method for automatically adjusting field of view of the television monitor system and apparatus for carrying out the same（テレビジョンモニタシステムの視野を自動調節する方法と同方法を実施する装置）”は、対象物の頭部と肩の寸法をビデオモニタ上で比較的一定に維持するように操作する保安システムを記述している。
【００１３】
１９９２年１１月１７日付けでTurk他に付与された米国特許Ｎｏ．５，１６４，９９２の“Face recognition system（顔認識システム）”は、グループのメンバーをデータベースに保管された画像と比較することを記述している。
【００１４】
１９９２年４月７日付けでStafford他に付与された米国特許Ｎｏ．５，１０３，４８４の“Target aimpoint location（目標物の目標点位置）”は、識別のために構造線図で示すシステムを記述している。
【００１５】
１９９１年２月５日付けでBradley他に付与された米国特許Ｎｏ．４，９９１，２２３の“Apparatus and Method for Recognizing image features using color elements（色要素を用い画像の特徴を認識する装置と方法）”は、ビデオ画像を評価し、与えられた画素が多数の注目画像特徴の中の１つであるか否かを画素ごとに判定することを記述している。
【００１６】
１９９０年１２月４日付けでTalに付与された米国特許Ｎｏ．４，９７５，９６９の“Method and apparatus for uniquely identifying individuals by particular physical characterstics and security system utilizing the same（特定の物理的特性により個人を特定する方法と装置および同方法と装置を用いた保安システム）”は、対象物上の予め定められた顔の特徴間の距離を比較し、同データをデータベースに保管されているデータと比較するシステムを記述している。
【００１７】
１９９０年１２月４日付けでPetajanに付与された米国特許Ｎｏ．４，９７５，９６０の“Electronic facial tracking and detection system and method and apparatus for automated speech recognition（顔の追跡と検出のための電子システム並びに自動音声認識方法と装置）”は、顔の動きを分析することにより音声パターンを測定するシステムを記述している。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、効果的に演算が出来てリアルタイムで実行出来る顔追跡システムを提供することである。
本発明の他の目的は、部分的明暗と影に対しロバストである顔追跡システムを提供することである。
本発明の更に他の目的は、顔の向きと尺度の変化に対し不変である顔追跡システムを提供することである。
本発明の更に他の目的は、照明条件の変化に鋭敏でない顔追跡システムを提供することである。
【００１９】
本発明の更に他の目的は、追跡顔の当初位置の算定を必要としない顔追跡システムを提供することである。
本発明の更に他の目的は、複数の顔又は複数の他の皮膚類似色の対象物が画像中に存在する場合に顔を追跡できる有力な顔追跡システムを提供することである。
本発明の上記及び他の目的と利点は、図面を参照して以下の説明を読めばより明らかとなろう。
【００２０】
【課題を解決するための手段】
請求項１の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μ t （０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μ t （ｋ＋１）を計算し前記トリミングした間隔［μ t （ｋ）−δ，μ t （ｋ）＋δ］を規定することと、｜μ t （ｋ＋１）−μ t （ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σ t を計算し、寸法＝ｃ*σ t （但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸にそれぞれ投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴としたものである。
【００２１】
請求項２の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σ t を計算し、h（μ*＋ｄ*σ t ）≧ｇ*ｈ（μ*）またはｈ（μ*−ｄ*σ t ）≧ｇ*ｈ（μ*）であれば、条件がもはや真でなくなるまでσ t を増大し、寸法＝ｃ*σ t （但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴としたものである。
【００２２】
請求項３の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μ t （０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μ t （ｋ＋１）を計算し前記トリミングした間隔［μ t （ｋ）−δ，μ t （ｋ）＋δ］を規定することと、｜μ t （ｋ＋１）−μ t （ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、Ｎを顔画像の寸法計算に使用するサンプル数とし、
【００２３】
【数１】
に設定して、顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。
【００２５】
請求項４の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μ t （０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μ t （ｋ＋１）を計算し前記トリミングした間隔［μ t （ｋ）−δ，μ t （ｋ）＋δ］を規定することと、｜μ t （ｋ＋１）−μ t （ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、［μ x *−Δ，μ x *＋Δ］（Δは計算に使用したサンプル数）の範囲内の色フィルタ処理画像中の列を射影してクリップした射影ヒストグラムｈ c y を形成し、前記射影ヒストグラムｈ c y に基づきｙ方向の寸法を計算し、顔の動きを追跡するために顔位置を推定することにより色フィルタ処理画像のクリップした領域の射影ヒストグラムから顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴としたものである。
【００２９】
請求項５の発明は、請求項１〜４のいずれか１の発明において、線形カルマンフィルタを介し顔の動きを推定することを特徴としたものである。
【００３０】
請求項６の発明は、請求項５の発明において、後処理の期間に顔の動きを平滑化することを特徴としたものである。
【００５０】
【発明の実施の形態】
複数の顔画像が存在する場合の人の顔のロバスト追跡方法は、カラービデオ画列から１枚のフレームを現入力画像として取得し、現入力画像をフィルタで処理してフィルタ処理画像を形成し、フィルタ処理画像の投影ヒストグラムに基づきフィルタ処理画像中の顔位置と寸法を推定し、フィルタ処理画像中の顔の動きを推定し、フィルタ処理画像中の追跡顔部の位置と寸法を出力するステップを含むものである。
【００５１】
本発明は、上述した先行技術の問題を克服するために、動き推定技法と組み合わせた線形カルマンフィルタによる色に基づくフィルタ処理システムを提供する。本発明はさらに、画面中に複数の顔又は複数の他の皮膚類似色の対象物が画像中に存在する場合に優勢な顔を追跡できる顔追跡システムを提供する。
【００５２】
本発明の顔追跡方法は、部分的明暗と影に対し反応せず、顔の向きと尺度の変化に対し反応せず、照明条件の変化に感応せず、容易に調整出来、顔の当初位置を算定できる。
【００５３】
図１は本発明によるリアルタイムの顔追跡システムの処理の一例を説明するためのブロック図である。本発明に関る方法１０において、静止画像又はビデオ画像カメラのようなビデオ撮影装置１２で、カラー動画像列から１枚のフレームを取り出し、例えば、赤−緑−青（ＲＧＢ）の色空間中の現入力画像１４とする。この画像に対し赤−緑の有彩色空間中におけるフィルタ処理１６を実行する。次いで、フィルタ処理の結果に基づく画像中の顔位置の推定１８を行う。好ましい実施例においては、次に線形カルマンフィルタを用いた顔の動きの推定２０を行う。そして抽出した追跡した顔の出力２２を行う。
【００５４】
入力画像１４は、シアン、マゼンタ及び黄色（ＣＭＹ）；明るさ、輝度及び色度（ＹＩＱ）；色相、飽和度及び輝度；色相、明るさ及び飽和度；色相、値及びクロマのような他の色フォーマットで表現することが出来る。ＲＧＢ系は皮膚色を表現する最良の表色系ではないが、人間の視覚システムは、異なる強度又は明るさ、レベル及び種々の照明源に適応出来、広い範囲の周囲照明条件において色が不変であることを知覚しこれを維持することが出来る。ＲＧＢ色空間において、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）は色を表示するだけでなく輝度成分を含んでいるので、ＲＧＢ色空間は人間の視覚システムにより知覚され得る。例えば、Ｒ１，Ｇ１，Ｂ１とＲ２，Ｇ２，Ｂ２の２つの画素が比例していれば、即ち、次式で表現されれば、この２つの画素は同一色を異なる輝度で特徴づけたものである。
【００５５】
【数７】
故に、正確な低次元の色情報を保存しながら表示色から輝度情報を減少させることが望ましい。通常の照明条件における皮膚色を特徴づけるのに輝度は重要ではないので、入力画像１４をフィルタで有彩色空間画像に変換する（フィルタ処理１６）。変換結果が、輝度への依存度が減少する色空間（特にＲＧＢ色空間）における表示色である限り任意の好適な変換を用いることができる。有彩色（ｒ，ｇ）は輝度が無い純粋色として知られている。有彩色（ｒ，ｇ）空間は下式で定義される。
【００５７】
【数８】
皮膚色は、有彩色空間における二次元の等方性クラスタC（ｒc，ｇc，ｄ）としてモデル化できる。尚、上記の（ｒc，ｇc）はクラスタの中心を規定し、（ｄ）はクラスタの半径を規定する。この色フィルタ処理プロセスでは、入力画像（I）１４中の１画素（Ｒ，Ｇ，Ｂ）を、その画素が有彩色空間の規定皮膚色クラスタ内であれば“１”と写像し、クラスタ外であれば“０”と写像する。これにより、殆どの顔画素を１とし、殆どの背景画素を０として記録した２値画像Ｂ（Ｉ）が得られる。図２は、本発明における投影ヒストグラムに基づき顔の位置を推定する技法を説明するための図である。２値画像３０において、暗い領域３２は背景中の“０”画素を表し、明るい領域３４は顔領域中の“１”画素を表している。
【００５９】
図２に示すように、この方法は、Ｘ及びＹ方向に各々射影して得た２つの一次元ヒストグラム３６，３８から色フィルタ処理結果Ｂ（Ｉ）に基づき、顔位置を推定する。関連応用装置において、上述のように特定された追跡顔部の中心位置と寸法は、これらのヒストグラムの平均値と標準偏差に基づき推定される。人物の皮膚色の分布は有彩色空間中に群集する。人物の皮膚色は人それぞれに広い範囲で変化するように見えるが、実際には純粋色における差ではなく輝度における差である。異なる人々の皮膚色は、実際にはよく類似しており、我々が異なる色であると知覚するのは輝度である。フィルタ処理１６のステップは、（１）フレーム内の皮膚の色調と他の対象物の判別を助け、（２）人物の皮膚の知覚色に関係なく皮膚の色調を検出する。
【００６０】
この皮膚の色調は各人それぞれに異なり、又、同一人物でも照明条件によって異なる。適当なフィルタを用いれば、照明条件に係わり無く、人間の視覚系により知覚される皮膚の色調にも係わり無く、画像中の顔（又は複数の顔）を追跡するシステムの能力を高めることが出来る。
【００６１】
しかしながら、サンプル平均と標準偏差により推定した顔部の中心位置と寸法は、複数の顔又は他の対象物が画像中に存在する場合に偏向が生じ得る。従って、本発明は、上記の問題を解決する方法を提供することを目的とするものである。本発明は、画像が複数の顔を含んでいる場合に顔の中心位置と寸法のロバスト測定を達成するためのロバストルーチンを記述する。
【００６２】
図３ないし図５は、一次元ヒストグラムのロバスト平均に基づく顔中心位置を推定する本発明のステップを説明するための図である。２値画像４０は、主たる（最大の）顔領域４２と従の（小さい）顔領域４４を含んでいる。各顔領域４２，４４は１つの背景４６上に配置されている。入力画像中の主たる顔の中心位置を、ロバスト又はトリミングしたＸ方向とＹ方向の２つの一次元投影ヒストグラム３６，３８に基づき各々推定する。一次元分布のロバスト平均を得るこのルーチンは下記の通り記述される。
【００６３】
ステップ１；分布５０中の全サンプルを使用してサンプル平均値μ４８と標準偏差値σを計算する。
ステップ２；μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅）に設定する（図４参照）。但し、ａとｂはスケールファクタで例えばａ＝１及びｂ＝０.２とし、当初のトリミングした平均値μ５２を得て当初のトリミング間隔（ｋ）５４の定義に用いる。
【００６４】
ステップ３；間隔［μt（ｋ）−δ，μt（ｋ）＋δ］内のサンプルに基づきトリミングした平均値μt（ｋ＋１）５６を計算する。
ステップ４；上記ステップ３を｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差で、例えばε＝１.０）になるまで反復する。
ステップ５；得られたロバスト平均値μ*６０は、最終トリミング間隔６２内の最終的に収束したトリミング平均値である。
【００６５】
顔中心のロバスト測定に加え、ロバスト寸法測定値のアドレスを指定する。先述のサンプルの標準偏差と比較されるロバスト寸法測定値を生成する４つの方法について説明する。トリミング標準偏差値の計算は最初の２つの方法に基づく。第３の方法は、直交射影と共に中心情報を使用して寸法を計算する。第４の方法は位置の定まった中心付近での再射影を含む。４つの方法について以下に記述する。中心位置ルーチンからロバスト平均μ*とδが与えられると、X又はYの何れかの方向の寸法を求めるために第１の方法は、次のステップを実行する。
【００６６】
ステップ１；間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算する。
ステップ２；スケールファクタを例えばｃ＝２.０にとり、寸法＝ｃ*σtとする。
【００６７】
上記の方法では、当初のδが小さ過ぎる場合は寸法を過小評価する。これを修正するために、次の第２の方法もトリミング標準偏差に基づく。中心位置ルーチンと射影ヒストグラムｈからロバスト平均μ*とδが与えられる。
ステップ１；間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算する。
ステップ２；例えばｄ＝１.０，ｇ＝０.４の場合、ｈ（μ*＋ｄ*σt）≧ｇ*ｈ（μ*）またはｈ（μ*−ｄ*σt）≧ｇ*ｈ（μ*）であれば、条件がもはや真でなくなるまでσtを増大する。
ステップ３；スケールファクタを例えばｃ＝２.０にとり、寸法＝ｃ*σとする。
【００６８】
第３の方法は、ｘ又はｙ方向の中心位置における射影ヒストグラムの値が、完全な色フィルタの場合、各々ｙ方向の顔の高さ及びｘ方向の顔の幅であると云う観測事実に基づいている。中心位置ルーチンと射影ヒストグラムｈx及びｈyからロバスト平均値μx*，μy*及びδが与えられる。
【００６９】
【数９】
式中、Ｎは計算に使用されたサンプル数である。
第４の方法において、色フィルタ処理画像のクリップされた領域の射影ヒストグラムから寸法を計算する。例えばｘ方向のロバスト平均μx*が与えられる。
ステップ１；［μx*−Δ，μx*＋Δ］（Δは計算に使用したサンプル数）の範囲内の色フィルタ処理画像中の列を射影してクリップされた射影ヒストグラムｈc yを形成する。
ステップ２；前記１又は２の方法を用い又は先述のサンプル標準偏差により、射影ヒストグラムｈc yに基づきｙ方向の寸法を計算する。
【００７１】
推定した顔位置を用い追跡する。この方法の場合、追跡される顔の動きは画像平面内の区分的な一定の二次元移動としてモデル化出来る。線形カルマンフィルタを用い追跡顔部の二次元移動速度ベクトル（Ｖx，Ｖy）を平滑化して予測する。平滑化速度を最終的に用いて顔の追跡位置を計算する。この動き追跡システムモデルは、次のように表現される。
ｘ（ｋ＋１）＝Ｆ（ｋ）ｘ（ｋ）＋ｗ（ｋ）
ｚ（ｋ＋１）＝Ｈ（ｋ＋１）ｘ（ｋ＋１）＋ｖ（ｋ＋１）
式中、ｘ（ｋ）は推定される真の速度ベクトル、ｚ（ｋ）は瞬間速度ベクトル、ｗ（ｋ），ｖ（ｋ）は白色雑音であり、区分的な一定の動きの場合Ｆ（ｋ）ｈ≡Ｉ，Ｈ（ｋ）≡Ｉである。
【００７２】
カルマンの予測子は、
【００７３】
【式１】
カルマンの結合子は、
【００７５】
【式２】
式中、Ｋ（ｋ＋１）はカルマンの利得である。このカルマンの利得は次式で計算される。
Ｋ（ｋ＋１）＝Ｐ（ｋ＋１｜ｋ）ＨT（ｋ＋１）［Ｈ（ｋ＋１）Ｐ（ｋ＋１｜ｋ）ＨT（ｋ＋１）＋Ｒ（ｋ＋１）］-1
共変量は次式で計算される。
Ｐ（ｋ＋１｜ｋ）＝Ｆ（ｋ）Ｐ（ｋ｜ｋ）ＦT（ｋ）＋Ｑ（ｋ），Ｐ（０｜０）＝Ｐ0
Ｐ（ｋ＋１｜ｋ＋１）＝［Ｉ−Ｋ（ｋ＋１）Ｈ（ｋ＋１）］Ｐ（ｋ＋１｜ｋ）式中、Ｐ（ｋ）＝Ｅ［ｗ（ｋ）ｗT（ｋ）］，Ｒ（ｋ）＝Ｅ［ｖ（ｋ）ｖT（ｋ）］，Ｐ0＝Ｅ［ｘ（０）ｘT（０）］である。
【００７７】
複数の顔の検出と追跡は本発明が提案する技法を用いて容易に達成することが出来る。顔を検出した後で、射影ヒストグラム中で顔が占有する領域をマスクし、位置及び寸法を算定するための選択プロセスを後続の顔部に対して繰り返す。
【００７８】
本発明に関る方法を、Ｃ＋＋に実装しＳｕｎ（登録商標）ワークステーションで実行する。本方法による３２０×２４０のビデオ分解能と毎秒１５フレームの速度での完全自動運転が実験結果として実証された。この方法は、（１）複数の顔及び他の皮膚色対象物が存在しており、（２）部分的明暗及び影があり、（３）顔の向きと尺度が変化し、（４）照明条件が変化する場合でも異なる人物の顔をよく追跡出来る。
【００７９】
図６に本発明が適用されるシステム７０を図示する。このシステム７０は、リアルタイムのビデオ通信装置に適用運転でき、ビデオカメラ７２，ビデオフレームグラバー７４，及びと計算装置７６より成り、方法を実施するのに必要なプロセッサ７８とコンピュータソフトウェアとハードウェアを含み、さらに通信ソフトウェアと通信モジュール８０を含んでいる。
【００８０】
本発明に関る方法によれば、ユーザは入力ビデオシーケンス中の背景を除去又は取り替えることが出来る。従って、このシステムは通信周波数帯域をすべて顔部に割り当てることが出来る。以上本発明の好ましい実施態様につき記述してきたが、特許請求の範囲に規定されている本発明の範囲から逸脱することなくさらなる変更及び修正を加えることが出来ることは明らかであろう。
【図面の簡単な説明】
【図１】本発明によるリアルタイムの顔追跡方法の一例を説明するためのブロック図である。
【図２】投影ヒストグラムに基づく顔の位置を推定する技法を説明するための図である。
【図３】一次元ヒストグラムのロバスト平均に基づく顔中心位置を推定する本発明技法のステップを説明するための図である。
【図４】図３に続く本発明の技法の後半ステップを説明するための図である。
【図５】図４に続く本発明の技法の最終ステップを説明するための図である。
【図６】本発明による方法を組み込んだシステムの一例を示す図である。
【符号の説明】
１０…本発明の人間の顔のロバスト追跡方法、１２…ビデオ撮影装置、１４…入力画像、１６…フィルタ処理、１８…顔位置の推定、２０…カルマンフィルタを用いた動き推定、２２…追跡した顔の出力、３０…２値画像、３２…暗い領域、３４…明るい領域、３６，３８…ヒストグラム、４０…２値画像、４２…主たる顔領域、４４…従の顔領域、４６…背景、４８…サンプル平均値μ、５０…分布、５２…当初のトリミングした平均値μ（ｋ）、５４…当初のトリミング間隔ｋ、５６…トリミングした平均値μｔ（ｋ＋１）、６０…ロバスト平均値、７０…本発明が適用されるシステム、７２…ビデオカメラ、７４…フレームグラバー、７６…計算装置、７８…プロセッサ、８０…通信モジュール。
Claims (6)
- カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、
前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、
μ t （０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、
前記トリミング間隔内におけるトリミング平均値μ t （ｋ＋１）を計算し前記トリミングした間隔［μ t （ｋ）−δ，μ t （ｋ）＋δ］を規定することと、
｜μ t （ｋ＋１）−μ t （ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、
最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、
間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σ t を計算し、寸法＝ｃ*σ t （但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、
前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、
前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸にそれぞれ投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、
前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。 - カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、
前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、
μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、
前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、
｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、
最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、
間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σ t を計算し、h（μ*＋ｄ*σ t ）≧ｇ*ｈ（μ*）またはｈ（μ*−ｄ*σ t ）≧ｇ*ｈ（μ*）であれば、条件がもはや真でなくなるまでσ t を増大し、寸法＝ｃ*σ t （但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、
前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、
前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、
前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。 - カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、
前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、
μ t （０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、
前記トリミング間隔内におけるトリミング平均値μ t （ｋ＋１）を計算し前記トリミングした間隔［μ t （ｋ）−δ，μ t （ｋ）＋δ］を規定することと、
｜μ t （ｋ＋１）−μ t （ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、
最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、
Ｎを顔画像の寸法計算に使用するサンプル数とし、
前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、
前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、
前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。 - カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、
前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、
μ t （０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、
前記トリミング間隔内におけるトリミング平均値μ t （ｋ＋１）を計算し前記トリミングした間隔［μ t （ｋ）−δ，μ t （ｋ）＋δ］を規定することと、
｜μ t （ｋ＋１）−μ t （ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、
最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、
［μ x *−Δ，μ x *＋Δ］（Δは計算に使用したサンプル数）の範囲内の色フィルタ処理画像中の列を射影してクリップした射影ヒストグラムｈ c y を形成し、前記射影ヒストグラムｈ c y に基づきｙ方向の寸法を計算し、顔の動きを追跡するために顔位置を推定することにより色フィルタ処理画像のクリップした領域の射影ヒストグラムから顔領域の寸法を計算することを含み、
前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、
前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、
前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。 - 線形カルマンフィルタを介し顔の動きを推定することを特徴とする請求項１〜４のいずれか１に記載の複数人物が存在する場合の人間の顔のロバスト追跡システム。
- 後処理の期間に顔の動きを平滑化することを特徴とする請求項５に記載の複数人物が存在する場合の人間の顔のロバスト追跡システム。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US9020198P | 1998-06-22 | 1998-06-22 | |
| US09/231937 | 1999-01-14 | ||
| US60/090201 | 1999-01-14 | ||
| US09/231,937 US6404900B1 (en) | 1998-06-22 | 1999-01-14 | Method for robust human face tracking in presence of multiple persons |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000036052A JP2000036052A (ja) | 2000-02-02 |
| JP2000036052A5 JP2000036052A5 (ja) | 2006-03-23 |
| JP4251719B2 true JP4251719B2 (ja) | 2009-04-08 |
Family
ID=26782013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16919399A Expired - Fee Related JP4251719B2 (ja) | 1998-06-22 | 1999-06-16 | 複数人物が存在する場合の人間の顔のロバスト追跡システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6404900B1 (ja) |
| EP (1) | EP0967574B1 (ja) |
| JP (1) | JP4251719B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836655B2 (en) | 2014-06-24 | 2017-12-05 | Nec Corporation | Information processing apparatus, information processing method, and computer-readable medium |
Families Citing this family (138)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2341231A (en) * | 1998-09-05 | 2000-03-08 | Sharp Kk | Face detection in an image |
| US6917692B1 (en) * | 1999-05-25 | 2005-07-12 | Thomson Licensing S.A. | Kalman tracking of color objects |
| WO2001028238A2 (en) * | 1999-10-08 | 2001-04-19 | Sarnoff Corporation | Method and apparatus for enhancing and indexing video and audio signals |
| US6940545B1 (en) * | 2000-02-28 | 2005-09-06 | Eastman Kodak Company | Face detecting camera and method |
| US6597736B1 (en) * | 2000-03-29 | 2003-07-22 | Cisco Technology, Inc. | Throughput enhanced video communication |
| KR100372774B1 (ko) * | 2000-10-27 | 2003-02-25 | 한국과학기술연구원 | 컬러정보를 사용한 영상 추적방법 |
| US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| US7565008B2 (en) | 2000-11-06 | 2009-07-21 | Evryx Technologies, Inc. | Data capture and identification system and process |
| US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
| US8224078B2 (en) | 2000-11-06 | 2012-07-17 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
| US7899243B2 (en) | 2000-11-06 | 2011-03-01 | Evryx Technologies, Inc. | Image capture and identification system and process |
| US6760465B2 (en) * | 2001-03-30 | 2004-07-06 | Intel Corporation | Mechanism for tracking colored objects in a video sequence |
| US20030052971A1 (en) * | 2001-09-17 | 2003-03-20 | Philips Electronics North America Corp. | Intelligent quad display through cooperative distributed vision |
| US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
| US20030174869A1 (en) * | 2002-03-12 | 2003-09-18 | Suarez Anthony P. | Image processing apparatus, image processing method, program and recording medium |
| US7274803B1 (en) * | 2002-04-02 | 2007-09-25 | Videomining Corporation | Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction |
| US7020338B1 (en) * | 2002-04-08 | 2006-03-28 | The United States Of America As Represented By The National Security Agency | Method of identifying script of line of text |
| US7921036B1 (en) | 2002-04-30 | 2011-04-05 | Videomining Corporation | Method and system for dynamically targeting content based on automatic demographics and behavior analysis |
| US7598975B2 (en) | 2002-06-21 | 2009-10-06 | Microsoft Corporation | Automatic face extraction for use in recorded meetings timelines |
| AU2003280516A1 (en) * | 2002-07-01 | 2004-01-19 | The Regents Of The University Of California | Digital processing of video images |
| US6996460B1 (en) | 2002-10-03 | 2006-02-07 | Advanced Interfaces, Inc. | Method and apparatus for providing virtual touch interaction in the drive-thru |
| US20040136870A1 (en) * | 2002-10-25 | 2004-07-15 | Kochy Thomas E. | Automatic analysis apparatus |
| US7317812B1 (en) | 2002-11-15 | 2008-01-08 | Videomining Corporation | Method and apparatus for robustly tracking objects |
| US7283650B1 (en) | 2002-11-27 | 2007-10-16 | Video Mining Corporation | Method and system for printing of automatically captured facial images augmented with promotional content |
| US7734070B1 (en) * | 2002-12-31 | 2010-06-08 | Rajeev Sharma | Method and system for immersing face images into a video sequence |
| AU2003901528A0 (en) * | 2003-03-31 | 2003-05-01 | Seeing Machines Pty Ltd | Eye tracking system and method |
| US7711155B1 (en) | 2003-04-14 | 2010-05-04 | Videomining Corporation | Method and system for enhancing three dimensional face modeling using demographic classification |
| US7474772B2 (en) * | 2003-06-25 | 2009-01-06 | Atrua Technologies, Inc. | System and method for a miniature user input device |
| US7616233B2 (en) * | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
| US9129381B2 (en) | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
| US7317815B2 (en) * | 2003-06-26 | 2008-01-08 | Fotonation Vision Limited | Digital image processing composition using face detection information |
| US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
| US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US8330831B2 (en) | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
| US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
| US7315630B2 (en) | 2003-06-26 | 2008-01-01 | Fotonation Vision Limited | Perfecting of digital image rendering parameters within rendering devices using face detection |
| US7587068B1 (en) | 2004-01-22 | 2009-09-08 | Fotonation Vision Limited | Classification database for consumer digital images |
| US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
| US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
| US8155397B2 (en) | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
| US8682097B2 (en) | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
| US8498452B2 (en) | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
| US7792335B2 (en) | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
| US7471846B2 (en) * | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
| US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
| US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
| US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
| US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
| US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US8989453B2 (en) | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
| US7362368B2 (en) * | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
| US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
| US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
| US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
| US7587072B2 (en) * | 2003-08-22 | 2009-09-08 | Authentec, Inc. | System for and method of generating rotational inputs |
| KR100601933B1 (ko) * | 2003-11-18 | 2006-07-14 | 삼성전자주식회사 | 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템 |
| US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
| US7558408B1 (en) | 2004-01-22 | 2009-07-07 | Fotonation Vision Limited | Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition |
| US7555148B1 (en) | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
| US7551755B1 (en) | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
| EP1566788A3 (en) * | 2004-01-23 | 2017-11-22 | Sony United Kingdom Limited | Display |
| US7697729B2 (en) * | 2004-01-29 | 2010-04-13 | Authentec, Inc. | System for and method of finger initiated actions |
| EP1714271A2 (en) * | 2004-02-12 | 2006-10-25 | Atrua Technologies, Inc. | System and method of emulating mouse operations using finger image sensors |
| WO2006034135A2 (en) | 2004-09-17 | 2006-03-30 | Proximex | Adaptive multi-modal integrated biometric identification detection and surveillance system |
| US7280679B2 (en) * | 2004-10-08 | 2007-10-09 | Atrua Technologies, Inc. | System for and method of determining pressure on a finger sensor |
| US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
| US20060103633A1 (en) * | 2004-11-17 | 2006-05-18 | Atrua Technologies, Inc. | Customizable touch input module for an electronic device |
| US8503800B2 (en) | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
| US8488023B2 (en) * | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
| US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
| US20060181521A1 (en) * | 2005-02-14 | 2006-08-17 | Atrua Technologies, Inc. | Systems for dynamically illuminating touch sensors |
| US7831070B1 (en) | 2005-02-18 | 2010-11-09 | Authentec, Inc. | Dynamic finger detection mechanism for a fingerprint sensor |
| US8231056B2 (en) | 2005-04-08 | 2012-07-31 | Authentec, Inc. | System for and method of protecting an integrated circuit from over currents |
| KR101146417B1 (ko) | 2005-05-24 | 2012-05-17 | 삼성전자주식회사 | 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 |
| US20090041297A1 (en) * | 2005-05-31 | 2009-02-12 | Objectvideo, Inc. | Human detection and tracking for security applications |
| JP4830650B2 (ja) * | 2005-07-05 | 2011-12-07 | オムロン株式会社 | 追跡装置 |
| US7505613B2 (en) * | 2005-07-12 | 2009-03-17 | Atrua Technologies, Inc. | System for and method of securing fingerprint biometric systems against fake-finger spoofing |
| WO2007027738A2 (en) | 2005-08-29 | 2007-03-08 | Evryx Technologies, Inc. | Interactivity via mobile image recognition |
| US20070061126A1 (en) * | 2005-09-01 | 2007-03-15 | Anthony Russo | System for and method of emulating electronic input devices |
| US7136524B1 (en) * | 2005-09-16 | 2006-11-14 | Proximex Corporation | Robust perceptual color identification |
| GB2430736A (en) | 2005-09-30 | 2007-04-04 | Sony Uk Ltd | Image processing |
| CN100390811C (zh) * | 2005-11-03 | 2008-05-28 | 中国科学院自动化研究所 | 实时的从视频中跟踪多个人脸的方法 |
| US7804983B2 (en) | 2006-02-24 | 2010-09-28 | Fotonation Vision Limited | Digital image acquisition control and correction method and apparatus |
| EP2033142B1 (en) | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
| US10614294B1 (en) * | 2006-06-16 | 2020-04-07 | Videomining Corporation | Method and system for measuring viewership of people for displayed object |
| US7920158B1 (en) | 2006-07-21 | 2011-04-05 | Avaya Inc. | Individual participant identification in shared video resources |
| WO2008015586A2 (en) * | 2006-08-02 | 2008-02-07 | Fotonation Vision Limited | Face recognition with combined pca-based datasets |
| US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
| US7987111B1 (en) * | 2006-10-30 | 2011-07-26 | Videomining Corporation | Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis |
| RU2007102021A (ru) * | 2007-01-19 | 2008-07-27 | Корпораци "Самсунг Электроникс Ко., Лтд." (KR) | Способ и система распознавания личности |
| US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| DE602008001607D1 (de) | 2007-02-28 | 2010-08-05 | Fotonation Vision Ltd | Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen |
| WO2008109622A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
| US8649604B2 (en) | 2007-03-05 | 2014-02-11 | DigitalOptics Corporation Europe Limited | Face searching and detection in a digital image acquisition device |
| US7777783B1 (en) | 2007-03-23 | 2010-08-17 | Proximex Corporation | Multi-video navigation |
| US9544563B1 (en) | 2007-03-23 | 2017-01-10 | Proximex Corporation | Multi-video navigation system |
| JP4862723B2 (ja) * | 2007-03-27 | 2012-01-25 | セイコーエプソン株式会社 | 被写体の位置検出のための画像処理 |
| US7916971B2 (en) | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
| US8750578B2 (en) | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
| US8098888B1 (en) | 2008-01-28 | 2012-01-17 | Videomining Corporation | Method and system for automatic analysis of the trip of people in a retail space using multiple cameras |
| US8325976B1 (en) * | 2008-03-14 | 2012-12-04 | Verint Systems Ltd. | Systems and methods for adaptive bi-directional people counting |
| JP5141317B2 (ja) * | 2008-03-14 | 2013-02-13 | オムロン株式会社 | 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器 |
| US7855737B2 (en) | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
| CN103402070B (zh) | 2008-05-19 | 2017-07-07 | 日立麦克赛尔株式会社 | 记录再现装置及方法 |
| US8243987B2 (en) * | 2008-06-06 | 2012-08-14 | International Business Machines Corporation | Object tracking using color histogram and object size |
| JP5547730B2 (ja) | 2008-07-30 | 2014-07-16 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 顔検知を用いた顔及び肌の自動美化 |
| US8570359B2 (en) * | 2008-08-04 | 2013-10-29 | Microsoft Corporation | Video region of interest features |
| US20100124372A1 (en) * | 2008-11-12 | 2010-05-20 | Lockheed Martin Corporation | Methods and systems for identifying/accessing color related information |
| WO2010063463A2 (en) | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
| IL197996A (en) | 2009-04-05 | 2014-07-31 | Rafael Advanced Defense Sys | A method for locating people |
| US20100295782A1 (en) * | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
| US8379917B2 (en) | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
| US8791792B2 (en) | 2010-01-15 | 2014-07-29 | Idex Asa | Electronic imager using an impedance sensor grid array mounted on or about a switch and method of making |
| US8421890B2 (en) | 2010-01-15 | 2013-04-16 | Picofield Technologies, Inc. | Electronic imager using an impedance sensor grid array and method of making |
| US8866347B2 (en) | 2010-01-15 | 2014-10-21 | Idex Asa | Biometric image sensing |
| KR101355974B1 (ko) * | 2010-08-24 | 2014-01-29 | 한국전자통신연구원 | 복수의 객체를 추적하는 객체 추적 방법 및 장치 |
| US8836777B2 (en) | 2011-02-25 | 2014-09-16 | DigitalOptics Corporation Europe Limited | Automatic detection of vertical gaze using an embedded imaging device |
| CN102682281A (zh) * | 2011-03-04 | 2012-09-19 | 微软公司 | 视频中聚集的面部跟踪 |
| WO2012138828A2 (en) * | 2011-04-08 | 2012-10-11 | The Trustees Of Columbia University In The City Of New York | Kalman filter approach to augment object tracking |
| EP2727047A4 (en) | 2011-06-30 | 2015-04-22 | Nokia Corp | METHOD AND APPARATUS FOR FACE TRACKING USING INTEGRAL GRADIENT PROJECTIONS |
| US20130201316A1 (en) | 2012-01-09 | 2013-08-08 | May Patents Ltd. | System and method for server based control |
| JP5306500B2 (ja) * | 2012-02-29 | 2013-10-02 | 株式会社東芝 | 画像処理装置、画像処理方法及びプログラム |
| CN109407862B (zh) | 2012-04-10 | 2022-03-11 | 傲迪司威生物识别公司 | 生物计量感测 |
| US9191707B2 (en) | 2012-11-08 | 2015-11-17 | Bank Of America Corporation | Automatic display of user-specific financial information based on audio content recognition |
| US9027048B2 (en) | 2012-11-14 | 2015-05-05 | Bank Of America Corporation | Automatic deal or promotion offering based on audio cues |
| US8761448B1 (en) | 2012-12-13 | 2014-06-24 | Intel Corporation | Gesture pre-processing of video stream using a markered region |
| CN103077539B (zh) * | 2013-01-23 | 2015-08-12 | 上海交通大学 | 一种复杂背景及遮挡条件下的运动目标跟踪方法 |
| CN103472849B (zh) * | 2013-09-04 | 2015-10-21 | 航天东方红卫星有限公司 | 基于闭环模式合作目标跟踪的卫星姿态机动跟踪方法 |
| EP4250738A3 (en) | 2014-04-22 | 2023-10-11 | Snap-Aid Patents Ltd. | Method for controlling a camera based on processing an image captured by other camera |
| KR102207856B1 (ko) * | 2014-05-14 | 2021-01-26 | 한국전자통신연구원 | 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 |
| CN106157329B (zh) * | 2015-04-20 | 2021-08-17 | 中兴通讯股份有限公司 | 一种自适应目标跟踪方法及装置 |
| WO2016207875A1 (en) | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
| CN111079670B (zh) * | 2019-12-20 | 2023-11-03 | 北京百度网讯科技有限公司 | 人脸识别方法、装置、终端和介质 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6043555B2 (ja) * | 1980-02-26 | 1985-09-28 | 株式会社トキメック | 印字文字切出し装置 |
| JPS57101986A (en) * | 1980-12-17 | 1982-06-24 | Toshiba Corp | Character detecting and cutting method |
| US4975960A (en) | 1985-06-03 | 1990-12-04 | Petajan Eric D | Electronic facial tracking and detection system and method and apparatus for automated speech recognition |
| JP2667435B2 (ja) * | 1987-05-01 | 1997-10-27 | 株式会社リコー | 領域抽出方法 |
| GB8710737D0 (en) * | 1987-05-06 | 1987-06-10 | British Telecomm | Video image encoding |
| JPS6478381A (en) * | 1987-09-21 | 1989-03-23 | Toshiba Corp | Picture processing method |
| US4975969A (en) | 1987-10-22 | 1990-12-04 | Peter Tal | Method and apparatus for uniquely identifying individuals by particular physical characteristics and security system utilizing the same |
| US4998285A (en) * | 1988-03-11 | 1991-03-05 | Kabushiki Kaisha Toshiba | Character recognition apparatus |
| US4991223A (en) | 1988-06-30 | 1991-02-05 | American Innovision, Inc. | Apparatus and method for recognizing image features using color elements |
| GB8905926D0 (en) | 1989-03-15 | 1990-04-25 | British Aerospace | Target aim point location |
| US5150432A (en) * | 1990-03-26 | 1992-09-22 | Kabushiki Kaisha Toshiba | Apparatus for encoding/decoding video signals to improve quality of a specific region |
| JPH0771288B2 (ja) | 1990-08-24 | 1995-07-31 | 神田通信工業株式会社 | 自動視野調整方法及び装置 |
| GB9019538D0 (en) | 1990-09-07 | 1990-10-24 | Philips Electronic Associated | Tracking a moving object |
| US5095467A (en) * | 1990-09-14 | 1992-03-10 | Alliant Techsystems Inc. | Target tracking system for determining bearing of a target |
| US5164992A (en) | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
| JP3242108B2 (ja) * | 1992-01-30 | 2001-12-25 | 富士通株式会社 | ターゲットマークの認識・追跡システム及び方法 |
| US5323470A (en) * | 1992-05-08 | 1994-06-21 | Atsushi Kara | Method and apparatus for automatically tracking an object |
| US5450504A (en) | 1992-05-19 | 1995-09-12 | Calia; James | Method for finding a most likely matching of a target facial image in a data base of facial images |
| JP3298072B2 (ja) | 1992-07-10 | 2002-07-02 | ソニー株式会社 | ビデオカメラシステム |
| US5469374A (en) * | 1993-06-23 | 1995-11-21 | The United States Of America As Represented By The Secretary Of The Navy | Automatic data segmentation module for target motion analysis applications |
| JP3062383B2 (ja) * | 1994-01-31 | 2000-07-10 | 沖電気工業株式会社 | 人物認識方法 |
| JPH0830790A (ja) * | 1994-07-14 | 1996-02-02 | Oki Electric Ind Co Ltd | 画像認識装置 |
| US5644386A (en) * | 1995-01-11 | 1997-07-01 | Loral Vought Systems Corp. | Visual recognition system for LADAR sensors |
| US5592176A (en) * | 1995-03-30 | 1997-01-07 | Scientific-Atlanta, Inc. | Tracking system for tracking a moving signal source |
| US5642431A (en) * | 1995-06-07 | 1997-06-24 | Massachusetts Institute Of Technology | Network-based system and method for detection of faces and the like |
| US5912980A (en) * | 1995-07-13 | 1999-06-15 | Hunke; H. Martin | Target acquisition and tracking |
| US6188777B1 (en) * | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
-
1999
- 1999-01-14 US US09/231,937 patent/US6404900B1/en not_active Expired - Lifetime
- 1999-06-16 JP JP16919399A patent/JP4251719B2/ja not_active Expired - Fee Related
- 1999-06-21 EP EP99112002A patent/EP0967574B1/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836655B2 (en) | 2014-06-24 | 2017-12-05 | Nec Corporation | Information processing apparatus, information processing method, and computer-readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0967574A3 (en) | 2001-03-14 |
| JP2000036052A (ja) | 2000-02-02 |
| EP0967574A2 (en) | 1999-12-29 |
| US6404900B1 (en) | 2002-06-11 |
| EP0967574B1 (en) | 2011-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4251719B2 (ja) | 複数人物が存在する場合の人間の顔のロバスト追跡システム | |
| US6332033B1 (en) | System for detecting skin-tone regions within an image | |
| Graf et al. | Multi-modal system for locating heads and faces | |
| JP4194025B2 (ja) | 照明不変の客体追跡方法及びこれを用いた映像編集装置 | |
| KR100474848B1 (ko) | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 | |
| KR101390756B1 (ko) | 안면 특징 검출 방법 및 장치 | |
| US20110299774A1 (en) | Method and system for detecting and tracking hands in an image | |
| KR100253203B1 (ko) | 동영상을 이용한 객체 추출방법 | |
| JP2004348674A (ja) | 領域検出方法及びその装置 | |
| JP3490910B2 (ja) | 顔領域検出装置 | |
| JPH0862741A (ja) | 階調補正装置 | |
| KR101048582B1 (ko) | 칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스 | |
| CN115100240A (zh) | 视频中的物体追踪方法及装置、电子设备、存储介质 | |
| JP3577908B2 (ja) | 顔画像認識システム | |
| Arsic et al. | Improved lip detection algorithm based on region segmentation and edge detection | |
| Harville et al. | Consistent image-based measurement and classification of skin color | |
| Li et al. | Detecting and tracking human faces in videos | |
| KR100532129B1 (ko) | 음성 인식을 위한 입술영역 검출 및 이를 이용한입술모양정보 획득방법 | |
| Niazi et al. | Hybrid face detection in color images | |
| Sebastian et al. | Tracking using normalized cross correlation and color space | |
| CN111415372A (zh) | 一种基于hsi颜色空间和上下文信息的运动目标归并方法 | |
| JP3979122B2 (ja) | 画像処理装置および画像処理方法 | |
| KR20080072394A (ko) | 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템 | |
| JP2004013768A (ja) | 個人識別方法 | |
| JP2002208013A (ja) | 画像領域抽出装置及び画像領域抽出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051209 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090120 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090120 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |