JP4921486B2 - 視覚的に頭と目を追跡するシステムにおける眼鏡の視覚的追跡 - Google Patents

Description

本発明は、顔追跡の分野に関し、詳細には、顔追跡において眼鏡に関する情報を利用して優れた結果を生成するシステムを開示する。

技術システムの複雑さが高まるにつれて、そのような技術システムとオペレータとの対話にますます焦点が当てられるようになった。１つの重要な側面は、頭姿勢、注視方向、閉眼および表情などの顔パラメータの測定である。コンピュータビジョンが改良され、安価な計算機能力が利用可能になって、消費者用システムはそのような顔パラメータを測定できるようになった。

注視検出システムの例は、本願の譲受人に譲渡された「Facial Image
Processing System」と題する特許協力条約出願番号ＰＣＴ／ＡＵ０１／００２４９と、「Eye tracking system and method」と題するＰＣＴ／ＡＵ２００４／０００４１３に提案されたものであり、これらの内容は、相互参照により本明細書に組み込まれる。

一般に、そのような顔パラメータ測定システムでは、イメージセンサが利用され、オペレータに焦点が合わせられ、画像シーケンスから必要な情報をリアルタイムで取得する。そのような顔パラメータを測定する能力は、多数の用途を有し、多くの新しい用途が次々と作り出されている。

ヒューマンマシンインタフェース（ＨＭＩ）設計などの分野では、システム自体の設計を最適化するために、システムとオペレータの対話を測定することが極めて望ましい。その一例は、自動車運転席とナビゲーションシステムなどの補助装置の設計である。この場合、システムから運転者に提供される大量の情報によって、運転者が、当初の追跡タスクから気を反らさないようにすることが極めて重要である。開発者達はしばしば、ユーザが、特定の情報を取得するかまたは特定のタスクを実行するために制御盤をどれくらいの頻度でどれくらい長い時間見るかを測定する。次に、このデータを使用してＨＭＩのレイアウトを最適化する。

他のシステムでは、ユーザの顔パラメータの測定がシステム自体の動作の一部であることもある。例えば、顔パラメータから疲労および注意散漫情報を導出する自動車運転者支援システムがある。疲労が関心対象となる他の分野は、航空管制、軍事任務管制、プラント制御、採鉱と石油探査での重機制御、海上や航空などの他の輸送形態での重機制御などの技術システムの操作がある。

頭と注視の追跡システムは、今日、障害者のパーソナルコンピュータ入力装置としても使用されている。パーソナルコンピュータに対するインタフェースが発展するにつれて、頭と注視の追跡は、コンピュータキーボードやマウスと同じくらい広範に分布する（ユビキタスになる）可能性がある。既に、頭と目の追跡システムを使用するコンピュータゲームおよびチャットルームでは、ユーザにコンピュータアバターの顔を制御させるシステムが利用できるようになっている。

頭と顔の追跡は、また、生物測定学的顔認識システムに有力な用途を有する。認識に適したカメラビューの局所化と識別は、顔認識システムの基本的な機能であり、特に、認識される人が、典型的な「人混みの中にある顔」の認識に使用される場合のように、システムと協力しないときに重要である。

正確な顔追跡システムは、ユーザが眼鏡をかけている場合には特別な問題に直面し、適切に動作できないことがある。

本発明の目的は、眼鏡などが存在する状態の顔追跡の改善された形態を提供することである。

本発明の第１の態様によれば、顔追跡システムにおいて、顔特徴を追跡する方法が提供され、この方法は、（ａ）眼鏡のリム、フレームまたはつるが、追跡する顔の一部を構成するかどうかを判定し、（ｂ）リム、フレームまたはつるが構造の一部を形成する場合に、リム、フレームまたはつるを利用して顔特徴を追跡する行程を含む。

この方法は、眼鏡のフレーム、リムまたはつるの外観を利用して、眼鏡フレームまたは頭／顔の二次元位置または三次元姿勢を追跡する。この方法は、眼鏡のフレーム、リムまたはつるの外観から得られた二次元画像位置または三次元姿勢を利用して、他の顔特徴または頭の二次元画像位置または三次元姿勢を全体として追跡することが好ましい。顔画像を更に処理するために、眼鏡の二次元画像位置または三次元姿勢を利用して、眼鏡のフレーム、リム、つるまたはレンズによって覆われた画像領域を除去し、除外し、または重み付けすることが好ましい。眼鏡のリムまたはフレームあるいはフレームのつるによって生成される画像内のエッジを使用して、眼鏡の二次元画像位置または三次元姿勢の位置を追跡することが好ましい。眼鏡のリムまたはフレームの二次元または三次元形状モデルを利用して、眼鏡の二次元画像位置または三次元姿勢を追跡することができる。

本発明の更に他の態様によれば、顔または顔特徴追跡システムの一部として眼鏡のフレーム、リムまたはつるの外観を使用する顔または顔特徴追跡システムが提供される。

本発明の更に他の態様によれば、眼鏡のフレーム、リムまたはつるの外観を利用して、眼鏡フレームまたは頭／顔の二次元画像位置または三次元姿勢を追跡する顔または顔特徴追跡システムが提供される。

本発明の更に他の態様によれば、顔画像処理方法が提供され、この方法は、（ａ）顔画像を更に処理するために、眼鏡の二次元画像位置または三次元姿勢を追跡して眼鏡のフレーム、リム、つるまたはレンズによって覆われた画像領域を除去し、除外しまたは重み付けする行程を含む。

本発明の更に他の態様によれば、現在の入力画像シーケンスで顔上の眼鏡フレームを追跡する方法が提供され、この方法は、画像のトレーニングデータベースを利用して対象上の眼鏡の第１の例示的構造情報を導出する行程と、前記第１の例示的構造情報の主成分分析を利用して、一連のパラメータ値を含む構造情報の発生モデルを導出する行程と、現在の入力画像シーケンスのために、初期セットのパラメータ値とそれにより生成される対応する初期モデルを導出する行程と、初期モデルを現在の入力画像と比較してその違いの程度を導出する行程と、違いの程度を最小化するようにパラメータ値を変更する行程とを備える。

一実施形態では、第１の例示的構造情報は、眼鏡の三次元輪郭情報を含む。構造情報は、前記輪郭情報の一連の制御点を含み、前記制御点に基づいて主成分分析を行うことができる。この比較は、二次元空間上の初期モデルの投影と、入力画像のエッジ検出フィルタバージョンとの間に行うことができる。最小化は、レーベンバーグ・マルカート法の最小化を利用して行うことができる。
以下に、本発明の好ましい形態を添付図面と関連して説明する。

視覚的な顔および顔特徴追跡システムは、一般に、目、目尻、口、鼻孔などの顔の多くの特徴を識別し、これらの特徴や他の顔特徴を追跡して、頭、目または瞼の位置を識別する。

眼鏡の外観は他の顔特徴と異なるので、眼鏡のフレームは、一般に、これらのシステムの問題となる。顔の生来の特徴は、ほぼ平面であり、特徴の中心点近くの局所的外観によってモデル化することができるが、眼鏡のフレームは、顔の前の数ミリメートルから２センチメートルの間のどこかに配置された比較的細いリムによって生成される。顔が回転するとき、眼鏡のフレーム上の点のすぐ後ろに見える顔の部分が変化し、極めて構造化されている目の部分では、フレーム上またはそのまわりの特徴の局所的外観がかなり変化する。フレーム近くの特徴部分は、フレームのリムによって部分的に隠されることがあり、その識別と追跡が困難になる。また、フレームの反射によるフレーム自体上のハイライトによって、フレーム上のポイントの追跡が困難になる。

好ましい実施形態では、眼鏡のリムによって生じる画像特徴が、顔追跡を妨げるのではなく顔追跡を支援するために利用される。これは、眼鏡の外観をモデル化することによって達成される。これには２つの大きな利点がある。第１に、眼鏡の位置を追跡することによって、他の顔特徴の位置の追跡を強化することができ、第２に、眼鏡のリムがある画像位置を局所化することによって、リムの後ろの特徴、虹彩や瞳位置などの目自体の最も重要な特徴、目または網膜の表面の反射、および目を瞼が覆っている割合の情報を抽出するために、それらの位置を予め考慮することができる。

以下の説明では、「姿勢」は、三次元ユークリッド変換を指す。

好ましい実施形態の行程は、適切にプログラムされたコンピュータ上で実施することができ、図１に示されている。

好ましい実施形態は、発生モデルの開発を使用して進めることができる。このモデルでは、最初に、行程１で、実例のトレーニングセットが提供される。トレーニングセットは、様々なタイプの眼鏡フレームを使用するユーザの多数の実例から成ることができる。各モデルごとに、行程２で、実際の眼鏡の三次元輪郭図を抽出することができ、この三次元輪郭図は、眼鏡のリムとつるを含む。

次に、カメラ投影モデルが既知であると仮定すると、ビデオのフレーム内の眼鏡の外観の完全なモデルが、眼鏡の発生形状モデルと姿勢のパラメータによって提供される。

行程３で、主成分分析（ＰＣＡ）を使用して発生モデルを作成することができる。トレーニングデータベース内の各眼鏡フレームの輪郭は、Ｎ個の三次元制御点ｇ_ｐ＝（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）、ｐ＝１…Ｎに離散（discretised）される。ＰＣＡは、データベース内のフレーム輪郭の離散的収集に適用される。ＰＣＡ法によれば、第１のＫ個の固有ベクトルは、眼鏡フレームの形状を表わす低次元パラメータモデルを形成するように選択される。ＮとＫは、追跡性能を最適化するために試行錯誤法によって選択することができる。一例では、Ｎ＝４０、Ｋ＝１６である。平均形状は、ｇ_ｍによって表わされ、選択された固有ベクトルｇ_ｅは、主変形モード（main modes of variation）を含む。

また、トレーニングセットからは、トレーニングセットで形状をモデル化する各固有ベクトルの標準偏差δ_ｅが得られる。これらの標準偏差は、変形スケールパラメータλ_ｅを３つの標準偏差−３δ_ｅ≦λ_ｅ≦３δ_ｅに制限するために使用される。それにより、スケールパラメータセットΛ＝（λ_１…λ_１６）が、所定の眼鏡フレームの形状をモデル化する。

選択された固有ベクトルｇ_ｅは、適切な形状パラメータλ_ｅを選択することによってすべての適切な眼鏡形状の提案された発生モデルの基準となる。

ＰＣＡの結果は、平均形状ｇ_ｍと主変形モードｇ_ｅを提供する。次に、新しく遭遇した眼鏡のフレームの形状を平均形状と変形モードの一次結合としてモデル化することができる。

平均形状と主変形モードは、すべての適切な眼鏡形状のモデルを有効に構成する。本発明の実施例では、最初の１６個の固有ベクトルｇ_ｅが使用され、従ってＥ＝[1…16]になる。

次に、眼鏡フレームの三次元モデルを追跡のために使用する。好ましい実施形態では、眼鏡トラッカ（glasses tracker）は、先行技術に開示されているような特徴に基づく頭トラッカ（head tracker）と一体化される。しかしながら、眼鏡トラッカは、他のトラッカに一体化されてもよく、単独で使用されてもよい。

形状パラメータλ_ｅは、確率的手段または任意の手段によって適切に制限されてもよい。当業者は、推定制御点を設定する際に、物理モデルなどの他のモデリング技術も適切であることを理解するであろう。

眼鏡フレームのモデル化された近似は、形状パラメータと三次元姿勢パラメータによって決定される。三次元姿勢パラメータは、次の式で表される。

この式は、同種の変換マトリクスの形で組み合わされた回転マトリクスＲ_３ｘ３と並進ベクトルＴ_３ｘ１を含む。眼鏡トラッカは、生成された形状モデルの輪郭が、画像に見られるエッジ（即ち、高空間勾配点）にどれだけよく適合するかの基準を使用する。１組の形状パラメータλ_ｅと姿勢パラメータｈが提供された場合、予測された画像エッジと実際の画像エッジの位置の違いによって、トラッカは、より良く適合するようにパラメータを調整することができる。

所定の入力画像の場合、顔に対する眼鏡の姿勢が一定であるか、場合によっては平均値の近くで変化していると仮定すると、最初に形状パラメータと姿勢パラメータが変化できるようにすることによって眼鏡トラッカをブートストラップすることができる。眼鏡形状の確実な推定と顔に対する眼鏡の姿勢が決定されたらすぐに、対応する形状パラメータを固定したままにして、眼鏡と顔の組み合わせ姿勢パラメータだけを変化させることができる。

ビデオ画像から形状パラメータと姿勢パラメータを決定するために、眼鏡トラッカは、生成された形状モデルの輪郭が、画像内に見られるエッジ（即ち、高空間勾配強度点）とどれだけよく適合するかの基準を使用することができる。１組の形状パラメータと姿勢パラメータが提供された場合、予測された画像エッジと実際の画像エッジの位置の違いにより、トラッカは、よりよく適合するようにパラメータを調整することができる。詳細には、各ビデオ画像内の費用関数を最小にすることによって追跡が進む。

最小化は、姿勢パラメータと形状パラメータに関して行われ、非線形最小二乗勾配降下法、例えば、周知のレーベンバーグ・マルカート法を使用して実行される。最小化する費用関数は、眼鏡モデル輪郭点から最高画像輝度勾配点までの距離の２乗の和でよい。費用関数を計算するために、行程４で、姿勢パラメータと形状パラメータの現在の推定値を使用して眼鏡モデルが画像に投影される。投影されたモデルの輪郭に沿った各点ごとに、画像輝度エッジが、モデル輪郭と垂直な線に沿って検出される。一定半径内にある最も強いエッジが選択され、そのエッジまでの距離が測定される。次に、費用関数は、そのような距離の２乗の合計である。行程５で、各ビデオ画像内で費用関数が局所的最小値に集束するまで、最小化を実行することができる。行程５において、ビデオシーケンスの追跡は、現在の画像内の出発点として前の画像からの最適化されたパラメータを使用することによって達成される。

例示的実施形態では、画像とモデルの適合性の基準を得るために以下のプロセスが使用される。最初に、ソース画像の二値化エッジ画像Ｅを計算する。好ましい実施形態では、エッジは、周知のＣａｎｎｙエッジ検出器を使用して認識される。第２の行程で、ＰＣＡモデルの形状パラメータ表示Λを選択し、三次元姿勢ｈを選択し次に得られた三次元制御点を画像に投影する行程によって、眼鏡モデルの制御点Ｇが二値画像に投影され、その結果、二次元ベクトルｇ^ｉ _ｅ＝（ｘ^ｉ _ｅ，ｙ^ｉ _ｅ）が得られる。各制御点ｇ^ｉ _ｅごとに、エッジ画像Ｅ内の制御点とクローズエッジ画素との間のユークリッド距離Δ^ｉ _ｅが計算される。

次に、眼鏡の適合のみを追跡する測定基準が、次のように計算される。

レーベンバーグ・マルカート法の最小化を使用して、姿勢問題と形状問題の組み合わせに対する解決策としてｈとΛの最適な組み合わせを計算することができる。

本発明の例示的実施形態では、眼鏡トラッカの解決策を、顔または顔特徴トラッカに組み込むことができる。眼鏡トラッカを、先行技術に開示されているような、特徴に基づく頭トラッカと一体化するために、好ましい実施形態は、１組の顔特徴Ｍの１組の顔特徴点ｆ_ｍ，ｍ∈Ｍの距離を測定基準に加える。顔特徴はそれぞれ、テンプレート相関によって各フレーム内に配置され、その結果画像位置ｆ^ｉ _ｍが測定される。眼鏡制御点の距離に加えて、測定された点ｆ^ｉ _ｍと投影点ｆ^ｉ _ｍ(ｈ)の間のユークリッド距離として、想定された頭姿勢ｈの距離Δ^ｉ _ｍが計算される。頭姿勢ｈの他に、頭に対する眼鏡の姿勢ｈ_ｇを推定しなければならない。

次に、レーベンバーグ・マルカート法は、全体の最良の頭姿勢を次のように計算する。

顔に対する眼鏡の姿勢ｈ_ｇが一定かまたは場合によっては平均値の近くでゆっくりと変化すると仮定すると、最初に形状パラメータΛと姿勢パラメータｈ，ｈ_ｇが変化できるようにすることによって、眼鏡トラッカをブートストラップすることができる。眼鏡形状の確実な推定値Λと顔に対する眼鏡の姿勢ｈ_ｇが決定されたらすぐに、対応するパラメータを一定に保持し、眼鏡と顔の組み合わされた姿勢パラメータｈだけを変化させることができる。

モデルを開発する際、システムは、理想的には、ビデオ入力機能を有するコンピュータシステム上で実現される。図２に、システム例を概略的に示す。ビデオ入力１０は、前述の方法を使用して顔を連続的に追跡するコンピュータシステム１１に入力され、結果は、ディスプレイ１２上に出力される。

以上は、本発明の好ましい形態を示す。本発明の範囲から逸脱することなく、当業者に明らかな修正を行うことができる。

本発明の好ましい実施形態の方法の行程を示す図である。 本発明の好ましい実施形態の動作環境を示す図である。

符号の説明

１０ ビデオカメラ
１１ コンピュータシステム
１２ ディスプレイ

Claims (16)

1. 顔／頭を追跡するように構成された追跡システムにおいて、前記顔／頭の顔特徴を追跡する方法であって、
   （ａ）眼鏡のリム、フレームまたはつるが、前記顔／頭上に存在するかどうかを判定する行程と、
   （ｂ）前記リム、フレームまたはつるが前記顔／頭上に存在する場合に、前記リム、フレームまたはつるの外観特徴を判定し、判定された前記外観特徴によって、前記眼鏡または顔／頭の二次元画像位置または三次元姿勢測定値を得る行程とを備え、
   前記二次元画像位置または三次元姿勢測定値を得る行程が、分析を行い、眼鏡形状パラメータおよび眼鏡姿勢パラメータで定義される、眼鏡の三次元発生モデルの適合性を、前記顔／頭を含む連続的な入力画像の組へ徐々に最適化する行程を含む、顔／頭の顔特徴を追跡する方法。
2. 前記眼鏡のフレーム、リムまたはつるの前記判定された外観特徴から得られた二次元画像位置または三次元姿勢測定値を利用して、前記顔の他の顔特徴の二次元画像位置または三次元姿勢を、または前記頭の二次元画像位置または三次元姿勢を全体として追跡する請求項１に記載の顔／頭の顔特徴を追跡する方法。
3. 前記顔／頭を画像を更に処理するために、前記二次元画像位置または三次元姿勢測定値に基づいて、前記眼鏡のフレーム、リム、つるまたはレンズによって覆われた一以上の画像領域を除去し、除外し、あるいは重み付けする請求項１に記載の顔／頭の顔特徴を追跡する方法。
4. 前記眼鏡のリム、フレームまたはつるによって生成された前記画像内の一以上のエッジが、眼鏡の二次元画像位置または三次元姿勢の位置を追跡するために使用される請求項１に記載の顔／頭の顔特徴を追跡する方法。
5. 前記眼鏡のリムまたはフレームの二次元または三次元形状モデルを利用して、前記二次元画像位置または三次元姿勢測定値を得る請求項１に記載の顔／頭の顔特徴を追跡する方法。
6. 前記眼鏡のリムまたはフレームの二次元または三次元発生モデルを利用して、前記二次元画像位置または三次元姿勢測定値を得る請求項１に記載の顔／頭の顔特徴を追跡する方法。
7. 顔／頭にかける眼鏡のフレーム、リムまたはつるの外観特徴が、顔または顔特徴追跡システムの一部として使用され、
   分析を行い、眼鏡形状パラメータおよび眼鏡姿勢パラメータで定義される、眼鏡の三次元発生モデルの適合性を、前記顔／頭を含む連続的な入力画像の組へ徐々に最適化する行程を含む、
   顔または顔特徴追跡システム。
8. 顔／頭にかける一対の眼鏡のフレーム、リムまたはつるの外観特徴を判定し、前記一対の眼鏡または前記顔／頭の二次元画像位置または三次元姿勢を追跡する顔または顔特徴追跡システムであって、
   分析を行い、眼鏡形状パラメータおよび眼鏡姿勢パラメータで定義される、眼鏡の三次元発生モデルの適合性を、前記顔／頭を含む連続的な入力画像の組へ徐々に最適化する行程を含む、顔または顔特徴追跡システム。
9. 顔／頭にかける眼鏡のフレーム、リムまたはつるの外観特徴から得られた二次元画像位置または三次元姿勢測定値を利用して、前記顔／頭の他の顔特徴または頭の二次元画像位置または三次元姿勢を追跡する顔または顔特徴追跡システムであって、
   前記二次元画像位置または三次元姿勢測定値を得る行程が、分析を行い、眼鏡形状パラメータおよび眼鏡姿勢パラメータで定義される、眼鏡の三次元発生モデルの適合性を、前記顔／頭を含む連続的な入力画像の組へ徐々に最適化する行程を含む、顔または顔特徴追跡システム。
10. （ａ）連続的な入力顔画像の組を示すデータを受信する行程と、
    （ｂ）前記顔画像を更に処理するために、フレーム、リム、つるおよびレンズを備える、顔／頭にかける一対の眼鏡の二次元画像位置または三次元姿勢を前記顔画像内で追跡して、前記眼鏡のフレーム、リム、つるまたはレンズによって覆われた一以上の画像領域を除去し、除外し、または重み付けする行程を備え、前記二次元画像位置または三次元姿勢を追跡する行程が、分析を行い、眼鏡形状パラメータおよび眼鏡姿勢パラメータで定義される、眼鏡の三次元発生モデルの適合性を、前記入力画像へ徐々に最適化する行程を含む、
    顔画像処理方法。
11. 入力画像シーケンスで顔上の眼鏡フレームを追跡する方法であって、
    画像のトレーニングデータベースを利用して、対象上の眼鏡の三次元輪郭情報を導出する行程と、
    前記三次元輪郭情報の主成分分析を利用して前記三次元輪郭情報の一連のパラメータ値を含む三次元発生モデルを導出する行程と、
    前記入力画像シーケンスの初期入力画像のために、パラメータ値の初期セットと、それにより生成される対応する初期発生モデルを導出し、前記初期発生モデルを前記入力画像シーケンスの前記初期入力画像と比較して違いの程度を導出し、前記違いの程度を最小にするようにパラメータ値を変更する行程と、
    前記入力画像シーケンスの後続の入力画像のために、前記変更されたパラメータ値を利用し、パラメータ値の後続のセットと、それにより生成される対応する後続発生モデルを導出し、前記後続発生モデルを前記入力画像シーケンスの前記後続入力画像と比較して違いの程度を導出し、前記違いの程度を最小にするようにパラメータ値を変更する行程とを備える方法。
12. 前記三次元輪郭情報が、一連の制御点を含む請求項１１に記載の方法。
13. 前記主成分分析が、前記制御点に関して行なわれる請求項１２に記載の方法。
14. 前記比較が、二次元空間への初期モデルの投影と現在の入力画像のエッジ検出フィルタバージョンとの間で行われる請求項１１に記載の方法。
15. 前記最小化が、レーベンバーグ・マルカート型の最小化を含む請求項１１に記載の方法。
16. 前記眼鏡フレームの追跡を顔トラッカに組み込む行程を更に備える請求項１１に記載の方法。

Images