JP5016175B2 - 顔画像処理システム - Google Patents

顔画像処理システム Download PDF

Info

Publication number
JP5016175B2
JP5016175B2 JP2002514654A JP2002514654A JP5016175B2 JP 5016175 B2 JP5016175 B2 JP 5016175B2 JP 2002514654 A JP2002514654 A JP 2002514654A JP 2002514654 A JP2002514654 A JP 2002514654A JP 5016175 B2 JP5016175 B2 JP 5016175B2
Authority
JP
Japan
Prior art keywords
eye
determining
head
image
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002514654A
Other languages
English (en)
Other versions
JP2004504684A (ja
JP2004504684A5 (ja
Inventor
ティモシー・エドワーズ
ヨッヘン・ハインツマン
セバスティアン・ルーゴー
アレックス・ゼリンスキー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seeing Machines Ltd
Original Assignee
Seeing Machines Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seeing Machines Ltd filed Critical Seeing Machines Ltd
Publication of JP2004504684A publication Critical patent/JP2004504684A/ja
Publication of JP2004504684A5 publication Critical patent/JP2004504684A5/ja
Application granted granted Critical
Publication of JP5016175B2 publication Critical patent/JP5016175B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Social Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Description

【０００１】
（発明の分野）
本発明は、複数のビデオソースからの画像解析を使用する、三次元頭部姿勢、視線方向、眼の閉鎖量、眼の瞬きの検出、及び人間の顔の柔軟性がある器官（flexible feature）検出の決定のためのシステム及び方法に関する。また、本発明は、人間の頭部や顔の受動型のビデオ解析を使用して決定を行う、システム及び方法に関する。これらの方法は、人体挙動計測、オペレータの監視、及びインタラクティブなマルチメディアのような応用分野で使用することができる。
【０００２】
（発明の背景）
頭部姿勢の決定に使用された初期の技術では、追跡される被験者の頭部に固定される装置が使用されていた。例えば、被験者の頭部に反射装置が取り付けられ、これらの反射器に照射される光源を使用して、反射器の位置を決定していた。このような反射装置は頭部自体よりもはるかに容易に追跡することができるので、頭部姿勢の追跡の問題は大幅に単純化された。
【０００３】
頭部姿勢追跡のための装置を装着する被験者の他の例としては、仮想現実のヘッドセットがある。通常、これらの装置は、指向性アンテナとラジオ周波数源、又は指向性磁気計測により、頭部姿勢を決定する。
【０００４】
装置の装着に対するユーザの能力と受容がシステムの信頼性に直接的に影響するので、いかなる種類の装置を装着することも明らかに欠点がある。一般に、装置は邪魔で、ユーザの挙動に影響を及ぼし、自然な動作ないしは操作を阻害する。
【０００５】
頭部姿勢を決定するために、あるパターンの光線を顔に照射する、構造化光線技術（structured light technique）も知られている。
【０００６】
単純な画像処理を用いて３次元情報を回復するのを容易にするために、光線パターンが構造化される。しかしながら、この技術は照射変更の条件に誤りが生じる傾向があるので、自然の照明条件下で使用するのに適していない。
【０００７】
米国特許第６，０４９，７４７号には、構造化された赤外線を使用して頭部姿勢を決定するドライバ監視装置が記載されている。この技術では、頭部姿勢を測定し、それをドライバの視線方向の概算とみなす。より詳細な視線の解析に欠けるので、このようなシステムは有用性が明らかに制限される。
【０００８】
他のグループの頭部姿勢追跡技術には、いわゆる「分類技術（Classification technique）」がある。この分類技術では、ビデオ画像を可能性のある結果の組の一つとして分類する。この技術では、ヒストグラム、主成分分析、及びテンプレートマッチングのような方法を使用することが多い。このアプローチの主な問題は、頭部の方向のみが測定され、頭部の変位は考慮されていないことである。
【０００９】
その瞬間の方向を、定義された可能性のある方向の組の一つとして分類することで、頭部の方向が測定される。頭部位置の候補の数が増えると、分類を誤る可能性も増大する。他の難点としては、頭部位置の候補の組を事前に作成しなければならないことがある。これは面倒な処理である。
【００１０】
日本の奈良で１９９８年に開催された「自動及びジェスチャ認識の会議（Conference of Automatic and Gesture Recognition）」の「視線方向の分類に対する質的アプローチ（A Qualitative Approach to Classifying Gaze Direction）」でパップウ（Pappy）とベアドスレイ（Beardsley）によって、発表されたシステムは、頭部姿勢の決定に使用する分類技術の現状の一例を示している。
【００１１】
頭部姿勢検出の他の知られているシステムでは、一般化された３次元頭部メッシュ構造を一連の画像に対してマッチングする技術を使用している。この技術では、３次元メッシュの候補の２次元投影と画像の間との誤差の測定により、頭部姿勢の予測を反復して精緻化する。
【００１２】
この技術は計算上高価であり、一般化されたメッシュモデルと追跡される実際の頭部との間の類似性に精度が大きく依存する。従って、人間の顔は広範な多様性があるので、正確な計測は保証されない。この技術は、人の顔の外観を部分的に変える目的での非リアルタイムの画像処理への適用に適している。
【００１３】
この方式の技術を使用するシステムの例は、いずれもフランスのグルノーブルで開催された自動及びジェスチャ認識の会議２０００（Conference of Automatic and Gesture Recognition 2000）で発表された、マリウス・マルシウ（Marius Malciu）とフランコイセ・プレティュク（Francoise Preteux）の「ビデオシーケンスにおける３次元頭部追跡のロバスト・モデルに基づく試み（A Robust Model-Based Approach for 3D Head Tracking in Video Sequence）」や、イェ・チャン（Ye Zhang）とチャンドラ・カンブハメツ（Chandra Kambhamettu）の「部分遮蔽下でのロブスト３次元頭部追跡（Robust 3D Head Tracking Under Partial Occlusion）」に見られる。
【００１４】
頭部姿勢検出に使用される他の知られた技術としては、運動からの構造復元技術がある。運動からの構造復元は、単一のビデオソースから物体の三次元形状を復元できる技術であり、カメラに対して相対移動した時に異なる視野から得られるその物体の情報を使用する。このような技術は、１９９９年のコンピュータ映像の国際会議（International Conference on Computer Vision）における人間のモデリングに関する研究集会（Modeling People Workshop）で発表された、ジェイ・ストローム（J.Strom）、ティー・ジェバラ（T.Jebara）、エス・バス（S.Basu）、及びエイ・ペントランド（A. Pentland）の「顔のリアルタイム追跡及びモデリング：統合アプローチによるＥＫＦに基づく解析(Real Time Tracking and Modeling of Faces:An EFK-based Analysis by Synthesis Approach)」で論じられている。
【００１５】
頭部姿勢の追跡に使用する場合、頭部の３次元モデルは一般化された三次元メッシュを使用して初期化され、顔の形状及び頭部姿勢の両方を反復して更新するために、拡張されたカルマンフィルタが使用される。
【００１６】
一般的な人間の顔の形状の変化により、この技術の収斂は保証されない。使用されるアプローチに適応性があるのである程度緩和されるものの、これはテンプレート・メッシュモデルフィルタリング技術と同様の問題である。
【００１７】
また、この技術は微笑や瞬きのような顔のゆがみに弱いという点に留意することが重要である。
【００１８】
米国特許第５，８６７，５８７号には瞬き検出を使用する疲労計測が記載され、米国特許第５，８７８，１５６号には眼の状態の検出に基づく疲労計測の技術が記載されている。いずれの方法も、自動車の運転中のような広範囲での頭部の運動を伴う仕事（task）に適用された場合には、十分でない。
【００１９】
器官テンプレート（featuring template）を使用するステレオ復元も知られている。１９９８年に日本の奈良で開催された顔及びジェスチャの自動認識の会議（Conference on Automatic Face and Gesture Recognition）で発表されたミン・クゥ（Ming XU）とタカコ・アカツカ（Takako Akatsuka）の「動的顔認識のためのステレオ画像シーケンスからの頭部姿勢検出（Detecting Head Pose from Stereo Image Sequence for Active Face Recognition）」は、動的顔認識のためのシステムを示している。このシステムは、頭部姿勢を復元及び近似させるために、４種類の顔の器官のみを使用しており、そのうちの２種類は両眼である。頭部及び眼の運動（瞬きを含む。）に弱く、均質な画像背景が必要であるので、このシステムは実用的な頭部追跡に使用することができない。また、頭部が動いた時に器官の変形及び／又は遮蔽により、頭部運動の計測の範囲及び精度が大幅に制限される。
【００２０】
１９９６年の英国機械視覚会議（British Machine Vision Conference）の会報に掲載のノーバート・クルーガ（Norbert Kruger）、マイケル・ポトッシュ（Michael Potzsh）、トーマス・マウラー（Thomas Maurer）、及びマイケル・リン（Michael Rinne）の「ラベル付きグラフによる顔の位置及び姿勢の推定（Estimation of Face Position and Pose with Labelled Graphs）」における研究では、一括化グラフフィッティング（bunched graph fitting）と組み合わせた、ガボール・フィルタ（Gabor filter）に基づくテンプレート追跡の使用が研究されている。これは初期の論文であり、他の研究は以下のインターネットアドレスで見ることができる。
【００２１】
http://selforg.usc.edu:8376/-tmaurer/introduction.html
【００２２】
しかしながら、記載されているシステムは、信頼性を持って視線を追跡するために頭部姿勢情報を使用する機能を備えていない。
【００２３】
頭部姿勢検出と同様に、過去の視線の計測は被験者が着用する装置を使用することでなされていた。
【００２４】
視線検出のために装着する装置は、眼の近傍に配置される鏡、レンズ、あるいはカメラを備え、ある例では眼に配置される特別なコンタクトレンズを備えている。すべての方法が、高解像度を得ること、あるいは頭部位置とは無関係に眼の画像を容易に識別することを目的としている。
【００２５】
頭部姿勢検出の場合と同様に、ユーザが装置を着用する能力及び許容度と、それが信頼性に直接影響を与える点で、いかなる種類の装置を着用することも不利である。一般に装置は邪魔であって、ユーザの挙動に影響し、自然な動作及び操作を妨げる。
【００２６】
赤外線技術は、監視される人の顔に赤外線光を照射し、人の眼からの反射を検出及び分析する。
【００２７】
赤外線反射技術は、眼の表面、眼の角膜、又はその両方からの反射を検出することで機能する。
【００２８】
最初の反射は眼の球状表面から来る。この反射は眼の位置を決定する。ビデオカメラが赤外線源に連結されていれば、この反射の位置は眼球中心の位置を直接的に測定する。一方、角膜はコーナ・リフレクタとして機能する。
【００２９】
眼球表面又は角膜からの反射を検出し、角膜輪部の中心を位置検出するために、画像処理が使用される。次に、虹彩中心と反射の相対位置差を使用して精密な視線推定を計算することができる。
【００３０】
赤外線検出により非常に正確な視線計測が可能となる。しかし、この技術は以下の理由で限定される。
【００３１】
角膜は狭い角度範囲で、光源に対してのみ光線を反射する（コーナ・リフレクタと同様に機能する）。そのため視線が狭い範囲に限定される場合に、赤外線の適用が制限される。
【００３２】
高い信頼性をもって眼の反射を分析するには、高解像度の画像が必要となる。画像センサの解像度は限定されているので、これによってセンサの視野が制限される。この問題を解決するには、非常に高価な高解像度のセンサを使用するか、大型で故障がちである機械的なパン・チルト機構（pan-tilt mechanism）を使用するかのいずれかである。
【００３３】
自然な照明条件では、反射屈折プロセスが容易に混乱する。信頼性向上のためにフラッシュ技術が使用されることが多いが、太陽光に対する瞳孔の飽和によりフラッシュ検出が失敗する。運転状態で一般的である瞳孔上での光の揺れによっても、計測に誤差が生じる。
【００３４】
赤外線反射技術を使用してなされる視線計測は二次元のみである。すなわち、眼球のカメラからの距離が決定されないので、頭部のカメラからの距離が固定されているという仮定に基づいて計測が行われる。カメラへ向かう又はそれから離れる頭部の運動により眼の反射の距離が変化し、視線方向の変化として判断される可能性がある。
【００３５】
カメラへ向かう又はそれから離れる運動を補償する技術は、反射物の画像領域又は顔の他の領域の計測に基づくが、解像度制約、他の光源からの反射の重なり、及び頭部の回転によるゆがみにより、ノイズが発生する傾向がある。
【００３６】
受動型の視線分析の既知の技術の大部分が、以下を含む多数の共通の問題のうちの一つを有している。
【００３７】
−視線は顔の向きに対して直角であると仮定されており、この方法は眼の領域を検出する技術に過ぎない。受動的な視線分析は実際には実行されていない。
【００３８】
−当該技術は頭部の向き及び運動を補償するための三次元的な頭部姿勢の追跡を行うことなく視線追跡を実行しており、画像平面上の並進が限定されているか、頭部が完全に動かない場合に応用が制限される。
【００３９】
いくつかの既知の技術では、視線方向の推定にニューラルネットワークを使用する。ニューラルネットワークは監視される人毎に長期間の学習が必要であり、すべての頭部運動に適用できるものではない。
【００４０】
眼の回転による虹彩環のゆがみの認知に基づく技術は、ノイズが激しく解像度に対して敏感な傾向がある。
【００４１】
１９９９年に日本の東京で開催された、システム、人、及びサイバネティクスに関するＩＥＥＥ国際会議（IEEE International Conference on Systems, Man, and Cybernetics）で発表されたキム・キュンナム（Kim Kyung-Nam）他の「ヒューマン・コンピュータ・インターフェースのための視野に基づく視線追跡（Vision-Based Eye-Gaze Tracking for Human Computer Interface）」は、虹彩中心を見つけ出すために、環状ハフ変換（circular Hough transform）を使用している。虹彩中心の顔上に装着される固定のマーカからの距離を使用して視線方向が決定される。よって、この技術では、頭部の回転及びカメラ軸に沿った頭部の並進は、視線方向の変化であると判断される。
【００４２】
米国特許第６，０７２，８９２号には、「眼の位置の検出装置及びその方法（eye position detecting apparatus and method thereof）」について記載されている。この技術ではヒストグラム分類の手法を用いて、顔画像における眼の位置を検出する。この技術は眼の位置を検出するだけで、実際の視線測定は実行していない。
【００４３】
米国特許第６，０５５，３２３号には、まず両鼻孔（nares, nostrils）を検出し、顔のデフォルトモデルを使用して眼の画像領域を決定することで、顔画像中の両眼の位置を検出する、「顔画像処理（face image processing）」の技術が記載されている。
【００４４】
米国特許第５，８５９，６８６号には、検出誤差の可能性を減少するために可能性のある眼の位置に関する知識を組み合わせて、虹彩画像テンプレートの標準化された相互相関を使用して眼を検出して追跡する「眼の検知及び追跡システム（eye finding and tracking system）」について記載されている。
【００４５】
これらの各技術は、頭部の三次元的運動を考慮しておらず、頭部の回転及びカメラ軸に沿った頭部の並進により誤差が生じる傾向がある。
【００４６】
装置の装着と能動的な感知も眼の閉鎖及び瞬きの検出に使用されている。
【００４７】
眼閉鎖量の測定又は瞬きの検出のために装着する装置は２つのカテゴリーに大別される。すなわち、眼の付近に装着され瞼の筋肉の活動を計測する電極を使用する技術と、頭部に装着されて眼の領域に赤外線光を照射し、反射光に基づいて眼閉鎖量を検出する装置とがある。
【００４８】
装着に対するユーザの能力と許容度が、信頼性に直接的に影響するので、いずれの種類の装置を装着することも問題があることは明らかである。この種の装置は一般に邪魔でユーザの挙動に影響し、自然な運動及び操作を阻害する。
【００４９】
眼閉鎖及び瞬きを検出するための既知の動的なビデオ技術の一つでは、３個のパラメータについて変形可能な眼のテンプレートを備えている。最初の２個のパラメータは瞼の放物線形状を表し、３番目のパラメータは虹彩と強膜の間の角度を示す円の半径を表している。この技術は個々の眼の目尻と目頭の位置を検出することによるものである。頭部姿勢を三次元的に追跡していないので、頭部が画像平面から離れるようには回転しないという仮定が組み込まれている点は、眼を検出する技術と同様である。
【００５０】
米国特許第５，８６７，５８７号には、「眼の瞬きの分析を使用するオペレータの疲労の検出及び警告システム（impaired operator detection and warning system employing eyeblink analysis）」について記載されている。この技術は、瞬きの発生を検出し、オペレータの疲労を検出する目的で瞬きの継続時間を計測する。まず、米国特許第５，８５９，６８６号の特許されている技術を用いて眼が検出される。眼のテンプレートの相関における変動が特定の条件の組を満たすと、瞬きの発生が検出される。オペレータの頭部が大きく回転したような場合には頭部姿勢の追跡が不適切となるので、記載されている瞬き検出の技術は不完全である。
【００５１】
米国特許第５，８７８，１５６号には、「入力された顔画像における眼と眉の関係の分析に基づく眼の開放／閉鎖状態の検出（detecting the open/closed state of the eyes based on analysis of relation between eye and eyeblow images in input face images）」のための技術について記載されている。この技術では、眼と眉の周辺の画像領域を二値化し、眼と眉を表す領域を決定し、次にこれらの領域の重心間距離を計算する。眼及び眉の画像領域の比率を決定する技術が、カメラからの頭部姿勢距離の変化に対する信頼性を与えるために使用される。平面での頭部の回転運動により眉と眼の画像領域の面積比率が変化し、それが頭部姿勢距離の変化であると判断されるので、頭部が左右に回転する場合には信頼性がない。また、この技術は、オペレータが色の薄い又はブロンドの眉を有する場合や、顔面で眉が動き回る場合や、眼における光の反射条件が変化する場合には、信頼性がない。さらに、この技術は、眼鏡又はサングラスを使用しているときには、フレームが眉の画像領域を覆うというだけの理由で、まったく機能しない。
【００５２】
要約すると、視線の測定、眼の閉鎖の測定、又は瞬き検出についての既知の技術は、頭部姿勢の三次元的推定を、視線、眼の閉鎖、又は瞬きの検出のようなさらに進んだ顔の分析の基礎として用いていない。これらの技術は、頭部姿勢、視線、眼の閉鎖、又は瞬きの検出を独立して計測しており、同時に行っていない。従って、これらの技術は測定間の関係を有効利用することができず、概ね、測定上の問題を過度に単純化した手法であるため、適用が制限される。
【００５３】
さらに詳細には、既知の技術は、視線や眼の閉鎖の測定や瞬きの検出の際の頭部の位置及び回転の広範な変化について好適に説明されておらず、信頼性を主張するにもかかわらず、特定の限られた頭部姿勢についてのみしか信頼性が得られない。従って、既知の技術は、自動車の運転のような着座姿勢での機械操作における一般的な頭部の運動に適用するには不十分である。
【００５４】
また、顔のどの部位に柔軟性があるかを自動的に検出する先行技術は知られていない。顔アニメーション（facial animation）のためのモーションキャプチャの分野では、このような技術に対する要求がある。
【００５５】
今日の顔アニメーション技術では、人間の顔上に規定されたポイントないしはノードを、コンピュータアニメーションのキャラクタ上の他の一群のポイントないしはノードにマッピングする。これらのポイントは顔上にマークを配置することで手動的に選択され、次にアニメーションソフトウェア中の顔の外形上に対応する制御ポイントが配置される。この制御ポイントを識別するプロセスは冗長であり、自動的に顔上のすべての柔軟性ポイントを見つけ出すことで改良することが望まれる。
【００５６】
米国特許第６，０２８，９６０号には、「自動読唇及びキャラクタ・アニメーションのための顔器官の分析（face feature analysis for automatic lip-reading and character animation）」の技術が記載されている。この技術では鼻孔の特徴を識別することで顔を追跡し、唇及び口の外形を決定する。次に、人工顔モデルを制御するために唇及び口の外形が使用される。この技術は、コンピュータアニメーションの喋るキャラクタ用に唇の運動を動画化するプロセスを単純化している。しかしながら、この技術はアニメーションを実行するために、唇以外の他の顔器官を使用することに言及していない。その代わりに、この技術は唇及び口の外形のみを使用する人工的な顔の造作の生成によっている。この技術は、口によらない瞼、眼球、眉及び他の顔の表情による顔の表情を捉えるアニメーションプロセスを単純化するものではない。
【００５７】
この技術は鼻孔のみを追跡するので、カメラに対して鼻孔が見えている間のみ追跡が可能である。このシステムでは、頭部が前方に傾斜して鼻の頂部で鼻孔がカメラに対して隠れている場合に、頭部の向きが得られないことは明らかである。
【００５８】
米国特許第６，０１６，１４８号には、「顔画像のアニメーション・ワイヤフレーム・トポロジーへの自動マッピング（automated mapping of facial images to animation wireframes topologies）」の技術について記載されている。この技術では、計測された顔上のポイントないしはノードの位置をコンピュータモデル化されたワイヤフレーム・メッシュ・トポロジー上の対応するポイントないしはノードに変換する一般原則が記載されている。この特許には、それら顔上のポイントないしはノードの位置を自動的に決定する方法は含まれていない。
【００５９】
【特許文献１】
米国特許第６，０４９，７４７号
【特許文献２】
米国特許第５，８６７，５８７号
【特許文献３】
米国特許第５，８７８，１５６号
【特許文献４】
米国特許第６，０７２，８９２号
【特許文献５】
米国特許第６，０５５，３２３号
【特許文献６】
米国特許第５，８５９，６８６号
【特許文献７】
米国特許第６，０２８，９６０号
【特許文献８】
米国特許第６，０１６，１４８号
【非特許文献１】
パップウ（Pappy）,ベアドスレイ（Beardsley）, 「視線方向の分類に対する質的アプローチ（A Qualitative Approach to Classifying Gaze Direction）」, 自動及びジェスチャ認識の会議（Conference of Automatic and Gesture Recognition）,１９９８年
【非特許文献２】
マリウス・マルシウ（Marius Malciu），フランコイセ・プレティュク（Francoise Preteux），「ビデオシーケンスにおける３次元頭部追跡のロバスト・モデルに基づく試み（A Robust Model-Based Approach for 3D Head Tracking in Video Sequence）」，自動及びジェスチャ認識の会議２０００（Conference of Automatic and Gesture Recognition 2000），２０００年
【非特許文献３】
イェ・チャン（Ye Zhang），チャンドラ・カンブハメツ（Chandra Kambhamettu），「部分遮蔽下でのロブスト３次元頭部追跡（Robust 3D Head Tracking Under Partial Occlusion）」，自動及びジェスチャ認識の会議２０００（Conference of Automatic and Gesture Recognition 2000），２０００年
【非特許文献４】
ジェイ・ストローム（J.Strom），ティー・ジェバラ（T.Jebara），エス・バス（S.Basu），エイ・ペントランド（A. Pentland），「顔のリアルタイム追跡及びモデリング：統合アプローチによるＥＫＦに基づく解析(Real Time Tracking and Modeling of Faces:An EFK-based Analysis by Synthesis Approach)」，コンピュータ映像の国際会議（International Conference on Computer Vision），１９９９年
【非特許文献５】
ミン・クゥ（Ming XU），タカコ・アカツカ（Takako Akatsuka），「動的顔認識のためのステレオ画像シーケンスからの頭部姿勢検出（Detecting Head Pose from Stereo Image Sequence for Active Face Recognition）」，顔及びジェスチャの自動認識の会議（Conference on Automatic Face and Gesture Recognition），１９９８年
【非特許文献６】
ノーバート・クルーガ（Norbert Kruger）、マイケル・ポトッシュ（Michael Potzsh）、トーマス・マウラー（Thomas Maurer）、及びマイケル・リン（Michael Rinne），「ラベル付きグラフによる顔の位置及び姿勢の推定（Estimation of Face Position and Pose with Labelled Graphs）」，英国機械視覚会議（British Machine Vision Conference）会報，１９９６年
【非特許文献７】
キム・キュンナム（Kim Kyung-Nam）他，「ヒューマン・コンピュータ・インターフェースのための視野に基づく視線追跡（Vision-Based Eye-Gaze Tracking for Human Computer Interface）」，システム、人、及びサイバネティクスに関するＩＥＥＥ国際会議（IEEE International Conference on Systems, Man, and Cybernetics），１９９９年
【非特許文献８】
ヨシオ・マツモト（Yoshio Matsumoto），アレキサンダー・ツェリンスキー（Alexander Zelinsky），「頭部姿勢及び視線方向計測のリアルタイムステレオビジョン実行のためのアルゴリズム（An Algorithm for Real-time Stereo Vision Implementation of Head Pose and Gaze Direction Measurement）」，顔及び動作認識に関する第４回ＩＥＥＥ国際会議の会議録（Proceedings of IEEE Fourth International Conference on Face and Gesture Recognition (FG'2000)），２００２年３月，ｐ．４９９−５０５
【非特許文献９】
リース・ニューマン（Rhys Newman），ヨシオ・マツモト（Yoshio Matsumoto）,セバスチャン・ルジョー（Sebastien Rougeaux)，アレキサンダー・ゼリンクスキー（Alexander Zelinsky）「頭部姿勢及び視線方向推定のリアルタイムステレオ追跡（Real Time Stereo Tracking for Head Pose and Gaze Estimation）」，顔及び動作認識に関する第４回ＩＥＥＥ国際会議の会議録（Proceedings of IEEE Fourth International Conference on Face and Gesture Recognition (FG'2000)），２００２年３月，ｐ．１２２−１２８
【００６０】
（発明の概要）
本発明は、頭部姿勢を決定するための改良されたシステム及び方法を提供することを課題としている。
本発明の第１の態様は、人の視線の方向を受動的に検出する方法であって、少なくとも２つの方向から人の顔と頭部の画像を取得し、２以上の取得した画像内で顔を位置測定し、頭部姿勢の初期推定を計算し、識別可能な顔器官を含む可能性がある個々の取得した画像内で、頭部姿勢の初期推定に基づいて器官検索領域を識別し、個々の取得した画像中の前記２以上の個々の器官検索領域内で２以上の顔器官を測定し、前記２以上の個々の顔器官の３次元位置を計算し、頭部モデルを前記２以上の顔器官の位置に最も適合させる回転変位と並進変位を含む頭部姿勢測定を決定し、１つの眼球の中心の位置を決定するために頭部姿勢測定を使用し、前記個々の取得した画像中で前記眼球に対応する眼領域を検知するために前記頭部姿勢測定を使用し、眼の虹彩の中心の位置を決定し、その眼の視線方向を計算するために前記決定した眼球の中心の位置と前記決定した眼の虹彩の中心の位置を使用する、ステップを備える方法を提供する。
【００６１】
本発明の他の態様は、人の２つの眼の視線の方向を平均化することで人の眼の視線の方向を計算し、個々の眼の視線の方向は前記の方法で決定する、人の視線の方向を受動的に決定する方法を提供する。
【００６２】
本発明の他の態様は、人の顔の眼の眼閉鎖量を決定する方法であって、前記眼は眼球、上瞼、及び下瞼を備え、前記上瞼及び下瞼は一対の目尻と目頭で交わり、前記眼閉鎖量は瞼距離に対する目尻と目頭の分離量の割合として定義され、少なくとも２つの視点からの前記人の顔及び頭部の画像を取得し、前記取得した画像から頭部姿勢測定値を決定し、前記取得した画像内で眼領域を決定するために前記頭部姿勢測定値を使用し、前記眼領域内の前記目尻と目頭の位置を決定し、前記上瞼及び下瞼に対して少なくとも２つの指向性エッジディテクタを適合させ、目尻と目頭において前記上瞼の前記指向性エッジディテクタの１つを、前記下瞼の前記指向性エッジディテクタの１つに交差させ、前記各瞼に対応する前記少なくとも２つの指向性エッジディテクタに対して放物線を適合して、前記上瞼及び前記下瞼の位置を概算し、各放物線はその放物線の個々の瞼の少なくとも２つの指向性エッジディテクタに対して正接し、前記目尻と目頭の間の距離を計算することにより前記目尻と目頭の分離量を決定し、前記目尻と目頭を結ぶ線に対して直角な方向で、前記目尻と目頭の間の前記放物線の一部での前記放物線間の最大距離を計算することにより、最大瞼距離を決定し、前記決定した目尻と目頭の分離量の最大瞼距離に対する割合を用いて眼閉鎖量を計算する、ステップを備える、人の顔の眼の眼閉鎖量を決定する方法を提供する。
【００６３】
本発明の他の態様は、人の眼の瞬きを検出する方法であって、眼閉鎖値を計算し、前記眼閉鎖値のテンポラルシーケンスを形成し、前記眼閉鎖値のテンポラルシーケンスと瞬きテンプレートを比較し、前記瞬きテンプレートは、前記瞬きテンプレートと眼閉鎖閉鎖量と前記モデルテンプレートシーケンスの間の相関値を決定するために、瞬きに対応する眼閉鎖値のシーケンスを含み、前記相関値が予め定められた閾値よりも大きい場合には瞬きの発生が決定される、ステップを備える、人の眼の瞬きを検出する方法を提供する。
【００６４】
本発明の他の態様は、複数の独立の測定値を使用して人の眼の瞬きを検出する方法であって、前記複数の測定値はそれぞれ経時変化する出力値を生成し、前記複数の測定値の少なくとも１つが測定可能であり、前記複数の独立の測定値の２以上の出力値を加重付けして合成して瞬き検出値を計算し、前記瞬き検出値が予め定められた瞬き検出値の閾値よりも大きい場合には瞬きの発生が決定される、ステップを備える、人の眼の瞬きを検出する方法を提供する。眼領域テンプレート相関係数と、前記眼領域におけるオプティカルフローの測定値と、眼領域画像の変動率と、虹彩テンプレート相関係数とのうちから、前記独立の測定値の少なくとも１つを選択する。
【００６５】
本発明の他の態様は、観察者の視線方向を決定する方法であって、（ａ）前記観察者の少なくとも１つの画像を取得して前記観察者の頭部姿勢角度を決定し、前記観察者の予想される眼位置を捜し出すために前記頭部姿勢角度を使用し、（ｂ）前記観察者の少なくとも１つの眼を捜し出すために前記予想される眼位置を分析し、（ｃ）前記眼の位置を観察して視線方向を決定するステップを備える、観察者の視線方向を決定する方法を提供する。
【００６６】
前記ステップ（ａ）はステレオ画像の取得と、このステレオ画像の処理を含むことが好ましい。前記ステップは、（ｉ）観察者の顔で一組の識別可能な器官を決定し、（ｉｉ）現在の頭部姿勢の候補器官位置を分類して見込みのある頭部姿勢を決定するステップをさらに含んでいてもよい。
【００６７】
前記方法は、ユーザがサングラスを装着する場合のように観察者の顔に遮蔽があると緩やかに質低下する。
【００６８】
前記方法は、観察者の眼の回転の中心の三次元位置の決定と、観察者の眼の閉鎖及び瞬きの決定をさらに含む。
【００６９】
前記方法は、観察者の顔の個々の器官が柔軟か固定されているかを決定するために器官位置の測定を使用する。
【００７０】
本発明の他の態様は、人の顔の柔軟性のある器官を検出する方法であって、前記顔器官の予想される位置からの前記器官の位置の分散を、頭部姿勢の測定値に基づいて、その器官が柔軟性を有するかを決定する閾値分散と比較するステップを備える、人の顔の柔軟性のある器官を検出する方法を提供する。頭部姿勢は前記方法を使用して決定することが好ましい。
【００７１】
本発明の他の態様は、前記被験者の挙動を分析するために前記請求項のいずれか１項に記載の方法で仕事を実行する人を分析する方法を提供する。
【００７２】
本発明の他の態様は、被験者の動作が前記請求項のいずれか１項に記載の方法により追跡され、前記動作に応じて画像がアニメーション化される、画像をアニメーション化する方法を提供する。
【００７３】
頭部姿勢、視線、眼閉鎖量、及びオペレータの瞬き率のうちの１以上を追跡するステップを備える、オペレータの疲労を測定する方法を提供する。
【００７４】
前記方法を使用して、頭部姿勢、視線、眼閉鎖量、及びオペレートの瞬き率のうちの１以上を測定することが好ましい。
【００７５】
前記方法を実行するための種々の応用が開示されている。
【００７６】
（実施例の詳細な説明）
他の形態も本発明の範囲に含まれるが、添付図面を参照して本発明の好適な形態を例示として説明する。
【００７７】
図１は、本発明の一実施例にかかる頭部姿勢の追跡を実行する方法を示すフローチャートである。この方法には２つの主な段階、すなわち予備的頭部姿勢決定１５と頭部姿勢追跡ループ５５がある。これらの段階１５，５５はそれぞれ幾つかのステップを備え、各サブステップがさらに幾つかのサブステップを備えていてもよい。
【００７８】
予備的頭部姿勢決定１５は、顔位置測定１０のステップと頭部姿勢概算３０のステップとを含む。頭部姿勢追跡ループ５５は、テンプレート投射４０の段階、テンプレート検索５０の段階、及び頭部姿勢計算及び眼画像取得７０の段階とを含む。
【００７９】
一般に、頭部追跡を実行可能なシステムは、研究の対象である頭部を両方が撮影可能となるように搭載された２つのカメラを備えている。一つの特定方向で顔が遮蔽された場合にシステムにロバスト性を付与し、距離及び位置をより正確に計算できるように、カメラは互いに離れて配置されなければならない。頭部姿勢、視線方向、及び後述する他の属性を決定するために、カメラで収集された画像データの蓄積及び／又は処理が可能なプロセッサにカメラが接続されていなければならない。
【００８０】
次に、各段階について詳細に説明する。頭部追跡を構築するために、最初に頭部姿勢追跡ループに入る前、又は追跡失敗からの回復時に、少なくとも１つのカメラの視野内での頭部位置の概算が決定される。この段階を予備的頭部姿勢決定１５という。
【００８１】
予備的頭部姿勢決定１５で実行される最初のステップは、顔位置測定１０である。顔位置測定１０は、カメラから取り込んだ画像をサブサンプリングし、このサブサンプリングされた画像を一連の低解像度の顔領域テンプレートのいずれか１つについて検索する。この検索では、サブサンプリングされた画像内で現在のテンプレートに対応する顔領域の候補位置を試すために、正規化相互相関法を使用する。
【００８２】
顔領域テンプレートは、顔の前面及び左右側面から取り込んだ画像から導出することができる。不利な条件下、すなわち照明が不足又は変化する条件下で、適合するテンプレートを検知する尤度を向上するために、顔の前面の画像が複数のサブ領域に分割される。
【００８３】
複数の顔領域テンプレートを使用することで、顔を検知する確率が増し、追跡ループ回復率が向上するので、システム全体として信頼性が向上する。例えば以下の状況が生じた際に、この技術は有利である。
【００８４】
カメラから顔がそれた。
【００８５】
顔が部分的に遮蔽された。
【００８６】
顔の一部の画像が飽和する程度まで顔が一方から明るく照らされている場合を含め、顔が不均一に照らされている。
【００８７】
顔の下半分に明るい光が直接照射されているが、上部は影に入っている（被験者が帽子を被っているかサンバイザを使用しているような場合）。
【００８８】
テンプレートの１つと適合するまで、顔位置測定１０が繰り返される。いずれのテンプレートもサブサンプリングされた画像と適合しなければ、カメラによって生成された次の画像について再び顔位置測定が試みられる。
【００８９】
顔領域テンプレートの少なくとも１つが予め定められた閾値を越える相関係数でサブサンプリングされた画像と適合すれば、上手く位置測定される顔領域が決定する。
【００９０】
顔位置測定が達成されると、この方法のステップ３０において、初期の頭部姿勢概算がなされる。適合した特定のテンプレートと、それの画像内での位置とに基づいて、顔姿勢の初期推定がなされる。例えば、左耳の周囲の領域で適合が上手くいったことは、頭部が右に回転していることを示すと解釈される。好適な頭部姿勢推定がなされると、その推定は頭部姿勢追跡ループに入るために使用される。
【００９１】
頭部姿勢追跡ループ５５は、予め定められた一連の顔器官テンプレートに対する画像領域の適合に基づく。このシステムは、２つのグループ、すなわちアクテイブサブセットとイナクティブサブセットに分かれている顔器官テンプレートを備えている。アクティブテンプレートは、それらの予想される可視性、画像に対する各テンプレートの適合の質、及びテンプレートの組で境界付けされる顔の領域に対するテンプレートの寄与を含む複数の基準に基づいて、テンプレートを加え又は減らすことによって、維持される。テンプレート選択技術は、テンプレートのサブセットが他のすべての候補サブセットよりも頭部姿勢測定が迅速かつ正確となるように、テンプレートのサブセットを維持することを目的としている。
【００９２】
頭部追跡ループ５５の最初のステップはテンプレート投射５０である。テンプレート投射５０の間、カルマンフィルタを適用した頭部姿勢の推定を使用して、各カメラから画像フレームに予想されるテンプレートが投射される。予想されるテンプレートの位置は、正確な器官適合を達成するためにテンプレートが検索される検索領域を規定する基礎を構成する。
【００９３】
頭部姿勢追跡ループ５５における次のステップは、前記ステップ５０で規定される検索領域内でのテンプレートの検索である。各カメラの指定された検索領域内での各テンプレートについての検索に、正規化相互相関が使用される。テンプレート適合ルーチンの１回の反復の間、アクテイブサブセットのテンプレートのみがビデオ画像での検索に使用される。最も機能しないテンプレート、すなわち検索領域内の画像との相関が最も低いテンプレートは、アクティブテンプレートのサブセットから除去され、特定の器官についての次の検索反復で使用される新たなテンプレートに置換される。この処理が顔のすべての検索領域について繰り返される。
【００９４】
各テンプレートについての相関の総和が予め定められた閾値を上回ると、頭部姿勢追跡は成功である。相関の総和が閾値を下回れば、頭部姿勢追跡が終了され、処理全体が再度開始される。テンプレートのサブセットの画像サブ領域に対する相互相関により好適な適合のテンプレートが検知されない場合、顔位置測定１０のステップにおいて、処理が初期条件に戻り、１つのサブサンプルビデオフレーム内で顔のサブ領域を検索することで処理が開始される。
【００９５】
選択された検索領域内の器官テンプレートの相互相関の総和に基づいて頭部姿勢追跡が確認されると、頭部姿勢計算及び眼画像取得が７０において実行される。
【００９６】
頭部姿勢計算及び眼画像取得７０のステップは、システムの２つのカメラから得た顔画像内での適合したテンプレートの三次元器官位置を決定することにより実行される。個々の器官の位置から頭部姿勢を決定することができる。また、画像内での眼領域の位置がステップ５０におけるテンプレート適合により決定されない場合には、眼領域の位置は適合した器官テンプレートの位置からの計算によって決定される。
【００９７】
正確な眼画像決定を維持するために、テンプレート投射４０のステップと、頭部姿勢計算及び眼画像取得７０に先行する各テンプレートの画像サブ領域との相互相関によるテンプレートの検索５０のステップとが、処理を通じて繰り返される。
【００９８】
前述のように、頭部姿勢は、口角、眼、鼻孔、又は顔の他の認識可能な領域のような顔器官の測定値により構成される。各器官についての検索領域は、顔位置測定１０又は追跡ループ５５の反復のいずれかで与えられる頭部姿勢測定値を使用して推定される。器官テンプレートに適合する器官を検索する、カメラから得た画像の小さなサブ領域を位置検出することには、２つの主な利点がある。まず、各検索に要する計算時間が大幅に低減され、次に誤った器官適合が防止される。
【００９９】
１９９３年にＩＮＲＩＡの技術レポートに掲載されたファウジャーズ・オー（Faugeras,O）他の「リアルタイム相関に基づくステレオ：アルゴリズムの実行及び応用（Real Time Correlation-based Stereo: algorithm implementation and application）に記載されているような多重解像度正規化相互相関法を使用して、特定の検索領域内で各器官が正確に位置検出される。多重解像度テンプレート検索法は、２段階の単純な処理である。まず、各器官テンプレートのサブサンプリングされたバージョンが各器官の概算位置を検知するために使用される。次に、概算位置の周囲の小画像領域が最大解像度の器官テンプレートを使用して検索される。この技術により、器官検索の時間が大幅に低減される。
【０１００】
得られた相関係数が規定された閾値よりも大きい場合には、器官が検知される。器官が２以上の画像で検知され場合には、その器官の三次元位置を計算することができる。
【０１０１】
各器官の三次元位置は、図２に示すように複数の視点からその器官の位置を決定することで測定する。
【０１０２】
図２は、特定の顔器官ｘの位置とカメラ２１０，２２０，２３０に対する相対位置を示している。各カメラ２１０，２２０，２３０に対する画像平面は、それぞれ線２１５，２２５，２３５で示されている。このシステムはＮ個のカメラを含む場合に一般化することができるが、説明のため、この例ではＮ＝３としている。点c0,c1,cN-1はＮ個のカメラ２１０，２２０，２３０の中心をそれぞれ示し、線２１２，２２２，２３２はカメラ２１０，２２０，２３０の中心c0,c1,cN-1における法線ベクトルをそれぞれ示している。ベクトルｄ0,ｄ1,ｄN-1は、カメラ２１０，２２０，２３０の中心Ｃ0,Ｃ1,Ｃｎ -1から対象となっている特定の器官ｘの位置に向いた正規化ベクトルをそれぞれ示している。
【０１０３】
Ｎ個のカメラで観察されている器官の三次元位置ｘを計算するには、以下の等式を解く必要がある。
【０１０４】
【数１】
Figure 0005016175
【０１０５】
ここでマトリクスＡは以下のように定義される。
【０１０６】
【数２】
Figure 0005016175
【０１０７】
また、ベクトルｂは以下のように定義される。
【０１０８】
【数３】
Figure 0005016175
【０１０９】
また、Ｉは以下のマトリクスである。
【０１１０】
【数４】
Figure 0005016175
【０１１１】
ここでｃｉはｉ番目のカメラの中心を示し、ｄｉは画像平面内で見てカメラの中心ｃｉから器官ｘに向いた正規化方向ベクトルを示している。器官の３次元位置は以下のような得られる。
【０１１２】
【数５】
Figure 0005016175
【０１１３】
前記の方法を使用して、複数のカメラの画像で顔器官が適合すれば、顔器官の３次元位置を決定することができる。この方法で三次元位置が決定された顔器官が頭部姿勢決定に使用される。
【０１１４】
頭部姿勢を決定するために、適合したテンプレートが３次元剛体に連結されていると仮定され、この剛体を参照の３次元剛体に適合させるために必要な回転及び並進が、監視している人の頭部姿勢を決定するために使用される。
【０１１５】
頭部姿勢は、２組の座標の回転
Figure 0005016175
及び並進（ｘ，ｙ，ｚ）の組合せとして３次元的に決定される。計算された頭部姿勢（回転成分と並進成分からなる。）の最適値は、頭部モデルを顔器官３次元測定値に対して最も良好に適合させる。各テンプレートの相関の強度が、最小自乗法における加重値として使用される。この問題に対する閉じた形の解法（closed from solution）は、良好に追跡している点に向けてバイアスされており、遮蔽、ノイズ、及び遠近ひずみに対して結果がロバスト化されている。
【０１１６】
この問題に対する最小自乗の閉じた形の解法の等式を以下に説明する。
【０１１７】
頭部モデルの回転Ｒと移動Ｔは、以下で定義される誤差Ｅを最小化することで、回復することができる。
【０１１８】
【数６】
Figure 0005016175
【０１１９】
ここでｗｉはｉ番目の器官の信頼測定値（confidence measurement）、ｘｉはｉ番目の器官の測定された３次元位置、ｍｉは顔モデルにおけるこの器官の３次元位置である。
【０１２０】
以下の頭部回転Ｒの４元数表示を使用する。
【０１２１】
【数７】
Figure 0005016175
【０１２２】
回転Ｒは以下のようにラグランジェの方法を用いて誤差Ｆを最小化すること回復することができる。
【０１２３】
【数８】
Figure 0005016175
【０１２４】
ここでエックスバーは測定値ｘｉの加重平均、xi, エムバーはモデル点ｍｉの加重平均、λはラグランジエのパラメータである。また、移動は以下の等式を使用して計算される。
【０１２５】
【数９】
Figure 0005016175
【０１２６】
前述のように、頭部姿勢は一組の顔器官テンプレートを使用して再構成される。追跡速度と精度を最大にするために、各反復毎に既知の器官の総数のサブセットが検索される。各反復毎にサブセットに対して一定数のテンプレートが追加又は除去される。このサブセットにおけるテンプレートを「アクティブ」という。
【０１２７】
以下に基づいてアクティブテンプレートが選択される。
【０１２８】
最後の反復の画像に対するテンプレートの相関の質（遮蔽され又はゆがんだ顔器官は検索すべきでない。）。
【０１２９】
サブセット中の他のアクティブテンプレートからのテンプレートの距離（顔を隔てて器官が離れている程、頭部姿勢測定が正確になる。）。
【０１３０】
顔姿勢から計算した、テンプレートに対する顔器官のゆがみ（見えそうな器官が遮蔽されたそうな器官に優先して選択される。）。
【０１３１】
カルマンフィルタリングは推定処理においてノイズを平滑化するために使用され、次の反復における頭部姿勢の予測を与える。カルマンフィルタは頭部運動の力学について定速モデルを使用している。これは一般的に実行されている種類のカルマンフィルタである。追跡とデータ結合（Tracking and Data Association）、科学と工学における数学（Mathematics in Science and Engineering）の第１７９巻、アカデミープレス（Academic Press）、１９８８年、ワイ・バーシャロム（Y. Bar-Shalom）とティー・イー・フォートマン（T.E. Fortmann）には、カルマンフィルタのより詳細な説明が記載されている。
【０１３２】
視線測定に移る。視線推定法は、眼球の回転中心と、虹彩の中心の測定によるものである。個々の眼の視線方向は、射線がこの２点を通るように計算される。次に、全体の視線方向が以下のように計算される。
【０１３３】
頭部姿勢測定値を使用して個々の眼の視認性が決定され、
両眼が共に視認可能であれば、視線方向は両眼の平均方向として計算され、
１個の眼のみが視認可能であれば、視線方向は視認可能な眼のみを使用して計算され、
いずれの眼も視認可能でなければ、視線方向は顔の面に対して直交する方向として計算される。
【０１３４】
この技術を用いて、頭部姿勢にかかわらず、システムは緩やかに質低下する視線方向の推定（gracefully degrading estimate of eye gaze direction）を行うことができる。
【０１３５】
従って、視線方向の推定において重要なステップは、眼（両眼）の回転中心の位置を決定すること、及び虹彩の中心を位置検出することである。
【０１３６】
眼球中心は直接的に視認することができないので、眼の回転の観察からその中心が計算される。システムは個々の眼について正確に眼球中心を計算するために、独立したキャリブレーション処理を使用する。
【０１３７】
ユーザが直接的にカメラを覗き込んでいる場合、カメラ中心から虹彩の中心に向かう射線は眼球の回転中心を通る。この事実を利用して、本システムは射線の数の最小自乗交差を計算することにより、眼球回転の中心を推定することができる。
【０１３８】
キャリブレーション処理には、人がカメラの視野内で頭部が動かしつつ短時間の間特定のカメラを真っ直ぐに見る必要がある。本システムは、この時間内での頭部姿勢の測定値及び虹彩中心の位置を記録する。
【０１３９】
射線がカメラの基準座標で表された場合には、射線はすべてカメラ中心を通る。図３は、一連の眼球４００，４０２，４０４，４０６を示し、これらはキャリブレーション及び測定中のカメラ４１０に対する４箇所の異なる位置におけるユーザの眼球を表している。一連の射線４２０，４３０，４４０，４５０が示され、これらはカメラ４１０の中心、各眼球４００，４０２，４０４，４０６の回転中心４６０，４６２，４６４，４６６、及び各眼４００，４０２，４０４，４０６の虹彩の中心４７０，４７２，４７４，４７６を通る。これらの射線は、人が種々の位置からカメラを直接的に見ていることを示している。
【０１４０】
図４に移ると、射線が頭部の基準座標で表されている場合、射線４２０，４３０，４４０，４５０はすべて眼球の回転中心４７８を横切る。頭部姿勢測定処理から分かる眼の幾何学特性及び位置を利用して、本システムは各眼の眼球中心の最小自乗推定を計算することができる。
【０１４１】
この計算は両眼について実行され、２以上のカメラを伴う技術を使用することで精度が向上する。
【０１４２】
この技術は明らかに虹彩／瞳孔中心の２次元位置を決定することによりものである。しかしながら、説明したキャリブレーション法は２次元の瞳孔中心測定を実行可能なあらゆるシステムに適用できる。
【０１４３】
虹彩中心の測定は各画像における眼の周囲の領域を検索することで実行される。これらの領域は現時点における頭部姿勢の推定及び顔のモデルにより決定される。
【０１４４】
検索処理は以下のステップを備える。
【０１４５】
−頭部測定と虹彩の半径は６ｍｍで一定であるという仮定を用いて、画像中の虹彩の寸法を計算し、
−環状ハフ変換を使用して、予想される虹彩の寸法である最適の環状領域を検知する。ディ・ダブリュ・イオアノウ（D.W.Ioannou）とライネ・エイ・ヒュダ（Laine A.Huda）の「２次元ハフ変換と放射ヒストグラムによる円認識（Circle Recognition through 2D Hough Transform and Radius Histogramming）」、画像及び映像の計算（Image and Vision Computing）、第１７巻、１５−２６頁、１９９９年には、環状ハフ変換処理が詳細に説明されている。
【０１４６】
図５は視線測定計算を表す図である。図５は半径ｒが一定の眼球５００を示し、この眼球５００は中心がｓの虹彩５１０を備え、回転中心はｅである。中心がｃであるカメラ５２０と、このカメラ５２０の画像平面５３０が概略的に示されている。画像平面５３０上に眼球５００の像５５０が示されている。眼球５００の画像も中心がｐである虹彩５６０を備えている。ベクトルｄは、カメラ５５０の中心ｃ、虹彩５６０の像の中心ｐ、及び実際の虹彩５１０の中心ｓを通る射線を表している。ベクトルｅｓ５８０は、眼球５００の回転中心ｅと虹彩５１０の中心ｓを通るベクトルであり、視線方向を示している。虹彩又は瞳孔の中心と眼の回転中心が決定されると、視線方向を計算することができる。
【０１４７】
視線方向は、以下の関係を用いて眼球中心（左又は右）の三次元位置ｅを計算することで計算される。
【０１４８】
【数１０】
Figure 0005016175
【０１４９】
ここでｅｍは顔モデルにおける眼球中心のキャリブレーションした３次元位置、Ｒ及びＴは前述の顔器官の測定値を使用して修復した回転及び移動である。
【０１５０】
画像中で虹彩の中心ｐが位置検出されると、カメラ中心ｃから虹彩中心ｓへ向けることで、ベクトルｄの方向を計算することができる。次に、視線位置はベクトルｅｓの方向により与えられる。以下の等式を解くことで三次元座標ｓを計算することができる。
【０１５１】
【数１１】
Figure 0005016175
【０１５２】
ここで、ｒは一定である眼球の半径を示している。
【０１５３】
本発明の実施例の他の特徴は、眼の位置が決定されると、眼閉鎖量を測定できることである。眼閉鎖量は両瞼間の距離の目尻と目頭の間の距離に対する比率である。図６は、眼閉鎖の測定のために、眼６００の画像を示している。
【０１５４】
目尻６１０と目頭６２０の三次元位置は頭部姿勢と頭部に対する目尻と目頭の位置から計算される。カメラ投射変換を使用して、目尻と目頭が眼画像領域に投射されている。
【０１５５】
両瞼間の距離６３０は以下のステップに従って決定される。
【０１５６】
１）眼画像領域に４つの方向付けされたエッジディテクタ（edge detector）６４０，６５０，６６０，６７０を適用する。
【０１５７】
２）ステップ１で計算された縁情報に最も適合する放物線６８０，６９０を決定する。エッジディテクタ６４０，６５０，６６０，６７０は一般に放物線６８０，６９０の接線方向に延びる。放物線６８０，６９０は常に目尻と目頭を通過する。
【０１５８】
放物線６８０，６９０が計算されると、これらの最大距離が計算され、眼開放量であると推定される。目尻と目頭の間の距離は単純に放物線６８０，６９０の両交点間の距離である。
【０１５９】
また、瞬き検出を実行することができる。本システムは複数のビジュアルキューからの出力を組み合わせて瞬き発生を検出する。この技術はマルチモード的であるので、個々の方法の不全に対してロバスト性を有している。
【０１６０】
図７の６個のグラフは、瞬き検出の一例を実行するために組み合わせられる、５個の独立のビジュアルキューを示している。最後のグラフ７Ｆは５つの独立の瞬き検出方法の加重和を示している。
【０１６１】
グラフ７Ａから７Ｆには、相関を示すために、同一期間の特定値を示している。
【０１６２】
各眼から測定した瞬き検出値は、視認可能な眼により大きな重み付けがされるように、頭部姿勢に応じて重み付け及び結合される。これによって頭部姿勢及び鼻による遮蔽による眼及び瞼のゆがみが補償される。
【０１６３】
個々のビジュアルキューは組み合わせて測定及び使用される。図７Ａは眼テンプレート相関係数がどのように時間変化するかを示している。眼が閉じているときも開いているときも、眼画像を眼のテンプレートと比較するために、眼テンプレート適合が使用される。瞬きの前後では、開いた眼のテンプレートが高い相関値を示すが、閉じた眼のテンプレートは低い相関値を示す。瞬き発生中は、その反対となる。グラフ７Ａを参照すると、領域７１０，７２０は瞬き又は他の眼の遮蔽により起こった相関係数の変化に対応している可能性がある。遮蔽が瞬きであるのか他の遮蔽であるのかを決定するために、相関値の時間系列の瞬きパターン信号テンプレートに対する畳み込みがなされる。この畳み込みの出力は瞬き発生の信頼度を構成する。
【０１６４】
グラフ７Ｂは、眼の鞏膜の色と同様の色を有する画像領域内に含まれる画素数を示している。
【０１６５】
眼画像領域中の画素の色分布が眼閉鎖量検出に使用される。眼を閉じているときには、色分布ヒストグラムは膚色の値の周辺でピークを示す。眼を開いているときには、色分布ヒストグラムは鞏膜、虹彩、及び膚の色と対応するピークを有する。谷７３０，７４０は瞬き発生に対応している可能性がある。眼の鞏膜に関連するピーク高さの時間計測により、眼の瞬き発生の測定に信頼度が付与される。
【０１６６】
グラフ７Ｃはグラフ化された眼画像の時間変化を示している。
【０１６７】
１つのフレームの次のフレームに対する経時的画像差分により、眼画像変化率が測定される。瞬き発生中、眼画像領域中の変化率が大きい。従って、ピーク７５０及び７６０は瞬きに対応する可能性がある。
【０１６８】
グラフ７Ｄは着目している期間の垂直オプティカルフローを示している。瞬き中の上瞼の運動は、眼画像領域中の垂直オプティカルフローを計算し、予想される信号と適合させることにより検出される。オプティカルフローは連続する画像中の運動を計算するために使用される周知の技術である。ビー・ホーン（B Horn）他の「オプティカルフローの決定（Determining Optical Flow）」，人工知能（Artificial Intelligence）第１７巻，１８５−２０４頁，１９８１年には、好適なオプティカルフロー計算の詳細が記載されている。
【０１６９】
前述の眼閉鎖を計算する技術により瞬き検出に関する情報も得られる。グラフ７Ｅは該当する期間における眼閉鎖量の変化を示している。７８０における値の減少は瞬きに対応するはずである。
【０１７０】
この瞬き検出方法は、瞬きの際には同時に両眼が閉じてその後に開く、という仮定に基づくものである。両眼についての推定値を一つの値に組み合わせることで、両眼の部分的な遮蔽による検出の失敗や誤りの確率も低減することができる。
【０１７１】
５つの瞬き測定値を一つの加重和にまとめると、その値を閾値と比較することができる。閾値よりも大きい値は瞬きであり、閾値よりも小さい値は瞬きでないと決定される。グラフ７Ｆはグラフ７Ａから７Ｅの加重和を示している。範囲７９０の間のみ、線７９５で示す瞬き検出の閾値を上回っている。
【０１７２】
グラフ上の特徴７１０，７４０，７６０，７７０，７８０は瞬きであると決定されるが、事象７２０，７３０，７５０は瞬きでないと決定される。事象７２０は頭の傾き又は他の眼のゆがみにより起きている可能性があり、事象７３０は例えば鼻によって眼が部分的に遮蔽されることで起きている可能性がある。眼画像の変化の大きなピーク７５０は、照明の変化又は急な眼の動きにより起きている可能性がある。
【０１７３】
本発明の例により、柔軟性器官の検出が可能である。
【０１７４】
柔軟性顔器官は、顔モデル内での頭部姿勢に対するそれらの位置測定値の確率的解析により自動的に検出される。口角、眉、及びあごのような可動の顔器官は、位置測定値が広範に変化する。器官が柔軟性を有するとみなせるか否かを決定するために、この変化が閾値と比較される。
【０１７５】
当業者にとって明らかなように、本発明の例のシステム又は方法は広範な応用範囲に応用可能である。
【０１７６】
応用
前述の実施例は頭部姿勢と視線を同時に検出する能力があるので、有用な応用が大幅に広がる。本発明の応用は３つの大きな分野、すなわち人の能力測定、オペレータ監視、及びインタラクティブなマルチメディアに分類することができる。
【０１７７】
このようなシステムは仕事を行っている人の研究及び分析に適用することができる。このシステムにより、被験者が２次元又は３次元の作業空間で自然に仕事を実行している間、受動的で邪魔にならないやり方で、視線挙動のパターンを観察することができる。本発明は視線の推定に頭部姿勢を使用するので、従来知られている方法と比較して、より広い作業空間が適用範囲となる視線測定が可能となる。この特性により、例えば自動車内の運転室のデザイン、航空機の操縦室、及び原子力発電施設のような生命に関わるシステムで使用される装置の制御パネルのような、マン−マシンインターフェイスの人間工学的デザインの評価に本システムを適用することができる。現在、人間工学的デザインの評価は、まず、場合によっては口頭の注釈をつけて複数のカメラのビデオ画像を記録することで行われる。次に、視線の固定位置、視線固定に要した時間、及び視線が止まる時間を決定するために、ビデオ画像が一コマ毎にオフラインで手動解析される。人間工学的デザインの重要目的は、視線の固定に要する時間と視線が止まる時間を最小化するユーザインターフェースを生み出すことである。視線データの手動解析は時間のかかる作業であるので、通常は数分間だけ測定された短時間の実験を部分的に解析できるに過ぎない。前記のシステムにより、数時間にわたって実行された実験について、視線固定データ、すなわち位置、時間、及び継続時間を自動的に測定することができる。また、この計測はネットワークを介して遠隔実行できる。人間工学デザイナを補助するために、視線固定データを３次元グラフィック環境で可視化することができる。
【０１７８】
作業負荷が高い状況で、オペレータが戸惑い、注意散漫となり、又は混乱して結果的に誤りを犯そうとしているか否かを決定する目的で、人間であるオペレータの能力を監視するために、本発明を使用することができる。人間の能力の限界を知ることは、航空交通管制のような生命に関わるシステムでは極めて重要である。本発明は、新たなシステムの設計及び実装中に人間の能力の限界を見つけ出し、使用中にオペレータの能力が限界に近付くとリアルタイムで自動的に警告を発するために使用することができる。
【０１７９】
また、どの特徴又は事象が人の視覚的注意を引き付けるかを測定する応用に本発明を使用することができる。この応用には、ウェブページ又は他の視覚媒体上のどの特徴がユーザの視線を引き付けるかを、ユーザの眼がそのページにどのように目を通すかと共に測定することが含まれる。このデータはデザイナが効果的なウェブページ配置や出版物等を構成するのに役立つ。同様に、広告代理店はテレビコマーシャルやマルチメディアプレゼンテーションのような宣伝材料の効果を測定することができる。本発明は、心理学者や人間工学者が種々のシナリオに基づいて特定の作業を行う被験者の視線を測定する必要がある室内実験で使用することができる。
【０１８０】
本発明は、自動車の運転、飛行機の操縦、列車の運転、又は設備の操作のような生命に関わるシステムにおけるオペレータの不注意や疲労の測定にも適用することができる。既に発表されている方法は、現実世界におけるシナリオではオペレータの不注意と疲労の両方に同時に解決することはできない。本発明は、頭部姿勢、視線、眼閉鎖量の測定と瞬き検出を組み合わせて、オペレータの不注意と疲労の両方を検出する。
【０１８１】
従来の方法は、頭部姿勢又は眼の視線／瞬きデータにより、不注意又は疲労のいずれかを検出する。この方法は、ドライバが前方の道路ではなく横を見ているか否かを決定するには有効となり得るが、眼の状態に関する重要な情報が使用されていない。頭部は前を向いているが被験者が横を見ている可能性があり、疲労している場合には眼を閉じている可能もある。眼の視線／瞬き検出による従来報告されている不注意及び疲労システムは、頭部の動きに対する許容度が最小限である。眼の追跡のみを使用するシステムでは、頭部の自然な運動によりシステムが警告の不全又は誤りを起こし得る。
【０１８２】
本発明の実施例のシステムは頭部姿勢と視線の両方の追跡を実行し、それによって頭部姿勢にかかわらず被験者の視線を連続的に推定する。例えば、ドライバーが前方を見てカメラに向いていれば、システムは視線を正確に測定し、頭部がサイドウィンドを向けば、視線の推定の質は緩やかに低下する。眼の位置測定ができない場合には、頭部姿勢のみが視線方向の推定に使用される。本発明により、システムによる不注意又は疲労の検出の不全及び誤りが最小限度となる。
【０１８３】
眼の追跡のみによるシステムでは、信頼性のある眼の追跡が不可能であるので、被験者が眼鏡又はサングラスを装着している現実のシナリオを取り扱うことはできない。このような状況では、本発明の実施例のシステムは、頭部姿勢によって視線方向を推定する。本システムは、被験者が眼鏡を装着又は外した際に、頭部姿勢のみの追跡と、頭部姿勢と視線の追跡とを継ぎ目なく切り換えることができる。
【０１８４】
本システムは、眼の閉鎖と瞬きの検出の方法を記載している。これらの技術は、ＰＥＲＣＬＯＳと呼ばている公有の居眠り運転検出アルゴリズムのオンラインバージョンをロバスト的に実行するために使用し得る。
【０１８５】
本システムの実施例は、コンピュータ周辺機器として、インタラクティブなマルチメディアへの応用に適用することができる。本システムは、マウスやキーボードのような従来の方式の入力装置を補強する、自然で直感的な入力デバイスとして機能し得る。視線でカーソル位置を制御し、及び／又は頭部のうなずき又は眼の瞬きにより命令を実行することができる。本発明が柔軟性の器官を追跡可能であることと関連するこれらの特性により、ユーザは広範なインタラクティブな用途を制御することができる。インタラクティブな用途には、コンピュータ上の顔のアニメーション化、コンピュータ及びアーケードゲームでの遊戯、テレビ会議用の低帯域ビデオストリーミング、インタラクティブなデータキャスティング、及び家電機器の操作がある。
【０１８６】
現在、異なる色を付けたマークを柔軟性及び固定の顔器官に配置する、コンピュータ顔アニメーション法（computer face animation method）が知られている。モーションキャプチャ技術を使用してアニメーションシーケンスが記録され、オフラインで解析される。固定の器官の動きと柔軟性器官の動きを識別するため、すなわち頭部の運動を唇のような顔器官の動きから分離するために、色付きマークが使用される。次に、マークの動きに従って顔のコンピュータモデルがアニメーション化される。本実施例に係るシステムにより、少なくとも色付きマークを使用することなくリアルタイムでアニメーション化処理を実行することができる。
【０１８７】
娯楽の分野では、本発明の実施例に係るシステムにより、インタラクティブ性の高いコンピュータゲームでの遊びを経験することができる。ゲーム世界を移動するのに視線を使用することができ、インターフェイスによりとらえたユーザの顔の表情は、他のユーザが制御する他のデジタルキャラクタと会話する、ゲーム中の仮想のキャラクタをアニメーション化するために使用される。
【０１８８】
テレビ会議のためのビデオストリーミングは、高帯域での応用である。通信リンクの遠隔の端部でユーザの複製をアニメーション化するために、実施例にかかるシステムを使用することができる。大量の顔画像データを送信するのではなく、柔軟性又は固定の顔器官の運動パラメータのみが送信される。従って、受信側のソフトウェアがユーザの複製をアニメーション化する。
【０１８９】
インタラクティブなデータキャスティング技術により、製品及びサービスの購入が可能となるのに加え、ユーザは必要に応じてテレビ番組及び娯楽プラグラムを選択することができ、インターネットへのアクセスも可能となる。本発明の実施例は、この技術に対する直感的で自然なインターフェイスを提供することができる。例えば、ユーザは所望の作品のアイコンに視線を固定することで、テレビ番組間の切り換えを行うことができる。
【０１９０】
将来の家電機器は、インターネットや音声認識のようなマルチモードの入力で制御可能となるように十分な情報処理能力を有する必要がある。このような機器の使用はここで記載したシステムを応用することで容易になる。ユーザは該当する装置を見つめるだけで、どの機器に「話す」かを選択することができる。例えば、照明を見て、次に「点灯」と言うだけでよい。また、本発明の実施例は、例えば地雷原、水中、又は宇宙のような危険な環境で装置やロボットの直感的な遠隔制御を行うために使用し、どの装置を操作すべきかの前後関係を操作することができる。本発明の実施例は、身体障害者が家電装置及び機器を制御したり、車椅子のような移動補助装置を制御するのを補助するために、ロボット工学と共に使用することができる。インタラクティブ及びバーチャルリアリティマルチメディアにおけるのと同様の方法で、頭部姿勢追跡と視線方向を例えば車椅子の操縦に使用することができる。四肢の動きが大幅に制限されるかまったくできない身体障害者にとって、視線は広範な種類の装置を操作するために使用することができる。
【０１９１】
前記のシステムのいずれか一つを実行可能なコンピュータには、１００MHzで１２８メガのＳＤＲＡＭを備える６００MHzのペンティアムIIIプロセッサ２個と等価の処理能力が必要である。コンピュータシステムは、２以上のビデオ源から直接ＲＡＭにビデオ画像を取り込む機能を備えていなければならない。
【０１９２】
好ましくは、画像センサは、１秒間に３０フレームの速度で少なくとも２５６段階の画素強度で、６４０×４８０の画素解像度が可能である必要がある。
【０１９３】
画像センサは頭部の周囲に配置され、監視される人の顔に向いている必要がある。
【０１９４】
システムは、追跡される顔の器官位置から得られる情報を使用して、画像センサの利得を適応性を持って制御することができる。この技術は、器官位置での画像飽和を防止し、それによって照明の揺らぎや影による追跡失敗の可能性を低減することを目的とする。
【０１９５】
イメージセンサの利得は、センサ装置電子ゲイン、センサ露光／サンプリング周期（電子シャッタ速度）、レンズ虹彩の機械的開口、赤外線フィルタリング、及び赤外線照明を含む１以上のセンサパラメータにより調整される。
【０１９６】
画像の特定領域の質に優先度を置かないカメラにおける能動的なゲイン制御によるよりも、画像センサの制御に前記のパラメータを使用する方が有利である。このゲイン制御の技術（前述の通りである。）により、追跡ループに特に関連する器官に優先度をおいて画像利得を調整することができる。
【０１９７】
本発明の実施例に係るシステムを実行可能な他のハードウェアが当業者に知られる。
【０１９８】
開示及び説明した発明は、言及された又は文章及び図面から明らかである個々の特徴の２以上を代案の組み合わせのすべてに拡張すると理解される。これらの異なる組み合わせのすべては、本発明の代案の種々の態様をなす。
【０１９９】
以上は本発明の実施例を説明してものであり、本発明の範囲から離れることなく、当業者にとって明らかな変形を行うことができる。
【図面の簡単な説明】
【図１】 本発明にかかる頭部姿勢追跡アルゴリズムを概略的に示すフローチャートである。
【図２】 三次元のテンプレート位置測定の幾何学的配置を示す図である。
【図３】 カメラの基準座標系から眼球の回転中心を検知する方法を示す図である。
【図４】 眼球の基準座標系から眼球の回転中心を検知する方法を示す図である。
【図５】 本発明の一実施例にかかる視線検出方法のための幾何学配置を示す図である。
【図６】 本発明の一実施例にかかる眼閉鎖量測定方法についての眼及び関連する放物線を示す図である。
【図７】 本発明の一実施例にかかる眼の瞬きのマルチモード分析のための一連のグラフを示す。
【符号の説明】
１０ 顔位置測定
１５ 予備的頭部姿勢決定
３０ 頭部姿勢概算
４０ テンプレート投射
５０ テンプレートの検索
５５ 頭部姿勢追跡ループ
７０ 頭部姿勢計算及び眼画像取得
２１０，２２０，２３０ カメラ
２１２，２２２，２３２ 法線ベクトル
２１５，２２５，２３５，５３０ 画像平面
４００，４０２，４０４，４０６，５００ 眼球
４１０，５２０ カメラ
４２０，４３０，４４０，４５０ 射線
４６０，４６２，４６４，４６６ 回転中心
４７０，４７２，４７４，４７６ 虹彩の中心
５１０，５６０ 虹彩
５５０ 像
６００ 眼
６１０ 目尻
６２０ 目頭
６３０ 瞼間の距離
６４０，６５０，６６０，６７０ エッジディテクタ
６８０，６９０ 放物線
７１０，７２０ 領域
７３０，７４０ 谷
７５０，７６０ ピーク

Claims (20)

  1. 人の頭部姿勢測定値の決定方法であって、前記頭部姿勢測定値は回転変位と並進変位とを含み、
    （ａ）少なくとも２つの視点から前記人の顔及び頭部の画像を取得し、
    （ｂ）頭部姿勢の初期推定を計算し、
    （ｃ）２以上の顔器官の三次元位置を計算し、
    （ｄ）前記２以上の顔器官の前記計算された位置に対して頭部モデルを最も適合させる、回転変位及び並進変位を決定する、
    ステップを備え、
    前記頭部姿勢の初期推定を計算するステップは、
    （ｂ１）前記画像をサブサンプリングし、
    （ｂ２）顔の前面の画像を複数のサブ領域に分割して得られる一連の予め定められた顔領域テンプレートの１つについて前記サブサンプリングされた画像を検索し
    （ｂ３）適合した前記テンプレートに基づいて頭部姿勢の概算を生成する、人の頭部姿勢の測定値の測定方法。
  2. 前記予め定められたテンプレートは前側、左側、及び右側から取得される、請求項１に記載の方法。
  3. いずれの前記テンプレートも前記サブサンプリングされた画像と適合しなければ、次の画像について前記頭部姿勢の初期推定を計算するステップが繰り返される、請求項１から請求項２のいずれ１項に記載の人の頭部姿勢測定値の決定方法。
  4. 前記２以上の顔器官の三次元位置を計算するステップは、
    前記頭部姿勢の初期推定に基づいて、識別可能な顔器官を含む可能性のある前記個々の取得した画像内で、器官検索領域を識別し、
    前記取得した各画像内の２以上の各器官検索領域内で、２以上の顔器官の位置を測定する、
    サブステップを備える、請求項１から請求項３のいずれか１項に記載の人の頭部姿勢測定値の決定方法。
  5. 人の視線の方向を受動的に決定する方法であって、
    （ｅ）眼球中心の位置の決定のために前記頭部姿勢測定値を使用し、
    （ｆ）前記取得した各画像内で前記眼球と対応する眼領域を検知するために前記頭部姿勢の測定値を使用し、前記眼の虹彩の中心位置を決定し、
    （ｇ）前記眼の視線方向を計算するために、前記決定した眼球の中心位置と前記決定した眼の虹彩の中心位置とを使用する、
    ステップをさらに備える、請求項１から請求項４のいずれか１項に記載の方法。
  6. 人の眼の両方の視線の方向の計算を含み、人の２つの眼の視線の方向を平均化することで、前記人の視線の方向を計算する請求項５に記載の方法。
  7. （ｈ）前記取得した画像内で眼領域を決定するために前記頭部姿勢の測定値を使用し、前記眼領域は眼球と目尻と目頭で交わる上瞼及び下瞼を含む領域であり、
    （ｉ）前記眼領域内の前記目尻と目頭の位置を決定し、
    （ｊ）前記上瞼及び下瞼に対して少なくとも２つの指向性エッジディテクタを適合させ、前記目尻と目頭において前記上瞼の前記指向性エッジディテクタの１つを、前記下瞼の前記指向性エッジディテクタの１つに交差させ、
    （ｋ）前記各瞼に対応する前記少なくとも２つの指向性エッジディテクタに対して放物線を適合して、前記上瞼及び前記下瞼の位置を概算し、各放物線はその放物線の個々の瞼の少なくとも２つの指向性エッジディテクタに対して正接し、
    （ｌ）瞼間の距離を計算することにより前記目尻と目頭の分離量を決定し、
    （ｍ）前記放物線の前記目尻と目頭の間の部分での前記放物線間の前記目尻と目頭を結ぶ線に対して直交する方向の最大距離を計算することにより、最大瞼距離を決定し、
    （ｎ）前記決定した目尻と目頭の分離量の最大瞼距離に対する割合を用いて眼閉鎖量を計算する、ステップを備える、請求項１から請求項６のいずれか１項に記載の方法。
  8. 眼閉鎖量のテンポラルシーケンスを形成し、
    前記眼閉鎖値のテンポラルシーケンスと瞬きテンプレートを比較し、前記瞬きテンプレートは、前記瞬きテンプレートと眼閉鎖値の前記モデルテンプレートシーケンス間の相関値を決定するために、瞬きに対応する眼閉鎖値のシーケンスを含み、前記相関値が予め定められた閾値よりも大きい場合には瞬きの発生が決定される、ステップを備える、請求項７に記載の方法。
  9. 複数の独立した眼閉鎖量の測定値を取得し、
    前記複数の独立の測定値を２以上重み見付けして合成して瞬き検出値を計算し、前記瞬き検出値が予め定められた瞬き検出値の閾値よりも大きい場合には瞬きの発生が決定される、ステップを備える、請求項７に記載の方法。
  10. 眼領域テンプレート相関係数と、
    前記眼領域におけるオプティカルフローの測定値と、
    眼領域画像の変動率と、
    虹彩テンプレート相関係数と
    のうちから、前記独立の測定値の少なくとも１つを選択する、請求項９に記載の方法。
  11. （ｂ）前記観察者の予想される眼位置を位置検出するために前記決定された回転変位と並進変位を使用し、
    （ｃ）前記観察者の少なくとも１つの眼を位置検出するために前記予想される眼位置を分析し、前記眼位置を観察して視線方向を決定する
    ステップを備える、請求項１から請求項４のいずれか１項に記載の方法。
  12. 観察者の眼の回転の中心の三次元位置の決定をさらに含む、請求項１１に記載の方法
  13. 前記観察者の眼の回転の中心の三次元位置の決定のステップは、複数のカメラ視野を使用した眼の回転中心の第１の測定値の決定と、前記各第１の測定値からの眼の回転中心の総合的な測定値の決定とを別個に行うステップをさらに備える、請求項１２に記載の方法。
  14. 観察者の眼の閉鎖及び瞬きの決定を含む、請求項１１に記載の方法。
  15. 仕事を実行中の人の分析に使用される、請求項１１に記載の方法。
  16. 視線、眼閉鎖量、及びオペレートの瞬き率のうちの１以上を追跡することでオペレータの疲労を測定するために使用される、請求項１１に記載の方法。
  17. カメラ位置から虹彩中心に向かう第１のベクトルを決定し、
    前記眼の回転の中心から前記虹彩中心へ向かうベクトルを決定する
    ステップを備える、請求項１２又は請求項１３に記載の方法。
  18. （ｂ）眼領域において一連のエッジ検出フィルタを適用し、
    （ｃ）前記エッジ情報に適合する２つの放物線を決定し、該放物線は実質的な接線エッジ検出点を有する
    ステップを備える、請求項７から請求項１０のいずれか１項に記載の方法。
  19. （ｄ）前記放物線間の距離を計算するステップをさらに備える、請求項１８に記載の方法。
  20. 前記放物線は前記両方目尻を通る、請求項１８に記載の方法。
JP2002514654A 2000-07-24 2001-03-08 顔画像処理システム Expired - Fee Related JP5016175B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AUPQ8960A AUPQ896000A0 (en) 2000-07-24 2000-07-24 Facial image processing system
AUPQ8960 2000-07-24
PCT/AU2001/000249 WO2002009025A1 (en) 2000-07-24 2001-03-08 Facial image processing system

Publications (3)

Publication Number Publication Date
JP2004504684A JP2004504684A (ja) 2004-02-12
JP2004504684A5 JP2004504684A5 (ja) 2012-06-07
JP5016175B2 true JP5016175B2 (ja) 2012-09-05

Family

ID=3823021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002514654A Expired - Fee Related JP5016175B2 (ja) 2000-07-24 2001-03-08 顔画像処理システム

Country Status (6)

Country Link
US (1) US7043056B2 (ja)
EP (1) EP1320830B1 (ja)
JP (1) JP5016175B2 (ja)
AU (1) AUPQ896000A0 (ja)
DE (1) DE60140067D1 (ja)
WO (1) WO2002009025A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210133995A1 (en) * 2017-08-31 2021-05-06 Sony Corporation Electronic devices, methods, and computer program products for controlling 3d modeling operations based on pose metrics

Families Citing this family (367)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
US8152198B2 (en) * 1992-05-05 2012-04-10 Automotive Technologies International, Inc. Vehicular occupant sensing techniques
US7570785B2 (en) * 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
US9129505B2 (en) 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
SE0101486D0 (sv) * 2001-04-27 2001-04-27 Smart Eye Ab Method for automatic tracking of a moving body
US6834115B2 (en) * 2001-08-13 2004-12-21 Nevengineering, Inc. Method for optimizing off-line facial feature tracking
US7197165B2 (en) 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
GB0202520D0 (en) * 2002-02-04 2002-03-20 Canon Kk Eye tracking in image data
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
GB0203035D0 (en) * 2002-02-08 2002-03-27 Univ Bristol A method of and an apparatus for measuring a person's ability to perform a motor control task
WO2003070093A1 (en) * 2002-02-19 2003-08-28 Volvo Technology Corporation System and method for monitoring and managing driver attention loads
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
AUPS170902A0 (en) 2002-04-12 2002-05-16 Canon Kabushiki Kaisha Face detection and tracking in a video sequence
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US8010402B1 (en) * 2002-08-12 2011-08-30 Videomining Corporation Method for augmenting transaction data with visually extracted demographics of people using computer vision
CN100398065C (zh) * 2002-10-15 2008-07-02 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
AU2003284186A1 (en) * 2002-10-28 2004-05-25 Morris Steffin Method and apparatus for detection of drownsiness and for monitoring biological processes
US7231087B2 (en) * 2002-10-30 2007-06-12 Metrica, Inc. Matching binary templates against range map derived silhouettes for object pose estimation
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP4054713B2 (ja) * 2003-04-25 2008-03-05 忠彦 福田 戸惑い検出方法及び戸惑い検出プログラム
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
EP2955662B1 (en) * 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
US8442276B2 (en) 2006-03-03 2013-05-14 Honeywell International Inc. Invariant radial iris segmentation
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
US8049812B2 (en) 2006-03-03 2011-11-01 Honeywell International Inc. Camera with auto focus capability
US8064647B2 (en) * 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
JP2005122128A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 音声認識システム及びプログラム
US7336296B2 (en) * 2003-10-10 2008-02-26 International Business Machines Corporation System and method for providing position-independent pose estimation
US7508979B2 (en) * 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
JP4547604B2 (ja) * 2003-12-24 2010-09-22 ソニー株式会社 認証情報生成装置及び認証情報装置
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
KR100853605B1 (ko) * 2004-03-23 2008-08-22 후지쯔 가부시끼가이샤 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP2005308553A (ja) * 2004-04-21 2005-11-04 Topcon Corp 三次元画像計測装置及び方法
JP2005339288A (ja) * 2004-05-27 2005-12-08 Toshiba Corp 画像処理装置及びその方法
JP2005346806A (ja) * 2004-06-02 2005-12-15 Funai Electric Co Ltd Ｄｖｄレコーダおよび記録再生装置
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
DE102005007317A1 (de) * 2005-02-17 2006-08-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Sprachsteuerung eines Gerätes oder eines Systems in einem Kraftfahrzeug
DE602005012672D1 (de) * 2005-02-21 2009-03-26 Mitsubishi Electric Corp Verfahren zum Detektieren von Gesichtsmerkmalen
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US7253738B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method of detecting eye closure based on edge lines
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
US8229252B2 (en) * 2005-03-18 2012-07-24 The Invention Science Fund I, Llc Electronic association of a user expression and a context of the expression
US8290313B2 (en) 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8232979B2 (en) * 2005-05-25 2012-07-31 The Invention Science Fund I, Llc Performing an action with respect to hand-formed expression
US7809215B2 (en) * 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US8787706B2 (en) * 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US8749480B2 (en) 2005-03-18 2014-06-10 The Invention Science Fund I, Llc Article having a writing portion and preformed identifiers
US20060212430A1 (en) * 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US7813597B2 (en) * 2005-03-18 2010-10-12 The Invention Science Fund I, Llc Information encoded in an expression
US8340476B2 (en) * 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8823636B2 (en) 2005-03-18 2014-09-02 The Invention Science Fund I, Llc Including environmental information in a manual expression
JP2006260397A (ja) * 2005-03-18 2006-09-28 Konica Minolta Holdings Inc 開眼度推定装置
US7676063B2 (en) * 2005-03-22 2010-03-09 Microsoft Corp. System and method for eye-tracking and blink detection
JP4682372B2 (ja) * 2005-03-31 2011-05-11 株式会社国際電気通信基礎技術研究所 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム
FR2884130B1 (fr) * 2005-04-08 2008-02-15 Essilor Int Procede et dispositif de determination du centre de rotation d'un oeil
US20060259206A1 (en) * 2005-05-16 2006-11-16 Smith Matthew R Vehicle operator monitoring system and method
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
US7376246B2 (en) * 2005-06-27 2008-05-20 Mitsubishi Electric Research Laboratories, Inc. Subspace projection based non-rigid object tracking with particle filters
US8645985B2 (en) * 2005-09-15 2014-02-04 Sony Computer Entertainment Inc. System and method for detecting user attention
US8616973B2 (en) * 2005-09-15 2013-12-31 Sony Computer Entertainment Inc. System and method for control by audible device
US8542928B2 (en) * 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
US7580545B2 (en) * 2005-10-03 2009-08-25 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for determining gaze direction in a pupil detection system
US20070098229A1 (en) * 2005-10-27 2007-05-03 Quen-Zong Wu Method and device for human face detection and recognition used in a preset environment
JP4921486B2 (ja) * 2005-11-30 2012-04-25 シーイング・マシーンズ・プロプライエタリー・リミテッド 視覚的に頭と目を追跡するシステムにおける眼鏡の視覚的追跡
JP2007164617A (ja) * 2005-12-15 2007-06-28 Yamaguchi Univ ガウス関数を用いたテンプレート作成方法および眼球運動を用いた視力入力コミュニケーション方法
EP1968006B1 (en) * 2005-12-27 2020-03-25 Panasonic Intellectual Property Corporation of America Image processing apparatus
WO2007101276A1 (en) 2006-03-03 2007-09-07 Honeywell International, Inc. Single lens splitter camera
GB2450023B (en) 2006-03-03 2011-06-08 Honeywell Int Inc An iris image encoding method
JP2009529197A (ja) 2006-03-03 2009-08-13 ハネウェル・インターナショナル・インコーポレーテッド モジュールバイオメトリクス収集システムアーキテクチャ
WO2007103834A1 (en) 2006-03-03 2007-09-13 Honeywell International, Inc. Indexing and database search system
KR101308368B1 (ko) 2006-03-03 2013-09-16 허니웰 인터내셔널 인코포레이티드 홍채 품질 측정을 갖는 홍채 인식 시스템
US7747066B2 (en) * 2006-03-15 2010-06-29 International Business Machines Corporation Z-axis optical detection of mechanical feature height
JP4677940B2 (ja) * 2006-03-27 2011-04-27 トヨタ自動車株式会社 眠気検出装置
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US10614294B1 (en) 2006-06-16 2020-04-07 Videomining Corporation Method and system for measuring viewership of people for displayed object
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
JP4936491B2 (ja) * 2006-07-18 2012-05-23 株式会社国際電気通信基礎技術研究所 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
JP4692526B2 (ja) * 2006-07-18 2011-06-01 株式会社国際電気通信基礎技術研究所 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
US8139067B2 (en) * 2006-07-25 2012-03-20 The Board Of Trustees Of The Leland Stanford Junior University Shape completion, animation and marker-less motion capture of people, animals or characters
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
TWI319680B (en) * 2006-08-30 2010-01-11 Face-detection-based remote-control system and method and face-detection-based remote-controllable multimedia system
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP2008136789A (ja) 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
JP4811259B2 (ja) * 2006-12-11 2011-11-09 日産自動車株式会社 視線方向推定装置及び視線方向推定方法
US8121347B2 (en) * 2006-12-12 2012-02-21 Rutgers, The State University Of New Jersey System and method for detecting and tracking features in images
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
FR2911984B1 (fr) 2007-01-30 2009-02-27 Siemens Vdo Automotive Sas Procede pour identifier des points symboliques sur une image d'un visage d'une personne
FR2911978B1 (fr) * 2007-01-30 2009-03-20 Siemens Vdo Automotive Sas Procede pour initialiser un dispositif de poursuite d'un visage d'une personne
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
US7995794B2 (en) * 2007-03-02 2011-08-09 Sony Ericsson Mobile Communications Ab Remote control of an image capturing unit in a portable electronic device
KR101247147B1 (ko) 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
EP2132680B1 (en) * 2007-03-05 2013-01-02 Seeing Machines Pty Ltd Efficient and accurate 3d object tracking
JP4309927B2 (ja) * 2007-03-14 2009-08-05 株式会社豊田中央研究所 まぶた検出装置及びプログラム
JP5309126B2 (ja) 2007-03-29 2013-10-09 ニューロフォーカス・インコーポレーテッド マーケティング及びエンタテインメントの効率解析を行うシステム、方法、及び、装置
DE102008007152B4 (de) 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
FR2914173B1 (fr) * 2007-03-30 2010-02-26 Essilor Int Procede de mesure de la position suivant une direction horizontale du plan sagittal d'un point remarquable d'un oeil d'un sujet
US8063889B2 (en) 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
WO2008137581A1 (en) 2007-05-01 2008-11-13 Neurofocus, Inc. Neuro-feedback based stimulus compression device
JP4372804B2 (ja) * 2007-05-09 2009-11-25 トヨタ自動車株式会社 画像処理装置
US20080278516A1 (en) * 2007-05-11 2008-11-13 Santon John C System and method for adjusting perceived eye rotation in image of face
US8392253B2 (en) 2007-05-16 2013-03-05 The Nielsen Company (Us), Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US7848548B1 (en) 2007-06-11 2010-12-07 Videomining Corporation Method and system for robust demographic classification using pose independent model from sequence of face images
JP2009003730A (ja) * 2007-06-22 2009-01-08 Nintendo Co Ltd 情報処理プログラムおよび情報処理装置
DK2012304T3 (da) * 2007-07-06 2012-11-19 Zero To One Technology Comscope Fremgangsmåder til elektronisk analyse af en dialog samt tilsvarende systemer
JP5542051B2 (ja) 2007-07-30 2014-07-09 ニューロフォーカス・インコーポレーテッド 神経応答刺激及び刺激属性共鳴推定を行うシステム、方法、及び、装置
US7940962B2 (en) * 2007-08-03 2011-05-10 Delphi Technologies, Inc. System and method of awareness detection
US8386313B2 (en) 2007-08-28 2013-02-26 The Nielsen Company (Us), Llc Stimulus placement system using subject neuro-response measurements
US8392255B2 (en) 2007-08-29 2013-03-05 The Nielsen Company (Us), Llc Content based selection and meta tagging of advertisement breaks
US20090083129A1 (en) 2007-09-20 2009-03-26 Neurofocus, Inc. Personalized content delivery using neuro-response priming data
US8327395B2 (en) 2007-10-02 2012-12-04 The Nielsen Company (Us), Llc System providing actionable insights based on physiological responses from viewers of media
US7719431B2 (en) * 2007-10-05 2010-05-18 Gm Global Technology Operations, Inc. Systems, methods and computer products for drowsy driver detection and response
WO2009059246A1 (en) 2007-10-31 2009-05-07 Emsense Corporation Systems and methods providing en mass collection and centralized processing of physiological responses from viewers
US20100153146A1 (en) * 2008-12-11 2010-06-17 International Business Machines Corporation Generating Generalized Risk Cohorts
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8571332B2 (en) 2008-03-19 2013-10-29 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for automatically classifying face images
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8219438B1 (en) 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
JP5547730B2 (ja) 2008-07-30 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知を用いた顔及び肌の自動美化
US7742623B1 (en) 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
US20110128223A1 (en) * 2008-08-07 2011-06-02 Koninklijke Phillips Electronics N.V. Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
US8213782B2 (en) 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
KR101360412B1 (ko) * 2008-09-11 2014-02-27 포항공과대학교 산학협력단 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
US8704832B2 (en) * 2008-09-20 2014-04-22 Mixamo, Inc. Interactive design, synthesis and delivery of 3D character motion data through the web
US8749556B2 (en) 2008-10-14 2014-06-10 Mixamo, Inc. Data compression for real-time streaming of deformable 3D models for 3D animation
US8301443B2 (en) 2008-11-21 2012-10-30 International Business Machines Corporation Identifying and generating audio cohorts based on audio data input
US8041516B2 (en) * 2008-11-24 2011-10-18 International Business Machines Corporation Identifying and generating olfactory cohorts based on olfactory sensor input
US8982122B2 (en) 2008-11-24 2015-03-17 Mixamo, Inc. Real time concurrent design of shape, texture, and motion for 3D character animation
US8659596B2 (en) 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
US8280119B2 (en) 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US8749570B2 (en) * 2008-12-11 2014-06-10 International Business Machines Corporation Identifying and generating color and texture video cohorts based on video input
US20100153174A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Retail Cohorts From Retail Data
US8417035B2 (en) * 2008-12-12 2013-04-09 International Business Machines Corporation Generating cohorts based on attributes of objects identified using video input
US8190544B2 (en) * 2008-12-12 2012-05-29 International Business Machines Corporation Identifying and generating biometric cohorts based on biometric sensor input
US20100153147A1 (en) * 2008-12-12 2010-06-17 International Business Machines Corporation Generating Specific Risk Cohorts
US20100153597A1 (en) * 2008-12-15 2010-06-17 International Business Machines Corporation Generating Furtive Glance Cohorts from Video Data
US20100153133A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Never-Event Cohorts from Patient Care Data
KR101537948B1 (ko) * 2008-12-16 2015-07-20 삼성전자주식회사 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
US20100153390A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Scoring Deportment and Comportment Cohorts
US8219554B2 (en) 2008-12-16 2012-07-10 International Business Machines Corporation Generating receptivity scores for cohorts
US20100153180A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Generating Receptivity Cohorts
US11145393B2 (en) 2008-12-16 2021-10-12 International Business Machines Corporation Controlling equipment in a patient care facility based on never-event cohorts from patient care data
US8493216B2 (en) 2008-12-16 2013-07-23 International Business Machines Corporation Generating deportment and comportment cohorts
WO2010071928A1 (en) 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
US20100169792A1 (en) * 2008-12-29 2010-07-01 Seif Ascar Web and visual content interaction analytics
US8401248B1 (en) 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
US8154588B2 (en) * 2009-01-14 2012-04-10 Alan Alexander Burns Participant audio enhancement system
US20100259547A1 (en) 2009-02-12 2010-10-14 Mixamo, Inc. Web platform for interactive design, synthesis and delivery of 3d character motion data
US20100208078A1 (en) * 2009-02-17 2010-08-19 Cisco Technology, Inc. Horizontal gaze estimation for video conferencing
DE102009010467A1 (de) * 2009-02-26 2010-09-09 Carl Zeiss Vision Gmbh Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8040247B2 (en) * 2009-03-23 2011-10-18 Toyota Motor Engineering & Manufacturing North America, Inc. System for rapid detection of drowsiness in a machine operator
US20100250325A1 (en) 2009-03-24 2010-09-30 Neurofocus, Inc. Neurological profiles for market matching and stimulus presentation
JP5221436B2 (ja) 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
WO2010129721A2 (en) * 2009-05-05 2010-11-11 Mixamo, Inc. Distributed markerless motion capture
SE533876C2 (sv) * 2009-05-05 2011-02-15 Styr- och kontrollsystem för ett rörligt handikapphjälpmedel
US8393964B2 (en) * 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8142288B2 (en) * 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
EP2261857A1 (en) * 2009-06-12 2010-12-15 Star Nav Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze
US8630464B2 (en) 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8860729B2 (en) * 2009-07-22 2014-10-14 Imagemovers Digital Llc Gaze intent estimation for retargeting of characters
US10987015B2 (en) 2009-08-24 2021-04-27 Nielsen Consumer Llc Dry electrodes for electroencephalography
KR101032726B1 (ko) * 2009-09-01 2011-05-06 엘지이노텍 주식회사 눈 상태 검출방법
US8339459B2 (en) * 2009-09-16 2012-12-25 Microsoft Corporation Multi-camera head pose tracking
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US20110106750A1 (en) 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US9560984B2 (en) 2009-10-29 2017-02-07 The Nielsen Company (Us), Llc Analysis of controlled and automatic attention for introduction of stimulus material
FR2952517B1 (fr) 2009-11-13 2012-07-20 Essilor Int Procede et dispositif de mesure automatique d'au moins une caracteristique de refraction des deux yeux d'un individu
CN101815174B (zh) * 2010-01-11 2015-03-04 北京中星微电子有限公司 摄像控制方法及控制装置
WO2011133548A2 (en) 2010-04-19 2011-10-27 Innerscope Research, Inc. Short imagery task (sit) research method
US8928672B2 (en) 2010-04-28 2015-01-06 Mixamo, Inc. Real-time automatic concatenation of 3D animation sequences
US8655428B2 (en) 2010-05-12 2014-02-18 The Nielsen Company (Us), Llc Neuro-response data synchronization
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US9723992B2 (en) * 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US8797328B2 (en) 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
JP2012038106A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
WO2012036669A1 (en) * 2010-09-13 2012-03-22 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
US10318877B2 (en) 2010-10-19 2019-06-11 International Business Machines Corporation Cohort-based prediction of a future event
US8888287B2 (en) 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
CN103493100B (zh) * 2011-04-19 2016-04-06 爱信精机株式会社 眼睑检测装置、眼睑检测方法
US8285457B1 (en) 2011-04-29 2012-10-09 International Truck Intellectual Property Company, Llc Automatically adjusting side mirror assembly for a vehicle
US8860787B1 (en) 2011-05-11 2014-10-14 Google Inc. Method and apparatus for telepresence sharing
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9380978B2 (en) * 2011-06-29 2016-07-05 Bruce Reiner Method and apparatus for real-time measurement and analysis of occupational stress and fatigue and performance outcome predictions
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US10049482B2 (en) 2011-07-22 2018-08-14 Adobe Systems Incorporated Systems and methods for animation recommendations
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
KR20130050113A (ko) * 2011-11-07 2013-05-15 현대자동차주식회사 위험단계별 경고기능을 갖는 차량 운행보조 시스템 및 그 방법
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US10748325B2 (en) 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation
US9082004B2 (en) 2011-12-15 2015-07-14 The Nielsen Company (Us), Llc. Methods and apparatus to capture images
US10086697B2 (en) * 2011-12-22 2018-10-02 Volkswagen Ag Method and device for fatigue detection
US8915738B2 (en) * 2012-01-24 2014-12-23 Toyota Motor Engineering & Manufacturing North America, Inc. Driver quality assessment for driver education
KR101526557B1 (ko) * 2012-01-31 2015-06-10 한국전자통신연구원 다중 카메라 기반 시선 추적 장치 및 방법
US9569986B2 (en) 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US8862764B1 (en) 2012-03-16 2014-10-14 Google Inc. Method and Apparatus for providing Media Information to Mobile Devices
US9072465B2 (en) * 2012-04-03 2015-07-07 Johnson & Johnson Vision Care, Inc. Blink detection system for electronic ophthalmic lens
US9262869B2 (en) 2012-07-12 2016-02-16 UL See Inc. Method of 3D model morphing driven by facial tracking and electronic device using the method the same
KR101417415B1 (ko) * 2012-11-19 2014-07-08 아이리텍 잉크 살아있는 눈 식별 방법 및 장치
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
EP2926293A4 (en) * 2012-11-28 2016-09-14 Univ Columbia METHODS, SYSTEMS AND MEDIA FOR RECOGNIZING GAZE LOCKING
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US8769557B1 (en) 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2014168492A1 (en) 2013-04-10 2014-10-16 Auckland Uniservices Limited Head and eye tracking
WO2014179558A1 (en) 2013-05-01 2014-11-06 Musc Foundation For Research Development Monitoring neurological functional status
CN103279752B (zh) * 2013-06-19 2016-05-11 山东大学 一种基于改进Adaboost算法和人脸几何特征的眼睛定位方法
WO2014205422A2 (en) * 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices
CN103426005B (zh) * 2013-08-06 2017-02-15 山东大学 微表情自动识别的建库视频自动切段方法
US9558396B2 (en) * 2013-10-22 2017-01-31 Samsung Electronics Co., Ltd. Apparatuses and methods for face tracking based on calculated occlusion probabilities
US20150139486A1 (en) * 2013-11-21 2015-05-21 Ziad Ali Hassan Darawi Electronic eyeglasses and method of manufacture thereto
EP2892020A1 (en) * 2014-01-06 2015-07-08 Harman International Industries, Incorporated Continuous identity monitoring for classifying driving data for driving performance analysis
US9507417B2 (en) * 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
JP2015150150A (ja) * 2014-02-13 2015-08-24 富士ゼロックス株式会社 情報提供装置及びプログラム
DE102015202846B4 (de) 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
US20150296135A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring
KR102212209B1 (ko) 2014-04-10 2021-02-05 삼성전자주식회사 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
DE102014106036A1 (de) * 2014-04-30 2015-11-05 Karlsruher Institut für Technologie Mittel zur Steuerung der Akkommodationsbedarfserfassung in einem künstlichen Akkommodationssystem
JP2015226754A (ja) * 2014-05-07 2015-12-17 ヤマハ株式会社 画像認識装置および画像認識プログラム
FR3021205B1 (fr) 2014-05-20 2021-12-24 Essilor Int Procede de determination d'au moins un parametre comportemental
US9672412B2 (en) * 2014-06-24 2017-06-06 The Chinese University Of Hong Kong Real-time head pose tracking with online face template reconstruction
US9405120B2 (en) 2014-11-19 2016-08-02 Magna Electronics Solutions Gmbh Head-up display and vehicle using the same
US10137830B2 (en) * 2014-12-02 2018-11-27 Lenovo (Singapore) Pte. Ltd. Self-adjusting lighting based on viewing location
EP3259734B1 (en) 2015-02-20 2024-07-24 Seeing Machines Limited Glare reduction
GB201507210D0 (en) 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
GB201507224D0 (en) 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
US9936250B2 (en) 2015-05-19 2018-04-03 The Nielsen Company (Us), Llc Methods and apparatus to adjust content presented to an individual
JP6535223B2 (ja) * 2015-05-28 2019-06-26 浜松ホトニクス株式会社 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
EP3337383B1 (en) * 2015-08-21 2024-10-16 Magic Leap, Inc. Eyelid shape estimation
JP6918781B2 (ja) * 2015-08-21 2021-08-11 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼ポーズ測定を用いた眼瞼形状推定
NZ741863A (en) 2015-10-16 2019-05-31 Magic Leap Inc Eye pose identification using eye features
US10324297B2 (en) 2015-11-30 2019-06-18 Magna Electronics Inc. Heads up display system for vehicle
US10424072B2 (en) 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
EP3440592B1 (en) 2016-04-07 2023-08-30 Seeing Machines Limited Method and system of distinguishing between a glance event and an eye closure event
US10082866B2 (en) 2016-04-12 2018-09-25 International Business Machines Corporation Gaze point detection using dynamic facial reference points under varying lighting conditions
US10401621B2 (en) 2016-04-19 2019-09-03 Magna Electronics Inc. Display unit for vehicle head-up display system
US10497014B2 (en) * 2016-04-22 2019-12-03 Inreality Limited Retail store digital shelf for recommending products utilizing facial recognition in a peer to peer network
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10062198B2 (en) 2016-06-23 2018-08-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
BR112018076965A8 (pt) * 2016-06-27 2023-03-07 Koninklijke Philips Nv Dispositivo para detecção de brilho da pele, método para detecção de brilho da pele, e programa de computador
WO2018000038A1 (en) 2016-06-29 2018-01-04 Seeing Machines Limited System and method for identifying a camera pose of a forward facing camera in a vehicle
WO2018000020A1 (en) 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
US9959455B2 (en) * 2016-06-30 2018-05-01 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition using three dimensions
EP3481661A4 (en) 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
US10318831B2 (en) 2016-07-21 2019-06-11 Gestigon Gmbh Method and system for monitoring the status of the driver of a vehicle
US10089543B2 (en) * 2016-07-29 2018-10-02 Honda Motor Co., Ltd. System and method for detecting distraction and a downward vertical head pose in a vehicle
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US9928432B1 (en) 2016-09-14 2018-03-27 Nauto Global Limited Systems and methods for near-crash determination
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
JP2018055248A (ja) * 2016-09-27 2018-04-05 ソニー株式会社 情報収集システム、電子棚札、電子ｐｏｐ、文字情報表示装置
US10849496B2 (en) * 2016-10-11 2020-12-01 Mitsubishi Electric Corporation Motion sickness estimation device, motion sickness prevention device, and motion sickness estimation method
EP3535646A4 (en) * 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
DE102017205458A1 (de) * 2017-03-30 2018-10-04 Robert Bosch Gmbh System und ein Verfahren zur Erkennung von Augen und Händen, insbesondere für ein Kraftfahrzeug
WO2018191970A1 (zh) * 2017-04-21 2018-10-25 深圳前海达闼云端智能科技有限公司 一种机器人控制方法、机器人装置及机器人设备
WO2018220963A1 (ja) * 2017-06-02 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
US10430695B2 (en) 2017-06-16 2019-10-01 Nauto, Inc. System and method for contextualized vehicle operation determination
US10417816B2 (en) 2017-06-16 2019-09-17 Nauto, Inc. System and method for digital environment reconstruction
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
US10957069B2 (en) * 2017-09-29 2021-03-23 Tobii Ab Head pose estimation from local eye region
DE112018005191T5 (de) 2017-10-31 2020-06-18 Seeing Machines Limited System und Verfahren zur Verbesserung des Signal-Rausch-Verhältnisses bei der Objektverfolgung unter schlechten Lichtbedingungen
JP2019087688A (ja) 2017-11-09 2019-06-06 Tdk株式会社 磁気センサ
JP6720951B2 (ja) * 2017-11-15 2020-07-08 オムロン株式会社 運転者状態判定装置とその方法およびプログラム
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
CN108742656B (zh) * 2018-03-09 2021-06-08 华南理工大学 基于脸部特征点定位的疲劳状态检测方法
CN108634926A (zh) * 2018-05-14 2018-10-12 杭州市余杭区第五人民医院 基于vr技术的视力检测方法、装置、系统及存储介质
US10198845B1 (en) 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
CN109002796B (zh) * 2018-07-16 2020-08-04 阿里巴巴集团控股有限公司 一种图像采集方法、装置和系统以及电子设备
CN108985245A (zh) * 2018-07-25 2018-12-11 深圳市飞瑞斯科技有限公司 眼部位置的确定方法、装置、计算机设备和存储介质
US20210191126A1 (en) * 2018-07-31 2021-06-24 Hewlett-Packard Development Company, L.P. Projecting images onto a face of a user
WO2020029093A1 (zh) * 2018-08-07 2020-02-13 深圳市汇顶科技股份有限公司 疲劳状态的检测方法、装置及设备
TWI676136B (zh) * 2018-08-31 2019-11-01 雲云科技股份有限公司 使用雙重分析之影像偵測方法以及影像偵測裝置
CN109044363A (zh) * 2018-09-04 2018-12-21 华南师范大学 基于头部姿态和眼动的驾驶员疲劳检测方法
CN111050271B (zh) 2018-10-12 2021-01-29 北京微播视界科技有限公司 用于处理音频信号的方法和装置
FR3090171B1 (fr) * 2018-12-13 2021-01-29 Continental Automotive France Procédé de détermination d’un niveau de somnolence d’un conducteur de véhicule
CN109840019B (zh) * 2019-02-22 2023-01-10 网易（杭州）网络有限公司 虚拟人物的控制方法、装置及存储介质
CN110287916B (zh) * 2019-06-28 2021-11-16 浙江吉利控股集团有限公司 一种用于判断驾驶员注意力的方法及系统
US11551393B2 (en) 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
EP3789848B1 (en) * 2019-09-05 2024-07-17 Smart Eye AB Determination of gaze direction
US11568540B2 (en) * 2019-10-07 2023-01-31 Optos Plc System, method, and computer-readable medium for rejecting full and partial blinks for retinal tracking
CN111222407B (zh) * 2019-11-18 2022-07-01 太原科技大学 一种采用均匀切片和拐点特征提取的腭皱识别方法
CN110991307B (zh) * 2019-11-27 2023-09-26 北京锐安科技有限公司 人脸识别的方法、装置、设备及存储介质
CN111210510B (zh) * 2020-01-16 2021-08-06 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111325221B (zh) * 2020-02-25 2023-06-23 青岛海洋科技中心 基于图像深度信息的图像特征提取方法
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
EP4256558A4 (en) 2020-12-02 2024-08-21 Hearunow Inc ACCENTUATION AND STRENGTHENING OF THE DYNAMIC VOICE
US12094316B2 (en) 2021-01-18 2024-09-17 Seeing Machines Limited Flight crew fatigue and controlled rest management system
CN113159273B (zh) * 2021-01-30 2024-04-30 华为技术有限公司 一种神经网络的训练方法及相关设备
JP2022123858A (ja) 2021-02-11 2022-08-24 シーイング マシーンズ リミテッド 電気的に切り替えられた偏光を用いた改善された乗員モニタリング
EP4398200A3 (en) 2021-06-30 2024-09-11 Tobii AB An eye tracking system
US11860704B2 (en) 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring
US11922706B2 (en) * 2022-01-17 2024-03-05 Veoneer Us, Llc Systems and methods for dynamic attention area
CN114821736A (zh) * 2022-05-13 2022-07-29 中国人民解放军国防科技大学 基于对比学习的多模态人脸识别方法、装置、设备及介质
US20240059220A1 (en) 2022-08-22 2024-02-22 Seeing Machines Limited Auto dimming mirror
US12088882B2 (en) 2022-08-26 2024-09-10 The Nielsen Company (Us), Llc Systems, apparatus, and related methods to estimate audience exposure based on engagement level
CN115624315B (zh) * 2022-11-18 2023-03-14 北京中科睿医信息科技有限公司 眼动追踪方法、装置、电子设备、计算机存储介质及产品
CN118602985A (zh) * 2024-08-07 2024-09-06 四川大学 一种基于多元约束的叶片截面线激光扫描视场规划方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247410A (ja) * 1985-12-04 1987-10-28 Aisin Seiki Co Ltd 電気装置の付勢制御装置
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US4891630A (en) * 1988-04-22 1990-01-02 Friedman Mark B Computer vision system with improved object orientation technique
DE69131350T2 (de) * 1990-07-17 1999-12-30 British Telecommunications P.L.C., London Verfahren und vorrichtung zur bildverarbeitung
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5094521A (en) * 1990-11-07 1992-03-10 Vision Research Laboratories Apparatus for evaluating eye alignment
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JP3735893B2 (ja) * 1995-06-22 2006-01-18 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6031539A (en) * 1997-03-10 2000-02-29 Digital Equipment Corporation Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology
DE19803158C1 (de) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
US6154559A (en) * 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US6243015B1 (en) * 1999-06-17 2001-06-05 Hyundai Motor Company Driver's drowsiness detection method of drowsy driving warning system
JP3768735B2 (ja) * 1999-07-07 2006-04-19 三菱電機株式会社 顔画像処理装置
US6741756B1 (en) * 1999-09-30 2004-05-25 Microsoft Corp. System and method for estimating the orientation of an object

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210133995A1 (en) * 2017-08-31 2021-05-06 Sony Corporation Electronic devices, methods, and computer program products for controlling 3d modeling operations based on pose metrics
US11551368B2 (en) * 2017-08-31 2023-01-10 Sony Group Corporation Electronic devices, methods, and computer program products for controlling 3D modeling operations based on pose metrics

Also Published As

Publication number Publication date
JP2004504684A (ja) 2004-02-12
EP1320830A4 (en) 2007-05-02
US20030169907A1 (en) 2003-09-11
US7043056B2 (en) 2006-05-09
WO2002009025A1 (en) 2002-01-31
DE60140067D1 (de) 2009-11-12
EP1320830A1 (en) 2003-06-25
AUPQ896000A0 (en) 2000-08-17
EP1320830B1 (en) 2009-09-30

Similar Documents

Publication Publication Date Title
JP5016175B2 (ja) 顔画像処理システム
Valenti et al. Combining head pose and eye location information for gaze estimation
Wang et al. Video analysis of human dynamics—a survey
Al-Rahayfeh et al. Eye tracking and head movement detection: A state-of-art survey
Bobick et al. The recognition of human movement using temporal templates
Venkateswarlu Eye gaze estimation from a single image of one eye
Waldherr et al. A gesture based interface for human-robot interaction
JP4148281B2 (ja) モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
Arai et al. Eyes Based Eletric Wheel Chair Control System--I (eye) can control Electric Wheel Chair
WO2020125499A1 (zh) 一种操作提示方法及眼镜
JP5578603B2 (ja) 視線制御装置、視線制御方法、及びそのプログラム
JP4692526B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
Wu et al. Wide-range, person-and illumination-insensitive head orientation estimation
US20160004303A1 (en) Eye gaze tracking system and method
JP2003015816A (ja) ステレオカメラを使用した顔・視線認識装置
JP4936491B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
Reale et al. Pointing with the eyes: Gaze estimation using a static/active camera system and 3D iris disk model
Perra et al. Adaptive eye-camera calibration for head-worn devices
KR100325365B1 (ko) 응시위치 추적시스템
Chen et al. Gaze Gestures and Their Applications in human-computer interaction with a head-mounted display
Lee et al. Multi-modal user interaction method based on gaze tracking and gesture recognition
Haker et al. Self-organizing maps for pose estimation with a time-of-flight camera
Khan et al. A new 3D eyeball tracking system to enhance the usability of page scrolling
Carrasco et al. Exploiting eye–hand coordination to detect grasping movements
Li et al. A multi-modal gesture recognition system in a human-robot interaction scenario

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110608

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110615

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110708

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120113

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120120

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20120417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5016175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees