JPWO2015136908A1 - 視線検出装置 - Google Patents

視線検出装置 Download PDF

Info

Publication number
JPWO2015136908A1
JPWO2015136908A1 JP2016507348A JP2016507348A JPWO2015136908A1 JP WO2015136908 A1 JPWO2015136908 A1 JP WO2015136908A1 JP 2016507348 A JP2016507348 A JP 2016507348A JP 2016507348 A JP2016507348 A JP 2016507348A JP WO2015136908 A1 JPWO2015136908 A1 JP WO2015136908A1
Authority
JP
Japan
Prior art keywords
unit
calibration
posture
gaze direction
direction distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016507348A
Other languages
English (en)
Inventor
木村　雅之
雅之 木村
忠司 芝田
忠司 芝田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2015136908A1 publication Critical patent/JPWO2015136908A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

検出部（１２０）は、撮像部（１１０）によって撮像された被測定者Ａの画像から頭部姿勢および視線方向を検出し、生成部（１３０）は、検出部（１２０）により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部（１４０）は、所定の頭部姿勢を基準姿勢とし、基準姿勢に対する視線方向分布を較正する較正パラメータを算出し、補正部（１５０）は、較正部（１４０）が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。これにより、頭部姿勢が変化することによって較正がずれることの影響を低減することができる。

Description

本開示は撮影された顔画像から被写体の視線方向を検出する視線検出装置に係り、特にキャリブレーション実施時の姿勢と実際の使用時の姿勢の違いによって生じる影響を低減する技術に関する。
視線方向を検出するための方法として、被測定者の目に赤外光を投射し、プルキニエ像と呼ばれる角膜上に出来る赤外光の反射像と瞳孔中心の位置関係から視線方向を検出する角膜反射法が広く用いられている。しかし、画像による視線方向の検出は、角膜の形状や厚さといった個人差や、眼鏡やコンタクトレンズといった装具の影響を受ける。
眼鏡などの装具の形状や材質によっては角度ごとに屈折の影響が異なる場合がある。そのような場合には頭部姿勢が変化するたび、ひいては装具を着脱するたびにキャリブレーションを行った状態と異なる状態になるために、その都度キャリブレーションが必要となり、被測定者にかかる負担が大きい。
特許文献１では、キャリブレーションをやり直す際に、通常のキャリブレーション過程では複数の標準点を注視する必要があるところを、いずれか一点の標準点のみを注視して全体の誤差を推定する方法が開示されている。
日本国特許公開２００１−１３４３７１号公報
本開示における視線検出装置は、被測定者を撮像する撮像部と、撮像部によって撮影された画像から被測定者の頭部姿勢および視線方向を検出する視線方向検出部と、検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、頭部姿勢の中から１つ以上の基準姿勢を選択し、基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する較正部と、較正部が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正部とを備える。
この構成により、頭部姿勢の変化による影響を自動的に補正することを可能とする視線検出装置を提供する。
図１は、本発明の実施の形態１における視線検出装置の構成を示すブロック図である。 図２は、本発明の実施の形態１における視線検出装置の処理の流れを示すフローチャートである。 図３は、本発明の実施の形態１における生成部の動作を示すフローチャートである。 図４は、本発明の実施の形態１における較正部の動作を示すフローチャートである。 図５は、参照点の位置関係を定める際の外接矩形を示す模式図である。 図６は、基準点と参照点の例を示す模式図である。 図７は、本発明の実施の形態１における補正部の動作の一例を示すフローチャートである。 図８は、補正処理の例を示す模式図である。 図９は、本発明の実施の形態１における補正部の他の動作の一例を示すフローチャートである。 図１０は、実施の形態２における視線検出装置の処理の流れを示すフローチャートである。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
（実施の形態１）
以下、図１〜９を用いて、実施の形態１を説明する。
［１−１．構成］
図１は、実施の形態１における視線検出装置の構成を示すブロック図である。
視線検出装置１００は、撮像部１１０、検出部１２０、生成部１３０、較正部１４０、補正部１５０、メモリ１６０、とを備える。
撮像部１１０は、被測定者Ａを撮像する。撮像部１１０は、ビデオカメラや照明などから構成される。なお、ビデオカメラの台数は１台ないしは２台以上であっても構わない。また、撮像部１１０は、被測定者Ａの顔をできるだけ正面に近い方向から撮影できる場所であれば、どこに設置しても構わない。
検出部１２０は、撮像部１１０によって撮影された画像から被測定者Ａの頭部姿勢と視線方向を検出する。検出部１２０は、例えば、ＤＳＰやマイコンなどのハードウェア、またはハードウェアとソフトウェアの組み合わせによって実現できる。
生成部１３０は、検出部１２０により検出された頭部姿勢および視線方向から、頭部姿勢ごとの視線方向分布を生成する。
較正部１４０は、生成部１３０が生成した頭部姿勢ごとの視線方向分布のうち、１つ以上の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する。基準姿勢には、例えば、最も頻度の高い頭部姿勢を選択する。
補正部１５０は、較正部１４０が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。
メモリ１６０は検出部１２０のワークメモリとして用いるもので、ＤＲＡＭなどによって構成される。
［１−２．動作］
以上のように構成された視線検出装置１００について、その動作を以下説明する。
図２は実施の形態１における視線検出装置の処理の流れを示すフローチャートである。
まず初めに、撮像部１１０は被測定者Ａの画像を撮影する（ステップＳ２０１）。
次いで、検出部１２０は、撮影された画像から、被測定者Ａの頭部姿勢および視線方向を算出する（ステップＳ２０２）。
頭部姿勢は、例えば目尻、目頭、口角といった顔の特徴点をテンプレートマッチングや統計的パターン認識などの手段で算出し、それらの特徴点の３次元位置を求めることで算出する。また、特徴点の３次元位置の測定はステレオ法など画像そのものを利用する方法や、測距センサを別途用意するなど複数の手段から選択してもよい。あるいはここに記載していない一般的な手法を用いて頭部姿勢を算出してもよい。
視線方向の算出は、左右の瞳孔位置の中点と顔の中心面との位置関係に基づいて視線方向を算出する方法を用いてもよい。また、角膜に投射した赤外光の反射像とそれぞれの目の瞳孔中心との位置関係に基づいて視線方向を算出する角膜反射法や瞳孔角膜反射法など公知の手法を用いてもよい。
次に、生成部１３０は、検出部１２０より算出された頭部姿勢および視線方向から、頭部姿勢ごとの視線方向分布を生成する（ステップＳ２０３）。視線方向分布の生成方法については後述する。分布の形態としては正規混合分布のような確率分布やヒストグラム、あるいはクラスタリング後のクラスタ中心とそのクラスタに含まれるデータ数、または視線方向の生データそのものなどが考えられる。
なお、視線方向分布を切り替える頭部姿勢の最小単位については理論上特に制限はない。しかし、最小単位が細かいと、切り替えが頻繁に発生するため、各視線方向分布に十分なデータが集まらない可能性がある。逆に、最小単位が粗いと変化への細かい対応が難しくなる。従って、最適な値は被測定者の特性などに応じて経験的に決めることが望ましい。
また、視線方向分布の切り替えはある特定の頭部姿勢の範囲では細かく、また別の範囲では粗く、というような不均一なものであってもよい。
較正部１４０は、正面など１つ以上の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布に対して較正を行い、較正パラメータを算出する（ステップＳ２０４）。
較正部１４０は、較正パラメータの精度が不十分であるなどの理由で較正をやり直すかどうかを判定し（ステップＳ２０５）、やり直す場合はステップＳ２０１に処理を戻し、これまでの処理を繰り返す。較正をやり直さない場合、補正部１５０は、較正部１４０が算出した較正パラメータを用いて基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正処理を行う（ステップＳ２０６）。
［１−２−１視線方向分布の生成］
以下、生成部１３０の動作について、図３を参照しながら説明する。図３は、実施の形態１における生成部の動作を示すフローチャートである。
実施の形態１では、視線方向分布の生成方法として、視線方向データが１つ得られるたびにオンラインクラスタリングによってクラスタリングを行う方法を一例として説明する。なお、入力される視線方向データＸは２次元のベクトルＸ＝（ｘ，ｙ）、クラスタＣｉはその中心を表す２次元ベクトルＣｃｉ＝（ｃｘｉ，ｃｙｉ）およびクラスタに属するデータの数Ｎｉとして表現する。ここで、ｉは自然数である。
初めに視線方向データＸが入力されると、生成部１３０は、現在、クラスタが存在しているかどうかを判定し（ステップＳ３０１）、クラスタが存在していないと判定した場合、入力された視線方向データＸを中心とする新たなクラスタＣｎｅｗを生成して処理を終了する（ステップＳ３０５）。
生成部１３０は、ステップＳ３０１において、クラスタが存在すると判定した場合、視線方向データＸがあるクラスタＣｉに加わった時に、クラスタＣｉの中心が移動する量ΔＤｉを（数１）を算出する（ステップＳ３０２）。
Figure 2015136908
生成部１３０は、全てのクラスタＣｉについてΔＤｉ求め、ΔＤｉが最小となるクラスタＣｉｍｉｎを定めるとともに、この時のΔＤｉの最小値ｍｉｎΔＤｉを算出する（ステップＳ３０３）。
生成部１３０は、ｍｉｎΔＤｉが予め定められた閾値Ｔｈを上回り、かつクラスタ数が予め定められた上限に達していないかどうかを判定する（ステップＳ３０４）。生成部１３０は、上記条件を全て満たすと判定した場合はステップＳ３０５に進み、入力された視線方向データＸを中心とする新たなクラスタを生成して処理を終了する。生成部１３０は、ステップＳ３０４で、条件を全て満たさないと判定した場合は次のステップに進む。
生成部１３０は、既存のクラスタＣｉとＣｊを統合した際に、ＣｉとＣｊのクラスタ中心が移動する量ΔＤｉｊを（数２）を用いて求める（ステップＳ３０６）。
Figure 2015136908
生成部１３０は、存在する全てのクラスタの組に対してΔＤｉｊを算出し、ΔＤｉｊが最小となるクラスタの組Ｃｉｍｉｎ、Ｃｊｍｉｎを定めるとともに、この時のΔＤｉｊの最小値ｍｉｎΔＤｉｊを求める（ステップＳ３０７）。
最後に、生成部１３０は、ステップＳ３０３で求めたｍｉｎΔＤｉと、ステップＳ３０７で求めたｍｉｎΔＤｉｊの大小を比較し（ステップＳ３０８）、ｍｉｎΔＤｉｊの方が小さい場合はクラスタＣｉｍｉｎとＣｊｍｉｎを併合し、入力データＸを中心とする新たなクラスタを生成する（ステップＳ３０９）。クラスタＣｉとＣｊを併合してできる新たなクラスタＣｉ’はクラスタ中心が（数３）で表す値となり、属するデータの数はＮｉｍｉｎ＋Ｎｊｍｉｎとなる。
Figure 2015136908
一方、生成部１３０は、ステップ３０８において、ｍｉｎΔＤｉの方が小さいと判定した場合は、入力された視線方向データＸをクラスタＣｉｍｉｎに加える（ステップＳ３１０）。クラスタＣｉｍｉｎの中心は（数４）で表す値となり、属するデータの数はＮｉｍｉｎ＋１となる。
Figure 2015136908
なお、２次元ベクトルの実際の意味は（１）視線方向の水平、垂直方向の角度、（２）被測定者Ａから所定の距離だけ離れたところに注視面を仮定し、その注視面上における注視点の座標、の２つが考えられるが、上記の手順はそのどちらにも適用可能である。
また、上記においてはクラスタ数に上限を設けているが、上限を設けないことも可能である。この場合はステップＳ３０４の判定で常に条件を満たさないものと考えることが出来る。
［１−２−２較正処理］
以下、較正部１４０の動作について図４〜図６を参照しながら説明する。
図４は、実施の形態１における較正部１４０の動作を示すフローチャートである。図５は、参照点の位置関係を定める際の外接矩形を示す模式図である。図６は、基準点と参照点の一例を示す模式図である。
まず初めに、較正部１４０は、正面など所定の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布の中から、予め定められている基準点と同じ数の参照点を選ぶ（ステップＳ４０１）。ここで、基準点は、既知の方向や注視点の位置からなる１つ以上の点である。参照点は基準点と同じ数だけ選択する。参照点の選び方は視線方向分布がどのような形式であるかに依存する。例えば視線方向分布が正規混合分布で表現される場合は、初めから参照点と同じ数の正規分布で表現しておけば各正規分布のピーク位置が自ずと参照点となる。
また、視線方向分布がヒストグラムで表現される場合は、度数の高い視線方向を参照点として選ぶなどの方法が考えられる。視線方向分布が生データやそれをクラスタリングしたものとして表現される場合は、参照点と同じ数のクラスタになるまでクラスタリングを行い、各クラスタ中心を参照点として選ぶなどの方法が考えられる。
次に、較正部１４０は、参照点の位置関係を判断し、各参照点をどの基準点に対応づけるべきかを定める（ステップＳ４０２）。位置関係の判断方法として、例えば最も頻度が高いなど特定の条件を満たす点は常に特定の基準点に対応づけると仮定し、他の参照点は最初の参照点との位置関係を調べて適切な基準点に対応づける、という方法が考えられる。
また図５のように。参照点を囲む外接矩形を定義し、外接矩形内の相対位置を基準とするなどの方法が考えられる。図５では、５つの参照点５０１〜５０５を囲む外接矩形Ｂを定義している。この場合、参照点５０１〜５０５の位置関係を判断し、参照点５０１〜５０４を、参照点５０５に対応付けて定める。
較正部１４０は、参照点の位置関係が定まると、基準点と参照点を対応付けるための変換パラメータとなる較正パラメータを算出する（ステップＳ４０３）。較正部１４０は、図６で示すように、基準点６０１〜６０５と参照点５０１〜５０５とを関係付け、参照点５０１〜５０５を各々基準点６０１〜６０５に近づけるような較正パラメータを算出する。
以下、変換例として（数５）を用いて説明するが、これ以外の変換式を用いてもよい。
Figure 2015136908
ここで、（ｘ，ｙ）は変換前の視線方向、（ｘ’，ｙ’）は変換後の視線方向を表す。ａからｆは較正パラメータである。パラメータを決定する方法として、例えば最小二乗法を用いることが出来る。具体的にはｋ個の基準点（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、…（Ｘｋ，Ｙｋ）と参照点（ｘ１，ｙ１）、（ｘ２，ｙ２）、…（ｘｋ，ｙｋ）がある時に（数６）の値を最小化するパラメータを算出する。
Figure 2015136908
この場合、較正パラメータは（数６）を各パラメータについて偏微分したものを０と置いてできる連立方程式を解くことで求めることができる。
［１−２−３．補正処理］
以下、補正部の動作について図７、図８を参照しながら説明する。図７は実施の形態１における補正部の動作の一例を示すフローチャートである。図８は、補正処理の例を示す模式図である。補正部１５０は、頭部姿勢ごとに異なる較正パラメータの影響を打ち消すための変換処理を行う。
まず初めに、補正部１５０は、較正部１４０により選択された基準姿勢に対する視線方向分布から１つ以上の基準点を選ぶ（ステップＳ７０１）。
次に、補正部１５０は、補正対象の視線方向分布から、基準点と同じ数の参照点を選ぶ（ステップＳ７０２）。補正部１５０は、較正パラメータを算出する処理と同じように基準点と参照点の位置関係を定め（ステップＳ７０３）、基準点と参照点を対応付けるための補正パラメータを求める（ステップＳ７０４）。
ここで、ステップＳ７０３およびＳ７０４についてはそれぞれＳ４０２、Ｓ４０３と同様の方法を用いることが出来る。例えば視線方向分布の重心を基準点として選んだ場合、図８のように補正対象（基準姿勢以外の頭部姿勢）の視線方向分布８０１の重心８０２を基準姿勢に対する視線方向分布８０３の重心８０４に重ねる変換を行うための補正パラメータを算出する。
補正部１５０は、算出した補正パラメータを用いて、補正対象の視線方向分布を基準姿勢に対する視線方向分布に近づけるよう補正した後（ステップＳ７０５）、較正部１４０が算出した較正パラメータを用いて、各参照点を較正する（ステップＳ７０６）。
以上のように、補正部１５０は、基準姿勢以外の頭部姿勢に対する視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、基準姿勢以外の頭部姿勢に対する視線方向分布を、算出した補正パラメータを用いて補正した後、較正パラメータを用いて較正する。
［１−２−４．補正処理の他の例］
以下、補正処理の他の一例について図面を参照しながら説明する。図９は実施の形態１における補正部の他の動作の一例をフローチャートである。なお、図９において、図７と同じ動作のステップには同符号を付与し、説明を省略する。
図７と異なる点はステップＳ７０２の後で、較正部１４０が算出した較正パラメータを用いて、基準点を較正し（ステップＳ９０３）、較正された基準点と参照点の位置関係を求める（ステップＳ９０４）。その後、較正された基準点と参照点を対応付けるための補正パラメータを求める（ステップＳ９０５）。
補正部１５０は、算出した補正パラメータを用いて、補正対象の視線方向分布を較正された基準姿勢に対する視線方向分布に近づけるよう補正する（ステップＳ９０６）。
ここで、補正部１５０は、較正済みの基準点に対して補正処理を行っている。すなわち、補正パラメータ自体に較正処理の結果が織り込まれる形となる。
［３．まとめ］
本実施の形態の視線検出装置は、撮像部１１０が被測定者を撮像し、検出部１２０は、撮像部１１０によって撮影された画像から被測定者の頭部姿勢と視線方向を検出し、生成部１３０は、検出部により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部１４０は、頭部姿勢の中から基準姿勢を選択し、基準姿勢に対する視線方向分布を較正して、較正パラメータを算出し、補正部１５０は、較正部が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。
これにより、頭部姿勢の変化がキャリブレーション結果に与える影響を自動的に補正できる。
また、補正部は、基準姿勢以外の頭部姿勢に対する視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、基準姿勢以外の頭部姿勢に対する視線方向分布を、補正パラメータを用いて補正した後、較正パラメータを用いて較正する。
なお、補正部は、基準姿勢以外の頭部姿勢の視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、較正パラメータを補正パラメータで補正した後、基準姿勢以外の頭部姿勢に対する視線方向分布を、補正した較正パラメータを用いて較正してもよい。
これにより、補正パラメータ自体に較正処理の結果が織り込まれる形となる。この場合、補正部は、補正対象の頭部姿勢に対する視線方向分布の重心を、基準姿勢に対する視線方向分布の重心に重ねる変換を行ってもよい。
なお、補正部は、基準姿勢に対する視線方向分布を較正パラメータを用いて較正し、基準姿勢以外の頭部姿勢の視線方向分布を較正された基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出してもよい。これにより、補正パラメータ自体に較正処理の結果が織り込まれる形となる。
また、較正部は、既知の視線方向を表す基準点と、基準姿勢に対する視線方向分布から選択した参照点とを所定の関係式で対応付ける。較正部は、最も頻度の高い頭部姿勢を基準姿勢としてもよい。
また、基準姿勢は複数であってもよい。この場合、較正部は複数の基準姿勢のそれぞれについて較正パラメータを算出し、補正部は複数の基準姿勢のいずれか（例えば検出された頭部姿勢に最も近いものなど）を用いて処理を行う。
（実施の形態２）
以下、図１０を用いて、実施の形態２を説明する。なお、実施の形態１における視線検出装置の構成は実施の形態１の視線検出装置の構成と同様であるため、説明を省略する。
［２―１動作］
図１０は実施の形態２における視線検出装置の処理の流れを示すフローチャートである。なお、図１０において、図３と同じ動作のステップには同符号を付与し、説明を省略する。
図３と異なるのはステップＳ１００４以降で、較正部１４０は各頭部姿勢に対する視線方向分布のそれぞれについて、視線方向分布を較正するための較正パラメータを算出する（ステップＳ１００４）。
較正部１４０は、較正パラメータの精度が不十分であるなどの理由で較正をやり直すかどうかを判定し（ステップＳ１００５）、やり直す場合はステップＳ２０１に処理を戻し、これまでの処理を繰り返す。
なお、ステップＳ１００５において、較正部１４０はある特定の１つ以上の頭部姿勢に対する較正パラメータに対してのみ精度の判定を行うようにしてもよい。このようにすることで、視線方向分布に含まれるデータ数が少なく、較正パラメータの精度が悪くなりやすい頭部姿勢の影響を無視して処理を進めることが可能となる。
較正をやり直さない場合、補正部１５０は検出部１２０によって検出された頭部姿勢に対する較正パラメータを用いて、視線方向分布を補正する（ステップＳ１００６）。
なお、ステップＳ１００６において、ステップＳ１００５の処理によっては検出された頭部姿勢に対する較正パラメータがまだ求められていない場合がありえる。この場合は補正を行わないか、仮の較正パラメータ（例えば数式５においてａ＝１、ｂ＝０、ｃ＝０、ｄ＝０、ｅ＝１、ｆ＝０とすると元の視線方向分布を変化させない）によって補正を行うようにしてもよい。
本実施の形態の視線検出装置は、撮像部１１０が被測定者を撮像し、検出部１２０は、撮像部１１０によって撮影された画像から被測定者の頭部姿勢と視線方向を検出し、生成部１３０は、検出部により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部１４０は、頭部姿勢毎の視線方向分布のそれぞれに対して、視線方向分布を較正するための較正パラメータを算出し、補正部１５０は、較正部が算出した頭部姿勢毎の較正パラメータのうち、検出部によって検出された被測定者の頭部姿勢に対する較正パラメータを用いて視線方向分布を補正する。
これにより、頭部姿勢の変化がキャリブレーション結果に与える影響を自動的に補正できる。実施の形態１においては、基準姿勢に対してのみ較正パラメータを算出したが、実施の形態２においては、各頭部姿勢毎に較正パラメータを算出し、それを補正部で直接使用している点が異なる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
例えば視線方向分布を生成する際に、視線方向の時間変化に応じた重み付けを行ってもよい。これによって、例えば視線方向の検出が不安定になりやすい視線移動中の状態は重みを低くして、より正確な視線方向分布を得ることが出来る。あるいは視線方向の時間変化が所定の大きさを下回るもののみを用いて視線方向分布を生成してもよい。これによっても同様の効果を得ることが出来る。
上記の例では視線方向分布を生成する際に、視線方向の時間変化に応じた重み付けを行う例について説明したが、代わりに較正パラメータや補正パラメータを算出する際の基準点や参照点を選ぶ際に重みを考慮してこれらの点を選ぶようにしてもよい。先述の例と同じように、これによって不安定な状態を避けてより正確な代表点や参照点の位置を得ることが出来る。
また、上記実施の形態で説明した視線検出装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、画像に基づいて被測定者の視線方向を検出する視線検出装置に有用である。
１００ 視線検出装置
１１０ 撮像部
１２０ 検出部
１３０ 生成部
１４０ 較正部
１５０ 補正部
１６０ メモリ
本開示は撮影された顔画像から被写体の視線方向を検出する視線検出装置に係り、特にキャリブレーション実施時の姿勢と実際の使用時の姿勢の違いによって生じる影響を低減する技術に関する。
視線方向を検出するための方法として、被測定者の目に赤外光を投射し、プルキニエ像と呼ばれる角膜上に出来る赤外光の反射像と瞳孔中心の位置関係から視線方向を検出する角膜反射法が広く用いられている。しかし、画像による視線方向の検出は、角膜の形状や厚さといった個人差や、眼鏡やコンタクトレンズといった装具の影響を受ける。
眼鏡などの装具の形状や材質によっては角度ごとに屈折の影響が異なる場合がある。そのような場合には頭部姿勢が変化するたび、ひいては装具を着脱するたびにキャリブレーションを行った状態と異なる状態になるために、その都度キャリブレーションが必要となり、被測定者にかかる負担が大きい。
特許文献１では、キャリブレーションをやり直す際に、通常のキャリブレーション過程では複数の標準点を注視する必要があるところを、いずれか一点の標準点のみを注視して全体の誤差を推定する方法が開示されている。
日本国特許公開２００１−１３４３７１号公報
本開示における視線検出装置は、被測定者を撮像する撮像部と、撮像部によって撮影された画像から被測定者の頭部姿勢および視線方向を検出する視線方向検出部と、検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、頭部姿勢の中から１つ以上の基準姿勢を選択し、基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する較正部と、較正部が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正部とを備える。
この構成により、頭部姿勢の変化による影響を自動的に補正することを可能とする視線検出装置を提供する。
図１は、本発明の実施の形態１における視線検出装置の構成を示すブロック図である。 図２は、本発明の実施の形態１における視線検出装置の処理の流れを示すフローチャートである。 図３は、本発明の実施の形態１における生成部の動作を示すフローチャートである。 図４は、本発明の実施の形態１における較正部の動作を示すフローチャートである。 図５は、参照点の位置関係を定める際の外接矩形を示す模式図である。 図６は、基準点と参照点の例を示す模式図である。 図７は、本発明の実施の形態１における補正部の動作の一例を示すフローチャートである。 図８は、補正処理の例を示す模式図である。 図９は、本発明の実施の形態１における補正部の他の動作の一例を示すフローチャートである。 図１０は、実施の形態２における視線検出装置の処理の流れを示すフローチャートである。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
（実施の形態１）
以下、図１〜９を用いて、実施の形態１を説明する。
［１−１．構成］
図１は、実施の形態１における視線検出装置の構成を示すブロック図である。
視線検出装置１００は、撮像部１１０、検出部１２０、生成部１３０、較正部１４０、補正部１５０、メモリ１６０、とを備える。
撮像部１１０は、被測定者Ａを撮像する。撮像部１１０は、ビデオカメラや照明などから構成される。なお、ビデオカメラの台数は１台ないしは２台以上であっても構わない。また、撮像部１１０は、被測定者Ａの顔をできるだけ正面に近い方向から撮影できる場所であれば、どこに設置しても構わない。
検出部１２０は、撮像部１１０によって撮影された画像から被測定者Ａの頭部姿勢と視線方向を検出する。検出部１２０は、例えば、ＤＳＰやマイコンなどのハードウェア、またはハードウェアとソフトウェアの組み合わせによって実現できる。
生成部１３０は、検出部１２０により検出された頭部姿勢および視線方向から、頭部姿勢ごとの視線方向分布を生成する。
較正部１４０は、生成部１３０が生成した頭部姿勢ごとの視線方向分布のうち、１つ以上の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する。基準姿勢には、例えば、最も頻度の高い頭部姿勢を選択する。
補正部１５０は、較正部１４０が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。
メモリ１６０は検出部１２０のワークメモリとして用いるもので、ＤＲＡＭなどによって構成される。
［１−２．動作］
以上のように構成された視線検出装置１００について、その動作を以下説明する。
図２は実施の形態１における視線検出装置の処理の流れを示すフローチャートである。
まず初めに、撮像部１１０は被測定者Ａの画像を撮影する（ステップＳ２０１）。
次いで、検出部１２０は、撮影された画像から、被測定者Ａの頭部姿勢および視線方向を算出する（ステップＳ２０２）。
頭部姿勢は、例えば目尻、目頭、口角といった顔の特徴点をテンプレートマッチングや統計的パターン認識などの手段で算出し、それらの特徴点の３次元位置を求めることで算出する。また、特徴点の３次元位置の測定はステレオ法など画像そのものを利用する方法や、測距センサを別途用意するなど複数の手段から選択してもよい。あるいはここに記載していない一般的な手法を用いて頭部姿勢を算出してもよい。
視線方向の算出は、左右の瞳孔位置の中点と顔の中心面との位置関係に基づいて視線方向を算出する方法を用いてもよい。また、角膜に投射した赤外光の反射像とそれぞれの目の瞳孔中心との位置関係に基づいて視線方向を算出する角膜反射法や瞳孔角膜反射法など公知の手法を用いてもよい。
次に、生成部１３０は、検出部１２０より算出された頭部姿勢および視線方向から、頭部姿勢ごとの視線方向分布を生成する（ステップＳ２０３）。視線方向分布の生成方法については後述する。分布の形態としては正規混合分布のような確率分布やヒストグラム、あるいはクラスタリング後のクラスタ中心とそのクラスタに含まれるデータ数、または視線方向の生データそのものなどが考えられる。
なお、視線方向分布を切り替える頭部姿勢の最小単位については理論上特に制限はない。しかし、最小単位が細かいと、切り替えが頻繁に発生するため、各視線方向分布に十分なデータが集まらない可能性がある。逆に、最小単位が粗いと変化への細かい対応が難しくなる。従って、最適な値は被測定者の特性などに応じて経験的に決めることが望ましい。
また、視線方向分布の切り替えはある特定の頭部姿勢の範囲では細かく、また別の範囲では粗く、というような不均一なものであってもよい。
較正部１４０は、正面など１つ以上の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布に対して較正を行い、較正パラメータを算出する（ステップＳ２０４）。
較正部１４０は、較正パラメータの精度が不十分であるなどの理由で較正をやり直すかどうかを判定し（ステップＳ２０５）、やり直す場合はステップＳ２０１に処理を戻し、これまでの処理を繰り返す。較正をやり直さない場合、補正部１５０は、較正部１４０が算出した較正パラメータを用いて基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正処理を行う（ステップＳ２０６）。
［１−２−１視線方向分布の生成］
以下、生成部１３０の動作について、図３を参照しながら説明する。図３は、実施の形態１における生成部の動作を示すフローチャートである。
実施の形態１では、視線方向分布の生成方法として、視線方向データが１つ得られるたびにオンラインクラスタリングによってクラスタリングを行う方法を一例として説明する。なお、入力される視線方向データＸは２次元のベクトルＸ＝（ｘ，ｙ）、クラスタＣｉはその中心を表す２次元ベクトルＣｃｉ＝（ｃｘｉ，ｃｙｉ）およびクラスタに属するデータの数Ｎｉとして表現する。ここで、ｉは自然数である。
初めに視線方向データＸが入力されると、生成部１３０は、現在、クラスタが存在しているかどうかを判定し（ステップＳ３０１）、クラスタが存在していないと判定した場合、入力された視線方向データＸを中心とする新たなクラスタＣｎｅｗを生成して処理を終了する（ステップＳ３０５）。
生成部１３０は、ステップＳ３０１において、クラスタが存在すると判定した場合、視線方向データＸがあるクラスタＣｉに加わった時に、クラスタＣｉの中心が移動する量ΔＤｉを（数１）を算出する（ステップＳ３０２）。
Figure 2015136908
生成部１３０は、全てのクラスタＣｉについてΔＤｉ求め、ΔＤｉが最小となるクラスタＣｉｍｉｎを定めるとともに、この時のΔＤｉの最小値ｍｉｎΔＤｉを算出する（ステップＳ３０３）。
生成部１３０は、ｍｉｎΔＤｉが予め定められた閾値Ｔｈを上回り、かつクラスタ数が予め定められた上限に達していないかどうかを判定する（ステップＳ３０４）。生成部１３０は、上記条件を全て満たすと判定した場合はステップＳ３０５に進み、入力された視線方向データＸを中心とする新たなクラスタを生成して処理を終了する。生成部１３０は、ステップＳ３０４で、条件を全て満たさないと判定した場合は次のステップに進む。
生成部１３０は、既存のクラスタＣｉとＣｊを統合した際に、ＣｉとＣｊのクラスタ中心が移動する量ΔＤｉｊを（数２）を用いて求める（ステップＳ３０６）。
Figure 2015136908
生成部１３０は、存在する全てのクラスタの組に対してΔＤｉｊを算出し、ΔＤｉｊが最小となるクラスタの組Ｃｉｍｉｎ、Ｃｊｍｉｎを定めるとともに、この時のΔＤｉｊの最小値ｍｉｎΔＤｉｊを求める（ステップＳ３０７）。
最後に、生成部１３０は、ステップＳ３０３で求めたｍｉｎΔＤｉと、ステップＳ３０７で求めたｍｉｎΔＤｉｊの大小を比較し（ステップＳ３０８）、ｍｉｎΔＤｉｊの方が小さい場合はクラスタＣｉｍｉｎとＣｊｍｉｎを併合し、入力データＸを中心とする新たなクラスタを生成する（ステップＳ３０９）。クラスタＣｉとＣｊを併合してできる新たなクラスタＣｉ’はクラスタ中心が（数３）で表す値となり、属するデータの数はＮｉｍｉｎ＋Ｎｊｍｉｎとなる。
Figure 2015136908
一方、生成部１３０は、ステップ３０８において、ｍｉｎΔＤｉの方が小さいと判定した場合は、入力された視線方向データＸをクラスタＣｉｍｉｎに加える（ステップＳ３１０）。クラスタＣｉｍｉｎの中心は（数４）で表す値となり、属するデータの数はＮｉｍｉｎ＋１となる。
Figure 2015136908
なお、２次元ベクトルの実際の意味は（１）視線方向の水平、垂直方向の角度、（２）被測定者Ａから所定の距離だけ離れたところに注視面を仮定し、その注視面上における注視点の座標、の２つが考えられるが、上記の手順はそのどちらにも適用可能である。
また、上記においてはクラスタ数に上限を設けているが、上限を設けないことも可能である。この場合はステップＳ３０４の判定で常に条件を満たさないものと考えることが出来る。
［１−２−２較正処理］
以下、較正部１４０の動作について図４〜図６を参照しながら説明する。
図４は、実施の形態１における較正部１４０の動作を示すフローチャートである。図５は、参照点の位置関係を定める際の外接矩形を示す模式図である。図６は、基準点と参照点の一例を示す模式図である。
まず初めに、較正部１４０は、正面など所定の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布の中から、予め定められている基準点と同じ数の参照点を選ぶ（ステップＳ４０１）。ここで、基準点は、既知の方向や注視点の位置からなる１つ以上の点である。参照点は基準点と同じ数だけ選択する。参照点の選び方は視線方向分布がどのような形式であるかに依存する。例えば視線方向分布が正規混合分布で表現される場合は、初めから参照点と同じ数の正規分布で表現しておけば各正規分布のピーク位置が自ずと参照点となる。
また、視線方向分布がヒストグラムで表現される場合は、度数の高い視線方向を参照点として選ぶなどの方法が考えられる。視線方向分布が生データやそれをクラスタリングしたものとして表現される場合は、参照点と同じ数のクラスタになるまでクラスタリングを行い、各クラスタ中心を参照点として選ぶなどの方法が考えられる。
次に、較正部１４０は、参照点の位置関係を判断し、各参照点をどの基準点に対応づけるべきかを定める（ステップＳ４０２）。位置関係の判断方法として、例えば最も頻度が高いなど特定の条件を満たす点は常に特定の基準点に対応づけると仮定し、他の参照点は最初の参照点との位置関係を調べて適切な基準点に対応づける、という方法が考えられる。
また図５のように。参照点を囲む外接矩形を定義し、外接矩形内の相対位置を基準とするなどの方法が考えられる。図５では、５つの参照点５０１〜５０５を囲む外接矩形Ｂを定義している。この場合、参照点５０１〜５０５の位置関係を判断し、参照点５０１〜５０４を、参照点５０５に対応付けて定める。
較正部１４０は、参照点の位置関係が定まると、基準点と参照点を対応付けるための変換パラメータとなる較正パラメータを算出する（ステップＳ４０３）。較正部１４０は、図６で示すように、基準点６０１〜６０５と参照点５０１〜５０５とを関係付け、参照点５０１〜５０５を各々基準点６０１〜６０５に近づけるような較正パラメータを算出する。
以下、変換例として（数５）を用いて説明するが、これ以外の変換式を用いてもよい。
Figure 2015136908
ここで、（ｘ，ｙ）は変換前の視線方向、（ｘ’，ｙ’）は変換後の視線方向を表す。ａからｆは較正パラメータである。パラメータを決定する方法として、例えば最小二乗法を用いることが出来る。具体的にはｋ個の基準点（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、…（Ｘｋ，Ｙｋ）と参照点（ｘ１，ｙ１）、（ｘ２，ｙ２）、…（ｘｋ，ｙｋ）がある時に（数６）の値を最小化するパラメータを算出する。
Figure 2015136908
この場合、較正パラメータは（数６）を各パラメータについて偏微分したものを０と置いてできる連立方程式を解くことで求めることができる。
［１−２−３．補正処理］
以下、補正部の動作について図７、図８を参照しながら説明する。図７は実施の形態１における補正部の動作の一例を示すフローチャートである。図８は、補正処理の例を示す模式図である。補正部１５０は、頭部姿勢ごとに異なる較正パラメータの影響を打ち消すための変換処理を行う。
まず初めに、補正部１５０は、較正部１４０により選択された基準姿勢に対する視線方向分布から１つ以上の基準点を選ぶ（ステップＳ７０１）。
次に、補正部１５０は、補正対象の視線方向分布から、基準点と同じ数の参照点を選ぶ（ステップＳ７０２）。補正部１５０は、較正パラメータを算出する処理と同じように基準点と参照点の位置関係を定め（ステップＳ７０３）、基準点と参照点を対応付けるための補正パラメータを求める（ステップＳ７０４）。
ここで、ステップＳ７０３およびＳ７０４についてはそれぞれＳ４０２、Ｓ４０３と同様の方法を用いることが出来る。例えば視線方向分布の重心を基準点として選んだ場合、図８のように補正対象（基準姿勢以外の頭部姿勢）の視線方向分布８０１の重心８０２を基準姿勢に対する視線方向分布８０３の重心８０４に重ねる変換を行うための補正パラメータを算出する。
補正部１５０は、算出した補正パラメータを用いて、補正対象の視線方向分布を基準姿勢に対する視線方向分布に近づけるよう補正した後（ステップＳ７０５）、較正部１４０が算出した較正パラメータを用いて、各参照点を較正する（ステップＳ７０６）。
以上のように、補正部１５０は、基準姿勢以外の頭部姿勢に対する視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、基準姿勢以外の頭部姿勢に対する視線方向分布を、算出した補正パラメータを用いて補正した後、較正パラメータを用いて較正する。
［１−２−４．補正処理の他の例］
以下、補正処理の他の一例について図面を参照しながら説明する。図９は実施の形態１における補正部の他の動作の一例をフローチャートである。なお、図９において、図７と同じ動作のステップには同符号を付与し、説明を省略する。
図７と異なる点はステップＳ７０２の後で、較正部１４０が算出した較正パラメータを用いて、基準点を較正し（ステップＳ９０３）、較正された基準点と参照点の位置関係を求める（ステップＳ９０４）。その後、較正された基準点と参照点を対応付けるための補正パラメータを求める（ステップＳ９０５）。
補正部１５０は、算出した補正パラメータを用いて、補正対象の視線方向分布を較正された基準姿勢に対する視線方向分布に近づけるよう補正する（ステップＳ９０６）。
ここで、補正部１５０は、較正済みの基準点に対して補正処理を行っている。すなわち、補正パラメータ自体に較正処理の結果が織り込まれる形となる。
［３．まとめ］
本実施の形態の視線検出装置は、撮像部１１０が被測定者を撮像し、検出部１２０は、撮像部１１０によって撮影された画像から被測定者の頭部姿勢と視線方向を検出し、生成部１３０は、検出部により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部１４０は、頭部姿勢の中から基準姿勢を選択し、基準姿勢に対する視線方向分布を較正して、較正パラメータを算出し、補正部１５０は、較正部が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。
これにより、頭部姿勢の変化がキャリブレーション結果に与える影響を自動的に補正できる。
また、補正部は、基準姿勢以外の頭部姿勢に対する視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、基準姿勢以外の頭部姿勢に対する視線方向分布を、補正パラメータを用いて補正した後、較正パラメータを用いて較正する。
なお、補正部は、基準姿勢以外の頭部姿勢の視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、較正パラメータを補正パラメータで補正した後、基準姿勢以外の頭部姿勢に対する視線方向分布を、補正した較正パラメータを用いて較正してもよい。
これにより、補正パラメータ自体に較正処理の結果が織り込まれる形となる。この場合、補正部は、補正対象の頭部姿勢に対する視線方向分布の重心を、基準姿勢に対する視線方向分布の重心に重ねる変換を行ってもよい。
なお、補正部は、基準姿勢に対する視線方向分布を較正パラメータを用いて較正し、基準姿勢以外の頭部姿勢の視線方向分布を較正された基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出してもよい。これにより、補正パラメータ自体に較正処理の結果が織り込まれる形となる。
また、較正部は、既知の視線方向を表す基準点と、基準姿勢に対する視線方向分布から選択した参照点とを所定の関係式で対応付ける。較正部は、最も頻度の高い頭部姿勢を基準姿勢としてもよい。
また、基準姿勢は複数であってもよい。この場合、較正部は複数の基準姿勢のそれぞれについて較正パラメータを算出し、補正部は複数の基準姿勢のいずれか（例えば検出された頭部姿勢に最も近いものなど）を用いて処理を行う。
（実施の形態２）
以下、図１０を用いて、実施の形態２を説明する。なお、実施の形態１における視線検出装置の構成は実施の形態１の視線検出装置の構成と同様であるため、説明を省略する。
［２―１動作］
図１０は実施の形態２における視線検出装置の処理の流れを示すフローチャートである。なお、図１０において、図３と同じ動作のステップには同符号を付与し、説明を省略する。
図３と異なるのはステップＳ１００４以降で、較正部１４０は各頭部姿勢に対する視線方向分布のそれぞれについて、視線方向分布を較正するための較正パラメータを算出する（ステップＳ１００４）。
較正部１４０は、較正パラメータの精度が不十分であるなどの理由で較正をやり直すかどうかを判定し（ステップＳ１００５）、やり直す場合はステップＳ２０１に処理を戻し、これまでの処理を繰り返す。
なお、ステップＳ１００５において、較正部１４０はある特定の１つ以上の頭部姿勢に対する較正パラメータに対してのみ精度の判定を行うようにしてもよい。このようにすることで、視線方向分布に含まれるデータ数が少なく、較正パラメータの精度が悪くなりやすい頭部姿勢の影響を無視して処理を進めることが可能となる。
較正をやり直さない場合、補正部１５０は検出部１２０によって検出された頭部姿勢に対する較正パラメータを用いて、視線方向分布を補正する（ステップＳ１００６）。
なお、ステップＳ１００６において、ステップＳ１００５の処理によっては検出された頭部姿勢に対する較正パラメータがまだ求められていない場合がありえる。この場合は補正を行わないか、仮の較正パラメータ（例えば数式５においてａ＝１、ｂ＝０、ｃ＝０、ｄ＝０、ｅ＝１、ｆ＝０とすると元の視線方向分布を変化させない）によって補正を行うようにしてもよい。
本実施の形態の視線検出装置は、撮像部１１０が被測定者を撮像し、検出部１２０は、撮像部１１０によって撮影された画像から被測定者の頭部姿勢と視線方向を検出し、生成部１３０は、検出部により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部１４０は、頭部姿勢毎の視線方向分布のそれぞれに対して、視線方向分布を較正するための較正パラメータを算出し、補正部１５０は、較正部が算出した頭部姿勢毎の較正パラメータのうち、検出部によって検出された被測定者の頭部姿勢に対する較正パラメータを用いて視線方向分布を補正する。
これにより、頭部姿勢の変化がキャリブレーション結果に与える影響を自動的に補正できる。実施の形態１においては、基準姿勢に対してのみ較正パラメータを算出したが、実施の形態２においては、各頭部姿勢毎に較正パラメータを算出し、それを補正部で直接使用している点が異なる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
例えば視線方向分布を生成する際に、視線方向の時間変化に応じた重み付けを行ってもよい。これによって、例えば視線方向の検出が不安定になりやすい視線移動中の状態は重みを低くして、より正確な視線方向分布を得ることが出来る。あるいは視線方向の時間変化が所定の大きさを下回るもののみを用いて視線方向分布を生成してもよい。これによっても同様の効果を得ることが出来る。
上記の例では視線方向分布を生成する際に、視線方向の時間変化に応じた重み付けを行う例について説明したが、代わりに較正パラメータや補正パラメータを算出する際の基準点や参照点を選ぶ際に重みを考慮してこれらの点を選ぶようにしてもよい。先述の例と同じように、これによって不安定な状態を避けてより正確な代表点や参照点の位置を得ることが出来る。
また、上記実施の形態で説明した視線検出装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、画像に基づいて被測定者の視線方向を検出する視線検出装置に有用である。
１００ 視線検出装置
１１０ 撮像部
１２０ 検出部
１３０ 生成部
１４０ 較正部
１５０ 補正部
１６０ メモリ

Claims (8)

  1. 被測定者を撮像する撮像部と、
    前記撮像部によって撮影された画像から前記被測定者の頭部姿勢と視線方向を検出する検出部と、
    前記検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、
    前記頭部姿勢の中から１つ以上の基準姿勢を選択し、前記基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する較正部と、
    前記較正部が算出した前記較正パラメータを用いて、前記基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正部と、
    を備える視線検出装置。
  2. 前記補正部は、前記基準姿勢以外の頭部姿勢に対する視線方向分布を前記基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、前記基準姿勢以外の頭部姿勢に対する視線方向分布を、前記補正パラメータを用いて補正した後、前記較正パラメータを用いて補正することを特徴とする、請求項１に記載の視線検出装置。
  3. 前記補正部は、前記基準姿勢以外の頭部姿勢に対する視線方向分布を前記基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、前記較正パラメータを前記補正パラメータで補正した後、前記基準姿勢以外の頭部姿勢に対する視線方向分布を、補正した較正パラメータを用いて補正することを特徴とする、請求項１に記載の視線検出装置。
  4. 前記補正部は、補正対象の頭部姿勢に対する視線方向分布の重心を、前記基準姿勢に対する視線方向分布の重心に重ねる変換を行うことを特徴とする、請求項３に記載の視線検出装置。
  5. 前記較正部は、既知の視線方向を表す基準点と、前記基準姿勢に対する視線方向分布から選択した参照点とを所定の関係式で対応付けることを特徴とする、請求項１から４に記載の視線検出装置。
  6. 前記較正部は、最も頻度の高い頭部姿勢を前記基準姿勢とすることを特徴とする、請求項１から５に記載の視線検出装置。
  7. 前記生成部は、前記視線方向の時間変化に応じた重み付けを行い、前記重み付けを考慮した視線方向分布を生成することを特徴とする、請求項１から６に記載の視線検出装置。
  8. 被測定者を撮像する撮像部と、
    前記撮像部によって撮影された画像から前記被測定者の頭部姿勢と視線方向を検出する検出部と、
    前記検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、
    前記頭部姿勢毎の視線方向分布のそれぞれに対して、視線方向分布を較正するための較正パラメータを算出する較正部と、
    前記較正部が算出した前記頭部姿勢毎の較正パラメータのうち、前記検出部によって検出された被測定者の頭部姿勢に対する較正パラメータを用いて視線方向分布を補正する補正部と、
    を備える視線検出装置。
JP2016507348A 2014-03-13 2015-03-09 視線検出装置 Pending JPWO2015136908A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014049642 2014-03-13
JP2014049642 2014-03-13
PCT/JP2015/001260 WO2015136908A1 (ja) 2014-03-13 2015-03-09 視線検出装置

Publications (1)

Publication Number Publication Date
JPWO2015136908A1 true JPWO2015136908A1 (ja) 2017-04-06

Family

ID=54071366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507348A Pending JPWO2015136908A1 (ja) 2014-03-13 2015-03-09 視線検出装置

Country Status (3)

Country Link
US (1) US9854967B2 (ja)
JP (1) JPWO2015136908A1 (ja)
WO (1) WO2015136908A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574321B (zh) * 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
JP6604271B2 (ja) 2016-06-06 2019-11-13 富士通株式会社 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム
JP6572841B2 (ja) * 2016-07-13 2019-09-11 株式会社デンソー 情報処理装置及びプログラム
CN111527374B (zh) 2018-01-05 2021-10-22 三菱电机株式会社 视线方向校正装置、视线方向校正方法及视线方向校正程序
US10996748B2 (en) 2018-09-10 2021-05-04 Apple Inc. Gaze-dependent display encryption
JP6717477B1 (ja) * 2019-09-13 2020-07-01 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
US11568560B2 (en) * 2020-04-28 2023-01-31 Tobii Ab Calibration of an eye tracking system
JP6757949B1 (ja) * 2020-05-28 2020-09-23 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
JPWO2022196093A1 (ja) * 2021-03-17 2022-09-22
CN117597656A (zh) * 2022-06-14 2024-02-23 北京小米移动软件有限公司 一种头部动作的检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134371A (ja) * 1999-11-05 2001-05-18 Shimadzu Corp 視線検出装置
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
CN101489467B (zh) 2006-07-14 2011-05-04 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
JP5016959B2 (ja) * 2007-03-27 2012-09-05 パナソニック株式会社 見え方度判定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134371A (ja) * 1999-11-05 2001-05-18 Shimadzu Corp 視線検出装置
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置

Also Published As

Publication number Publication date
WO2015136908A1 (ja) 2015-09-17
US9854967B2 (en) 2018-01-02
US20160066782A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
WO2015136908A1 (ja) 視線検出装置
CN107357429B (zh) 用于确定视线的方法、设备和计算机可读存储介质
EP3215914B1 (en) Improved calibration for eye tracking systems
CN108986070B (zh) 一种基于高速视频测量的岩石裂缝扩展实验监测方法
JP6800091B2 (ja) 視線計測装置及びプログラム
US10140726B2 (en) Apparatus and method for estimating gazed position of person
JP2010259605A (ja) 視線測定装置および視線測定プログラム
JP5466610B2 (ja) 視線推定装置
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
US11313759B2 (en) Method and device for measuring the local refractive power and/or the refractive power distribution of a spectacle lens
JP6840697B2 (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
JP2009297323A (ja) 視線計測装置
JP6881755B2 (ja) 視線検出校正方法、システム、及びコンピュータプログラム
JP2022523306A (ja) アイトラッキングデバイスおよび方法
CN103654709A (zh) 视线检测设备、视线检测方法及用于其的程序
JP7255436B2 (ja) 眼球構造推定装置
CN109308714A (zh) 基于分类惩罚的摄像头和激光雷达信息配准方法
JP2009064395A (ja) ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5719216B2 (ja) 視線測定装置および視線測定プログラム
JP2020162759A (ja) 視線計測装置
US11751764B2 (en) Measuring a posterior corneal surface of an eye
JP2003079577A (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体
JP2017116404A (ja) 形状認識装置、及び形状認識方法
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
CN114593832A (zh) 热像设备及热像仪的温度校正方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151117

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180215

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190903