JPWO2009107371A1 - 視線検出装置及び視線検出方法 - Google Patents

視線検出装置及び視線検出方法 Download PDF

Info

Publication number
JPWO2009107371A1
JPWO2009107371A1 JP2009521471A JP2009521471A JPWO2009107371A1 JP WO2009107371 A1 JPWO2009107371 A1 JP WO2009107371A1 JP 2009521471 A JP2009521471 A JP 2009521471A JP 2009521471 A JP2009521471 A JP 2009521471A JP WO2009107371 A1 JPWO2009107371 A1 JP WO2009107371A1
Authority
JP
Japan
Prior art keywords
calibration
unit
calibration object
eye movement
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009521471A
Other languages
English (en)
Other versions
JP5415948B2 (ja
Inventor
敏康 杉尾
敏康 杉尾
大将 佐藤
大将 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009521471A priority Critical patent/JP5415948B2/ja
Publication of JPWO2009107371A1 publication Critical patent/JPWO2009107371A1/ja
Application granted granted Critical
Publication of JP5415948B2 publication Critical patent/JP5415948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

撮影者の頭部に装着した撮像部からの入力画像における撮影者の視線座標を検出するための較正パラメータを短時間で的確に算出する。ユーザに装着された撮像部（１０４）からの入力画像におけるユーザの視線座標を検出する視線検出装置（１００）であって、ユーザの眼球運動を検出する眼球運動検出部（１０１）と、入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出部（１０５）と、位置座標によって示される較正物体を見るように、ユーザに指示する音声指示部（１０８）と、指示を受けたユーザの眼球運動情報と前記較正物体の位置座標とを用いて較正パラメータを算出する較正パラメータ計算部（１０６）と、算出された較正パラメータを用いて眼球運動情報を視線座標に較正する較正部（１０２）とを備える。

Description

本発明は、撮影者の頭部に装着された撮像手段からの入力画像における撮影者の視線座標を求める視線検出装置及び視線検出方法に関するものである。
例えば、特許文献１に開示されているように、撮像手段を頭部に装着することによって、撮影時に両手が自由になり、他の作業を行いながら撮影することができるという利点を持つ、頭部装着型カメラが従来から提案されている。さらに、特許文献２では、撮像手段の撮影位置を、撮影者の視線位置に応じて移動させることによって、撮影者が撮影中に頭部を動かしても撮像位置が変化しない安定した撮影ができることを提案している。
実際に視線位置によって撮影位置を正しく移動させる方法の１つとして、実空間における撮影者の視線位置が、撮像手段から取得した入力画像上のどの位置に相当するのかを検出し、検出した位置が中心となるように撮影位置を制御することが考えられる。実空間における撮影者の視線位置と入力画像上の視線位置との較正方法の例として、以下の特許文献３、特許文献４等がある。
特許文献３には、較正時に、ディスプレイに複数の点からなる任意の較正パターンを表示させ、被験者がこれらの点を見たときの水平方向及び垂直方向の眼球運動データを取得し、これらのデータに基づいて較正パラメータを求めるという技術が記載されている。眼球運動データを取得する方法としては、角膜反射法による方法、角膜と強膜との反射率の違いを利用する方法、コンタクトレンズを用いる方法、あるいは角膜と網膜との間の発生電位を用いるＥＯＧ（Ｅｌｅｃｔｒｏ−Ｏｃｕｌｏｇｒａｐｈｙ）法等を挙げている。
特許文献４に記載の技術では、計測の準備として、周囲空間に視野画像において特徴点となるような目標を複数個用意し、被測定者はアイカメラを頭部にセットして、これらの目標を順次注視する。注視された目標の視野画像内における特徴点としての座標と、注視時のアイマーク信号の座標とがそれぞれ対応付けられ、テーブル記憶手段に順次記憶される。計測時には、この記憶された補正テーブルを用いて、アイカメラから送られてきたアイマーク信号を補正する。
特公平３−６２３５６号公報 特開平８−８４２８０号公報 特許第２６１５８３１号明細書 特開昭６２−１７６４２７号公報
しかしながら、上記従来技術では、以下に示すような課題がある。
特許文献３では、較正パターンをディスプレイに表示するため、頭部装着型カメラのようなディスプレイのない状態では、較正パターンを撮影者に提示することができず、較正パラメータを求めることができない。
また、特許文献４では、撮影者は予め特徴点となるような目標を設置する必要があり、かつ、その目標が頭部に装着された撮像手段に映るようにしなければならず、すぐに撮影に入れないばかりか、ある程度の慣れが必要となる。
このように、上記従来技術では、較正パラメータを決定するための前準備が必要かつ複雑で、撮影者に負担になるだけでなく、撮影者が操作に慣れていないと較正パラメータを容易に算出することは困難である。
そこで、本発明は、上記課題を解決するためになされたもので、撮影者に装着された撮像手段からの入力画像における撮影者の視線座標を検出するための較正パラメータを短時間で的確に算出する視線検出装置及び視線検出方法を提供することを目的とする。
上記課題を解決するため、本発明の視線検出装置は、ユーザに装着された撮像部からの入力画像における前記ユーザの視線座標を検出する視線検出装置であって、前記ユーザの眼球運動を検出することによって、当該眼球運動を示す眼球運動情報を取得する眼球運動検出部と、前記入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出部と、前記位置座標によって示される較正物体を見るように、前記ユーザに指示する指示部と、前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記眼球運動情報を前記視線座標に較正する際に用いる較正パラメータを算出する較正パラメータ計算部と、前記較正パラメータ計算部によって算出された較正パラメータを用いて前記眼球運動情報を前記視線座標に較正する較正部とを備える。
これにより、ユーザは指示部からの指示に従って指示された較正物体を見るだけで、本発明の視線検出装置が較正パラメータを短時間で的確に算出する。このため、ユーザに高度な知識を必要とせず、誰でも容易に本発明の視線検出装置を利用することができる。
また、前記較正物体検出部は、前記物体が含まれていると判定した場合に、さらに、較正物体の検出が完了したことを示す完了信号を出力し、前記較正パラメータ計算部は、前記完了信号を受けた場合に、前記眼球運動情報と前記較正物体の位置座標とを用いて前記較正パラメータを算出してもよい。
これにより、較正パラメータ計算部は完了信号を受けた後で較正パラメータの更新を行うので、ユーザが較正物体を見る前に更新処理を開始することを防ぐことができる。このため、より的確に較正パラメータを算出することができる。
また、前記較正物体検出部は、前記入力画像の画像特徴量を抽出し、抽出した画像特徴量が所定の閾値に達している領域が存在するか否かを判定し、存在すると判定した場合、前記較正物体として利用可能な物体の位置座標として、当該領域の位置座標を出力してもよい。
これにより、画像特徴量が所定の閾値に達している領域が、較正物体が含まれる領域であると判定することができるので、容易に較正物体の位置座標と特徴量とを検出することができる。
また、前記較正物体検出部は、前記領域が存在すると判定した場合、さらに、抽出した画像特徴量を前記指示部に出力し、前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体を見るように、前記ユーザに指示してもよい。
これにより、位置座標だけでなく特徴量も用いて較正物体をユーザに指示することができるので、指示を受けたユーザはより簡単に較正物体を見つけることができる。したがって、本発明の視線検出装置は、より短期間でより的確に較正パラメータを算出することができる。
また、前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体の情報を示す案内情報を生成し、生成した案内情報を音声又は骨伝導を用いて前記ユーザに指示してもよい。
これにより、音声又は骨伝導を利用してユーザに指示するので、指示を受けたユーザはより簡単に較正物体を見つけることができる。さらに、骨伝導を利用することによって、周囲が騒がしい状況、若しくは音声が出せない状況であっても、又は音声が聞き取れない聴覚障害者に対しても較正物体を見るように指示することができる。
また、前記較正物体検出部は、前記入力画像の画像特徴量として、エッジ情報、色情報、輝度レベル情報及び動き情報の少なくとも１つを抽出してもよい。
これにより、例えば、輝度レベル情報を抽出することによって、視覚的に目立つ領域、例えば、周囲よりも輝度レベルが高い領域を較正物体が含まれる領域として検出することができる。したがって、ユーザはより簡単に較正物体を見つけることができる。他の情報を用いた場合も同様である。
また、前記較正物体検出部は、前記較正物体として利用可能な物体として、人の顔、前記ユーザの身体の一部、又は、前記ユーザが装着若しくは保持している物体が前記入力画像に含まれているか否かを判定してもよい。
また、前記視線検出装置は、さらに、前記較正物体を出力する較正物体出力部を備え、前記指示部は、前記較正物体出力部によって出力された較正物体を見るように、前記ユーザに指示してもよい。
これにより、例えば、較正物体が検出できなかった場合などに較正物体を出力することによって、出力した較正物体を用いて確実に較正パラメータを更新することができる。
また、前記視線検出装置は、さらに、前記較正物体までの距離を計測する較正物体距離計測部を備え、前記較正パラメータ計算部は、前記較正物体距離計測部によって計測された距離をさらに用いて、前記更新パラメータを算出する。
これにより、撮影者の眼球位置から撮像部までの距離が大きい場合でも、眼球運動情報から視線座標を正確に算出することができる。
また、前記眼球運動検出部は、前記眼球運動情報として、前記ユーザの眼電位又は眼球の移動量を示す情報を取得してもよい。
これにより、例えば、眼電位を用いた場合には、ユーザの目の形状、及び撮影環境などに依存せずに眼球運動情報を取得することができる。また、眼球の移動量を用いた場合には、より精度の高い眼球運動情報を取得することができる。
また、前記較正パラメータは、前記ユーザの眼球運動情報と前記視線座標とを対応付けたテーブルであり、前記較正パラメータ計算部は、前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記テーブルを更新し、前記較正部は、前記較正パラメータ計算部によって更新されたテーブルを参照することによって、前記眼球運動情報を前記視線座標に較正してもよい。
これにより、眼球運動情報と視線座標とを対応付けたテーブルを保持することによって、較正にかかる時間を短縮することができる。
なお、本発明は、このような視線検出装置として実現することができるだけでなく、このような視線検出装置が備える特徴的な手段をステップとする視線検出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上のように、本発明の視線検出装置によれば、撮影者に装着した撮像手段からの入力画像における撮影者の視線座標を検出するための較正パラメータを短時間で的確に算出することができる。
図１は、本実施の形態の視線検出装置の構成の一例を示すブロック図である。 図２は、本実施の形態の視線検出装置の使用例を示す図である。 図３は、ＥＯＧ法を用いた眼電位の計測方法を説明するための図である。 図４Ａは、眼電位と眼球移動角とを対応付けたテーブルを示す図である。 図４Ｂは、眼電位と視線座標とを対応付けたテーブルを示す図である。 図４Ｃは、眼球の移動量と眼球移動角とを対応付けたテーブルを示す図である。 図４Ｄは、眼球の移動量と視線座標とを対応付けたテーブルを示す図である。 図５は、本実施の形態の視線検出装置の動作の一例を示すフローチャートである。 図６は、本実施の形態の較正物体の検出処理の詳細を示すフローチャートである。 図７は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。 図８は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。 図９は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。 図１０Ａは、眼電位と眼球移動角及び距離情報とを対応付けたテーブルを示す図である。 図１０Ｂは、眼球の移動量と眼球移動角及び距離情報とを対応付けたテーブルを示す図である。
符号の説明
１００、２００、３００、４００ 視線検出装置
１０１ 眼球運動検出部
１０２、４０２ 較正部
１０３ 較正パラメータ更新指示部
１０４ 撮像部
１０５、３０５、４０５ 較正物体検出部
１０６、４０６ 較正パラメータ計算部
１０７ スイッチ
１０８ 音声指示部
２０９ 較正物体出力部
３１０ 較正物体登録部
４１０ 較正物体距離計測部
以下、図面を参照しながら本発明の実施の形態について説明する。
図１は、本実施の形態の視線検出装置１００の構成の一例を表すブロック図である。同図に示す視線検出装置１００は、眼球運動検出部１０１と、較正部１０２と、較正パラメータ更新指示部１０３と、撮像部１０４と、較正物体検出部１０５と、較正パラメータ計算部１０６と、スイッチ１０７と、音声指示部１０８とを備える。
なお、本実施の形態の視線検出装置１００は、例えば、図２に示すように、撮影者の頭部に装着され、撮影者の視線方向を撮影する。
眼球運動検出部１０１は、ユーザ（撮影者）の眼球運動を検出することによって、眼球運動情報を取得する。例えば、眼球運動検出部１０１は、撮影者の眼球運動情報を、角膜と網膜との間の発生電位を利用するＥＯＧ法、スポットライトを眼球に入射することによって角膜内部に生じる虚像の動きを検出する角膜反射法、角膜と強膜との反射率の違いを利用する強反射法、及びコンタクトレンズを用いる方法等を用いることによって取得する。
眼球運動情報は、ＥＯＧ法であれば眼電位、その他の方法であれば眼球の移動量等を含む、撮影者の眼球運動を示す情報である。本実施の形態では、眼球運動検出部１０１がＥＯＧ法を用いた場合を一例として挙げる。
ＥＯＧ法とは、人間の角膜が網膜に対して正に帯電していることを利用した眼球運動検出方法である。具体的には、人間の眼球付近に少なくとも１つの電極を貼り付けし、その電極を用いて計測される電位の変化に基づいて眼球運動を検出する。
図３に、ＥＯＧ法を用いた眼球運動検出方法の例を示す。図３は、撮影者の右目の外側と内側とに、眼球の中心から等距離離して２つの電極を貼り付けた場合の例であり、外側を電極Ａ、内側を電極Ｂで示している。
電極Ａに発生する眼電位をＶａ、電極Ｂに発生する眼電位をＶｂとすると、図３（ａ）のように、撮影者の眼球が真中位置にある場合は、ＶａとＶｂとが等しくなり、計測される眼電位Ｖａ−ｂ（＝Ｖａ−Ｖｂ）は０Ｖとなる。
図３（ｂ）のように、撮影者が右を見た場合は、電極Ａの方が右目の角膜に近くなるため、Ｖａ＞Ｖｂとなり、計測眼電位Ｖａ−ｂは正の値を示す。逆に、撮影者が左を見た場合は、Ｖａ＜Ｖｂとなり、計測眼電位Ｖａ−ｂは負の値を示す。つまり、計測眼電位Ｖａ−ｂが正の値を示すならば、撮影者は右に目を動かしたことが分かり、負の値を示すならば、左に目を動かしたことが分かる。
ＥＯＧ法では、このような計測眼電位Ｖａ−ｂの変化を利用することにより、撮影者の眼球運動を検出する。一般的に計測眼電位Ｖａ−ｂは、眼球の移動角θが一定の範囲内であれば線形に変化することが知られている。つまり、計測眼電位Ｖａ−ｂは、定数ａと眼球の移動角θを用いて（式１）によって近似することができる。
Ｖａ−ｂ＝ａ×θ（式１）
本実施の形態では、定数ａのことを、較正係数と呼ぶ。
図１に戻ると、較正部１０２は、較正パラメータ計算部１０６によって算出された較正パラメータと撮像部１０４からの撮像部情報とを用いて、眼球運動情報を視線座標に較正する。すなわち、較正部１０２は、眼球運動検出部１０１によって取得された眼球運動情報に基づいて、較正パラメータ及び撮像部情報を用いて、撮像部１０４からの入力画像中における撮影者の視線座標を算出する。
ここで、較正パラメータとは、眼球運動情報を眼球の移動角に変換するためのパラメータである。すなわち、較正パラメータは、眼球運動情報と視線座標との対応関係を示すパラメータである。較正パラメータの一例として、（式１）で用いた較正係数ａが挙げられる。また、撮像部情報とは、入力画像の画角、解像度、レンズ特性等の撮像部１０４から取得される情報である。
ＥＯＧ法を用いた場合の較正部１０２の動作の一例は、次の通りである。眼球運動情報として眼電位Ｖｅ（＝Ｖａ−ｂ）が較正部１０２に入力された場合、（式１）を用いて眼球の移動角θｅ（＝θ）を算出する。そして、移動角θｅから撮像部情報を用いて視線座標を求める。以上の手順により、眼球運動情報から視線座標を算出することができる。
なお、本実施の形態では、（式１）を用いた較正方法について説明したが、これに限らない。例えば、図４Ａ〜図４Ｄに示すような、眼球運動情報と視線座標とを対応付けたテーブルを用いてもよい。図４Ａは、眼電位と眼球移動角とを対応付けたテーブルを示す図である。図４Ｂは、眼電位と視線座標とを対応付けたテーブルを示す図である。図４Ｃは、眼球の移動量と眼球移動角とを対応付けたテーブルを示す図である。図４Ｄは、眼球の移動量と視線座標とを対応付けたテーブルを示す図である。なお、ここでは簡単のため、眼球移動角及び視線座標ともに、水平又は垂直の一方向についてのみ示す。
眼球の移動量は、例えば、正面を向いているときの瞳孔の中心を基準位置としたときの瞳孔の中心の移動量を示す。眼球の移動量は、例えば、アイカメラなどを用いて撮影者の目を撮影することによって、取得される。また、視線座標は、例えば、入力画像の右上端を基準座標（０，０）としたときの水平方向又は垂直方向の位置を示す。なお、基準位置及び基準座標は、どこを基準としてもよい。
較正部１０２は、例えば、眼球運動検出部１０１によって取得された眼電位から図４Ａのテーブルを参照することによって、眼球移動角を取得する。そして、眼球移動角に基づいて撮像部情報を用いて視線座標を算出する。
較正パラメータ更新指示部１０３は、撮影開始時、撮影者の指示等の予め定められたイベントが発生した場合に、較正物体検出部１０５、較正パラメータ計算部１０６及びスイッチ１０７に較正パラメータ更新指示を出力する。
撮像部１０４は、撮影者の頭部に装着され、撮影者の周囲を撮影する。撮影された入力画像は、較正物体検出部１０５に出力される。また、撮像部１０４は、撮像部情報を較正部１０２及び較正パラメータ計算部１０６に出力する。
較正物体検出部１０５は、較正パラメータ更新指示を受けた場合、撮像部１０４からの入力画像中に、較正物体として利用可能な物体が含まれるかどうかを判定する。具体的な判定の詳細については、図面を用いて後で説明する。ここで、較正物体とは、撮影者の周囲の実空間上に存在する立体又は平面の物体であって、撮影者が容易に見つけることができ、かつ、画像処理により容易に入力画像から抽出されるように、特徴的な形状、色、明るさ等を有する物体である。
較正物体として利用可能な物体が含まれると判定した場合、較正物体検出部１０５は、較正物体座標と較正物体特徴量とを、音声指示部１０８と較正パラメータ計算部１０６とに出力する。また、較正物体検出部１０５は、較正物体の検出が完了したことを示す検出完了信号を較正パラメータ計算部１０６に出力する。
なお、較正物体座標は、入力画像内における、較正物体として利用可能であると判定された物体の位置を示す情報、例えば、当該物体の位置座標を示す。また、較正物体特徴量は、較正物体として利用可能であると判定された物体の画像特徴量を示す情報である。画像特徴量は、例えば、エッジ、色情報、輝度レベル等である。なお、以下では、較正物体座標と較正物体特徴量とを含めて、較正物体情報とも記載する。
較正パラメータ計算部１０６は、較正物体検出部１０５から検出完了信号を受信した場合、音声指示部１０８による指示を受けた撮影者の眼球運動情報、較正物体座標及び撮像部情報を用いて、較正パラメータを更新する。具体的には、較正パラメータ計算部１０６は、較正物体検出部１０５から検出完了信号を受け取った場合に、較正パラメータの更新を開始する。ここで、ＥＯＧ法を用いた場合の較正パラメータの１つである較正係数ａの計算例を示す。
まずは、較正物体座標から、入力画像の画角、解像度、レンズ特性等の撮像部情報を用いて、較正物体を見た場合の撮影者の眼球移動角θｃを求める。そして、眼球運動情報として入力された眼電位Ｖｃ、及び眼球移動角θｃを（式１）に代入することにより、較正係数ａを算出する。
なお、較正部１０２が、図４Ａ〜図４Ｄに示すようなテーブルを用いて眼球運動情報から視線座標を算出する場合、較正パラメータ計算部１０６は、図４Ａ〜図４Ｄに示すテーブルの値を更新する。例えば、図４Ａの例では、較正時に得られる眼電位と眼球移動角とをテーブルに書き込むことによって、テーブルの値を更新する。
スイッチ１０７は、較正パラメータ更新指示に従って、眼球運動検出部１０１によって取得された眼球運動情報を、較正部１０２及び較正パラメータ計算部１０６のどちらに送信するかを切り替える。具体的には、スイッチ１０７は、較正パラメータ更新指示が出力された場合に、較正パラメータ計算部１０６に眼球運動情報を送信する。そして、スイッチ１０７は、較正パラメータ更新指示が出力されていない場合、較正部１０２に眼球運動情報を送信する。
音声指示部１０８は、較正物体検出部１０５から較正物体座標と較正物体特徴量とを受け取った場合、較正物体検出部１０５によって検出された物体、つまり、較正物体座標と較正物体特徴量とによって示される物体を見るように、音声などを利用して撮影者に指示する。例えば、較正物体検出部１０５が入力画像内の右側にある人の顔を較正物体として検出した場合、音声指示部１０８は、「右側に見える人の顔を見てください」等の音声案内を出力する。
続いて、本実施の形態の視線検出装置１００の動作について説明する。
図５は、本実施の形態の視線検出装置１００の動作を示すフローチャートである。
較正パラメータ更新指示部１０３は、予め定められたイベントが発生したか否かを判定する（ステップＳ１０１）。イベントとは、撮影開始の指示、較正パラメータの更新を行う旨の撮影者からの指示などである。
イベントが発生していない場合（ステップＳ１０１でＮｏ）、視線検出装置１００は、較正パラメータの更新処理を行わず、通常の視線座標の検出処理を行う。このとき、較正パラメータ更新指示部１０３は、イベントが発生するまで待機する。また、スイッチ１０７は、眼球運動情報を較正部１０２に送信する。
イベントが発生した場合（ステップＳ１０１でＹｅｓ）、較正パラメータ更新指示部１０３は、較正パラメータ更新指示をスイッチ１０７、及び較正物体検出部１０５に出力する（ステップＳ１０２）。スイッチ１０７は、較正パラメータ更新指示を受け取り、眼球運動検出部１０１と較正パラメータ計算部１０６とを接続することによって、眼球運動情報を較正パラメータ計算部１０６に送信する。
較正物体検出部１０５は、較正パラメータ更新指示を受け取り、撮像部１０４から取得した入力画像内の較正物体を検出する（ステップＳ１０３）。較正物体検出部１０５は、較正物体を検出した場合に、較正物体情報を音声指示部１０８と較正パラメータ計算部１０６とに出力する。さらに、検出完了信号を較正パラメータ計算部１０６に出力する。較正物体の検出処理の詳細は、図６を用いて後で説明する。
音声指示部１０８は、較正物体検出部１０５から較正物体情報を受け取り、受け取った較正物体情報が示す較正物体を撮影者が見るように、撮影者に音声で指示する（ステップＳ１０４）。
較正パラメータ計算部１０６は、較正物体検出部１０５から検出完了信号を受け取った場合、眼球運動情報、較正物体座標、及び撮像部情報を用いて較正パラメータを算出する（ステップＳ１０５）。
以上のようにして、本実施の形態の視線検出装置１００は、較正時には、較正パラメータを算出し、通常時には、算出した較正パラメータを用いて、眼球運動情報と視線座標との較正を行う。
次に、較正物体検出部１０５が行う較正物体の検出処理の詳細について、図６を用いて説明する。図６は、本実施の形態の較正物体の検出処理の詳細を示すフローチャートである。なお、以下では一例として、入力画像の画像特徴量を抽出することにより、較正物体を検出するときの動作について説明する。
まず、較正物体検出部１０５は、較正パラメータ更新指示があったかどうかを判定し、なければ処理を終了する。較正パラメータ更新指示があれば、撮像部１０４からの入力画像から画像特徴量を抽出する（ステップＳ２０１）。画像特徴量としては、エッジ、色情報、輝度レベル及び動き量等の情報を用いる。
そして、較正物体検出部１０５は、抽出した画像特徴量の中から、較正物体として利用可能な画像特徴量を探索することにより、較正物体として利用可能な特徴量が入力画像中に存在するか否かを判定する（ステップＳ２０２）。例えば、エッジ情報を用いた場合では、円形、又は三角形、四角形などの多角形といった所定の形状が存在するか否かを判定する。色情報を用いた場合では、赤や青の視覚的に目立ちやすい色、例えば、彩度が所定の値以上となる色が存在するか否かを判定する。輝度レベル情報を用いた場合では、周りよりも明るくなっている場所、すなわち、周囲の領域より輝度値が高くなっている領域が存在するか否かを判定する。動き量情報を用いた場合では、動き量が所定の値以下である物体、例えば、静止している物体が存在するか否かを判定する。さらに、人の顔や動物等を用いてもよい。このように、較正物体検出部１０５は、これらの画像特徴量が所定の閾値に達している領域が、入力画像中に存在するかどうかを判定する。
以上のような画像特徴量が入力画像内に検出されなければ（ステップＳ２０２でＮｏ）、較正物体検出部１０５は、次の入力画像から画像特徴量を求めることによって較正物体として利用可能な物体検出を繰り返す（ステップＳ２０１に戻る）。
較正物体として利用可能な特徴量が検出されれば（ステップＳ２０２でＹｅｓ）、較正物体検出部１０５は、検出された特徴量を持つ物体（領域）の位置座標を較正物体座標として、較正パラメータ計算部１０６及び音声指示部１０８に出力する（ステップＳ２０３）。さらに、検出された特徴量から得られる情報を較正物体特徴量として、音声指示部１０８に出力する（ステップＳ２０４）。さらに、較正物体検出部１０５は、較正物体の検出が完了したことを示す検出完了信号を較正パラメータ計算部１０６に出力する（ステップＳ２０５）。
以上のようにして、本実施の形態の視線検出装置１００では、入力画像内の較正物体を検出し、検出した較正物体の特徴及び実空間上の位置などを撮影者に指示する。そして、指示に従って撮影者が較正物体を見ているときの眼球運動情報、較正物体座標、及び撮像部情報などを用いて較正パラメータを算出する。
これにより、較正パラメータの更新時には、撮影者が、本実施の形態の視線検出装置１００の音声案内に従って目を動かすだけで、視線検出装置１００は、自動的に短時間で的確に較正パラメータを更新することができる。
また、本実施の形態の視線検出装置１００では、較正物体検出部１０５は、撮影者が実空間上で見つけやすい物体を入力画像から検出するため、撮影者の負担を軽減することができる。具体的には、較正物体検出部１０５は、周囲の領域より輝度値が高くなっている領域に含まれる物体、円形又は多角形などの特定の形状の物体、人の顔などを較正物体として検出する。
また、本実施の形態の視線検出装置１００では、実空間上に存在する物体を撮像部１０４によって撮像することにより取得された入力画像から較正物体を検出する。すなわち、従来のように、較正物体を表示させるためのディスプレイ等は必要ではなく、いつでもどこでも容易に較正パラメータを更新することができる。
以上、本発明の視線検出装置及び視線検出方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
例えば、音声指示部１０８は、音声案内を生成して出力することによって、撮影者に指示したが、音声以外の案内情報を生成することにより撮影者に指示してもよい。例えば、本実施の形態の視線検出装置１００は、撮影者の頭部に装着されることを想定されているので、骨伝導を利用して撮影者に指示してもよい。あるいは、撮影者の聴覚を利用するのではなく、撮影者の視覚を利用してもよい。一例として、検出した較正物体にレーザポインタなどを当てることによって、撮影者が見るべき較正物体を指示してもよい。
また、撮影者の周囲に較正物体となり得る物体が存在しない場合に備えて、本発明の視線検出装置は、較正物体を出力する機能を備えていてもよい。図７は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。同図に示す視線検出装置２００は、図１に示す視線検出装置１００と比較して、さらに、較正物体出力部２０９を備える点が異なっている。
較正物体出力部２０９は、較正パラメータ更新指示部１０３から較正パラメータ更新指示を受けた場合、実空間上に較正物体を出力する。較正物体は、例えば、レーザポインタ、プロジェクタ等を使用して出力されたマークである。
これにより、撮影者が、較正物体出力部２０９から出力された較正物体を見るだけで、視線検出装置１００は、自動的に短時間で的確に較正パラメータを更新することができる。
なお、較正物体出力部２０９は、較正物体検出部１０５によって較正物体として利用可能な特徴量が存在しなかった場合に（ステップＳ２０２でＮｏ）、較正物体を出力してもよい。これにより、仮に周囲に較正物体として利用可能な物体が存在しない場合であっても、視線検出装置２００は、較正パラメータを更新することができる。また、較正物体として利用可能な物体が存在する場合は、較正物体出力部２０９は較正物体を出力しないので、視線検出装置２００は較正物体の出力に必要な消費電力を抑制することができる。
なお、音声指示部１０８は、較正物体出力部２０９が較正物体を出力した場合は、出力された較正物体の方向を撮影者に指示してもよい。これにより、撮影者は、より容易に較正物体を見ることが可能になる。
また、較正物体検出部１０５の動作として、画像の特徴量を用いた例を示したが、予め登録した較正物体との画素値の比較を行うテンプレートマッチング等を用いても構わない。
また、較正物体検出部１０５は、予め登録しておいた特徴量に一致する特徴量の存在する領域を入力画像から検出してもよい。図８は、本実施の形態の視線検出装置１００の構成の変形例を示すブロック図である。同図に示す視線検出装置３００は、図１に示す視線検出装置１００と比較して、較正物体検出部１０５の代わりに較正物体検出部３０５を備える点と、新たに、較正物体登録部３１０を備える点とが異なっている。
較正物体登録部３１０は、バッファを備え、当該バッファに、較正物体となり得る物体を撮像部１０４が撮像したときの画像特徴量を記憶しておく。例えば、較正物体登録部３１０は、撮影者の身体の一部、装着若しくは保持している指輪やリモコン等を撮像部１０４が撮像したときの画像特徴量を、較正物体として予め登録する。
また、音声指示部１０８は、検出完了信号を受け、較正物体検出部１０５によって較正物体が検出されたことを撮影者に通知してもよい。このときの通知は、音声で行う必要はなく、例えば、アラームなどの音、又はバイブレーションなどの振動でもよい。
また、較正物体検出部１０５は、較正物体座標として、撮像部１０４からの入力画像中における較正物体の位置座標と、実空間における較正物体までの距離情報とを出力してもよい。図９は、本実施の形態の視線検出装置１００の構成の変形例を示すブロック図である。同図に示す視線検出装置４００は、図１に示す視線検出装置１００と比較して、較正物体検出部１０５、較正パラメータ計算部１０６、較正部１０２の代わりに、較正物体検出部４０５、較正パラメータ計算部４０６、較正部４０２を備える点と、新たに、較正物体距離計測部４１０を備える点とが異なっている。
較正物体距離計測部４１０は、赤外線センサー等により、本視線検出装置４００から、較正物体検出部４０５によって検出された較正物体までの距離を計測する。
較正物体検出部４０５は、検出した較正物体の入力画像中における位置座標と、較正物体距離計測部４１０から出力された距離情報ＤＩＳとを較正物体座標として較正パラメータ計算部４０６に出力する。
較正パラメータ計算部４０６は、較正物体の位置座標と入力画像の画角、解像度、レンズ特性等の撮像部情報とを用いて、撮像部１０４の光線を基準とした較正物体の角度θｃａｍを求める。そして、較正物体の距離情報ＤＩＳを用いて、以下の（式２）により、較正物体を見た場合の撮影者の眼球移動角θｅを求める。
ｔａｎθｅ ＝ ｔａｎθｃａｍ ＋ Ｌ ／ ＤＩＳ （式２）
ここで、Ｌは、撮影者の眼球位置から撮像部１０４までの距離を表す。
そして、較正パラメータ計算部４０６は、図１０Ａ又は図１０Ｂに示すテーブルの値を更新する。例えば、図１０Ａの例では、較正時に得られる眼電位と、較正物体を見た際の眼球移動角と、較正物体までの距離情報とをテーブルに書き込むことによって、テーブルの値を更新する。
また、較正部４０２は、眼球運動情報として眼電位Ｖｅ（＝Ｖａ−ｂ）が較正部４０２に入力された場合、図１０Ａのテーブルを用いて眼球の移動角θｅと距離情報ＤＩＳとを求める。そして、移動角θｅと距離情報ＤＩＳを（式２）に代入することにより、較正物体の角度θｃａｍを求め、さらに撮像部情報を用いて視線座標を求める。以上の手順により、撮影者の眼球位置から撮像部１０４までの距離Ｌが大きい場合でも、眼球運動情報から視線座標を正確に算出することができる。
なお、本実施の形態の視線検出装置１００は、図１に示すように撮像部１０４を備えていなくてもよい。このとき、較正物体検出部１０５は、例えば、外部の撮像装置から得られる入力画像を取得する。また、較正部１０２及び較正パラメータ計算部１０６は、外部の撮像装置から撮像部情報を取得する。
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
例えば、図１に示す視線検出装置１００を構成する構成要素のうち、撮像部１０４と、音声指示部１０８の音声出力機能とを除いた構成要素を１個のシステムＬＳＩから構成してもよい。
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明は、放送や通信及び蓄積の分野において、映像や音声を記録再生する機器等として有用である。また、静止画像記録再生機器等としても適用が可能である。さらに、健康医療機器としても適用が可能である。
本発明は、撮影者の頭部に装着された撮像手段からの入力画像における撮影者の視線座標を求める視線検出装置及び視線検出方法に関するものである。
例えば、特許文献１に開示されているように、撮像手段を頭部に装着することによって、撮影時に両手が自由になり、他の作業を行いながら撮影することができるという利点を持つ、頭部装着型カメラが従来から提案されている。さらに、特許文献２では、撮像手段の撮影位置を、撮影者の視線位置に応じて移動させることによって、撮影者が撮影中に頭部を動かしても撮像位置が変化しない安定した撮影ができることを提案している。
実際に視線位置によって撮影位置を正しく移動させる方法の１つとして、実空間における撮影者の視線位置が、撮像手段から取得した入力画像上のどの位置に相当するのかを検出し、検出した位置が中心となるように撮影位置を制御することが考えられる。実空間における撮影者の視線位置と入力画像上の視線位置との較正方法の例として、以下の特許文献３、特許文献４等がある。
特許文献３には、較正時に、ディスプレイに複数の点からなる任意の較正パターンを表示させ、被験者がこれらの点を見たときの水平方向及び垂直方向の眼球運動データを取得し、これらのデータに基づいて較正パラメータを求めるという技術が記載されている。眼球運動データを取得する方法としては、角膜反射法による方法、角膜と強膜との反射率の違いを利用する方法、コンタクトレンズを用いる方法、あるいは角膜と網膜との間の発生電位を用いるＥＯＧ（Ｅｌｅｃｔｒｏ−Ｏｃｕｌｏｇｒａｐｈｙ）法等を挙げている。
特許文献４に記載の技術では、計測の準備として、周囲空間に視野画像において特徴点となるような目標を複数個用意し、被測定者はアイカメラを頭部にセットして、これらの目標を順次注視する。注視された目標の視野画像内における特徴点としての座標と、注視時のアイマーク信号の座標とがそれぞれ対応付けられ、テーブル記憶手段に順次記憶される。計測時には、この記憶された補正テーブルを用いて、アイカメラから送られてきたアイマーク信号を補正する。
特公平３−６２３５６号公報 特開平８−８４２８０号公報 特許第２６１５８３１号明細書 特開昭６２−１７６４２７号公報
しかしながら、上記従来技術では、以下に示すような課題がある。
特許文献３では、較正パターンをディスプレイに表示するため、頭部装着型カメラのようなディスプレイのない状態では、較正パターンを撮影者に提示することができず、較正パラメータを求めることができない。
また、特許文献４では、撮影者は予め特徴点となるような目標を設置する必要があり、かつ、その目標が頭部に装着された撮像手段に映るようにしなければならず、すぐに撮影に入れないばかりか、ある程度の慣れが必要となる。
このように、上記従来技術では、較正パラメータを決定するための前準備が必要かつ複雑で、撮影者に負担になるだけでなく、撮影者が操作に慣れていないと較正パラメータを容易に算出することは困難である。
そこで、本発明は、上記課題を解決するためになされたもので、撮影者に装着された撮像手段からの入力画像における撮影者の視線座標を検出するための較正パラメータを短時間で的確に算出する視線検出装置及び視線検出方法を提供することを目的とする。
上記課題を解決するため、本発明の視線検出装置は、ユーザに装着された撮像部からの入力画像における前記ユーザの視線座標を検出する視線検出装置であって、前記ユーザの眼球運動を検出することによって、当該眼球運動を示す眼球運動情報を取得する眼球運動検出部と、前記入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出部と、前記位置座標によって示される較正物体を見るように、前記ユーザに指示する指示部と、前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記眼球運動情報を前記視線座標に較正する際に用いる較正パラメータを算出する較正パラメータ計算部と、前記較正パラメータ計算部によって算出された較正パラメータを用いて前記眼球運動情報を前記視線座標に較正する較正部とを備える。
これにより、ユーザは指示部からの指示に従って指示された較正物体を見るだけで、本発明の視線検出装置が較正パラメータを短時間で的確に算出する。このため、ユーザに高度な知識を必要とせず、誰でも容易に本発明の視線検出装置を利用することができる。
また、前記較正物体検出部は、前記物体が含まれていると判定した場合に、さらに、較正物体の検出が完了したことを示す完了信号を出力し、前記較正パラメータ計算部は、前記完了信号を受けた場合に、前記眼球運動情報と前記較正物体の位置座標とを用いて前記較正パラメータを算出してもよい。
これにより、較正パラメータ計算部は完了信号を受けた後で較正パラメータの更新を行うので、ユーザが較正物体を見る前に更新処理を開始することを防ぐことができる。このため、より的確に較正パラメータを算出することができる。
また、前記較正物体検出部は、前記入力画像の画像特徴量を抽出し、抽出した画像特徴量が所定の閾値に達している領域が存在するか否かを判定し、存在すると判定した場合、前記較正物体として利用可能な物体の位置座標として、当該領域の位置座標を出力してもよい。
これにより、画像特徴量が所定の閾値に達している領域が、較正物体が含まれる領域であると判定することができるので、容易に較正物体の位置座標と特徴量とを検出することができる。
また、前記較正物体検出部は、前記領域が存在すると判定した場合、さらに、抽出した画像特徴量を前記指示部に出力し、前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体を見るように、前記ユーザに指示してもよい。
これにより、位置座標だけでなく特徴量も用いて較正物体をユーザに指示することができるので、指示を受けたユーザはより簡単に較正物体を見つけることができる。したがって、本発明の視線検出装置は、より短時間でより的確に較正パラメータを算出することができる。
また、前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体の情報を示す案内情報を生成し、生成した案内情報を音声又は骨伝導を用いて前記ユーザに指示してもよい。
これにより、音声又は骨伝導を利用してユーザに指示するので、指示を受けたユーザはより簡単に較正物体を見つけることができる。さらに、骨伝導を利用することによって、周囲が騒がしい状況、若しくは音声が出せない状況であっても、又は音声が聞き取れない聴覚障害者に対しても較正物体を見るように指示することができる。
また、前記較正物体検出部は、前記入力画像の画像特徴量として、エッジ情報、色情報、輝度レベル情報及び動き情報の少なくとも１つを抽出してもよい。
これにより、例えば、輝度レベル情報を抽出することによって、視覚的に目立つ領域、例えば、周囲よりも輝度レベルが高い領域を較正物体が含まれる領域として検出することができる。したがって、ユーザはより簡単に較正物体を見つけることができる。他の情報を用いた場合も同様である。
また、前記較正物体検出部は、前記較正物体として利用可能な物体として、人の顔、前記ユーザの身体の一部、又は、前記ユーザが装着若しくは保持している物体が前記入力画像に含まれているか否かを判定してもよい。
また、前記視線検出装置は、さらに、前記較正物体を出力する較正物体出力部を備え、前記指示部は、前記較正物体出力部によって出力された較正物体を見るように、前記ユーザに指示してもよい。
これにより、例えば、較正物体が検出できなかった場合などに較正物体を出力することによって、出力した較正物体を用いて確実に較正パラメータを更新することができる。
また、前記視線検出装置は、さらに、前記較正物体までの距離を計測する較正物体距離計測部を備え、前記較正パラメータ計算部は、前記較正物体距離計測部によって計測された距離をさらに用いて、前記更新パラメータを算出する。
これにより、撮影者の眼球位置から撮像部までの距離が大きい場合でも、眼球運動情報から視線座標を正確に算出することができる。
また、前記眼球運動検出部は、前記眼球運動情報として、前記ユーザの眼電位又は眼球の移動量を示す情報を取得してもよい。
これにより、例えば、眼電位を用いた場合には、ユーザの目の形状、及び撮影環境などに依存せずに眼球運動情報を取得することができる。また、眼球の移動量を用いた場合には、より精度の高い眼球運動情報を取得することができる。
また、前記較正パラメータは、前記ユーザの眼球運動情報と前記視線座標とを対応付けたテーブルであり、前記較正パラメータ計算部は、前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記テーブルを更新し、前記較正部は、前記較正パラメータ計算部によって更新されたテーブルを参照することによって、前記眼球運動情報を前記視線座標に較正してもよい。
これにより、眼球運動情報と視線座標とを対応付けたテーブルを保持することによって、較正にかかる時間を短縮することができる。
なお、本発明は、このような視線検出装置として実現することができるだけでなく、このような視線検出装置が備える特徴的な手段をステップとする視線検出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上のように、本発明の視線検出装置によれば、撮影者に装着した撮像手段からの入力画像における撮影者の視線座標を検出するための較正パラメータを短時間で的確に算出することができる。
図１は、本実施の形態の視線検出装置の構成の一例を示すブロック図である。 図２は、本実施の形態の視線検出装置の使用例を示す図である。 図３は、ＥＯＧ法を用いた眼電位の計測方法を説明するための図である。 図４Ａは、眼電位と眼球移動角とを対応付けたテーブルを示す図である。 図４Ｂは、眼電位と視線座標とを対応付けたテーブルを示す図である。 図４Ｃは、眼球の移動量と眼球移動角とを対応付けたテーブルを示す図である。 図４Ｄは、眼球の移動量と視線座標とを対応付けたテーブルを示す図である。 図５は、本実施の形態の視線検出装置の動作の一例を示すフローチャートである。 図６は、本実施の形態の較正物体の検出処理の詳細を示すフローチャートである。 図７は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。 図８は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。 図９は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。 図１０Ａは、眼電位と眼球移動角及び距離情報とを対応付けたテーブルを示す図である。 図１０Ｂは、眼球の移動量と眼球移動角及び距離情報とを対応付けたテーブルを示す図である。
以下、図面を参照しながら本発明の実施の形態について説明する。
図１は、本実施の形態の視線検出装置１００の構成の一例を表すブロック図である。同図に示す視線検出装置１００は、眼球運動検出部１０１と、較正部１０２と、較正パラメータ更新指示部１０３と、撮像部１０４と、較正物体検出部１０５と、較正パラメータ計算部１０６と、スイッチ１０７と、音声指示部１０８とを備える。
なお、本実施の形態の視線検出装置１００は、例えば、図２に示すように、撮影者の頭部に装着され、撮影者の視線方向を撮影する。
眼球運動検出部１０１は、ユーザ（撮影者）の眼球運動を検出することによって、眼球運動情報を取得する。例えば、眼球運動検出部１０１は、撮影者の眼球運動情報を、角膜と網膜との間の発生電位を利用するＥＯＧ法、スポットライトを眼球に入射することによって角膜内部に生じる虚像の動きを検出する角膜反射法、角膜と強膜との反射率の違いを利用する強膜反射法、及びコンタクトレンズを用いる方法等を用いることによって取得する。
眼球運動情報は、ＥＯＧ法であれば眼電位、その他の方法であれば眼球の移動量等を含む、撮影者の眼球運動を示す情報である。本実施の形態では、眼球運動検出部１０１がＥＯＧ法を用いた場合を一例として挙げる。
ＥＯＧ法とは、人間の角膜が網膜に対して正に帯電していることを利用した眼球運動検出方法である。具体的には、人間の眼球付近に少なくとも１つの電極を貼り付けし、その電極を用いて計測される電位の変化に基づいて眼球運動を検出する。
図３に、ＥＯＧ法を用いた眼球運動検出方法の例を示す。図３は、撮影者の右目の外側と内側とに、眼球の中心から等距離離して２つの電極を貼り付けた場合の例であり、外側を電極Ａ、内側を電極Ｂで示している。
電極Ａに発生する眼電位をＶａ、電極Ｂに発生する眼電位をＶｂとすると、図３（ａ）のように、撮影者の眼球が真中位置にある場合は、ＶａとＶｂとが等しくなり、計測される眼電位Ｖａ−ｂ（＝Ｖａ−Ｖｂ）は０Ｖとなる。
図３（ｂ）のように、撮影者が右を見た場合は、電極Ａの方が右目の角膜に近くなるため、Ｖａ＞Ｖｂとなり、計測眼電位Ｖａ−ｂは正の値を示す。逆に、撮影者が左を見た場合は、Ｖａ＜Ｖｂとなり、計測眼電位Ｖａ−ｂは負の値を示す。つまり、計測眼電位Ｖａ−ｂが正の値を示すならば、撮影者は右に目を動かしたことが分かり、負の値を示すならば、左に目を動かしたことが分かる。
ＥＯＧ法では、このような計測眼電位Ｖａ−ｂの変化を利用することにより、撮影者の眼球運動を検出する。一般的に計測眼電位Ｖａ−ｂは、眼球の移動角θが一定の範囲内であれば線形に変化することが知られている。つまり、計測眼電位Ｖａ−ｂは、定数ａと眼球の移動角θを用いて（式１）によって近似することができる。
Ｖａ−ｂ＝ａ×θ（式１）
本実施の形態では、定数ａのことを、較正係数と呼ぶ。
図１に戻ると、較正部１０２は、較正パラメータ計算部１０６によって算出された較正パラメータと撮像部１０４からの撮像部情報とを用いて、眼球運動情報を視線座標に較正する。すなわち、較正部１０２は、眼球運動検出部１０１によって取得された眼球運動情報に基づいて、較正パラメータ及び撮像部情報を用いて、撮像部１０４からの入力画像中における撮影者の視線座標を算出する。
ここで、較正パラメータとは、眼球運動情報を眼球の移動角に変換するためのパラメータである。すなわち、較正パラメータは、眼球運動情報と視線座標との対応関係を示すパラメータである。較正パラメータの一例として、（式１）で用いた較正係数ａが挙げられる。また、撮像部情報とは、入力画像の画角、解像度、レンズ特性等の撮像部１０４から取得される情報である。
ＥＯＧ法を用いた場合の較正部１０２の動作の一例は、次の通りである。眼球運動情報として眼電位Ｖｅ（＝Ｖａ−ｂ）が較正部１０２に入力された場合、（式１）を用いて眼球の移動角θｅ（＝θ）を算出する。そして、移動角θｅから撮像部情報を用いて視線座標を求める。以上の手順により、眼球運動情報から視線座標を算出することができる。
なお、本実施の形態では、（式１）を用いた較正方法について説明したが、これに限らない。例えば、図４Ａ〜図４Ｄに示すような、眼球運動情報と視線座標とを対応付けたテーブルを用いてもよい。図４Ａは、眼電位と眼球移動角とを対応付けたテーブルを示す図である。図４Ｂは、眼電位と視線座標とを対応付けたテーブルを示す図である。図４Ｃは、眼球の移動量と眼球移動角とを対応付けたテーブルを示す図である。図４Ｄは、眼球の移動量と視線座標とを対応付けたテーブルを示す図である。なお、ここでは簡単のため、眼球移動角及び視線座標ともに、水平又は垂直の一方向についてのみ示す。
眼球の移動量は、例えば、正面を向いているときの瞳孔の中心を基準位置としたときの瞳孔の中心の移動量を示す。眼球の移動量は、例えば、アイカメラなどを用いて撮影者の目を撮影することによって、取得される。また、視線座標は、例えば、入力画像の右上端を基準座標（０，０）としたときの水平方向又は垂直方向の位置を示す。なお、基準位置及び基準座標は、どこを基準としてもよい。
較正部１０２は、例えば、眼球運動検出部１０１によって取得された眼電位から図４Ａのテーブルを参照することによって、眼球移動角を取得する。そして、眼球移動角に基づいて撮像部情報を用いて視線座標を算出する。
較正パラメータ更新指示部１０３は、撮影開始時、撮影者の指示等の予め定められたイベントが発生した場合に、較正物体検出部１０５、較正パラメータ計算部１０６及びスイッチ１０７に較正パラメータ更新指示を出力する。
撮像部１０４は、撮影者の頭部に装着され、撮影者の周囲を撮影する。撮影された入力画像は、較正物体検出部１０５に出力される。また、撮像部１０４は、撮像部情報を較正部１０２及び較正パラメータ計算部１０６に出力する。
較正物体検出部１０５は、較正パラメータ更新指示を受けた場合、撮像部１０４からの入力画像中に、較正物体として利用可能な物体が含まれるかどうかを判定する。具体的な判定の詳細については、図面を用いて後で説明する。ここで、較正物体とは、撮影者の周囲の実空間上に存在する立体又は平面の物体であって、撮影者が容易に見つけることができ、かつ、画像処理により容易に入力画像から抽出されるように、特徴的な形状、色、明るさ等を有する物体である。
較正物体として利用可能な物体が含まれると判定した場合、較正物体検出部１０５は、較正物体座標と較正物体特徴量とを、音声指示部１０８と較正パラメータ計算部１０６とに出力する。また、較正物体検出部１０５は、較正物体の検出が完了したことを示す検出完了信号を較正パラメータ計算部１０６に出力する。
なお、較正物体座標は、入力画像内における、較正物体として利用可能であると判定された物体の位置を示す情報、例えば、当該物体の位置座標を示す。また、較正物体特徴量は、較正物体として利用可能であると判定された物体の画像特徴量を示す情報である。画像特徴量は、例えば、エッジ、色情報、輝度レベル等である。なお、以下では、較正物体座標と較正物体特徴量とを含めて、較正物体情報とも記載する。
較正パラメータ計算部１０６は、較正物体検出部１０５から検出完了信号を受信した場合、音声指示部１０８による指示を受けた撮影者の眼球運動情報、較正物体座標及び撮像部情報を用いて、較正パラメータを更新する。具体的には、較正パラメータ計算部１０６は、較正物体検出部１０５から検出完了信号を受け取った場合に、較正パラメータの更新を開始する。ここで、ＥＯＧ法を用いた場合の較正パラメータの１つである較正係数ａの計算例を示す。
まずは、較正物体座標から、入力画像の画角、解像度、レンズ特性等の撮像部情報を用いて、較正物体を見た場合の撮影者の眼球移動角θｃを求める。そして、眼球運動情報として入力された眼電位Ｖｃ、及び眼球移動角θｃを（式１）に代入することにより、較正係数ａを算出する。
なお、較正部１０２が、図４Ａ〜図４Ｄに示すようなテーブルを用いて眼球運動情報から視線座標を算出する場合、較正パラメータ計算部１０６は、図４Ａ〜図４Ｄに示すテーブルの値を更新する。例えば、図４Ａの例では、較正時に得られる眼電位と眼球移動角とをテーブルに書き込むことによって、テーブルの値を更新する。
スイッチ１０７は、較正パラメータ更新指示に従って、眼球運動検出部１０１によって取得された眼球運動情報を、較正部１０２及び較正パラメータ計算部１０６のどちらに送信するかを切り替える。具体的には、スイッチ１０７は、較正パラメータ更新指示が出力された場合に、較正パラメータ計算部１０６に眼球運動情報を送信する。そして、スイッチ１０７は、較正パラメータ更新指示が出力されていない場合、較正部１０２に眼球運動情報を送信する。
音声指示部１０８は、較正物体検出部１０５から較正物体座標と較正物体特徴量とを受け取った場合、較正物体検出部１０５によって検出された物体、つまり、較正物体座標と較正物体特徴量とによって示される物体を見るように、音声などを利用して撮影者に指示する。例えば、較正物体検出部１０５が入力画像内の右側にある人の顔を較正物体として検出した場合、音声指示部１０８は、「右側に見える人の顔を見てください」等の音声案内を出力する。
続いて、本実施の形態の視線検出装置１００の動作について説明する。
図５は、本実施の形態の視線検出装置１００の動作を示すフローチャートである。
較正パラメータ更新指示部１０３は、予め定められたイベントが発生したか否かを判定する（ステップＳ１０１）。イベントとは、撮影開始の指示、較正パラメータの更新を行う旨の撮影者からの指示などである。
イベントが発生していない場合（ステップＳ１０１でＮｏ）、視線検出装置１００は、較正パラメータの更新処理を行わず、通常の視線座標の検出処理を行う。このとき、較正パラメータ更新指示部１０３は、イベントが発生するまで待機する。また、スイッチ１０７は、眼球運動情報を較正部１０２に送信する。
イベントが発生した場合（ステップＳ１０１でＹｅｓ）、較正パラメータ更新指示部１０３は、較正パラメータ更新指示をスイッチ１０７、及び較正物体検出部１０５に出力する（ステップＳ１０２）。スイッチ１０７は、較正パラメータ更新指示を受け取り、眼球運動検出部１０１と較正パラメータ計算部１０６とを接続することによって、眼球運動情報を較正パラメータ計算部１０６に送信する。
較正物体検出部１０５は、較正パラメータ更新指示を受け取り、撮像部１０４から取得した入力画像内の較正物体を検出する（ステップＳ１０３）。較正物体検出部１０５は、較正物体を検出した場合に、較正物体情報を音声指示部１０８と較正パラメータ計算部１０６とに出力する。さらに、検出完了信号を較正パラメータ計算部１０６に出力する。較正物体の検出処理の詳細は、図６を用いて後で説明する。
音声指示部１０８は、較正物体検出部１０５から較正物体情報を受け取り、受け取った較正物体情報が示す較正物体を撮影者が見るように、撮影者に音声で指示する（ステップＳ１０４）。
較正パラメータ計算部１０６は、較正物体検出部１０５から検出完了信号を受け取った場合、眼球運動情報、較正物体座標、及び撮像部情報を用いて較正パラメータを算出する（ステップＳ１０５）。
以上のようにして、本実施の形態の視線検出装置１００は、較正時には、較正パラメータを算出し、通常時には、算出した較正パラメータを用いて、眼球運動情報と視線座標との較正を行う。
次に、較正物体検出部１０５が行う較正物体の検出処理の詳細について、図６を用いて説明する。図６は、本実施の形態の較正物体の検出処理の詳細を示すフローチャートである。なお、以下では一例として、入力画像の画像特徴量を抽出することにより、較正物体を検出するときの動作について説明する。
まず、較正物体検出部１０５は、較正パラメータ更新指示があったかどうかを判定し、なければ処理を終了する。較正パラメータ更新指示があれば、撮像部１０４からの入力画像から画像特徴量を抽出する（ステップＳ２０１）。画像特徴量としては、エッジ、色情報、輝度レベル及び動き量等の情報を用いる。
そして、較正物体検出部１０５は、抽出した画像特徴量の中から、較正物体として利用可能な画像特徴量を探索することにより、較正物体として利用可能な特徴量が入力画像中に存在するか否かを判定する（ステップＳ２０２）。例えば、エッジ情報を用いた場合では、円形、又は三角形、四角形などの多角形といった所定の形状が存在するか否かを判定する。色情報を用いた場合では、赤や青の視覚的に目立ちやすい色、例えば、彩度が所定の値以上となる色が存在するか否かを判定する。輝度レベル情報を用いた場合では、周りよりも明るくなっている場所、すなわち、周囲の領域より輝度値が高くなっている領域が存在するか否かを判定する。動き量情報を用いた場合では、動き量が所定の値以下である物体、例えば、静止している物体が存在するか否かを判定する。さらに、人の顔や動物等を用いてもよい。このように、較正物体検出部１０５は、これらの画像特徴量が所定の閾値に達している領域が、入力画像中に存在するかどうかを判定する。
以上のような画像特徴量が入力画像内に検出されなければ（ステップＳ２０２でＮｏ）、較正物体検出部１０５は、次の入力画像から画像特徴量を求めることによって較正物体として利用可能な物体検出を繰り返す（ステップＳ２０１に戻る）。
較正物体として利用可能な特徴量が検出されれば（ステップＳ２０２でＹｅｓ）、較正物体検出部１０５は、検出された特徴量を持つ物体（領域）の位置座標を較正物体座標として、較正パラメータ計算部１０６及び音声指示部１０８に出力する（ステップＳ２０３）。さらに、検出された特徴量から得られる情報を較正物体特徴量として、音声指示部１０８に出力する（ステップＳ２０４）。さらに、較正物体検出部１０５は、較正物体の検出が完了したことを示す検出完了信号を較正パラメータ計算部１０６に出力する（ステップＳ２０５）。
以上のようにして、本実施の形態の視線検出装置１００では、入力画像内の較正物体を検出し、検出した較正物体の特徴及び実空間上の位置などを撮影者に指示する。そして、指示に従って撮影者が較正物体を見ているときの眼球運動情報、較正物体座標、及び撮像部情報などを用いて較正パラメータを算出する。
これにより、較正パラメータの更新時には、撮影者が、本実施の形態の視線検出装置１００の音声案内に従って目を動かすだけで、視線検出装置１００は、自動的に短時間で的確に較正パラメータを更新することができる。
また、本実施の形態の視線検出装置１００では、較正物体検出部１０５は、撮影者が実空間上で見つけやすい物体を入力画像から検出するため、撮影者の負担を軽減することができる。具体的には、較正物体検出部１０５は、周囲の領域より輝度値が高くなっている領域に含まれる物体、円形又は多角形などの特定の形状の物体、人の顔などを較正物体として検出する。
また、本実施の形態の視線検出装置１００では、実空間上に存在する物体を撮像部１０４によって撮像することにより取得された入力画像から較正物体を検出する。すなわち、従来のように、較正物体を表示させるためのディスプレイ等は必要ではなく、いつでもどこでも容易に較正パラメータを更新することができる。
以上、本発明の視線検出装置及び視線検出方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
例えば、音声指示部１０８は、音声案内を生成して出力することによって、撮影者に指示したが、音声以外の案内情報を生成することにより撮影者に指示してもよい。例えば、本実施の形態の視線検出装置１００は、撮影者の頭部に装着されることを想定されているので、骨伝導を利用して撮影者に指示してもよい。あるいは、撮影者の聴覚を利用するのではなく、撮影者の視覚を利用してもよい。一例として、検出した較正物体にレーザポインタなどを当てることによって、撮影者が見るべき較正物体を指示してもよい。
また、撮影者の周囲に較正物体となり得る物体が存在しない場合に備えて、本発明の視線検出装置は、較正物体を出力する機能を備えていてもよい。図７は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。同図に示す視線検出装置２００は、図１に示す視線検出装置１００と比較して、さらに、較正物体出力部２０９を備える点が異なっている。
較正物体出力部２０９は、較正パラメータ更新指示部１０３から較正パラメータ更新指示を受けた場合、実空間上に較正物体を出力する。較正物体は、例えば、レーザポインタ、プロジェクタ等を使用して出力されたマークである。
これにより、撮影者が、較正物体出力部２０９から出力された較正物体を見るだけで、視線検出装置１００は、自動的に短時間で的確に較正パラメータを更新することができる。
なお、較正物体出力部２０９は、較正物体検出部１０５によって較正物体として利用可能な特徴量が存在しなかった場合に（ステップＳ２０２でＮｏ）、較正物体を出力してもよい。これにより、仮に周囲に較正物体として利用可能な物体が存在しない場合であっても、視線検出装置２００は、較正パラメータを更新することができる。また、較正物体として利用可能な物体が存在する場合は、較正物体出力部２０９は較正物体を出力しないので、視線検出装置２００は較正物体の出力に必要な消費電力を抑制することができる。
なお、音声指示部１０８は、較正物体出力部２０９が較正物体を出力した場合は、出力された較正物体の方向を撮影者に指示してもよい。これにより、撮影者は、より容易に較正物体を見ることが可能になる。
また、較正物体検出部１０５の動作として、画像の特徴量を用いた例を示したが、予め登録した較正物体との画素値の比較を行うテンプレートマッチング等を用いても構わない。
また、較正物体検出部１０５は、予め登録しておいた特徴量に一致する特徴量の存在する領域を入力画像から検出してもよい。図８は、本実施の形態の視線検出装置１００の構成の変形例を示すブロック図である。同図に示す視線検出装置３００は、図１に示す視線検出装置１００と比較して、較正物体検出部１０５の代わりに較正物体検出部３０５を備える点と、新たに、較正物体登録部３１０を備える点とが異なっている。
較正物体登録部３１０は、バッファを備え、当該バッファに、較正物体となり得る物体を撮像部１０４が撮像したときの画像特徴量を記憶しておく。例えば、較正物体登録部３１０は、撮影者の身体の一部、装着若しくは保持している指輪やリモコン等を撮像部１０４が撮像したときの画像特徴量を、較正物体として予め登録する。
また、音声指示部１０８は、検出完了信号を受け、較正物体検出部１０５によって較正物体が検出されたことを撮影者に通知してもよい。このときの通知は、音声で行う必要はなく、例えば、アラームなどの音、又はバイブレーションなどの振動でもよい。
また、較正物体検出部１０５は、較正物体座標として、撮像部１０４からの入力画像中における較正物体の位置座標と、実空間における較正物体までの距離情報とを出力してもよい。図９は、本実施の形態の視線検出装置１００の構成の変形例を示すブロック図である。同図に示す視線検出装置４００は、図１に示す視線検出装置１００と比較して、較正物体検出部１０５、較正パラメータ計算部１０６、較正部１０２の代わりに、較正物体検出部４０５、較正パラメータ計算部４０６、較正部４０２を備える点と、新たに、較正物体距離計測部４１０を備える点とが異なっている。
較正物体距離計測部４１０は、赤外線センサー等により、本視線検出装置４００から、較正物体検出部４０５によって検出された較正物体までの距離を計測する。
較正物体検出部４０５は、検出した較正物体の入力画像中における位置座標と、較正物体距離計測部４１０から出力された距離情報ＤＩＳとを較正物体座標として較正パラメータ計算部４０６に出力する。
較正パラメータ計算部４０６は、較正物体の位置座標と入力画像の画角、解像度、レンズ特性等の撮像部情報とを用いて、撮像部１０４の光線を基準とした較正物体の角度θｃａｍを求める。そして、較正物体の距離情報ＤＩＳを用いて、以下の（式２）により、較正物体を見た場合の撮影者の眼球移動角θｅを求める。
ｔａｎθｅ ＝ ｔａｎθｃａｍ ＋ Ｌ ／ ＤＩＳ （式２）
ここで、Ｌは、撮影者の眼球位置から撮像部１０４までの距離を表す。
そして、較正パラメータ計算部４０６は、図１０Ａ又は図１０Ｂに示すテーブルの値を更新する。例えば、図１０Ａの例では、較正時に得られる眼電位と、較正物体を見た際の眼球移動角と、較正物体までの距離情報とをテーブルに書き込むことによって、テーブルの値を更新する。
また、較正部４０２は、眼球運動情報として眼電位Ｖｅ（＝Ｖａ−ｂ）が較正部４０２に入力された場合、図１０Ａのテーブルを用いて眼球の移動角θｅと距離情報ＤＩＳとを求める。そして、移動角θｅと距離情報ＤＩＳを（式２）に代入することにより、較正物体の角度θｃａｍを求め、さらに撮像部情報を用いて視線座標を求める。以上の手順により、撮影者の眼球位置から撮像部１０４までの距離Ｌが大きい場合でも、眼球運動情報から視線座標を正確に算出することができる。
なお、本実施の形態の視線検出装置１００は、図１に示すように撮像部１０４を備えていなくてもよい。このとき、較正物体検出部１０５は、例えば、外部の撮像装置から得られる入力画像を取得する。また、較正部１０２及び較正パラメータ計算部１０６は、外部の撮像装置から撮像部情報を取得する。
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
例えば、図１に示す視線検出装置１００を構成する構成要素のうち、撮像部１０４と、音声指示部１０８の音声出力機能とを除いた構成要素を１個のシステムＬＳＩから構成してもよい。
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明は、放送や通信及び蓄積の分野において、映像や音声を記録再生する機器等として有用である。また、静止画像記録再生機器等としても適用が可能である。さらに、健康医療機器としても適用が可能である。
１００、２００、３００、４００ 視線検出装置
１０１ 眼球運動検出部
１０２、４０２ 較正部
１０３ 較正パラメータ更新指示部
１０４ 撮像部
１０５、３０５、４０５ 較正物体検出部
１０６、４０６ 較正パラメータ計算部
１０７ スイッチ
１０８ 音声指示部
２０９ 較正物体出力部
３１０ 較正物体登録部
４１０ 較正物体距離計測部

Claims (14)

  1. ユーザに装着された撮像部からの入力画像における前記ユーザの視線座標を検出する視線検出装置であって、
    前記ユーザの眼球運動を検出することによって、当該眼球運動を示す眼球運動情報を取得する眼球運動検出部と、
    前記入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出部と、
    前記位置座標によって示される較正物体を見るように、前記ユーザに指示する指示部と、
    前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記眼球運動情報を前記視線座標に較正する際に用いる較正パラメータを算出する較正パラメータ計算部と、
    前記較正パラメータ計算部によって算出された較正パラメータを用いて前記眼球運動情報を前記視線座標に較正する較正部とを備える
    視線検出装置。
  2. 前記較正物体検出部は、前記物体が含まれていると判定した場合に、さらに、較正物体の検出が完了したことを示す完了信号を出力し、
    前記較正パラメータ計算部は、前記完了信号を受けた場合に、前記眼球運動情報と前記較正物体の位置座標とを用いて前記較正パラメータを算出する
    請求項１記載の視線検出装置。
  3. 前記較正物体検出部は、前記入力画像の画像特徴量を抽出し、抽出した画像特徴量が所定の閾値に達している領域が存在するか否かを判定し、存在すると判定した場合、前記較正物体として利用可能な物体の位置座標として、当該領域の位置座標を出力する
    請求項２記載の視線検出装置。
  4. 前記較正物体検出部は、前記領域が存在すると判定した場合、さらに、抽出した画像特徴量を前記指示部に出力し、
    前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体を見るように、前記ユーザに指示する
    請求項３記載の視線検出装置。
  5. 前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体の情報を示す案内情報を生成し、生成した案内情報を音声又は骨伝導を用いて前記ユーザに指示する
    請求項４記載の視線検出装置。
  6. 前記較正物体検出部は、前記入力画像の画像特徴量として、エッジ情報、色情報、輝度レベル情報及び動き情報の少なくとも１つを抽出する
    請求項３記載の視線検出装置。
  7. 前記較正物体検出部は、前記較正物体として利用可能な物体として、人の顔、前記ユーザの身体の一部、又は、前記ユーザが装着若しくは保持している物体が前記入力画像に含まれているか否かを判定する
    請求項２記載の視線検出装置。
  8. 前記視線検出装置は、さらに、
    前記較正物体を出力する較正物体出力部を備え、
    前記指示部は、前記較正物体出力部によって出力された較正物体を見るように、前記ユーザに指示する
    請求項２記載の視線検出装置。
  9. 前記視線検出装置は、さらに、
    前記較正物体までの距離を計測する較正物体距離計測部を備え、
    前記較正パラメータ計算部は、前記較正物体距離計測部によって計測された距離をさらに用いて、前記較正パラメータを算出する
    請求項２記載の視線検出装置。
  10. 前記眼球運動検出部は、前記眼球運動情報として、前記ユーザの眼電位又は眼球の移動量を示す情報を取得する
    請求項２記載の視線検出装置。
  11. 前記較正パラメータは、前記ユーザの眼球運動情報と前記視線座標とを対応付けたテーブルであり、
    前記較正パラメータ計算部は、前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記テーブルを更新し、
    前記較正部は、前記較正パラメータ計算部によって更新されたテーブルを参照することによって、前記眼球運動情報を前記視線座標に較正する
    請求項２記載の視線検出装置。
  12. ユーザに装着された撮像部からの入力画像における前記ユーザの視線座標を検出する視線検出方法であって、
    前記ユーザの眼球運動を検出することによって、当該眼球運動を示す眼球運動情報を取得する眼球運動検出ステップと、
    前記入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出ステップと、
    前記位置座標によって示される較正物体を見るように、前記ユーザに指示する指示ステップと、
    前記指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記眼球運動情報を前記視線座標に較正する際に用いる較正パラメータを算出する較正パラメータ計算ステップと、
    前記較正パラメータ計算ステップで算出された較正パラメータを用いて前記眼球運動情報を前記視線座標に較正する較正ステップとを含む
    視線検出方法。
  13. 請求項１２記載の視線検出方法をコンピュータに実行させるためのプログラム。
  14. ユーザに装着された撮像部からの入力画像における前記ユーザの視線座標を検出する集積回路であって、
    前記ユーザの眼球運動を検出することによって、当該眼球運動を示す眼球運動情報を取得する眼球運動検出部と、
    前記入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出部と、
    前記位置座標によって示される較正物体を見るように、前記ユーザに指示する指示部と、
    前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記眼球運動情報を前記視線座標に較正する際に用いる較正パラメータを算出する較正パラメータ計算部と、
    前記較正パラメータ計算部によって算出された較正パラメータを用いて前記眼球運動情報を前記視線座標に較正する較正部とを備える
    集積回路。
JP2009521471A 2008-02-28 2009-02-25 視線検出装置及び視線検出方法 Active JP5415948B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009521471A JP5415948B2 (ja) 2008-02-28 2009-02-25 視線検出装置及び視線検出方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008047044 2008-02-28
JP2008047044 2008-02-28
JP2009521471A JP5415948B2 (ja) 2008-02-28 2009-02-25 視線検出装置及び視線検出方法
PCT/JP2009/000826 WO2009107371A1 (ja) 2008-02-28 2009-02-25 視線検出装置及び視線検出方法

Publications (2)

Publication Number Publication Date
JPWO2009107371A1 true JPWO2009107371A1 (ja) 2011-06-30
JP5415948B2 JP5415948B2 (ja) 2014-02-12

Family

ID=41015778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009521471A Active JP5415948B2 (ja) 2008-02-28 2009-02-25 視線検出装置及び視線検出方法

Country Status (4)

Country Link
US (1) US8259169B2 (ja)
JP (1) JP5415948B2 (ja)
CN (1) CN101677762B (ja)
WO (1) WO2009107371A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8279052B2 (en) * 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US8333475B2 (en) * 2009-11-12 2012-12-18 Panasonic Corporation Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
JP5278461B2 (ja) * 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
EP2583619B1 (en) * 2011-10-22 2022-03-16 Alcon Inc. Apparatus for monitoring one or more surgical parameters of the eye
US20130173295A1 (en) 2011-12-30 2013-07-04 Elwha LLC, a limited liability company of the State of Delaware Evidence-based healthcare information management protocols
US10528913B2 (en) 2011-12-30 2020-01-07 Elwha Llc Evidence-based healthcare information management protocols
US10475142B2 (en) 2011-12-30 2019-11-12 Elwha Llc Evidence-based healthcare information management protocols
US10552581B2 (en) 2011-12-30 2020-02-04 Elwha Llc Evidence-based healthcare information management protocols
US10679309B2 (en) 2011-12-30 2020-06-09 Elwha Llc Evidence-based healthcare information management protocols
US10340034B2 (en) 2011-12-30 2019-07-02 Elwha Llc Evidence-based healthcare information management protocols
US10559380B2 (en) 2011-12-30 2020-02-11 Elwha Llc Evidence-based healthcare information management protocols
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
US10514541B2 (en) 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US8856541B1 (en) * 2013-01-10 2014-10-07 Google Inc. Liveness detection
US10884577B2 (en) * 2013-01-15 2021-01-05 Poow Innovation Ltd. Identification of dynamic icons based on eye movement
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
JP6157165B2 (ja) * 2013-03-22 2017-07-05 キヤノン株式会社 視線検出装置及び撮像装置
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
CN103557859B (zh) * 2013-10-10 2015-12-23 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
CN103630116B (zh) * 2013-10-10 2016-03-23 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位装置
CN103604412B (zh) * 2013-10-30 2015-11-18 北京智谷睿拓技术服务有限公司 定位方法及定位装置
US9354073B2 (en) 2013-12-09 2016-05-31 Harman International Industries, Inc. Eye gaze enabled navigation system
EP2886041A1 (en) * 2013-12-17 2015-06-24 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for calibrating a head-mounted eye tracking device
JP6123694B2 (ja) * 2014-02-10 2017-05-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9696798B2 (en) 2014-04-09 2017-07-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Eye gaze direction indicator
WO2015164807A1 (en) 2014-04-25 2015-10-29 Texas State University Detection of brain injury and subject state with eye movement biometrics
CN107087431B (zh) 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9547798B2 (en) 2014-05-20 2017-01-17 State Farm Mutual Automobile Insurance Company Gaze tracking for a vehicle operator
US10445573B2 (en) * 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
US10740465B2 (en) 2014-12-05 2020-08-11 Texas State University—San Marcos Detection of print-based spoofing attacks
US20170364732A1 (en) * 2014-12-05 2017-12-21 Texas State University Eye tracking via patterned contact lenses
US9740918B1 (en) * 2015-05-20 2017-08-22 Amazon Technologies, Inc. Detecting objects in multiple images using integral images
US9740919B1 (en) * 2015-05-20 2017-08-22 Amazon Technologies, Inc. Detecting objects in multiple images using integral images
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
WO2018158813A1 (ja) * 2017-02-28 2018-09-07 三菱電機株式会社 エレベーターの呼び登録システム
JP2018163558A (ja) * 2017-03-27 2018-10-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6800091B2 (ja) * 2017-06-09 2020-12-16 株式会社豊田中央研究所 視線計測装置及びプログラム
US11265460B2 (en) * 2017-09-20 2022-03-01 Sharp Kabushiki Kaisha Electronic device, control device, and control method
JP7146585B2 (ja) * 2018-11-13 2022-10-04 本田技研工業株式会社 視線検出装置、プログラム、及び、視線検出方法
CN110123318B (zh) * 2019-04-18 2021-03-30 华南理工大学 一种基于眼电信号监测眼球位置坐标的方法
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
WO2020240864A1 (ja) * 2019-05-31 2020-12-03 日本電信電話株式会社 距離推定装置、距離推定方法および距離推定プログラム
US11099641B2 (en) * 2019-06-27 2021-08-24 Disney Enterprises, Inc. Calibration, customization, and improved user experience for bionic lenses
US11741689B2 (en) 2020-10-20 2023-08-29 David Godwin Frank Automated, dynamic digital financial management method and system with phsyical currency capabilities
US11508005B2 (en) * 2020-10-20 2022-11-22 Ubium Group Automated, dynamic digital financial management method and system
CN112546613B (zh) * 2020-12-22 2023-03-24 中国第一汽车股份有限公司 一种设备控制方法、装置、设备及存储介质
JP2022136843A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 較正装置及び較正方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59107686A (ja) 1982-11-23 1984-06-21 マルカム・グレゴリイ・キヤンブル ポ−タブル電子ビデオ録画装置
US4516157A (en) 1982-11-23 1985-05-07 Campbell Malcolm G Portable electronic camera
JPS62176427A (ja) 1986-01-30 1987-08-03 日本電気株式会社 注視点位置計測装置
JP2615831B2 (ja) 1988-05-11 1997-06-04 竹井機器工業株式会社 視覚情報分析装置
EP0392489A3 (en) 1989-04-11 1991-04-17 Staar Development Company -S.A. Changing apparatus
DE69333674T2 (de) 1992-06-02 2006-02-02 Canon K.K. Optisches Gerät zur Rotationsdetektion eines Augapfels eines Beobachters
JPH0884280A (ja) 1994-09-12 1996-03-26 Sanyo Electric Co Ltd 頭部固定型ビデオカメラ
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
JPH1185384A (ja) 1997-09-03 1999-03-30 Rikagaku Kenkyusho 角膜網膜電位を用いた視力入力方法及び装置
US6478425B2 (en) * 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US7705908B2 (en) * 2003-12-16 2010-04-27 Eastman Kodak Company Imaging method and system for determining camera operating parameter
JP2005261728A (ja) 2004-03-19 2005-09-29 Fuji Xerox Co Ltd 視線方向認識装置及び視線方向認識プログラム
JP4533090B2 (ja) * 2004-05-14 2010-08-25 キヤノン株式会社 指標較正装置および情報処理方法
JP4537901B2 (ja) * 2005-07-14 2010-09-08 日本放送協会 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム
JP2007259931A (ja) * 2006-03-27 2007-10-11 Honda Motor Co Ltd 視線検出装置
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置

Also Published As

Publication number Publication date
CN101677762A (zh) 2010-03-24
US20100165093A1 (en) 2010-07-01
US8259169B2 (en) 2012-09-04
WO2009107371A1 (ja) 2009-09-03
CN101677762B (zh) 2012-08-22
JP5415948B2 (ja) 2014-02-12

Similar Documents

Publication Publication Date Title
JP5415948B2 (ja) 視線検出装置及び視線検出方法
CN106796344B (zh) 锁定在感兴趣对象上的放大图像的系统、布置和方法
JP5915981B2 (ja) 注視点検出方法及び注視点検出装置
US20180342066A1 (en) Apparatus and method for hybrid eye tracking
JP5602155B2 (ja) ユーザインタフェース装置および入力方法
JP5167545B2 (ja) 視点検出装置
US10342418B2 (en) Image processing device and image processing method
JPWO2012077713A1 (ja) 注視点検出方法及び注視点検出装置
US10893802B2 (en) Information processing apparatus, information processing method, and recording medium
TW201338749A (zh) 可偵測眼動訊號之影像控制系統
US20150304625A1 (en) Image processing device, method, and recording medium
US11561392B2 (en) Method for generating and displaying a virtual object by an optical system
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6324119B2 (ja) 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JPH0446570B2 (ja)
JP2015144635A (ja) 検出装置および検出方法
CN111752383A (zh) 更新角膜模型
WO2019017224A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN115191931A (zh) 斜视检测方法、设备及计算机可读存储介质
WO2017081915A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2018008128A1 (ja) 映像表示装置及び方法
CN107958478B (zh) 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
JP2018011681A (ja) 視線検出装置、視線検出プログラムおよび視線検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131114

R150 Certificate of patent or registration of utility model

Ref document number: 5415948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150