JP4399607B2 - 視線制御表示装置と表示方法 - Google Patents

視線制御表示装置と表示方法 Download PDF

Info

Publication number
JP4399607B2
JP4399607B2 JP2006034926A JP2006034926A JP4399607B2 JP 4399607 B2 JP4399607 B2 JP 4399607B2 JP 2006034926 A JP2006034926 A JP 2006034926A JP 2006034926 A JP2006034926 A JP 2006034926A JP 4399607 B2 JP4399607 B2 JP 4399607B2
Authority
JP
Japan
Prior art keywords
display
line
sight
information
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006034926A
Other languages
English (en)
Other versions
JP2007213469A (ja
Inventor
義徳 久野
康啓 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saitama University NUC
Original Assignee
Saitama University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saitama University NUC filed Critical Saitama University NUC
Priority to JP2006034926A priority Critical patent/JP4399607B2/ja
Publication of JP2007213469A publication Critical patent/JP2007213469A/ja
Application granted granted Critical
Publication of JP4399607B2 publication Critical patent/JP4399607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画面の表示を視線に応じて制御する視線制御表示装置と、その画面への表示方法に関し、特に、視線方向の検出精度が低くても、表示の制御を的確に実施できるようにしたものである。
視線の検出方法には、大別して、接触型と呼ばれる方法と、非接触型と呼ばれる方法とがある。接触型では、顔や頭に直接測定器を装着し、眼球運動を測定して視線を計測する。非接触型では、カメラ等を用いて目の画像を撮影し、画像処理により虹彩の位置を求めて視線を算出する。接触型は、精度良く視線を検出できるが、機器の装着を必要とし、身体的制約を受けるユーザの心理的負担が大きい。
一方、非接触型は、ユーザに強いる負担は小さいが、接触型に比べて検出精度が落ちる。それでも視野角0.5度から1度程度の精度を得ることは可能である。
下記非特許文献1には、画面を観るユーザの視線を検出精度が粗い非接触型の方法で計測し、その計測結果を用いて、画面の表示をユーザの観方に合わせて制御する表示システムが記載されている。
このシステムでは、多量な情報(例えば、キーワードに基づいて検索エンジンが検索した検索結果)を、画面上を下から上に移動する複数のウィンドウの各々を用いて表示している。複数のウィンドウは、図15に示すように、画面の左から右へ三列に階段状にずらして並べている。各列のウィンドウは、画面の下から現れ、速度Vmで上方に移動して画面上端から消える。そうすると、各列の次のウィンドウが画面の下から順次現れ、同様に、速度Vmで上方に移動して画面上端から消える。この動作を繰り返すことにより、多量な情報が各ウィンドウを通じて表示される。
ユーザは、画面の下から上に流れるウィンドウを左側、中央、右側、左側、中央、右側、・・の順に目を動かして観る。
このユーザを一台のビデオカメラで撮影し、視線の方向を検出して、視線が画面上を水平方向にスキャンする速度を算出する。そして、この視線のスキャン速度に応じて画面上のウィンドウ移動速度Vmを制御する。
ウィンドウの移動速度Vmを視線のスキャン速度に巧く合わせると、ユーザは、殆ど同じ高さで三つのウィンドウを観ることが可能になり、目を、垂直方向には動かさずに、水平方向にだけ動かして各ウィンドウの情報を読取ることができる。
また、視線が一つのウィンドウに固定すると、ウィンドウの移動を止め、そのウィンドウを拡大して、そこに情報の詳細な内容を表示する。
沼尻 貴昭, 中村 明生, 久野 義徳、「多量情報の効率的取得のための高速閲覧システム」、第8回画像センシングシンポジウム (SSII 2002) 講演論文集, pp.463-468, 横浜, July 2002
しかし、前記表示システムでは、流れるウィンドウに表示された情報が、動き続けているために読み難いという問題点がある。
また、前記表示システムでは、ユーザの興味の無いウィンドウが連続する場合に、速くなった視線のスキャン速度を認識してウィンドウの移動速度Vmが速められるが、移動速度Vmの更新までに時間が掛かり、システムの効率が悪いという問題点がある。
本発明は、こうした事情を考慮して創案したものであり、非接触型の方法で計測した視線に基づいて画面の表示を制御できるとともに、多数の情報を見易く、かつ、効率的に表示することができる視線制御表示装置を提供し、また、その画面への表示方法を提供することを目的としている。
本発明は、表示画面に注がれる視線を検出して前記表示画面の表示を制御する視線制御表示装置であって、前記表示画面の水平方向にN個に分離した表示領域を固定的に設け、複数の情報を前記N個の表示領域に分けて表示する表示制御手段と、前記表示画面を見る人の顔を撮影する撮影手段と、前記撮影手段の画像を解析して視線の方向を算出する視線検出手段と、算出された視線が到達する前記表示領域を識別する視線到達領域識別手段とを備え、前記視線到達領域識別手段が、閲覧順序に従って移動した視線が前記N個の表示領域の一つに始めて到達したことを検出したとき、前記表示制御手段は、閲覧順序が当該表示領域の二つ前の表示領域に表示されている既に閲覧された表示内容を更新することを特徴とする
この視線制御表示装置では、N個の表示領域のどれに視線が向いているかを識別して表示を制御しているため、視線の検出精度が粗くても、正確な表示制御が可能であり、また、二つ前の表示領域を更新対象としているため、直前に閲覧した情報については、それを見直したり、閲覧中の情報と比較したりすることが可能である。また、視線検出に誤りが生じた場合でも、閲覧中の情報が更新される虞が少ない。
また、本発明の視線制御表示装置では、視線到達領域識別手段が、N個の表示領域の一つに視線が所定時間以上滞留していることを検出したとき、表示制御手段は、当該表示領域に表示した複数の情報をN個の表示領域に分けて表示する。
N個の表示領域の一つに表示された複数の情報がN個の表示領域に展開されるため、展開後の情報についても、視線の先にある情報を正確に識別できる。
また、本発明は、表示画面に注がれる視線を検出して前記表示画面の表示を制御する表示方法であって、前記表示画面の水平方向にN個に分離した表示領域を固定的に設け、複数の情報を前記N個の表示領域に分けて表示し、閲覧順序に従って移動した視線が前記N個の表示領域の一つに始めて到達したことを検出したとき、閲覧順序が当該表示領域の二つ前の表示領域に表示されている既に閲覧された表示内容を更新することを特徴とする。
この表示方法では、N個の表示領域のどれに視線が向いているかを識別して表示を制御しているため、視線の検出精度が粗くても、視線が向いている表示領域、正しく識別することができ、また、二つ前の表示領域を更新対象としているため、直前に閲覧した情報を見直したり、直前に閲覧した情報と閲覧中の情報とを比較したりする動作を妨げずに、情報を更新することができる。
また、本発明の表示方法では、N個の表示領域の一つに視線が所定時間以上滞留していることを検出したとき、当該表示領域に表示した複数の情報をN個の表示領域に分けて表示する。
この表示方法では、複数の情報が、常にN個の表示領域に展開されて表示されるため、視線の先にある情報を常に正確に識別することができる。
本発明の視線制御表示装置及び表示方法では、複数の情報をN個の固定された表示領域に分けて表示するとともに、閲覧が済んだ二つ前の表示領域の表示内容を更新するようにしているため、多数の情報を、見易く、かつ、効率的に表示することができる。また、N個の表示領域のどれに視線が向いているかを識別して表示を制御しているため、視線の検出精度が粗くても、正確で迅速な表示制御が可能である。
(第1の実施形態)
図2は、本発明の第1の実施形態における視線制御表示装置の構成をブロック図で示し、図1は、この装置を用いて行われる表示制御の様子を模式図で示している。
図1に示すように、情報は、表示部20の画面の水平方向に分かれた三つのブロックで表示される。この画面を見るユーザの顔がビデオカメラ30で撮影され、視線の方向が視線制御表示装置10で計測される。
視線制御表示装置10は、その視線から、ユーザが、表示されたブロックを左側、中央の順に観て、次に右側ブロックを見始めたことを確認すると、左側ブロックの表示内容を更新する。また、続いて左側ブロックを見始めたことを確認すると、中央ブロックの表示内容を更新する。このように、視線が当初のブロックから次の順番のブロックに移り、さらにその次の順番のブロックに移ったときに、当初のブロックの表示内容を更新する。
また、視線が一つのブロックに所定時間以上滞留したときは、そのブロックに含まれる内容が三つに分割され、画面の左側、中央及び右側の各領域に表示される。
このように、ユーザによる情報の選択は、画面の水平方向に並ぶ三つのブロックから繰り返し行われ、次第に選択されたブロックについてのより詳細な情報が表示される。
この視線制御表示装置10は、図2に示すように、ビデオカメラ30の映像から視線を検出する視線検出部13と、表示情報をネットワーク等から取得する情報取得部16と、取得した情報を蓄積する取得情報蓄積部15と、表示部20の表示を制御する表示制御部11と、表示部20に表示されている情報及び閲覧された情報を管理する表示管理部14と、各部の動作を制御する制御部12とを備えている。
この内、視線検出部13、表示制御部11、表示管理部14及び制御部12は、視線制御表示装置10に内蔵されたコンピュータやCPUがプログラムで規定された処理を実行することにより実現される。
視線検出部13は、ビデオカメラ30の映像の各フレームから目尻及び目頭等の特徴点の位置を求め、その特徴点を基に目領域を切り出し、そこから虹彩を検出して、その位置から水平方向の視線の向きを算出する。
図3に示すように、眼球は円(球体)と仮定することができるから、水平方向の視線の角度をθ、眼球の半径をr、目の中心から虹彩の中心までの距離をdとすると、次の(式1)の関係が成り立つ。
θ=sin-1(d/r) (1)
ここで、距離dは、目の画像を解析して求めることができ、また、眼球の半径rは、予め視線角度が分かっている方向(角度θ0)を見たときの目の中心から虹彩の中心までの距離d0を求め、θ0及びd0を式(1)に代入して求めることができる。視線検出部13は、こうして求めた眼球の半径rと、ビデオカメラ30の映像の解析から得た距離dとを用いて、式(1)から、時々刻々と変わる水平方向の視線の向きを算出する。
なお、視線の検出方法については、前記非特許文献1などに詳述されている。
情報取得部16は、例えば、入力部(不図示)から入力されたキーワードを、ネットワークを通じて検索サーバに送り、検索サーバの検索結果を取得する。
情報取得部16が取得した情報は、取得情報蓄積部15にツリー形式で蓄積される。
図4は、取得情報蓄積部15のデータ蓄積構造の一例を示している。当初、情報取得部16は、検索サーバから27個のデータ(L111、L112、・・・、R133)を取得する。これらの取得データは、左(L)、中央(C)、右(R)の各ノードに連なる三層の階層構造(I層、II層、III層)のIII層目に蓄積される。II層の各ノード(L11、L12、・・・、R13)は、III層の三つのデータに接続する三分枝を有し、また、I層の各ノード(L1、C1、R1)は、II層の三つノードに接続する三分枝を有している。
表示制御部11は、取得情報蓄積部15の蓄積データを用いて、表示部20の画面の左側、中央及び右側に表示する各ブロックの表示データを生成する。
I層のレベルの表示を行う場合は、図5に示すように、左側ブロックの表示データとして、L1の表示領域の中にL1に接続するII層のL11、L12、L13の表示領域を形成し、L11、L12、L13の各表示領域の中に、それぞれのノードに接続するIII層のデータを簡略化して表した表示データを生成する。中央ブロック及び右側ブロックの表示データについても同様である。
また、II層のレベルの表示を行う場合は、図6に示すように、I層レベルの表示において選択された左側ブロック、中央ブロックまたは右側ブロック(ここでは図5の中央ブロックが選択されたものとする。)の表示データに含まれるII層のノードC11、C12、C13の表示領域を水平に三つ並べ、C11、C12、C13の各表示領域の中に、それぞれのノードに接続する三つのIII層のデータを簡略化して表した表示データを生成する。
また、III層のレベルの表示を行う場合は、図7に示すように、II層レベルの表示において選択された左側ブロック、中央ブロックまたは右側ブロック(ここでは図6の左側ブロックが選択されたものとする。)の表示データに含まれるIII層のデータC111、C112、C113を縮小化して水平に三つ並べた表示データを生成する。
表示管理部14は、図8に示すように、表示部20の画面の左側ブロック、中央ブロック及び右側ブロックの現在の表示内容を示す識別情報と、各ブロックが閲覧されたか否かを示す閲覧フラグとを管理している。
制御部12は、視線検出部13が算出した水平方向の視線の向きから、視線の到達先のブロック(視線到達ブロック)が画面の左側ブロック、中央ブロックまたは右側ブロックのいずれであるかを判定する。また、制御部12は、各視線到達ブロックに対する連続的な閲覧時間を計測し、予め設定された基準時間と比較して、連続閲覧時間が基準時間を超えたか否かを判定する。そして、これらの判定結果に基づいて、表示管理部14、情報取得部16及び表示制御部11の動作を制御する。
図9及び図10のフロー図は、制御部12の処理手順を示している。
図9に示すように、制御部12は、視線検出部13が算出した水平方向の視線の向きから視線到達ブロックを識別し、視線到達ブロックが切替ったか否かを判定する(ステップ1)。視線到達ブロックが切替ると、当該視線到達ブロックに視線が滞留している時間(即ち、閲覧時間)の測定を開始する(ステップ2)。また、表示管理部14で管理されている現在表示中のブロックの表示管理データを参照し、当該視線到達ブロックの閲覧が初めてであるか否かを、該当する現表示情報に対する閲覧フラグの有無により識別する(ステップ3)。
当該視線到達ブロックの閲覧が初めてである場合は、表示管理データの該当する現表示情報に対して閲覧フラグを付与し(ステップ4)、その結果、全部の現表示情報に対して閲覧フラグが付与されたか否かを識別する(ステップ5)。全部の現表示情報に対して閲覧フラグが付与された場合は、表示ブロックの更新処理を行う(ステップ6)。
表示ブロックの更新処理については、図10のフロー図に示している。
現表示情報がI層レベルのブロックを表示している場合(ステップ61でYesの場合)、新たに視線到達ブロックとなった表示ブロックより閲覧順序が二つ前のブロックを更新するように情報取得部16及び表示制御部11に指示する(ステップ62)。
例えば、図5において、左側ブロック、中央ブロックの閲覧が終了し、右側ブロックが新たに視線到達ブロックとなった場合に、閲覧順序が右側ブロックの二つ前のブロックに該当する左側ブロックの更新が行われる。
このとき、情報取得部16は、検索サーバから新たに9個の検索結果データを取得し、この取得データが、図4に示すように、取得情報蓄積部15のL2ノードに連なるIII層目に蓄積される。表示制御部11は、取得情報蓄積部15に新たに蓄積されたデータを用いて、表示部20の画面の左側ブロックの表示データを生成し、現在表示されている左側ブロックを更新する。その結果、表示部20の画面は図11のように更新される。また、制御部12は、表示管理部14で管理されている現表示情報を書き換えて、その閲覧フラグを削除する。
また、図10において、現表示情報がII層レベルのブロックを表示している場合(ステップ63でYesの場合)は、基準時間内に視線対象ブロックから視線が外れたとき(即ち、表示されたII層レベルのブロックの全てが閲覧され、かつ、最後に観た視線対象ブロックからも目が離れたとき)、表示制御部11に指示して、画面の表示を元のI層レベルの表示に戻す(ステップ65)。
また、現表示情報がIII層レベルのブロックを表示している場合(ステップ66でYesの場合)は、同様に、基準時間内に視線対象ブロックから視線が外れたとき、表示制御部11に指示して、画面の表示を元のII層レベルの表示に戻す(ステップ68)。
図10のステップ62の後、図9のステップ7に移行する。また、ステップ64及びステップ66においてNoであるときもステップ7に移行する。さらに、図9のステップ1、ステップ3及びステップ5においてNoであるときもステップ7に移行する。
ステップ7では、ステップ2で計測を開始した閲覧時間の連続期間が基準時間を超えたか否かを判定する。閲覧時間の連続期間が基準時間を超えると(ステップ7でYesの場合)、制御部12は、視線到達ブロックの情報を表示制御部11に伝えて、表示データの表示レベルを一層下げるように指示する(ステップ8)。表示制御部11は、伝えられたブロックの表示データに含まれる次層の表示領域を水平に三つ並べた表示データを生成し、表示部20の画面に表示する。制御部12は、表示管理部14で管理されている現表示情報を全て書き換えて、それらの閲覧フラグを全て削除する。
このように、この視線制御表示装置では、表示情報を三つのブロックに分け、画面の水平方向に三つのブロックを間隔を空けて表示しているため、検出精度が粗い非接触型の方法で視線を検出した場合でも、視線の先のブロックを正確に求めることができる。
なお、人の目は、真直ぐに保った顔の水平方向に長く、垂直方向に短いため、垂直方向に比べて、水平方向の視線角度の方が正確に算出できる。この視線制御表示装置では、画面の水平方向にブロックを並べているため、非接触型の方法により水平方向の視線角度を求めるだけで、視線到達ブロックを確実に判定することができる。
また、この視線制御表示装置では、非特許文献1の表示システムと違って、表示情報を動かさず表示しているため、表示内容が見易い。
また、この視線制御表示装置では、表示した情報の更新を、視線の検出結果に基づいて直接行っているため、最新情報の表示を求めるユーザのニーズに、迅速に対応することができる。ユーザは、視線を移すだけで新たな情報を得ることができ、この装置を使って、多量の情報を効率的に閲覧し、好みの情報を表示させることができる。
また、この装置では、視線到達ブロックより閲覧順序が二つ前のブロックを対象として最新情報への更新を実施しているが、これは、ブロックの閲覧中に、その直前に観たブロックが気になって見直したり、閲覧中のブロックと比較したりすることが多々あることを考慮したためであり、視線到達ブロックの一つ前のブロックを更新すると、こうした見直しができなくなる。閲覧中のブロックの二つ前のブロックであれば、こうした見直しの対象となる確率は低い。
また、この更新方式によれば、視線検出が失敗し、中央を見ているにも関わらず右のブロックを観ていると判定された場合でも、閲覧中の中央ブロックが更新されてしまう虞は無くなり、安定した閲覧が可能になる。
なお、ここでは、表示情報を三つに分けて画面に表示する場合について説明したが、表示情報を分割表示する数Nは、3以外であっても良い。Nの値は、要は、検出精度が粗い非接触型の方法で視線を検出した場合でも、視線の先のブロックを正確に求めることができる数であれば良く、画面の大きさや、画面からユーザまでの距離、非接触型視線検出方法の検出精度などに応じて変わって来る。
また、表示の更新や、元の表示への戻りは、画面外に視線を向ける動作、あるいは、目を閉じる動作と対応付けて、それらの動作が行われたときに、対応する表示処理を実行するようにしても良い。画面外に視線を向けたり、目を閉じたりした状態は、視線検出部で視線が求められなくなり、それによって識別できる。
また、画面のN個に分けた表示領域のいずれかを、表示の更新や元の表示への戻りを指示する領域として割り当て、ユーザがその領域を見たときに、決められた表示処理を実行するようにしてもよい。
ここでは、III層までの情報を並べて表示する場合について示したが、さらに、その中の一つを基準時間以上見た場合に、それに関する詳細情報を拡大して画面に表示するようにしてもよい。この場合、画面の表示を上のレベルに戻すために、前述のような方法を利用する。
また、頭部の位置に応じた視線計算用データを予め用意し、ビデオカメラ30で撮影したユーザの画像から頭部の位置を求め、その頭部位置に応じた視線計算用データを用いて視線方向を算出することにより、視線方向の検出精度を高めることができる。
(第2の実施形態)
本発明の第2の実施形態における視線制御表示装置は、視線検出のキャリブレーション(較正)を自動的に行うことができる。
この装置は、図12に示すように、視線検出の較正を行う較正部17を備えている。その他の構成は、第1の実施形態(図2)と変わりがない。但し、ここでは、表示部20に表示される表示情報が、画面の水平方向に、N個に分かれて表示されるものとする。
この較正部17は、視線制御表示装置10に内蔵されたコンピュータやCPUがプログラムで規定された処理を実行することにより実現される。
較正部10は、制御部12が視線検出部13の検出結果に基づいて判定した視線到達ブロックの位置の変化や、II層レベルの表示をI層レベルの表示に戻し、III層レベルの表示をII層レベルの表示に戻す“元の表示への戻り”の回数をチェックしてキャリブレーションの実行時期を見極める。
視線到達ブロックの位置については、左から右方向に一つずつ視線到達ブロックの位置が移動する正順移動の回数と、視線到達ブロックの位置が逆方向に移動する逆順移動の回数とをカウントし、一定時間内の逆順移動の割合が閾値を超えた場合に、キャリブレーションを実行する。
また、元の表示への戻りについては、戻りの回数をカウントし、一定時間内の戻りの回数が閾値を超えた場合に、キャリブレーションを実行する。
逆順移動の増加や、元の表示への戻りの増加は、ユーザの身体が動いて視線計算の結果が不正確になっているために生じている。較正部10は、現在のユーザの身体位置において正確な視線検出ができるように、次のようにキャリブレーションを実行する。
表示部20の画面の水平方向に分かれたN個の表示領域の何れかに、ユーザが自ずと注目するマークを表示する。図13では、N個の表示領域の内、両端の表示領域に交互にマークを表示する場合を示している。このマークが画面上に出現すると、ユーザは自然にその方向を見ることになる。
このときのユーザの顔をビデオカメラ30で撮影して視線方向を算出し、得られた視線方向と、正常な状態、即ち、逆順移動や元の表示への戻りの増加が発生していない状態で同じ表示領域を見たときの視線方向とを比較して差分を求め、補正係数とする。
また、図13に示すように、こうした処理を画面上の離れた2箇所で行い、2箇所の差分値の平均を補正係数としても良い。
制御部12は、視線検出部13が算出した視線方向の値に、較正部10が求めた補正係数を加算して視線方向を補正し、補正した視線方向に基づいて視線到達ブロックを判定する。
このように、この視線制御表示装置は、較正部10を備えることにより、視線到達ブロックの判定間違いが継続して発生する事態を防止できる。
なお、各実施形態では、インターネットの検索エンジンの検索結果を表示する場合について説明したが、本発明は、電子メールやニュースなどを表示対象として、大量の情報を素早く閲覧し、そこから見つけ出した興味のあるメールやニュースをじっくり読むことができる装置として構成することも可能である。
また、本発明は、テレビのチャンネルを表示対象として、テレビ局名やそのロゴ、あるいは、現時点で放送されている映像の縮小画像を表示し、視線による情報選択でチャンネルが特定された場合に、そのテレビ放送の映像を表示部の画面全体に表示する装置として構成することもできる。
また、本発明は、図14に示すように、文字や記号を表示対象とし、それらを視線により選択して、機械装置やコンピュータに入力することができる障害者用インターフェースとして構成することもできる。
本発明は、視線を検出して表示制御を行う装置として広く利用することができ、例えば、インターネット情報やメール情報を閲覧するコンピュータ用インタフェース、テレビのチャンネル選択などを行う家電用インタフェース、視線だけで情報入力が可能な障害者用インタフェースなど、幅広い応用が可能である。
本発明の第1の実施形態における視線制御表示装置の使用形態を示す模式図 本発明の第1の実施形態における視線制御表示装置の構成を示すブロック図 視線方向の求め方を示す説明図 本発明の第1の実施形態における視線制御表示装置のデータ蓄積構造を示す図 本発明の第1の実施形態におけるI層レベルの表示を示す図 本発明の第1の実施形態におけるII層レベルの表示を示す図 本発明の第1の実施形態におけるIII層レベルの表示を示す図 本発明の第1の実施形態における表示管理部の管理情報を示す図 本発明の第1の実施形態における視線制御表示装置の動作を示すフロー図 本発明の第1の実施形態における表示ブロックの更新処理の動作を示すフロー図 本発明の第1の実施形態における更新されたI層レベルの表示を示す図 本発明の第2の実施形態における視線制御表示装置の構成を示すブロック図 本発明の第2の実施形態におけるキャリブレーション実行時の表示を示す図 本発明の他の実施形態における視線制御表示装置の表示例を示す図 従来の視線制御表示装置の表示画面を示す図
符号の説明
10 視線制御表示装置
11 表示制御部
12 制御部
13 視線検出部
14 表示管理部
15 取得情報蓄積部
16 情報取得部
17 較正部
20 表示部
30 ビデオカメラ

Claims (4)

  1. 表示画面に注がれる視線を検出して前記表示画面の表示を制御する視線制御表示装置であって、
    前記表示画面の水平方向にN個に分離した表示領域を固定的に設け、複数の情報を前記N個の表示領域に分けて表示する表示制御手段と、
    前記表示画面を見る人の顔を撮影する撮影手段と、
    前記撮影手段の画像を解析して視線の方向を算出する視線検出手段と、
    算出された視線が到達する前記表示領域を識別する視線到達領域識別手段と
    を備え、
    前記視線到達領域識別手段が、閲覧順序に従って移動した視線が前記N個の表示領域の一つに始めて到達したことを検出したとき、前記表示制御手段は、閲覧順序が当該表示領域の二つ前の表示領域に表示されている既に閲覧された表示内容を更新することを特徴とする視線制御表示装置。
  2. 請求項1に記載の視線制御表示装置であって、前記視線到達領域識別手段が、前記N個の表示領域の一つに視線が所定時間以上滞留していることを検出したとき、前記表示制御手段が、当該表示領域に表示した複数の情報を前記N個の表示領域に分けて表示することを特徴とする視線制御表示装置。
  3. 表示画面に注がれる視線を検出して前記表示画面の表示を制御する表示方法であって、
    前記表示画面の水平方向にN個に分離した表示領域を固定的に設け、複数の情報を前記N個の表示領域に分けて表示し、閲覧順序に従って移動した視線が前記N個の表示領域の一つに始めて到達したことを検出したとき、閲覧順序が当該表示領域の二つ前の表示領域に表示されている既に閲覧された表示内容を更新することを特徴とする表示方法。
  4. 請求項に記載の表示方法であって、前記N個の表示領域の一つに視線が所定時間以上滞留していることを検出したとき、当該表示領域に表示した複数の情報を前記N個の表示領域に分けて表示することを特徴とする表示方法。
JP2006034926A 2006-02-13 2006-02-13 視線制御表示装置と表示方法 Active JP4399607B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006034926A JP4399607B2 (ja) 2006-02-13 2006-02-13 視線制御表示装置と表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006034926A JP4399607B2 (ja) 2006-02-13 2006-02-13 視線制御表示装置と表示方法

Publications (2)

Publication Number Publication Date
JP2007213469A JP2007213469A (ja) 2007-08-23
JP4399607B2 true JP4399607B2 (ja) 2010-01-20

Family

ID=38491821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006034926A Active JP4399607B2 (ja) 2006-02-13 2006-02-13 視線制御表示装置と表示方法

Country Status (1)

Country Link
JP (1) JP4399607B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5347279B2 (ja) 2008-02-13 2013-11-20 ソニー株式会社 画像表示装置
JP5491274B2 (ja) * 2010-04-20 2014-05-14 知博 蔦 読解状態マッピング装置、読解状態マッピング装置作動方法、読解状態マッピングプログラム、及びコンピュータ読み取り可能な記録媒体
JP2012022538A (ja) * 2010-07-15 2012-02-02 Hitachi Ltd 注目位置推定方法、画像表示方法、注目コンテンツ表示方法、注目位置推定装置および画像表示装置
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
JP2012022589A (ja) * 2010-07-16 2012-02-02 Hitachi Ltd 商品選択支援方法
JP5974809B2 (ja) * 2012-09-28 2016-08-23 大日本印刷株式会社 表示装置、表示制御方法及び表示制御プログラム
TWI550438B (zh) * 2013-10-04 2016-09-21 由田新技股份有限公司 記錄閱讀行爲的方法及裝置
US9583105B2 (en) * 2014-06-06 2017-02-28 Microsoft Technology Licensing, Llc Modification of visual content to facilitate improved speech recognition
JP6468078B2 (ja) * 2015-05-29 2019-02-13 富士通株式会社 視線キャリブレーションプログラム、視線キャリブレーション装置、および視線キャリブレーション方法
JP6763260B2 (ja) * 2016-09-23 2020-09-30 富士ゼロックス株式会社 情報処理装置、画像形成装置およびプログラム
WO2018078488A1 (en) * 2016-10-25 2018-05-03 Semiconductor Energy Laboratory Co., Ltd. Display device, display module, electronic device, and touch panel input system
JP2018163558A (ja) * 2017-03-27 2018-10-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61243508A (ja) * 1985-04-22 1986-10-29 Nippon Hoso Kyokai <Nhk> 意志伝達装置
JPH05204526A (ja) * 1992-01-23 1993-08-13 Nec Corp 視点監視入力装置
JPH06149529A (ja) * 1992-11-09 1994-05-27 Nippon Telegr & Teleph Corp <Ntt> 情報表示方法
JPH1185452A (ja) * 1997-09-02 1999-03-30 Sanyo Electric Co Ltd スクロール制御装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP2000278626A (ja) * 1999-03-29 2000-10-06 Sanyo Electric Co Ltd マルチ画面音声出力制御装置
JP2006072876A (ja) * 2004-09-06 2006-03-16 Fuji Xerox Co Ltd 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
JP2007213469A (ja) 2007-08-23

Similar Documents

Publication Publication Date Title
JP4399607B2 (ja) 視線制御表示装置と表示方法
CN109891189B (zh) 策划的摄影测量
US8676623B2 (en) Building directory aided navigation
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
WO2020125499A1 (zh) 一种操作提示方法及眼镜
JP2014153813A5 (ja) 画像処理装置、画像処理方法、及びプログラム
US20160349972A1 (en) Data browse apparatus, data browse method, and storage medium
JP5456175B2 (ja) 映像監視装置
US20170169595A1 (en) Information superimposed image display device, non-transitory computer-readable medium which records information superimposed image display program, and information superimposed image display method
JP2016127571A (ja) カメラシステム、表示制御装置、表示制御方法、及びプログラム
JP6287486B2 (ja) 情報処理装置、方法及びプログラム
JP2006329684A (ja) 画像計測装置及び方法
JP5719216B2 (ja) 視線測定装置および視線測定プログラム
JP5034253B2 (ja) オブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法
US10567656B2 (en) Medical observation device, information processing method, program, and video microscope device
WO2016158184A1 (ja) 医療用観察装置、レンズ駆動制御装置、レンズ駆動制御方法、プログラム、及びビデオ顕微鏡装置
JPH0720987A (ja) 注視点推定装置
KR102327578B1 (ko) 웨어러블 디바이스를 이용한 객체 및 상황 정보 제공장치 및 방법
JP6736348B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP4134773A1 (en) Image selection method, self-propelled device, and computer storage medium
KR102118505B1 (ko) 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템
JP2019066196A (ja) 傾き測定装置及び傾き測定方法
JP6435640B2 (ja) 混雑度推定システム
JP2020135291A (ja) 情報処理装置、情報処理方法及びプログラム
JP2014120042A (ja) 映像出力装置、映像出力方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150