JP4399607B2 - 視線制御表示装置と表示方法 - Google Patents
視線制御表示装置と表示方法 Download PDFInfo
- Publication number
- JP4399607B2 JP4399607B2 JP2006034926A JP2006034926A JP4399607B2 JP 4399607 B2 JP4399607 B2 JP 4399607B2 JP 2006034926 A JP2006034926 A JP 2006034926A JP 2006034926 A JP2006034926 A JP 2006034926A JP 4399607 B2 JP4399607 B2 JP 4399607B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- line
- sight
- information
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
一方、非接触型は、ユーザに強いる負担は小さいが、接触型に比べて検出精度が落ちる。それでも視野角0.5度から1度程度の精度を得ることは可能である。
このシステムでは、多量な情報(例えば、キーワードに基づいて検索エンジンが検索した検索結果)を、画面上を下から上に移動する複数のウィンドウの各々を用いて表示している。複数のウィンドウは、図15に示すように、画面の左から右へ三列に階段状にずらして並べている。各列のウィンドウは、画面の下から現れ、速度Vmで上方に移動して画面上端から消える。そうすると、各列の次のウィンドウが画面の下から順次現れ、同様に、速度Vmで上方に移動して画面上端から消える。この動作を繰り返すことにより、多量な情報が各ウィンドウを通じて表示される。
ユーザは、画面の下から上に流れるウィンドウを左側、中央、右側、左側、中央、右側、・・の順に目を動かして観る。
ウィンドウの移動速度Vmを視線のスキャン速度に巧く合わせると、ユーザは、殆ど同じ高さで三つのウィンドウを観ることが可能になり、目を、垂直方向には動かさずに、水平方向にだけ動かして各ウィンドウの情報を読取ることができる。
また、視線が一つのウィンドウに固定すると、ウィンドウの移動を止め、そのウィンドウを拡大して、そこに情報の詳細な内容を表示する。
沼尻 貴昭, 中村 明生, 久野 義徳、「多量情報の効率的取得のための高速閲覧システム」、第8回画像センシングシンポジウム (SSII 2002) 講演論文集, pp.463-468, 横浜, July 2002
また、前記表示システムでは、ユーザの興味の無いウィンドウが連続する場合に、速くなった視線のスキャン速度を認識してウィンドウの移動速度Vmが速められるが、移動速度Vmの更新までに時間が掛かり、システムの効率が悪いという問題点がある。
この視線制御表示装置では、N個の表示領域のどれに視線が向いているかを識別して表示を制御しているため、視線の検出精度が粗くても、正確な表示制御が可能であり、また、二つ前の表示領域を更新対象としているため、直前に閲覧した情報については、それを見直したり、閲覧中の情報と比較したりすることが可能である。また、視線検出に誤りが生じた場合でも、閲覧中の情報が更新される虞が少ない。
N個の表示領域の一つに表示された複数の情報がN個の表示領域に展開されるため、展開後の情報についても、視線の先にある情報を正確に識別できる。
この表示方法では、N個の表示領域のどれに視線が向いているかを識別して表示を制御しているため、視線の検出精度が粗くても、視線が向いている表示領域を、正しく識別することができ、また、二つ前の表示領域を更新対象としているため、直前に閲覧した情報を見直したり、直前に閲覧した情報と閲覧中の情報とを比較したりする動作を妨げずに、情報を更新することができる。
この表示方法では、複数の情報が、常にN個の表示領域に展開されて表示されるため、視線の先にある情報を常に正確に識別することができる。
図2は、本発明の第1の実施形態における視線制御表示装置の構成をブロック図で示し、図1は、この装置を用いて行われる表示制御の様子を模式図で示している。
図1に示すように、情報は、表示部20の画面の水平方向に分かれた三つのブロックで表示される。この画面を見るユーザの顔がビデオカメラ30で撮影され、視線の方向が視線制御表示装置10で計測される。
また、視線が一つのブロックに所定時間以上滞留したときは、そのブロックに含まれる内容が三つに分割され、画面の左側、中央及び右側の各領域に表示される。
このように、ユーザによる情報の選択は、画面の水平方向に並ぶ三つのブロックから繰り返し行われ、次第に選択されたブロックについてのより詳細な情報が表示される。
この内、視線検出部13、表示制御部11、表示管理部14及び制御部12は、視線制御表示装置10に内蔵されたコンピュータやCPUがプログラムで規定された処理を実行することにより実現される。
図3に示すように、眼球は円(球体)と仮定することができるから、水平方向の視線の角度をθ、眼球の半径をr、目の中心から虹彩の中心までの距離をdとすると、次の(式1)の関係が成り立つ。
θ=sin-1(d/r) (1)
ここで、距離dは、目の画像を解析して求めることができ、また、眼球の半径rは、予め視線角度が分かっている方向(角度θ0)を見たときの目の中心から虹彩の中心までの距離d0を求め、θ0及びd0を式(1)に代入して求めることができる。視線検出部13は、こうして求めた眼球の半径rと、ビデオカメラ30の映像の解析から得た距離dとを用いて、式(1)から、時々刻々と変わる水平方向の視線の向きを算出する。
なお、視線の検出方法については、前記非特許文献1などに詳述されている。
情報取得部16が取得した情報は、取得情報蓄積部15にツリー形式で蓄積される。
図4は、取得情報蓄積部15のデータ蓄積構造の一例を示している。当初、情報取得部16は、検索サーバから27個のデータ(L111、L112、・・・、R133)を取得する。これらの取得データは、左(L)、中央(C)、右(R)の各ノードに連なる三層の階層構造(I層、II層、III層)のIII層目に蓄積される。II層の各ノード(L11、L12、・・・、R13)は、III層の三つのデータに接続する三分枝を有し、また、I層の各ノード(L1、C1、R1)は、II層の三つノードに接続する三分枝を有している。
表示制御部11は、取得情報蓄積部15の蓄積データを用いて、表示部20の画面の左側、中央及び右側に表示する各ブロックの表示データを生成する。
また、II層のレベルの表示を行う場合は、図6に示すように、I層レベルの表示において選択された左側ブロック、中央ブロックまたは右側ブロック(ここでは図5の中央ブロックが選択されたものとする。)の表示データに含まれるII層のノードC11、C12、C13の表示領域を水平に三つ並べ、C11、C12、C13の各表示領域の中に、それぞれのノードに接続する三つのIII層のデータを簡略化して表した表示データを生成する。
また、III層のレベルの表示を行う場合は、図7に示すように、II層レベルの表示において選択された左側ブロック、中央ブロックまたは右側ブロック(ここでは図6の左側ブロックが選択されたものとする。)の表示データに含まれるIII層のデータC111、C112、C113を縮小化して水平に三つ並べた表示データを生成する。
制御部12は、視線検出部13が算出した水平方向の視線の向きから、視線の到達先のブロック(視線到達ブロック)が画面の左側ブロック、中央ブロックまたは右側ブロックのいずれであるかを判定する。また、制御部12は、各視線到達ブロックに対する連続的な閲覧時間を計測し、予め設定された基準時間と比較して、連続閲覧時間が基準時間を超えたか否かを判定する。そして、これらの判定結果に基づいて、表示管理部14、情報取得部16及び表示制御部11の動作を制御する。
図9に示すように、制御部12は、視線検出部13が算出した水平方向の視線の向きから視線到達ブロックを識別し、視線到達ブロックが切替ったか否かを判定する(ステップ1)。視線到達ブロックが切替ると、当該視線到達ブロックに視線が滞留している時間(即ち、閲覧時間)の測定を開始する(ステップ2)。また、表示管理部14で管理されている現在表示中のブロックの表示管理データを参照し、当該視線到達ブロックの閲覧が初めてであるか否かを、該当する現表示情報に対する閲覧フラグの有無により識別する(ステップ3)。
当該視線到達ブロックの閲覧が初めてである場合は、表示管理データの該当する現表示情報に対して閲覧フラグを付与し(ステップ4)、その結果、全部の現表示情報に対して閲覧フラグが付与されたか否かを識別する(ステップ5)。全部の現表示情報に対して閲覧フラグが付与された場合は、表示ブロックの更新処理を行う(ステップ6)。
現表示情報がI層レベルのブロックを表示している場合(ステップ61でYesの場合)、新たに視線到達ブロックとなった表示ブロックより閲覧順序が二つ前のブロックを更新するように情報取得部16及び表示制御部11に指示する(ステップ62)。
例えば、図5において、左側ブロック、中央ブロックの閲覧が終了し、右側ブロックが新たに視線到達ブロックとなった場合に、閲覧順序が右側ブロックの二つ前のブロックに該当する左側ブロックの更新が行われる。
このとき、情報取得部16は、検索サーバから新たに9個の検索結果データを取得し、この取得データが、図4に示すように、取得情報蓄積部15のL2ノードに連なるIII層目に蓄積される。表示制御部11は、取得情報蓄積部15に新たに蓄積されたデータを用いて、表示部20の画面の左側ブロックの表示データを生成し、現在表示されている左側ブロックを更新する。その結果、表示部20の画面は図11のように更新される。また、制御部12は、表示管理部14で管理されている現表示情報を書き換えて、その閲覧フラグを削除する。
また、現表示情報がIII層レベルのブロックを表示している場合(ステップ66でYesの場合)は、同様に、基準時間内に視線対象ブロックから視線が外れたとき、表示制御部11に指示して、画面の表示を元のII層レベルの表示に戻す(ステップ68)。
図10のステップ62の後、図9のステップ7に移行する。また、ステップ64及びステップ66においてNoであるときもステップ7に移行する。さらに、図9のステップ1、ステップ3及びステップ5においてNoであるときもステップ7に移行する。
なお、人の目は、真直ぐに保った顔の水平方向に長く、垂直方向に短いため、垂直方向に比べて、水平方向の視線角度の方が正確に算出できる。この視線制御表示装置では、画面の水平方向にブロックを並べているため、非接触型の方法により水平方向の視線角度を求めるだけで、視線到達ブロックを確実に判定することができる。
また、この視線制御表示装置では、表示した情報の更新を、視線の検出結果に基づいて直接行っているため、最新情報の表示を求めるユーザのニーズに、迅速に対応することができる。ユーザは、視線を移すだけで新たな情報を得ることができ、この装置を使って、多量の情報を効率的に閲覧し、好みの情報を表示させることができる。
また、この更新方式によれば、視線検出が失敗し、中央を見ているにも関わらず右のブロックを観ていると判定された場合でも、閲覧中の中央ブロックが更新されてしまう虞は無くなり、安定した閲覧が可能になる。
また、画面のN個に分けた表示領域のいずれかを、表示の更新や元の表示への戻りを指示する領域として割り当て、ユーザがその領域を見たときに、決められた表示処理を実行するようにしてもよい。
また、頭部の位置に応じた視線計算用データを予め用意し、ビデオカメラ30で撮影したユーザの画像から頭部の位置を求め、その頭部位置に応じた視線計算用データを用いて視線方向を算出することにより、視線方向の検出精度を高めることができる。
本発明の第2の実施形態における視線制御表示装置は、視線検出のキャリブレーション(較正)を自動的に行うことができる。
この装置は、図12に示すように、視線検出の較正を行う較正部17を備えている。その他の構成は、第1の実施形態(図2)と変わりがない。但し、ここでは、表示部20に表示される表示情報が、画面の水平方向に、N個に分かれて表示されるものとする。
この較正部17は、視線制御表示装置10に内蔵されたコンピュータやCPUがプログラムで規定された処理を実行することにより実現される。
視線到達ブロックの位置については、左から右方向に一つずつ視線到達ブロックの位置が移動する正順移動の回数と、視線到達ブロックの位置が逆方向に移動する逆順移動の回数とをカウントし、一定時間内の逆順移動の割合が閾値を超えた場合に、キャリブレーションを実行する。
また、元の表示への戻りについては、戻りの回数をカウントし、一定時間内の戻りの回数が閾値を超えた場合に、キャリブレーションを実行する。
表示部20の画面の水平方向に分かれたN個の表示領域の何れかに、ユーザが自ずと注目するマークを表示する。図13では、N個の表示領域の内、両端の表示領域に交互にマークを表示する場合を示している。このマークが画面上に出現すると、ユーザは自然にその方向を見ることになる。
また、図13に示すように、こうした処理を画面上の離れた2箇所で行い、2箇所の差分値の平均を補正係数としても良い。
制御部12は、視線検出部13が算出した視線方向の値に、較正部10が求めた補正係数を加算して視線方向を補正し、補正した視線方向に基づいて視線到達ブロックを判定する。
このように、この視線制御表示装置は、較正部10を備えることにより、視線到達ブロックの判定間違いが継続して発生する事態を防止できる。
また、本発明は、テレビのチャンネルを表示対象として、テレビ局名やそのロゴ、あるいは、現時点で放送されている映像の縮小画像を表示し、視線による情報選択でチャンネルが特定された場合に、そのテレビ放送の映像を表示部の画面全体に表示する装置として構成することもできる。
また、本発明は、図14に示すように、文字や記号を表示対象とし、それらを視線により選択して、機械装置やコンピュータに入力することができる障害者用インターフェースとして構成することもできる。
11 表示制御部
12 制御部
13 視線検出部
14 表示管理部
15 取得情報蓄積部
16 情報取得部
17 較正部
20 表示部
30 ビデオカメラ
Claims (4)
- 表示画面に注がれる視線を検出して前記表示画面の表示を制御する視線制御表示装置であって、
前記表示画面の水平方向にN個に分離した表示領域を固定的に設け、複数の情報を前記N個の表示領域に分けて表示する表示制御手段と、
前記表示画面を見る人の顔を撮影する撮影手段と、
前記撮影手段の画像を解析して視線の方向を算出する視線検出手段と、
算出された視線が到達する前記表示領域を識別する視線到達領域識別手段と
を備え、
前記視線到達領域識別手段が、閲覧順序に従って移動した視線が前記N個の表示領域の一つに始めて到達したことを検出したとき、前記表示制御手段は、閲覧順序が当該表示領域の二つ前の表示領域に表示されている既に閲覧された表示内容を更新することを特徴とする視線制御表示装置。 - 請求項1に記載の視線制御表示装置であって、前記視線到達領域識別手段が、前記N個の表示領域の一つに視線が所定時間以上滞留していることを検出したとき、前記表示制御手段が、当該表示領域に表示した複数の情報を前記N個の表示領域に分けて表示することを特徴とする視線制御表示装置。
- 表示画面に注がれる視線を検出して前記表示画面の表示を制御する表示方法であって、
前記表示画面の水平方向にN個に分離した表示領域を固定的に設け、複数の情報を前記N個の表示領域に分けて表示し、閲覧順序に従って移動した視線が前記N個の表示領域の一つに始めて到達したことを検出したとき、閲覧順序が当該表示領域の二つ前の表示領域に表示されている既に閲覧された表示内容を更新することを特徴とする表示方法。 - 請求項3に記載の表示方法であって、前記N個の表示領域の一つに視線が所定時間以上滞留していることを検出したとき、当該表示領域に表示した複数の情報を前記N個の表示領域に分けて表示することを特徴とする表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006034926A JP4399607B2 (ja) | 2006-02-13 | 2006-02-13 | 視線制御表示装置と表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006034926A JP4399607B2 (ja) | 2006-02-13 | 2006-02-13 | 視線制御表示装置と表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007213469A JP2007213469A (ja) | 2007-08-23 |
JP4399607B2 true JP4399607B2 (ja) | 2010-01-20 |
Family
ID=38491821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006034926A Active JP4399607B2 (ja) | 2006-02-13 | 2006-02-13 | 視線制御表示装置と表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4399607B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5347279B2 (ja) * | 2008-02-13 | 2013-11-20 | ソニー株式会社 | 画像表示装置 |
JP5491274B2 (ja) * | 2010-04-20 | 2014-05-14 | 知博 蔦 | 読解状態マッピング装置、読解状態マッピング装置作動方法、読解状態マッピングプログラム、及びコンピュータ読み取り可能な記録媒体 |
JP2012022538A (ja) * | 2010-07-15 | 2012-02-02 | Hitachi Ltd | 注目位置推定方法、画像表示方法、注目コンテンツ表示方法、注目位置推定装置および画像表示装置 |
JP2012022589A (ja) * | 2010-07-16 | 2012-02-02 | Hitachi Ltd | 商品選択支援方法 |
JP2012022632A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 情報処理装置およびその制御方法 |
JP5974809B2 (ja) * | 2012-09-28 | 2016-08-23 | 大日本印刷株式会社 | 表示装置、表示制御方法及び表示制御プログラム |
TWI550438B (zh) | 2013-10-04 | 2016-09-21 | 由田新技股份有限公司 | 記錄閱讀行爲的方法及裝置 |
US9583105B2 (en) * | 2014-06-06 | 2017-02-28 | Microsoft Technology Licensing, Llc | Modification of visual content to facilitate improved speech recognition |
JP6468078B2 (ja) * | 2015-05-29 | 2019-02-13 | 富士通株式会社 | 視線キャリブレーションプログラム、視線キャリブレーション装置、および視線キャリブレーション方法 |
JP6763260B2 (ja) * | 2016-09-23 | 2020-09-30 | 富士ゼロックス株式会社 | 情報処理装置、画像形成装置およびプログラム |
WO2018078488A1 (en) * | 2016-10-25 | 2018-05-03 | Semiconductor Energy Laboratory Co., Ltd. | Display device, display module, electronic device, and touch panel input system |
JP2018163558A (ja) | 2017-03-27 | 2018-10-18 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61243508A (ja) * | 1985-04-22 | 1986-10-29 | Nippon Hoso Kyokai <Nhk> | 意志伝達装置 |
JPH05204526A (ja) * | 1992-01-23 | 1993-08-13 | Nec Corp | 視点監視入力装置 |
JPH06149529A (ja) * | 1992-11-09 | 1994-05-27 | Nippon Telegr & Teleph Corp <Ntt> | 情報表示方法 |
JPH1185452A (ja) * | 1997-09-02 | 1999-03-30 | Sanyo Electric Co Ltd | スクロール制御装置 |
JP2000163196A (ja) * | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
JP2000278626A (ja) * | 1999-03-29 | 2000-10-06 | Sanyo Electric Co Ltd | マルチ画面音声出力制御装置 |
JP2006072876A (ja) * | 2004-09-06 | 2006-03-16 | Fuji Xerox Co Ltd | 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム |
-
2006
- 2006-02-13 JP JP2006034926A patent/JP4399607B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007213469A (ja) | 2007-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4399607B2 (ja) | 視線制御表示装置と表示方法 | |
CN109891189B (zh) | 策划的摄影测量 | |
US9875408B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
WO2020125499A1 (zh) | 一种操作提示方法及眼镜 | |
JP2006277666A (ja) | 表示画面上位置解析装置及び表示画面上位置解析プログラム | |
US20160086322A1 (en) | Image measurement device | |
US20150145762A1 (en) | Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program | |
US20120130762A1 (en) | Building directory aided navigation | |
US20160349972A1 (en) | Data browse apparatus, data browse method, and storage medium | |
JP5456175B2 (ja) | 映像監視装置 | |
US20170169595A1 (en) | Information superimposed image display device, non-transitory computer-readable medium which records information superimposed image display program, and information superimposed image display method | |
JP2016127571A (ja) | カメラシステム、表示制御装置、表示制御方法、及びプログラム | |
JP2006329684A (ja) | 画像計測装置及び方法 | |
JP5719216B2 (ja) | 視線測定装置および視線測定プログラム | |
KR100412932B1 (ko) | 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법 | |
JP2015194809A (ja) | 情報処理装置、方法及びプログラム | |
US10567656B2 (en) | Medical observation device, information processing method, program, and video microscope device | |
JP2007212216A (ja) | オブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法 | |
KR102118505B1 (ko) | 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템 | |
WO2016158184A1 (ja) | 医療用観察装置、レンズ駆動制御装置、レンズ駆動制御方法、プログラム、及びビデオ顕微鏡装置 | |
JP2020135291A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR102327578B1 (ko) | 웨어러블 디바이스를 이용한 객체 및 상황 정보 제공장치 및 방법 | |
JP6736348B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP4134773A1 (en) | Image selection method, self-propelled device, and computer storage medium | |
JP6051834B2 (ja) | 映像出力装置、映像出力方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090929 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |