JPH09128138A

JPH09128138A - 画像表示装置および方法

Info

Publication number: JPH09128138A
Application number: JP7282834A
Authority: JP
Inventors: Hiroshi Yoshimatsu; 浩吉松
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-10-31
Filing date: 1995-10-31
Publication date: 1997-05-16

Abstract

(57)【要約】【課題】視線を利用して、画面上の視線ポインタを簡
単に大きく移動できるようにする。【解決手段】液晶ディスプレイ（ＬＣＤ）２１が表示
する画像において、使用者が所定の時間固視した位置を
検出し、ＣＰＵ３は、その位置に視線ポインタ（カーソ
ル）を表示するようにＯＳＤ回路４に指示し、ＯＳＤ回
路４は、視線ポインタの画像データをＶＲＡＭ５に出力
する。ＶＲＡＭ５は、視線ポインタの画像データをオリ
ジナルの画像データに重ねて、ＬＣＤ２１に出力する。
一定時間以上の固視が生じた場合に、トラックボール３
１がクリックされたとき、ＣＰＵ３は、使用者のその固
視した位置に視線ポインタを移動するように指示し、視
線ポインタはその位置に移動する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像表示装置およ
び方法に関し、特に、使用者の視線位置を検出し、視線
位置にポインタを移動させるようにした画像表示装置お
よび方法に関する。

【０００２】

【従来の技術】従来、画面上の所定の位置を指示する場
合、マウスやトラックボールなどを利用している。マウ
スで位置を指示する場合、使用者は、マウスカーソルを
画面上で探し（マウスカーソルは常に画面上に表示され
ている）、マウスを操作してマウスカーソルを所望の位
置まで移動させ、その位置でマウスボタンをクリックす
る。

【０００３】しかしながら、この方法は、表示されてい
るカーソルの位置を探さなければならず、操作性が悪い
課題がある。

【０００４】そこで、最近、使用者の視線の方向を検出
し、その視線の方向から画面上の視線位置を算出し、そ
の点にカーソルを発生させるという方法が、「テレビジ
ョン学会誌 Vol. 47, No. 6」において、「視線とマウ
スを併用する指示入力法の評価」として、伴野明氏らに
よって紹介されている。

【０００５】視線を利用して指示を行う場合、固視微動
などによって視線が揺らいでいるため、視線の方向を検
出するとき、指示対象の方向と視線の方向に若干のずれ
が生じる。そのため、指示対象が小さい場合、視線の方
向を利用するだけでは、カーソルを指示対象上に正確に
移動させることが困難である。従って、この方法では、
最初に、視線位置を算出し、その位置にカーソルを発生
表示させ、次に、使用者は、マウスを操作して、その位
置から指示対象上にカーソルを移動させるようにしてい
る。

【０００６】

【発明が解決しようとする課題】しかしながら、上記論
文に記載の従来の技術においては、一旦発生表示された
カーソルを移動するのにマウスを利用するようにしてい
るので、移動距離が長い場合、まだ操作性が悪い課題が
あった。

【０００７】さらに、一旦発生表示されたカーソルは常
に表示された状態となり、カーソルの画像が、オリジナ
ルの画像に重ねられるので、オリジナルの画像が見えに
くくなるという課題を有している。

【０００８】本発明は、このような状況に鑑みてなされ
たもので、移動距離が長くとも、迅速かつ確実にカーソ
ルを所望の位置に移動することができるようにするもの
である。さらに、所定の時間カーソルが操作されない場
合、カーソルの画像を一時的に消去し、オリジナルの画
像を見やすくするものである。

【０００９】

【課題を解決するための手段】請求項１に記載の画像表
示装置は、画像とポインタを表示する表示手段と、表示
手段における使用者の視線位置を検出する検出手段と、
ポインタを発生、表示するとき操作される操作手段と、
使用者が表示手段を所定の時間以上固視したとき、その
位置に、ポインタを移動、表示させる移動手段とを備え
ることを特徴とする。

【００１０】請求項２に記載の画像表示装置は、画像と
ポインタを表示する表示手段と、表示手段における使用
者の視線位置を検出する検出手段と、検出手段の検出し
た位置に、ポインタを表示させる表示位置制御手段と、
ポインタを移動させるとき操作される操作手段と、ポイ
ンタが所定の時間、移動されない場合、ポインタを消去
する消去手段とを備えることを特徴とする。

【００１１】請求項３に記載の画像表示方法は、画像を
表示し、その画像における使用者の視線位置を検出し、
視線位置にポインタを発生、表示し、使用者が所定の時
間以上固視したとき、その位置に、ポインタを移動、表
示することを特徴とする。

【００１２】請求項４に記載の画像表示方法は、画像を
表示し、その画像における使用者の視線位置を検出し、
視線位置に、ポインタを発生、表示し、使用者が所定の
操作をしたときポインタを移動させ、ポインタが所定の
時間、移動されない場合、ポインタを消去することを特
徴とする。

【００１３】請求項１に記載の画像表示装置において
は、表示手段は、画像とポインタを表示し、検出手段
は、表示手段における使用者の視線位置を検出し、操作
手段は、ポインタを発生、表示するとき操作され、移動
手段は、使用者が表示手段を所定の時間以上固視したと
き、その位置に、ポインタを移動、表示させる。

【００１４】請求項２に記載の画像表示装置において
は、表示手段は、画像とポインタを表示し、検出手段
は、表示手段における使用者の視線位置を検出し、表示
位置制御手段は、検出手段の検出した位置に、ポインタ
を表示させ、操作手段は、ポインタを移動させるとき操
作され、消去手段は、ポインタが所定の時間、移動され
ない場合、ポインタを消去する。

【００１５】請求項３に記載の画像表示方法において
は、画像を表示し、その画像における使用者の視線位置
を検出し、視線位置にポインタを発生、表示し、使用者
が所定の時間以上固視したとき、その位置に、ポインタ
を移動、表示する。

【００１６】請求項４に記載の画像表示方法において
は、画像を表示し、その画像における使用者の視線位置
を検出し、視線位置に、ポインタを発生、表示し、使用
者が所定の操作をしたときポインタを移動させ、ポイン
タが所定の時間、移動されない場合、ポインタを消去す
る。

【００１７】

【発明の実施の形態】図１は、本発明の画像表示装置の
第１の実施例の構成例を示している。この構成例は、視
線検出器２２を内蔵するヘッドマウントディスプレイ
（ＨＭＤ）１を備える。ＨＭＤ１は、視線処理部２とＶ
ＲＡＭ５に接続され、ＶＲＡＭ５が記憶する画像データ
を、内蔵する液晶ディスプレイ（ＬＣＤ）２１（表示手
段）で表示する。

【００１８】ＨＭＤ１が内蔵する視線検出器２２（検出
手段）は、表示された画像を見る使用者の視線の方向を
検出し、視線処理部２（検出手段）に出力するようにな
されている。視線処理部２は、この視線の方向から、画
面上の視線位置（注目点）を算出し、この位置データを
ＣＰＵ３に出力するようになされている。

【００１９】ＣＰＵ３は、ＲＯＭ６に記憶されているプ
ログラムに従って各種処理を行うようになされている。
ＲＡＭ７は、ＣＰＵ３が各種処理をする上において必要
なデータ、プログラムなどを適宜記憶するようになされ
ている。プログラムの処理において、図やテキストなど
を表示する場合、ＣＰＵ３は、それらの画像データをＶ
ＲＡＭ５に書き込むようになされている。

【００２０】そして、ＣＰＵ３は、視線処理部２が供給
する位置データから、所定の時間の固視を確認した場
合、ＯＳＤ（ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）回
路４に対して、その視線位置へ視線ポインタ（カーソ
ル）を移動するように指示する。また、使用者が入力部
８のトラックボール３１を操作して、画面上の視線ポイ
ンタを移動させようとする場合も、ＣＰＵ３は、ＯＳＤ
回路４に、視線ポインタを移動するように指示する。ま
た、ＣＰＵ３は、所定の時間、トラックボール３１が操
作されない場合、ＯＳＤ回路４に対して、視線ポインタ
の画像データを消去するように指示する。

【００２１】ＯＳＤ回路４は、ＣＰＵ３の指示に従っ
て、視線ポインタの画像データを作成し、作成した画像
データをＶＲＡＭ５に出力する。ＶＲＡＭ５は、この画
像データをオリジナルの画像データに重ね合わせ、その
重ね合わせた画像をＬＣＤ２１に出力する。そして、Ｌ
ＣＤ２１は、オリジナルの画像に重ねて、視線ポインタ
を表示する。

【００２２】なお、使用者が立体画像を認識できるよう
に、ＯＳＤ回路４、ＶＲＡＭ５、ＬＣＤ２、および視線
検出器２２は、それぞれ左眼用（Ｌ）画像のためのもの
（４Ｌ，５Ｌ，２１Ｌ）と、右眼用（Ｒ）画像のための
もの（４Ｒ，５Ｒ，２１Ｒ）が設けられている。

【００２３】次に、上記実施例を実際に動作させる前に
行う視線の校正操作について、図２のフローチャートを
参照して説明する。

【００２４】最初に、ステップＳ１において、使用者
が、トラックボール３１を、例えば３秒間以上連続にク
リックすると、ＣＰＵ３は、視線位置の検出を開始する
ように、視線処理部２に対して指示する。そして、ＯＳ
Ｄ回路４Ｌ，４Ｒを制御し、左眼用と右眼用の画像デー
タを発生させ、ＶＲＡＭ５Ｌ，５Ｒに書き込ませる。こ
の画像データは、それぞれＬＣＤ２１Ｌ，２１Ｒに出力
される。これにより、使用者には、図３に表示画像２１
Ａとして示すように、校正用の視標４１が、立体画像と
して認識される。

【００２５】次に、ステップＳ２において、使用者は、
これらの視標４１のうちの１つを固視する（連続的に注
目する）。さらに、ステップＳ３において、使用者はト
ラックボール３１を、ステップＳ４で２秒間が経過した
と判定されるまで連続的にクリックする。この間、使用
者の視線の方向は、左右独立に、視線検出器２２Ｌ，２
２Ｒで検出され、視線処理部２に出力される。そして、
視線処理部２は、これら視線の方向から、画面上の視線
位置を、右眼、左眼それぞれについて算出して、ＣＰＵ
３に出力する。ＣＰＵ３は、２秒間の間の視線位置の平
均値を演算する。

【００２６】そして、固視が２秒以上継続された場合
は、ステップＳ５に進み、ＣＰＵ３は、固視における視
線位置（右眼と左眼について、２つの位置）と視標４１
の表示位置を比較し、両者の視差（補正量）を算出す
る。そして、この校正操作終了後は、視線処理部２は、
測定された視線位置を補正量で補正して、視線位置とし
て出力する。

【００２７】次に、ステップＳ６において、ＣＰＵ３
は、すべての視標４１が選択されたか否かを判断し、選
択されていない視標がある場合、その視標に対して、ス
テップＳ２乃至ステップＳ５の処理を行い、すべての視
標４１において補正量および視差を算出した後、校正を
終了する。

【００２８】次に、図４と図５のフローチャートおよび
図６を参照して、第１の実施例の動作を説明する。

【００２９】最初に、ステップＳ２１（操作手段）にお
いて、使用者がトラックボール３１をクリックすると、
ＣＰＵ３は、視線位置の検出を開始するように、視線処
理部２に対して指示する。そして、ステップＳ２２にお
いて、視線処理部２は、視線検出器２２が出力する視線
の方向から、視線位置６４を算出し、この位置データを
ＣＰＵ３に出力する。

【００３０】ここで、ステップＳ２２の視線位置検出の
動作を、図５のフローチャートで詳しく説明する。

【００３１】最初に、ステップＳ４１において、視線処
理部２は、視線検出器２２が検出した視線の方向の信号
を平滑し、眼球運動の揺ぎによる細かい視線の動きを取
り除く。

【００３２】使用者の実際の視線は、注視点６１（使用
者が注視していると感じる位置）を中心にして、半径約
２度の視角で描かれる円（周辺視野６３）の中で揺らい
でいるため、その平均値を注視点６１とする。そして、
この注視点６１に補正量を加算した位置が視線位置６４
とされる。注視点６１と視線位置６４は、ずれている
が、このずれは、上述した校正操作で求めた補正量で補
正する。

【００３３】そして、ステップＳ４２において、視線処
理部２は、視線位置６４を左右独立に算出し、この位置
をＣＰＵ３に出力して、視線位置検出の処理を終了す
る。

【００３４】図４に戻って、ＣＰＵ３は、ステップＳ２
３（表示位置制御手段）において、ＯＳＤ回路４に対し
て、視線位置６４に視線ポインタ６２を表示するように
指示し、ＯＳＤ回路４は、ＣＰＵ３の指示に従って視線
ポインタ６２の画像データを作成し、ＶＲＡＭ５に出力
する。ＶＲＡＭ５は、視線ポインタ６２の画像データと
オリジナルの画像データを重ね合わせてＬＣＤ２１に出
力し、ＬＣＤ２１は、この視線ポインタ６２が重ねられ
た画像を表示する。

【００３５】次に、ステップＳ２４において、ＣＰＵ３
は、トラックボール３１が回転されたか否かを判断し、
トラックボール３１が回転された場合、ステップＳ２７
に進む。ＣＰＵ３は、ステップＳ２７において、ＯＳＤ
回路４に対して、トラックボール３１の回転に応じて視
線ポインタ６２を移動するように指示する。ＯＳＤ回路
４が、ＶＲＡＭ５に記憶されている視線ポインタ６２の
画像データを更新した後、ステップＳ２４に戻る。

【００３６】ステップＳ２４においてトラックボール３
１が回転されていないと判断された場合は、ステップＳ
２５に進み、ＣＰＵ３は、トラックボール３１において
クリック操作（押圧操作）が行われたか否かを判断す
る。

【００３７】クリック操作が行われた場合、ＣＰＵ３
は、ステップＳ２８で対応する処理を行った後、ステッ
プＳ２４に戻る。クリック操作が行われていない場合、
ステップＳ２６に進み、ＣＰＵ３は、トラックボール３
１における回転操作およびクリック操作が５秒以内に行
われたか否かを判断し、５秒以内に回転操作もしくはク
リック操作が行われている場合は、ステップＳ２９に進
む。

【００３８】ステップＳ２９において、ＣＰＵ３は固視
が２秒以上継続しているか否か判断し、固視が２秒以上
継続していない場合、ステップＳ２４に戻り、固視が２
秒以上継続している場合、ステップＳ３０に進む。

【００３９】ステップＳ３０において、ＣＰＵ３は、ト
ラックボール３１においてクリック操作が行われたか否
かを判断し、クリック操作が行われていない場合は、ス
テップＳ２４に戻る。クリック操作が行われている場
合、ＣＰＵ３は、ステップＳ３１（移動手段）におい
て、ＯＳＤ回路４に対して、視線ポインタ６２を視線位
置６４に移動するように指示し、ＯＳＤ回路４がＶＲＡ
Ｍ５に記憶されている視線ポインタ６２の画像データを
更新して、視線ポインタ６２が固視位置に移動した後、
ステップＳ２４に戻る。

【００４０】ステップＳ２６において、トラックボール
３１における回転操作およびクリック操作が５秒以内に
行われていない場合は、ステップＳ３２（消去手段）に
進み、ＣＰＵ３は、ＯＳＤ回路４に、視線ポインタ６２
を消去するように指示する。ＯＳＤ回路４が、ＶＲＡＭ
５に記憶されている視線ポインタ６２の画像データを消
去した後、視線ポインタ操作の処理を終了する。

【００４１】ヘッドマウントディスプレイは、通常の据
置型のディスプレイに較べると、はるかに大きい画面を
表示することができ、その一方の端部から他方の端部ま
で視線ポインタ６２を移動させるのに、トラックボール
３１を操作させるようにすると、その操作は大変面倒な
ものとなる。しかしながら、この実施例のように、所定
の時間以上の固視位置に移動させるようにすると、迅速
かつ確実な移動が可能となる。

【００４２】クリック操作をしたとき、その時点におけ
る視点位置に視線ポインタを直ちに移動させるようにす
ることも可能であるが、そのようにすると、誤ってクリ
ック操作がされると直ちに移動が行われてしまい、却っ
て操作性が悪化する。そこで、上記実施例のように、一
定時間以上の固視が行われた場合のみ、移動を可能にす
るのが好ましい。

【００４３】また、ヘッドマウントディスプレイにおい
ては、画像が使用者の視野に常に供給された状態となっ
ており、ヘッドマウントディスプレイを頭部から取り外
さない限り、使用者は画像から視線を外すことができな
い。この状態で、視線位置の近傍に視線ポインタ６２を
常に表示するようにしておくと、目障りとなるばかりで
なく、オリジナルの画像が見難くなる。そこで、一定時
間が経過したとき、消去するのが好ましい。

【００４４】次に、本発明の画像表示装置の第２の実施
例について説明する。第２の実施例の構成は、第１の実
施例の構成と同じであるため、構成の説明は省略し、図
７のフローチャートを参照して、動作の説明をする。

【００４５】最初に、ステップＳ５１において、使用者
がトラックボール３１をクリックすると、ＣＰＵ３は、
視線位置の検出を開始するように、視線処理部２に対し
て指示する。そして、ステップＳ５２において、第１の
実施例の動作のステップＳ２２と同様に、視線位置検出
処理（図５）が行われる。

【００４６】続いて、ステップＳ５３において、ＣＰＵ
３は、固視時間が２秒以上になるまで待機する。２秒以
上の固視が確認された場合、ステップＳ５４に進む。

【００４７】ステップＳ５４において、ＣＰＵ３はトラ
ックボール３１が操作されたか否かを判断し、トラック
ボール３１が操作されていない場合、ステップＳ５３に
戻り、再び固視時間が２秒以上になるまで待つ。トラッ
クボール３１が操作された場合、ステップＳ５５に進
み、ＣＰＵ３は、ＯＳＤ回路４に対して、視線位置６４
に視線ポインタ６２を表示するように指示する。

【００４８】そして、ＯＳＤ回路４は、ＣＰＵ３の指示
に従って、視線ポインタ６２の画像データを作成し、Ｖ
ＲＡＭ５に出力する。ＶＲＡＭ５は、オリジナルの画像
データに視線ポインタ６２の画像データを重ねて、ＬＣ
Ｄ２１に出力し、ＬＣＤ２１は、この画像を表示する。

【００４９】次に、ステップＳ５６において、ＣＰＵ３
は、トラックボールポインタモードを設定し、使用者
が、トラックボール３１を操作して、視線ポインタ６２
を移動できるようにする。

【００５０】次に、ステップＳ５７において、ＣＰＵ３
はトラックボール３１が操作されたか否かを判断し、ト
ラックボール３１が操作された場合、ＣＰＵ３は、ステ
ップＳ５９において、対応する処理を行った後、ステッ
プＳ５７に戻る。

【００５１】トラックボール３１が操作されていない場
合、ＣＰＵ３は、ステップＳ５８において、トラックボ
ール３１が操作されていない期間が５秒以上か否か判断
し、この期間が５秒に満たない場合、ステップＳ５７に
戻る。

【００５２】５秒以上トラックボール３１の操作が行わ
れていない場合、ＣＰＵ３は、ステップＳ６０に進み、
ＯＳＤ回路４に対して、視線ポインタ６２を消去するよ
うに指示する。ＯＳＤ回路４が、ＶＲＡＭ５に記憶され
ている視線ポインタ６２の画像データを消去した後、視
線ポインタ操作を終了する。

【００５３】このようにして、視線とトラックボールを
併用して、視線ポインタ６２を操作することができ、ま
た、一定の時間、トラックボールの操作がない場合、視
線ポインタを消去することができる。

【００５４】なお、上記実施例においては、入力部８に
おいてトラックボール３１を使用しているが、トラック
ボール３１の代わりに、マウスなどの指示装置を用いる
こともできる。

【００５５】以上の実施例においては、固視が２秒間継
続すると、視線ポインタが表示されるようにしたが、使
用者がこの時間を任意の値に設定することができるよう
にすることもできる。

【００５６】また、以上の実施例においては、トラック
ボール３１が、５秒以上操作されない場合、視線ポイン
タ６２を消去するようにしたが、使用者がこの時間も任
意の値に設定することができるようにすることもでき
る。

【００５７】

【発明の効果】以上のように、請求項１に記載の画像表
示装置および請求項３に記載の画像表示方法によれば、
使用者が所定の時間以上、固視したとき、ポインタを移
動するようにしたので、迅速かつ確実に、所望の位置に
ポインタを移動することができる。

【００５８】また、請求項２に記載の画像表示装置およ
び請求項４に記載の画像表示方法によれば、所定の時
間、ポインタが移動されない場合、ポインタを消去する
ようにしたので、目障りな状態を抑制することができ、
オリジナルの画像を見やすくすることができる。

【図面の簡単な説明】

【図１】本発明の画像表示装置の第１の実施例の構成例
を示すブロック図である。

【図２】図１の実施例において、校正の処理を説明する
フローチャートである。

【図３】図１の実施例において、校正の処理で表示され
る画像を示す図である。

【図４】図１の実施例の動作を説明するフローチャート
である。

【図５】図４のステップＳ２２における視線位置検出処
理の詳細を説明するフローチャートである。

【図６】図１の実施例において表示される視線ポインタ
６２の例を示す図である。

【図７】本発明の画像表示装置の第２の実施例の動作を
説明するフローチャートである。

【符号の説明】

１ヘッドマウントディスプレイ（ＨＭＤ）２視線処理部３ＣＰＵ４ＯＳＤ回路５ＶＲＡＭ６ＲＯＭ７ＲＡＭ８入力部２１，２１Ｌ，２１Ｒ液晶ディスプレイ（ＬＣＤ）
（表示手段）２１Ａ表示画像２２，２２Ｌ，２２Ｒ視線検出器（検出手段）３１トラックボール４１視標６１注視点６２視線ポインタ６３周辺視野６４視線位置

Claims

【特許請求の範囲】

【請求項１】画像とポインタを表示する表示手段と、前記表示手段における使用者の視線位置を検出する検出
手段と、前記ポインタを発生、表示するとき操作される操作手段
と、前記使用者が前記表示手段を所定の時間以上固視したと
き、その位置に、前記ポインタを移動、表示させる移動
手段とを備えることを特徴とする画像表示装置。
【請求項２】画像とポインタを表示する表示手段と、前記表示手段における使用者の視線位置を検出する検出
手段と、前記検出手段の検出した位置に、前記ポインタを表示さ
せる表示位置制御手段と、前記ポインタを移動させるとき操作される操作手段と、前記ポインタが所定の時間、移動されない場合、前記ポ
インタを消去する消去手段とを備えることを特徴とする
画像表示装置。
【請求項３】画像を表示し、前記画像における使用者の視線位置を検出し、前記視線位置にポインタを発生、表示し、前記使用者が所定の時間以上固視したとき、その位置
に、前記ポインタを移動、表示することを特徴とする画
像表示方法。
【請求項４】画像を表示し、前記画像における使用者の視線位置を検出し、前記視線位置に、ポインタを発生、表示し、前記使用者が所定の操作をしたとき前記ポインタを移動
させ、前記ポインタが所定の時間、移動されない場合、前記ポ
インタを消去することを特徴とする画像表示方法。