JP6260255B2 - 表示制御装置およびプログラム - Google Patents

表示制御装置およびプログラム Download PDF

Info

Publication number
JP6260255B2
JP6260255B2 JP2013261422A JP2013261422A JP6260255B2 JP 6260255 B2 JP6260255 B2 JP 6260255B2 JP 2013261422 A JP2013261422 A JP 2013261422A JP 2013261422 A JP2013261422 A JP 2013261422A JP 6260255 B2 JP6260255 B2 JP 6260255B2
Authority
JP
Japan
Prior art keywords
line
sight
cursor
display
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013261422A
Other languages
English (en)
Other versions
JP2015118531A (ja
Inventor
佳行 津田
佳行 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013261422A priority Critical patent/JP6260255B2/ja
Priority to US15/104,943 priority patent/US10078416B2/en
Priority to PCT/JP2014/006058 priority patent/WO2015092995A1/ja
Publication of JP2015118531A publication Critical patent/JP2015118531A/ja
Application granted granted Critical
Publication of JP6260255B2 publication Critical patent/JP6260255B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、ディスプレイに対して表示制御を行う表示制御装置およびプログラムに関する。
従来、ユーザの視線方向を検出する視線検出装置からの出力信号に基づいて、ディスプレイ画面上の位置を示す視線検出座標を求めるとともに、マウス等の操作デバイスより受け取った手動によるユーザの入力操作に関する情報を基に手入力補正値を計算し、視線検出座標に手入力補正値を加算した座標を入力座標として算出する座標算出方法が知られている(例えば、特許文献1参照)。
特開2000−89905号公報
しかしながら、従来の座標算出方法では、ポインタ等のカーソルをディスプレイ画面上に表示させる表示制御装置に適用する場合、例えばユーザがディスプレイ画面上に表示されているコンテンツを見るだけのために視線を動かしたとしても、その視線方向を基に算出された入力座標にカーソルが表示されるため、ユーザがコンテンツを見づらくなる懸念があった。
本発明は、こうした事情等に鑑みてなされたものであり、ユーザの視線方向および手動操作のそれぞれの検出結果に基づいてディスプレイ画面上にカーソルを表示する表示制御装置において、ユーザの使い勝手をより向上させる技術の提供を目的とする。
本発明は、ディスプレイ画面上にカーソルを表示させる表示制御装置であって、視線検出手段と、手動検出手段と、表示制御手段と、を備えて構成される。なお、視線検出手段は、ディスプレイ画面に対するユーザの視線方向を検出する。手動検出手段は、ユーザの手動操作を検出する。表示制御手段は、視線検出手段の検出結果に基づいてディスプレイ画面上にカーソルを表示させる視線カーソル表示処理、および手動検出手段の検出結果に基づいてディスプレイ画面上にカーソルを表示させる手動カーソル表示処理を実施する。
ここで、本発明の表示制御装置において、表示制御手段は、手動検出手段にて手動操作が未検出の場合には、視線検出手段により視線方向が検出された場合であっても、視線カーソル表示処理の実施を停止する視線停止手段を有することを特徴とする。
このように構成された表示制御装置では、ディスプレイ画面に対してユーザが視線方向を移動させた場合であっても、マウス等の操作デバイスによる操作がなされていないときには、その視線方向に基づく位置へカーソルが移動しないことになる。
このため、例えばユーザがディスプレイ画面上に表示されているコンテンツを見るために視線だけを動かしたとしても、そのコンテンツ上にカーソルが表示されることがないため、コンテンツの視認性を損なわずに済ませることができる。
また、例えばカーソルを移動させたい場合に操作デバイスを用いるというユーザにとって自然な行為がなされることにより、視線カーソル表示処理の実施が許可され得るため、ユーザに特別な操作を課することなく、ディスプレイ画面上においてカーソルを移動させることが可能となる。
したがって、本発明によれば、ユーザの視線方向および手動操作のそれぞれの検出結果に基づいてディスプレイ画面上にカーソルを表示する表示制御装置において、ユーザの使い勝手をより向上させることができる。
また、本発明は、プログラムとして市場に流通させることができる。具体的には、コンピュータを、上記の視線検出手段、手動検出手段および表示制御手段として機能させるためのプログラムである。
このプログラムは、1ないし複数のコンピュータに組み込まれることにより、本発明の表示制御装置によって奏する効果と同等の効果を得ることができる。なお、本発明のプログラムは、コンピュータに組み込まれるROMやフラッシュメモリ等に記憶され、これらROMやフラッシュメモリ等からコンピュータにロードされて用いられてもよいし、ネットワークを介してコンピュータにロードされて用いられてもよい。
また、上記のプログラムは、コンピュータにて読み取り可能なあらゆる形態の記録媒体に記録されて用いられてもよい。この記録媒体としては、持ち運び可能な半導体メモリ(例えば、USBメモリ)等が含まれる。
表示制御装置およびその周辺装置の構成を例示するブロック図である。 表示制御部が実行する処理の内容を示すフローチャートである。 (a)〜(c)は、視線カーソル表示処理によってディスプレイ画面上に表示されるカーソル位置と、ディスプレイ画面に対するユーザの視線位置(注視位置)と、の相関における各種態様を例示する図である。
以下に、本発明の実施形態としての表示制御装置1について図面と共に説明する。
なお、本発明は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
<全体構成>
表示制御装置1は、CPU,ROM,RAM等を有する周知の1ないし複数のコンピュータによって構成され、CPUがROMや外部メモリ(例えば記憶装置5等)に記憶されたプログラムに基づいて、RAMを作業エリアとして用い、各種処理を実行するものである。
図1に示すように、表示制御装置1は、その機能的な構成として、視線検出部10と、手動検出部20と、表示制御部30と、を備えている。また、表示制御装置1には、その周辺装置としての操作デバイス2、カメラ3、ディスプレイ4および記憶装置5がそれぞれ接続されている。
カメラ3は、CCDやCMOS等の撮像素子を有するものであり、表示制御装置1およびその周辺装置のユーザを前方から撮影する位置(例えばディスプレイ4の周囲)に配置されており、ユーザの顔面を正面から撮影可能となっている。
視線検出部10は、カメラインターフェース(非図示)を介して入力されたカメラ3によるユーザの撮影画像を解析することにより、ディスプレイ4の画面に向けられたユーザの顔向きおよび視線方向を検出する。なお、顔向き検出の手法としては、例えば、「S.Bakerら“Lucas-Kanade 20 years on: A unifying framework:Part 4” Technical Report CMU-RI-TR-04-14, Robotics Institute, Carnegie MellonUniversity, February, 2004.」に開示されている手法を利用することができる。また、視線方向検出の手法としては、例えば、「T.Ishikawaら“Passive Driver Gaze Tracking With Active Appearance Model” Technical Report CMU-RI-TR-04-08, Robotics Institute, Carnegie MellonUniversity, January, 2004.」に開示されている手法を利用することができる。
ディスプレイ4は、液晶ディスプレイや有機ELディスプレイ等にて構成されており、表示制御装置1(表示制御部30)からの出力データに基づき、各種コンテンツやカーソルを表示するものである。
ディスプレイ4に各種コンテンツが表示される画面としては、例えば、インターネットブラウザの実行によりWEBページが表示される画面(以下「WEBページ画面」という)や、オペレーションシステム(OS)の実行によりデスクトップ画像が表示される画面(以下「デスクトップ画面」という)、各種のアプリケーションにて予め用意された画像が表示される画面(以下「アプリケーション画面」という)などがある。以下では、これらの画面をディスプレイ画面と総称する。
また、カーソルとしては、例えば、マウスポインタや、文字の間に表示される縦線あるいはキャレット、選択対象物を囲うものや、選択対象物を強調表示するもの等がある。なお、選択対象物には、例えば、WEBページ画面におけるリンク先や、デスクトップ画面におけるファイルやフォルダ、アプリケーション画面におけるコマンド等を指定する画像などが含まれる。
記憶装置5は、ハードディスクドライブ等にて構成されており、OSやブラウザ、アプリケーション等を含むソフトウェアプログラムや、視線検出部10により検出される視線方向とディスプレイ画面上のユーザの視線位置を示す視線検出座標との対応関係を示す視線座標換算テーブル等が記憶されている。
また、記憶装置5には、表示制御部30により設定された基点位置(後述する)に関する情報や、視線入力のオン/オフに関するユーザ設定、視線入力によるカーソルの表示位置を規定するモード設定などの各情報を格納する領域がそれぞれ設けられている。
操作デバイス2は、マウスやトラックパッド等にて構成されている。
手動検出部20は、操作デバイス2に電気的に接続されており、ユーザの手動による操作デバイス2の操作方向および操作量を検出するように構成されている。
表示制御部30は、記憶装置5に記憶されているソフトウェアプログラムに基づいて、各種ディスプレイ画面を表示したり、視線検出部10および手動検出部20(ひいてはカメラ3および操作デバイス2)からの入力に基づいて、表示中のディスプレイ画面上のカーソルの表示位置を変更したりする。また、表示制御部30は、公知の視線方向検出のキャリブレーション(例えば、特開2009−183473号公報参照)を実行することにより、視線座標換算テーブルを生成する処理を行うようになっている。
<カーソル表示制御処理>
次に、表示制御部30が実行する処理のうち、ディスプレイ画面上のカーソルの表示位置を変更するカーソル表示制御処理を、図2に沿って説明する。なお、カーソル表示制御処理は、ユーザ設定により視線入力がオンに設定される、あるいは視線入力がオンに設定された状態で表示制御装置1の電源がオンにされると、開始される。
カーソル表示制御処理が開始されると、まず、表示制御部30は、S110において、視線検出部10から入力される視線方向の検出結果に関する情報(以下「視線検出情報」という)に基づいて、ユーザの視線方向に応じたディスプレイ画面上の位置を視線位置として算出する視線位置算出処理を開始する。具体的には、視線検出部10により検出された視線方向に対応する視線検出座標を、記憶装置5に記憶されている視線座標換算テーブルから読み出すことにより、ユーザの視線位置を求める。視線検出部10から表示制御部30には、視線検出情報が随時入力されるようになっており、表示制御部30にて算出された視線位置は、時系列順にRAMへ記憶される。
次に、S120では、表示制御部30が、S110において算出されたユーザの視線位置を算出できたか否かを判断し、ユーザの視線位置を算出できたと判断した場合、すなわち視線検出部10にて視線方向が検出された場合にはS130に移行し、ユーザの視線位置を算出できなかったと判断した場合、すなわち視線検出部10にて視線方向が未検出の場合には、S200に移行する。
S130では、表示制御部30が、S120において算出できたと判断したユーザの視線位置が、所定時間のあいだ同一方向に向けられた位置、すなわちユーザの注視位置であるか否かを判断し、ユーザの視線位置が注視位置であると判断した場合には、S140に移行し、ユーザの視線位置が注視位置でないと判断した場合には、S200に移行する。具体的には、S110においてRAMに記憶された視線位置に関する情報に基づいて、視線位置の移動が所定回数連続して所定範囲を超えて行われていないと判断した場合に、その視線位置を注視位置として設定する。
S140では、表示制御部30が、S130において設定された注視位置に基づいて、ディスプレイ画面上にカーソルを始めに表示させる位置(以下「基点位置」という)を算出する基点位置算出処理を行う。具体的には、基点位置算出処理では、記憶装置5に記憶されているモード設定に関する情報に応じて異なる方法により基点位置が算出される。
例えば、基点位置算出処理では、ユーザにより設定されたモードに応じて、S130における注視位置を基点位置として算出したり(図3(a)参照)、ディスプレイ画面上において分割(本実施形態では面積が等分)された複数のエリアのうち、S130において設定された注視位置を含むエリアにおいて予め設定された代表位置を基点位置として算出したりする(図3(b)参照)。なお、代表位置は、エリア内の中心位置のように予め固定されていてもよいし、ディスプレイ画面上に表示されているコンテンツに応じて変更されてもよい。
また例えば、基点位置算出処理では、ユーザにより設定されたモードに応じて、ディスプレイ画面において、S130において設定された注視位置から最も近い選択対象物の位置を基点位置として算出したり、S130において設定された注視位置に近い無地の領域内の位置を基点位置として算出したりする(図3(c)参照)。なお、これら選択対象物や無地の領域内の位置は上記の代表位置として算出されてもよい。ディスプレイ画面における無地の領域とは、例えば空白などの単色の領域であり、文字や絵、写真などを含まない領域である。
続いて、表示制御部30は、S150において、手動検出部20から操作デバイス2の検出結果に関する情報(以下「手動検出情報」という)が入力されたか否かを判断し、手動検出情報が入力されたと判断した場合、すなわちユーザによる操作デバイス2の手動操作が行われた場合にはS160に移行し、手動検出情報が入力されていないと判断した場合、すなわち手動操作がなされていない場合にはS200に移行する。
S160では、表示制御部30が、現在ディスプレイ画面に表示されているカーソルの位置と、S130において設定された注視位置との距離(以下「カーソル移動距離」という)が、予め設定された閾値距離を上回るか否かを判断し、カーソル移動距離が閾値距離を上回ると判断した場合には、S170に移行し、カーソル移動距離が閾値距離以下であると判断した場合には、S190に移行する。
S170では、表示制御部30が、記憶装置5に記憶されている基点位置に関する情報を、S130において設定された注視位置によって更新する。
そして、S180では、表示制御部30が、ディスプレイ4に対し、S170において更新した視線検出座標にカーソルを表示させる視線カーソル表示処理を実施する。本実施形態の視線カーソル表示処理では、ディスプレイ画面に表示されていたカーソルを消去し、S170において更新した視線検出座標にカーソルを即座に表示させることとしている。
一方、S190では、表示制御部30が、S150において入力された手動検出情報に基づいて、ユーザの手動による操作デバイス2の操作方向および操作量に応じたディスプレイ画面上の位置に、カーソルを移動表示させる手動カーソル移動処理を実施する。本実施形態の手動カーソル移動処理では、視線カーソル表示処理と異なり、ディスプレイ画面に表示されていたカーソルがユーザの手動操作に応じた位置へ移動するようにカーソルを表示させることとしている。
続くS200では、表示制御部30が、記憶装置5に記憶されているユーザ設定に関する情報に基づいて、ユーザにより視線入力がオフに設定されたか否かを判断し、視線入力がオフに設定されたと判断した場合には、カーソル表示制御処理を終了し、視線入力の設定がオンのままであると判断した場合には、S110に戻る。
<効果>
以上説明したように、表示制御装置1では、カーソル表示制御処理において、視線検出部10によりディスプレイ画面に対するユーザの視線方向が検出された場合であっても(S120;YES)、手動検出部20により操作デバイス2の手動操作が検出されない場合には(S150;NO)、視線カーソル表示処理の実施を停止する。
このため、ディスプレイ画面に対してユーザが視線方向を移動させた場合であっても、マウス等の操作デバイス2による操作がなされていないときには、その視線方向に基づく位置へカーソルが移動しないことになる。
よって、例えばユーザがディスプレイ画面上に表示されているコンテンツを見るために視線だけを動かしたとしても、そのコンテンツ上にカーソルが表示されることがないため、コンテンツの視認性を損なわずに済ませることができる。
また、例えばカーソルを移動させたい場合に操作デバイス2を用いるというユーザにとって自然な行為がなされることにより、視線カーソル表示処理の実施が許可され得るため、ユーザに特別な操作を課することなく、ディスプレイ画面上においてカーソルを移動させることが可能となる。
したがって、表示制御装置1によれば、ユーザの視線方向および手動操作のそれぞれの検出結果に基づいてディスプレイ画面上にカーソルを表示する構成において、ユーザの使い勝手をより向上させることができる。
また、表示制御装置1では、カーソル表示制御処理において、視線検出部10によりディスプレイ画面に対するユーザの視線方向が検出されない場合には(S120;NO)、手動検出部20により操作デバイス2の手動操作が検出された場合であっても(S150;YES)、手動カーソル表示処理の実施を停止する。
このため、操作デバイス2による手動操作がなされた場合であっても、ディスプレイ画面にユーザが視線を向けていないときには、その手動操作に基づく位置へカーソルが移動しないことになる。
よって、例えば操作デバイスの誤動作によって手動操作が検出されたとしても、ユーザの意図しない方向へカーソルが勝手に移動してしまうことを防止できる。また、例えばカーソルを移動させたい場合にディスプレイ画面を見るというユーザにとって自然な行為がなされることにより、手動カーソル表示処理の実施が許可され得るため、ユーザに特別な操作を課することなく、ディスプレイ画面上においてカーソルを移動させることが可能となる。したがって、表示制御装置1によれば、ユーザの使い勝手をさらに向上させることができる。
また、表示制御装置1では、カーソル表示制御処理において、視線位置算出処理(S110)により算出した視線位置と、ディスプレイ画面上に現在表示されているカーソル位置との距離であるカーソル移動距離が、予め設定された閾値距離を上回る場合(S160;YES)、視線カーソル表示処理を実施し(S180)、カーソル移動距離が閾値距離以下である場合(S160;NO)、手動カーソル表示処理を実施する(S190)。
このため、ディスプレイ画面上において、例えばカーソルの表示位置を大きく移動させたい場合には、その移動させたい位置にユーザが視線を向けるだけで実現でき、また例えばカーソルの表示位置を微調整したい場合には、操作デバイス2を用いることにより実現することができる。これにより、ユーザの負担軽減と正確なカーソル移動との両立を図ることが可能となり、ユーザの使い勝手をさらに向上させることができる。
また例えば、ディスプレイ画面上において、カーソルの表示位置がわからない場合には、カーソルを表示させたい位置にユーザが視線を大きく移動させるだけで、その視線方向に基づく位置にカーソルが表示されるため、操作デバイス2の手動操作によりカーソルを探さなくて済むようにできる。さらに言えば、ディスプレイ画面上に表示されているコンテンツを見るためにユーザが視線を小さく移動させても、カーソルが視線方向に追従して移動表示されないので、コンテンツの視認性を損なわずに済ませることができる。
また、表示制御装置1では、カーソル表示制御処理において、視線位置算出処理(S110)により算出した視線位置(詳細には、S130における注視位置)に基づく基点位置を、記憶装置5に記憶されているモード設定に関する情報に応じて選択する基点位置算出処理(S140)を行う。そして、視線カーソル表示処理(S180)では、この基点位置算出処理により設定された基点位置にカーソルを表示させる。
このため、例えば、視線カーソル表示処理(S180)では、ディスプレイ画面上におけるカーソルの表示位置を、S130における注視位置としたり、この注視位置を含むエリアにおいて予め設定された代表位置としたりすることが可能となる。
前者の場合、ユーザの視線方向によって指示されたとおりの位置にカーソルを表示することができ、後者の場合、ユーザの視線位置に対して少しだけずれた位置にカーソルを表示し得るため、例えばユーザがディスプレイ画面上に表示されているコンテンツを見ているときに、その視認行為に対してカーソルの表示が邪魔にならずに済ませることができる。
また例えば、視線カーソル表示処理(S180)では、ディスプレイ画面上におけるカーソルの表示位置を、S130における注視位置から最も近い選択対象物の位置としたり、この注視位置から近い無地の領域内の位置としたりすることが可能となる。
前者の場合、ディスプレイ画面上の選択対象物をユーザが選択しやすくなるため、ユーザの利便性をより向上させることができ、後者の場合、ディスプレイ画面上に表示されているコンテンツ上にカーソルが表示されないため、ユーザの視認性を確実に向上させることができる。
<他の実施形態>
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
例えば、上記実施形態のカーソル表示制御処理では、視線検出部10によりディスプレイ画面に対するユーザの視線方向が検出されない場合には(S120;NO)、手動検出部20により操作デバイス2の手動操作が検出された場合であっても(S150;YES)、手動カーソル表示処理の実施を停止しているが、これはユーザ設定により視線入力がオンにされている場合に限らず、オフにされている場合であっても適用することができる。
また、上記実施形態の表示制御装置1では、視線検出部10が、カメラ3によるユーザの撮影画像に基づいて視線方向を検出しているが、これに限定されるものではなく、例えば、ユーザの目の周囲に取り付けられた複数の電極の電位差に基づいて視線方向を検出してもよいし、コンタクトレンズのように眼に装着された移動体からの位置信号に基づいて視線方向を検出してもよい。
さらに、上記実施形態の表示制御装置1では、視線位置算出処理(S110)により算出した視線位置と、ディスプレイ画面上に現在表示されているカーソル位置との距離が、閾値距離を上回る場合(S160;YES)に、視線カーソル表示処理を実施しているが、これに限定されるものではなく、例えば、視線位置算出処理(S110)により算出した視線位置と、S110において前回RAMに記憶した視線位置との距離が、閾値距離を上回る場合に、視線カーソル表示処理を実施するようにしてもよい。こうすることで、ディスプレイ画面上に表示されているコンテンツを見るためにユーザが視線を徐々に移動させても、カーソルが視線方向に追従して移動表示されないので、文章等の視認性を損なわずに済ませることができる。
1…表示制御装置、2…操作デバイス、3…カメラ、4…ディスプレイ、5…記憶装置、10…視線検出部、20…手動検出部、30…表示制御部。

Claims (8)

  1. ディスプレイ画面上にカーソルを表示させる表示制御装置(1)であって、
    前記ディスプレイ画面に対するユーザの視線方向を検出する視線検出手段(10)と、
    前記ユーザの手動操作を検出する手動検出手段(20)と、
    前記視線検出手段の検出結果に基づいて前記ディスプレイ画面上にカーソルを表示させる視線カーソル表示処理(S180)、および前記手動検出手段の検出結果に基づいて前記ディスプレイ画面上にカーソルを表示させる手動カーソル表示処理(S190)を実施する表示制御手段(30)と、
    を備え、
    前記表示制御手段は、
    前記手動検出手段にて前記手動操作が未検出の場合には、前記視線検出手段により前記視線方向が検出された場合であっても、前記視線カーソル表示処理の実施を停止する視線停止手段(S150)と、
    前記視線検出手段にて前記視線方向が未検出の場合には、前記手動検出手段により前記手動操作が検出された場合であっても、前記手動カーソル表示処理の実施を停止する手動停止手段(S120)と、
    を有することを特徴とする表示制御装置。
  2. 前記表示制御手段は、前記視線検出手段により検出された前記視線方向に応じた前記ディスプレイ画面上の位置を視線位置として算出する視線位置算出手段(S110)を有し、前記視線位置算出手段により算出された前記視線位置と、前記ディスプレイ画面上に現在表示されているカーソル位置との距離であるカーソル移動距離が、予め設定された閾値距離を上回る場合、前記視線カーソル表示処理を実施し、前記カーソル移動距離が前記閾値距離以下である場合、前記手動カーソル表示処理を実施することを特徴とする請求項1に記載の表示制御装置。
  3. ディスプレイ画面上にカーソルを表示させる表示制御装置(1)であって、
    前記ディスプレイ画面に対するユーザの視線方向を検出する視線検出手段(10)と、
    前記ユーザの手動操作を検出する手動検出手段(20)と、
    前記視線検出手段の検出結果に基づいて前記ディスプレイ画面上にカーソルを表示させる視線カーソル表示処理(S180)、および前記手動検出手段の検出結果に基づいて前記ディスプレイ画面上にカーソルを表示させる手動カーソル表示処理(S190)を実施する表示制御手段(30)と、
    を備え、
    前記表示制御手段は、
    前記手動検出手段にて前記手動操作が未検出の場合には、前記視線検出手段により前記視線方向が検出された場合であっても、前記視線カーソル表示処理の実施を停止する視線停止手段(S150)と、
    前記視線検出手段により検出された前記視線方向に応じた前記ディスプレイ画面上の位置を視線位置として算出する視線位置算出手段(S110)と、
    を有し、
    前記視線位置算出手段により算出された前記視線位置と、前記ディスプレイ画面上に現在表示されているカーソル位置との距離であるカーソル移動距離が、予め設定された閾値距離を上回る場合、前記視線カーソル表示処理を実施し、前記カーソル移動距離が前記閾値距離以下である場合、前記手動カーソル表示処理を実施することを特徴とする表示制御装置。
  4. 前記表示制御手段は、前記視線検出手段により検出された前記視線方向に応じた前記ディスプレイ画面上の位置を視線位置として算出する視線位置算出手段(S110)を有し、
    前記視線カーソル表示処理では、前記視線位置算出手段により算出された前記視線位置に前記カーソルを表示させることを特徴とする請求項1ないし請求項3のいずれか1項に記載の表示制御装置。
  5. 前記表示制御手段は、前記視線検出手段により検出された前記視線方向に応じた前記ディスプレイ画面上の位置を視線位置として算出する視線位置算出手段(S110)を有し、
    前記視線カーソル表示処理では、前記視線位置算出手段により算出された前記視線位置を含むエリアにおいて予め設定された代表位置に前記カーソルを表示させることを特徴とする請求項1ないし請求項3のいずれか1項に記載の表示制御装置。
  6. 前記表示制御手段は、前記視線検出手段により検出された前記視線方向に応じた前記ディスプレイ画面上の位置を視線位置として算出する視線位置算出手段(S110)を有し、
    前記視線カーソル表示処理では、前記視線位置算出手段により算出された前記視線位置から最も近い選択対象物の位置に前記カーソルを表示させることを特徴とする請求項1ないし請求項3のいずれか1項または請求項5に記載の表示制御装置。
  7. 前記表示制御手段は、前記視線検出手段により検出された前記視線方向に応じた前記ディスプレイ画面上の位置を視線位置として算出する視線位置算出手段(S110)を有し、
    前記視線カーソル表示処理では、前記視線位置算出手段により算出された前記視線位置から近い無地の領域内の位置に前記カーソルを表示させることを特徴とする請求項1ないし請求項3のいずれか1項または請求項5に記載の表示制御装置。
  8. コンピュータを、請求項1ないし請求項のいずれか1項に記載の前記視線検出手段、前記手動検出手段および前記表示制御手段として機能させるためのプログラム。
JP2013261422A 2013-12-18 2013-12-18 表示制御装置およびプログラム Expired - Fee Related JP6260255B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013261422A JP6260255B2 (ja) 2013-12-18 2013-12-18 表示制御装置およびプログラム
US15/104,943 US10078416B2 (en) 2013-12-18 2014-12-04 Display control device, display control program and display-control-program product
PCT/JP2014/006058 WO2015092995A1 (ja) 2013-12-18 2014-12-04 表示制御装置、表示制御プログラム、及び表示制御プログラム製品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013261422A JP6260255B2 (ja) 2013-12-18 2013-12-18 表示制御装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2015118531A JP2015118531A (ja) 2015-06-25
JP6260255B2 true JP6260255B2 (ja) 2018-01-17

Family

ID=53402374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013261422A Expired - Fee Related JP6260255B2 (ja) 2013-12-18 2013-12-18 表示制御装置およびプログラム

Country Status (3)

Country Link
US (1) US10078416B2 (ja)
JP (1) JP6260255B2 (ja)
WO (1) WO2015092995A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10802620B2 (en) 2015-03-17 2020-10-13 Sony Corporation Information processing apparatus and information processing method
JP2017091327A (ja) * 2015-11-12 2017-05-25 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
JP2018010583A (ja) * 2016-07-15 2018-01-18 アイシン・エィ・ダブリュ株式会社 操作支援装置及びコンピュータプログラム
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
CN107390874A (zh) * 2017-07-27 2017-11-24 深圳市泰衡诺科技有限公司 一种基于人眼的智能终端控制方法及控制装置
JP1617939S (ja) 2017-10-17 2018-11-12
JP1617699S (ja) 2017-10-17 2018-11-12
USD852221S1 (en) * 2017-11-07 2019-06-25 Microsoft Corporation Display screen with animated graphical user interface
US10871874B2 (en) * 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
US11157152B2 (en) * 2018-11-05 2021-10-26 Sap Se Interaction mechanisms for pointer control
JP7024702B2 (ja) * 2018-12-27 2022-02-24 株式会社デンソー ジェスチャ検出装置、およびジェスチャ検出方法
JP7321786B2 (ja) * 2019-06-17 2023-08-07 キヤノン株式会社 電子機器およびその制御方法
JP7467071B2 (ja) * 2019-10-24 2024-04-15 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7383471B2 (ja) * 2019-12-20 2023-11-20 キヤノン株式会社 電子機器およびその制御方法
JP7346375B2 (ja) * 2020-10-22 2023-09-19 キヤノン株式会社 電子機器及びその制御方法及びプログラム及び記録媒体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241163A (ja) * 1995-03-01 1996-09-17 Canon Inc 情報処理装置
JPH09128138A (ja) * 1995-10-31 1997-05-16 Sony Corp 画像表示装置および方法
JPH11272416A (ja) * 1998-03-25 1999-10-08 Dainippon Printing Co Ltd 視線感知型入力装置
JP2000089905A (ja) 1998-09-14 2000-03-31 Sony Corp ポインティングデバイス
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP4168768B2 (ja) 2003-02-04 2008-10-22 株式会社日立製作所 画像描画表示システムおよび多地点画像描画表示システム
ES2535364T3 (es) * 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP5092776B2 (ja) 2008-02-06 2012-12-05 株式会社デンソー 視線方向検出装置及び視線方向検出方法
JP2009193423A (ja) * 2008-02-15 2009-08-27 Panasonic Corp 電子機器の入力装置
US20100182232A1 (en) * 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
WO2011038527A1 (zh) * 2009-09-29 2011-04-07 阿尔卡特朗讯 一种注视点检测方法及其装置
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5982956B2 (ja) * 2012-03-30 2016-08-31 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US8937591B2 (en) * 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
GB2504492A (en) * 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
US9864498B2 (en) * 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection

Also Published As

Publication number Publication date
US20160313891A1 (en) 2016-10-27
US10078416B2 (en) 2018-09-18
WO2015092995A1 (ja) 2015-06-25
JP2015118531A (ja) 2015-06-25

Similar Documents

Publication Publication Date Title
JP6260255B2 (ja) 表示制御装置およびプログラム
US10013793B2 (en) Focus guidance within a three-dimensional interface
KR20200005211A (ko) 카메라의 방향에 따라 프리뷰 이미지의 위치를 변경하기 위한 전자 장치 및 방법
US9865033B1 (en) Motion-based image views
US10409366B2 (en) Method and apparatus for controlling display of digital content using eye movement
US20150215532A1 (en) Panoramic image capture
JP4275151B2 (ja) ユーザが調整可能な閾値を用いる赤目補正方法及び装置
JP5839220B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017054201A5 (ja)
JP2016539434A (ja) 操作の決定
JP2015087824A (ja) 画面操作装置および画面操作方法
KR102326489B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
US20160334884A1 (en) Remote Sensitivity Adjustment in an Interactive Display System
US20120304063A1 (en) Systems and Methods for Improving Object Detection
US9582169B2 (en) Display device, display method, and program
EP3349095B1 (en) Method, device, and terminal for displaying panoramic visual content
US11740477B2 (en) Electronic device, method for controlling electronic device, and non-transitory computer readable storage medium
JPWO2013132886A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20160124608A1 (en) Haptic interface for population of a three-dimensional virtual environment
CN114747200A (zh) 点击锁定变焦相机用户界面
US9665249B1 (en) Approaches for controlling a computing device based on head movement
KR20160027732A (ko) 디스플레이 디바이스 및 그 제어 방법
CN109389082B (zh) 视线采集方法、装置、系统、计算机可读存储介质
JP2021068208A5 (ja)
TWI488070B (zh) 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R151 Written notification of patent or utility model registration

Ref document number: 6260255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees