JP5783957B2 - 表示装置、表示方法及びプログラム - Google Patents

表示装置、表示方法及びプログラム Download PDF

Info

Publication number
JP5783957B2
JP5783957B2 JP2012140818A JP2012140818A JP5783957B2 JP 5783957 B2 JP5783957 B2 JP 5783957B2 JP 2012140818 A JP2012140818 A JP 2012140818A JP 2012140818 A JP2012140818 A JP 2012140818A JP 5783957 B2 JP5783957 B2 JP 5783957B2
Authority
JP
Japan
Prior art keywords
image
scroll
line
speed
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012140818A
Other languages
English (en)
Other versions
JP2014006640A (ja
Inventor
誠二 白石
誠二 白石
晴彦 杉崎
晴彦 杉崎
山崎　仁史
仁史 山崎
鈴木　大輔
大輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2012140818A priority Critical patent/JP5783957B2/ja
Priority to CN201380003174.7A priority patent/CN103827800B/zh
Priority to EP13807807.6A priority patent/EP2866132B1/en
Priority to PCT/JP2013/065411 priority patent/WO2013190989A1/ja
Priority to US14/405,883 priority patent/US9411418B2/en
Publication of JP2014006640A publication Critical patent/JP2014006640A/ja
Application granted granted Critical
Publication of JP5783957B2 publication Critical patent/JP5783957B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、ユーザインターフェースに関する。
視線を用いて画面をスクロールさせる発明として、例えば特許文献１に開示されたシステムがある。このシステムは、カメラで得られた画像からユーザの視線方向を検出し、表示装置の画面上においてユーザが見ている位置を検出する。視線が画面の端にきた場合、画面の端にスクロール矢印を表示し、スクロール矢印が表示された後に視線が画面の外に移動した場合、画面をスクロールさせる。
特開２００２−９９３８６号公報
特許文献１のシステムにおいては、視線が移動して見ている画面の端の位置が変化した場合、画像のスクロールが一旦停止する。例えば、地図などの大きな画像サイズのコンテンツを表示している場合、目的の位置が近づくと、上下方向から左右方向又は左右方向から上下方向へ細かく画像をスクロールさせることにより、目的の位置を表示させるが、特許文献１のシステムのように見ている方向が変化する度にスクロールが停止すると、目的の位置までスクロールするのに時間がかかることとなる。
本発明は、上述した背景の下になされたものであり、視線を動かして画像をスクロールさせる場合、目的の位置を表示するまでに掛かる時間を短くする技術を提供することを目的とする。
本発明は、画像を表示する表示面を有する表示手段と、ユーザの視線を検出する視線検出手段と、前記表示面上において行われたユーザの操作を検出する操作検出手段と、前記視線検出手段で検出された視線に応じて前記画像のスクロール方向を決定する方向決定手段と、前記操作検出手段で検出された操作に応じて前記画像のスクロール速度を決定する速度決定手段と、前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御手段とを備える表示装置を提供する。
本発明においては、前記表示制御手段は、前記表示面の予め定められた領域内に前記視線が移動した後、当該移動前の方向に前記視線が移動した場合、前記領域内に視線が移動する前のスクロール速度より速いスクロール速度で前記画像のスクロールを開始する構成としてもよい。
また、本発明は、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上において行われたユーザの操作を検知する検知ステップと、前記視線検出ステップで検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、前記操作検出ステップで検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御ステップとを備える表示方法を提供する。
また、本発明は、コンピュータに、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上において行われたユーザの操作を検知する検知ステップと、前記視線検出ステップで検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、前記操作検出ステップで検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御ステップとを実行させるためのプログラムを提供する。
本発明によれば、視線を動かして画像をスクロールさせる場合、目的の位置を表示するまでに掛かる時間を短くすることができる。
情報処理装置１のハードウェア構成を示した図である。 情報処理装置１の機能ブロック図。 制御部１０２が行う処理の流れを示したフローチャート。 制御部１０２が行う処理の流れを示したフローチャート。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 画像をスクロールさせるときにユーザが見る領域を示した図。 画像をスクロールさせるときにユーザが見る領域を示した図。
［実施形態］
（ハードウェアの構成）
図１は、本発明の一実施形態に係る情報処理装置１のハードウェア構成を示した図である。本実施形態の情報処理装置１は、板状の筐体にタッチスクリーンやハードウェアのボタンなどを備えた所謂タブレット端末と呼ばれるコンピュータ装置である。情報処理装置１は、タッチスクリーンで画像を表示する表示装置の一例である。図１に示したように、情報処理装置１の各部はバス１０１により接続されている。
通信部１０５は、無線通信を行う通信インターフェースの機能を備えている。情報処理装置１は、通信部１０５を制御して無線ＬＡＮ（Local Area Network）や移動体通信網に接続し、データ通信や音声通信を行う。
操作部１０４は、情報処理装置１を操作するための複数のハードウェアのボタンを備えている。また、操作部１０４は、画像を表示する表示手段の一例である表示部１０４２と、表示部１０４２の表面に設けられ、表示部１０４２が表示した画像を透過し、指が触れた位置を検出する位置検出部１０４１とが一体化したタッチスクリーン１０４Ａを備えている。なお、表示部１０４２としては、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイが用いられるが、これらに限定されるものではなく他のディスプレイであってもよい。また、位置検出部１０４１としては、触れている複数の指の位置を検出するもの（例えば静電容量方式のもの）が用いられる。ユーザの指がタッチスクリーン１０４Ａに触れていると、位置検出部１０４１において指の触れた位置を表す位置データが生成され、生成された位置データが位置検出部１０４１から制御部１０２へ供給される。
撮像部１０６は、レンズや固体撮像素子を備えており、レンズによって固体撮像素子に結像した像を表す画像を生成する。
記憶部１０３は、不揮発性メモリを備えている。記憶部１０３は、オペレーティングシステムを実現させるプログラムＯＳや、各種アプリケーションプログラムを記憶する。制御部１０２は、ＣＰＵ（Central Processing Unit）１０２Ａ、ＲＯＭ（Read Only Memory）１０２ＢおよびＲＡＭ（Random Access Memory）１０２Ｃ等を備えている。ＣＰＵ１０２Ａが、ＲＯＭ１０２Ｂに記憶されているＩＰＬ（Initial Program Loader）を実行すると、記憶部１０３に記憶されているプログラムＯＳが実行されてオペレーティングシステムが実現し、各種アプリケーションプログラムの実行が可能となる。本実施形態においては、オペレーティングシステムが実現すると、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。
（機能ブロックの説明）
図２は、制御部１０２において実現する機能のうち本発明に係る特徴的な機能に関係する機能ブロックを示した図である。本実施形態においては、上述したように、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。図２は、このユーザインターフェース機能に係る機能ブロック図である。
操作検出部２０１は、位置検出部１０４１で生成される位置データを取得する。この位置データは、表示部１０４２の表示面上でユーザが指で触れた位置を表し、ユーザの指が移動した場合には位置データの内容が変化する。操作検出部２０１は、この位置データを基にしてユーザが指で行った操作を検出する。
視線検出部２０２は、ユーザの視線を検出するものである。視線検出部２０２は、ユーザの顔の画像を取得する。視線検出部２０２は、取得した顔の画像からユーザの視線を検出する。
方向决定部２０３は、視線検出部２０２で検出した視線を基にして画像をスクロールさせるときのスクロール方向を决定する。
速度决定部２０４は、操作検出部２０１で行われた操作に応じて画像をスクロールさせるときのスクロール速度を决定する。例えば、速度决定部２０４は、指をタッチスクリーン１０４上で移動させる操作が行われた場合、指が触れたときの位置から移動後の指の位置までの距離に応じてスクロール速度を决定する。
表示制御部２０５は、画像がスクロールするように表示部１０４２を制御するものである。表示制御部２０５は、方向决定部２０３で决定したスクロール方向と速度决定部２０４で决定したスクロール速度を用いて画像をスクロールさせる。
（実施形態の動作例）
次に本実施形態の動作の一例について、図３〜４のフローチャートと、図５〜１０に示した画面例を用いて説明する。図５は、情報処理装置１においてＷｅｂブラウザを実現するアプリケーションプログラムを実行したときに表示される画面の一例を示したものである。この画面においては、ユーザが選択したＷｅｂページが表示されている状態を示している。
制御部１０２は、撮像部１０６を制御して撮像部１０６での撮像を行う。ユーザが表示画面に目を向けると、ユーザの顔が撮像部１０６で撮像される。撮像部１０６においては、ユーザの顔を含む画像（以下、顔画像と称する）が生成される。
制御部１０２は、顔画像が生成される毎に図３に示した処理を実行する。まず、制御部１０２は、この顔画像を取得する（ステップＳＡ１）。制御部１０２は、顔画像を取得すると、例えば、特開平１０−３９９９５号公報に開示されている技術を用いてユーザの視線を検出し、表示画面においてユーザが見ている位置を特定する（ステップＳＡ２）。なお、ユーザの視線を検知する技術は、上記の方法に限定されるものではなく、ユーザの頭部に取り付けられたカメラでユーザの眼球を撮像し、この撮像した画像から視線を検知する方法など、他の周知の方法を用いてもよい。
制御部１０２は、ステップＳＡ２でユーザが見ている位置を特定すると、特定した位置にカーソル１０が表示されるように表示部１０４２を制御する（ステップＳＡ３）。ステップＳＡ３の処理が行われると、図５に示したように、ユーザが見ている位置にカーソル１０が表示される。
ユーザは、表示されているＷｅｂページをスクロールさせる場合、表示部１０４２の矩形の表示領域の縁の方向へ視線を移動させる。制御部１０２は、撮像部１０６で得られる顔画像からユーザが見ている位置を特定し、特定した位置へカーソル１０を移動させる。制御部１０２は、カーソル１０を移動させると、ユーザが見ている位置が、図６に示した領域Ｂ１〜Ｂ８のいずれかへ移動したか判断する。
制御部１０２は、ユーザが見ている位置が、図６に示した領域Ａ内から領域Ｂ１〜Ｂ８のいずれかへ移動した場合、ユーザの指がタッチスクリーン１０４Ａに触れているか判断する。制御部１０２は、ユーザが見ている位置が領域Ａから領域Ｂ１〜Ｂ８のいずれかへ移動したときに位置データがタッチスクリーン１０４Ａから供給されていない場合（ステップＳＢ１でＮＯ）、ユーザが見ている位置が領域Ｂ１〜Ｂ８のいずれかの領域内であるか判断する。制御部１０２は、ユーザが見ている位置が領域Ａ内または表示部１０４２の表示領域外など、領域Ｂ１〜Ｂ８の領域外である場合（ステップＳＢ２でＮＯ）、図４に示した処理を終了する。
一方、制御部１０２は、ステップＳＢ１でＹＥＳと判断した場合、表示画面上において指の触れている位置を、取得した位置データを用いて特定する（ステップＳＢ３）。制御部１０２は、ステップＳＢ３で特定した位置（以下、第１位置と称する）をＲＡＭ１０２Ｃに記憶させる（ステップＳＢ４）。また、制御部１０２は、領域Ａ内から領域Ｂ１〜Ｂ８のいずれかへ移動したときの移動後の領域を記憶する（ステップＳＢ５）。
次に制御部１０２は、ユーザが見ている位置が領域Ｂ１〜Ｂ８のいずれかの領域内であるか判断する。制御部１０２は、ユーザが見ている位置が領域Ｂ１〜Ｂ８の領域外である場合（ステップＳＢ６でＮＯ）、図４に示した処理を終了する。一方、制御部１０２は、ユーザの見ている位置が領域Ｂ１〜Ｂ８のいずれかの領域内である場合（ステップＳＢ６でＹＥＳ）、この時点でユーザが見ている領域がステップＳＢ５で記憶した領域と同じであるか判断する。制御部１０２は、この時点でユーザが見ている領域がステップＳＢ５で記憶した領域と異なる場合（ステップＳＢ７でＮＯ）、処理の流れをステップＳＢ１へ戻す。
一方、制御部１０２は、ステップＳＢ７でＹＥＳと判断した場合、位置データが供給されているか判断する。制御部１０２は、位置データが供給されていない場合（ステップＳＢ８でＮＯ）、指がタッチスクリーンから離れたものと判断し、図４に示した処理を終了する。
制御部１０２は、ステップＳＢ８でＹＥＳと判断した場合、位置データからユーザの指の位置を特定し（ステップＳＢ９７）、ユーザの指の位置が第１位置と同じであるか判断する。制御部１０２は、ステップＳＢ９で特定した位置が第１位置と同じである場合（ステップＳＢ１０でＹＥＳ）、処理の流れをステップＳＢ６へ戻す。
また、制御部１０２は、ステップＳＢ９で特定した位置が第１位置と異なる場合（ステップＳＢ１０でＮＯ）、ユーザの指の位置が第１位置から変化したものと判断する。制御部１０２は、ユーザの指の位置が変化した場合、ステップＳＢ９で特定した指の位置と第１位置との間の距離を算出する（ステップＳＢ１１）。
制御部１０２は、ステップＳＢ１１で距離を算出すると、表示されている画像を、カーソル１０がある位置と、算出した距離とに応じてスクロールさせる（ステップＳＢ１２）。具体的には、制御部１０２は、画像をスクロールさせる方向をカーソル１０がある領域の方向とする。例えば、図５の状態から領域Ｂ１へカーソル１０を移動させて画像をスクロールさせた場合、図７に示したように表示されている画像は領域Ｂ１の方向へスクロールされる。また、図５の状態から領域Ｂ５へカーソル１０を移動させて画像をスクロールさせた場合、図８に示したように表示されている画像は領域Ｂ５の方向へスクロールされる。なお、図７、８においては、タッチスクリーン１０４Ａに触れている指の図示を省略している。
また、制御部１０２は、画像をスクロールさせるスピード（単位時間（例えば１秒）あたりの画像の移動量）を、ステップＳＢ１１で算出した距離に応じて設定する。例えば、制御部１０２は、ステップＳＢ１１で算出した距離が長くなるにつれてスクロールのスピードを速くする。このため、指を第１位置から移動させた場合、図９に示したように移動後の指の位置が第１位置から近い場合にはスクロールのスピードが遅く、移動後の指の位置が第１位置から遠くなるに従って、スクロールのスピードが速くなる。このため、図１０に示したように、移動後の位置が図９の位置より第１位置から遠い場合には、図９の場合より図１０の場合の方がスクロールのスピードが速くなる。
制御部１０２は、ステップＳＢ１２の処理の後、処理の流れをステップＳＢ６へ戻す。そして、ユーザが見ている領域が領域Ｂ１〜Ｂ８の領域外となった場合、又はユーザの指がタッチスクリーン１０４Ａから離れた場合、画像をスクロールさせる処理を終了する。
なお、画像をスクロールしているときにユーザが見ている領域が、ステップＳＢ５で記憶した領域から変化した場合、制御部１０２は、ステップＳＢ７でＮＯと判断する。
次に制御部１０２は、ユーザが見ている領域がステップＳＢ５で記憶した領域と反対方向の領域であるか判断する。例えば、領域Ｂ１から領域Ｂ５へ視線を移動した場合、領域Ｂ５から領域Ｂ１へ視線を移動した場合、領域Ｂ３から領域Ｂ７へ視線を移動した場合、及び領域Ｂ７から領域Ｂ３へ視線を移動した場合、制御部１０２は、ユーザが見ている領域がステップＳＢ５で記憶した領域と反対方向であると判断し（ステップＳＢ１３でＹＥＳ）、処理の流れをステップＳＢ１へ移す。
ステップＳＢ１３でＹＥＳと判断してステップＳＢ１に戻った場合、この時点での指の位置が第１位置として新たに記憶される。そして、制御部１０２は、この第１位置から指が移動しない場合には画像をスクロールさせない。つまり、画像のスクロール中にユーザが見ている方向が反対方向へ変化した場合には、画像のスクロールが一旦停止することになる。そして、新たに記憶した第１位置から指が移動した場合には、視線を移動させたときに記憶した第１位置から移動後の指の位置までの距離に応じて、画像がスクロールされることとなる。
一方、制御部１０２は、ステップＳＢ１３でＮＯと判断した場合、処理の流れをステップＳＢ８へ移す。この場合、第１位置からの指の位置までの距離に応じてスクロールのスピードが設定されるため、視線が移動する前と比較すると、スクロールのスピードは同じでスクロールの方向が変化することになる。例えば、領域Ｂ１から領域Ｂ７へ視線を移動した場合、領域Ｂ１に視線があったときのスクロールのスピードを維持したままでスクロールの方向が領域Ｂ７の方向となる。
このように本実施形態によれば、視線で画像のスクロールの方向を決定し、指による操作でスクロールのスピードを制御することができる。また、本実施形態によれば、画像をスクロールさせている途中で視線を反対方向へ動かすと、画像のスクロールが一旦停止することになる。このため、スクロールのスピードを維持したままでスクロールの方向を反対方向へ変更する場合と比較すると、ユーザが所望する位置を容易に表示させることが可能となる。
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。
上述した実施形態においては、領域Ｂ１〜領域Ｂ８のいずれかに視線があるときに画像をスクロールさせる構成となっているが、画像をスクロールさせるときの視線の位置は、これらの領域内に限定されるものではなく、表示部１０４２の表示領域の外側に視線が移動した場合にも画像をスクロールさせるようにしてもよい。
例えば、図１１において実線で示したように画像の表示領域がある場合、領域Ｂ１〜Ｂ８に替えて、この表示領域より外側の領域Ｃ１〜Ｃ８に視線があるときに画像をスクロールさせるようにしてもよい。
また、図１２に示したように、画像の表示領域が実線で示した領域である場合、領域Ｂ１〜Ｂ８に替えて、図１２に示した領域Ｄ１〜Ｄ８に視線があるときに画像をスクロールさせるようにしてもよい。
上述した実施形態においては、画像のスクロールのスピードを指の移動量に応じて決定しているが、スクロールのスピードを設定する方法は、上述した実施形態の方法に限定されるものではない。
例えば、タッチスクリーンにおいては、指によってタッチスクリーンに掛かる圧力を測定できるものがある。この場合、指によって掛かる圧力が大きくなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
また、領域Ｂ１〜Ｂ８のいずれかへ視線を移動させた後に指でタッチスクリーンに触り、指がタッチスクリーンに触れてから経過した時間が長くなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
また、領域Ｂ１〜Ｂ８のいずれかへ視線を移動させた後に指でタッチスクリーンを叩く操作を行い、叩いた回数が増えるにつれて画像のスクロールのスピードを速くするようにしてもよい。
上述した実施形態においては、ユーザが視線を移動させると画像のスクロールが一旦停止する。そして、画像を再びスクロールさせる場合、視線を移動させた後、指を移動させる必要がある。しかしながら、スクロールが停止する前に見ていた位置に視線を戻した場合には、以下のような動作となるようにしてもよい。
例えば、制御部１０２は、指がタッチスクリーン１０４Ａに触れている状態でユーザが見ている位置が領域Ｂ１〜Ｂ８のいずれかから領域Ａ内へ移動した場合、領域Ａ内へ移動する前にユーザが見ていた領域と、見ている位置が領域Ａへ移動する前の状態におけるスクロールのスピードを記憶する。次にユーザが指をタッチスクリーン１０４Ａから離さずに、ユーザの見ている位置が記憶した領域に戻った場合、制御部１０２は、記憶したスピードより速いスピードでユーザが見ている方向へ画像をスクロールさせる。なお、見ている位置が記憶した位置に戻らず、他の位置となった場合には、制御部１０２は、新たに第１位置を記憶し、指の位置が移動するまでスクロールが行われないようにする。
本変形例によれば、続けて画像を同じ方向へスクロールさせる場合、一旦スクロールが停止しないので、スクロールを一旦停止させる構成と比較すると、より速く画像をスクロールさせることができる。
上述した実施形態においては、第１位置を記憶した後に視線がスクロールの方向と反対方向へ移動した場合、画像のスクロールが一旦停止するが、この構成に限定されるものではない。例えば、領域Ｂ１から領域Ｂ５へ視線を移動させた場合、制御部１０２は、視線が領域Ｂ５へ移動したときの指の位置を第１位置として記憶し、領域Ｂ５の方向へ予め定められたスピードで画像をスクロールさせ、さらに第１位置から指が移動した場合、予め定められたスピードを基準にし、第１位置から指の位置までの距離に応じてスクロールのスピードを速くするようにしてもよい。
上述した実施形態においては、アプリケーション毎、又は表示するコンテンツ毎にスクロールのスピードが異なるようにしてもよい。例えば、ＷｅｂブラウザでＷｅｂページを表示している場合と、ワードプロセッサーのアプリケーションで文書を表示している場合とで、第１位置からの指の移動量が同じであってもＷｅｂブラウザにおけるスクロールのスピードと、ワードプロセッサーにおけるスクロールのスピードとが異なるようにしてもよい。また、Ｗｅｂブラウザで文字列のページを表示している場合と、Ｗｅｂブラウザで地図のページを表示している場合とで、文字列を表示している場合のスクロールのスピードと、地図を表示している場合のスクロールのスピードとが異なるようにしてもよい。
上述した実施形態においては、指の位置と視線とで画像をスクロールさせる機能がオペレーティングシステムのプログラムを実行することにより実現しているが、これら機能を実現するのは、オペレーティングシステムのプログラムに限定されるものではない。例えば、オペレーティングシステムのプログラムとは別のアプリケーションプログラムを実行することにより、指の位置と視線とで画像をスクロールさせる機能が実現するようにしてもよい。
上述した実施形態においては、撮像部１０６が情報処理装置１に内蔵されている構成となっているが、この構成に限定されるものではない。例えば、レンズと固定撮像素子とを備えるカメラを情報処理装置１に接続し、このカメラでユーザの顔を撮像するようにしてもよい。また、レンズと固定撮像素子とを備えるカメラを眼鏡のフレームに配置し、このフレームに設けられたカメラでユーザの顔を撮像するようにしてもよい。
上述した実施形態においては、情報処理装置１は、通信ネットワークを介した通信を行う機能を備えているが、この機能を備えたものに限定されるものではない。例えば、電子ブックリーダなど、通信ネットワークを介した通信を行う機能を備えていないものであってもよい。
上述した実施形態の機能を実現するプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk）））など、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、情報処理装置１にインストールしてもよい。また、通信回線を介して情報処理装置１にダウンロードしてインストールしてもよい。
１…情報処理装置、１０１…バス、１０２…制御部、１０２Ａ…ＣＰＵ、１０２Ｂ…ＲＯＭ、１０２Ｃ…ＲＡＭ、１０３…記憶部、１０４…操作部、１０４Ａ…タッチスクリーン、１０４１…位置検出部、１０４２…表示部、１０５…通信部、１０６…撮像部、２０１…操作検出部、２０２…視線検出部、２０３…方向决定部、２０４…速度决定部、２０５…表示制御部

Claims (4)

  1. 画像を表示する表示面を有する表示手段と、
    ユーザの視線を検出する視線検出手段と、
    前記表示面上において行われたユーザの操作を検出する操作検出手段と、
    前記視線検出手段で検出された視線に応じて前記画像のスクロール方向を決定する方向決定手段と、
    前記操作検出手段で検出された操作に応じて前記画像のスクロール速度を決定する速度決定手段と、
    前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御手段と
    を備える表示装置。
  2. 前記表示制御手段は、前記表示面の予め定められた領域内に前記視線が移動した後、当該移動前の方向に前記視線が移動した場合、前記領域内に視線が移動する前のスクロール速度より速いスクロール速度で前記画像のスクロールを開始すること
    を特徴とする請求項１に記載の表示装置。
  3. ユーザの視線を検出する視線検出ステップと、
    画像を表示する表示手段の表示面上において行われたユーザの操作を検知する操作検知ステップと、
    前記視線検出ステップで検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、
    前記操作検出ステップで検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、
    前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御ステップと
    を備える表示方法。
  4. コンピュータに、
    ユーザの視線を検出する視線検出ステップと、
    画像を表示する表示手段の表示面上において行われたユーザの操作を検知する操作検知ステップと、
    前記視線検出ステップで検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、
    前記操作検出ステップで検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、
    前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御ステップと
    を実行させるためのプログラム。
JP2012140818A 2012-06-22 2012-06-22 表示装置、表示方法及びプログラム Active JP5783957B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012140818A JP5783957B2 (ja) 2012-06-22 2012-06-22 表示装置、表示方法及びプログラム
CN201380003174.7A CN103827800B (zh) 2012-06-22 2013-06-03 显示装置和显示方法
EP13807807.6A EP2866132B1 (en) 2012-06-22 2013-06-03 Display device, display method and program
PCT/JP2013/065411 WO2013190989A1 (ja) 2012-06-22 2013-06-03 表示装置、表示方法及びプログラム
US14/405,883 US9411418B2 (en) 2012-06-22 2013-06-03 Display device, display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012140818A JP5783957B2 (ja) 2012-06-22 2012-06-22 表示装置、表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014006640A JP2014006640A (ja) 2014-01-16
JP5783957B2 true JP5783957B2 (ja) 2015-09-24

Family

ID=49768591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012140818A Active JP5783957B2 (ja) 2012-06-22 2012-06-22 表示装置、表示方法及びプログラム

Country Status (5)

Country Link
US (1) US9411418B2 (ja)
EP (1) EP2866132B1 (ja)
JP (1) JP5783957B2 (ja)
CN (1) CN103827800B (ja)
WO (1) WO2013190989A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793173A (zh) * 2014-01-29 2014-05-14 宇龙计算机通信科技(深圳)有限公司 显示方法及装置
JP6153487B2 (ja) * 2014-03-14 2017-06-28 株式会社Ｎｔｔドコモ 端末及び制御方法
CN104360787A (zh) * 2014-10-17 2015-02-18 联想(北京)有限公司 一种显示方法及电子设备
US9501853B2 (en) * 2015-01-09 2016-11-22 Adobe Systems Incorporated Providing in-line previews of a source image for aid in correcting OCR errors
JP2016136351A (ja) * 2015-01-23 2016-07-28 京セラ株式会社 電子機器及び制御方法
US10222966B2 (en) * 2015-02-09 2019-03-05 Flipboard, Inc. Parallax discrete page scrolling
CN104899306B (zh) * 2015-06-12 2019-06-28 百度在线网络技术（北京）有限公司 信息处理方法、信息显示方法及装置
JP6588834B2 (ja) * 2016-01-18 2019-10-09 株式会社東海理化電機製作所 操作装置
JP6565791B2 (ja) * 2016-05-26 2019-08-28 京セラドキュメントソリューションズ株式会社 表示装置及び表示制御プログラム
JP6729069B2 (ja) * 2016-06-28 2020-07-22 富士ゼロックス株式会社 情報処理装置
JP6809022B2 (ja) * 2016-07-29 2021-01-06 富士ゼロックス株式会社 画像表示装置、画像形成装置、および、プログラム
JP7022899B2 (ja) * 2016-12-27 2022-02-21 パナソニックＩｐマネジメント株式会社 電子機器、入力制御方法、及びプログラム
JP7116295B2 (ja) * 2018-04-03 2022-08-10 株式会社ミクシィ 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム
CN110543274B (zh) * 2019-07-29 2024-02-20 惠州Tcl移动通信有限公司 一种图像显示方法、移动终端以及具有存储功能的装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
JPH1039995A (ja) 1996-07-19 1998-02-13 Nec Corp 視線・音声入力装置
JPH1185452A (ja) * 1997-09-02 1999-03-30 Sanyo Electric Co Ltd スクロール制御装置
JP2000020212A (ja) * 1998-07-07 2000-01-21 Osk:Kk 表データ表示装置および方法ならびに表データ表示のためのプログラムを格納した記憶媒体
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP2002099386A (ja) 2000-09-25 2002-04-05 Sanyo Electric Co Ltd 画面表示制御システム
JP2005308411A (ja) * 2004-04-16 2005-11-04 Xanavi Informatics Corp 車載情報端末、道路地図表示方法
US7719520B2 (en) * 2005-08-18 2010-05-18 Scenera Technologies, Llc Systems and methods for processing data entered using an eye-tracking system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
KR101446521B1 (ko) * 2008-08-12 2014-11-03 삼성전자주식회사 터치 스크린의 정보 스크롤 제어 방법 및 장치
US20100283722A1 (en) 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus
WO2012044363A1 (en) * 2010-09-30 2012-04-05 Georgia Tech Research Corporation Systems and methods to facilitate active reading
JP5535585B2 (ja) * 2009-11-10 2014-07-02 株式会社ソニー・コンピュータエンタテインメント プログラム、情報記憶媒体、情報入力装置、及びその制御方法
CN102073435A (zh) * 2009-11-23 2011-05-25 英业达股份有限公司 画面操作方法及应用该方法的电子装置
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8589977B1 (en) * 2011-12-30 2013-11-19 Time Warner Cable Enterprises Llc Methods and apparatus for improving scrolling through program channel listings

Also Published As

Publication number Publication date
EP2866132B1 (en) 2018-10-24
EP2866132A1 (en) 2015-04-29
WO2013190989A1 (ja) 2013-12-27
US9411418B2 (en) 2016-08-09
EP2866132A4 (en) 2015-12-02
CN103827800A (zh) 2014-05-28
CN103827800B (zh) 2017-07-14
JP2014006640A (ja) 2014-01-16
US20150185833A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
JP5783957B2 (ja) 表示装置、表示方法及びプログラム
JP5970086B2 (ja) タッチスクリーンホバリング入力処理
KR101669079B1 (ko) 표시제어장치 및 그 제어 방법
JP2009140368A (ja) 入力装置、表示装置、入力方法、表示方法及びプログラム
JP5701569B2 (ja) 画像表示装置、画像表示制御方法及びプログラム
CN108733302B (zh) 手势触发方法
EP3109749B1 (en) Crop frame adjusting method, image processing device, and non-transitory computer readable storage medium
KR20150074145A (ko) 애플리케이션 인터페이스 이동을 제어하는 방법, 장치, 단말기기, 프로그램 및 기록매체
US10296130B2 (en) Display control apparatus, display control method, and storage medium storing related program
JP5835240B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN103870117B (zh) 一种信息处理方法及电子设备
JP2017004377A (ja) 情報処理プログラム、表示制御装置、表示制御システム及び表示方法
WO2013183533A1 (ja) 表示装置、表示方法及びプログラム
JP6569598B2 (ja) 表示装置及び表示制御プログラム
WO2013084179A1 (en) An apparatus responsive to at least zoom-in user input, a method and a computer program
JP6197559B2 (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
EP3086210A1 (en) Method and device for generating individualized input panel
JP5785891B2 (ja) 表示装置
CN108475166B (zh) 信息处理装置及其控制方法和程序
JP6907368B2 (ja) 電子機器及びその制御方法
JP6374155B2 (ja) 表示装置、スクロール表示方法、および、スクロール表示プログラム
CN110032323B (zh) 电子设备及手势导航方法
WO2018161421A1 (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置
JP6282876B2 (ja) 情報処理装置
CN112534389B (zh) 显示装置以及显示控制程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150721

R150 Certificate of patent or registration of utility model

Ref document number: 5783957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250