JP5342040B1 - 表示装置、表示方法及びプログラム - Google Patents

表示装置、表示方法及びプログラム Download PDF

Info

Publication number
JP5342040B1
JP5342040B1 JP2012129625A JP2012129625A JP5342040B1 JP 5342040 B1 JP5342040 B1 JP 5342040B1 JP 2012129625 A JP2012129625 A JP 2012129625A JP 2012129625 A JP2012129625 A JP 2012129625A JP 5342040 B1 JP5342040 B1 JP 5342040B1
Authority
JP
Japan
Prior art keywords
cursor
display means
displayed
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012129625A
Other languages
English (en)
Other versions
JP2013254355A (ja
Inventor
仁史 山崎
晴彦 杉崎
誠二 白石
大輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2012129625A priority Critical patent/JP5342040B1/ja
Priority to CN201380003424.7A priority patent/CN103858089B/zh
Priority to PCT/JP2013/065410 priority patent/WO2013183608A1/ja
Priority to EP13801325.5A priority patent/EP2860618B1/en
Priority to US14/391,548 priority patent/US9582169B2/en
Application granted granted Critical
Publication of JP5342040B1 publication Critical patent/JP5342040B1/ja
Publication of JP2013254355A publication Critical patent/JP2013254355A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】複数の指を用いなくても表示されている画像を操作できるようにする。
【解決手段】第１カーソル１０の位置は、親指４０の位置に応じて変化する。第２カーソル１１の位置は、ユーザの視線に応じて変化する。所定時間を超えて第１カーソル１０の位置が変化しなかった場合、第１カーソル１０の位置は固定される。第１カーソル１０と第２カーソル１１との間の距離が長くなった場合、第１カーソル１０及び第２カーソル１１以外に表示されている画像Ｇ１が拡大されて表示される。第１カーソル１０と第２カーソル１１との間の距離が短くなった場合、第１カーソル１０及び第２カーソル１１以外に表示されている画像Ｇ１が縮小されて表示される。
【選択図】図１０

Description

本発明は、ユーザインターフェースに関する。
視線を用いたユーザインターフェースの発明として、例えば、特許文献１に開示された発明がある。この発明においては、ディスプレイ画面上において操作者が見ている位置を検出し、検出した位置にカーソルを表示する。また、この発明は、ボタンを押したときのカーソルの位置をＡ点、Ａ点からカーソルを移動させて再度ボタンを押したときのカーソルの位置をＢ点とし、Ａ点を中心としてＡ点からＢ点までを半径とした円の範囲を拡大表示する。
特開平５−７３２０５号公報
ところで、タッチスクリーンを備えた所謂タブレット端末と呼ばれるコンピュータ装置においては、タッチスクリーンに触れた二本の指の位置を近づけたり遠ざけたりすることで、画像の拡大や縮小をすることができる。しかし、一方の手が塞がっており、他方の手でタブレット端末を持っている場合、親指以外の指でタッチスクリーンに触れることができないため、拡大や縮小の操作をすることが難しい。この場合、特許文献１の発明を組み合わせると、ボタンの操作は一本の指でもできるため、タブレット端末においても画像の拡大をすることが可能となる。しかし、特許文献１の発明を組み合わせる場合にはボタンが必要となる。タブレット端末を手に持つ場合、縦長になるように持つ場合や横長になるように持つ場合があり、ボタンの位置がタブレット端末を持った指の位置の近くにあるとは限らない。このため、片手ではボタンの操作を行えず、拡大をできない場合が生じ得る。
本発明は、上述した背景の下になされたものであり、複数の指を用いなくても表示されている画像を操作できるようにすることを目的とする。
上述した目的を達成するため、本発明は、画像を表示する表示面を有する表示手段と、ユーザの視線を検出する視線検出手段と、前記表示面上においてユーザが触れた位置を特定する特定手段と、前記表示手段に第１カーソルを表示させる手段であって、前記特定手段で特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御手段と、前記表示手段に第２カーソルを表示させる手段であって、前記視線検出手段で検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御手段と、前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御手段とを有する表示装置を提供する。
本発明においては、前記拡大又は前記縮小の度合いは、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像の内容に応じて異なる構成としてもよい。
また本発明は、画像を表示する表示面を有する表示手段と、ユーザの視線を検出する視線検出手段と、前記表示面上においてユーザが触れた位置を特定する特定手段と、前記表示手段に第１カーソルを表示させる手段であって、前記特定手段で特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御手段と、前記表示手段に第２カーソルを表示させる手段であって、前記視線検出手段で検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御手段と、前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転手段とを有する表示装置を提供する。
また、本発明は、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、前記表示手段に第２カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御ステップとを有する表示方法を提供する。
また、本発明は、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転ステップとを有する表示方法を提供する。
また、本発明は、コンピュータに、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、前記表示手段に第２カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御ステップとを実行させるためのプログラムを提供する。
また、本発明は、コンピュータに、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、前記表示手段に第１カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転ステップとを実行させるためのプログラムを提供する。
本発明によれば、複数の指を用いなくても表示されている画像を操作できる。
情報処理装置１のハードウェア構成を示した図である。 情報処理装置１の機能ブロック図。 制御部１０２が行う処理の流れを示したフローチャート。 制御部１０２が行う処理の流れを示したフローチャート。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 変形例に係る情報処理装置１の機能ブロック図。 変形例において制御部１０２が行う処理の流れを示したフローチャート。 変形例において表示される画面の一例を示した図。 変形例において表示される画面の一例を示した図。 変形例において表示される画面の一例を示した図。
［実施形態］
（ハードウェアの構成）
図１は、本発明の一実施形態に係る情報処理装置１のハードウェア構成を示した図である。本実施形態の情報処理装置１は、板状の筐体にタッチスクリーンやハードウェアのボタンなどを備えた所謂タブレット端末と呼ばれるコンピュータ装置である。情報処理装置１は、タッチスクリーンで画像を表示する表示装置の一例である。図１に示したように、情報処理装置１の各部はバス１０１により接続されている。
通信部１０５は、無線通信を行う通信インターフェースの機能を備えている。情報処理装置１は、通信部１０５を制御して無線ＬＡＮ（Local Area Network）や移動体通信網に接続し、データ通信や音声通信を行う。
操作部１０４は、情報処理装置１を操作するための複数のハードウェアのボタンを備えている。また、操作部１０４は、画像を表示する表示手段の一例である表示部１０４２と、表示部１０４２の表面に設けられ、表示部１０４２が表示した画像を透過し、指が触れた位置を検出する位置検出部１０４１とが一体化したタッチスクリーン１０４Ａを備えている。なお、表示部１０４２としては、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイが用いられるが、これらに限定されるものではなく他のディスプレイであってもよい。また、位置検出部１０４１としては、触れている複数の指の位置を検出するもの（例えば静電容量方式のもの）が用いられる。
撮像部１０６は、レンズや固体撮像素子を備えており、レンズによって固体撮像素子に結像した像を表す画像を生成する。
記憶部１０３は、不揮発性メモリを備えている。記憶部１０３は、オペレーティングシステムを実現させるプログラムＯＳや、各種アプリケーションプログラムを記憶する。制御部１０２は、ＣＰＵ（Central Processing Unit）１０２Ａ、ＲＯＭ（Read Only Memory）１０２ＢおよびＲＡＭ（Random Access Memory）１０２Ｃ等を備えている。ＣＰＵ１０２Ａが、ＲＯＭ１０２Ｂに記憶されているＩＰＬ（Initial Program Loader）を実行すると、記憶部１０３に記憶されているプログラムＯＳが実行されてオペレーティングシステムが実現し、各種アプリケーションプログラムの実行が可能となる。本実施形態においては、オペレーティングシステムが実現すると、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。
（機能ブロックの説明）
図２は、制御部１０２において実現する機能のうち本発明に係る特徴的な機能に関係する機能ブロックを示した図である。本実施形態においては、上述したように、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。図２は、このユーザインターフェース機能に係る機能ブロック図である。
特定部２０１は、位置検出部１０４１においてユーザが触れた指の位置を特定するものである。特定部２０１は、位置検出部１０４１で生成される位置データを取得する。この位置データは、表示部１０４２の表示面上でユーザが指で触れた位置を表す。特定部２０１は、この位置データを基にしてユーザが触れた指の位置を特定する。
視線検出部２０２は、ユーザの視線を検出するものである。視線検出部２０２は、ユーザの顔の画像を取得する。視線検出部２０２は、取得した顔の画像からユーザの視線を検出する。
第１制御部２０３は、特定部２０１で特定された位置に後述する第１カーソル１０が表示されるように表示部１０４２を制御するものである。
第２制御部２０４は、視線検出手段で検出された視線に対応した位置に後述する第２カーソルが表示されるように表示部１０４２を制御するものである。
第３制御部２０５は、第１カーソル１０の位置と第２カーソル１１との間の距離が変化した場合、変化前より変化後の距離が長い場合には、第１カーソル及び第２カーソル以外に表示部１０４２に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、第１カーソル１０及び第２カーソル１１以外に表示部１０４２に表示されている画像が縮小されるように表示部１０４２を制御するものである。
（実施形態の動作例）
次に本実施形態の動作の一例について、図３、４のフローチャートと、図５〜１０に示した画面例を用いて説明する。図５は、情報処理装置１において画像を表示するアプリケーションプログラムを実行したときに表示される画面の一例を示したものである。この画面においては、アプリケーションプログラムの表示領域が全画面表示となっており、ユーザが選択した画像Ｇ１が表示されている状態を示している。
図５に示したように、後述する第１カーソル１０が表示がされていない状態において、図６に示したようにユーザが情報処理装置１を持っている左手の親指４０でタッチスクリーン１０４Ａに触れると、制御部１０２は、図３〜４に示した処理を開始する。まず、指の触れた位置を表す位置データを位置検出部１０４１が生成すると、制御部１０２は、この位置データを取得する（図３：ステップＳＡ１）。制御部１０２は、位置データを取得すると、表示画面上において指の触れている位置を特定する（ステップＳＡ２）。
次に制御部１０２は、ステップＳＡ２で特定した位置（以下、第１位置と称する）をＲＡＭ１０２Ｃに記憶させる（ステップＳＡ３）。また、制御部１０２は、ステップＳＡ２で特定した位置に第１カーソル１０が表示されるように表示部１０４２を制御する（ステップＳＡ４）。ステップＳＡ４の処理が行われると、図７に示したように親指４０の位置に親指の形状をした第１カーソル１０が表示される。なお、図７においては、図面が繁雑になるのを防ぐために親指４０の図示を省略している。本実施形態においては、第１カーソル１０の形状は指を表す形状となっているが、指の形状に限定されるものではなく、矢印の形状など他の形状であってもよい。
制御部１０２は、第１カーソル１０が表示されると、指がタッチスクリーン１０４Ａに触れているか判断する。制御部１０２は、位置データがタッチスクリーン１０４Ａから供給されなくなって取得できなくなった場合、触れていた指がタッチスクリーン１０４Ａから離れたものと判断する（ステップＳＡ５でＹＥＳ）。制御部１０２は、ステップＳＡ５でＹＥＳと判断すると、第１カーソル１０が消去されるように表示部１０４２を制御する（ステップＳＡ６）。
一方、制御部１０２は、タッチスクリーン１０４Ａから位置データが供給され続け、供給された位置データを取得すると、ステップＳＡ５でＹＥＳと判断し、取得した位置データが表す位置と、記憶した第１位置とに基づいて第１カーソル１０の表示位置を決定する（ステップＳＡ７）。
具体的には、制御部１０２は、取得した位置データが表す位置と、第１位置とを結ぶ直線の長さを算出し、算出した長さに予め定められた係数αを乗じた値を算出する。例えば、係数αが「１０」である場合、算出した直線の長さが１０ｍｍであると、係数αを乗じて算出される値は１００ｍｍとなる。次に制御部１０２は、取得した位置データが表す位置と第１位置とを通過する直線上において、指の移動した方向へ第１位置から算出した値だけ離れた位置を求め、求めた位置を第１カーソル１０の表示位置とする。
例えば、図８においては、第１位置にあるときの親指４０を一点鎖線で示し、移動後の親指４０を実線で示している。位置Ｐ１から位置Ｐ２へ親指４０を動かした場合、位置Ｐ１と位置Ｐ２とを結ぶ直線Ｌ１上であって、位置Ｐ１から位置Ｐ２までの距離に係数αを乗じた距離ｄ１だけ第１位置から離れた位置Ｐ３を、第１カーソル１０の表示位置とする。制御部１０２は、第１カーソル１０の表示位置を決定すると、図８に示したように、決定した表示位置に第１カーソル１０が表示されるように表示部１０４２を制御する（ステップＳＡ８）。
次に制御部１０２は、タッチスクリーン１０４Ａから取得した位置データが表す位置を監視する。制御部１０２は、位置データが表す位置が予め定められた時間を超えて変化しなかった場合、即ち、親指４０の位置が予め定められた時間を超えて動かなかった場合（ステップＳＡ９でＹＥＳ）、第１カーソル１０の表示位置を位置データが表す位置に固定する（ステップＳＡ１０）。
制御部１０２は、第１カーソル１０の位置を固定すると、撮像部１０６での撮像を開始する（ステップＳＡ１１）。ユーザが表示画面に目を向けると、ユーザの顔が撮像部１０６で撮像される。撮像部１０６においては、ユーザの顔を含む画像（以下、顔画像と称する）が生成される。制御部１０２は、この顔画像を取得する（ステップＳＡ１２）。制御部１０２は、顔画像を取得すると、例えば、特開平１０−３９９９５号公報に開示されている技術を用いてユーザの視線を検出し、表示画面においてユーザが見ている位置を特定する（ステップＳＡ１３）。なお、ユーザの視線を検知する技術は、上記の方法に限定されるものではなく、ユーザの頭部に取り付けられたカメラでユーザの眼球を撮像し、この撮像した画像から視線を検知する方法など、他の周知の方法を用いてもよい。
次に制御部１０２は、ユーザが見ている位置が所定時間（例えば２秒）を超えて動いていないか判断する。制御部１０２は、ユーザが見ている位置が所定時間内に動いている場合（ステップＳＡ１４でＮＯ）、処理の流れをステップＳＡ１２へ戻す。なお、この所定時間は２秒に限定されるものではなく、２秒未満又は２秒を超える時間であってもよい。一方、制御部１０２は、ステップＳＡ１４でＹＥＳと判断した場合、ユーザが所定時間を超えて見ていた位置（以下、第２位置と称する）をＲＡＭ１０２Ｃに記憶させる（ステップＳＡ１５）。また、制御部１０２は、ステップＳＡ１３で特定した位置に第２カーソル１１が表示されるように表示部１０４２を制御する（ステップＳＡ１６）。
例えば、ユーザが第１カーソル１０の位置を見た場合、図９の（ａ）に示したように第１カーソル１０に重ねて第２カーソル１１が表示される。また、ユーザが第１カーソル１０から離れた位置を見た場合、図９の（ｂ）に示したように第１カーソル１０から離れた位置に第２カーソル１１が表示される。
次に制御部１０２は、ユーザの見ている位置が第２位置から移動したか判断する。制御部１０２は、ユーザの見ている位置が第２位置から移動した場合（ステップＳＡ１７でＹＥＳ）、第２カーソル１１の位置を移動させる（ステップＳＡ１８）。ここで、説明の便宜上、第２位置から移動した後の第２カーソル１１の位置を第３位置と称する。制御部１０２は、第２カーソル１１の位置を移動させた後、第１カーソル１０と第２カーソル１１以外の画像の拡大又は縮小の処理を行う（ステップＳＡ１９）。具体的には、制御部１０２は、図９の（ａ）に示したように第１カーソル１０位置から予め定められた範囲内に第２位置があった場合、図１０（ａ）に示したように第２カーソル１１の位置が第１カーソル１０の位置から離れた位置に移動すると、図１０の（ａ）に示したように第１カーソル１０の位置を中心とし、第１カーソル１０の位置から第３位置までの距離に応じて画像Ｇ１の拡大をする。ここで、第１カーソル１０の位置から第３位置までの距離が短いと画像Ｇ１の拡大の度合いが小さく、第１カーソル１０の位置から第３位置までの距離が長くなるにつれて画像Ｇ１の拡大の度合いが大きくなる。
一方、制御部１０２は、図９の（ｂ）に示したように第１カーソル１０の位置から予め定められた範囲外に第２位置がある場合、図１０の（ｂ）に示したように第１カーソル１０の位置を中心とし、第１カーソル１０の位置から第３位置までの距離に応じて画像Ｇ１を縮小する。ここで、第１カーソル１０の位置から第３位置までの距離が長いと画像Ｇ１の縮小の度合いが小さく、第１カーソル１０の位置から第３位置までの距離が短くなるにつれて画像Ｇ１の縮小の度合いが大きくなる。
次に制御部１０２は、指がタッチスクリーン１０４Ａに触れているか判断する。制御部１０２は、タッチスクリーン１０４Ａから位置データが供給され続け、供給された位置データを取得すると、ステップＳＡ２０でＮＯと判断し、処理の流れをステップＳＡ１８に戻す。
一方、制御部１０２は、位置データが取得できなくなった場合、指がタッチスクリーン１０４Ａから離れたものと判断する（ステップＳＡ２０でＹＥＳ）。制御部１０２は、ステップＳＡ２０でＹＥＳと判断すると、画像の拡大／縮小の度合いをこの時点の度合いで固定する（ステップＳＡ２１）。また、制御部１０２は、第１カーソル１０と第２カーソル１１が消去されるように表示部１０４２を制御する（ステップＳＡ２２）。第１カーソル１０と第２カーソル１１が消去されると、指とユーザの視線を用いて拡大又は縮小された画像のみが表示部１０４２に表示される。
本実施形態によれば、指で画像の拡大又は縮小の基点となる位置を特定し、視線により画像の拡大又は縮小の度合いを変更するため、一方の手が塞がっており片手でタブレット端末を持つ場合であっても、画像の拡大又は縮小を行うことができる。また、本実施形態においては、複数の指を用いずに一本の指と視線とで画像を操作することができる。また、本実施形態においては、指の移動量より第１カーソル１０の移動量が大きいため、指を動かせる範囲が狭くても第１カーソル１０の位置を画面内の所望の位置に動かすことができる。
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。
画像を拡大又は縮小する方法は、上述した実施形態の方法に限定されるものではない。例えば、第１カーソル１０の位置を固定させた後、ユーザが第１カーソル１０から離れた位置を見た場合、この位置から第１カーソル１０までの距離を半径とし、第１カーソル１０の位置を中心とする円を表示し、この円より内側をユーザが見た場合には、第１カーソル１０の位置を中心にして画像を縮小し、この円より外側をユーザが見た場合には、第１カーソル１０の位置を中心にして画像を拡大する構成としてもよい。
上述した実施形態においては、画像を表示するアプリケーション毎、又は表示するコンテンツ毎に画像の拡大／縮小の度合いが異なるようにしてもよい。例えば、ＷｅｂブラウザでＷｅｂページを表示している場合と、写真を表示するアプリケーションで写真を表示している場合とで、第１カーソル１０からの視線の移動量が同じであってもＷｅｂブラウザにおける拡大／縮小の度合いと、写真を表示するアプリケーションにおける拡大／縮小の度合いとが異なるようにしてもよい。また、Ｗｅｂブラウザで文字列のページを表示している場合と、Ｗｅｂブラウザで写真のページを表示している場合とで、文字列を表示している場合の拡大／縮小の度合いと、写真を表示している場合の拡大／縮小の度合いとが異なるようにしてもよい。
上述した実施形態においては、指と視線とを用いて画像の拡大／縮小の処理が行われるが、指と視線とを用いて行うことが可能な処理は、拡大／縮小の処理に限定されるものではない。例えば、第１実施形態と同様に指で第１カーソル１０の位置を決定し、視線を用いて画像を回転させるようにしてもよい。
図１１は、制御部１０２において実現する機能のうち本変形例に係る機能ブロックを示した図である。本変形例においては、第３制御部２０５に替えて回転部２０６を備えている点が上述した実施形態と異なる。
回転部２０６は、第１カーソル１０のカーソルの位置が固定され、固定されたカーソルから見て第２カーソル１１のある方向が変化した場合、変化前の第２カーソル１１の方向と変化後の第２カーソル１１の方向との間の角度に応じて、第１カーソル１０及び第２カーソル１１以外に表示部１０４２に表示されている画像を回転させるものである。
図１２は、本変形例に係る制御部１０２が行う処理の流れを示したフローチャートである。本変形例においては、第１実施形態と同じくステップＳＡ１からステップＳＡ１３の処理が行われる。そして、ステップＳＡ１３より後に行われる処理が第１実施形態と異なり、図１２に示したものとなっている。
制御部１０２は、ステップＳＡ１３の処理を実行した後、ステップＳＡ１３で特定した位置に第２カーソル１１が表示されるように表示部１０４２を制御する（ステップＳＢ１）。次に制御部１０２は、ユーザが見ている位置が所定時間を超えて動いていないか判断する。制御部１０２は、ユーザが見ている位置が所定時間内に動いている場合（ステップＳＢ２でＮＯ）、処理の流れをステップＳＡ１２へ戻す。一方、制御部１０２は、ステップＳＢ２でＹＥＳと判断した場合、ユーザが見ている位置（以下、第４位置と称する）をＲＡＭ１０２Ｃに記憶させる（ステップＳＢ３）。例えば、図１３に示したように、表示されている三角形の画像の頂点の位置をユーザが所定時間を超えて見た場合、頂点の位置に第２カーソル１１が表示され、この頂点の位置が第４位置として記憶される。
次に制御部１０２は、ユーザの見ている位置が第４位置から移動したか判断する。制御部１０２は、ユーザの見ている位置が第４位置から移動した場合（ステップＳＢ４でＹＥＳ）、第２カーソル１１の位置を移動させる（ステップＳＢ５）。ここで、説明の便宜上、第４位置から移動して表示されている第２カーソル１１の位置を第５位置と称する。
制御部１０２は、第２カーソル１１の位置を移動させた後、第１カーソル１０と第２カーソル１１以外の画像を回転させる処理を行う（ステップＳＢ６）。具体的には、制御部１０２は、第１カーソル１０の位置と第４位置とを結ぶ直線と、第１カーソル１０の位置と第５位置とを結ぶ直線とがなす角度θを算出する。例えば、図１３の状態から図１４に示したように第２カーソル１１の位置が移動した場合、制御部１０２は、第１カーソル１０の位置Ｐ１１と第４位置Ｐ１２とを結ぶ直線Ｌ２と、第１カーソル１０の位置Ｐ１１と第５位置Ｐ１３とを結ぶ直線Ｌ３とを求め、直線Ｌ２と直線Ｌ３のなす角度θを求める。換言すると、制御部１０２は、固定されている第１カーソル１０から見て位置が変化する前の第２カーソル１１の方向と、位置が変化した後の第２カーソル１１との間の角度θを求める。制御部１０２は、角度θを求めると、第１カーソル１０の位置を中心にして第１カーソル１０と第２カーソル１１以外の画像を角度θで回転させる。例えば、図１４の状態から第１カーソル１０の位置を中心にして角度θで画像を回転させると、表示されている三角形の画像が第１カーソル１０の位置を中心にして角度θだけ回転し、図１５に示した状態となる。
次に制御部１０２は、指がタッチスクリーン１０４Ａに触れているか判断する。制御部１０２は、タッチスクリーン１０４Ａから位置データが供給され続け、供給された位置データを取得すると、ステップＳＢ７でＮＯと判断し、処理の流れをステップＳＢ５に戻す。
一方、制御部１０２は、位置データが取得できなくなった場合、指がタッチスクリーン１０４Ａから離れたものと判断する（ステップＳＢ７でＹＥＳ）。制御部１０２は、ステップＳＢ７でＹＥＳと判断すると、画像の回転の角度をこの時点の角度で固定する（ステップＳＢ８）。また、制御部１０２は、第１カーソル１０と第２カーソル１１が消去されるように表示部１０４２を制御する（ステップＳＢ９）。第１カーソル１０と第２カーソル１１が消去されると、指とユーザの視線を用いて回転された画像のみが表示部１０４２に表示される。
本変形例によれば、指で画像を回転させるときの基点となる位置を特定し、視線により画像の回転の角度を変更するため、一方の手が塞がっており片手でタブレット端末を持つ場合であっても、画像を回転させることができる。
上述した実施形態においては、第１カーソル１０の位置を固定して拡大／縮小が行われるが、この構成に限定されるものではない。
例えば、制御部１０２は、ステップＳＡ１０の処理を行わずに第２カーソル１１を表示し、ユーザの見ている位置が所定時間動かなかった場合、第２カーソル１１の位置を固定するようにしてもよい。そして制御部１０２は、ユーザの指の位置が動いた場合、第１カーソル１０の表示位置を変更し、第２カーソル１１の位置を基点とし、第１カーソル１０と第２カーソル１１との間の距離に応じて画像を拡大又は縮小するようにしてもよい。例えば、制御部１０２は、第１カーソル１０と第２カーソル１１との間の距離が第２カーソル１１を固定したときより長くなった場合には画像を拡大し、距離が短くなった場合には画像を縮小する。この構成でも、指と視線とを用いて画像を拡大又は縮小させることができる。
また、本発明においては、第１カーソル１０の位置が所定時間を超えて動かなかった場合にユーザの見ている位置に第２カーソル１１を表示するようにしてもよい。そして、制御部１０２は、指の位置に応じて第１カーソル１０の位置を変更し、視線に応じて第２カーソル１１の位置を変更するようにしてもよい。この変形例においては、カーソルの位置を変更したときの各カーソル間の距離が第２カーソル１１を表示したときの各カーソル間の距離より長い場合には画像を拡大し、各カーソル間の距離が第２カーソル１１を表示したときの各カーソル間の距離より短い場合には画像を縮小するようにしてもよい。
また、画像を回転させる際においては、第１カーソル１０の位置を固定して画像の回転の処理が行われるが、この構成に限定されるものではない。
例えば、制御部１０２は、ステップＳＡ１０の処理を行わずに第２カーソル１１を表示し、ユーザの見ている位置が所定時間動かなかった場合、第２カーソル１１の位置を固定するようにしてもよい。そして制御部１０２は、ユーザの指の位置が動いた場合、第１カーソル１０の表示位置を変更する。また、制御部１０２は、第１カーソル１０の位置と第２カーソル１１の位置とを結ぶ直線と、第２カーソル１１を固定したときの第１カーソル１０の位置と第２カーソル１１の位置とを結ぶ直線とがなす角度θを算出する。そして、制御部１０２は、表示されている画像を、第２カーソル１１の位置を中心とし、求めた角度θで回転させる。この構成でも、指と視線とを用いて画像を回転させることができる。
上述した実施形態においては、指の位置と視線とで画像を拡大／縮小する機能や画像を回転させる機能がオペレーティングシステムのプログラムを実行することにより実現しているが、これら機能を実現するのは、オペレーティングシステムのプログラムに限定されるものではない。例えば、オペレーティングシステムのプログラムとは別のアプリケーションプログラムを実行することにより、指の位置と視線とで画像を拡大／縮小機能や画像を回転させる機能が実現するようにしてもよい。
上述した実施形態においては、撮像部１０６が情報処理装置１に内蔵されている構成となっているが、この構成に限定されるものではない。例えば、レンズと固定撮像素子とを備えるカメラを情報処理装置１に接続し、このカメラでユーザの顔を撮像するようにしてもよい。また、レンズと固定撮像素子とを備えるカメラを眼鏡のフレームに配置し、このフレームに設けられたカメラでユーザの顔を撮像するようにしてもよい。
上述した実施形態においては、第１カーソル１０が移動可能な状態と第１カーソル１０の位置が固定されている状態とで第１カーソル１０の表示態様を異ならせるようにしてもよい。例えば、第１カーソル１０が移動可能な状態にある場合には第１カーソル１０の色を白とし、第１カーソル１０の位置が固定されている状態にある場合には、第１カーソル１０の色を白以外の色に変更してもよい。また、第１カーソル１０の位置が固定されている状態にある場合には、第１カーソル１０が点滅するように表示し、第１カーソル１０が移動可能な状態にある場合には第１カーソル１０を点滅させないようにしてもよい。また、第１カーソル１０の位置が固定されている状態にある場合の第１カーソル１０の面積を、第１カーソル１０が移動可能な状態にある場合の面積より広くするようにしてもよい。また、第１カーソル１０が移動可能にある状態と第１カーソル１０の位置が固定されている状態とで第１カーソル１０の形状を異ならせるようにしてもよい。また、これらの変形例を組み合わせてもよい。
上述した実施形態においては、情報処理装置１は、通信ネットワークを介した通信を行う機能を備えているが、この機能を備えたものに限定されるものではない。例えば、電子ブックリーダなど、通信ネットワークを介した通信を行う機能を備えていないものであってもよい。
上述した実施形態の機能を実現するプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk）））など、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、情報処理装置１にインストールしてもよい。また、通信回線を介して情報処理装置１にダウンロードしてインストールしてもよい。
１…画像形成装置、１０１…バス、１０２…制御部、１０２Ａ…ＣＰＵ、１０２Ｂ…ＲＯＭ、１０２Ｃ…ＲＡＭ、１０３…記憶部、１０４…操作部、１０４Ａ…タッチスクリーン、１０５…通信部、１０６…撮像部、２０１…特定部、２０２…視線検出部、２０３…第１制御部、２０４…第２制御部、２０５…第３制御部、２０６…回転部、１０４１…位置検出部、１０４２…表示部

Claims (7)

  1. 画像を表示する表示面を有する表示手段と、
    ユーザの視線を検出する視線検出手段と、
    前記表示面上においてユーザが触れた位置を特定する特定手段と、
    前記表示手段に第１カーソルを表示させる手段であって、前記特定手段で特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御手段と、
    前記表示手段に第２カーソルを表示させる手段であって、前記視線検出手段で検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御手段と、
    前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御手段と
    を有する表示装置。
  2. 前記拡大又は前記縮小の度合いは、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像の内容に応じて異なること
    を特徴とする請求項１に記載の表示装置。
  3. 画像を表示する表示面を有する表示手段と、
    ユーザの視線を検出する視線検出手段と、
    前記表示面上においてユーザが触れた位置を特定する特定手段と、
    前記表示手段に第１カーソルを表示させる手段であって、前記特定手段で特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御手段と、
    前記表示手段に第２カーソルを表示させる手段であって、前記視線検出手段で検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御手段と、
    前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転手段と
    を有する表示装置。
  4. ユーザの視線を検出する視線検出ステップと、
    画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
    前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、
    前記表示手段に第２カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、
    前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御ステップと
    を有する表示方法。
  5. ユーザの視線を検出する視線検出ステップと、
    画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
    前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、
    前記表示手段に第１カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、
    前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転ステップと
    を有する表示方法。
  6. コンピュータに、
    ユーザの視線を検出する視線検出ステップと、
    画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
    前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、
    前記表示手段に第２カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、
    前記第１カーソルの位置と前記第２カーソルの位置との間の距離が変化した場合、変化前より変化後の距離が長い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が拡大され、変化前より変化後の距離が短い場合には、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像が縮小されるように前記表示手段を制御する第３制御ステップと
    を実行させるためのプログラム。
  7. コンピュータに、
    ユーザの視線を検出する視線検出ステップと、
    画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
    前記表示手段に第１カーソルを表示させるステップであって、前記特定ステップで特定された位置に対応した位置に前記第１カーソルが表示されるように前記表示手段を制御する第１制御ステップと、
    前記表示手段に第１カーソルを表示させるステップであって、前記視線検出ステップで検出された視線に対応した位置に第２カーソルが表示されるように前記表示手段を制御する第２制御ステップと、
    前記第１カーソル又は前記第２カーソルのいずれか一方のカーソルの位置が固定され、固定されたカーソルから見て他方のカーソルの方向が変化した場合、前記第１カーソル及び前記第２カーソル以外に前記表示手段に表示されている画像を、固定されたカーソルから見た変化前の他方のカーソルの方向と変化後の他方のカーソルの方向との間の角度に応じて回転させた画像が表示されるように前記表示手段を制御する回転ステップと
    を実行させるためのプログラム。
JP2012129625A 2012-06-07 2012-06-07 表示装置、表示方法及びプログラム Active JP5342040B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012129625A JP5342040B1 (ja) 2012-06-07 2012-06-07 表示装置、表示方法及びプログラム
CN201380003424.7A CN103858089B (zh) 2012-06-07 2013-06-03 显示装置及显示方法
PCT/JP2013/065410 WO2013183608A1 (ja) 2012-06-07 2013-06-03 表示装置、表示方法及びプログラム
EP13801325.5A EP2860618B1 (en) 2012-06-07 2013-06-03 Display device, display method, and program
US14/391,548 US9582169B2 (en) 2012-06-07 2013-06-03 Display device, display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012129625A JP5342040B1 (ja) 2012-06-07 2012-06-07 表示装置、表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP5342040B1 true JP5342040B1 (ja) 2013-11-13
JP2013254355A JP2013254355A (ja) 2013-12-19

Family

ID=49679184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012129625A Active JP5342040B1 (ja) 2012-06-07 2012-06-07 表示装置、表示方法及びプログラム

Country Status (5)

Country Link
US (1) US9582169B2 (ja)
EP (1) EP2860618B1 (ja)
JP (1) JP5342040B1 (ja)
CN (1) CN103858089B (ja)
WO (1) WO2013183608A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150017399A (ko) * 2013-06-03 2015-02-17 원혁 터치스크린 입력 방법 및 장치
JP6071866B2 (ja) * 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
US9690478B2 (en) * 2014-03-04 2017-06-27 Texas Instruments Incorporated Method and system for processing gestures to cause computation of measurement of an angle or a segment using a touch system
JP6153487B2 (ja) * 2014-03-14 2017-06-28 株式会社Ｎｔｔドコモ 端末及び制御方法
US12027661B2 (en) 2015-06-01 2024-07-02 Forge Nano Inc. Nano-engineered coatings for anode active materials, cathode active materials, and solid-state electrolytes and methods of making batteries containing nano-engineered coatings
US10809895B2 (en) * 2016-03-11 2020-10-20 Fuji Xerox Co., Ltd. Capturing documents from screens for archival, search, annotation, and sharing
KR102222956B1 (ko) * 2020-11-10 2021-03-04 주식회사 조이펀 프로젝터의 사용자 인터페이스 좌표 고정 시스템 및 방법
CN113760137B (zh) * 2021-06-16 2022-08-05 荣耀终端有限公司 光标显示方法及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0573205A (ja) 1991-09-13 1993-03-26 Oki Electric Ind Co Ltd ポインテイングデバイス並びにポインテイングデバイスにおけるカーソル位置確定方式
JPH1039995A (ja) 1996-07-19 1998-02-13 Nec Corp 視線・音声入力装置
JPH10312187A (ja) * 1997-05-12 1998-11-24 Toshiba Corp 拡大縮小表示装置及び方法
US7573439B2 (en) * 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
JP4674311B2 (ja) * 2005-02-21 2011-04-20 株式会社リコー コンテンツ閲覧システム、コンテンツ閲覧方法およびプログラム
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
KR20090070491A (ko) * 2007-12-27 2009-07-01 엔에이치엔(주) 터치스크린을 이용한 화면 제어 장치 및 방법
US20110258563A1 (en) * 2010-04-19 2011-10-20 Scott David Lincke Automatic Screen Zoom Level
JP5510185B2 (ja) * 2010-08-20 2014-06-04 ソニー株式会社 情報処理装置、プログラム及び表示制御方法
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction

Also Published As

Publication number Publication date
EP2860618A1 (en) 2015-04-15
WO2013183608A1 (ja) 2013-12-12
EP2860618B1 (en) 2017-04-12
CN103858089B (zh) 2017-06-16
US20150106769A1 (en) 2015-04-16
EP2860618A4 (en) 2016-03-02
CN103858089A (zh) 2014-06-11
US9582169B2 (en) 2017-02-28
JP2013254355A (ja) 2013-12-19

Similar Documents

Publication Publication Date Title
JP5342040B1 (ja) 表示装置、表示方法及びプログラム
US10229629B2 (en) Electronic device
US9639177B2 (en) Mobile terminal and method for controlling the same
EP2996018B1 (en) Ring-type mobile terminal
CN105683895B (zh) 提供用户交互的用户终端设备及其方法
EP2927792B1 (en) Mobile terminal allowing selection of part of the screen for screen capture
JP6345757B2 (ja) 表示処理方法、表示処理プログラム及び表示処理システム
KR20180129432A (ko) 이동 단말기 및 그 제어방법
WO2014021261A1 (ja) 情報処理装置、選択操作検出方法およびプログラム
KR20160099399A (ko) 와치 타입 단말기
JP5783957B2 (ja) 表示装置、表示方法及びプログラム
JP2015041052A (ja) リストバンド型情報処理装置および記憶媒体
JP6004103B2 (ja) 情報処理装置およびプログラム
JP5639384B2 (ja) 表示装置及びプログラム
WO2013183533A1 (ja) 表示装置、表示方法及びプログラム
JP2020017215A (ja) 電子機器、制御プログラム及び表示制御方法
JP7034856B2 (ja) 電子機器、制御プログラム及び表示制御方法
WO2016149873A1 (zh) 智能交互方法、设备及系统
US10304413B2 (en) Display control apparatus for displaying information relating to persons
EP2527964B1 (en) Portable terminal device having an enlarged-display function, method for controlling enlarged display, and computer-read-enabled recording medium
JP5873945B2 (ja) ユーザ操作制御プログラム、携帯装置及びユーザ操作制御方法
JP2015215846A (ja) 画像表示装置、画像表示制御方法及びプログラム
JP2013247546A (ja) 情報端末、その制御方法、および、その制御プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 5342040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250