JP6367673B2 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP6367673B2
JP6367673B2 JP2014199004A JP2014199004A JP6367673B2 JP 6367673 B2 JP6367673 B2 JP 6367673B2 JP 2014199004 A JP2014199004 A JP 2014199004A JP 2014199004 A JP2014199004 A JP 2014199004A JP 6367673 B2 JP6367673 B2 JP 6367673B2
Authority
JP
Japan
Prior art keywords
user
display
image
displayed
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014199004A
Other languages
English (en)
Other versions
JP2016071539A (ja
Inventor
明良 野田
明良 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2014199004A priority Critical patent/JP6367673B2/ja
Priority to PCT/JP2015/077525 priority patent/WO2016052510A1/ja
Priority to US15/515,136 priority patent/US20170212587A1/en
Publication of JP2016071539A publication Critical patent/JP2016071539A/ja
Application granted granted Critical
Publication of JP6367673B2 publication Critical patent/JP6367673B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

この発明は、ユーザの身体の動きに応じて、所定の入力を行うことが可能な電子機器に関する。
上記の電子機器として、近年、目の動作によって生じる眼電位からユーザの視線方向を検出し、該視線方向に応じて表示部の表示制御を行うヘッドマウントディスプレイがある。
(特許文献1)。
また、上記の電子機器として、近年、ユーザが撮影された動画から、該ユーザによるジェスチャを認識するとともに該ジェスチャの種類を判定し、判定されたジェスチャの種類に基づいて、制御対象を制御するジェスチャ認識装置がある(特許文献2)。
特開2011−125692号公報 特開2014−48938号公報
特許文献1に記載のヘッドマウントディスプレイ及び特許文献2に記載の認識装置においては、入力の際の操作性をさらに向上させる新規な入力態様の提案が望まれる。
本発明の目的は、入力の際の操作性をさらに向上させる新規な入力態様が施された電子機器を提供することにある。
本発明に係る電子機器は、表示部と、ユーザの視線移動を検出する検出部と、を備え、
前記視線が所定方向へ移動したことを前記検出部が検出すると、前記表示部の表示領域における前記所定方向側に第1画像を表示することを特徴とする。
本発明によれば、入力の際の操作性をさらに向上させる新規な入力態様が施された電子機器を提供することができる。
本発明に係る電子機器1の概略構成を示す図である。 本発明に係る電子機器1の後ろ側を示した図である。 本発明に係る他の電子機器1の後ろ側を示した図である。 本発明の一実施形態に係る電子機器1の機能ブロックを示す図である。 ユーザの所定の目の動作とそれに対応付けられた出力パターンの組み合わせの一例を示す図である。 電子機器1の表示部20の表示態様の第1例を示す図である。 電子機器1の表示部20の表示態様の第2例を示す図である。 電子機器1の表示部20の表示態様の第3例を示す図である。 電子機器1の表示部20の表示態様の第4例を示す図である。 電子機器1の表示部20の表示態様の第5例を示す図である。 電子機器1の表示部20の表示態様の第6例を示す図である。 電子機器1の表示部20の表示態様の第7例を示す図である。 電子機器1の別の形状を示す図である。
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
図1は、本発明の一実施形態に係る電子機器1の概略構成を示す図である。図1に示す電子機器1は、ユーザの頭部に装着可能な装着部10と、装着部10に取付けられてユーザの眼前に配置される表示部20と、装着部10の一部に設けられる操作部30と、を備える。表示部20は、該表示部20の一部又は全部の領域に、ユーザが視認できるように画像を表示する。
電子機器1は、図1に示すように、眼鏡形状(ゴーグル形状)である。電子機器1の装着部10は、正面部11と、側面部12、13とからなる。装着部10がユーザに装着されたとき、正面部11は、ユーザの眼前に配置され、側面部12、13は、ユーザの側頭部に沿って配置される。
正面部11は、上述したように、ユーザに装着された場合、ユーザの眼前に配置される部分である。正面部11は、ブリッジと、ブリッジを隔てて左右に設けられる二つの縁部(リム)とが一体となって構成されている。ブリッジは、電子機器1の装着時にユーザの鼻と接する部分であり、ユーザの鼻に沿って凹んだ形状である。縁部は、表示部20を支持している。また、縁部は、側面部12、13と連結している。
側面部12、13は、上述したようにユーザに装着された場合、ユーザの両側頭部に沿って配置される部分(眼鏡の弦の部分)であり、一方の端部が正面部11の一方の端部と連結している。ここで、正面部11と連結される側面部12の端部(眼鏡の弦の根元部分)には、ユーザの使用感に合わせるための、圧力調整用のバネや角度を変更するアジャスタが配置されている。
表示部20は、ユーザの左右の目の眼前に設けられる一対の表示部(第1表示部20a、第2表示部20b)を有している。表示部20は、第1表示部20a、第2表示部20bの周囲が、正面部11の縁部によって囲われている。
表示部20は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルを用いることができる。ここで、表示部20は、表示パネルを半透明または透明の板状部材で作製することが好ましい。表示部20の表示パネルを半透明または透明の板状部材で作製することで、ユーザが表示部20を介して景色を見ることができる。
操作部30は、側面部12と側面部13の其々に設けられて、接触を検出するタッチセンサ30a、30bである。タッチセンサ30a、30bには、例えば、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のセンサが用いられ得る。尚、本発明に係る電子機器1において、操作部30は、タッチセンサ30a、30bの何れか一方のみを有する構成であっても良い。
図2は、本発明に係る電子機器1の後ろ側を示した図である。電子機器1は、後述する検出部40としての筋電センサ40を備える。
筋電センサ40は、ユーザの目の周辺に接触可能な位置に電極を設け、ユーザの目の動作(まばたきや視線移動)に伴って生じる筋電位を検出する。ここで、筋電位を測定するための測定電極として、ユーザの鼻の左右側部のそれぞれに接触可能な第1電極40aと第2電極40bとが、装着部10のブリッジから延設されるノーズパッドに設けられる。また、基準電極として、ユーザの鼻の中央部に接触可能な第3電極40cがブリッジに設けられる。このような構成とすることにより、筋電センサ40は、例えば、ユーザが視線を所定の方向に移動させた(或いは、まばたきを行った)ときに、第3電極40cを基準とした第1電極40a及び第2電極40bの電位の変化を検出する。
筋電センサ40に用いられる基準電極としての第3電極40cは、ブリッジとは異なる位置に設けられていても良い。例えば、第3電極40cは、側面部12(或いは13)における、正面部11とは反対側の端部近傍に設けてられても良い。
なお、図2において、電子機器1が検出部40として筋電センサ40を備える構成を示したが検出部40は筋電センサに限定されない。
図3は、本発明の他の実施例に係る電子機器1の後ろ側を示した図である。電子機器1は、検出部40としての撮像部40を備える。
撮像部40は、電子機器1の正面部11におけるユーザの顔面に対面するように設けられる。撮像部40は、正面部11の左右両端部の近傍に其々設けられる(其々40d、40eとする)。撮像部40は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されても良い。
次に、図4を用いて、本発明に係る電子機器1の機能について説明する。図4は、本発明の一実施形態に係る電子機器1の機能ブロックを示す図である。図4に示すように、本発明に係る電子機器1は、表示部20、操作部30、検出部40、制御部50、記憶部60、及び通信部70を備える。
表示部20は、制御部50による制御に基づいて映像や画像を表示する。なお、表示部20は、ユーザが視認できる画像を表示することができれば、つまりユーザに画像を見せることができればよく、種々の構成を用いることができる。例えば、表示部20としては、プロジェクタのように表示パネル(スクリーン)に画像を投影する構成としても良い。なお、画像を投影させる場合、レーザ光を走査させて画像を投影する構成としても良いし、液晶パネルに光を透過させて画像を投影する構成としても良い。また、表示部20からユーザに向けて直接レーザ光を照射することでユーザに対して画像を表示する構成としても良い。
操作部30は、前述したように、例えば、電子機器1の側面部12、13に設けられるタッチセンサであり、側面部12、13においてユーザの指が触れた位置を入力位置として検出する。操作部30は、検出した入力位置に応じた信号を制御部50へ出力する。これにより、ユーザは、電子機器1に対して種々のタッチ操作を行うことができる。タッチ操作の種類として、例えば、側面部12、13に指を接触させた後、短時間のうちに指を離す操作が挙げられる。また、側面部12、13を指で任意の方向(例えば、側面部の長手方向)に弾く操作が挙げられる。また、側面部12、13に指を接触させたまま側面部の長手方向へ移動させる操作(スライド操作)が挙げられる。なお、指を移動させる方向はこれに限らず、側面部の短手方向へ移動させる操作であっても良い。また、側面部の所定面に対して、該面の長手方向と短手方向(即ちX軸方向とY軸方向)の移動を併せて検出しても良い。
なお、操作部30は、タッチセンサに限定されず、例えば、単一または複数のボタンであっても良い。
検出部40は、該検出部40が筋電センサ40である場合、前述したように、ユーザが視線を所定の方向に移動させた(或いは、まばたきを行った)ときの筋電位の変化を検出する。筋電センサ40は、検出された筋電位変化の情報を制御部50に出力する。
一方、検出部40が、撮像部40である場合、撮影部40は、ユーザの目の撮影を行う。撮影部40は、撮影して取得された画像データ、或いは、所定の時間(例えば1/15秒)毎に撮影して取得された一連の画像データを動画データとして制御部50に出力する。
制御部50は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、ソフトウェアで指示された手順にしたがって上述した電子機器1の各種の処理を実行する。すなわち、制御部50は、オペレーティングシステムプログラムやアプリケーションのプログラム等から命令コードを順次読み込んで処理を実行する。このように、制御部50は、各部の動作を制御し、各部に必要なデータ、例えば、表示部20に映像や画像を表示させるための制御信号(或いは画像信号)を出力する。
また、制御部50は、検出部40としての筋電センサ40から出力された筋電位変化の情報に基づいて、ユーザの目の動作を推定する。目の動作としては、まばたきの有無、或いは、視線移動の有無(視線方向、視線位置の変化等も含む)等が該当する。
或いは、制御部50は、検出部40としての撮像部40から出力された画像データ或いは動画データに含まれる被写体(目)を抽出し、被写体(目)の動きを解析することで、ユーザの目の動作を推定する。目の動作としては、まばたきの有無、或いは、視線移動の有無(視線方向、視線位置の変化等も含む)等が該当する。例えば、制御部50は、画像データ或いは動画データに含まれる被写体(目)を抽出し、さらに黒目領域の中心を算出する等の所定の処理を施すことによって視線移動の有無を推定する。なお、画像から被写体を抽出する方法としては、種々の画像処理技術を用いることができる。
記憶部60は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成され、各種プログラムを記憶する。記憶部60は、検出部40から出力された情報から推定され得るユーザの目の動作パターンと、各動作パターンに対応付けられた複数の出力パターンとを予め記憶している。
通信部70は、アンテナとRF回路部とから成り、制御部50による制御に基づいて、外部装置と無線または有線で通信(電話通信及び情報通信)を行う。
以下、電子機器1がユーザの目の所定の動作を検出することで、該動作に対応付けられた所定の出力動作を行う例を、図5〜12を参照して説明する。図5は、記憶部60に記憶される、ユーザの所定の目の動作とそれに対応付けられた出力パターンの組み合わせの一例を示している。図6は、電子機器1において、図5に例示された所定の出力パターンに基づいた表示部20の表示態様の一例を示す図である。
パターン1において、ユーザは、正視した状態にあり、目の所定の動作を行っていない。この場合、制御部50は、ユーザによる入力操作があったことを認識せず、従って出力処理を行わない。
パターン2における「視線の所定方向への移動」は、例えば、表示画面上でのオブジェクトの所定方向への移動に対応付けられる。また、「視線の所定方向への移動」は、例えば、表示平画面における所定の位置を指定する操作に対応付けられても良い。また、「視線の所定方向への移動」は、例えば、電子機器1に所定の処理を実行されるようにしても良い。所定の処理としては、例えば、表示部20に所定の操作画面を表示させる処理等が挙げられる。
パターン3における「視線の所定方向への移動後に注視」する動作は、例えば、電子機器1に所定の処理を実行させる操作に対応付けられる。例えば、ユーザの視線位置が表示部20に表示された所定の操作アイコンと重なる位置に移動した後に、所定時間(例えば1秒)以上その操作アイコンをユーザが注視すると、操作アイコンが選択されたものと見なされ、操作アイコンに対応付けられた所定の処理を実行するようにする。
パターン4における「複数回の瞬き」を行う動作は、例えば、電子機器1に所定の処理を実行させる操作に対応付けられる。例えば、ユーザの視線位置が表示部20に表示された所定の操作アイコンと重なっている状態で、瞬きを複数回行うと、操作アイコンが選択されたものと見なされ、操作アイコンに対応付けられた所定の処理を実行するようにする。また、他にも、電子機器1の起動・停止、スリープ状態への移行・解除、音楽アプリ―ケーションにおける音楽再生の実行・停止等のI/O動作を実現させるための入力に割り当てられても良い。
次に、電子機器1の表示部20の表示態様について説明する。図6は、電子機器1の表示部20の表示態様の第1例を示す図である。図1に示す電子機器1のように、表示部20の形状は曲線部分を含みうるが、図6では、簡単のため、表示部20の一部の領域を抜粋した長方形状の領域を表示領域21として示している。
図6(a)に示すように、表示領域21において、左上には日時や電子機器1により実行中の音楽アプリケーションに関連して、再生中の楽曲に関する情報(楽曲名、再生時間等)が表示されている。この情報は、文字情報として表示されているが、このような表示態様には限定されず、例えば、有色透明な画像上に不透明な文字が重ねられて表示されても良いし、不透明な画像上に文字が重ねられて表示されても良い。なお、図6(a)に示される表示態様は、例えば、ユーザが正視状態にある(図5におけるパターン1)場合に取られる状態である。
ここで、ユーザの視線が右方向へ移動したことを検出部40が検出した場合、図6(b)−1、図6(b)−2に示されるように、表示部20の領域21には、楽曲再生における音量調整のためのオブジェクト80が表示される。なお、オブジェクト80は、音量を調整するためのスライドバーを含んでいる。
図6(b)−1は、オブジェクト80が表示される途中過程を示しており、図6(b)−2は、オブジェクト80が表示部20に表示された後の状態を示している。図6(b)−1からわかるように、ユーザが視線を右方向へ移動した場合に、オブジェクト80は、表示領域21における該表示領域21の右端部の外側から内側に進入するように表示される。また、図6(b)−2では、表示領域21が5個の領域(21a〜21e)に区分けされた図が模式的に示されており、ユーザが視線を右方向へ移動した場合のオブジェクト80の表示箇所は、表示領域21の右側端部である領域21eとなっている。
図6(a)、(b)に示すように、本発明に係る電子機器1は、ユーザの視線が所定方向へ移動したことを検出部40が検出すると、表示部20に所定の第1画像(オブジェクト)を表示する構成を有する。従って、ユーザが視線を移動させていない状態では画像を表示させず、ユーザの視界がより広く保たれ、ユーザが意図して視線を移動させた場合に、ユーザの所望とする画像を表示させることができるため、利便性が向上する。即ち、入力の際の操作性が向上された入力態様を実現することができる。
ここで、ユーザの一連の視線移動における視線経路が直線的ではなく曲線部分を多く含む場合には、ユーザの視線移動の方向が特定されにくくなる。このような場合、例えば、視線移動が開始された点(始点)と視線移動が終了した点(終点)とを結んだ線をユーザの視線移動の方向を特定しても良い。また、例えば、視線移動が終了した点(終点)と、該終点から所定区間遡った点とを結んだ線をユーザの視線移動の方向を特定しても良い。
また、本発明に係る電子機器1において、所定の第1画像は、表示領域21の外郭部分とユーザの視線方向とが交わる点の近傍に表示されるようにしても良い。例えば、図6(b)に示すように、ユーザの視線が右方向へ移動し、その移動方向と表示領域21の右辺とが交わると、右辺近傍の領域(領域21e)にオブジェクト80(第1画像)が表示される。
また、本発明に係る電子機器1において、所定の第1画像(オブジェクト)は、表示部20の表示領域21における外側から内側に進入するようにして表示される。このような構成とすることにより、ユーザの視線移動を契機として所望の画像(オブジェクト)が表示されたことをユーザが認識しやすくなる。
ここで、上記の説明では、ユーザの視線が単に右方向へ移動したことをオブジェクト80の表示の契機としたが、これに限定されず、例えば、ユーザの視線位置が図6(b)−2における領域21eへ移動したことを契機としてオブジェクト80を表示させるようにしても良い。即ち、本発明に係る電子機器1は、表示部20の表示領域21において予め区分けされた複数の領域の内の第1領域から第2領域へ視線が移動すると、該第2領域に所定の第1画像を表示する構成を有していても良い。このような構成を有することにより、ユーザが実際に視線を移動させた位置にユーザの所望する画像を表示することができるので視認しやすくなる。
このとき、第1画像(オブジェクト)は、第2領域の外部における第1領域とは反対側の領域から、第2領域内へ進入するようにして表示されるようにしても良い。
また、例えば、ユーザの視線位置が図6(b)−2における領域21eに所定時間以上、継続してあることを契機として、領域21eにオブジェクト80を表示させるようにしても良い。即ち、本発明に係る電子機器1は、表示部20の所定の表示領域に視線位置が継続してあることを検出部50が検出すると、該表示領域に所定の第1画像を表示する構成を有していても良い。
また、所定のタイミングで、ユーザの視線位置が所定の表示部20の所定の表示領域にあることを契機として第1画像を表示するようにしても良い。例えば、本発明に係る電子機器1を起動させたときに、ユーザの視線位置が表示部20の所定の表示領域として領域21eにある場合には、第1画像としてオブジェクト80を表示しても良い。
また、第1領域を、所定の表示が常時なされるメイン表示領域とし、第2領域を、ユーザの視線位置が重なっているときだけ表示を行うサブ表示領域としても良い。
なお、所定の第1画像として、実行中の所定アプリケーションにおいて、所定の処理を実行させるための操作アイコンを表示する構成とすれば、該操作アイコンに対する所定の操作をユーザが行うことで容易に操作可能となる。
ここで再度、図6を参照すると、図6(b)−2において、領域21eには、音量調整のためのオブジェクト80(スライドバー)が表示され、現在、音量が20に設定されて楽曲が再生されている状態が示されている。この状態では、ユーザの更なる操作により音量調節可能であり、例えば、操作部30に対する所定の操作を行うことによって音量を調整可能となっている。操作部30に対する所定の操作として、前述したように、ユーザが電子機器1の側面部12或いは13に対するスライド操作を行い、操作部30としてのタッチセンサがこれを検出したことを契機として、音量が調整される。例えば、図6(b)−2に示されるように、音量が20の状態であるときに、ユーザが電子機器1の側面部12をタッチして、後方から前方へとスライド操作を行うと、図6(c)に示されるように、音量が80へと増大する。
つまり、本発明に係る電子機器1は、視線の移動を契機として、アプリケーションの実行内容に関連付けられたパラメータを調整可能なオブジェクト(スライドバー)が含まれた第1画像を表示し、第1画像が表示されている状態で、操作部30による所定の操作を行うことによりパラメータの調整が成される構成を有する。このような構成を有することにより、検出部40による検出内容と操作部30に対する操作内容とを組み合わせることによって、より多くの種類の操作を実行可能にできる。
次に、電子機器1の表示部20の他の表示態様について説明する。図7は、電子機器1の表示部20の表示態様の第2例を示す図である。図7では、電子機器1が動画再生を実行している例が示されている。
図7(a)に模式的に示すように、表示領域21は、予め、5個の領域(21a〜21e)に区分けされている。図7(a)に示すように、領域21dには、動画再生アプリケーションに関する操作アイコン(動画再生アイコン、再生停止アイコン、シークバー(データの再生箇所を表示する機能)等)を含むオブジェクト81aが表示されている。
図7(a)に示す状態で、ユーザの視線が左方向へ移動したことを検出部40が検出した場合、図7(b)に示されるように、表示部20の左側の領域(図7(a)の領域21aに相当)には、輝度を調整するためのオブジェクト81bが表示される。
また、図7(a)に示す状態で、ユーザの視線が右方向へ移動したことを検出部40が検出した場合、図7(c)に示されるように、表示部20の右側の領域(図7(a)の領域21eに相当)には、音量を調整するためのオブジェクト81cが表示される。
上記のように、本発明に係る電子機器1は、ユーザの視線が左方向へ移動すると、表示部20の表示領域21において区分けされた複数の領域の内、左側の領域21aに第1画像を表示し、ユーザの視線が右方向へ移動すると、表示部20の表示領域21において区分けされた複数の領域の内、右側の領域21eに第2画像を表示する。このような構成を有することにより、視線の移動方向によって異なる画像を表示することができ、さらには、その画像を、視線が移動した位置の近傍に併せて表示することができるため、利便性が向上する。
ここで、上記の説明では、ユーザの視線が単に所定方向へ移動したことをオブジェクトの表示の契機としたが、これに限定されない。例えば、表示部20の表示領域21において予め区分けされた複数の領域の内の第1領域(領域21c)から第2領域(領域21a)へ視線が移動すると、該第2領域にオブジェクト80b(第1画像)を表示させ、第1領域(領域21c)から第3領域(領域21e)へ視線が移動すると、該第3領域にオブジェクト80c(第2画像)を表示させても良い。
また、例えば、ユーザの視線位置が図7(a)における領域21aに所定時間以上、継続してあることを契機として、領域21aにオブジェクト80b(第1画像)を表示させ、視線位置が図7(a)における領域21eに所定時間継続してあることを契機として、領域21eにオブジェクト80c(第2画像)を表示させるようにしても良い。
なお、図7に示す例では、表示部20の左側の領域(領域21a)に第1画像としてオブジェクト81bを表示し、表示部20の右側の領域(領域21e)に第2画像としてオブジェクト81cを表示する構成としたが、これに限定されず、表示部20の左側の領域(領域21a)に第1画像(オブジェクト81b)を表示し、表示部20の右側の領域(領域21e)に同じく第1画像(オブジェクト81b)を表示しても良い。
領域21aと領域21eとの双方に同一のオブジェクトを表示させる構成としても良い。
また、表示部20の左右端部近傍の領域(領域21aと領域21e)にオブジェクトを表示する構成に限定されず、例えば、ユーザの視線が下方向に移動すると、表示部20の下端部の領域21dにオブジェクトを表示させ、ユーザの視線が上方向に移動すると、表示部20の上端部の領域21bにオブジェクトを表示させるようにしても良い。即ち、本発明に係る電子機器1は、ユーザの視線が第3方向に移動すると第3画像を表示し、第4方向に移動すると第4画像を表示しても良い。このとき、第3画像は、例えば、図7に示すオブジェクト81aである(この場合、オブジェクト81aは常時表示されないものとする)。また、第4画像は、例えば、図6に示したような日時等の情報等であって良い。
図8は、電子機器1の表示部20の表示態様の第3例を示す図である。図8では、第2例と同様、電子機器1が動画再生を実行している例が示されている。
図8において、表示部20は、図1に示すように、ユーザの左目の目前に配置される第1表示部20aとユーザの右目の目前に配置される第2表示部20bとを有している。ここで、ユーザの視線が左方向へ移動すると、第1表示部の表示領域22aにおいて区分けされた複数の領域の内、左側の領域(図8においては、表示領域22aにおける左端近傍の領域)に第1画像として輝度を調整するためのオブジェクト81bを表示する。また、ユーザの視線が右方向へ移動すると、前記第2表示部の表示領域22bにおいて区分けされた複数の領域の内、右側の領域(図8においては、第2表示領域22bにおける右端近傍の領域)に第2画像として音量を調整するためのオブジェクト81cを表示する。このような構成とすることにより、ユーザの視界における左右の外側にオブジェクトを表示することができるので、視界の妨げを軽減できる。
また、本発明に係る電子機器1では、左側頭部の近傍に設けられる第1操作部30aが左側の表示部20aに表示される第1画像(オブジェクト81b)に関連する操作を受け付け、右側頭部の近傍に設けられる第2操作部30bが右側の表示部20bに表示される第2画像(オブジェクト81c)に関連する操作を受け付ける構成を有していても良い。このような構成を有することにより、例えば、ユーザが視線を左方向に移動させている、即ち、画面の左側を見ているときには、左側頭部の近傍の操作部に対して操作を行える(多くの場合には左手で操作を行える)ので、目の動作と手の動作を組み合わせた入力操作が煩わしくならず、利便性が向上する。
次に、電子機器1の表示部20の表示態様における第4例について図9を参照して説明する。第4例において、電子機器1はブラウザアプリケーションを実行している。このとき、電子機器1は、複数のウェブページ間を互いに遷移させて該複数のウェブページの内の一のページを表示可能である。例えば、図9(a)に示すように、表示部20の表示領域21には、複数のウェブページの内の一のページとしてページ82aが表示されている。
ここで、ユーザの視線が左方向へ移動したことを検出部40が検出した場合、図9(b)に示されるように、表示領域21における左端部近傍の領域に、ページ82aとは異なる第1画像(ページ82b)が表示される。このとき、ページ82bは、ページ82aに一部重畳して表示される。また、ページ82bの表示内容の一部または全部が第1画像として表示される。従ってユーザは、表示領域21の大部分においてページ82aを視認しつつ、ページ82aとは異なる他のページ82bの表示内容を確認することができる。
また、表示部20の表示状態が図9(a)に示す状態である場合に、ユーザの視線が右方向へ移動したことを検出部40が検出した場合、図9(c)に示されるように、表示領域21における右端部近傍の領域にページ82aとは異なる第2画像(ページ82c)が表示される。
ここで例えば、図9(b)におけるページ82bは、ページ82aよりも前のウェブページであり、図9(c)におけるページ82cは、ページ82aの次のウェブページとすることができる。
また、例えば、図9(b)に示すような、第1画像(ページ82bの一部または全部)が表示されている状態で、ユーザの目の所定動作を検出部40が検出すると、図9(d)に示すように、ページ82b(他のページ)に表示を遷移させるようにしても良い。即ち、表示領域21の大部分にページ82aを表示している状態から表示領域21の大部分にページ82bを表示している状態に遷移させる。また、例えば、図9(c)に示すような、第2画像(ページ82cの一部または全部)が表示されている状態で、ユーザの目の所定動作を検出部40が検出すると、ページ82c(他のページ)に表示を遷移させるようにしても良い。即ち、表示領域21の大部分にページ82aを表示している状態から表示領域21の大部分にページ82cを表示している状態に遷移させる。なお、ユーザの目の所定動作としては、例えば、図5のパターン4である複数回の瞬きを行う動作として良い。このような構成とすることにより、ユーザが他のページを確認しながら、該他のページの表示に遷移させたいときに容易な動作で実現できる。
次に、電子機器1の表示部20の表示態様における第5例について図10を参照して説明する。第5例において、ユーザは表示部20を介して所定の物体を視認しており、また、表示部20にはその物体に関連付けられた情報を含む所定の画像が表示されている。例えば、図10(a)に示されるように、ユーザは街中を歩いており、表示部20を介して建物100を視認している。そして、表示部20の表示領域21には、建物100に関連付けられた情報が吹き出し形式で表示されている(オブジェクト83a)。
ここで、ユーザの視線が左方向へ移動したことを検出部40が検出した場合、吹き出し形式で表示されているオブジェクト83aは、図10(b)に示されるように、表示部20の表示領域21における左端部近傍の領域に移動して表示される。
上記のように、本発明に係る電子機器1は、表示部20の表示領域において区分けされた複数の領域の内の第1領域に所定の画像が表示されている状態(図10(a)における吹き出し形式で表示された状態)で、ユーザの視線が第2領域に移動すると、或いは、第1領域から第2領域へ向かう方向に視線が移動すると、所定の画像(オブジェクト83a)が第1領域から第2領域に移動して表示される構成を有する。このような構成を有することにより、視線を動かすだけで、ユーザにとって不要となった情報や視界の妨げになっている情報をユーザの所望する表示領域に移すことができるため、煩わしい思いをしないで済む。
また、本発明に係る電子機器1は、図10(b)に示されるように、オブジェクト83a(所定の画像)が表示領域21における左端部近傍の領域(第2領域)に移動して表示される場合には、オブジェクト83aと建物100とが対応付けられている旨の表示を行っても良い。例えば、図10(b)に示されるように、オブジェクト83aが表示されている領域の近傍と、建物100と重なる位置には其々、アルファベットの「A」が表示されている。このような構成とすることにより、建物100に関する情報を、視線の移動によって建物100が視認される領域と離れた領域に表示させた場合であっても、建物100と情報とが互いに関連付けられていることを容易に把握することができる。
また、本発明に係る電子機器1は、図10(a)に示すような、表示部20の表示領域21にオブジェクト83aが表示されている状態で、所定時間内にユーザの視線が左右に移動したことを検出部40が検出すると、オブジェクト83aが表示部20の表示領域21の左右端部近傍に移動して表示される、或いは、表示されなくなるようにしても良い。このような構成とすることにより、視線の簡単な移動動作によって、オブジェクト83a(所定の画像)をユーザの視界の妨げとならない領域に移動させて表示させることができる。
次に、電子機器1の表示部20の表示態様における第6例について図11を参照して説明する。第6例では、電子機器1において、道案内アプリケーションが実行されている。図11(a)に示されるように、表示部20の表示領域21における左上の領域にはユーザの現在位置付近の地図画像84が表示されている。また、表示部20の表示領域21における右上の領域にはユーザの現在位置付近の航空写真85が表示されている。
ここで、ユーザの視線が左上方向へ移動したことを検出部40が検出した場合、地図画像84は、図11(b)に示されるように拡大表示される。
また一方で、表示部20の表示態様が図11(a)に示す状態である場合において、ユーザの視線が右上方向へ移動したことを検出部40が検出した場合、航空写真85は、図11(c)に示されるように拡大表示される。
このように、本発明に係る電子機器1は、ユーザの視線が所定の方向(第1方向)へ移動することを検出部40が検出すると、第1画像を拡大表示する構成を有する。このような構成を有することにより、ユーザの所望とする画像に対して、視線の移動動作のみで拡大表示を行うことができるため、利便性が向上する。
また、図11(b)に示すような、地図画像84(第1画像)が拡大表示されている場合に、ユーザの視線が左上方向(第1方向)と異なる方向へ移動すると地図画像84を縮小表示し、例えば、図11(a)に示す状態に戻す構成としても良い。
また、図11(b)に示すような、地図画像84(第1画像)が拡大表示されている場合に、ユーザの視線が右上方向(第2方向)へ移動すると航空写真85(第2画像)を拡大表示するともに、地図画像84(第1画像)を縮小表示するようにしても良い。このような構成を有することにより、ユーザが地図画像84から他の表示領域に視線を移すタイミングで地図画像84が縮小表示されるので使い勝手が良い。
なお、上記の例では、ユーザの視線が所定の方向へ移動することを契機として、第1画像を拡大表示する構成としたが、このような構成に限定されない。例えば、ユーザの視線位置が第1画像の表示領域に所定時間以上あることを検出部40が検出すると第1画像を拡大表示するようにしても良い。また、第1画像が拡大表示されている場合に、ユーザの視線が所定の方向へ移動すると、ユーザが第1画像とは異なる表示を見ようとしているものと判断し、該第1画像を縮小表示するようにしても良い。
上記のような構成によれば、ユーザは、電子機器1に道案内アプリケーションを実行させている際に、地図画像84と航空写真85とを容易に切り替えながら、目的地を把握できるようになる。
次に、電子機器1の表示部20の表示態様における第7例について図12を参照して説明する。第7例では、電子機器1において、学習アプリケーションが実行されている。図12(a)に示されるように、表示部20の表示領域21には試験問題が表示されている。
ここで、ユーザの視線が右方向へ移動したことを検出部40が検出すると、表示部20に問題の解法に関するヒント1(第1情報86a)を表示する。例えば、図12(b)に示すように、ヒント1は、表示領域21の右端部近傍の領域に表示される。従って、ユーザは、表示されたヒント1を参考にして、問題を解くことができる。
また、表示部20にヒント1が表示された後に、再度、ユーザの視線が右方向へ移動したことを検出すると、図12(c)に示すように、ヒント1に関する他のヒント2(あるいはヒント1に対する詳細なヒント2)(第2情報86b)を表示部20に表示する。従って、ユーザは、ヒント1のみでは解法が分からない場合にはヒント2を参考にすることによって、問題を解くことができる。
また、ユーザの視線が左方向へ移動したことを検出部40が検出すると、表示部20に問題の答え86cを表示するようにしても良い。例えば、図12(d)に示すように、答えは、表示領域21の左端部近傍の領域に表示される。また、答えが表示されている表示領域にユーザの視線が位置している状態で、ユーザの目の所定動作を検出部40が検出すると、表示部20に問題の解法の詳細(解説内容)を表示するようにしても良い。
以上、説明してきたように、本発明によれば、入力の際の操作性をさらに向上させる新規な入力態様が施された電子機器を提供することができる。
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。さらに、本明細書において開示される全ての技術的事項は、矛盾しないように再配置可能であり、複数の構成部を1つに組み合わせたり、或いは分割したりすることが可能である。
上記の実施形態では、電子機器1が、眼鏡形状(ゴーグル形状)のような形状を有する例を示してきたが、ウェアラブル装置1の形状はこれに限定されない。例えば、ウェアラブル装置1は、図13に示すように、ユーザの頭部のほぼ上半分を覆うようなヘルメットタイプの形状を有していても良い。或いは、電子機器1は、図13に示すように、ユーザの顔面のほぼ全体を覆うようなマスクタイプの形状を有していても良い。
また、上記の実施形態では、表示部20がユーザの左右の目の前に設けられる一対の表示部20a、20bを有している構成を例示してきたが、これに限定されず、表示部20は、ユーザの左右の目の内の一方の前に設けられる一つの表示部を有している構成であっても良い。
また、上記の実施形態では、正面部の縁部が、表示部20の表示領域の縁の全周を囲っている構成を例示してきたが、これに限定されず、表示部20の表示領域の縁の一部のみを囲っている構成であっても良い。
1 電子機器
10 装着部
11 正面部
12、13 側面部
20 表示部
30 操作部
40 検出部
50 制御部
60 記憶部
70 通信部

Claims (7)

  1. 表示部と、
    ユーザの視線移動を検出する検出部と、を備え、
    前記視線が所定方向へ移動したことを前記検出部が検出すると、前記表示部の表示領域における前記所定方向側に像を表示し、
    前記表示部は、ユーザの左目の眼前に配置される第1表示部と、ユーザの右目の眼前に配置される第2表示部と、を有し
    ユーザの視線が左方向へ移動すると、前記第1表示部の表示領域において区分けされた複数の領域の内、左側の領域に第1画像を表示し、
    ユーザの視線が右方向へ移動すると、前記第2表示部の表示領域において区分けされた複数の領域の内、右側の領域に第2画像を表示する
    電子機器。
  2. 前記像は、前記表示部の表示領域において、該表示領域の外郭部分と前記視線の移動方向とが交わる点の近傍に表示される
    請求項1に記載の電子機器。
  3. 前記所定方向は、前記視線移動が開始された点と該視線移動が終了した点とを結んだ線と同方向である
    請求項1又は2に記載の電子機器。
  4. 前記像は、前記表示部の表示領域の外部側から内部側に進入するように表示される。
    請求項1から3の何れか一項に記載の電子機器。
  5. 左側頭部の近傍に設けられる第1操作部と、右側頭部の近傍に設けられる第2操作部と、を有し、ユーザからの操作を受け付ける操作部をさらに備え、
    前記第1操作部は、前記第1画像に関連する操作を受け付け、
    前記第2操作部は、前記第2画像に関連する操作を受け付ける
    請求項1に記載の電子機器。
  6. ユーザの左側の耳で支持される第1側面部と、
    ユーザの右側の耳で支持される第2側面部と、を備え、
    前記第1操作部は前記第1側面部に設けられ、
    前記第2操作部は前記第2側面部に設けられる
    請求項5に記載の電子機器。
  7. 前記第1画像又は前記第2画像中には、所定アプリケーションの実行内容に関連付けられたパラメータを調整可能なオブジェクトが含まれ、
    前記操作部に対する所定操作により、前記パラメータが調整される
    請求項5または6に記載の電子機器。
JP2014199004A 2014-09-29 2014-09-29 電子機器 Active JP6367673B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014199004A JP6367673B2 (ja) 2014-09-29 2014-09-29 電子機器
PCT/JP2015/077525 WO2016052510A1 (ja) 2014-09-29 2015-09-29 電子機器
US15/515,136 US20170212587A1 (en) 2014-09-29 2015-09-29 Electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014199004A JP6367673B2 (ja) 2014-09-29 2014-09-29 電子機器

Publications (2)

Publication Number Publication Date
JP2016071539A JP2016071539A (ja) 2016-05-09
JP6367673B2 true JP6367673B2 (ja) 2018-08-01

Family

ID=55630537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014199004A Active JP6367673B2 (ja) 2014-09-29 2014-09-29 電子機器

Country Status (3)

Country Link
US (1) US20170212587A1 (ja)
JP (1) JP6367673B2 (ja)
WO (1) WO2016052510A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP6714402B2 (ja) * 2016-03-18 2020-06-24 国立大学法人大阪大学 眼疲労検査装置及び眼疲労検査方法
JP7243193B2 (ja) * 2019-01-10 2023-03-22 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JP7433810B2 (ja) * 2019-08-21 2024-02-20 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム及び記憶媒体
US11792500B2 (en) * 2020-03-18 2023-10-17 Snap Inc. Eyewear determining facial expressions using muscle sensors

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
US7204250B1 (en) * 1999-12-16 2007-04-17 Compumedics Limited Bio-mask
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
WO2010062481A1 (en) * 2008-11-02 2010-06-03 David Chaum Near to eye display system and appliance
US20100182232A1 (en) * 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US9377863B2 (en) * 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen

Also Published As

Publication number Publication date
JP2016071539A (ja) 2016-05-09
US20170212587A1 (en) 2017-07-27
WO2016052510A1 (ja) 2016-04-07

Similar Documents

Publication Publication Date Title
JP6367673B2 (ja) 電子機器
US11886638B2 (en) External user interface for head worn computing
US20240036686A1 (en) External user interface for head worn computing
CN110168618B (zh) 增强现实控制系统和方法
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
US10591729B2 (en) Wearable device
RU2638004C2 (ru) Устройство обработки информации, способ управления отображением и программа
US9223401B1 (en) User interface
JP5387557B2 (ja) 情報処理装置及び方法、並びにプログラム
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
US9864429B2 (en) Method for controlling device on the basis of eyeball motion, and device therefor
US20170017323A1 (en) External user interface for head worn computing
US20150205351A1 (en) External user interface for head worn computing
JP6547741B2 (ja) 情報処理システムおよび情報処理方法
US20200057494A1 (en) Electronic device
KR20200029631A (ko) 머리-장착형 디스플레이에서의 메뉴 내비게이션
US11194392B2 (en) Method of calibrating eye-tracking application and related optical system
JP2019105678A (ja) 表示装置、及び画像表示方法
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
US20230333646A1 (en) Methods for navigating user interfaces
CN117916777A (zh) 手工制作的增强现实努力证据
JP6456003B2 (ja) 視線操作装置及び方法、並びに医療機器
CN115598842A (zh) 提升用户体验和注视互动准确度的光学系统和相关方法
US10691250B2 (en) Information processing device, information processing method, and program for preventing reflection of an operation in an output
JP2014235437A (ja) 表示装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180705

R150 Certificate of patent or registration of utility model

Ref document number: 6367673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150