JP7309830B2 - 電子機器及び表示方法 - Google Patents
電子機器及び表示方法 Download PDFInfo
- Publication number
- JP7309830B2 JP7309830B2 JP2021199312A JP2021199312A JP7309830B2 JP 7309830 B2 JP7309830 B2 JP 7309830B2 JP 2021199312 A JP2021199312 A JP 2021199312A JP 2021199312 A JP2021199312 A JP 2021199312A JP 7309830 B2 JP7309830 B2 JP 7309830B2
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- display
- electrode
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Description
図1、図2、図3を参照して、実施形態に係る眼球回転検出装置の構成の一例を説明する。眼球回転検出装置の形態は種々あるが、ここでは、アイウェアの形態の眼球回転検出装置の例を示す。アイウェアとしては、ゴーグル、メガネ(サングラスはメガネと等価である)等があるが、ここではメガネ型眼球回転検出装置を説明する。図1はメガネ型眼球回転検出装置の一例を正面から見た図、図2はメガネ型眼球回転検出装置の一例を後ろ上方から見た図である。図3はメガネ型眼球回転検出装置の一例をかけたユーザを右前方から見た図である。
Eye Movement)と、左右の眼球が同じ向きに意識的に回転する視線移動と、左右の眼球が反対向きに回転する動作に輻輳・開散に大別される。輻輳は左右眼球の視線方向が交差することであり、開散は左右眼球の視線方向が発散することである。眼球回転は眼電位の変化に基づいて検出される。眼電位は眼球を挟む一対の電極からの電圧の差分により検出できる。眼球を挟む方向は左右、上下、前後のいずれの方向でもよいし、斜めでもよい。眼球を上下から挟むように配置された電極対で検出される眼電位から瞬目、目瞑り、ウインク等が検出できる。眼球を上下及び左右から挟むように配置された電極対で検出される眼電位から、瞬目、目瞑り、ウインク、緩徐運動及び視線移動が検出できる。眼球を前後及び左右から挟むように配置された電極対で検出される眼電位から、緩徐運動、視線移動及び輻輳・開散が検出できる。
メガネは右フレーム12と、左フレーム14と、両フレーム12、14を繋ぐブリッジ26とを含む。この明細書で右、左はメガネを装着するユーザから見た右、左である。正面から見た図1では逆になっており、図1の右側のフレームが左フレーム14である。眼電位検出だけの装置であれば、右フレーム12と左フレーム14にはレンズやガラスを嵌め込まなくてもよいが、ユーザがメガネを常用する場合は、常用するメガネの代わりにユーザに合った度数のレンズが右フレーム12、左フレーム14に嵌め込まれてもよい。ユーザがメガネを常用しない場合は、単なるガラスが右フレーム12、左フレーム14に嵌め込まれてもよい。眼電位検出だけの装置ではなく、眼電位から視線移動又は輻輳角変化を検出し、その検出結果を応用する製品、例えばAR表示が可能なメガネ型ウェアラブル装置を構成する場合は、右フレーム12、左フレーム14の少なくとも一部にAR表示用の液晶パネルあるいは有機ELパネルが嵌め込まれてもよい。
図2に示すように、一方のテンプル、例えば右テンプル18のフレーム12に近い部分に眼電位の検出のための処理部30が内蔵あるいは外付けされている。他方のテンプル、例えば左テンプル20のフレーム12に近い部分に処理部30のためのバッテリ34が内蔵あるいは外付けされている。処理部30は単に眼電位検出だけではなく、AR表示が可能なメガネ型ウェアラブル装置においては、表示制御も行ってもよい。処理部30はメガネに内蔵するのではなく、メガネの外部に設け、無線又はワイヤでメガネと処理部30とを接続してもよい。その場合、バッテリ34は処理部30に内蔵してメガネの外部に設けることができる。また、処理部30の機能を2つに分けて、電極からの信号をセンスする第1処理部のみメガネに設け、センス信号から眼電位を検出したり、検出結果に応じて制御する第2処理部をメガネの外部に設けてもよい。スマートフォン等の携帯端末を第2処理部として使用することができる。第2処理部はメガネに直接接続される携帯端末等に限らず、ネットワークを介して接続されるサーバ等も含む。
Low Energy(登録商標)、Wi-Fi(登録商標)などの通信方式による通信機器を利用してもよい。眼動検出部75の検出結果(眼動検出結果、状態推定結果)は、RAM78に一時的に格納され、その後無線LANデバイス80等の通信機器を介して、携帯端末84に送られてもよい。あるいは、眼動検出部75の検出結果は携帯端末84にリアルタイムで送られてもよい。携帯端末84は眼動検出部75の検出結果を図示しない内蔵のメモリに格納してもよいし、検出結果をネットワーク86を介してサーバ88へ転送してもよい。携帯端末84は眼動検出部75の検出結果に応じて何かの処理を開始してもよく、処理結果を内蔵のメモリに格納してもよいし、処理結果をネットワーク86を介してサーバ88へ転送してもよい。サーバ88は多くの眼動検出部75からの検出結果や多くの携帯端末84の処理結果を集約して、いわゆるビッグデータ解析を行ってもよい。
図5、図6、図7は中性電極46の配置の変形例を示す。上記の説明では、左右別個のノーズパッド22、24が設けられているが、図5の変形例では、左右一体型の逆V字若しくは逆U字型のノーズパッド52が設けられる。ノーズパッド52の開いた両脇の右内側に右ノーズパッド電極42が設けられ、左内側に左ノーズパッド電極44が設けられ、V字若しくはU字の頂点部分の内側に中性電極46が設けられる。これにより、額パッド26を設けることなく、額に接する中性電極46を設けることができる。
図8~図12を参照して、視線方向が正面方向を向いている状態から右眼球及び左眼球を左右回転した場合のA/Dコンバータ62から出力されるEOG信号ADC Ch0、A/Dコンバータ64から出力されるEOG信号ADC Ch1、A/Dコンバータ66から出力されるEOG信号ADC Ch2の波形の変化の一例を示す。
Ch1と第3のEOG信号ADC Ch2には逆相のEOG信号が現れる。第1のEOG信号ADC Ch0には+/-の関係が同じである第2のEOG信号ADC Ch1と同相のEOG信号が現れる。
Ch1と第3のEOG信号ADC Ch2には逆相のEOG信号が現れる。ただし、右眼球ER、左眼球ELがともに左に回転する場合に対してそれぞれ逆相である。第1のEOG信号ADC Ch0には+/-の関係が同じである第2のEOG信号ADC Ch1と同相のEOG信号が現れる。ただし、右眼球ER、左眼球ELがともに右回転する場合の第1のEOG信号ADC Ch0は、右眼球ER、左眼球ELがともに左回転する場合の第1のEOG信号ADC Ch0に対して逆相である。
Ch1と第3のEOG信号ADC Ch2には同相のEOG信号が現れる。ただし、離れ目の場合の第2のEOG信号ADC Ch1と第3のEOG信号ADC Ch2は、寄り目の場合の第2のEOG信号ADC Ch1と第3のEOG信号ADC Ch2に対してそれぞれ逆相である。
図15は第2実施形態に係るメガネ型眼電位検出装置100の一例を正面から見た図である。第1実施形態の検出装置と異なるのは、右フレーム12、左フレーム14の少なくとも一部にAR表示用のディスプレイ(例えば、有機ELパネル又は液晶パネル)102、104が嵌め込まれている点である。AR画像を3D表示しない場合は、右フレーム12、左フレーム14の一方にはディスプレイ102又は104が嵌め込まれていなくてもよい。ここでは、AR画像は3D表示されるとする。EOG電極の配置は第1実施形態と同じである。AR表示可能なメガネ型眼電位検出装置100の応用例は種々あるが、第2実施形態としては、手術支援システムを例に説明する。手術を執刀する医師や手術に関係するスタッフがメガネ型眼電位検出装置100をかける。
輻輳検出の他の応用例としては、作業手順の確認がある。図20はメガネ型眼電位検出装置を含む作業確認システムの電気的な構成の一例を示すブロック図である。作業確認にはAR表示は必須ではないが、確認結果を作業者に直ぐに伝えるためにAR表示を利用してもよい。処理部30は図16に示した第2実施形態と同じである。制御装置120の代わりに、図4に示す第1実施形態と同様に、スマートフォン等の携帯端末84を用いてもよい。制御装置120は視線移動判別部148、視線移動パターンメモリ142を含む。視線移動判別部148は眼動検出部75で検出された眼球回転の変化パターンから視線移動(視線方向右移動、視線方向左移動、視線方向交差(輻輳)を判別し、視線移動パターンを視線移動パターンメモリ142に格納する。視線移動パターンメモリ142のデータはネットワーク86を介してサーバ88にアップロードされる。
眼電図では、輻輳角の具体的な角度は得られず、輻輳状態となる眼球の回転方向だけが得られる。そのため、上記の実施形態では輻輳が検出され、応用例では、輻輳角自体には関わらず、輻輳の検出か否かの二値的な状態に基づいて制御が行われている。しかし、距離が既知の複数の目標物が存在する場合には、複数の目標物を見て、複数の距離に対する眼電図を定期的に測定することにより、既知の複数の距離に対する眼電位の値を求めることができ、3つ以上の輻輳状態を識別することがでる。例えば、遠方の目標物を見ている時はAR表示はオフで、中距離の目標物を見ている時は第1のAR画像を表示させ、近距離の目標物を見ている時は第2のAR画像を表示させてもよい。
上述した実施形態によれば、右眼球の左右回転と左眼球の左右回転を独立して検出することができるので、左右眼球の視線方向の交差である輻輳を検出することができる。輻輳は無意識には発生ぜず、被検者の意識的な眼球回転により発生する。そのため、輻輳の検出に応じた制御を行うことにより、被検者の意図に応じたハンズフリー制御を行うことができる。例えば、AR表示を行うメガネ型ウェアラブル端末において、寄り目とすることによりAR画像を表示開始させ、遠方の目標物を見ることによりAR画像を表示終了させることができる。
Claims (2)
- 現実世界の目標物に対して右画像と左画像からなる両眼の拡張現実画像を重ねて表示する表示部と、
ユーザの右眼球の視線方向と左眼球の視線方向が交差する角度を検出するとともに、前記右眼球と前記左眼球の少なくとも一方の上下方向の回転に基づいて前記ユーザの目瞑りを検出する検出器と、
前記検出器によって検出された前記角度に基づいて、ユーザの眼球から現実世界までの距離に対して前記ユーザが見ている距離が遠方であるか否かを判定し、前記ユーザが見ている距離が遠方でないことを判定すると、前記角度に対応した間隔の右画像と左画像からなる複数頁の第1拡張現実画像の1頁を前記表示部で表示させ、前記検出器が前記目瞑りを0.5秒以上検出すると、前記第1拡張現実画像の表示頁を変更し、前記ユーザが見ている距離が遠方であることを判定すると、前記第1拡張現実画像の表示を停止する表示コントローラと、
を具備する電子機器。 - 表示部により、現実世界の目標物に対して右画像と左画像からなる両眼の拡張現実画像を重ねて表示することと、
検出器により、ユーザの右眼球の視線方向と左眼球の視線方向が交差する角度を検出するとともに、前記右眼球と前記左眼球の少なくとも一方の上下方向の回転に基づいて前記ユーザの目瞑りを検出することと、
表示コントローラにより、前記検出器によって検出された前記角度に基づいて、ユーザの眼球から現実世界までの距離に対して前記ユーザが見ている距離が遠方であるか否かを判定し、前記ユーザが見ている距離が遠方でないことを判定すると、前記角度に対応した間隔の右画像と左画像からなる複数頁の第1拡張現実画像の1頁を前記表示部で表示させ、前記検出器が前記目瞑りを0.5秒以上検出すると、前記第1拡張現実画像の表示頁を変更し、前記ユーザが見ている距離が遠方であることを判定すると、前記第1拡張現実画像の表示を停止することと、
を具備する表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021199312A JP7309830B2 (ja) | 2020-10-01 | 2021-12-08 | 電子機器及び表示方法 |
JP2023109262A JP2023145446A (ja) | 2020-10-01 | 2023-07-03 | 電子機器及び表示方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020166949A JP2021009719A (ja) | 2020-10-01 | 2020-10-01 | 電子機器及び表示方法 |
JP2021199312A JP7309830B2 (ja) | 2020-10-01 | 2021-12-08 | 電子機器及び表示方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020166949A Division JP2021009719A (ja) | 2020-10-01 | 2020-10-01 | 電子機器及び表示方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023109262A Division JP2023145446A (ja) | 2020-10-01 | 2023-07-03 | 電子機器及び表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022059595A JP2022059595A (ja) | 2022-04-13 |
JP7309830B2 true JP7309830B2 (ja) | 2023-07-18 |
Family
ID=87201212
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021199312A Active JP7309830B2 (ja) | 2020-10-01 | 2021-12-08 | 電子機器及び表示方法 |
JP2023109262A Pending JP2023145446A (ja) | 2020-10-01 | 2023-07-03 | 電子機器及び表示方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023109262A Pending JP2023145446A (ja) | 2020-10-01 | 2023-07-03 | 電子機器及び表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7309830B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011125693A (ja) | 2009-11-18 | 2011-06-30 | Panasonic Corp | 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね |
JP2013005201A (ja) | 2011-06-16 | 2013-01-07 | Sony Corp | 表示装置 |
JP2014010418A (ja) | 2012-07-03 | 2014-01-20 | Yazaki Corp | 立体表示装置及び立体表示方法 |
JP2013244370A5 (ja) | 2012-05-29 | 2014-11-13 | ||
WO2015107625A1 (ja) | 2014-01-15 | 2015-07-23 | 日立マクセル株式会社 | 情報表示端末、情報表示システム及び情報表示方法 |
JP2017049775A (ja) | 2015-09-01 | 2017-03-09 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
JP2017157139A (ja) | 2016-03-04 | 2017-09-07 | 株式会社東芝 | 眼球運動検出装置、眼球運動検出方法、およびアイウエア |
US20170287222A1 (en) | 2016-03-30 | 2017-10-05 | Seiko Epson Corporation | Head mounted display, method for controlling head mounted display, and computer program |
JP2018041011A (ja) | 2016-09-09 | 2018-03-15 | 日本精機株式会社 | 表示装置 |
JP2018042004A (ja) | 2016-09-05 | 2018-03-15 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06235885A (ja) * | 1993-02-08 | 1994-08-23 | Nippon Hoso Kyokai <Nhk> | 立体映像表示装置 |
JPH0749744A (ja) * | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
JP3717653B2 (ja) * | 1998-01-20 | 2005-11-16 | 株式会社リコー | 頭部搭載型画像表示装置 |
JP5661067B2 (ja) * | 2012-05-29 | 2015-01-28 | 株式会社ジェイアイエヌ | アイウエア |
-
2021
- 2021-12-08 JP JP2021199312A patent/JP7309830B2/ja active Active
-
2023
- 2023-07-03 JP JP2023109262A patent/JP2023145446A/ja active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011125693A (ja) | 2009-11-18 | 2011-06-30 | Panasonic Corp | 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね |
JP2013005201A (ja) | 2011-06-16 | 2013-01-07 | Sony Corp | 表示装置 |
JP2013244370A5 (ja) | 2012-05-29 | 2014-11-13 | ||
JP2014010418A (ja) | 2012-07-03 | 2014-01-20 | Yazaki Corp | 立体表示装置及び立体表示方法 |
WO2015107625A1 (ja) | 2014-01-15 | 2015-07-23 | 日立マクセル株式会社 | 情報表示端末、情報表示システム及び情報表示方法 |
JP2017049775A (ja) | 2015-09-01 | 2017-03-09 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
JP2017157139A (ja) | 2016-03-04 | 2017-09-07 | 株式会社東芝 | 眼球運動検出装置、眼球運動検出方法、およびアイウエア |
US20170287222A1 (en) | 2016-03-30 | 2017-10-05 | Seiko Epson Corporation | Head mounted display, method for controlling head mounted display, and computer program |
JP2018042004A (ja) | 2016-09-05 | 2018-03-15 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 |
JP2018041011A (ja) | 2016-09-09 | 2018-03-15 | 日本精機株式会社 | 表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022059595A (ja) | 2022-04-13 |
JP2023145446A (ja) | 2023-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6774975B2 (ja) | 眼球回転検出装置、電子機器及びシステム | |
US10231614B2 (en) | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance | |
US9788714B2 (en) | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance | |
US9370302B2 (en) | System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment | |
JP6426589B2 (ja) | 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム | |
Mon‐Williams et al. | Binocular vision in a virtual world: visual deficits following the wearing of a head‐mounted display | |
US9072481B2 (en) | Apparatus and method for assessing vestibulo-ocular function | |
JP5869770B2 (ja) | 視覚認知検査システム、訓練システムおよび支援システム | |
Berard et al. | Aging affects the ability to use optic flow in the control of heading during locomotion | |
US8845099B2 (en) | System and method for real time monitoring and dynamic treatment of oculomotor conditions | |
ES2932157T3 (es) | Determinación de un error de refracción de un ojo | |
Dunn | Required accuracy of gaze tracking for varifocal displays | |
Borel et al. | Unilateral vestibular loss impairs external space representation | |
JP2021009719A (ja) | 電子機器及び表示方法 | |
JP7309830B2 (ja) | 電子機器及び表示方法 | |
Bhatia et al. | A review on eye tracking technology | |
JPH089423A (ja) | 遠隔モニタ装置 | |
US10780015B2 (en) | Method and apparatus for visual training | |
WO2018231059A2 (en) | Wireless communication system for remote medical assistance | |
US11751761B1 (en) | System and method for calculating binocular alignment | |
TWI819654B (zh) | 改善視網膜損傷患者視力的系統 | |
CN203059656U (zh) | 瞳距仪 | |
Burchell et al. | Is a depth camera in agreement with an electromagnetic tracking device when measuring head position? | |
Drakul et al. | Does gravity influence the visual line bisection task? | |
Qin et al. | Measuring the Full Limits of Panum's Fusional Area in Retinal Fovea |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230705 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7309830 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |