JP7455167B2 - ヘッドマウント情報処理装置 - Google Patents

ヘッドマウント情報処理装置 Download PDF

Info

Publication number
JP7455167B2
JP7455167B2 JP2022132869A JP2022132869A JP7455167B2 JP 7455167 B2 JP7455167 B2 JP 7455167B2 JP 2022132869 A JP2022132869 A JP 2022132869A JP 2022132869 A JP2022132869 A JP 2022132869A JP 7455167 B2 JP7455167 B2 JP 7455167B2
Authority
JP
Japan
Prior art keywords
user
space information
virtual space
display
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022132869A
Other languages
English (en)
Other versions
JP2022184841A (ja
Inventor
貞雄 鶴賀
康宣 橋本
和彦 吉澤
義憲 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2022132869A priority Critical patent/JP7455167B2/ja
Publication of JP2022184841A publication Critical patent/JP2022184841A/ja
Priority to JP2024037909A priority patent/JP2024073526A/ja
Application granted granted Critical
Publication of JP7455167B2 publication Critical patent/JP7455167B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、ヘッドマウント情報処理装置に係り、特に仮想空間情報の表示態様に関する。
ユーザが頭部に装着したヘッドマウントディスプレイに仮想空間情報（仮想オブジェクト）を表示し、これを現実空間に重畳してユーザに視認させる技術がある。このヘッドマウントディスプレイによれば、現実世界と仮想世界をリアルタイムかつシームレスに融合させて、あたかもその場に仮想オブジェクトが存在するかのような体験を行わせることができる。そして、ユーザは仮想世界を現実世界と錯覚するような深い没入感を得ることが可能になってきた。しかしながら、一方で、深い没入感により、ユーザが仮想世界と現実世界との識別や判別をしにくくなるという問題があった。
この問題に対し、特許文献１には、「少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定するフィードバック決定部を備える」ことが記載されている。
国際公開第２０１７／００６６４０号
ヘッドマウントディスプレイを装着したユーザにとって、仮想空間と現実空間とを認識するために必要とされる注意力は、ヘッドマウントディスプレイの使用状況によって異なる。例えば、日常生活を過ごす空間内に静止した状態では、仮想オブジェクト、例えばテーブル上に仮想的に表示されたコップや花瓶を現実のオブジェクトと誤認識してもユーザにとってそれほど重要な問題とは考えにくい。一方、戸外で歩行中にヘッドマウントディスプレイを用いた場合、歩道脇に放置自転車があるにも関わらず、広く広がって障害物がない歩道を仮想表示すると、それを現実空間と誤認識した結果、放置自転車に躓くおそれもある。
このように、ユーザが現実空間と仮想空間との誤認識を避けるためにユーザに求められる注意力は、ユーザの固有の注意力だけではなく周囲環境の状態に応じて相対的に決まるという実情がある。この点について、特許文献１では、ユーザの状態のみを監視し、周囲環境について考慮されていない。
本発明は、上記実情に鑑みてなされたものであり、仮想空間を現実空間と誤って認識することについての注意喚起をユーザに提供するヘッドマウント情報処理装置を提供することを目的とする。
上記課題を解決するために、本発明は、請求の範囲に記載の構成を備える。その一例を挙げるならば、本発明は、画像または音声を視聴する機能を有し頭部に装着されるヘッドマウント情報処理装置であって、仮想空間情報または現実空間情報を含む所定の情報をユーザに表示する表示部と、前記ユーザの両眼の動きを検出する右目視線センサ及び左目視線センサと、前記右目視線センサ及び前記左目視線センサの検出結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態か否かを判別するユーザ状態判別部と、前記ヘッドマウント情報処理装置の動作を制御する制御部と、を具備し、前記ユーザ状態判別部は、前記右目視線センサ及び前記左目視線センサの検出結果に基づき、前記ユーザが前記表示部における前記現実空間情報に注視しているとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別し、前記制御部は、前記ユーザ状態判別部の判別結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態の場合には、前記表示部に表示を行わせ、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態の場合には、前記表示部に表示の中断を指示する。
本発明によれば、仮想空間を現実空間と誤って認識することについての注意喚起をユーザに提供するヘッドマウント情報処理装置を提供することができる。上述した以外の目的、構成、効果については以下の実施形態において明らかにされる。
本実施形態に係るヘッドマウントディスプレイシステムの外観模式図 図１に示したヘッドマウントディスプレイシステムの構成例を示すブロック図 本体側制御器の機能を示す機能ブロック図 ヘッドマウントディスプレイシステムの処理の流れを示すフローチャート 表示制御部が決定する表示態様の種別を示す図 カメラから現実空間をみた際の座標系を示す図 注視している被写体と両眼の位置関係を示す図
以下、本発明の実施形態の例を、図面を用いて説明する。全図を通じて同一の構成、処理には同一の符号を付し、重複説明を省略する。
図１は、本実施形態に係るＨＭＤシステム１（ＨＭＤ：ヘッドマウントディスプレイ）の外観模式図である。図１において、ＨＭＤシステム１は、ユーザの頭部に装着されたＨＭＤ１００、ユーザの胸部に装着された第１ウエアラブル端末２００（胸部装着型ウエアラブル端末）、ユーザの腕部に装着された第２ウエアラブル端末３００（リストバンド型ウエアラブル端末）、及び入力コントローラ４００を含む。そして、第１ウエアラブル端末２００、第２ウエアラブル端末３００、入力コントローラ４００の其々は、近距離無線通信によりＨＭＤ１００に通信接続され、情報の送受信を行う。なお、有線で情報の送受信を行ってもよい。
サーバ５００は仮想空間情報を生成し、ＨＭＤ１００に対して無線通信回線を介して送信する。ＨＭＤ１００が自ら仮想空間情報を生成し、表示するように構成してもよい。
ＨＭＤ１００は、カメラ１１１、右目視線センサ１１２、左目視線センサ１１３、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６、温湿度センサ１１７及び周囲監視センサ１１８を備え、ユーザ前方映像（周辺の物体の映像を含む）、ユーザの視線、ユーザ頭部の動き、及び周辺の温湿度を検出する。
更に、ＨＭＤ１００は、両眼の前方に設置されたディスプレイ１１９を備え、カメラ１１１で撮影された現実空間情報の映像やサーバ５００で生成された仮想空間情報の映像１３０を表示する。
またＨＭＤ１００は、外周音マイク１２０、発声音マイク１２１を備えて外部からの音声やユーザ自身の発声を集音する。
ＨＭＤ１００は、ユーザの耳付近にヘッドフォン１２２を備えて、音声や音楽をヘッドフォン１２２から出力する。
更にＨＭＤ１００はアンテナ１２９を備える。そして外部ネットワーク６００を介してサーバ５００と情報の送受信を行い、サーバ５００が生成した仮想空間情報をＨＭＤ１００が受信し、ディスプレイ１１９に表示する。
カメラ１１１は、ユーザの周囲状態を検知するセンサとしての機能と、ユーザの視線検出に用いる場合はユーザの状態を検知するセンサとしての機能を有する。また右目視線センサ１１２、左目視線センサ１１３、加速度センサ１１４、及びジャイロセンサ１１５の其々は状態監視センサに相当する。
第１ウエアラブル端末２００は、心拍センサ２０１を備えて一定時間内に心臓が拍動する回数である心拍数を検出する。
第２ウエアラブル端末３００は、血圧センサ３０１を備え、ユーザの血圧を検出する。なお、第２ウエアラブル端末３００で脈拍センサを備え、動脈の拍動回数である脈拍数を検出してもよい。
第１ウエアラブル端末２００及び第２ウエアラブル端末３００の其々は、ユーザの状態監視センサに相当する。
入力コントローラ４００はユーザが各種の入力操作を行うものである。入力コントローラ４００が受け付けたユーザ入力操作に基づいて、ユーザの両眼前方に備えられたディスプレイ１１９では、現実空間情報にサーバ５００で生成された仮想空間情報の映像１３０やＨＭＤ１００が自ら生成した仮想空間情報の映像１３０を重畳表示したり、現実空間情報から仮想空間情報に入れ替えて表示したりすることが可能となる。
本実施形態に係るＨＭＤ１００は、ユーザに密接して装着されたＨＭＤ１００や第１ウエアラブル端末２００及び第２ウエアラブル端末３００の其々に具備された各種のセンサにより、ユーザの身体やユーザの周囲の状態を検出し、両方の状態に基づいてディスプレイ１１９に表示させる仮想空間情報の映像１３０の表示態様を変更する点に特徴がある。表示態様は、ユーザの身体状態や周囲の状態が共に正常な場合の表示態様である通常表示態様と、ユーザの身体状態や周囲の状態の少なくとも一つに異常がある場合の表示態様であって、通常表示態様とは異なる表示態様からなる特定表示態様と、がある。また、本明細書において、特定表示態様の一つとして非表示を含む。これらの詳細は後述する。
図２は、図１に示したＨＭＤシステム１の構成例を示すブロック図である。
図２において、ＨＭＤ１００は、カメラ１１１、右目視線センサ１１２、左目視線センサ１１３、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６、温湿度センサ１１７、周囲監視センサ１１８、ディスプレイ１１９、外周音マイク１２０、発声音マイク１２１、ヘッドフォン１２２、本体側バイブレータ１２４、本体側制御器１２５、プログラム１２６及び情報データ１２７等を格納するメモリ１２８、アンテナ１２９、本体側ネットワーク通信器１３１、本体側近距離無線通信器１３２（本体側通信器に相当）、及びタイマー１３３を用いて構成される。これらの各構要素はアンテナ１２９を除きそれぞれバス１４０を介して相互に接続されている。
カメラ１１１は、ＨＭＤ１００の前面に設置され、ユーザ前方の風景を撮影し、撮影された映像は現実空間の映像として没入型のディスプレイ１１９にて表示される。ディスプレイ１１９が透過型ディスプレイである場合、ユーザは自分の目で現実空間情報を視認すればよいので、カメラ１１１の画像をディスプレイ１１９に表示しなくてもよい。
右目視線センサ１１２、左目視線センサ１１３は、それぞれ右目、左目の視線を検出する。なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよく、例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Light Emitting Diode）を顔に照射し赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する技術が知られている。
加速度センサ１１４は、１秒当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。
ジャイロセンサ１１５は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。よって、ＨＭＤ１００に搭載されている加速度センサ１１４及びジャイロセンサ１１５を用いて、ＨＭＤ１００を装着しているユーザの頭部の動きを検出することができる。
地磁気センサ１１６は、地球の磁力を検出するセンサであり、ＨＭＤ１００が向いている方向を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、頭部の動きに対する地磁気変化を捉まえることにより、頭部の動きを検出することも可能である。これらにより、ＨＭＤ１００を装着中のユーザ頭部の動き変動を詳しく検出することができる。
温湿度センサ１１７は、ユーザの周りの温度、湿度を検出するセンサである。
周囲監視センサ１１８は、電波、光波、超音波などを発射しその反射波を捉まえて反射している対象物までの距離や方向を検出するセンサであり、ユーザの頭部に装着し、ユーザ周辺の物体の距離や方向を検出することができる。なお、点線で囲われた部分１４１は、各種のセンサデバイスを示している。
本体側制御器１２５は、ＨＭＤ１００の制御コントローラを構成し、メモリ１２８に記憶格納されているＯＳ（Operating System）や動作制御用アプリケーションなどのプログラム１２６を実行するプロセッサや、これらのプログラム１２６と同等の機能を実現するサーキットを用いて構成される。本体側制御器１２５は、ＨＭＤ１００の各構成要素を制御し、ＨＭＤ１００全体の動作制御処理を行っている。
本体側制御器１２５は、周囲状態の異常の有無及びユーザ状態の異常の有無に応じて、現実空間情報に仮想空間情報を重畳してディスプレイ１１９にて表示したり、或いは現実空間情報から仮想空間情報に入れ替えてディスプレイ１１９にて表示したりするときの動作を制御する。
本体側制御器１２５は、各種のセンサデバイスにより検出された情報を基に、ユーザの身体の状態が仮想空間情報と現実空間情報とを誤って認識する異常な状態か否かを識別し判定したり、またユーザの外周の状態が仮想空間情報を表示するに当たってユーザにとって危険性のある異常な状態か否かを識別し判定したりするものである。
また本体側制御器１２５は、ユーザの注意力が低下し、仮想空間情報と現実空間情報とを誤って認識する異常な状態と判定し、現実空間情報に仮想空間情報を重畳して、或いは現実空間情報から仮想空間情報に入れ替えてディスプレイ１１９にて表示する際の表示態様を通常表示態様又は特定表示態様に切り替える。
また本体側制御器１２５は、ユーザ周辺の物体を検出し周辺物体がユーザの一定範囲以内に接近し仮想空間情報表示に当たってユーザにとって危険性のある異常な状態、即ち周囲に異常があると判定する場合には、現実空間情報に仮想空間情報を重畳して、或いは現実空間情報から仮想空間情報に入れ替えてディスプレイ１１９にて表示する際の表示態様を通常特定表示から特定表示態様又は非表示に切り替える。
メモリ１２８は、フラッシュメモリなどであり、本体側制御器１２５が使用する各種のプログラム１２６を、またサーバ５００から送信された仮想空間情報や第１ウエアラブル端末２００から受信した第１センサ出力や、第２ウエアラブル端末３００から受信した第２センサ出力などの情報データ１２７を記憶している。
ディスプレイ１１９は、液晶パネルなどにより構成され、現実空間情報や仮想空間情報の映像１３０を表示し、またユーザへの呈示通知情報や動作状態等の表示内容を画面表示するものである。ディスプレイ１１９では、例えば、図２に示すように、カメラ１１１で撮影された現実空間情報の映像と、サーバ５００が生成してＨＭＤ１００に対して送信し、ＨＭＤ１００が受信した仮想空間情報の映像１３０とを重畳させて画面表示する。
本体側バイブレータ１２４は、本体側制御器１２５からの制御によって振動を発生させるもので、ＨＭＤ１００で発信されたユーザへの通知情報を振動に変換する。本体側バイブレータ１２４は密接装着されているユーザ頭部で振動を発生させることにより、ユーザへの通知を確実に伝えることができる。
本体側ネットワーク通信器１３１は、無線ＬＡＮ、有線ＬＡＮ或いは基地局通信により外部のサーバ５００と通信を行う通信インターフェースであり、無線通信に際してはアンテナ１２９を介して外部ネットワーク６００に接続し情報の送受信を行う。本体側ネットワーク通信器１３１では、外部ネットワーク６００経由などによりサーバ５００で生成された仮想空間情報を受信することができ、またサーバ５００と動作制御信号情報などの送受信を行うことができる。なお、基地局通信方式としては、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）やＧＳＭ（登録商標）（Global System for Mobile communications）などの遠距離の無線通信を用いればよい。
本体側近距離無線通信器１３２は、近距離無線通信が可能な範囲にある第１ウエアラブル端末２００、第２ウエアラブル端末３００、入力コントローラ４００のそれぞれと、近距離無線通信を行う通信インターフェースである。本体側近距離無線通信器１３２は、例えば電子タグを用いて行われるが、これに限定されず、ＨＭＤ１００が第１ウエアラブル端末２００、第２ウエアラブル端末３００、入力コントローラ４００の近くにある場合に少なくとも無線通信可能であるものであれば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Radio Frequency、登録商標）、又は、無線ＬＡＮ（IEEE802.11a、IEEE802.11b、IEEE802.11g）を用いて行なわれるようにしてもよい。
第１ウエアラブル端末２００は、心拍センサ２０１、第１バイブレータ２０２、第１近距離無線通信器２０３（端末側通信器に相当する）を有している。心拍センサ２０１は、ユーザの胸部に密接して装着され精度よくユーザの心拍数を検出する。第１近距離無線通信器２０３では検出された心拍数情報を近距離無線通信によりＨＭＤ１００に送信し、ＨＭＤ１００側では送信された心拍数情報を本体側近距離無線通信器１３２にて受信して、ＨＭＤ１００内に取り込む。
第１バイブレータ２０２は、バイブレータ制御信号（図３参照）に応じて振動を発生させるもので、ユーザ胸部に密接して装着されることにより、発生振動を確実にユーザに伝えることができる。ＨＭＤ１００から発信されたユーザへの通知情報は、本体側近距離無線通信器１３２及び第１近距離無線通信器２０３を介して第１バイブレータ２０２に伝達され、第１バイブレータ２０２にて通知情報を振動に変換してユーザに知らしめることができる。
第２ウエアラブル端末３００は、血圧センサ３０１、第２バイブレータ３０２、第２近距離無線通信器３０３（端末側通信器に相当する）を有している。血圧センサ３０１は、ユーザの腕部に巻きつけて装着され精度よくユーザの血圧を検出し、第２近距離無線通信器３０３では検出された血圧情報を近距離無線通信によりＨＭＤ１００に送信し、ＨＭＤ１００では送信された血圧情報を本体側近距離無線通信器１３２にて受信して、ＨＭＤ１００内に取り込む。
第２バイブレータ３０２は、バイブレータ制御信号（図３参照）に応じて振動を発生させるもので、ユーザ腕部に巻きつけて装着されることにより、発生振動を確実にユーザに伝えることができる。ＨＭＤ１００から発信されたユーザへの通知情報は、本体側近距離無線通信器１３２、第２近距離無線通信器３０３を介して第２バイブレータ３０２に伝達され、第２バイブレータ３０２にて通知情報を振動に変換してユーザに知らしめることができる。
なお、本体側バイブレータ１２４、第１バイブレータ２０２、第２バイブレータ３０２では、ユーザの身体或いは外周に異常な状態がなく仮想空間情報の重畳表示や入替表示の動作が開始されるときや、ユーザの身体或いは外周に異常な状態があり仮想空間情報の重畳表示や入替表示の動作が開始されないときには、仮想空間情報表示の動作の開始や動作開始の不可を知らしめる振動を発生し、ユーザに通知する。また、同様に、仮想空間情報表示の動作の開始や動作開始の不可を知らしめる音声をヘッドフォン１２２から発声させて、ユーザに通知する。
入力コントローラ４００は、入力操作器４０１、第３近距離無線通信器４０２を有する。入力操作器４０１は、例えばキーボードやキーボタン等による操作部材であり、ユーザが入力したい情報を設定入力できる。
またディスプレイ１１９が有する表示画面内に入力操作器４０１を形成してもよい。例えば静電容量式などのタッチパッド方式の入力部材では指やタッチペンなどによる接近又は接触操作を操作入力として検出するものである。入力操作器４０１で入力された情報は、第３近距離無線通信器４０２を介してＨＭＤ１００に送信され、ＨＭＤ１００内の本体側近距離無線通信器１３２にて受信し、ＨＭＤ１００内に取り込まれる。なお、第１ウエアラブル端末２００、第２ウエアラブル端末３００、入力コントローラ４００の其々は、ＨＭＤ１００と近距離無線通信により使い勝手よく情報の送受信を行う場合を示しているが、有線で接続してもよい。
サーバ５００は、イメージプロセッサ５０１（仮想空間情報生成処理部）、サーバ側メモリ５０２、サーバ側制御器５０３、サーバ側ネットワーク通信器５０４、アンテナ５０５を備え、これらがバス５０６を介して相互に接続されて構成される。
イメージプロセッサ５０１は、現実空間とは異なる仮想空間を映像や音声で表現する仮想空間情報を生成する。
サーバ側メモリ５０２は、フラッシュメモリなどであり、イメージプロセッサ５０１で生成した仮想空間情報や、サーバ５００内のサーバ側制御器５０３が使用する各種プログラムなどを記憶している。
サーバ側ネットワーク通信器５０４は、アンテナ５０５を経由し外部ネットワーク６００を介してＨＭＤ１００と通信を行う通信インターフェースであり、ＨＭＤ１００と接続し情報の送受信を行う。
サーバ側制御器５０３は、ＣＰＵやＭＰＵ等のプロセッサで構成され、サーバ側メモリ５０２に記憶格納されているＯＳ（Operating System）や動作制御用アプリケーションなどのプログラム１２６を実行することによって、各構成部を制御し、サーバ５００全体の動作制御処理を行っている。サーバ側制御器５０３は、本体側制御器１２５と同様、サーキットにより構成されてもよい。
サーバ側制御器５０３は、ＨＭＤ１００からの要求に応じて、イメージプロセッサ５０１で生成された仮想空間情報、或いはサーバ側メモリ５０２に保存されている仮想空間情報をＨＭＤ１００に送信供給するように、各構成部を動作制御する。
図３は、本体側制御器１２５の機能を示す機能ブロック図である。本体側制御器１２５は、大きくは周囲監視判定部１２５１、状態判定部１２５２、及び表示制御部１２５３を備える。各構成要素の処理の詳細は、以下、図４、図５を用いて説明する。
図４は、ＨＭＤシステム１の処理の流れを示すフローチャートである。図５は、表示制御部１２５３が決定する表示態様の種別を示す図である。
図４に示すように、ＨＭＤシステム１の主電源が投入されと、周囲監視処理（Ｓ１０１、Ｓ１０２）とユーザの状態監視処理（Ｓ２０１、Ｓ２０２）が並行して開始する。
具体的には、周囲監視判定部１２５１がカメラ１１１で撮影された現実空間情報や周囲監視センサ１１８が検出した周囲物体の位置や動きを示す第１センサ出力を取得し（Ｓ１０１）、ユーザの外周の状態が仮想空間情報を表示するに当たってユーザにとって危険性のある異常な状態であるか否かを判定する（Ｓ１０２）。周囲監視判定部１２５１は周囲監視判定結果を表示制御部１２５３へ出力する。
一方、状態判定部１２５２は、第１ウエアラブル端末２００及び第２ウエアラブル端末３００の其々から第２センサ出力を取得し（Ｓ２０１）、ユーザの身体状態が仮想空間情報と現実空間情報とを誤って認識する異常な状態か否かを判定する（Ｓ２０２）。ここでいう「ユーザの身体状態が異常」とは、ユーザが現実空間情報と仮想空間情報とを誤認識する程度に注意力が落ちている状態を意味し、風邪や骨折等の病状、症状を意味するものではない。
ユーザの身体状態が異常とは、例えばユーザの血圧が予め決められた正常血圧範囲内になく、低血圧又は高血圧を示していたり、心拍数が正常心拍数範囲内になく、心拍数が低すぎたり又は高すぎたりする場合は、ユーザの身体状態に異常があると判定する。状態判定部１２５２はユーザの身体状態判定結果を表示制御部１２５３へ出力する。
表示制御部１２５３は、周囲監視判定結果、及びユーザの身体状態判定結果の双方を用いて仮想空間情報の表示形態を決定する。
図５に示すように、表示制御部１２５３は、ユーザの身体状態が正常かつ周囲が正常な場合（ステータス１）は通常表示態様、即ち仮想空間情報の表示態様をＨＭＤ１００において基本設定された画質や色調で表示する。換言すると、通常表示態様では、ユーザに現実空間の映像や風景と、仮想空間情報との区別をさせるための特別な工夫を凝らすことなく、仮想空間情報を表示する。
ユーザの身体状態に異常があるが周囲が正常な場合（ステータス２）、又はユーザの身体状態は正常であるが周囲に注意レベルの異常がある場合（ステータス３）は特定表示態様で表示する。
特定表示態様とは、現実空間情報と明らかに異なるリアリティを下げた形で仮想空間情報を表示する態様である。これにより、ユーザに対し表示開始された情報が仮想空間情報であることを明確に意識させることが可能となる。
例えば、重畳表示或いは入替表示する仮想空間情報の色、輝度、コントラスト、解像度などの映像画質を、カメラ１１１で撮影され検出された現実空間情報の映像画質と明らかに異なるように、サーバ５００内のイメージプロセッサ５０１で、或いはＨＭＤ１００のメモリ１２８に格納された仮想空間情報を本体側制御器１２５にて制御して、調整する。
また、仮想空間情報の表示として、透過モードを用いてもよいし、物体の曲面表現の際に用いられる多角形であるポリゴンの数を少なくしてもよいし、輪郭線の強調表示のみにしてもよい。また、仮想空間情報であることを示すメッセージを仮想空間情報の映像１３０と共に並列表示してもよい。更に通常表示態様における表示色とは異なる表示色で仮想空間情報を表示させてもよい。また仮想空間情報を点滅表示させてもよい。
特定表示態様は、仮想空間情報の表示開始時だけでなく、仮想空間情報の表示中も継続して表示してもよい。而して、仮想空間情報の表示リアリティを下げ仮想空間であることをわかりやすくし、ユーザにとって仮想空間情報の表示開始やその表示自体が仮想空間情報であることを意識させることができる。
ユーザの身体状態に異常があり、かつ周囲に注意レベルの異常がある場合（ステータス４）は、仮想空間情報を暫定的に非表示にする。そして予め定めた非表示待機時間Ｔｔｈ内にユーザの身体状態が回復して正常となるか（ステータス４からステータス３へ遷移）、周囲が正常になれば（ステータス４からステータス２へ遷移）、特定表示態様により仮想空間情報の表示を再開する。ステータス４になってからの経過時間Ｔが非表示待機時間Ｔｔｈを過ぎると、仮想空間情報の表示を強制停止する。
周囲に警戒レベルの異常がある場合（ステータス５）は、ユーザの身体状態が正常又は異常に関らず、仮想空間情報の表示を強制停止する。
図４に戻り、本体側制御器１２５は、周囲監視判定結果及びユーザの身体状態判定結果を取得し、現在の表示態様を決定する。表示態様の決定手順の一例を下記に示すが、いずれの表示態様とするかの決定手順は下記に限定されない。
本体側制御器１２５は、周囲監視判定結果を基に周囲環境が警戒レベルであると判定すると（Ｓ３０１）、仮想空間情報の表示を強制停止すると決定し、表示制御部１２５３に対して仮想空間情報の強制停止し（Ｓ３０２：図５のステータス５）、ステップＳ３１２へ進む。
仮想空間情報を再表示する場合は、ユーザが入力コントローラ４００の入力操作器４０１から再表示の入力指示を入力する。再表示の入力指示の操作を容易にするために、ステップＳ３０２で仮想空間情報の出力を停止すると共に、ディスプレイ１１９に再表示アイコンを表示させ、この再表示アイコンをユーザがタッチすることで（Ｓ３１２／Ｎｏに相当）、再度ステップＳ１０１、Ｓ２０１の操作を再開してもよい。
本体側制御器１２５は、周囲監視判定結果を基に周囲環境が注意レベルであると判定すると（Ｓ３０１／Ｎｏ、Ｓ３０３／Ｙｅｓ）、ユーザの身体情報判定結果を基にユーザの身体状態が正常であるか異常であるかを判定する（Ｓ３０４）。
ユーザの身体情報が正常であれば（Ｓ３０４／Ｙｅｓ）、仮想空間情報の表示態様は特定表示態様にすると決定し、表示制御部１２５３に特定表示態様を用いる指示を出力する。表示制御部１２５３は、仮想空間情報を特定表示態様による表示用データに変換し、ディスプレイ１１９に出力する（Ｓ３０５：図５のステータス３）。
ユーザの身体情報が異常であれば（Ｓ３０４／Ｎｏ）、仮想空間情報の表示を暫定的に停止し（Ｓ３０６：図５のステータス４）、タイマー１３３により暫定的に停止してからの経過時間Ｔを計測する（Ｓ３０７）。経過時間Ｔが予め定めた非表示待機時間Ｔｔｈ未満であれば（Ｓ３０８／Ｙｅｓ）、ステップＳ１０１、Ｓ２０１へ戻る。処理を繰り返した結果、経過時間Ｔが非表示待機時間Ｔｔｈ以上になると（Ｓ３０８／Ｎｏ）、強制停止し（Ｓ３０９）、ステップＳ３１２へ進む。
本体側制御器１２５は、周囲監視判定結果を基に周囲環境が正常であると判定すると（Ｓ３０３／Ｎｏ）、ユーザの身体情報判定結果を基にユーザの身体状態が正常であるか異常であるかを判定する（Ｓ３１０）。
ユーザの身体情報が正常であれば（Ｓ３１０／Ｙｅｓ）、仮想空間情報の表示態様は通常表示態様にすると決定し（Ｓ３１１：図５のステータス１）、表示制御部１２５３に通常表示態様を用いる指示を出力する。表示制御部１２５３は、仮想空間情報を通常表示態様による表示用データに変換し、ディスプレイ１１９に出力する（Ｓ３１１）。
ユーザの身体情報が異常であれば（Ｓ３１０／Ｎｏ）、仮想空間情報の表示態様は特定表示態様にすると決定する（Ｓ３０５：図５のステータス２）。
上記ステップＳ３０２、Ｓ３０９における強制停止、またステップＳ３０６の暫定的に非表示とする場合、仮想空間情報の表示が行えないことを示すメッセージをディスプレイ１１９に表示してユーザに対して通知してもよい。また、この通知はヘッドフォン１２２からユーザへの発声音声や、本体側バイブレータ１２４、第１バイブレータ２０２、第２バイブレータ３０２の少なくとも一つによるユーザへの触感振動により通知してもよい。
またステップＳ３０５の特定表示態様やステップＳ３１１の通常表示態様による仮想空間情報の表示を行う場合も、仮想空間情報の表示を行うことを示すメッセージをディスプレイ１１９に表示してユーザに対して通知してもよい。また、この通知はヘッドフォン１２２からユーザへの発声音声や、本体側バイブレータ１２４、第１バイブレータ２０２、第２バイブレータ３０２の少なくとも一つによるユーザへの触感振動により通知してもよい。
以下、ユーザの身体状態、及び周囲環境に起因する注意力の低下要因の有無を判定する例について説明する。
＜ユーザの身体状態の判定例：サッカード検出＞
ステップＳ２０１、Ｓ２０２におけるユーザの身体状態判定に用いるセンサデバイスとして右目視線センサ１１２及び左目視線センサ１１３を用いる例について説明する。
右目視線センサ１１２が出力した右目視線データ、及び左目視線センサ１１３が出力した左目視線データを本体側制御器１２５が取得し、両眼の動きを検出する。
本体側制御器１２５の状態判定部１２５２は、右目視線データ及び左目視線データを基に、両眼が小刻みに込み高速で動くような急速な眼球運動（サッカード）をしているか否かを識別する。そして、急速眼球運動をしている場合は、ユーザが仮想空間情報と現実空間情報とを誤って認識する異常な状態と判定する。
＜ユーザの身体状態の判定例：ユーザが現実空間の対象物を注視しているかを検出＞
視線検出を用いた他の例としては、ユーザが現実空間の特定の対象を注視しているかどうかで周囲に対する注意力の程度を判断する方法がある。ここで、注視とは、一定時間以上対象物に視線を合わせている状態、と定義できる。図６は、カメラ１１１から現実空間をみた際の座標系を示す図である。図７は、注視している被写体Ｏと両眼の位置関係を示す図である。
まず、状態判定部１２５２がカメラ１１１により現実空間情報を取得する。また、状態判定部１２５２が右目視線データ及び左目視線データを基にユーザの視線を検出する。カメラ１１１のＨＭＤ１００における取付け位置は固定されており、ユーザがＨＭＤ１００を装着すれば、眼球とカメラ１１１の相対的位置が固定される。ここでは、カメラ１１１は両眼を結ぶ線分の中点近くに配置されているものとする。カメラ１１１により撮影された現実空間は、カメラ１１１から見た方位（θC、φC）の座標系にマッピングされる（図６）。この現実空間の画像中のどの点にユーザの視線が向いているかは、右目視線データ及び左目視線データから次のように計算できる。
図７において、Ｒが右目の位置、Ｌが左目の位置を表す。両眼の距離をＳとする。Ｃはカメラ１１１の位置であり、両眼を結ぶ基線ＬＲの中点とする。厳密には、カメラ１１１の位置は、基線の中点からはずれるが、通常は、被写体の位置は、このずれの量に比べて十分に遠いので、カメラ１１１からみた被写体の方向を求める際には、このカメラ位置の誤差は無視できる。
被写体までの距離と方向を考える際に、基線ＬＲとカメラ１１１の光軸方向で形成される基準面Ｐを考える。各点から被写体までのベクトルとこの基準面Ｐとなす角をθで表し、基準面Ｐの上側方向を正にとる。また、各点から被写体までのベクトルを基準面Ｐに射影したベクトルと、各点からカメラ１１１の光軸方向となす角をφで表す。基準面Ｐを上から見て、右方向の角度を正にとる。
左右の視線センサにより、左右それぞれの目からみた被写体の方向（θL,φL）及び（θR,φR）が測定できる。このデータから、カメラ１１１からみた注視している被写体Ｏの方向（θC,φC）とカメラ１１１から被写体Ｏまでの距離ｄCOを計算で求めることができる。具体的な表式は下記である。
Figure 0007455167000001
Figure 0007455167000002
Figure 0007455167000003
なお、注視点の距離まで分かるので、カメラ１１１が測距機能も備えて、被写体までの距離も分かる場合、より正確に対象物に対する注視の判定を行うことができる（カメラの他に測距デバイスを備えても構わない）。
ユーザの注視点が現実世界の同じ対象物に、予め定めた一定時間以上留まっている場合、その対象物を注視しており、その他の周囲状況に対する注意力が低下しているとの判断により身体状態を異常と判定し、どの対象物も注視をしていない時に身体状態を正常と判定してもよい。
これにより、ユーザにとって現実空間情報を見ている状態では仮想空間情報表示による擾乱や邪魔が生じることはなく、安全で使い勝手よくＨＭＤ１００を使用できる。
＜ユーザの身体状態の判定例：ユーザが目を閉じているか否かを検出＞
視線検出を用いた他の例として、状態判定部１２５２は、右目視線データ及び左目視線データを用いて両眼の動きを検出して、瞬き以外で目が閉じているか否かを識別判定してもよい。
そして、状態判定部１２５２は、瞬き以外で目が閉じているときにはユーザの身体状態が異常、特に警戒レベルと判定し、瞬き以外で目が閉じていないときにはユーザの身体状態が正常と判定してもよい。
これにより、瞬き以外で目が閉じていて意識が集中していない場合には、仮想空間情報の表示を行わないようして、ユーザの安全性を高めることができる。なお、瞬き以外で目が閉じている状態の検出として、視線検出以外にカメラ１１１を用いて検出してもよい。
＜ユーザの身体状態の判定例：視線の動きの検出＞
また、両眼の視線の動きがあまり見られない場合は、ユーザが眠気を感じてはっきりとした意識を持っておらず、漫然とした状態である可能性がある。よって、状態判定部１２５２は、所定時間内における視線の動きが少なく、緩慢な場合は、ユーザの意識が漫然とした状態である可能性が否定できないことからユーザの身体状態を異常、特に警戒レベルと判定してもよい。
これにより、例えば酔っているとき、具合が悪いときなど、ユーザの身体状態が漫然とした状態で意識がはっきりしていない場合には、仮想空間情報の映像１３０の表示を行わないようして、ユーザの安全性を高めることができる。
以上、検出した眼球の動きを基に、ユーザ身体の異常状態の有無を判定して仮想空間情報の表示動作を制御する場合について説明したが、仮想空間情報を表示しているときに、右目視線センサ１１２、左目視線センサ１１３にて眼球の動きを検出し、眼球が仮想空間情報に向けて固視微動や追従運動をしているか否かを識別判定し、眼球が仮想空間情報を捉えた動きをしておらずユーザは仮想空間情報を意識していない、気づいていないと判定した場合には、仮想空間情報の表示を暫定的に非表示（ステータス４）又は強制停止（ステータス５）として扱ってもよい。
この場合は、ユーザにとって表示情報は意識している現実空間情報のみで充分な状態であり、意識していない仮想空間情報の表示をなくし、より安全な状態でヘッドマウントディスプレイを使用できるという効果が期待できる。
＜ユーザの身体状態の検出例：頭部の動き＞
ステップＳ２０１、Ｓ２０２において、ユーザの身体の状態を検出するセンサデバイスとして、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６を用い、ユーザの頭部の動きを検出して身体状態を検出してもよい。
ステップＳ２０１において状態判定部１２５２は、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６の其々が出力したセンサ出力を取得する。
ステップＳ２０２において状態判定部１２５２は、頭部が大きく変動しているか否かを識別し、頭部が大きく変動している場合、具体的には各センサ出力のうちの少なくとも一つが、各センサ出力の種類に対してそれぞれ定められた動き判定閾値（加速度閾値、角速度閾値、地磁気変化閾値がある）を超える場合には、ユーザの身体の状態が仮想空間情報と現実空間情報とを誤って認識する異常な状態と判定する。
一方、状態判定部１２５２は、頭部が大きく変動していない、具体的には各センサ出力のうちの全てが動き判定閾値以下の場合は、身体状態に異常がないと判定する。
＜ユーザの身体状態の検出例：音声情報を用いる例＞
ステップＳ２０１において状態判定部１２５２は、外周音マイク１２０、発声音マイク１２１により音声を捉える。加えて状態判定部１２５２は、右目視線センサ１１２及び左目視線センサ１１３を用いて眼球の動きを捉える。
ステップＳ２０２において状態判定部１２５２は、捉えた音声及び眼球運動を基にユーザの意識がどこにあるかを識別判定し、人と会話しているとか電話をしている場合のように、仮想空間情報とは異なる情報を視聴していると判定すると身体状態に異常があると判定する。一方、仮想空間情報だけを視聴していると判定した場合は、身体状態は正常であると判定する。
＜周囲環境の検出例：接近物体を検出＞
ユーザの周囲環境の状態を検出するセンサデバイスとして、周囲監視センサ１１８を用いる場合について説明する。
周囲監視センサ１１８は、ユーザ周辺の物体の距離や方向を検出する。そこで、ステップＳ１０１では、周囲監視センサ１１８がユーザ周辺に存在する物体までの距離や方向を検出して出力した第１センサ出力を周囲監視判定部１２５１が取得する。
ステップＳ２０２では、周囲監視判定部１２５１が周囲監視センサ１１８からの第１センサ出力を基に、ユーザに対して、例えば車、人、動物などの物体が一定範囲以内に接近してきているか否かを識別し、物体が一定範囲以内に接近してきている場合には、ユーザの外周の状態が仮想空間情報を表示するに当たってユーザにとって危険性のある状態、即ち予め定められた距離範囲内に物体があると判定した場合は周囲環境に異常があると判定し、距離範囲内に接近してくる物体がなければ周囲環境は正常と判定する。接近物体がある場合は、特に警戒レベルと判定してもよい。
これにより、ユーザから距離範囲内に接近してくる物体がある場合は仮想空間情報を特定表示態様又は表示停止することができ、ユーザにとって危険性のある環境下で仮想空間情報を表示させることによる不都合の発生を抑止する。また、仮想空間情報を視聴しているユーザに対して首位環境が異常になったことを知らせることができる。
＜周囲環境の検出例：接近物体を検出＞
ユーザの周囲状態を検出するセンサデバイスとして、温湿度センサ１１７を用いて、ユーザ周辺の温度や湿度を検出してもよい。
ステップＳ１０１では、周囲監視判定部１２５１は、温湿度センサ１１７が検出した温度や湿度を検出して出力したセンサ出力を取得する。取得した温度や湿度はメモリ１２８に一時的に記憶しておく。
ステップＳ１０２では、周囲監視判定部１２５１は、メモリ１２８に記憶した温度や湿度の変化を演算し、温度の変化が予め定めた温度変化閾値を超える、又は湿度の変化が予め定めた湿度変化閾値を超える事象の少なくとも一方が発生すると、ユーザの周囲環境に異常があると判定する。一方、温度の変化が温度変化閾値以下であり、かつ湿度の変化が予め定めた湿度変化閾値以下であればユーザの周囲環境は正常であると判定する。
また、温度や湿度に限らず、例えば、気圧、外周音などユーザの外周の状態を検出できる情報であれば、その情報のセンサ、例えば気圧センサ、外周音マイク１２０などをユーザの周囲監視センサ１１８として用いてもよい。
本実施形態に係るＨＭＤシステム１の作用効果について説明する。ユーザが仮想空間情報を現実空間情報と誤認識するかどうか、及び誤認識した際の不都合の程度は、ユーザの身体状態と周囲環境との組み合わせによって異なる。
一般にユーザの身体状態が正常であれば、それだけ注意力が高いので仮想空間情報の誤認識が発生しにくいと考えられる。
また、ユーザの身体状態が異常であり注意力が低下した結果仮想空間情報を誤認識したとしても、周囲環境が正常で安全な場合、例えば室内でソファーに座り、テーブル上にコップが仮想空間情報として表示されており、それを現実のコップと誤認識しても不都合の程度は低い。一方で、戸外を歩行中に仮想空間情報を誤認識すると、つまずいたり路上の物体と干渉するなど大きな不都合が発生しうる。
更に、ユーザの身体状態の如何に関らず、例えば戸外を歩行中に車両や自転車がユーザに向かって走行している状態は、仮想空間情報に気を取られている状況からいち早くユーザを離脱させた方がよい。
本実施形態によるＨＭＤシステム１によれば、ユーザの身体状態及び周囲環境の正常・異常の両方を組みあわせて、仮想空間情報の表示態様を決定するので、ユーザの身体状態だけに注目した場合に比べて、より仮想空間情報の誤認識の発生の抑制が行え、ＨＭＤ１００の使い勝手が向上する。
また周囲環境の状態も注意レベルと警戒レベルとに分けることで、周囲環境に異常があればすぐに仮想空間情報が非表示とされることがなく、仮想空間情報の映像１３０の表示を楽しむことと、周囲環境の異常への対応との両立を図ることができる。
またユーザの身体状態に異常があり、かつ周囲環境に注意レベルの異常がある場合（ステータス４）では、仮想空間情報の表示を暫定的に停止する。その後、周囲環境に注意レベルの異常が非表示待機時間内に解消すれば、特定表示態様にて仮想空間情報の表示を再開できる。注意レベルの異常は短時間に期間に解消することもありうるので、その場合は仮想空間情報の表示を再開し、ＨＭＤ１００の使い勝手が向上する。
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
例えば、上記では仮想空間情報を生成するイメージプロセッサ５０１をサーバ５００に備え、仮想空間情報を外部ネットワーク６００を介して受信し、表示した。しかし、イメージプロセッサ５０１をＨＭＤ１００に組み込んでもよい。これにより、サーバ５００との通信を行うことなく、仮想空間情報、或いはモディファイされた仮想空間情報を上記の表示態様により表示してもよい。
また第１ウエアラブル端末２００内の心拍センサ２０１、第２ウエアラブル端末３００内の血圧センサ３０１、入力コントローラ４００内の入力操作器４０１を、ＨＭＤ１００内に取り込んでもよい。この場合、心拍センサ２０１は頭部に密接して設けられ心拍数を検出する。血圧センサ３０１も頭部に密接して設けられ頭皮直下の頭部動脈で血圧値を検出する。入力操作器４０１は、ＨＭＤ１００内でユーザが入力操作を行いやすい位置に設ければよい。
或いは、ユーザが入力操作を示す音声を発声し、発声音マイク１２１で集音して入力操作情報を取り込んでもよい。
また、ディスプレイ１１９に入力操作画面を表示させ、右目視線データ及び左目視線データから検出した視線が向いている入力操作画面上の位置により入力操作情報を取り込んでもよいし、ポインタを入力操作画面上に表示させ手の動作などにより指定させて入力操作情報を取り込んでもよい。入力操作に発声や表示を用いることにより、使い勝手を一層向上させることが可能である。
このように第１ウエアラブル端末２００、第２ウエアラブル端末３００、入力コントローラ４００も含めて一体化してもよいし、イメージプロセッサ５０１だけをＨＭＤ１００に取り込んでもよい。
また、ユーザの身体状態を検出するセンサとして、発汗センサ、呼吸センサ等、他の生体情報を取得するセンサを用いてもよい。
以上、各種センサデバイスを用いユーザの身体状態或いは周囲状態を識別判定し、仮想空間情報表示を制御する際の動作について説明したが、ステータス３，４のいずれかにあると表示制御部１２５３が判定すると、表示制御部１２５３は、ユーザの目に強い光を与えるとか、或いは点滅した２個以上の光をユーザの視野内に表示させ、再び周囲監視判定部１２５１及び状態判定部１２５２からの判定結果に基づき、脳が目覚めて意識がはっきりしている覚醒状態（ステータス１、２）に遷移させてから、仮想空間情報を重畳表示、或いは入替表示してもよい。
また、ユーザにとって、ゲーム、映画など没入感を大切にしてＨＭＤ１００を使用する場合には、ユーザの身体状態或いは周囲環境の状態に応じた仮想空間情報の表示制御を行わないようにしてもよい。この場合、例えば入力コントローラ４００から仮想空間情報の表示制御を行うか或いは行わないかを設定入力するようにすればよい。
上記各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラム１２６を解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム１２６、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１ ：ＨＭＤシステム
１００ ：ＨＭＤ
１１１ ：カメラ
１１２ ：右目視線センサ
１１３ ：左目視線センサ
１１４ ：加速度センサ
１１５ ：ジャイロセンサ
１１６ ：地磁気センサ
１１７ ：温湿度センサ
１１８ ：周囲監視センサ
１１９ ：ディスプレイ
１２０ ：外周音マイク
１２１ ：発声音マイク
１２２ ：ヘッドフォン
１２４ ：本体側バイブレータ
１２５ ：本体側制御器
１２６ ：プログラム
１２７ ：情報データ
１２８ ：メモリ
１２９ ：アンテナ
１３０ ：映像
１３１ ：本体側ネットワーク通信器
１３２ ：本体側近距離無線通信器
１３３ ：タイマー
１４０ ：バス
２００ ：第１ウエアラブル端末
３００ ：第２ウエアラブル端末
４００ ：入力コントローラ
５００ ：サーバ
６００ ：外部ネットワーク

Claims (4)

  1. 画像または音声を視聴する機能を有し頭部に装着されるヘッドマウント情報処理装置であって、
    仮想空間情報または現実空間情報を含む所定の情報をユーザに表示する表示部と、
    前記ユーザの両眼の動きを検出する右目視線センサ及び左目視線センサと、
    前記右目視線センサ及び前記左目視線センサの検出結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態か否かを判別するユーザ状態判別部と、
    前記ヘッドマウント情報処理装置の動作を制御する制御部と、
    を具備し、
    前記ユーザ状態判別部は、
    前記右目視線センサ及び前記左目視線センサの検出結果に基づき、前記ユーザが前記表示部における前記現実空間情報に注視しているとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別し、
    前記制御部は、
    前記ユーザ状態判別部の判別結果に基づき、前記ユーザの状態が、前記仮想空間情報を視聴するのに適した状態の場合には、前記表示部に表示を行わせ、
    前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態の場合には、前記表示部に表示の中断を指示する、
    ヘッドマウント情報処理装置。
  2. 請求項１に記載のヘッドマウント情報処理装置において、
    前記ユーザ状態判別部は、
    前記右目視線センサ及び前記左目視線センサの検出結果に基づき、前記ユーザが前記表示部における前記現実空間情報に注視しており、かつ前記ユーザが急速な眼球運動を行っているとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別する、
    ヘッドマウント情報処理装置。
  3. 請求項１に記載のヘッドマウント情報処理装置において、
    前記ユーザ状態判別部は、
    前記右目視線センサ及び前記左目視線センサの検出結果に基づき、前記ユーザが前記表示部における前記現実空間情報に注視しており、かつ前記ユーザが漫然としているとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別する、
    ヘッドマウント情報処理装置。
  4. 請求項１に記載のヘッドマウント情報処理装置において、
    前記ユーザ状態判別部は、
    前記右目視線センサ及び前記左目視線センサの検出結果に基づき、前記ユーザが前記表示部における前記現実空間情報に注視しており、かつ前記ユーザの眼球が前記表示部における前記仮想空間情報を捉えた動きをしておらず前記ユーザは前記仮想空間情報を意識していないあるいは、気づいていないとみなされる場合には、前記ユーザの状態が、前記仮想空間情報を視聴するのに適していない状態と判別する、
    ヘッドマウント情報処理装置。
JP2022132869A 2018-10-03 2022-08-24 ヘッドマウント情報処理装置 Active JP7455167B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022132869A JP7455167B2 (ja) 2018-10-03 2022-08-24 ヘッドマウント情報処理装置
JP2024037909A JP2024073526A (ja) 2018-10-03 2024-03-12 ヘッドマウント情報処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/037091 WO2020070839A1 (ja) 2018-10-03 2018-10-03 ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
JP2020551019A JP7130765B2 (ja) 2018-10-03 2018-10-03 ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
JP2022132869A JP7455167B2 (ja) 2018-10-03 2022-08-24 ヘッドマウント情報処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020551019A Division JP7130765B2 (ja) 2018-10-03 2018-10-03 ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024037909A Division JP2024073526A (ja) 2018-10-03 2024-03-12 ヘッドマウント情報処理装置

Publications (2)

Publication Number Publication Date
JP2022184841A JP2022184841A (ja) 2022-12-13
JP7455167B2 true JP7455167B2 (ja) 2024-03-25

Family

ID=70054576

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020551019A Active JP7130765B2 (ja) 2018-10-03 2018-10-03 ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
JP2022132869A Active JP7455167B2 (ja) 2018-10-03 2022-08-24 ヘッドマウント情報処理装置
JP2024037909A Pending JP2024073526A (ja) 2018-10-03 2024-03-12 ヘッドマウント情報処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020551019A Active JP7130765B2 (ja) 2018-10-03 2018-10-03 ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024037909A Pending JP2024073526A (ja) 2018-10-03 2024-03-12 ヘッドマウント情報処理装置

Country Status (4)

Country Link
US (2) US12032164B2 (ja)
JP (3) JP7130765B2 (ja)
CN (1) CN112714899A (ja)
WO (1) WO2020070839A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077262A (ja) * 2019-11-13 2021-05-20 セイコーエプソン株式会社 頭部装着型表示装置、入力方式方法の切り替え方法、及び、その切り替えプログラム
CN114003126A (zh) * 2021-09-26 2022-02-01 歌尔光学科技有限公司 虚拟现实设备的交互控制方法、装置及设备
CN114972692B (zh) * 2022-05-12 2023-04-18 北京领为军融科技有限公司 基于ai识别和混合现实的目标定位方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018005557A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249064A (ja) 1998-03-04 1999-09-17 Omron Corp 頭部搭載型表示装置
US20090040233A1 (en) * 2004-06-10 2009-02-12 Kakuya Yamamoto Wearable Type Information Presentation Device
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
JP5594850B2 (ja) 2012-08-17 2014-09-24 独立行政法人理化学研究所 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
KR20140130321A (ko) * 2013-04-30 2014-11-10 (주)세이엔 착용형 전자 장치 및 그의 제어 방법
JP6309779B2 (ja) * 2014-02-12 2018-04-11 株式会社バンダイナムコエンターテインメント プログラム、ゲーム装置およびゲームシステム
WO2015145863A1 (ja) 2014-03-28 2015-10-01 国立研究開発法人理化学研究所 表示システム、アタッチメント、表示方法、ならびに、プログラム
US10345899B2 (en) * 2014-12-22 2019-07-09 Essilor International Method for adapting the sensorial output mode of a sensorial output device to a user
WO2016157523A1 (ja) 2015-04-03 2016-10-06 株式会社ＳＲ ｌａｂｏｒａｔｏｒｉｅｓ 表示端末ならびに情報記録媒体
JP6585929B2 (ja) 2015-06-02 2019-10-02 キヤノン株式会社 システム、システムの制御方法
CN106332177B (zh) 2015-06-30 2021-09-10 中兴通讯股份有限公司 一种实现成员资源处理的方法及装置
WO2017006640A1 (ja) * 2015-07-08 2017-01-12 ソニー株式会社 情報処理装置、表示装置、情報処理方法及びプログラム
JP6727807B2 (ja) * 2015-12-29 2020-07-22 株式会社バンダイナムコアミューズメント ゲーム装置及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018005557A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content

Also Published As

Publication number Publication date
US20210389587A1 (en) 2021-12-16
JP7130765B2 (ja) 2022-09-05
JP2024073526A (ja) 2024-05-29
JPWO2020070839A1 (ja) 2021-09-02
WO2020070839A1 (ja) 2020-04-09
US12032164B2 (en) 2024-07-09
JP2022184841A (ja) 2022-12-13
CN112714899A (zh) 2021-04-27
US20240310638A1 (en) 2024-09-19

Similar Documents

Publication Publication Date Title
JP7455167B2 (ja) ヘッドマウント情報処理装置
CN106471419B (zh) 管理信息显示
US20230029639A1 (en) Medical device system for remote monitoring and inspection
KR102213725B1 (ko) 모바일 디바이스 착용 시의 머리 움직임 추적
RU2644265C2 (ru) Устройство отображения изображения и устройство для ввода информации
US8736692B1 (en) Using involuntary orbital movements to stabilize a video
US8988373B2 (en) Skin input via tactile tags
KR20190100957A (ko) 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
US11460696B2 (en) Head-mountable apparatus and methods
US11599189B2 (en) Head orientation tracking
JP6212666B1 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP2020077271A (ja) 表示装置、学習装置、及び、表示装置の制御方法
JP6830981B2 (ja) ウェアラブル機器及び表示方法
JP2021089744A (ja) ウェアラブル機器及び表示方法
WO2022066350A1 (en) Head-mountable device for posture detection
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
US12039223B2 (en) Head-mountable information processing apparatus
US20230281938A1 (en) Hardware-agnostic input framework for providing input capabilities at various fidelity levels, and systems and methods of use thereof
CN118805154A (zh) 用于提供多种保真度水平的输入功能的硬件无关的输入框架及其系统和使用方法
CN118119915A (zh) 用于向用户传达模型不确定性的系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240312

R150 Certificate of patent or registration of utility model

Ref document number: 7455167

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150