JP6366240B2 - 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム - Google Patents

頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム Download PDF

Info

Publication number
JP6366240B2
JP6366240B2 JP2013171648A JP2013171648A JP6366240B2 JP 6366240 B2 JP6366240 B2 JP 6366240B2 JP 2013171648 A JP2013171648 A JP 2013171648A JP 2013171648 A JP2013171648 A JP 2013171648A JP 6366240 B2 JP6366240 B2 JP 6366240B2
Authority
JP
Japan
Prior art keywords
acceleration
predetermined
predetermined value
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013171648A
Other languages
English (en)
Other versions
JP2015041868A (ja
Inventor
一 丸田
一 丸田
ソンウク チェ
ソンウク チェ
柴崎 隆男
隆男 柴崎
成示 龍田
成示 龍田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WHERE, INC.
Olympus Corp
Original Assignee
WHERE, INC.
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WHERE, INC., Olympus Corp filed Critical WHERE, INC.
Priority to JP2013171648A priority Critical patent/JP6366240B2/ja
Publication of JP2015041868A publication Critical patent/JP2015041868A/ja
Application granted granted Critical
Publication of JP6366240B2 publication Critical patent/JP6366240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システムに関する。
近年、利用者が身体に装着するウェアラブル端末に関する技術が注目されている。例えば、スマートフォンと連動して情報インタフェースとして利用する端末、あるいは、スマートフォンの代替端末として利用する端末などが、実現されている。
特開2012−252568号公報 特開2010−74228号公報 特開2009−88971号公報 特開2007−72145号公報 特開平8−126031号公報
ウェアラブル端末に表示される画面に対する操作を、ウェアラブル端末におけるセンサで検出して行う方法がある。このとき、ウェアラブル端末は、利用者の動作をウェアラブル端末のセンサで適切に検出することが求められる。
本発明は、センサにより頭部の動作を検出する頭部装着型画像表示装置を提供することを課題とする。
開示の技術は、上記課題を解決するために、以下の手段を採用する。
即ち、第1の態様は、所定期間、利用者に静止状態を維持することを促す表示をする表示部と、直交する3軸方向のそれぞれの加速度を検出する加速度センサ部と、加速度センサ部が所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備える頭部装着型画像表示装置である。
第2の態様は、第1の態様に加え、演算部は、加速度センサ部が検出する加速度に基づき、自装置における第1の方向と前記算出された重力加速度の方向と直交する第2の方向との第1のなす角が第1所定値を超えたとき、第1の所定操作がされたと判定する頭部装着型画像表示装置である。
第3の態様は、第1の態様または第2の態様に加え、演算部は、加速度センサ部が検出する加速度に基づき、自装置における第3の方向と前記算出された重力加速度の方向に直交する第4の方向との第2のなす角が第2所定値を超え、かつ、所定時間内に、第2のなす角が第2所定値以下の第3所定値未満になった場合、第2の所定操作がされたと判定する頭部装着型画像表示装置である。
第4の態様は、第1の態様に加え、演算部は、加速度センサ部が検出した所定期間の加速度に基づいて、所定期間内の各時刻の重力加速度の方向を算出し、各時刻の重力加速度
の方向と前記算出された重力加速度の方向とのなす角を算出し、所定期間における前記なす角の標準偏差を算出する頭部装着型画像表示装置である。
開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。
本発明によれば、センサにより頭部の動作を検出する頭部装着型画像表示装置を提供することができる。
図1は、実施形態のシステムの構成例を示す図である。 図2は、ウェアラブルディスプレイの構成例を示す図である。 図3は、ウェアラブルディスプレイの例を示す図である。 図4は、情報処理装置の構成例を示す図である。 図5は、ウェアラブルディスプレイのキャリブレーションの動作フローの例を示す図である。 図6は、ウェアラブルディスプレイのコマンド操作の動作フローの例(1)を示す図である。 図7は、ウェアラブルディスプレイのコマンド操作の動作フローの例(2)を示す図である。 図8は、ウェアラブルディスプレイのコマンド操作の動作フローの例(3)を示す図である。 図9は、ウェアラブルディスプレイのコマンド操作の動作フローの例(4)を示す図である。 図10は、表示部108に表示される選択画面の例を示す図である。 図11は、スクロール後の選択画面の例を示す図である。 図12は、スクロール後の選択画面の例を示す図である。 図13は、実施形態のシステムの変形例を示す図である。
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の構成は、実施形態の具体的構成に限定されない。開示の構成の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
〔実施形態〕
(構成例)
図1は、実施形態のシステムの構成例を示す図である。図1のシステム10は、ウェアラブルディスプレイ100、情報処理装置200、ネットワーク300を含む。ウェアラブルディスプレイ100と情報処理装置200とは、例えば、ブルートゥース、無線LAN等によって、通信可能に接続される。ウェアラブルディスプレイ100と情報処理装置200との接続は、これらに限定されるものではなく、他の無線通信方式や、有線による通信方式によって、接続されてもよい。さらには、ウェアラブルディスプレイ100と情報処理装置200とは、一体に構成されてもよい。情報処理装置200は、上位のネットワーク300に接続される。情報処理装置200と上位のネットワーク300との通信方
式は、無線によるものであっても、有線によるものであってもよい。システム10は、画像表示システムの一例である。ウェアラブルディスプレイ100は、頭部装着型画像表示装置の一例である。
図2は、ウェアラブルディスプレイの構成例を示す図である。図2のウェアラブルディスプレイ100は、プロセッサ102、メモリ104、記憶装置106、表示部108、通信部110、加速度センサ112、地磁気センサ114を備える。
ウェアラブルディスプレイ100は、利用者の頭部に固定される。例えば、ウェアラブルディプレイ100は眼鏡に固定され、利用者が当該眼鏡を装着することにより、ウェアラブルディプレイ100が利用者の頭部に固定される。ウェアラブルディスプレイ100は、他の方法により、利用者の頭部に固定されてもよい。ウェアラブルディスプレイ100が利用者の頭部に固定されることにより、ウェアラブルディスプレイ100のセンサにより利用者の頭部の動作が検出され得る。また、ウェアラブルディスプレイ100が頭部に固定されることで、利用者が頭部を動かしても、利用者はウェアラブルディスプレイ100の表示部108に表示される画面を見続けることができる。
プロセッサ102は、所定の機能を実現するプログラムを記憶装置106等から読み込み、メモリ104でプログラムを展開し、所定の機能を実行する。プロセッサ102は、ウェアラブルディスプレイ100を制御する。プロセッサ102は、記憶装置106に格納される情報、通信部110が受信した情報などに基づいて、所定の処理を実行する。プロセッサ102は、演算部の一例である。
メモリ104は、プロセッサ102で使用されるプログラムが展開される。メモリ104は、プログラムが実行される際に使用されるデータ等を格納する。
記憶装置106は、プロセッサ102で使用されるプログラム、およびプログラムが実行される際に使用されるデータ等を格納する。
表示部108は、各種の情報を表示する。利用者は、表示部108に表示される情報を認識することができる。表示部108に表示される情報は、例えば、利用者に対する指示、選択メニュー等である。
通信部110は、情報処理装置200との間で通信を行う。通信部110は、例えば、ブルートゥース、無線LAN等によって、情報処理装置200に接続される。通信部110は、他の無線通信方式や有線による通信方式によって、情報処理装置200に接続されてもよい。通信部110は、情報処理装置200を介して、他の情報処理装置に接続されてもよい。また、通信部110は、ネットワークを介して、情報処理装置200に接続されてもよい。
加速度センサ112は、3軸の加速度センサである。加速度センサ112は、加速度の方向及び大きさを検出する。加速度センサ112は、静止状態では、重力加速度の方向及び大きさを検出する。加速度センサ112は、自由落下の状態を加速度0とする系の加速度を検出する。従って、加速度センサ112の静止状態の出力の方向は、重力加速度の方向と反対方向であって、大きさは、重力加速度の大きさとなる。加速度センサ112は、互いに直交するX軸、Y軸、Z軸により、加速度を検出する。ここでは、ウェアラブルディスプレイ100が利用者に装着された状態で、身体の中心から前の方向がX軸、重力加速度の方向と逆の方向(頭上の方向)がY軸方向であるとする。身体の中心から左の方向がZ軸であるとする。ただし、これらの軸の方向は、利用者のウェアラブルディスプレイ100の装着の仕方や、ウェアラブルディスプレイ100の製造時の精度等によって、ず
れることがある。重力加速度の方向は、地面に向かう方向である。
地磁気センサ114は、3軸の地磁気センサである。地磁気センサ114は、ウェアラブルディスプレイ100に対する地磁気の方向を検出する。加速度センサ112と地磁気センサ114とは、一体化されていてもよい。
スイッチ116は、電源スイッチである。スイッチ116が操作されることにより、ウェアラブルディスプレイ100の電源が投入されたり、電源が切断されたりする。スイッチ116に他の機能が持たされてもよい。
図3は、ウェアラブルディスプレイの例を示す図である。図3のウェアラブルディスプレイ100は、眼鏡の右側のつる(テンプル)に固定される。図3のウェアラブルディスプレイは、表示部108が右眼の前になるように、眼鏡のつるに固定される。また、図3では、ウェアラブルディスプレイ100の加速度センサ112の位置が原点になるように3軸が示されている。図3において、+X方向は利用者の正面方向であり、+Y方向は利用者の頭上方向であり、+Z方向は利用者の左方向である。これらのX、Y、Zは、加速度センサ112の3軸を示す。各軸は互いに直交する。ウェアラブルディスプレイ100が固定された眼鏡を利用者が装着することで、ウェアラブルディスプレイ100が利用者の頭部に装着される。ウェアラブルディスプレイ100は、他の方法により利用者の頭部に固定されてもよい。
図4は、情報処理装置の構成例を示す図である。図4の情報処理装置200は、プロセッサ202、メモリ204、記憶装置206、表示部208、通信部210、入力部212を備える。
プロセッサ202は、所定の機能を実現するプログラムを記憶装置206等から読み込み、メモリ204でプログラムを展開し、所定の機能を実行する。プロセッサ202は、情報処理装置200を制御する。プロセッサ202は、記憶装置206に格納される情報、通信部210が受信した情報などに基づいて、所定の処理を実行する。プロセッサ202は、演算部の一例である。
メモリ204は、プロセッサ202で使用されるプログラムが展開される。メモリ204は、プログラムが実行される際に使用されるデータ等を格納する。
記憶装置206は、プロセッサ202で使用されるプログラム、およびプログラムが実行される際に使用されるデータ等を格納する。
表示部208は、各種の情報を表示する。利用者は、表示部208に表示される情報を認識することができる。
通信部210は、ウェアラブルディスプレイ100との間で通信を行う。通信部210は、例えば、ブルートゥース、無線LAN等によって、ウェアラブルディスプレイ100に接続される。通信部210は、他の無線通信方式や有線による通信方式によって、ウェアラブルディスプレイ100に接続されてもよい。また、通信部110は、ネットワークを介して、ウェアラブルディスプレイ100に接続されてもよい。通信部210は、ネットワークを介して、他の情報処理装置に接続されてもよい。
入力部212は、利用者等からの情報の入力を受け付ける。入力部212は、キーボード、タッチパネル、ポインティングデバイス等である。
ウェアラブルディスプレイ100は、コンピュータを搭載した電子機器を使用して実現可能である。
情報処理装置200は、パーソナルコンピュータ(PC、Personal Computer)、ワー
クステーション(WS、Work Station)、PDA(Personal Digital Assistant)のような専用または汎用のコンピュータを使用して実現可能である。情報処理装置200は、サーバマシンのような専用または汎用のコンピュータを使用して実現可能である。また、情報処理装置200は、スマートフォン、携帯電話、タブレット型端末、カーナビゲーション装置のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
コンピュータは、プロセッサ、主記憶装置、及び、二次記憶装置や、通信インタフェース装置のような周辺装置とのインタフェース装置を含む。主記憶装置及び二次記憶装置は、コンピュータ読み取り可能な記録媒体である。
コンピュータは、プロセッサが記録媒体に記憶されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて周辺機器が制御されることによって、所定の目的に合致した機能を実現することができる。
プロセッサは、例えば、CPU(Central Processing Unit)やDSP(Digital Signal Processor)である。主記憶装置は、例えば、RAM(Random Access Memory)やRO
M(Read Only Memory)を含む。
二次記憶装置は、例えば、EPROM(Erasable Programmable ROM)、ハードディス
クドライブ(HDD、Hard Disk Drive)である。また、二次記憶装置は、リムーバブル
メディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、USB(Universal Serial Bus)メモリ、あるいは、CD(Compact Disc)やDVD(Digital Versatile Disc)のようなディスク記録媒体である。二次記憶装置には、オペレーティングシステム(Operating System :OS)、各種プログラム、各種テーブル等が格納される。OSは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。OSは、外部装置等とのデータの受け渡しを行う通信インタフェースプログラムを含む。外部装置等には、例えば、コンピュータ、外部記憶装置等が含まれる。
通信インタフェース装置は、例えば、LAN(Local Area Network)インタフェースボードや、無線通信のための無線通信回路である。
周辺装置は、上記の二次記憶装置や通信インタフェース装置の他、入力装置、出力装置を含む。入力装置は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力装置は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。入力装置は、各種センサを含むことができる。出力装置は、CRT(Cathode Ray Tube)ディスプレイ、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electroluminescence)パ
ネル、プリンタ等を含む。また、出力装置は、スピーカのような音声の出力装置を含むことができる。
ウェアラブルディスプレイ100を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、キャリブレーション及びコマンド操作などの機能を実現する。一方、メモリ104、記憶装置106は、主記憶装置または二次記憶装置の記憶領域に設けられる。
ウェアラブルディスプレイ100のハードウェア構成は、図2に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
情報処理装置200を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、所定の機能を実現する。一方、メモリ204、記憶装置206は、主記憶装置または二次記憶装置の記憶領域に設けられる。
情報処理装置200のハードウェア構成は、図4に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
(動作例)
〈キャリブレーション〉
図5は、ウェアラブルディスプレイのキャリブレーションの動作フローの例を示す図である。
ウェアラブルディスプレイ100が静止状態であれば、加速度センサ112が示す値は、重力加速度によるものである。加速度センサ112のY軸が、重力加速度の方向と反対の方向になるようにされている。しかし、利用者のウェアラブルディスプレイ100の装着の仕方や、ウェアラブルディスプレイ100の製造時の精度等によって、Y軸の方向がずれることがある。キャリブレーションは、主として、ウェアラブルディスプレイ100が、ウェアラブルディスプレイ100を装着する利用者の頭部の向きと重力加速度の方向との関係を認識することを目的とする。
利用者等によってスイッチ116が操作されることにより、ウェアラブルディスプレイ100の電源が投入される。ウェアラブルディスプレイ100は、電源が投入されるとキャリブレーションを開始する。ウェアラブルディスプレイ100は、他のタイミングにキャリブレーションを開始してもよい。利用者は、ウェアラブルディスプレイ100を装着後に電源を投入するか、電源投入後に、ウェアラブルディスプレイ100を装着する。
キャリブレーションは、地面に対して静止した状態で、行われることが望ましい。地面に対して静止した状態でなくても、例えば、ほぼ等速直線運動をしている乗り物の中であってもよい。即ち、静止する状態でなくても、重力加速度よりも十分小さい加速度で移動している状態であってもよい。
ステップS101では、プロセッサ102は、表示部108に、キャリブレーションを開始するため静止することを利用者に求める旨の表示をすることを指示する。この時、プロセッサ102は、表示部108に、利用者には、正面を向いて静止することを求める旨の表示をすることを指示する。これは、利用者の頭部の向きと重力加速度の方向との関係を求めるためである。また、プロセッサ102は、加速度センサ112に各軸の加速度を計測することを指示する。計測された加速度は、メモリ104または記憶装置106に格納される。
ステップS102では、プロセッサ102は、ステップS101の表示後、所定時間経過したか否かを判定する。所定時間経過した場合(ステップS102;YES)、処理がステップS103に進む。所定時間は、例えば、10秒である。プロセッサ102は、表示部108に、所定時間経過するまでの残り時間を表示するように指示してもよい。
ステップS103では、プロセッサ102は、計測が終了した旨の表示をすることを指
示する。プロセッサ102は、メモリ104または記憶装置106に格納される計測された加速度を読み出し、軸毎に、加速度の平均値を算出する。プロセッサ102は、算出した各軸の加速度の平均を、メモリ104または記憶装置106に格納する。
プロセッサ102は、各軸の加速度の平均とともに標準偏差を算出してもよい。各軸の加速度の標準偏差は、静止状態の判定に使用され得る。例えば、加速度の標準偏差が大きい場合、静止状態とみなす範囲をより大きくすることができる。即ち、静止状態での動きが大きい利用者(静止状態の加速度の標準偏差が大きい利用者)に対して静止状態とみなす範囲をより大きくすることで、コマンド操作等における誤検出を防ぐことができる。
ステップS104では、プロセッサ102は、ステップS103で算出された各軸の加速度の平均から、平均の重力加速度の方向を算出する。平均の重力加速度の方向は、各軸の加速度の平均をベクトルとして、各軸の加速度の平均のベクトルの和のベクトルの方向の反対方向として求まる。加速度センサ112は、自由落下の状態を加速度0とする系の加速度を検出するので、各軸の加速度の平均のベクトルの和の方向の反対方向が、平均の重力加速度の方向となる。また、各軸の加速度の平均のベクトルの和のベクトルの大きさが、重力加速度の大きさ(+1G)であるとする。
プロセッサ102は、各軸の加速度の平均から算出した平均の重力加速度の方向と計測中の各時刻における各軸の加速度から算出される重力加速度の方向との間の角度θの標準偏差を算出してもよい。角度θの標準偏差は、利用者の静止状態における動きの大きさを示す。利用者の静止状態とみなす範囲が、角度θの標準偏差に基づいて決定されてもよい。
ここで、平均の重力加速度の方向の反対方向を新たなY軸(Y’軸とする)とする。Y’軸は、原点を通るとする。さらに、原点を通りY’軸に直交する平面とXY面との交線を新たなX軸(X’軸とする)とし、原点を通りY’軸に直交する平面とYZ面との交線を新たなZ軸(Z’軸とする)とする。新たな各軸の方向は、元の軸とのなす角が90度以下になる方向とする。従って、新たな軸(X’,Y’,Z’)において、利用者が静止状態であるときの加速度は、(0,+1G,0)となる。Gは、重力加速度の大きさである。新たな軸(X’,Y’,Z’)は、ここで示されるものに限定されない。例えば、Z’軸は、X’軸及びY’軸に直交する軸として定義されてもよい。
ステップS105では、プロセッサ102は、Y軸とY’軸との角度(Y軸とY’軸とのなす角)を算出する。プロセッサ102は、算出した角度を重力加速度の方向と頭上方向との傾きとして表示部108に表示することを指示する。利用者は、表示により、重力加速度の方向と頭上方向との傾きを認識することができる。
以後、プロセッサ102は、加速度センサ112によるX軸、Y軸、Z軸の加速度の値を、求めた重力加速度の方向に基づいて、適切に回転すること等により、X’軸,Y’軸,Z’軸の値に変換する。頭部が正面を向いた状態で、加速度センサ112のX’軸が身体の中心から正面方向(前方方向)であり、加速度センサ112のY’軸が重力加速度の方向の反対方向であり、加速度センサ112のZ’軸が身体の中心から左方向であるとする。例えば、理想的には、利用者が45度前方に傾いた状態では、X’軸の加速度の値が減少し−2−1/2Gとなり、Y’軸の加速度の値が減少し+2−1/2Gとなる。
キャリブレーションにより、ウェアラブルディスプレイ100は、利用者の静止状態の頭部の向きと重力加速度の方向との関係を認識することができる。また、ウェアラブルディスプレイ100は、角度θの標準偏差などにより、利用者の静止状態における動きの大きさを認識することができる。
ウェアラブルディスプレイ100の表示部108に、利用者に正面を向かせる指示を表示することにより、利用者が指示通り正面を向きやすくなる。利用者が指示通り正面を向くことでキャリブレーションの精度が向上する。
上記の例では、ウェアラブルディスプレイ100が、加速度の平均等を算出している。ウェアラブルディスプレイ100が、加速度センサ112等で検出した情報等を、通信部110及び通信部210を介して、情報処理装置200に送信することにより、上記のプロセッサ102による演算(全部または一部)が、情報処理装置200のプロセッサ202で処理されてもよい。また、表示部102に情報を表示させる指示が、情報処理装置200のプロセッサ202によって、通信部210及び通信部110を介して行われてもよい。
〈コマンド操作〉
ここでは、ウェアラブルディスプレイ100におけるコマンド操作について説明する。ウェアラブルディスプレイ100におけるコマンド操作は、頭部の動作によって行われる。ここでは、選択画面における「選択」「戻る」「決定」の動作について説明する。スマートフォンなどの携帯端末等に対するコマンド操作の多くは、「選択」「戻る」「決定」のコマンド操作によって行われる。従って、「選択」「戻る」「決定」のコマンド操作ができることによって、ウェアラブルディスプレイ100によって、スマートフォンなどの携帯端末等に対するコマンド操作が置換され得る。
図6、図7、図8、図9は、ウェアラブルディスプレイのコマンド操作の動作フローの例を示す図である。図6の「A」、「B」、「C」、「D」、「E」は、それぞれ、図7の「A」、「B」、「C」、「D」、「E」と接続する。図7の「F」、「G」、「H」、「I」は、それぞれ、図8の「F」、「G」、「H」、「I」と接続する。図8の「J」、「K」、「L」は、それぞれ、図9の「J」、「K」、「L」と接続する。
ステップS201では、プロセッサ102は、表示部108に、選択画面の表示をすることを指示する。表示部108は、選択画面を表示する。利用者は、表示部108に表示された選択画面を見ることができる。選択画面は、例えば、利用者等による他の選択画面の操作などによって表示される。
図10は、表示部108に表示される選択画面の例を示す図である。図10の選択画面では、縦に、「選択肢1」、「選択肢2」、・・・の選択肢が表示されている。また、図10の選択画面では、左側に「戻る」、右側に「決定」の表示がされている。また、図10の選択画面では、中央の「選択肢4」が選択された状態になっている。
ステップS202では、プロセッサ102は、上動作が検出されたか否かを判定する。上動作は、頭部が上方を向く動作である。上動作は、X’軸の傾き(静止状態のX’軸からの傾き)が上向きに所定の角度α1を越えたか否かで判定される。即ち、X’軸の加速度をxとすると、xが次の式を満たすとき、プロセッサ102は、上動作が検出されたと判定する。利用者の頭部が、上方を向くと、X’軸の加速度は増加する方向に変化する。
Figure 0006366240
上動作が検出された場合(S202;YES)、処理がステップS206に進む。上動作が検出されない場合(S202;NO)、処理がステップS203に進む。
ステップS203では、プロセッサ102は、下動作が検出されたか否かを判定する。下動作は、頭部が下方を向く動作である。下動作は、X’軸の傾き(静止状態のX’軸からの傾き)が下向きに所定の角度β1を越えたか否かで判定される。即ち、X’軸の加速度をxとすると、xが次の式を満たすとき、プロセッサ102は、下動作が検出されたと判定する。利用者の頭部が、下方を向くと、X’軸の加速度は減少する方向に変化する。
Figure 0006366240
下動作が検出された場合(S203;YES)、処理がステップS209に進む。下動作が検出されない場合(S203;NO)、処理がステップS204に進む。
ステップS204では、プロセッサ102は、右動作が検出されたか否かを判定する。右動作は、頭部が右側に傾く動作である。右動作は、Z’軸の傾き(静止状態のZ’軸からの傾き)が右向きに所定の角度γ1を越えたか否かで判定される。即ち、Z’軸の加速度をzとすると、zが次の式を満たすとき、プロセッサ102は、右動作が検出されたと判定する。利用者の頭部が、右に傾くと、Z’軸の加速度は増加する方向に変化する。
Figure 0006366240
右動作が検出された場合(S204;YES)、処理がステップS212に進む。右動作が検出されない場合(S204;NO)、処理がステップS205に進む。
ステップS205では、プロセッサ102は、左動作が検出されたか否かを判定する。左動作は、頭部が左側に傾く動作である。左動作は、Z’軸の傾き(静止状態のZ’軸からの傾き)が下向きに所定の角度δ1を越えたか否かで判定される。即ち、Z’軸の加速度をzとすると、zが次の式を満たすとき、プロセッサ102は、左動作が検出されたと判定する。利用者の頭部が、左に傾くと、Z’軸の加速度は減少する方向に変化する。
Figure 0006366240
左動作が検出された場合(S205;YES)、処理がステップS214に進む。左動作が検出されない場合(S205;NO)、処理がステップS202に戻る。
ステップS206では、プロセッサ102は、選択画面に表示されている選択肢を上方向にスクロールして表示することを表示部108に指示する。表示部108は、選択肢を上方向にスクロールして表示する。また、プロセッサ102は、X’軸の傾き(角度)に応じて、表示部108におけるスクロールのスピードを変更するように表示部108に指示してもよい。即ち、例えば、X’軸の傾き(角度)が大きいほど、プロセッサ102は、スクロールのスピードを大きくする。スクロールのスピードには、上限が設けられてもよい。
図11は、スクロール後の選択画面の例を示す図である。図11の選択画面は、図10の選択画面から、上方にスクロールして、「選択肢4」の1つ上の「選択肢3」が選択さ
れた状態になっている。利用者が上方を向くことにより更に上方にスクロールし、上方の選択肢が選択状態となる。
ステップS207では、プロセッサ102は、上方を向いた頭部が元に戻ったか否かを判定する。元に戻ったか否かは、X’軸の傾き(静止状態のX’軸からの傾き)が上向きに所定の角度α2未満か否かで判定される。即ち、X’軸の加速度xが次の式を満たすとき、プロセッサ102は、元に戻ったと判定する。
Figure 0006366240
元に戻ったと判定された場合(S207;YES)、処理がステップS208に進む。元に戻ったと判定されない場合(S207;NO)、処理がステップS206に戻る。
ステップS208では、プロセッサ102は、選択肢のスクロールを停止して表示することを表示部108に指示する。表示部108は、選択肢のスクロールを停止して表示する。選択画面では、スクロールが停止した時点の中央に表示される選択肢が選択状態となる。スクロールが停止すると、処理がステップS202に戻る。プロセッサ102は、X’軸の加速度xが所定の角度α2未満となったことで、利用者の頭部が正面を向いた状態に戻ったと判断している。このとき、プロセッサ102は、利用者がスクロールを止めようとしていると判断する。
ステップS209では、プロセッサ102は、選択画面に表示されている選択肢を下方向にスクロールして表示することを表示部108に指示する。表示部108は、選択肢を下方向にスクロールして表示する。また、プロセッサ102は、X’軸の傾き(角度)に応じて、表示部108におけるスクロールのスピードを変更するように表示部108に指示してもよい。即ち、例えば、X’軸の傾き(角度)が大きいほど、プロセッサ102は、スクロールのスピードを大きくする。スクロールのスピードには、上限が設けられてもよい。
図12は、スクロール後の選択画面の例を示す図である。図12の選択画面は、図10の選択画面から、上方にスクロールして、「選択肢4」の1つ下の「選択肢5」が選択された状態になっている。利用者が下方を向くことにより更に下方にスクロールし、下方の選択肢が選択状態となる。
ステップS210では、プロセッサ102は、下方を向いた頭部が元に戻ったか否かを判定する。元に戻ったか否かは、X’軸の傾き(静止状態のX’軸からの傾き)が下向きに所定の角度β2未満か否かで判定される。即ち、X’軸の加速度xが次の式を満たすとき、プロセッサ102は、元に戻ったと判定する。
Figure 0006366240
元に戻ったと判定された場合(S210;YES)、処理がステップS211に進む。元に戻ったと判定されない場合(S210;NO)、処理がステップS209に戻る。
ステップS211では、プロセッサ102は、選択肢のスクロールを停止して表示することを表示部108に指示する。表示部108は、選択肢のスクロールを停止して表示す
る。選択画面では、スクロールが停止した時点の中央に表示される選択肢が選択状態となる。スクロールが停止すると、処理がステップS202に戻る。プロセッサ102は、X’軸の加速度xが所定の角度β2未満となったことで、利用者の頭部が正面を向いた状態に戻ったと判断している。このとき、プロセッサ102は、利用者がスクロールを止めようとしていると判断する。
ステップS212では、プロセッサ102は、右に傾いた頭部が右動作が検出されてから所定時間以内に元に戻ったか否かを判定する。元に戻ったか否かは、Z’軸の傾き(静止状態のZ’軸からの傾き)が右向きに所定の角度γ2未満か否かで判定される。即ち、Z’軸の加速度zが次の式を満たすとき、プロセッサ102は、元に戻ったと判定する。
Figure 0006366240
所定時間以内に元に戻ったと判定されない場合(S212;NO)、処理がステップS202に戻る。このとき、頭部の動作は、コマンド操作であると判断されない。コマンド操作であれば、速やかな動作であると考えられるからである。
所定時間以内に元に戻ったと判定された場合(S212;YES)、処理がステップS213に進む。このとき、プロセッサ102は、選択画面において現在選択状態にある選択肢が「決定」されたと認識する。即ち、プロセッサ102は、頭部が右側に傾いて所定時間以内に元の状態に戻ったことをもって、「決定」のコマンド操作がされたと判断する。スクロールの操作では、頭部が一方向に移動したことをもってスクロールを開始したが、決定の操作では、頭部が右側への往復動作をしたことをもって「決定」のコマンド操作が実行される。
ステップS213では、プロセッサ102は、選択画面において選択状態にある選択肢が「決定」されたとして、所定の処理を実行する。例えば、プロセッサ102は、決定された選択肢に基づく情報等を表示することを表示部108に指示する。
ステップS214では、プロセッサ102は、左に傾いた頭部が左動作が検出されてから所定時間以内に元に戻ったか否かを判定する。元に戻ったか否かは、Z’軸の傾き(静止状態のZ’軸からの傾き)が左向きに所定の角度δ2未満か否かで判定される。即ち、Z’軸の加速度zが次の式を満たすとき、プロセッサ102は、元に戻ったと判定する。
Figure 0006366240
所定時間以内に元に戻ったと判定されない場合(S214;NO)、処理がステップS202に戻る。このとき、頭部の動作は、コマンド操作であると判断されない。
所定時間以内に元に戻ったと判定された場合(S214;YES)、処理がステップS215に進む。このとき、プロセッサ102は、選択画面において「戻る」が選択されたと認識する。即ち、プロセッサ102は、頭部が左側に傾いて所定時間以内に元の状態に戻ったことをもって、「戻る」のコマンド操作がされたと判断する。スクロールの操作では、頭部が一方向に移動したことをもってスクロールを開始したが、決定の操作では、頭部が左側への往復動作をしたことをもって「戻る」のコマンド操作が実行される。
ステップS215では、プロセッサ102は、「戻る」が選択されたとして、所定の処理を実行する。例えば、プロセッサ102は、前に表示されていた画面を表示することを表示部108に指示する。
以上により、頭部の動作をウェアラブルディスプレイ100が検出することによって、「選択」「戻る」「決定」の動作が実現される。
X’軸の傾きは、重力加速度の方向と直交する平面とX’軸との間の角度として定義されてもよい。Z’軸の傾きは、重力加速度の方向と直交する平面とZ’軸との間の角度として定義されてもよい。
ここで、所定の角度α1、β1、γ1、δ1、α2、β2、γ2、δ2は、予め決められている。ここでは、α1≧α2、β1≧β2、γ1≧γ2、δ1≧δ2とする。また、所定の角度α1、β1、γ1、δ1、α2、β2、γ2、δ2は、キャリブレーションで算出される角度θの標準偏差に基づいて、決定されてもよい。例えば、角度α1、β1、γ1、δ1を角度θの標準偏差の3倍にし、角度α2、β2、γ2、δ2を角度θの標準偏差の2倍とする。このようにすることにより、正面を向いた静止状態に対して、異常な大きさ(例えば、標準偏差の3倍)の動作があったとき、コマンド操作がされたと判定できる。それぞれの利用者の角度θの標準偏差に基づくことで、誤検出(利用者が意図しない検出)を低減することができる。
ここまでは、頭部の動作による加速度が重力加速度(9.8m/s(≒35km/h/s))よりも十分小さいことを前提として、加速度センサ112の出力を重力加速度に起因するものとしていた。地磁気センサ114では、仰角を測定することが可能である。仰角の情報から重力加速度の方向を特定し、加速度センサ112の出力から重力加速度の影響を取り除くことで、頭部の動作による加速度が得られる。頭部の動作による加速度を用いて、頭部の傾きを検出することで、上記と同様のコマンド操作を検出することも可能である。
上記の例では、ウェアラブルディスプレイ100のプロセッサ102が、演算を行っている。ウェアラブルディスプレイ100が、加速度センサ112等で検出した情報等を、通信部110及び通信部210を介して、情報処理装置200に送信することにより、上記のプロセッサ102による演算(全部または一部)が、情報処理装置200のプロセッサ202で処理されてもよい。また、表示部102に情報を表示させる指示が、情報処理装置200のプロセッサ202によって、通信部210及び通信部110を介して行われてもよい。
一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。
なお、本実施形態のシステムによる応用として、産業向け用途への利用がある。
例えば、通信販売業においてシッピング時に顧客の複数オーダーを倉庫内からピックアップする際など、オペレーターが倉庫内の多数のアイテムから所定のアイテムを探し出し所定の個数を集積しなければならないが、一般的にはこれを紙のリストやデスクトップコンピュータディスプレイに表示されたデータからオペレーターがそれを持って倉庫内で探し回るのが通例であった。
本実施形態のシステムを利用することにより両手が空くことになり、効率的にアイテムのピックアップやそれを集め歩く行為が可能となり、また、行動履歴やアイテムを集めるルート検索などの効率化に繋げられるものである。
また、同様に多品種少量生産の工場内の組立作業者に対しても本システムの利用が効果を発揮する。
即ち、組み立て部品がいつも一定では無い作業において、集める部品についての確認と組み立てマニュアルなどもハンズフリー且つ頭の動作だけで操作が出来ることは、作業効率を上げることに直接的に寄与する。
(変形例)
上記の実施形態における変形例について説明する。ここでは、主として、相違点について説明し、共通点についての説明を省略する。
図13は、実施形態のシステムの変形例を示す図である。図13のシステム20は、ウェアラブルディスプレイ100、ネットワーク300を含む。ウェアラブルディスプレイ100とネットワーク300とは、例えば、無線による通信方式または有線による通信方式によって通信可能に接続される。ウェアラブルディスプレイ100とネットワーク300との接続は、これらに限定されるものではなく、他の通信方式によって通信可能に接続されてもよい。ウェアラブルディスプレイ100は、情報処理装置200に相当する装置と、一体に構成されてもよい。また、ウェアラブルディスプレイ100は、ネットワーク300を介して、情報処理装置200と接続されてもよい。ウェアラブルディスプレイ100は、ネットワーク300を介して、他の情報処理装置に接続されてもよい。システム20は、画像表示システムの一例である。
また、ウェアラブルディスプレイ100は、ネットワーク300に接続されなくてもよい。
(実施形態の作用、効果)
利用者がスマートフォンのディスプレイを見る場合、頭部が下向きになりがちである。ウェアラブルディスプレイ100の表示部108に利用者に要求する状態を表示することにより、利用者は要求する状態にし易くなる。例えば、利用者は表示部108に表示される情報を見たまま正面を向くことができる。
ウェアラブルディスプレイ100によると、利用者が頭部を上向きもしくは下向きに傾けることで、表示部108に表示される選択画面の選択肢をスクロールさせることができる。また、ウェアラブルディスプレイ100によると、利用者が頭部を右または左に倒して所定時間以内にもとに戻すことにより、「決定」または「戻る」の操作を実行することができる。
ウェアラブルディスプレイ100によれば、利用者は、操作のために頭部を動かしても、表示部108が頭部に装着されているため、表示部108による表示を見続けることができる。即ち、ウェアラブルディスプレイ100によれば、利用者は、表示部108による表示を見続けながら、頭部の動作によって、ウェアラブルディスプレイ100を操作することができる。
ウェアラブルディスプレイ100によれば、スマートフォンにおける画面表示及び「選択」、「戻る」、「決定」の動作を、ウェアラブルディスプレイ100における表示部1
08及び頭部の動作によって置換することができる。即ち、「選択」、「戻る」、「決定」のコマンド操作により、あらゆる画面操作が、ウェアラブルディスプレイ100において実現できる。ウェアラブルディスプレイ100によれば、適切に閾値を設けることにより、コマンド操作のための動作と他の動作とを区別することができる。
ウェアラブルディスプレイ100は、キャリブレーションの際に重力加速度の方向を算出するとともに、利用者の静止状態での頭部の動きの大きさ(角度θ等)を検出することができる。静止状態での頭部の動作が大きい利用者に対しては、コマンド操作と認識されるまでの閾値を大きくすることで、コマンド操作の誤検出(利用者が意図しない操作の検出)を抑制することができる。
ウェアラブルディスプレイ100の表示部108は、目とともに移動するので、頭部を動かすことによる操作中であっても、表示部108が利用者の視界から外れることはない。利用者の目に対する表示部108の相対位置は、利用者が頭部を動かしても変化しない。よって、利用者は、利用者が頭部を動かしても、表示部108の表示を見続けることができる。
10 システム
20 システム
100 ウェアラブルディスプレイ
102 プロセッサ
104 メモリ
106 記憶装置
108 表示部
110 通信部
112 加速度センサ
114 磁気センサ
200 情報処理装置
202 プロセッサ
204 メモリ
206 記憶装置
208 表示部
210 通信部
212 入力部
300 ネットワーク

Claims (7)

  1. 所定期間、利用者に静止状態を維持することを促す表示をする表示部と、
    直交する3軸方向のそれぞれの加速度を検出する加速度センサ部と、
    前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
    前記演算部はさらに、
    算出された前記重力加速度の方向に基づいて、自装置における第1の方向の加速度を算出し、
    前記第1の方向の加速度が第1所定値を超え、かつ、前記第1所定値を超えてから所定時間以内に、前記第1所定値以下である第2所定値未満になった場合、第1の所定操作がされたと判定する
    頭部装着型画像表示装置。
  2. 所定期間、利用者に静止状態を維持することを促す表示をする表示部と、
    直交する3軸方向のそれぞれの加速度を検出する加速度センサ部と、
    前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
    前記演算部は、前記加速度センサ部が検出した前記所定期間の加速度に基づいて、前記所定期間内の各時刻の重力加速度の方向を算出し、前記各時刻の重力加速度の方向と前記算出された重力加速度の方向とのなす角を算出し、前記所定期間における前記なす角の標準偏差を算出し、
    前記演算部は、算出された前記所定期間における前記なす角の標準偏差に応じて、前記利用者の動作が検出されたか否かを判定するために用いる所定の角度を決定し、決定された前記所定の角度を用いて検出された前記利用者の動作に従って、予め前記利用者の動作と対応付けられたコマンド操作がされたと判定する、
    頭部装着型画像表示装置。
  3. 所定期間、利用者に静止状態を維持することを促す表示をする表示部と、
    直交する3軸方向のそれぞれの加速度を検出する加速度センサ部と、
    前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
    前記演算部は、算出された前記重力加速度の方向に基づいて自装置における第1の方向の加速度を算出し、前記第1の方向の加速度が第1所定値を超えたとき、第1の所定操作がされたと判定し、
    前記演算部は、前記加速度センサ部が検出した前記所定期間の加速度に基づいて、前記所定期間内の各時刻の第1の方向の加速度を算出し、前記所定期間における前記第1の方向の加速度の標準偏差を算出し、
    前記第1所定値は、前記標準偏差に基づいて決定される、
    頭部装着型画像表示装置。
  4. 所定期間、利用者に静止状態を維持することを促す表示をする表示部と、
    直交する3軸方向のそれぞれの加速度を検出する加速度センサ部と、
    前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
    前記演算部はさらに、
    算出された前記重力加速度の方向に基づいて、自装置における第1の方向の加速度を算出し、
    前記第1の方向の加速度が第1所定値を超え、かつ、前記第1所定値を超えてから所定時間以内に、前記第1所定値以下である第2所定値未満になった場合、第1の所定操作がされたと判定し、
    記加速度センサ部が検出した前記所定期間の加速度に基づいて、前記所定期間内の各時刻の重力加速度の方向を算出し、前記各時刻の重力加速度の方向と前記算出された重力加速度の方向とのなす角を算出し、前記所定期間における前記なす角の標準偏差を算出し、
    前記第1所定値及び前記第2所定値は、前記標準偏差に基づいて決定される
    頭部装着型画像表示装置。
  5. 表示部、加速度センサ部及び演算部を備えるコンピュータが、
    前記表示部に、所定期間、利用者に静止状態を維持することを促す表示をさせ、
    前記加速度センサ部に、直交する3軸方向のそれぞれの加速度を検出させ、
    前記演算部に、前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出させ、
    前記演算部にさらに、
    算出された前記重力加速度の方向に基づいて、前記コンピュータにおける第1の方向の加速度を算出させ、
    前記第1の方向の加速度が第1所定値を超え、かつ、前記第1所定値を超えてから所定時間以内に、前記第1所定値以下である第2所定値未満になった場合、第1の所定操作がされたと判定させる、
    ことを実行する検出方法。
  6. 表示部、加速度センサ部及び演算部を備えるコンピュータに、
    前記表示部に、所定期間、利用者に静止状態を維持することを促す表示をさせ、
    前記加速度センサ部に、直交する3軸方向のそれぞれの加速度を検出させ、
    前記演算部に、前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出させ、
    前記演算部にさらに、
    算出された前記重力加速度の方向に基づいて、前記コンピュータにおける第1の方向の加速度を算出させ、
    前記第1の方向の加速度が第1所定値を超え、かつ、前記第1所定値を超えてから所定時間以内に、前記第1所定値以下である第2所定値未満になった場合、第1の所定操作がされたと判定させる、
    ことを実行させる検出プログラム。
  7. 頭部装着型画像表示装置及び情報処理装置を含む画像表示システムであって、
    前記頭部装着型画像表示装置は、
    所定期間、利用者に静止することを促す表示をする表示部と、
    直交する3軸方向のそれぞれの加速度を検出する加速度センサ部と、
    前記加速度センサ部が検出した加速度を前記情報処理装置に送信する第1通信部と、を備え、
    前記情報処理装置は、
    前記加速度センサ部が検出した加速度を前記頭部装着型画像表示装置から受信する第2通信部と、
    前記第2通信部が受信した前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
    前記演算部はさらに、
    算出された前記重力加速度の方向に基づいて、第1の方向の加速度を算出し、
    前記第1の方向の加速度が第1所定値を超え、かつ、前記第1所定値を超えてから所定時間以内に、前記第1所定値以下である第2所定値未満になった場合、第1の所定操作がされたと判定する、
    画像表示システム。
JP2013171648A 2013-08-21 2013-08-21 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム Active JP6366240B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013171648A JP6366240B2 (ja) 2013-08-21 2013-08-21 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013171648A JP6366240B2 (ja) 2013-08-21 2013-08-21 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム

Publications (2)

Publication Number Publication Date
JP2015041868A JP2015041868A (ja) 2015-03-02
JP6366240B2 true JP6366240B2 (ja) 2018-08-01

Family

ID=52695801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013171648A Active JP6366240B2 (ja) 2013-08-21 2013-08-21 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム

Country Status (1)

Country Link
JP (1) JP6366240B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017059891A (ja) * 2015-09-14 2017-03-23 ミライアプリ株式会社 状態特定プログラム、状態特定装置、ウェアラブルデバイス及び管理装置
WO2017053966A1 (en) * 2015-09-24 2017-03-30 Tobii Ab Eye-tracking enabled wearable devices
JP6514089B2 (ja) * 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
JP7290633B2 (ja) * 2018-05-29 2023-06-13 株式会社村田製作所 情報提供電子タグ、情報提供システム
EP3807748A4 (en) * 2018-06-13 2022-03-02 Realwear, Incorporated USER INTERFACE CUSTOMIZATION OF BINARY APPLICATIONS

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
JP2008203911A (ja) * 2007-02-16 2008-09-04 Lenovo Singapore Pte Ltd ポインティング・デバイス、およびコンピュータ
JP5724422B2 (ja) * 2011-02-07 2015-05-27 富士通株式会社 操作制御装置,操作制御プログラムおよび操作制御方法
JP5757791B2 (ja) * 2011-06-03 2015-07-29 オリンパス株式会社 入力システム、頭部装着型表示装置、情報端末装置及びプログラム
JP5365684B2 (ja) * 2011-12-27 2013-12-11 株式会社ニコン 制御装置、及びヘッドマウントディスプレイ装置

Also Published As

Publication number Publication date
JP2015041868A (ja) 2015-03-02

Similar Documents

Publication Publication Date Title
JP6366240B2 (ja) 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム
JP6676213B2 (ja) 仮想現実ユーザインターフェイスのためのユーザの動きの範囲の検出
US10606344B2 (en) Dynamic switching and merging of head, gesture and touch input in virtual reality
JP5312655B2 (ja) 表示入力装置および車載情報装置
US20170372499A1 (en) Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
US10139902B2 (en) Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
EP3427125A1 (en) Intelligent object sizing and placement in augmented / virtual reality environment
KR20160050682A (ko) 전자장치의 화면 표시 제어 방법 및 장치
JP6110893B2 (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
JP6483556B2 (ja) 操作認識装置、操作認識方法及びプログラム
JP2021114343A (ja) 表示システム、及び表示システムの表示制御方法
KR102061225B1 (ko) 트리거 지역들
CN110446995B (zh) 信息处理装置、信息处理方法及程序
JP6481456B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
JP5757791B2 (ja) 入力システム、頭部装着型表示装置、情報端末装置及びプログラム
US20200301144A1 (en) Display device, display control method, and display system
JP6366094B2 (ja) 加速度センサのみを用いて不注意歩行状態を検出する携帯型情報機器、プログラム及び方法
JP6891891B2 (ja) 情報処理装置
JP2014032606A (ja) 行為検出プログラム及び行為検出装置
TWI534698B (zh) 以動作為基礎之資料瀏覽方法及系統,及相關電腦程式產品
EP2966546A1 (en) Management methods and systems for movement detection
JP2017004539A (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
US9652039B2 (en) Management methods and systems for item change
US20160011677A1 (en) Angle-based item determination methods and systems
JP2019148494A (ja) 情報処理装置、及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180703

R150 Certificate of patent or registration of utility model

Ref document number: 6366240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250