JP6366240B2 - 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム - Google Patents

Description

本発明は、頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システムに関する。

近年、利用者が身体に装着するウェアラブル端末に関する技術が注目されている。例えば、スマートフォンと連動して情報インタフェースとして利用する端末、あるいは、スマートフォンの代替端末として利用する端末などが、実現されている。

特開２０１２−２５２５６８号公報 特開２０１０−７４２２８号公報 特開２００９−８８９７１号公報 特開２００７−７２１４５号公報 特開平８−１２６０３１号公報

ウェアラブル端末に表示される画面に対する操作を、ウェアラブル端末におけるセンサで検出して行う方法がある。このとき、ウェアラブル端末は、利用者の動作をウェアラブル端末のセンサで適切に検出することが求められる。

本発明は、センサにより頭部の動作を検出する頭部装着型画像表示装置を提供することを課題とする。

開示の技術は、上記課題を解決するために、以下の手段を採用する。
即ち、第１の態様は、所定期間、利用者に静止状態を維持することを促す表示をする表示部と、直交する３軸方向のそれぞれの加速度を検出する加速度センサ部と、加速度センサ部が所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備える頭部装着型画像表示装置である。

第２の態様は、第１の態様に加え、演算部は、加速度センサ部が検出する加速度に基づき、自装置における第１の方向と前記算出された重力加速度の方向と直交する第２の方向との第１のなす角が第１所定値を超えたとき、第１の所定操作がされたと判定する頭部装着型画像表示装置である。

第３の態様は、第１の態様または第２の態様に加え、演算部は、加速度センサ部が検出する加速度に基づき、自装置における第３の方向と前記算出された重力加速度の方向に直交する第４の方向との第２のなす角が第２所定値を超え、かつ、所定時間内に、第２のなす角が第２所定値以下の第３所定値未満になった場合、第２の所定操作がされたと判定する頭部装着型画像表示装置である。

第４の態様は、第１の態様に加え、演算部は、加速度センサ部が検出した所定期間の加速度に基づいて、所定期間内の各時刻の重力加速度の方向を算出し、各時刻の重力加速度
の方向と前記算出された重力加速度の方向とのなす角を算出し、所定期間における前記なす角の標準偏差を算出する頭部装着型画像表示装置である。

開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。

本発明によれば、センサにより頭部の動作を検出する頭部装着型画像表示装置を提供することができる。

図１は、実施形態のシステムの構成例を示す図である。 図２は、ウェアラブルディスプレイの構成例を示す図である。 図３は、ウェアラブルディスプレイの例を示す図である。 図４は、情報処理装置の構成例を示す図である。 図５は、ウェアラブルディスプレイのキャリブレーションの動作フローの例を示す図である。 図６は、ウェアラブルディスプレイのコマンド操作の動作フローの例（１）を示す図である。 図７は、ウェアラブルディスプレイのコマンド操作の動作フローの例（２）を示す図である。 図８は、ウェアラブルディスプレイのコマンド操作の動作フローの例（３）を示す図である。 図９は、ウェアラブルディスプレイのコマンド操作の動作フローの例（４）を示す図である。 図１０は、表示部１０８に表示される選択画面の例を示す図である。 図１１は、スクロール後の選択画面の例を示す図である。 図１２は、スクロール後の選択画面の例を示す図である。 図１３は、実施形態のシステムの変形例を示す図である。

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の構成は、実施形態の具体的構成に限定されない。開示の構成の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

〔実施形態〕
（構成例）
図１は、実施形態のシステムの構成例を示す図である。図１のシステム１０は、ウェアラブルディスプレイ１００、情報処理装置２００、ネットワーク３００を含む。ウェアラブルディスプレイ１００と情報処理装置２００とは、例えば、ブルートゥース、無線ＬＡＮ等によって、通信可能に接続される。ウェアラブルディスプレイ１００と情報処理装置２００との接続は、これらに限定されるものではなく、他の無線通信方式や、有線による通信方式によって、接続されてもよい。さらには、ウェアラブルディスプレイ１００と情報処理装置２００とは、一体に構成されてもよい。情報処理装置２００は、上位のネットワーク３００に接続される。情報処理装置２００と上位のネットワーク３００との通信方
式は、無線によるものであっても、有線によるものであってもよい。システム１０は、画像表示システムの一例である。ウェアラブルディスプレイ１００は、頭部装着型画像表示装置の一例である。

図２は、ウェアラブルディスプレイの構成例を示す図である。図２のウェアラブルディスプレイ１００は、プロセッサ１０２、メモリ１０４、記憶装置１０６、表示部１０８、通信部１１０、加速度センサ１１２、地磁気センサ１１４を備える。

ウェアラブルディスプレイ１００は、利用者の頭部に固定される。例えば、ウェアラブルディプレイ１００は眼鏡に固定され、利用者が当該眼鏡を装着することにより、ウェアラブルディプレイ１００が利用者の頭部に固定される。ウェアラブルディスプレイ１００は、他の方法により、利用者の頭部に固定されてもよい。ウェアラブルディスプレイ１００が利用者の頭部に固定されることにより、ウェアラブルディスプレイ１００のセンサにより利用者の頭部の動作が検出され得る。また、ウェアラブルディスプレイ１００が頭部に固定されることで、利用者が頭部を動かしても、利用者はウェアラブルディスプレイ１００の表示部１０８に表示される画面を見続けることができる。

プロセッサ１０２は、所定の機能を実現するプログラムを記憶装置１０６等から読み込み、メモリ１０４でプログラムを展開し、所定の機能を実行する。プロセッサ１０２は、ウェアラブルディスプレイ１００を制御する。プロセッサ１０２は、記憶装置１０６に格納される情報、通信部１１０が受信した情報などに基づいて、所定の処理を実行する。プロセッサ１０２は、演算部の一例である。

メモリ１０４は、プロセッサ１０２で使用されるプログラムが展開される。メモリ１０４は、プログラムが実行される際に使用されるデータ等を格納する。

記憶装置１０６は、プロセッサ１０２で使用されるプログラム、およびプログラムが実行される際に使用されるデータ等を格納する。

表示部１０８は、各種の情報を表示する。利用者は、表示部１０８に表示される情報を認識することができる。表示部１０８に表示される情報は、例えば、利用者に対する指示、選択メニュー等である。

通信部１１０は、情報処理装置２００との間で通信を行う。通信部１１０は、例えば、ブルートゥース、無線ＬＡＮ等によって、情報処理装置２００に接続される。通信部１１０は、他の無線通信方式や有線による通信方式によって、情報処理装置２００に接続されてもよい。通信部１１０は、情報処理装置２００を介して、他の情報処理装置に接続されてもよい。また、通信部１１０は、ネットワークを介して、情報処理装置２００に接続されてもよい。

加速度センサ１１２は、３軸の加速度センサである。加速度センサ１１２は、加速度の方向及び大きさを検出する。加速度センサ１１２は、静止状態では、重力加速度の方向及び大きさを検出する。加速度センサ１１２は、自由落下の状態を加速度０とする系の加速度を検出する。従って、加速度センサ１１２の静止状態の出力の方向は、重力加速度の方向と反対方向であって、大きさは、重力加速度の大きさとなる。加速度センサ１１２は、互いに直交するＸ軸、Ｙ軸、Ｚ軸により、加速度を検出する。ここでは、ウェアラブルディスプレイ１００が利用者に装着された状態で、身体の中心から前の方向がＸ軸、重力加速度の方向と逆の方向（頭上の方向）がＹ軸方向であるとする。身体の中心から左の方向がＺ軸であるとする。ただし、これらの軸の方向は、利用者のウェアラブルディスプレイ１００の装着の仕方や、ウェアラブルディスプレイ１００の製造時の精度等によって、ず
れることがある。重力加速度の方向は、地面に向かう方向である。

地磁気センサ１１４は、３軸の地磁気センサである。地磁気センサ１１４は、ウェアラブルディスプレイ１００に対する地磁気の方向を検出する。加速度センサ１１２と地磁気センサ１１４とは、一体化されていてもよい。

スイッチ１１６は、電源スイッチである。スイッチ１１６が操作されることにより、ウェアラブルディスプレイ１００の電源が投入されたり、電源が切断されたりする。スイッチ１１６に他の機能が持たされてもよい。

図３は、ウェアラブルディスプレイの例を示す図である。図３のウェアラブルディスプレイ１００は、眼鏡の右側のつる（テンプル）に固定される。図３のウェアラブルディスプレイは、表示部１０８が右眼の前になるように、眼鏡のつるに固定される。また、図３では、ウェアラブルディスプレイ１００の加速度センサ１１２の位置が原点になるように３軸が示されている。図３において、＋Ｘ方向は利用者の正面方向であり、＋Ｙ方向は利用者の頭上方向であり、＋Ｚ方向は利用者の左方向である。これらのＸ、Ｙ、Ｚは、加速度センサ１１２の３軸を示す。各軸は互いに直交する。ウェアラブルディスプレイ１００が固定された眼鏡を利用者が装着することで、ウェアラブルディスプレイ１００が利用者の頭部に装着される。ウェアラブルディスプレイ１００は、他の方法により利用者の頭部に固定されてもよい。

図４は、情報処理装置の構成例を示す図である。図４の情報処理装置２００は、プロセッサ２０２、メモリ２０４、記憶装置２０６、表示部２０８、通信部２１０、入力部２１２を備える。

プロセッサ２０２は、所定の機能を実現するプログラムを記憶装置２０６等から読み込み、メモリ２０４でプログラムを展開し、所定の機能を実行する。プロセッサ２０２は、情報処理装置２００を制御する。プロセッサ２０２は、記憶装置２０６に格納される情報、通信部２１０が受信した情報などに基づいて、所定の処理を実行する。プロセッサ２０２は、演算部の一例である。

メモリ２０４は、プロセッサ２０２で使用されるプログラムが展開される。メモリ２０４は、プログラムが実行される際に使用されるデータ等を格納する。

記憶装置２０６は、プロセッサ２０２で使用されるプログラム、およびプログラムが実行される際に使用されるデータ等を格納する。

表示部２０８は、各種の情報を表示する。利用者は、表示部２０８に表示される情報を認識することができる。

通信部２１０は、ウェアラブルディスプレイ１００との間で通信を行う。通信部２１０は、例えば、ブルートゥース、無線ＬＡＮ等によって、ウェアラブルディスプレイ１００に接続される。通信部２１０は、他の無線通信方式や有線による通信方式によって、ウェアラブルディスプレイ１００に接続されてもよい。また、通信部１１０は、ネットワークを介して、ウェアラブルディスプレイ１００に接続されてもよい。通信部２１０は、ネットワークを介して、他の情報処理装置に接続されてもよい。

入力部２１２は、利用者等からの情報の入力を受け付ける。入力部２１２は、キーボード、タッチパネル、ポインティングデバイス等である。

ウェアラブルディスプレイ１００は、コンピュータを搭載した電子機器を使用して実現可能である。

情報処理装置２００は、パーソナルコンピュータ（ＰＣ、Personal Computer）、ワー
クステーション（ＷＳ、Work Station）、ＰＤＡ（Personal Digital Assistant）のような専用または汎用のコンピュータを使用して実現可能である。情報処理装置２００は、サーバマシンのような専用または汎用のコンピュータを使用して実現可能である。また、情報処理装置２００は、スマートフォン、携帯電話、タブレット型端末、カーナビゲーション装置のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。

コンピュータは、プロセッサ、主記憶装置、及び、二次記憶装置や、通信インタフェース装置のような周辺装置とのインタフェース装置を含む。主記憶装置及び二次記憶装置は、コンピュータ読み取り可能な記録媒体である。

コンピュータは、プロセッサが記録媒体に記憶されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて周辺機器が制御されることによって、所定の目的に合致した機能を実現することができる。

プロセッサは、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。主記憶装置は、例えば、ＲＡＭ（Random Access Memory）やＲＯ
Ｍ（Read Only Memory）を含む。

二次記憶装置は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディス
クドライブ（ＨＤＤ、Hard Disk Drive）である。また、二次記憶装置は、リムーバブル
メディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。二次記憶装置には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納される。ＯＳは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。ＯＳは、外部装置等とのデータの受け渡しを行う通信インタフェースプログラムを含む。外部装置等には、例えば、コンピュータ、外部記憶装置等が含まれる。

通信インタフェース装置は、例えば、ＬＡＮ（Local Area Network）インタフェースボードや、無線通信のための無線通信回路である。

周辺装置は、上記の二次記憶装置や通信インタフェース装置の他、入力装置、出力装置を含む。入力装置は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力装置は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。入力装置は、各種センサを含むことができる。出力装置は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）パ
ネル、プリンタ等を含む。また、出力装置は、スピーカのような音声の出力装置を含むことができる。

ウェアラブルディスプレイ１００を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、キャリブレーション及びコマンド操作などの機能を実現する。一方、メモリ１０４、記憶装置１０６は、主記憶装置または二次記憶装置の記憶領域に設けられる。

ウェアラブルディスプレイ１００のハードウェア構成は、図２に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。

情報処理装置２００を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、所定の機能を実現する。一方、メモリ２０４、記憶装置２０６は、主記憶装置または二次記憶装置の記憶領域に設けられる。

情報処理装置２００のハードウェア構成は、図４に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。

（動作例）
〈キャリブレーション〉
図５は、ウェアラブルディスプレイのキャリブレーションの動作フローの例を示す図である。

ウェアラブルディスプレイ１００が静止状態であれば、加速度センサ１１２が示す値は、重力加速度によるものである。加速度センサ１１２のＹ軸が、重力加速度の方向と反対の方向になるようにされている。しかし、利用者のウェアラブルディスプレイ１００の装着の仕方や、ウェアラブルディスプレイ１００の製造時の精度等によって、Ｙ軸の方向がずれることがある。キャリブレーションは、主として、ウェアラブルディスプレイ１００が、ウェアラブルディスプレイ１００を装着する利用者の頭部の向きと重力加速度の方向との関係を認識することを目的とする。

利用者等によってスイッチ１１６が操作されることにより、ウェアラブルディスプレイ１００の電源が投入される。ウェアラブルディスプレイ１００は、電源が投入されるとキャリブレーションを開始する。ウェアラブルディスプレイ１００は、他のタイミングにキャリブレーションを開始してもよい。利用者は、ウェアラブルディスプレイ１００を装着後に電源を投入するか、電源投入後に、ウェアラブルディスプレイ１００を装着する。

キャリブレーションは、地面に対して静止した状態で、行われることが望ましい。地面に対して静止した状態でなくても、例えば、ほぼ等速直線運動をしている乗り物の中であってもよい。即ち、静止する状態でなくても、重力加速度よりも十分小さい加速度で移動している状態であってもよい。

ステップＳ１０１では、プロセッサ１０２は、表示部１０８に、キャリブレーションを開始するため静止することを利用者に求める旨の表示をすることを指示する。この時、プロセッサ１０２は、表示部１０８に、利用者には、正面を向いて静止することを求める旨の表示をすることを指示する。これは、利用者の頭部の向きと重力加速度の方向との関係を求めるためである。また、プロセッサ１０２は、加速度センサ１１２に各軸の加速度を計測することを指示する。計測された加速度は、メモリ１０４または記憶装置１０６に格納される。

ステップＳ１０２では、プロセッサ１０２は、ステップＳ１０１の表示後、所定時間経過したか否かを判定する。所定時間経過した場合（ステップＳ１０２；ＹＥＳ）、処理がステップＳ１０３に進む。所定時間は、例えば、１０秒である。プロセッサ１０２は、表示部１０８に、所定時間経過するまでの残り時間を表示するように指示してもよい。

ステップＳ１０３では、プロセッサ１０２は、計測が終了した旨の表示をすることを指
示する。プロセッサ１０２は、メモリ１０４または記憶装置１０６に格納される計測された加速度を読み出し、軸毎に、加速度の平均値を算出する。プロセッサ１０２は、算出した各軸の加速度の平均を、メモリ１０４または記憶装置１０６に格納する。

プロセッサ１０２は、各軸の加速度の平均とともに標準偏差を算出してもよい。各軸の加速度の標準偏差は、静止状態の判定に使用され得る。例えば、加速度の標準偏差が大きい場合、静止状態とみなす範囲をより大きくすることができる。即ち、静止状態での動きが大きい利用者（静止状態の加速度の標準偏差が大きい利用者）に対して静止状態とみなす範囲をより大きくすることで、コマンド操作等における誤検出を防ぐことができる。

ステップＳ１０４では、プロセッサ１０２は、ステップＳ１０３で算出された各軸の加速度の平均から、平均の重力加速度の方向を算出する。平均の重力加速度の方向は、各軸の加速度の平均をベクトルとして、各軸の加速度の平均のベクトルの和のベクトルの方向の反対方向として求まる。加速度センサ１１２は、自由落下の状態を加速度０とする系の加速度を検出するので、各軸の加速度の平均のベクトルの和の方向の反対方向が、平均の重力加速度の方向となる。また、各軸の加速度の平均のベクトルの和のベクトルの大きさが、重力加速度の大きさ（＋１Ｇ）であるとする。

プロセッサ１０２は、各軸の加速度の平均から算出した平均の重力加速度の方向と計測中の各時刻における各軸の加速度から算出される重力加速度の方向との間の角度θの標準偏差を算出してもよい。角度θの標準偏差は、利用者の静止状態における動きの大きさを示す。利用者の静止状態とみなす範囲が、角度θの標準偏差に基づいて決定されてもよい。

ここで、平均の重力加速度の方向の反対方向を新たなＹ軸（Ｙ’軸とする）とする。Ｙ’軸は、原点を通るとする。さらに、原点を通りＹ’軸に直交する平面とＸＹ面との交線を新たなＸ軸（Ｘ’軸とする）とし、原点を通りＹ’軸に直交する平面とＹＺ面との交線を新たなＺ軸（Ｚ’軸とする）とする。新たな各軸の方向は、元の軸とのなす角が９０度以下になる方向とする。従って、新たな軸（Ｘ’，Ｙ’，Ｚ’）において、利用者が静止状態であるときの加速度は、（０，＋１Ｇ，０）となる。Ｇは、重力加速度の大きさである。新たな軸（Ｘ’，Ｙ’，Ｚ’）は、ここで示されるものに限定されない。例えば、Ｚ’軸は、Ｘ’軸及びＹ’軸に直交する軸として定義されてもよい。

ステップＳ１０５では、プロセッサ１０２は、Ｙ軸とＹ’軸との角度（Ｙ軸とＹ’軸とのなす角）を算出する。プロセッサ１０２は、算出した角度を重力加速度の方向と頭上方向との傾きとして表示部１０８に表示することを指示する。利用者は、表示により、重力加速度の方向と頭上方向との傾きを認識することができる。

以後、プロセッサ１０２は、加速度センサ１１２によるＸ軸、Ｙ軸、Ｚ軸の加速度の値を、求めた重力加速度の方向に基づいて、適切に回転すること等により、Ｘ’軸，Ｙ’軸，Ｚ’軸の値に変換する。頭部が正面を向いた状態で、加速度センサ１１２のＸ’軸が身体の中心から正面方向（前方方向）であり、加速度センサ１１２のＹ’軸が重力加速度の方向の反対方向であり、加速度センサ１１２のＺ’軸が身体の中心から左方向であるとする。例えば、理想的には、利用者が４５度前方に傾いた状態では、Ｘ’軸の加速度の値が減少し−２^−１／２Ｇとなり、Ｙ’軸の加速度の値が減少し＋２^−１／２Ｇとなる。

キャリブレーションにより、ウェアラブルディスプレイ１００は、利用者の静止状態の頭部の向きと重力加速度の方向との関係を認識することができる。また、ウェアラブルディスプレイ１００は、角度θの標準偏差などにより、利用者の静止状態における動きの大きさを認識することができる。

ウェアラブルディスプレイ１００の表示部１０８に、利用者に正面を向かせる指示を表示することにより、利用者が指示通り正面を向きやすくなる。利用者が指示通り正面を向くことでキャリブレーションの精度が向上する。

上記の例では、ウェアラブルディスプレイ１００が、加速度の平均等を算出している。ウェアラブルディスプレイ１００が、加速度センサ１１２等で検出した情報等を、通信部１１０及び通信部２１０を介して、情報処理装置２００に送信することにより、上記のプロセッサ１０２による演算（全部または一部）が、情報処理装置２００のプロセッサ２０２で処理されてもよい。また、表示部１０２に情報を表示させる指示が、情報処理装置２００のプロセッサ２０２によって、通信部２１０及び通信部１１０を介して行われてもよい。

〈コマンド操作〉
ここでは、ウェアラブルディスプレイ１００におけるコマンド操作について説明する。ウェアラブルディスプレイ１００におけるコマンド操作は、頭部の動作によって行われる。ここでは、選択画面における「選択」「戻る」「決定」の動作について説明する。スマートフォンなどの携帯端末等に対するコマンド操作の多くは、「選択」「戻る」「決定」のコマンド操作によって行われる。従って、「選択」「戻る」「決定」のコマンド操作ができることによって、ウェアラブルディスプレイ１００によって、スマートフォンなどの携帯端末等に対するコマンド操作が置換され得る。

図６、図７、図８、図９は、ウェアラブルディスプレイのコマンド操作の動作フローの例を示す図である。図６の「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」は、それぞれ、図７の「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」と接続する。図７の「Ｆ」、「Ｇ」、「Ｈ」、「Ｉ」は、それぞれ、図８の「Ｆ」、「Ｇ」、「Ｈ」、「Ｉ」と接続する。図８の「Ｊ」、「Ｋ」、「Ｌ」は、それぞれ、図９の「Ｊ」、「Ｋ」、「Ｌ」と接続する。

ステップＳ２０１では、プロセッサ１０２は、表示部１０８に、選択画面の表示をすることを指示する。表示部１０８は、選択画面を表示する。利用者は、表示部１０８に表示された選択画面を見ることができる。選択画面は、例えば、利用者等による他の選択画面の操作などによって表示される。

図１０は、表示部１０８に表示される選択画面の例を示す図である。図１０の選択画面では、縦に、「選択肢１」、「選択肢２」、・・・の選択肢が表示されている。また、図１０の選択画面では、左側に「戻る」、右側に「決定」の表示がされている。また、図１０の選択画面では、中央の「選択肢４」が選択された状態になっている。

ステップＳ２０２では、プロセッサ１０２は、上動作が検出されたか否かを判定する。上動作は、頭部が上方を向く動作である。上動作は、Ｘ’軸の傾き（静止状態のＸ’軸からの傾き）が上向きに所定の角度α１を越えたか否かで判定される。即ち、Ｘ’軸の加速度をｘとすると、ｘが次の式を満たすとき、プロセッサ１０２は、上動作が検出されたと判定する。利用者の頭部が、上方を向くと、Ｘ’軸の加速度は増加する方向に変化する。

上動作が検出された場合（Ｓ２０２；ＹＥＳ）、処理がステップＳ２０６に進む。上動作が検出されない場合（Ｓ２０２；ＮＯ）、処理がステップＳ２０３に進む。

ステップＳ２０３では、プロセッサ１０２は、下動作が検出されたか否かを判定する。下動作は、頭部が下方を向く動作である。下動作は、Ｘ’軸の傾き（静止状態のＸ’軸からの傾き）が下向きに所定の角度β１を越えたか否かで判定される。即ち、Ｘ’軸の加速度をｘとすると、ｘが次の式を満たすとき、プロセッサ１０２は、下動作が検出されたと判定する。利用者の頭部が、下方を向くと、Ｘ’軸の加速度は減少する方向に変化する。

下動作が検出された場合（Ｓ２０３；ＹＥＳ）、処理がステップＳ２０９に進む。下動作が検出されない場合（Ｓ２０３；ＮＯ）、処理がステップＳ２０４に進む。

ステップＳ２０４では、プロセッサ１０２は、右動作が検出されたか否かを判定する。右動作は、頭部が右側に傾く動作である。右動作は、Ｚ’軸の傾き（静止状態のＺ’軸からの傾き）が右向きに所定の角度γ１を越えたか否かで判定される。即ち、Ｚ’軸の加速度をｚとすると、ｚが次の式を満たすとき、プロセッサ１０２は、右動作が検出されたと判定する。利用者の頭部が、右に傾くと、Ｚ’軸の加速度は増加する方向に変化する。

右動作が検出された場合（Ｓ２０４；ＹＥＳ）、処理がステップＳ２１２に進む。右動作が検出されない場合（Ｓ２０４；ＮＯ）、処理がステップＳ２０５に進む。

ステップＳ２０５では、プロセッサ１０２は、左動作が検出されたか否かを判定する。左動作は、頭部が左側に傾く動作である。左動作は、Ｚ’軸の傾き（静止状態のＺ’軸からの傾き）が下向きに所定の角度δ１を越えたか否かで判定される。即ち、Ｚ’軸の加速度をｚとすると、ｚが次の式を満たすとき、プロセッサ１０２は、左動作が検出されたと判定する。利用者の頭部が、左に傾くと、Ｚ’軸の加速度は減少する方向に変化する。

左動作が検出された場合（Ｓ２０５；ＹＥＳ）、処理がステップＳ２１４に進む。左動作が検出されない場合（Ｓ２０５；ＮＯ）、処理がステップＳ２０２に戻る。

ステップＳ２０６では、プロセッサ１０２は、選択画面に表示されている選択肢を上方向にスクロールして表示することを表示部１０８に指示する。表示部１０８は、選択肢を上方向にスクロールして表示する。また、プロセッサ１０２は、Ｘ’軸の傾き（角度）に応じて、表示部１０８におけるスクロールのスピードを変更するように表示部１０８に指示してもよい。即ち、例えば、Ｘ’軸の傾き（角度）が大きいほど、プロセッサ１０２は、スクロールのスピードを大きくする。スクロールのスピードには、上限が設けられてもよい。

図１１は、スクロール後の選択画面の例を示す図である。図１１の選択画面は、図１０の選択画面から、上方にスクロールして、「選択肢４」の１つ上の「選択肢３」が選択さ
れた状態になっている。利用者が上方を向くことにより更に上方にスクロールし、上方の選択肢が選択状態となる。

ステップＳ２０７では、プロセッサ１０２は、上方を向いた頭部が元に戻ったか否かを判定する。元に戻ったか否かは、Ｘ’軸の傾き（静止状態のＸ’軸からの傾き）が上向きに所定の角度α２未満か否かで判定される。即ち、Ｘ’軸の加速度ｘが次の式を満たすとき、プロセッサ１０２は、元に戻ったと判定する。

元に戻ったと判定された場合（Ｓ２０７；ＹＥＳ）、処理がステップＳ２０８に進む。元に戻ったと判定されない場合（Ｓ２０７；ＮＯ）、処理がステップＳ２０６に戻る。

ステップＳ２０８では、プロセッサ１０２は、選択肢のスクロールを停止して表示することを表示部１０８に指示する。表示部１０８は、選択肢のスクロールを停止して表示する。選択画面では、スクロールが停止した時点の中央に表示される選択肢が選択状態となる。スクロールが停止すると、処理がステップＳ２０２に戻る。プロセッサ１０２は、Ｘ’軸の加速度ｘが所定の角度α２未満となったことで、利用者の頭部が正面を向いた状態に戻ったと判断している。このとき、プロセッサ１０２は、利用者がスクロールを止めようとしていると判断する。

ステップＳ２０９では、プロセッサ１０２は、選択画面に表示されている選択肢を下方向にスクロールして表示することを表示部１０８に指示する。表示部１０８は、選択肢を下方向にスクロールして表示する。また、プロセッサ１０２は、Ｘ’軸の傾き（角度）に応じて、表示部１０８におけるスクロールのスピードを変更するように表示部１０８に指示してもよい。即ち、例えば、Ｘ’軸の傾き（角度）が大きいほど、プロセッサ１０２は、スクロールのスピードを大きくする。スクロールのスピードには、上限が設けられてもよい。

図１２は、スクロール後の選択画面の例を示す図である。図１２の選択画面は、図１０の選択画面から、上方にスクロールして、「選択肢４」の１つ下の「選択肢５」が選択された状態になっている。利用者が下方を向くことにより更に下方にスクロールし、下方の選択肢が選択状態となる。

ステップＳ２１０では、プロセッサ１０２は、下方を向いた頭部が元に戻ったか否かを判定する。元に戻ったか否かは、Ｘ’軸の傾き（静止状態のＸ’軸からの傾き）が下向きに所定の角度β２未満か否かで判定される。即ち、Ｘ’軸の加速度ｘが次の式を満たすとき、プロセッサ１０２は、元に戻ったと判定する。

元に戻ったと判定された場合（Ｓ２１０；ＹＥＳ）、処理がステップＳ２１１に進む。元に戻ったと判定されない場合（Ｓ２１０；ＮＯ）、処理がステップＳ２０９に戻る。

ステップＳ２１１では、プロセッサ１０２は、選択肢のスクロールを停止して表示することを表示部１０８に指示する。表示部１０８は、選択肢のスクロールを停止して表示す
る。選択画面では、スクロールが停止した時点の中央に表示される選択肢が選択状態となる。スクロールが停止すると、処理がステップＳ２０２に戻る。プロセッサ１０２は、Ｘ’軸の加速度ｘが所定の角度β２未満となったことで、利用者の頭部が正面を向いた状態に戻ったと判断している。このとき、プロセッサ１０２は、利用者がスクロールを止めようとしていると判断する。

ステップＳ２１２では、プロセッサ１０２は、右に傾いた頭部が右動作が検出されてから所定時間以内に元に戻ったか否かを判定する。元に戻ったか否かは、Ｚ’軸の傾き（静止状態のＺ’軸からの傾き）が右向きに所定の角度γ２未満か否かで判定される。即ち、Ｚ’軸の加速度ｚが次の式を満たすとき、プロセッサ１０２は、元に戻ったと判定する。

所定時間以内に元に戻ったと判定されない場合（Ｓ２１２；ＮＯ）、処理がステップＳ２０２に戻る。このとき、頭部の動作は、コマンド操作であると判断されない。コマンド操作であれば、速やかな動作であると考えられるからである。

所定時間以内に元に戻ったと判定された場合（Ｓ２１２；ＹＥＳ）、処理がステップＳ２１３に進む。このとき、プロセッサ１０２は、選択画面において現在選択状態にある選択肢が「決定」されたと認識する。即ち、プロセッサ１０２は、頭部が右側に傾いて所定時間以内に元の状態に戻ったことをもって、「決定」のコマンド操作がされたと判断する。スクロールの操作では、頭部が一方向に移動したことをもってスクロールを開始したが、決定の操作では、頭部が右側への往復動作をしたことをもって「決定」のコマンド操作が実行される。

ステップＳ２１３では、プロセッサ１０２は、選択画面において選択状態にある選択肢が「決定」されたとして、所定の処理を実行する。例えば、プロセッサ１０２は、決定された選択肢に基づく情報等を表示することを表示部１０８に指示する。

ステップＳ２１４では、プロセッサ１０２は、左に傾いた頭部が左動作が検出されてから所定時間以内に元に戻ったか否かを判定する。元に戻ったか否かは、Ｚ’軸の傾き（静止状態のＺ’軸からの傾き）が左向きに所定の角度δ２未満か否かで判定される。即ち、Ｚ’軸の加速度ｚが次の式を満たすとき、プロセッサ１０２は、元に戻ったと判定する。

所定時間以内に元に戻ったと判定されない場合（Ｓ２１４；ＮＯ）、処理がステップＳ２０２に戻る。このとき、頭部の動作は、コマンド操作であると判断されない。

所定時間以内に元に戻ったと判定された場合（Ｓ２１４；ＹＥＳ）、処理がステップＳ２１５に進む。このとき、プロセッサ１０２は、選択画面において「戻る」が選択されたと認識する。即ち、プロセッサ１０２は、頭部が左側に傾いて所定時間以内に元の状態に戻ったことをもって、「戻る」のコマンド操作がされたと判断する。スクロールの操作では、頭部が一方向に移動したことをもってスクロールを開始したが、決定の操作では、頭部が左側への往復動作をしたことをもって「戻る」のコマンド操作が実行される。

ステップＳ２１５では、プロセッサ１０２は、「戻る」が選択されたとして、所定の処理を実行する。例えば、プロセッサ１０２は、前に表示されていた画面を表示することを表示部１０８に指示する。

以上により、頭部の動作をウェアラブルディスプレイ１００が検出することによって、「選択」「戻る」「決定」の動作が実現される。

Ｘ’軸の傾きは、重力加速度の方向と直交する平面とＸ’軸との間の角度として定義されてもよい。Ｚ’軸の傾きは、重力加速度の方向と直交する平面とＺ’軸との間の角度として定義されてもよい。

ここで、所定の角度α１、β１、γ１、δ１、α２、β２、γ２、δ２は、予め決められている。ここでは、α１≧α２、β１≧β２、γ１≧γ２、δ１≧δ２とする。また、所定の角度α１、β１、γ１、δ１、α２、β２、γ２、δ２は、キャリブレーションで算出される角度θの標準偏差に基づいて、決定されてもよい。例えば、角度α１、β１、γ１、δ１を角度θの標準偏差の３倍にし、角度α２、β２、γ２、δ２を角度θの標準偏差の２倍とする。このようにすることにより、正面を向いた静止状態に対して、異常な大きさ（例えば、標準偏差の３倍）の動作があったとき、コマンド操作がされたと判定できる。それぞれの利用者の角度θの標準偏差に基づくことで、誤検出（利用者が意図しない検出）を低減することができる。

ここまでは、頭部の動作による加速度が重力加速度（９．８ｍ／ｓ^２（≒３５ｋｍ／ｈ／ｓ））よりも十分小さいことを前提として、加速度センサ１１２の出力を重力加速度に起因するものとしていた。地磁気センサ１１４では、仰角を測定することが可能である。仰角の情報から重力加速度の方向を特定し、加速度センサ１１２の出力から重力加速度の影響を取り除くことで、頭部の動作による加速度が得られる。頭部の動作による加速度を用いて、頭部の傾きを検出することで、上記と同様のコマンド操作を検出することも可能である。

上記の例では、ウェアラブルディスプレイ１００のプロセッサ１０２が、演算を行っている。ウェアラブルディスプレイ１００が、加速度センサ１１２等で検出した情報等を、通信部１１０及び通信部２１０を介して、情報処理装置２００に送信することにより、上記のプロセッサ１０２による演算（全部または一部）が、情報処理装置２００のプロセッサ２０２で処理されてもよい。また、表示部１０２に情報を表示させる指示が、情報処理装置２００のプロセッサ２０２によって、通信部２１０及び通信部１１０を介して行われてもよい。

一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。

なお、本実施形態のシステムによる応用として、産業向け用途への利用がある。
例えば、通信販売業においてシッピング時に顧客の複数オーダーを倉庫内からピックアップする際など、オペレーターが倉庫内の多数のアイテムから所定のアイテムを探し出し所定の個数を集積しなければならないが、一般的にはこれを紙のリストやデスクトップコンピュータディスプレイに表示されたデータからオペレーターがそれを持って倉庫内で探し回るのが通例であった。

本実施形態のシステムを利用することにより両手が空くことになり、効率的にアイテムのピックアップやそれを集め歩く行為が可能となり、また、行動履歴やアイテムを集めるルート検索などの効率化に繋げられるものである。

また、同様に多品種少量生産の工場内の組立作業者に対しても本システムの利用が効果を発揮する。

即ち、組み立て部品がいつも一定では無い作業において、集める部品についての確認と組み立てマニュアルなどもハンズフリー且つ頭の動作だけで操作が出来ることは、作業効率を上げることに直接的に寄与する。

（変形例）
上記の実施形態における変形例について説明する。ここでは、主として、相違点について説明し、共通点についての説明を省略する。

図１３は、実施形態のシステムの変形例を示す図である。図１３のシステム２０は、ウェアラブルディスプレイ１００、ネットワーク３００を含む。ウェアラブルディスプレイ１００とネットワーク３００とは、例えば、無線による通信方式または有線による通信方式によって通信可能に接続される。ウェアラブルディスプレイ１００とネットワーク３００との接続は、これらに限定されるものではなく、他の通信方式によって通信可能に接続されてもよい。ウェアラブルディスプレイ１００は、情報処理装置２００に相当する装置と、一体に構成されてもよい。また、ウェアラブルディスプレイ１００は、ネットワーク３００を介して、情報処理装置２００と接続されてもよい。ウェアラブルディスプレイ１００は、ネットワーク３００を介して、他の情報処理装置に接続されてもよい。システム２０は、画像表示システムの一例である。

また、ウェアラブルディスプレイ１００は、ネットワーク３００に接続されなくてもよい。

（実施形態の作用、効果）
利用者がスマートフォンのディスプレイを見る場合、頭部が下向きになりがちである。ウェアラブルディスプレイ１００の表示部１０８に利用者に要求する状態を表示することにより、利用者は要求する状態にし易くなる。例えば、利用者は表示部１０８に表示される情報を見たまま正面を向くことができる。

ウェアラブルディスプレイ１００によると、利用者が頭部を上向きもしくは下向きに傾けることで、表示部１０８に表示される選択画面の選択肢をスクロールさせることができる。また、ウェアラブルディスプレイ１００によると、利用者が頭部を右または左に倒して所定時間以内にもとに戻すことにより、「決定」または「戻る」の操作を実行することができる。

ウェアラブルディスプレイ１００によれば、利用者は、操作のために頭部を動かしても、表示部１０８が頭部に装着されているため、表示部１０８による表示を見続けることができる。即ち、ウェアラブルディスプレイ１００によれば、利用者は、表示部１０８による表示を見続けながら、頭部の動作によって、ウェアラブルディスプレイ１００を操作することができる。

ウェアラブルディスプレイ１００によれば、スマートフォンにおける画面表示及び「選択」、「戻る」、「決定」の動作を、ウェアラブルディスプレイ１００における表示部１
０８及び頭部の動作によって置換することができる。即ち、「選択」、「戻る」、「決定」のコマンド操作により、あらゆる画面操作が、ウェアラブルディスプレイ１００において実現できる。ウェアラブルディスプレイ１００によれば、適切に閾値を設けることにより、コマンド操作のための動作と他の動作とを区別することができる。

ウェアラブルディスプレイ１００は、キャリブレーションの際に重力加速度の方向を算出するとともに、利用者の静止状態での頭部の動きの大きさ（角度θ等）を検出することができる。静止状態での頭部の動作が大きい利用者に対しては、コマンド操作と認識されるまでの閾値を大きくすることで、コマンド操作の誤検出（利用者が意図しない操作の検出）を抑制することができる。

ウェアラブルディスプレイ１００の表示部１０８は、目とともに移動するので、頭部を動かすことによる操作中であっても、表示部１０８が利用者の視界から外れることはない。利用者の目に対する表示部１０８の相対位置は、利用者が頭部を動かしても変化しない。よって、利用者は、利用者が頭部を動かしても、表示部１０８の表示を見続けることができる。

１０ システム
２０ システム
１００ ウェアラブルディスプレイ
１０２ プロセッサ
１０４ メモリ
１０６ 記憶装置
１０８ 表示部
１１０ 通信部
１１２ 加速度センサ
１１４ 磁気センサ
２００ 情報処理装置
２０２ プロセッサ
２０４ メモリ
２０６ 記憶装置
２０８ 表示部
２１０ 通信部
２１２ 入力部
３００ ネットワーク

Claims (7)

1. 所定期間、利用者に静止状態を維持することを促す表示をする表示部と、
   直交する３軸方向のそれぞれの加速度を検出する加速度センサ部と、
   前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
   前記演算部はさらに、
   算出された前記重力加速度の方向に基づいて、自装置における第１の方向の加速度を算出し、
   前記第１の方向の加速度が第１所定値を超え、かつ、前記第１所定値を超えてから所定時間以内に、前記第１所定値以下である第２所定値未満になった場合、第１の所定操作がされたと判定する
   頭部装着型画像表示装置。
2. 所定期間、利用者に静止状態を維持することを促す表示をする表示部と、
   直交する３軸方向のそれぞれの加速度を検出する加速度センサ部と、
   前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
   前記演算部は、前記加速度センサ部が検出した前記所定期間の加速度に基づいて、前記所定期間内の各時刻の重力加速度の方向を算出し、前記各時刻の重力加速度の方向と前記算出された重力加速度の方向とのなす角を算出し、前記所定期間における前記なす角の標準偏差を算出し、
   前記演算部は、算出された前記所定期間における前記なす角の標準偏差に応じて、前記利用者の動作が検出されたか否かを判定するために用いる所定の角度を決定し、決定された前記所定の角度を用いて検出された前記利用者の動作に従って、予め前記利用者の動作と対応付けられたコマンド操作がされたと判定する、
   頭部装着型画像表示装置。
3. 所定期間、利用者に静止状態を維持することを促す表示をする表示部と、
   直交する３軸方向のそれぞれの加速度を検出する加速度センサ部と、
   前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
   前記演算部は、算出された前記重力加速度の方向に基づいて自装置における第１の方向の加速度を算出し、前記第１の方向の加速度が第１所定値を超えたとき、第１の所定操作がされたと判定し、
   前記演算部は、前記加速度センサ部が検出した前記所定期間の加速度に基づいて、前記所定期間内の各時刻の第１の方向の加速度を算出し、前記所定期間における前記第１の方向の加速度の標準偏差を算出し、
   前記第１所定値は、前記標準偏差に基づいて決定される、
   頭部装着型画像表示装置。
4. 所定期間、利用者に静止状態を維持することを促す表示をする表示部と、
   直交する３軸方向のそれぞれの加速度を検出する加速度センサ部と、
   前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
   前記演算部はさらに、
   算出された前記重力加速度の方向に基づいて、自装置における第１の方向の加速度を算出し、
   前記第１の方向の加速度が第１所定値を超え、かつ、前記第１所定値を超えてから所定時間以内に、前記第１所定値以下である第２所定値未満になった場合、第１の所定操作がされたと判定し、
   前記加速度センサ部が検出した前記所定期間の加速度に基づいて、前記所定期間内の各時刻の重力加速度の方向を算出し、前記各時刻の重力加速度の方向と前記算出された重力加速度の方向とのなす角を算出し、前記所定期間における前記なす角の標準偏差を算出し、
   前記第１所定値及び前記第２所定値は、前記標準偏差に基づいて決定される、
   頭部装着型画像表示装置。
5. 表示部、加速度センサ部及び演算部を備えるコンピュータが、
   前記表示部に、所定期間、利用者に静止状態を維持することを促す表示をさせ、
   前記加速度センサ部に、直交する３軸方向のそれぞれの加速度を検出させ、
   前記演算部に、前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出させ、
   前記演算部にさらに、
   算出された前記重力加速度の方向に基づいて、前記コンピュータにおける第１の方向の加速度を算出させ、
   前記第１の方向の加速度が第１所定値を超え、かつ、前記第１所定値を超えてから所定時間以内に、前記第１所定値以下である第２所定値未満になった場合、第１の所定操作がされたと判定させる、
   ことを実行する検出方法。
6. 表示部、加速度センサ部及び演算部を備えるコンピュータに、
   前記表示部に、所定期間、利用者に静止状態を維持することを促す表示をさせ、
   前記加速度センサ部に、直交する３軸方向のそれぞれの加速度を検出させ、
   前記演算部に、前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出させ、
   前記演算部にさらに、
   算出された前記重力加速度の方向に基づいて、前記コンピュータにおける第１の方向の加速度を算出させ、
   前記第１の方向の加速度が第１所定値を超え、かつ、前記第１所定値を超えてから所定時間以内に、前記第１所定値以下である第２所定値未満になった場合、第１の所定操作がされたと判定させる、
   ことを実行させる検出プログラム。
7. 頭部装着型画像表示装置及び情報処理装置を含む画像表示システムであって、
   前記頭部装着型画像表示装置は、
   所定期間、利用者に静止することを促す表示をする表示部と、
   直交する３軸方向のそれぞれの加速度を検出する加速度センサ部と、
   前記加速度センサ部が検出した加速度を前記情報処理装置に送信する第１通信部と、を備え、
   前記情報処理装置は、
   前記加速度センサ部が検出した加速度を前記頭部装着型画像表示装置から受信する第２通信部と、
   前記第２通信部が受信した前記加速度センサ部が前記所定期間内に検出した加速度に基づいて、重力加速度の方向を算出する演算部と、を備え、
   前記演算部はさらに、
   算出された前記重力加速度の方向に基づいて、第１の方向の加速度を算出し、
   前記第１の方向の加速度が第１所定値を超え、かつ、前記第１所定値を超えてから所定時間以内に、前記第１所定値以下である第２所定値未満になった場合、第１の所定操作がされたと判定する、
   画像表示システム。

Images