WO2020241189A1

WO2020241189A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2020241189A1
Application number: PCT/JP2020/018497
Authority: WO
Inventors: 茜近藤; 智也成田; 遼深澤
Original assignee: ソニー株式会社
Priority date: 2019-05-30
Filing date: 2020-05-07
Publication date: 2020-12-03
Also published as: US20220317462A1; EP3979234A1; US11835727B2; EP3979234A4

Abstract

本技術の一形態に係る情報処理装置は、身体情報取得部と、ジェスチャ情報取得部と、判定条件設定部と、制御部とを具備する。前記身体情報取得部は、頭部搭載型の筐体を装着したユーザの身体情報を取得する。前記ジェスチャ情報取得部は、前記ユーザのジェスチャに関するジェスチャ情報を取得する。前記判定条件設定部は、前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定する。前記制御部は、前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かを判定し、当該判定結果に基づいて、前記トリガジェスチャに対応した出力を制御する。

Description

情報処理装置、情報処理方法、及びプログラム

　本技術は、ジェスチャ操作に対応した情報処理装置、情報処理方法、及びプログラムに関する。

　従来、ユーザの各部の動作を検出する技術が知られている。例えばユーザが装着するＨＭＤ（Head Mounted Display）等の装置では、ユーザの動作を検出して、検出結果を用いた画像の表示制御等が行われる。

　例えば、特許文献１には、ユーザの視野内で観察される外界像に電子情報を合成して表示するＨＭＤが記載されている。このＨＭＤでは、ユーザの頭部の動きを検出することで、電子情報を表示する画像表示素子の表示／非表示が制御される。例えば、ユーザの頭部の角速度や移動速度が所定のしきい値よりも大きい場合には、画像表示素子が非表示に切り替えられる。これにより、ユーザが歩行等を開始すると、眼前に表示された電子情報が非表示となり、ユーザの視野を確保することが可能となっている（特許文献１の明細書段落［００２７］［００３５］［００３８］図１、５等）。

特開平１１－１６１１９０号公報

　近年では、ユーザの頭部や手足等の動作を検出することでジェスチャによる操作入力等を可能にする技術が開発されている。ジェスチャ操作は、様々なシーンでの応用が期待されており、ジェスチャ操作の操作性を向上することが可能な技術が求められている。

　以上のような事情に鑑み、本技術の目的は、ジェスチャ操作の操作性を向上することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、身体情報取得部と、ジェスチャ情報取得部と、判定条件設定部と、制御部とを具備する。
　前記身体情報取得部は、頭部搭載型の筐体を装着したユーザの身体情報を取得する。
　前記ジェスチャ情報取得部は、前記ユーザのジェスチャに関するジェスチャ情報を取得する。
　前記判定条件設定部は、前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定する。
　前記制御部は、前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かを判定し、当該判定結果に基づいて、前記トリガジェスチャに対応した出力を制御する。

　この情報処理装置では、頭部搭載型の筐体を装着したユーザの身体情報に基づいて、ジェスチャによる操作入力のトリガとなるトリガジェスチャの判定条件が設定される。この判定条件及びジェスチャ情報をもとにトリガジェスチャが行われたか否かが判定され、判定結果に基づいてトリガジェスチャに対応した出力が制御される。これにより、ユーザが行うトリガジェスチャはユーザの身体情報に合わせて判定されるため、ジェスチャ操作の操作性を向上することが可能となる。

　前記判定条件設定部は、前記身体情報に応じた前記ユーザの身体特性情報に基づいて前記判定条件を設定してもよい。
　これにより、例えばユーザの身体特性に合った判定条件を設定することが可能となり、例えばトリガジェスチャを行う際の身体負荷を十分に軽減することが可能となる。

　前記身体特性情報は、前記ユーザの視野特性又は動作特性の少なくとも１方に関する情報を含んでもよい。
　これにより、例えばユーザの身体状態における視野範囲や動作範囲等に応じて判定条件が設定され、ユーザはトリガジェスチャとなる動作を容易に行うことが可能となる。

　前記判定条件は、前記トリガジェスチャを判定するための判定閾値を含んでもよい。
　これにより、トリガジェスチャとそれ以外のジェスチャとを容易に識別することが可能となる。

　前記身体情報取得部は、前記身体情報として前記ユーザの姿勢を取得してもよい。この場合、前記判定条件設定部は、前記ユーザの姿勢に応じて、前記判定条件を設定してもよい。
　これにより、例えばユーザの姿勢に合った判定条件が設定され、トリガジェスチャとなる動作を容易に行うことが可能となり、操作性を十分に向上することが可能となる。

　前記判定条件設定部は、前記ユーザの姿勢における視野特性又は動作特性の少なくとも１方に応じて、前記判定条件を設定してもよい。
　これにより、例えば各タイミングでの視野範囲や動作範囲に合った判定条件が設定される。この結果、トリガジェスチャとなる動作を行う際の身体負荷が大幅に軽減され、優れた操作性を発揮することが可能となる。

　前記トリガジェスチャは、前記ユーザが頭部を上方に向ける頭部ジェスチャであってもよい。この場合、前記判定条件は、前記頭部ジェスチャにより変化する前記ユーザの頭部の姿勢角度に対する閾値角度を含んでもよい。また、前記身体情報取得部は、前記ユーザの姿勢として立位状態又は座位状態を検出してもよい。また、前記判定条件設定部は、前記座位状態が検出された場合に、前記閾値角度を前記立位状態が検出された場合よりも小さい値に設定してもよい。
　例えば座位状態では立位状態に比べ視線が下がる傾向がある。このように閾値角度を設定することで、ジェスチャを行うユーザの身体負荷が抑制され、またユーザが意図しない動作がトリガとして判定されるといった誤動作等を低減することが可能となる。

　前記頭部搭載型の筐体は、仮想画像を表示するヘッドマウントディスプレイの筐体であってもよい。この場合、前記制御部は、前記身体情報に基づいて、前記仮想画像の表示位置を制御してもよい。
　これにより、仮想画像の表示位置が身体情報に合わせて調整されるため、ユーザにとって見やすい表示等が実現される。これにより、操作性を十分に向上することが可能である。

　前記身体情報取得部は、前記身体情報として前記ユーザの姿勢を取得してもよい。この場合、前記制御部は、前記ユーザの姿勢に応じて、前記仮想画像の表示位置を制御してもよい。
　これにより、例えばユーザの姿勢に係らずユーザが容易に視認可能な位置に仮想画像を表示するといったことが可能となる。

　前記仮想画像は、前記ユーザから見て斜め上方に表示される上方画像であってもよい。この場合、前記身体情報取得部は、前記ユーザの姿勢として立位状態又は座位状態を検出してもよい。また前記制御部は、前記座位状態が検出された場合に、前記上方画像の表示位置を前記立位状態が検出された場合よりも低い位置に設定してもよい。
　これにより、立位状態及び座位状態に係らずユーザから見やすい位置に上方画像を表示することが可能となり、身体負荷を十分に軽減することが可能となる。

　前記身体情報取得部は、前記身体情報として前記ユーザの身長を取得してもよい。この場合、前記仮想画像は、前記ユーザから見て斜め下方に表示される下方画像であってもよい。また前記制御部は、前記ユーザの身長に応じて前記下方画像の表示位置を設定してもよい。
　これにより、ユーザの身長に係らず適正な位置に下方画像を表示することが可能となり、身体負荷を十分に軽減することが可能となる。

　前記情報処理装置は、さらに、前記ユーザの周辺環境に関する環境情報を取得する環境情報取得部を具備してもよい。
　これにより、例えば周辺環境の変化に伴うユーザの身体特性の変化等を各制御に反映させることが可能となる。

　前記判定条件設定部は、前記環境情報に基づいて、前記判定条件を設定してもよい。
　これにより、ユーザの周辺環境に応じたユーザの身体特性等に合わせて判定条件を調整することが可能となり、操作性を十分に向上することが可能となる。

　前記トリガジェスチャは、前記ユーザが頭部を上方に向ける頭部ジェスチャであってもよい。この場合、前記判定条件は、前記頭部ジェスチャにより変化する前記ユーザの頭部の姿勢角度に対する閾値角度であってもよい。また、前記環境情報取得部は、前記周辺環境における天井の有無を検出してもよい。また、前記判定条件設定部は、前記天井が検出された場合に、前記閾値角度を前記天井が検出されない場合よりも低い値に設定してもよい。
　例えば天井が有る環境では天井が無い環境に比べ視線が下がる傾向がある。このように閾値角度を設定することで、ジェスチャを行うユーザの身体負荷が抑制され、またユーザが意図しない動作がトリガとして判定されるといった誤動作等を低減することが可能となる。

　前記頭部搭載型の筐体は、仮想画像を表示するヘッドマウントディスプレイの筐体であってもよい。この場合、前記制御部は、前記環境情報に基づいて、前記仮想画像の表示位置を制御してもよい。
　これにより、仮想画像の表示位置が周辺環境に合わせて調整されるため、ユーザにとって見やすい表示等が実現される。これにより、操作性を十分に向上することが可能である。

　前記環境情報取得部は、前記周辺環境に消失点が含まれるか否かを判定してもよい。この場合、前記制御部は、前記周辺環境に前記消失点が含まれる場合、前記消失点を基準として前記仮想画像の表示位置を設定してもよい。
　これにより、例えばユーザの視線が集中する範囲に仮想画像を配置することが可能となり、仮想画像に対するアクセシビリティーを向上することが可能となる。

　前記環境情報取得部は、前記環境情報として床面の位置を検出してもよい。この場合、前記制御部は、前記床面の位置に応じて前記仮想画像の表示位置を設定してもよい。
　これにより、例えば床面の高さに係らず仮想画像を視認しやすい位置に表示することが可能となり、仮想画像に対するアクセシビリティーを向上することが可能となる。

　前記頭部搭載型の筐体は、仮想画像を表示するヘッドマウントディスプレイの筐体であってもよい。この場合、前記トリガジェスチャは、前記仮想画像を表示させる表示操作のトリガ、前記仮想画像を非表示にする非表示操作のトリガ、又は前記仮想画像を選択する選択操作のトリガとして機能してもよい。
　これにより、仮想画像の表示／非表示や、仮想画像の選択等を行う際の操作性を向上することが可能となる。

　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、頭部搭載型の筐体を装着したユーザの身体情報を取得することを含む。
　前記ユーザのジェスチャに関するジェスチャ情報が取得される。
　前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件が設定される。
　前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かが判定され、当該判定結果に基づいて、前記トリガジェスチャに対応した出力が制御される。

　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　頭部搭載型の筐体を装着したユーザの身体情報を取得するステップ。
　前記ユーザのジェスチャに関するジェスチャ情報を取得するステップ。
　前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定するステップ。
　前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かを判定し、当該判定結果に基づいて、前記トリガジェスチャに対応した出力を制御するステップ。

本技術の一実施形態に係るＨＭＤの概要を説明する模式図である。図１に示すＨＭＤの構成例を示すブロック図である。仮想画像の一例を説明するための模式図である。ＨＭＤの基本的な動作の一例を示すフローチャートである。上向きジェスチャにより表示される仮想画像の一例を示す模式図である。人間の垂直視野に関する特性の一例を示す模式図である。ユーザの姿勢に応じた判定閾値の設定について説明するための模式図である。環境情報に応じた上方画像の表示例を示す模式図である。人間の水平視野に関する特性の一例を示す模式図である。環境情報に応じた仮想画像の表示例を示す模式図である。人間の関節可動域に関する特性の一例を示す模式図である。ユーザから見て斜め下方に表示される仮想画像の表示位置の一例を示す模式図である。下方画像の一例を示す模式図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　［ＨＭＤの構成］
　図１は、本技術の一実施形態に係るＨＭＤの概要を説明する模式図である。ＨＭＤ１００（Head Mounted Display）は、透過型ディスプレイを備えたメガネ型の装置であり、ユーザ１の頭部に装着されて使用される。ＨＭＤ１００を装着するユーザ１は、現実の景色を視認すると同時に、透過型ディスプレイに表示される画像を視認することが可能となる。すなわち、ＨＭＤ１００を用いることで、ユーザ１の周囲の現実の空間（実空間）に仮想画像を重畳して表示させることが可能となる。これにより、ユーザ１は拡張現実（ＡＲ：Augmented Reality）等を体験することが可能となる。ＨＭＤ１００は、頭部搭載型の筐体５を有する。頭部搭載型の筐体５は、ＨＭＤ１００の外装筐体であり、人間の頭部に装着可能に構成される。この筐体５に、後述するコントローラ等（図２参照）が搭載され、ＨＭＤ１００が構成される。すなわち、頭部搭載型の筐体５及びコントローラ等を含む装置全体が、ＨＭＤ１００となる。頭部搭載型の筐体５（ＨＭＤ１００）の形態は限定されず、例えばメガネ型の筐体５に代えて、ユーザ１の頭部を覆うように配置される没入型の筐体等が用いられてもよい。また、携帯型の表示装置（スマートフォンやゲーム機等）をユーザ１の眼前に支持するように構成された頭部搭載型の筐体等が用いられてもよい。

　ＨＭＤ１００を使用するユーザ１は、ジェスチャを介して各種の操作入力（ジェスチャ操作）を行うことが可能である。ここでユーザ１のジェスチャとは、ユーザ１の動作を意味する。例えばユーザ１が頭部を上下に傾ける動作（伸展・屈曲）、頭部を左右に傾ける動作（側屈）、頭部（首）を回転させる動作（回旋）等は、頭部を用いたユーザ１のジェスチャに含まれる。また、ユーザ１が腕や足等を動かす動作や、しゃがむ、座る、立つ等の身体全体を動かす動作、あるいは視線を移動する動作や、瞼を開閉する動作、瞬きをする動作等もユーザ１のジェスチャに含まれる。またこれらの動作を組み合わせたジェスチャが行われる場合もある。

　ＨＭＤ１００を装着したユーザ１が所定のジェスチャを行うと、そのジェスチャに対応する操作処理が実行される。例えばユーザ１が頭部を上下に傾けるジェスチャに対応して、所定の仮想画像の表示／非表示を切り替える処理等が実行される。あるいは、ユーザ１が頭部を左右に回転するジェスチャに対応して、複数の仮想画像から対象を選択する処理等が実行される。この他、ジェスチャ及び操作処理の種類等は限定されない。このようにＨＭＤ１００では、ユーザ１自身の動作により様々な操作処理が可能となり、自由度の高い仮想体験を実現することが可能となる。

　図２は、図１に示すＨＭＤ１００の構成例を示すブロック図である。ＨＭＤ１００は、表示部１０と、スピーカー１１と、通信部１２と、操作入力部１３と、センサ部１４、記憶部１５と、コントローラ２０とを有する。

　表示部１０は、仮想画像を表示する透過型ディスプレイであり、ユーザ１の視界の少なくとも一部を覆うように配置される。図１に示すＨＭＤ１００では、ユーザ１の左右の眼の前方に左眼用及び右眼用の透過型ディスプレイがそれぞれ配置される。なお、ユーザ１の両眼に仮想画像を表示する構成に限定されず、例えばユーザ１の片眼にのみ仮想画像を表示するように表示部１０が構成されてもよい。表示部１０としては、例えば透過型の有機ＥＬディスプレイや液晶ディスプレイ等が用いられる。この他、表示部１０の具体的な構成は限定されず、透明なスクリーンに画像を投影する方式や、プリズム等を用いて画像を表示する方式等の任意の方式の透過型ディスプレイが用いられてよい。

　スピーカー１１は、例えばユーザ１の耳の近傍に配置され、ＨＭＤ１００で実行されるコンテンツ等に従って音声信号を再生する。通信部１２は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１２は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式により、ＨＭＤ１００と外部機器等との通信を行う。操作入力部１３は、スイッチ、ボタン、又はレバー等の物理的な操作機構を含む。例えばユーザ１が操作入力部１３を操作することで、各種の操作が受け付けられる。

　センサ部１４は、ユーザ１またはユーザの周辺環境に関する各種の上方を取得する。センサ部１４は、外向きカメラ１６と、９軸センサ１７と、位置センサ１８と、生体センサ１９とを有する。図１にセンサ部１４の一例として、外向きカメラ１６が模式的に図示されている。また、９軸センサ１７、位置センサ１８、及び生体センサ１９は、例えばＨＭＤ１００を構成する筐体内の所定の位置に適宜配置される。なお、センサ部１４に設けられるセンサの種類や数等は限定されず、例えば気圧センサや温度センサ等が設けられてもよい。

　外向きカメラ１６は、ＨＭＤ１００の前方に向けて配置され、ユーザ１の視野に含まれる実空間の画像を撮影する。外向きカメラ１６としては、例えばＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備えるデジタルカメラが用いられる。また例えば、実空間の奥行データ（Depthデータ）等を検出可能なステレオカメラやＴＯＦ（Time of Flight）センサ等を備えたカメラが、外向きカメラ１６として用いられてもよい。外向きカメラ１６により検出された画像データや奥行データは、実空間での物体認識や、ユーザ１の手認識等の各種の認識処理に用いられる。またこれらのデータは、ユーザ１の自己位置推定や周辺の空間マップ等の作成を行うＳＬＡＭ（Simultaneous Localization and Mapping）等の処理に用いられる。外向きカメラ１６の具体的な構成は限定されず、例えば所望の精度で実空間をセンシング可能な任意のカメラセンサが、外向きカメラ１６として用いられてよい。

　９軸センサ１７は、３軸加速度センサ、３軸ジャイロセンサ、及び３軸コンパスセンサを含む。３軸加速度センサは、ＨＭＤ１００の３軸方向の加速度を検出する。３軸ジャイロセンサは、ＨＭＤ１００の３軸まわりの角速度（回転速度）を検出する。３軸コンパスセンサは、３軸方向における地磁気（方位）を検出する。９軸センサ１７により検出された各データは、ＨＭＤ１００を装着したユーザ１の頭部の姿勢や動作等を検出する処理や、立つ動作や座る動作といったユーザ１の行動を認識する処理に用いられる。またこれらのデータは、ＳＬＡＭ等を用いて構成された空間マップにおけるユーザ１の姿勢や向き等の検出に用いられる。

　位置センサ１８は、外部からの取得信号に基づいてＨＭＤ１００（ユーザ１）の現在位置を検出する。例えば位置センサ１８は、ＧＰＳ（Global Positioning System）測位部として構成され、ＧＰＳ衛星からの電波を受信して、ＨＭＤ１００が存在している位置を検出する。また、位置センサ１８は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検出するように構成されてもよい。また例えば、ユーザ１の周辺に配置されたマーカ等を検出してＨＭＤ１００の位置が検出されてもよい。この場合、位置センサ１８は、上記した外向きカメラ１６等を用いて実現可能である。この他、位置センサ１８の具体的な構成は限定されない。

　生体センサ１９は、生体データを検出する。例えば生体センサ１９として、ユーザ１の眼球を撮影する内向きカメラが用いられる。眼球の画像は、例えばユーザ１の視線方向や凝視時間等を検出する処理に用いられる。また例えば、ユーザ１の体動や体位等を検出する生体センサ１９が搭載され、その検出結果がユーザ１の姿勢等を検出する処理に用いられてもよい。この他、生体センサ１９の種類等は限定されず、例えば心拍、体温、発汗、血圧、発汗、脈拍、呼吸、瞬目、眼球運動、瞳孔径の大きさ、血圧、脳波、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度）等を検出可能なセンサ適宜が用いられてよい。

　記憶部１５は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が用いられる。記憶部１５には、マップデータ及び制御プログラムが記憶される。マップデータは、実空間に関する地図データとして機能するデータであり、例えばＳＬＡＭ等を用いて生成された空間マップ（周辺環境の３次元モデル）等が用いられる。制御プログラムは、ＨＭＤ１００全体の動作を制御するためのプログラムである。マップデータ及び制御プログラムをＨＭＤ１００にインストロールする方法は限定されない。

　コントローラ２０は、ＨＭＤ１００が有する各ブロックの動作を制御する。コントローラ２０は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部１５に記憶されている制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。コントローラ２０の具体的な構成は限定されず、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスがコントローラ２０として用いられてもよい。コントローラ２０は、本実施形態に係る情報処理装置に相当する。また、ＨＭＤ１００は、頭部搭載型の筐体５にコントローラ２０を搭載した装置である。従って、本実施形態ではＨＭＤ１００自身が情報処理装置として機能するとも言える。

　本実施形態では、コントローラ２０のＣＰＵが本実施形態に係るプログラム（制御プログラム）を実行することで、機能ブロックとして身体情報取得部２１、ジェスチャ情報取得部２２、環境情報取得部２３、判定条件設定部２４、ジェスチャ検出部２５、レイアウト算出部２６、レイアウト判断部２７、及び出力制御部２８が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。

　身体情報取得部２１は、ＨＭＤ１００を装着したユーザ１の身体情報を取得する。身体情報は、ユーザ１の身体に関する情報である。身体情報には、例えばユーザ１の姿勢や動作といった時間とともに変化する情報や、ユーザ１の年齢や性別といったユーザ１固有の情報が含まれる。これらの身体情報により、ＨＭＤ１００を装着したユーザ１の身体状態を表すことが可能である。すなわち身体情報は、ユーザ１の身体状態を表す情報であるとも言える。

　身体情報取得部２１は、身体情報としてユーザ１の姿勢を取得する。具体的には、上記したセンサ部１４に含まれる各センサ等の出力結果に基づいて、ユーザ１の姿勢を検出する姿勢検出処理を実行する。本実施形態では、身体情報取得部２１は、ユーザ１の姿勢として立位状態又は座位状態を検出する。

　例えば、９軸センサ１７から出力された加速度をモニタリングすることで、ユーザ１が立ち上がる時や座る時の加速度等が検出され、現在のユーザ１の姿勢（立位又は座位）が検出される。また例えば、生体センサ１９で測定された心拍・血圧の変化や、気圧の変化等を用いて、立位状態又は座位状態が検出されてもよい。またこれらのセンサ出力を統合して、ユーザ１の姿勢を検出することも可能である。この他、機械学習等を用いて、ユーザ１が立っているか座っているかを判定する処理が実行されてもよい。なお、立位状態及び座位状態の他に、ユーザ１が寝ている状態（臥位状態）や、ユーザ１がしゃがんでいる状態等が検出されてもよい。ユーザ１の姿勢を検出する方法は限定されない。

　また身体情報取得部２１は、身体情報としてユーザ１の身長を取得する。典型的には、上記した記憶部１５等にユーザ１の身長が予め記憶され、身体情報取得部２１によりユーザ１の身長が適宜読み込まれる。あるいは、外向きカメラ１６等の検出結果に基づいて、ＨＭＤ１００の床面からの高さ位置をモニタリングすることで、ユーザ１の身長が推定されてもよい。ユーザ１の身長を取得する方法は限定されない。

　この他、身体情報として、歩いている状態や走っている状態といったユーザ１の動作状態が取得されてもよい。ユーザ１の動作状態は、９軸センサ１７、位置センサ１８、及び生体センサ１９の出力に基づいて検出可能である。また身体情報として、ユーザ１の年齢や性別等が取得されてもよい。このようなユーザ１に固有の情報は、例えば記憶部１５にユーザ情報として予め記憶され、身体情報取得部２１により適宜読み込まれる。身体情報取得部２１により取得された各身体情報は、後述する判定条件設定部２４及びレイアウト算出部２６等に出力される。

　ジェスチャ情報取得部２２は、ユーザのジェスチャに関するジェスチャ情報を取得する。ジェスチャ情報は、ユーザ１のジェスチャを検出するための情報である。９軸センサ１７から出力される加速度・角速度・方位等は、例えば頭部を用いたユーザ１のジェスチャや、身体全体を動かすジェスチャ等を検出するためのジェスチャ情報となる。また外向きカメラ１６により撮影されたユーザ１の手や足の画像等は、手を用いたジェスチャや足を用いたジェスチャ等を検出するためのジェスチャ情報となる。またユーザ１の眼球を撮影した画像はユーザ１の眼のジェスチャを検出するためのジェスチャ情報となる。この他、ジェスチャ情報の種類等は限定されない。例えば、ＨＭＤ１００とは別にユーザ１を撮影する外部カメラ等（図示省略）が設けられる場合には、外部カメラにより撮影されたユーザ１の画像が、ジェスチャ情報となる。ジェスチャ情報取得部２２により取得された各ジェスチャ情報は、後述するジェスチャ検出部２５に出力される。

　環境情報取得部２３は、ユーザ１の周辺環境に関する環境情報を取得する。環境情報には、例えば外向きカメラ１６により撮影された周辺環境の画像データや奥行データ等が含まれる。また環境情報取得部２３は、画像データ・奥行データ等に基づいてＳＬＡＭ等の処理を行い、ユーザ１の周辺環境の空間マップ等を生成する。この空間マップは、ユーザ１の周辺環境における実オブジェクトの位置等を表す環境情報となる。また予め空間マップ等が記憶されている場合等には、位置センサ１８の出力（位置情報等）に基づいて、空間マップが読み込まれてもよい。また空間マップ等に基づいて、詳細な環境情報が生成されてもよい。例えば、環境情報として、ユーザ１の現在位置が屋内であるか屋外であるかといった情報や、天井・床面の高さ等が検出される。なお、空間マップを用いる場合に限定されず、ユーザ１の位置情報や外向きカメラの画像データ等から、ユーザ１が屋内にいるか又は屋外にいるかが検出されてもよい。この他、環境情報の種類等は限定されず、例えば周辺環境の明るさや温度等が環境情報として取得されてもよい。環境情報取得部２３により取得された各環境情報は、後述する判定条件設定部２４及びレイアウト算出部２６等に出力される。

　判定条件設定部２４は、身体情報に基づいて、ユーザ１のジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定する。ジェスチャによる操作入力（ジェスチャ操作）では、ユーザ１が所定のジェスチャを行うことで、そのジェスチャに対応する操作処理が実行される。操作処理は、センサ部１４等を用いて所定のジェスチャを検出することで開始される。従って、ジェスチャ操作では、ユーザ１自身のジェスチャがトリガとして機能する。このトリガとして機能するジェスチャ（トリガジェスチャ）を判定するための判定条件が、ユーザ１の姿勢や身長等の身体情報をもとに設定される。

　身体特性＝身体特性情報
　本実施形態では、判定条件設定部は、身体情報に応じたユーザの身体特性情報に基づいて判定条件を設定する。身体特性情報とは、例えば身体情報により表される身体状態におけるユーザ１の身体特性に関する情報である。例えば人間の身体特性（人間特性）には、身体状態（姿勢、身長、年齢、性別等）によって変化する特性が含まれる。このため、ＨＭＤ１００を使用するユーザ１の姿勢の変化や、ユーザ１の個人差等により、ユーザ１が視認可能な範囲やジェスチャの傾向等が変化することが考えられる。

　身体特性情報には、身体状態におけるユーザの視野特性に関する情報が含まれる。例えばユーザ１が座っている場合（座位状態）では、ユーザ１が立っている場合（立位状態）と比べて、視野（視線）が下がる傾向がある（図６参照）。この場合、各姿勢での視野範囲を表す情報が身体特性情報となる。また身体特性情報には、身体状態におけるユーザ１の動作特性に関する情報が含まれる。例えば座位状態と立位状態では、頭部や胴体等を動かすことが可能な範囲が異なる（図１１参照）。この場合、各姿勢での可動範囲を表す情報が身体特性情報となる。他にも、身長、年齢、性別等の状態が違えば、視野範囲や可動範囲等の身体特性が異なってくる。判定条件設定部２４では、身体情報として取得された姿勢や身長等の身体状態における身体特性情報に合わせてトリガジェスチャの判定条件が設定される。

　また、本実施形態では、判定条件設定部２４は、環境情報に基づいて、判定条件を設定する。例えば、屋内と屋外とでは、ユーザ１が無意識に行う動作の範囲や視線等に違いが表れる。すなわち、ユーザ１があるジェスチャを行う場合、周辺環境によっては、そのジェスチャを行う際の動作量（動作の大きさ）が異なる可能性がある。この他にも、ユーザ１の動作（ジェスチャ）は、周辺環境によって変化することが考えられる。判定条件設定部２４は、このような外的環境要因によって起こる人間の生理的・身体的な特性に合わせてトリガジェスチャの判定条件を設定する。

　本実施形態では、判定条件は、トリガジェスチャを判定するための判定閾値を含む。すなわち、トリガジェスチャとそれ以外のジェスチャとを識別するために、判定閾値を用いた閾値処理が実行される。判定閾値は、例えばトリガジェスチャを行うことで変化するパラメータに対する閾値である。例えばトリガジェスチャが、頭部の姿勢を変化させるジェスチャである場合には、頭部（ＨＭＤ１００）の姿勢角度についての閾値角度が判定閾値となる。このように、トリガジェスチャの判定には、対象となるトリガジェスチャに応じた判定閾値が用いられる。また１つのトリガジェスチャを判定するために、複数の判定閾値が用いられる場合もある。判定条件設定部２４による判定閾値の設定処理については、後に詳しく説明する。

　ジェスチャ検出部２５は、ジェスチャ情報取得部２２により取得されたジェスチャ情報に基づいて、ユーザ１のジェスチャを検出する。例えば、センサ部１４により検出されたＨＭＤ１００の加速度等に基づいて、ユーザ１が頭部の姿勢や位置を変化させるジェスチャ（頭部ジェスチャ）等が検出される。また例えば、外向きカメラ１６により撮影された画像データから、ユーザ１が手を動かして行うジェスチャ（ハンドジェスチャ）等が検出される。ジェスチャ検出の方法は限定されず、例えば９軸センサ１７を用いた動作認識技術や、画像認識技術等が用いられてよい。また機械学習等を用いたジェスチャ検出が行われてもよい。

　またジェスチャ検出部２５は、ユーザ１がトリガジェスチャを行ったか否かを判定する。すなわち、ジェスチャ情報により表されるユーザ１のジェスチャ（ユーザ１の動作）が、トリガジェスチャであるか否かを判定する。

　トリガジェスチャの判定には、判定条件設定部２４により設定された判定条件（判定閾値）が用いられる。例えばトリガジェスチャとして頭部を上方に向けるジェスチャが設定されているとする。この場合、ユーザ１の頭部の傾斜角度が対応する判定閾値（閾値角度）を超えているか否かを判定することで、トリガジェスチャが行われたか否かが判定される。このように、ジェスチャ検出部２５は、ジェスチャ情報及び判定条件に基づいて、トリガジェスチャが行われたか否かを判定する。判定条件を用いることで、ユーザ１の意識的なジェスチャと、それ以外の動作とを分けて検出することが可能となる。

　レイアウト算出部２６は、表示部１０（透過型ディスプレイ）に表示される仮想画像のデータを取得し、仮想画像のレイアウトを算出する。例えばユーザ１によるトリガジェスチャが検出された場合には、そのトリガジェスチャに対応する仮想画像のデータが読み込まれ、仮想画像のレイアウトが算出される。すなわち、レイアウト算出部２６は、トリガジェスチャの判定結果に基づいて、トリガジェスチャに対応した仮想画像の出力を制御する。またレイアウト算出部２６は、ＨＭＤ１００で実行されているコンテンツの進行に合わせて、仮想画像のデータを読み込み、そのレイアウトを算出する。

　仮想画像のデータは、例えばコンテンツ情報として記憶部１５に記憶される。あるいは、通信部１２を介してコンテンツ情報が読み込まれてもよいし、レイアウト算出部２６により仮想画像のデータが生成・編集されてもよい。なお、表示部１０に表示される仮想画像の数等は限定されない、例えば単一の仮想画像が表示される場合や、複数の仮想画像が同時に表示される場合等があり、必要となる仮想画像のデータがそれぞれ取得される。

　仮想画像のレイアウトとしては、例えば仮想画像の表示位置、サイズ、姿勢（傾き）等のレイアウトパラメータが計算される。後述するように、仮想画像には、ユーザ１を基準とする座標系（身体座標系）を用いて表示される画像や、周辺空間（空間マップ等）を基準とする座標系（空間座標系）を用いて表示される画像等が含まれる。レイアウト算出部２６は、例えばＨＭＤ１００（ユーザ１）の姿勢や位置等に応じて、各座標系における仮想画像の表示位置やサイズ等をそれぞれ計算する。

　本実施形態では、レイアウト算出部２６は、ユーザ１の身体情報に基づいて、仮想画像の表示位置を制御する。例えば、ある仮想画像について、ＨＭＤ１００（ユーザ１）の姿勢や位置に応じた表示位置を算出した上で、さらにユーザ１の姿勢や身長等に応じて、仮想画像の表示位置（座標位置）が調整される。また本実施形態では、レイアウト算出部２６は、環境情報に基づいて仮想画像の表示位置を制御する。例えば、身体情報に基づいて設定された表示位置が、周辺環境における天井の有無等に応じて調整される。

　レイアウト算出部２６による仮想画像の表示位置の制御方法は限定されない。例えば身体情報又は環境情報の一方のみを用いて表示位置が調整されてもよいし、上記したように身体情報及び環境情報の両方を用いて表示位置が調整されてもよい。なお仮想画像の表示位置の調整にともない、仮想画像が適正に表示されるように、仮想画像のサイズや姿勢等の他のレイアウトパラメータが調整される。

　また仮想画像を表示する方法として、空間マップと仮想画像（表示オブジェクト）との衝突判定を行い、実空間の余白にコンテンツやＧＵＩ等を移動するという方法が挙げられる。この方法では、実空間に存在する実物体と、仮想画像とが不自然に重ならないように表示することが可能である。これにより実空間に仮想画像が浮遊しているかのうような表示が可能となる。レイアウト算出部２６は、例えばこのような表示制御に加え、上記した身体情報や環境情報を用いた表示制御を行う。これにより、エンタテイメント性が高くユーザフレンドリーな仮想体験を実現することが可能となる。仮想画像の具体的な種類や、表示位置の制御処理については、後に詳しく説明する。

　レイアウト判断部２７は、仮想画像の優先度に応じて、表示部１０に表示される仮想画像のレイアウトを判断する。例えば、表示対象となる仮想画像がエラーメッセージやコーションメッセージ等の緊急用の表示、すなわち優先度の高い表示である場合がある。このような場合、レイアウト判断部２７は、対象となる仮想画像を高い優先度で表示する旨の指令を生成し、レイアウト算出部２６に出力する。これにより、緊急用の仮想画像等を確実に表示することが可能となる。

　出力制御部２８は、表示部１０に表示される仮想画像を含む出力用画像を生成する。例えば、レイアウト算出部２６により算出されたレイアウトパラメータに基づいて、単一又は複数の仮想画像を含む出力用画像が生成される。この時、明るさやコントラスト等が調整されてもよい。生成された出力用画像は、表示部１０に出力されてユーザ１の眼前に表示される。この結果、ＨＭＤ１００を装着したユーザ１は、実空間に重畳された仮想画像を視認することが可能となる。

　このように、ＨＭＤ１００では、ジェスチャ検出部２５、レイアウト算出部２６、レイアウト判断部２７、及び出力制御部２８により、ユーザ１のジェスチャ操作やコンテンツの進行に応じた仮想画像の表示制御が実現される。なおトリガジェスチャが、音声出力や振動出力等を制御するジェスチャ操作のトリガである場合には、そのトリガジェスチャに対応した出力が制御される。本実施形態では、ジェスチャ検出部２５、レイアウト算出部２６、レイアウト判断部２７、及び出力制御部２８が共動することにより、制御部が実現される。

　［仮想画像］
　図３は、仮想画像の一例を説明するための模式図である。図３に示す例では、ユーザ１及び建物が実空間に存在する実オブジェクトとなる。また仮想画像３０ａ～３０ｇは、ＨＭＤ１００を装着したユーザ１に対して視認可能に表示される仮想オブジェクトの一例である。これらの仮想オブジェクト（仮想画像３０）は、例えばユーザ１に各種の情報を提示するＧＵＩ（Graphical User Interface）として機能する。以下では、図３を参照して、ＨＭＤ１００（表示部１０）に表示される仮想画像について具体的に説明する。

　仮想画像３０の表示位置は、ユーザ１（ＨＭＤ１００）を基準とする身体座標系及びユーザ１が存在する実空間（周辺環境）を基準とする空間座標系のどちらか一方又は両方に合わせて設定される。図３では、身体座標系及び空間座標系が実線及び点線の矢印を用いてそれぞれ模式的に図示されている。

　身体座標系は、例えばＨＭＤ１００の位置・姿勢、すなわちユーザ１の頭部の位置・姿勢に追従する座標系である。空間座標系は、ＨＭＤ１００の位置・姿勢等に係らず空間マップ等に合わせて設定される座標系（世界座標系）である。従って、ＨＭＤ１００を装着したユーザ１が移動すると空間座標系から見た身体座標系の原点が変化し、またユーザ１が頭部を動かすと空間座標系から見た身体座標系の向きが変化する。

　仮想画像３０ａは、例えば身体座標系を基準に配置され、ユーザ１の頭部の姿勢等に係らずユーザ１の視野内に収まるように表示される画像である。例えば、ユーザ１が頭部を動かしても、ユーザ１は常に仮想画像３０ａを視認することが可能である。仮想画像３０ａは、例えば主要なコンテンツやエラーメッセージ等の表示に用いられる。

　仮想画像３０ｂは、例えば身体座標系及び鉛直方向（実空間における上下方向）を基準に配置され、ユーザ１の斜め上方に表示される画像である。例えば、ユーザ１の現在位置を基準として、ユーザ１の上方に設定された円環上の軌道に沿って仮想画像３０ｂが配置される。図３に示すように直立姿勢のユーザ１が頭部を上方に向けると、仮想画像３０ｂが表示部１０に表示される。またユーザ１が正面に視線を戻すと仮想画像３０ｂはユーザ１の視野（画角）から外れ表示されなくなる。仮想画像３０ｂは、例えば、現在時刻、ＨＭＤ１００のバッテリー残量、及び通信状態等のステータス情報や、メッセージ等の表示に用いられる。本実施形態では、仮想画像３０ｂは、ユーザから見て斜め上方に表示される上方画像に相当する。

　仮想画像３０ｃは、例えば身体座標系を基準に配置され、ユーザ１の胴体周り（腰周り）、すなわちユーザ１が手を伸ばすことが可能な作業スペースに表示される画像である。例えばユーザ１の選択操作（ジェスチャや操作入力部を介した操作）に応じて、ユーザ１の腹部を中心として複数の仮想画像３０ｃが表示される。仮想画像３０ｃは、例えば操作の選択画面（ランチャー）やメインコンテンツの表示に用いられる。

　仮想画像３０ｄは、例えば身体座標系及び鉛直方向を基準に配置され、ユーザ１の足元に表示される画像である。ここでは、仮想画像３０ｄは、ユーザ１が位置している場所の床面（地面）に沿うように仮想画像３０ｄが表示される。例えば仮想画像３０ｄはユーザ１の移動とともに移動するように表示される。従って仮想画像３０ｄは、ユーザ１の位置（身体座標系）と床面（空間座標系）とを基準に配置されていることになる。仮想画像３０ｄは、ランチャーやナビゲーションマップ等の表示に用いられる。本実施形態では、仮想画像３０ｄは、ユーザから見て斜め下方に表示される下方画像に相当する。

　仮想画像３０ｅは、例えばユーザ１の位置及び空間座標系を基準に配置され、ユーザ１との相対的な位置を維持するように実空間に定位して表示される。例えばユーザ１が移動すると仮想画像３０ｅの空間座標系における位置も変化するが、ユーザ１が向きを変えても仮想画像３０ｅの位置は変化しない。仮想画像３０ｅは、例えばナビゲーションオブジェクト（矢印やエージェントキャラクタ等）等の表示に用いられる。

　仮想画像３０ｆは、例えば空間座標系を基準に配置され、ユーザ１との距離に係らず常時同じサイズ（視野角）に表示される画像である。仮想画像３０ｆは、例えば空間座標系の所定の位置に定位して表示される。ユーザ１は、仮想画像３０ｆの表示位置が近い場合であっても遠い場合であっても、同様の大きさで表示された仮想画像３０ｆを視認することになる。仮想画像３０ｆは、例えば実物体（アイテム、店舗、場所等）に設定された情報を表示するアイコンやメッセージ等の表示に用いられる。

　仮想画像３０ｇは、例えば空間座標系を基準に配置され、実空間上に存在するかのように表示される画像である。例えば仮想画像３０ｇの表示位置とユーザ１との距離が近づくにつれて、仮想画像３０ｇは大きく表示される。すなわち、仮想画像３０ｇは、空間座標系に固定された重畳物（仮想オブジェクト）を表示する画像となる。

　なお、上記した仮想画像３０ａ～３０ｇはあくまで一例であり、例えばコンテンツに応じた任意の仮想画像３０が用いられてよい。この他、仮想画像３０の種類や用途等は限定されない。また上記のような特徴を持った任意の仮想画像３０において、本技術は適用可能である。

　ここで、トリガジェスチャに応じた仮想画像３０の表示処理の一例について説明する。ＨＭＤ１００では、所定のトリガジェスチャが検出されると、検出されたトリガジェスチャに対応する仮想画像３０の表示処理が開始される。すなわち、トリガジェスチャは、仮想画像３０を表示させる表示操作のトリガとして機能する。これにより、ユーザ１は所定のトリガジェスチャを行うだけで、所望の仮想画像３０を表示させることが可能となる。

　本実施形態では、ユーザ１が頭部を上方に向けることで、ユーザ１から見て斜め上方に仮想画像３０ｂ（ステータス等）が表示される。この場合、トリガジェスチャは、ユーザ１が頭部を上方に向ける頭部ジェスチャである。なお、ユーザ１が頭部を上方に向けるジェスチャの全てがトリガジェスチャとなるわけではなく、ユーザ１の頭部の姿勢角度等が判定閾値を超えた場合に、頭部ジェスチャがトリガジェスチャとして検出される。

　また、ユーザ１が頭部を下方に向けることで、ユーザから見て斜め下方に仮想画像３０ｄ（ナビゲーションマップ等）が表示される。この場合、トリガジェスチャは、ユーザ１が頭部を下方に向ける頭部ジェスチャである。なお、仮想画像３０ｄに代えて仮想画像３０ｃを表示するといった処理や、頭部の姿勢角度を判定して仮想画像３０ｃ及び３０ｄをそれぞれ表示するといった処理も可能である。この他、表示操作のトリガとなるジェスチャの種類等は限定されず、頭部を左右に回転するジェスチャや手足を動かすジェスチャ等に応じて表示操作が行われてもよい。

　またトリガジェスチャは、仮想画像３０を非表示にする非表示操作のトリガであってもよい。例えば、上記したユーザ１が頭部を上方に向ける頭部ジェスチャにより、ユーザ１の眼前に表示された仮想画像３０（例えば図４に示す仮想画像３０ａ）が非表示となるようなジェスチャ操作が可能であってもよい。またユーザ１が頭部を下方に向ける頭部ジェスチャが、非表示操作のトリガとして機能してもよい。このように非表示操作のトリガが用いられる場合であっても、本技術は適用可能である。

　［ＨＭＤの基本動作］
　図４は、ＨＭＤ１００の基本的な動作の一例を示すフローチャートである。図４に示すフローチャートは、例えばＨＭＤ１００の起動中に繰り返し実行される処理である。以下では、ユーザ１が仮想画像３０の表示／非表示を操作するジェスチャ操作（表示操作）を行う場合を例に、ＨＭＤ１００の基本的な動作について説明する。

　まず、身体情報取得部２１により、ユーザ１の身体情報が取得される（ステップ１０１）。例えば、９軸センサ１７等の出力に基づいて、ユーザ１の身体姿勢（立位状態や座位状態等）頭部姿勢、四肢の状態等が検出される。また例えば、記憶部１５に記憶されたユーザ情報（身長・性別・年齢等）が読み込まれる。

　環境情報取得部２３により、ユーザ１の周辺環境の環境情報が取得される（ステップ１０２）。例えば周囲のＤｅｐｔｈ情報（奥行データ）、環境形状、空間マップ等が読み込まれる。また周辺環境に存在する実物体についての物体認識処理が実行され、例えば、ユーザ１の現在位置における天井の有無や、天井・床面の高さ等の情報が取得される。また例えば、物体認識処理の処理結果に基づいて、移動物体の有無等が環境情報として検出される。このように環境情報は、外部環境の認識結果を表す情報であるとも言える。

　判定条件設定部２４により、トリガジェスチャを判定するための判定条件（判定閾値）が設定される（ステップ１０３）。判定条件の設定は、上記のステップで取得された身体情報に基づいて実行される。例えばユーザ１の姿勢の状態（座位状態又は立位状態）における身体特性情報に応じた判定条件が設定される。また環境情報に基づいて閾値設定が実行されてもよい。例えば天井の有無等に応じて、判定条件が変更される。この点については、後に具体的に説明する。なお複数のトリガジェスチャが設定されている場合には、各トリガジェスチャに対応する判定条件が、身体情報又は環境情報に基づいてそれぞれ設定される。

　ステップ１０３で設定された判定条件を用いて、トリガジェスチャが検出される（ステップ１０４）。まずジェスチャ情報取得部２２により、ジェスチャ情報（例えばＨＭＤ１００の加速度・角速度・方位等）が取得される。そしてジェスチャ検出部２５により、判定条件を使ってジェスチャ情報により表されるジェスチャがトリガジェスチャであるか否かが判定される。

　例えば、頭部を動かすトリガジェスチャの判定条件として、頭部（ＨＭＤ１００）の姿勢角度（後述するピッチ角度等）に対する閾値角度が用いられる。この場合、ジェスチャ検出部２５により、頭部の姿勢角度が閾値角度よりも大きいか否かが判定される。姿勢角度が閾値角度よりも大きい場合にはトリガジェスチャが行われたと判定され、姿勢角度が閾値角度よりも小さい場合にはトリガジェスチャが行われていないと判定される。この判定結果（すなわちトリガジェスチャの検出結果）は、レイアウト算出部２６に出力される。

　レイアウト算出部２６により、仮想画像３０を表示するためのコンテンツ情報が取得される（ステップ１０５）。具体的には、コンテンツ情報として、ＨＭＤ１００で実行されているコンテンツにおいて配置される仮想画像３０の画像データが読み込まれる。またコンテンツ情報として、各仮想画像３０の位置・サイズ等のレイアウトパラメータが算出される。

　例えば、ステップ１０４において、仮想画像３０を表示させる表示操作のトリガジェスチャが検出された場合、そのトリガジェスチャに対応するコンテンツ情報（仮想画像３０のデータ）が読み込まれる。なお、トリガジェスチャが検出されていない場合には、表示操作についての処理（コンテンツ情報の読み込み等）は実行されない。また他のコンテンツ等が実行されている場合には、そのコンテンツに関するコンテンツ情報が適宜取得される。

　またユーザ１の頭部（ＨＭＤ１００）の姿勢や位置が検出され、その検出結果に応じて、仮想画像３０のレイアウトパラメータが算出される。例えばユーザ１の視野に含まれるキャラクターやメッセージ等の表示位置やサイズ等が適宜算出される。なお、ステップ１０５では、例えばユーザ１の身体特性等が反映されていないレイアウトパラメータが算出される。このレイアウトパラメータは、後述するように、身体情報や環境情報に基づいて調整される場合がある。

　レイアウト判断部２７により、仮想画像３０が高い優先度に設定された表示物（高優先度表示物）であるか否かが判定される（ステップ１０６）。ここでは、例えばステップ１０５で取得された各仮想画像３０（コンテンツ情報）の優先度がそれぞれ判定される。例えばエラーメッセージやコーションメッセージ等の緊急情報を提示する仮想画像３０には、高い優先度が設定される。これに対し、ステータスやメニュー画面等を表示する通常の仮想画像３０には、低い優先度が設定される。あるいは緊急用の仮想画像３０にのみ優先度を設定し、通常の仮想画像３０には優先度が設定されなくてもよい。

　仮想画像３０の優先度が高いと判定された場合（ステップ１０６のＹＥＳ）、初期値での表示が選択される（ステップ１０７）。例えば、優先度の高い仮想画像３０を予め設定されたレイアウトパラメータで表示する旨の指令信号が生成される。これにより、優先度の高い仮想画像３０を常にユーザ１の視野の中央等に表示するといったことが可能となり、ユーザ１に対して緊急性を要するメッセージ等を確実に提示することが可能となる。

　仮想画像３０の優先度が低いと判定された場合（ステップ１０６のＮＯ）、身体情報又は環境情報に応じた表示が選択される（ステップ１０８）。例えば、優先度の低い仮想画像３０を身体情報や環境情報に応じて調整されたレイアウトパラメータで表示する旨の指令信号が生成される。すなわち、優先度の低い仮想画像３０については、ユーザ１の姿勢やユーザ１がいる空間での天井の有無等に応じて表示位置を制御する処理が選択される。これにより、例えばユーザ１が視認しやすい位置に仮想画像３０を表示するといったことが可能となり、ユーザフレンドリーなＧＵＩを実現することが可能となる。

　このように、ユーザ１に提示される仮想画像３０（ＧＵＩ等）の優先度に応じて、身体特性を加味した表示を行うかどうかが決定される。例えば、上記したエラーメッセージ等のように優先度が高い仮想画像３０は、その表示位置等を調整することが好ましくない場合があり得る。本実施形態ではステップ１０６の判定処理を行うことで、表示位置を調整すべき仮想画像３０と、位置を変えずに表示するべき仮想画像３０とを分けて処理することが可能となる。これにより、使い易く信頼性の高いＨＭＤ１００を実現することが可能となる。

　ステップ１０７及び１０８で選択された表示方法に従って、仮想画像３０の出力処理が実行される（ステップ１０９）。まず、レイアウト算出部２６により、仮想画像３０ごとのレイアウトパラメータが調整される。低優先度の仮想画像３０については、身体情報や環境情報に応じて表示位置が調整され、高優先度の仮想画像３０については、デフォルトの表示位置が設定される。そして出力制御部２８により、仮想画像３０のレイアウトパラメータに基づいて、出力用画像が生成され、表示部１０に出力される。このように、ＨＭＤ１００では、身体情報や環境情報に応じて設定された判定条件や表示位置に基づいてＧＵＩ等の仮想画像３０が表示される。

　［閾値設定及び表示制御］
　以下では、ユーザ１が頭部を上方に向ける頭部ジェスチャ（以下、上向きジェスチャと記載する）によるジェスチャ操作を例として、判定条件（判定閾値）の設定処理及び仮想画像３０の表示制御ついて具体的に説明する。なお、図３を参照して説明したように、上向きジェスチャは、所定の仮想画像３０（仮想画像３０ｂ）を表示させる表示操作のトリガジェスチャとして機能する。

　まず、頭部の姿勢角度について説明する。頭部の姿勢角度は、例えばピッチ角度、ロール角度、及びヨー角度により表される。これらの姿勢角度は、例えば水平面や鉛直方向を基準とした角度である。

　ピッチ角度は、頭部の左右方向を回転軸とする角度であり、例えば首を前後に傾けた場合の頭部の傾斜角度（屈曲角度及び伸展角度）を表す。ロール角度は、頭部の前後方向を回転軸とする角度であり、例えば首を左右に傾けた場合の頭部の傾斜角度（側屈角度）を表す。ヨー角度は、頭部の上下方向を回転軸とする角度であり、例えば首を左右に回転した場合の頭部の回転角度（回旋角度）を表す。なお、首を動かす場合の他、例えばユーザ１が上体を前後、左右に曲げることでピッチ角度及びロール角度が変化し、ユーザ１が上体を回転することでヨー角度が変化する。

　本実施形態では、ユーザ１の頭部の姿勢角度が、ＨＭＤ１００の姿勢角度（ピッチ角度、ロール角度、ヨー角度等）により表される。ＨＭＤ１００の姿勢角度は、例えば３軸ジャイロセンサの出力等に基づいて検出される。なお、外部カメラ等が設けられる場合には、ユーザ１を撮影した画像に基づいて骨格推定等を行うことで、頭部の姿勢角度が直接推定されてもよい。この他、頭部の姿勢角度を算出する方法等は限定されない。以下では、ユーザ１の頭部が正面を向いている状態（基準姿勢）で、各姿勢角度が０°となるものとする。また、ＨＭＤ１００の姿勢角度のことを、頭部の姿勢角度と記載する場合がある。

　上向きジェスチャが行われる場合には、ユーザ１が頭部を上方に向けることで、頭部（ＨＭＤ１００）のピッチ角度が上側に変化する。この上側に変化するピッチ角度に対する閾値角度（上側閾値角度）が、上向きジェスチャをトリガジェスチャとして判定するための判定条件として設定される。すなわち、上向きジェスチャの判定条件は、上向きジェスチャにより変化するユーザ１の頭部のピッチ角度に対する上側閾値角度を含む。なお、上側閾値角度は、例えばピッチ角度＝０°を基準とした角度として設定される。

　例えば、ユーザ１が頭部を上方に向ける動作において、ピッチ角度が上側閾値角度を超えていなければ、トリガジェスチャは行われていないものと判定される。またピッチ角度が上側閾値角度を超える動作が行われた場合、ユーザ１の動作（上向きジェスチャ）が、トリガジェスチャとして判定される。そして、トリガジェスチャが行われたと判定されると、ユーザ１の斜め上方に仮想画像３０が表示される。

　図５は、上向きジェスチャにより表示される仮想画像３０の一例を示す模式図である。図５には、ユーザ１が上向きジェスチャを行うことで、ユーザ１の斜め上方に表示される仮想画像３０（上方画像３１）の一例が模式的に図示されている。なお上方画像３１は、図３を参照して説明した仮想画像３０ｂの具体的な表示例である。

　図５に示すように、上方画像３１には、例えばステータスアイコン３２と、時刻表示３３と、日付表示３４と、メッセージ通知３５とが含まれる。ステータスアイコン３２には、ＨＭＤ１００の通信状態（ＷｉＦｉ等のネットワークとの接続状態等）を示すアイコンや、ＨＭＤ１００のバッテリー残量を示すアイコン等が含まれる。時刻表示３３及び日付表示３４は、現在の時刻及び日付を表示する。メッセージ通知３５は、新着メールやお知らせ等を知らせるテキスト通知である。この他、上方画像３１の具体的な表示内容は限定されない。

　ＨＭＤ１００を使用するユーザ１が正面を見ている場合には、図５に示すような上方画像３１は表示されていないため、広い視界が確保される。例えばユーザ１がステータス等を確認しようとした場合、ある程度の角度（上側閾値角度）だけ頭部を上方に向けることで、上方画像３１の表示処理が開始されステータス等が提示される。また上方画像３１は、ユーザ１の上方に定位して配置されるため、ユーザ１が視線を正面に戻すと非表示となる。なお、上方画像３１はアクティブなコンテンツとして一定時間保持される。従って、上方画像３１がアクティブである間に、ユーザ１が上方に頭部を向けると、上向きジェスチャの判定等に係らず上方画像３１が表示される。

　［垂直視野の特性］
　図６は、人間の垂直視野に関する特性の一例を示す模式図である。図６には、人間の頭部が正面を向いている場合を基準とした垂直視野の各特性を示す角度（角度範囲）が記載されている。図６に示す各特性は、人間の頭部が正面を向いた状態で人間が水平方向を見た場合の視線方向（基準視線４０）を基準とした角度により表されている。

　人間の眼球の垂直方向の動作限界、すなわち眼球の垂直方向の最大動作範囲は、上側に約３０°であり、下側に約３５°である。また人間が楽に眼球を動作させることが可能な範囲は、基準視線４０の下側に約３０°の範囲である。眼球の最大動作範囲は、人間が頭部の向き等を変えずに行う視線方向の変更可能範囲であり、眼球の楽な動作範囲は、視線方向の楽な変更可能範囲である。

　人間の視線が基準視線４０である場合（水平方向を見ている場合）の視野は、上側に約５０°であり、下側に約７０°である。この視野内において、人間が色を識別することが可能な範囲（色識別限界）は、上側に約３５°であり、下側に約４０°である。なお、視野範囲や色識別限界は、視線方向（眼球の向き）に応じて変化する。

　また図６には、人間の標準的な視線方向（標準視線４１）が図示されている。一般に、標準視線４１は、人間の姿勢に応じて変化する。例えば人間が座っている座位状態では、標準視線４１は、基準視線４０の下側に約１５°の方向となる。また人間が立っている立位状態では、標準視線４１は、基準視線４０の下側に約１０°の方向となる。従って、座位状態では、人間が標準的に見ている方向（標準視線４１）は立位状態に対して５°程度低くなる。

　このように、ユーザ１（人間）の標準視線４１、すなわちユーザ１が標準的に視認している範囲は、ユーザ１の姿勢に応じて変化する。本実施形態では、このようなユーザ１の姿勢における視野特性に応じて、判定条件（上向きジェスチャの上側閾値角度）が設定される。

　［姿勢に応じた閾値設定］
　図７は、ユーザ１の姿勢に応じた判定条件の設定について説明するための模式図である。本実施形態では、判定条件設定部２４により、ユーザ１の姿勢に応じて、判定条件が設定される。例えば、図４のステップ１０１でユーザ１が座位状態であるか立位状態であるかを示す姿勢情報が取得される。そしてステップ１０３で姿勢情報を使って上向きジェスチャの判定条件となる上側閾値角度が設定される。図７Ａ及び図７Ｂには、立位状態及び座位状態のユーザ１がそれぞれ模式的に図示されている。

　上向きジェスチャを判定するための上限閾値角度αは、例えば予め設定された基準閾値角度α₀を基準として、ユーザ１の姿勢に応じて設定される。この基準閾値角度α₀は、例えばユーザ１が水平方向を見ている状態（基準視線４０の状態）を基準として設定された閾値角度である。

　例えば、基準閾値角度α₀は、図６に示す眼球の動作限界の上側の最大値３０°に設定される（α₀＝３０°）。これは、基準姿勢のユーザ１が頭部を動かすことなく眼球を動かすことで注目できる垂直方向の上限の角度に相当する。すなわち、ユーザ１が眼球を動かしても注目できないような表示物を正面にとらえるために動かす最小のピッチ角度が、基準閾値角度α₀に設定されるとも言える。基準閾値角度α₀を設定する方法は限定されず、例えば色識別限界や視野の限界等に合わせて基準閾値角度α₀が設定されてもよい。

　本実施形態では、ユーザ１の姿勢における標準視線４１の角度θを、基準閾値角度α₀から差し引くことで、上側閾値角度が設定される。すなわち、上側閾値角度αは、α＝α₀－θに設定される。例えば、図７Ａに示すように、ユーザ１が立位状態である場合には、上側閾値角度α＝α₀－１0°に設定される。また図７Ｂに示すように、ユーザ１が座位状態である場合には、上側閾値角度α＝α₀－１５°に設定される。例えばα₀＝３０°の場合には、立位状態ではα＝２０°に設定され、座位状態ではα＝１５°に設定される。このように、判定条件設定部２４は、座位状態が検出された場合に、閾値角度を立位状態が検出された場合よりも小さい値に設定する。

　例えばユーザ１が座っている状態では、ユーザ１の平均的な視線（標準視線）が立っている状態に比べより近く（下方）に向けられる。このため、ユーザ１が上向きジェスチャによる表示操作を行った場合、同様のジェスチャを行ったつもりでも、頭部を上方に向ける際のピッチ角度は、立っている状態よりも座っている状態の方が無意識のうちに小さくなることが考えられる。

　これに対し、本実施形態では、座位状態における上側閾値角度αを立位状態よりも低く設定することで、ユーザ１の姿勢に係らず、自然な動作により上方画像３１を表示させることが可能となる。また立位状態では、座位状態よりも上側閾値角度αが大きく設定されるため、上向きジェスチャを行う際のピッチ角度が比較的大きくなることによる誤判定等を抑制することが可能である。これにより、ジェスチャ操作等を用いた仮想体験の操作性を十分に向上することが可能となる。

　なお、ユーザ１の姿勢に応じた標準視線４１の違いを利用して、ユーザ１が頭部を下方に向ける頭部ジェスチャ（以下、下向きジェスチャと記載する）の判定条件が設定されてもよい。例えば下向きジェスチャは、図３に示す仮想画像３０ｄ（下方画像）を表示するためのトリガジェスチャとして機能する。この下向きジェスチャの判定条件として、下側に変化するピッチ角度に対する下側閾値角度βが設定される。

　判定条件設定部２４は、例えば基準閾値角度β₀から、座位状態及び立位状態における標準視線の角度を差し引くことで、下側閾値角度βを設定する。基準閾値角度β₀は、例えば眼球の動作限界の下側の最大値３５°等に設定される。これにより、ユーザ１は自身の姿勢に係らず、自然な動作により下方画像を表示することが可能となる。例えばこのように判定条件が設定されてもよい。

　［姿勢に応じた表示制御］
　また本実施形態では、レイアウト算出部２６により、ユーザ１の姿勢に応じて、仮想画像３０の表示位置が制御される。例えば、上向きジェスチャに応じて表示される上方画像３１の垂直方向の表示位置が、ユーザ１の姿勢（立位状態及び座位状態）に応じて調整される。図７Ａ及び図７Ｂには、ユーザ１が立位状態及び座位状態である場合に表示される上方画像３１が斜線の領域により模式的に図示されている。

　上方画像３１は、例えばユーザ１の頭部のピッチ角度が上側閾値角度αに達した状態で、ユーザ１の視野内に収まるように配置される。例えば上側閾値角度αで傾斜した視野内の所定の領域（例えば視野の上半分の領域等）に上方画像３１が表示されるように、上方画像３１の表示位置が調整される。この場合、ユーザ１の姿勢が変わらず、ピッチ角度が同じであれば、ユーザ１の視野内の一定の位置に上方画像３１が表示される。なお、ユーザ１の姿勢が違えば、上方画像３１の表示位置（頭部から見た高さ位置等）が異なる。

　例えば図７Ａに示すように、立位状態では、座位状態よりも大きい値に設定された上側閾値角度αに応じて、ユーザ１の頭部から見て比較的高い位置に上方画像３１が配置される。また図７Ｂに示すように、座位状態では、上側閾値角度αが立位状態よりも小さい値に設定されるため、上方画像３１は、ユーザ１の頭部から見て立位状態よりも低い位置に配置される。このように、レイアウト算出部２６は、座位状態が検出された場合に、上方画像３１の表示位置を立位状態が検出された場合よりも低い位置に設定する。

　これにより、ユーザ１は、自身の姿勢に係らず、上向きジェスチャの延長としてスムーズに上方画像３１を視認することが可能となる。また立っているユーザが行うジェスチャは、例えば座っている場合等と比べ動作量が大きくなる場合がある。このような場合であっても、ユーザ１の動作量に応じた適切な位置に上方画像３１を表示することが可能となる。また座っているユーザ１は、動作量の少ない上向きジェスチャで上方画像３１を表示させるともに、比較的低い位置に表示された上方画像３１を容易に視認することが可能となる。

　なお、上方画像３１の表示位置を設定する方法は限定されない。例えば、ユーザ１が立っている場合と座っている場合とで、ユーザ１が視認しやすい位置が予めデフォルトの位置として設定され、ユーザ１の姿勢ごとにデフォルトの位置に上方画像３１がそれぞれ配置されてもよい。また表示位置の他に、上方画像３１のサイズや姿勢等の他のレイアウトパラメータが、姿勢に応じて調整されてもよい。

　［環境情報に応じた閾値設定］
　上記では、ユーザ１の姿勢に応じた判定条件の設定等について説明した。ＨＭＤ１００では、判定条件設定部２４により、環境情報に基づいて、判定条件が設定される。これにより、例えばユーザ１の姿勢状態における身体特性情報に加え、周辺環境における身体特性情報に合わせた判定条件を設定することが可能となる。

　図６を参照して説明した標準視線４１（平均的な視線）は、人間の周辺環境によって変化する場合がある。例えば人間が屋外にいる場合、標準視線４１は、屋内にいる場合と比べ水平方向に近くなる傾向がある。また屋内であっても天井が高いほど、標準視線４１は水平方向に近くなる傾向がある。以下では、環境に応じて変化する標準視線４１の変化角度を環境角度φと記載する。環境角度φは、例えば１０°以下の角度であり、天井の高さ等に応じて変化する。

　例えばユーザ１が立位状態で屋内にいる場合の標準視線４１が１０°であるとする。このユーザ１が立位状態で奥外にいる場合には、標準視線４１が高くなる（例えば５°等）傾向がある。この場合、図６に示す標準視線４１の特性を基準値とすると、屋内での環境角度φは０°であり、屋外での環境角度φは５°となる。なお、標準視線４１が基準値よりも下がる場合等には、環境角度φは負の値となる場合もあり得る。実際には、屋内及び屋外で実測した標準視線４１等をもとに、環境角度φが設定される。あるいは、ユーザ１の動作傾向を学習することで、環境角度φが設定されてもよい。

　ＨＭＤ１００では、このような周辺環境の違いによる、人間の垂直視野の特性の違い（環境角度φの変化）に合わせて、上向きジェスチャを判定するための上側閾値角度が調整される。以下では、周辺環境に応じて設定される上側閾値角度を、上側閾値角度α'と記載する。

　まず、ユーザ１の周辺環境に関する環境情報が取得される（図４のステップ１０２）。本実施形態では、環境情報取得部２３により、周辺環境における天井の有無が検出される。天井の有無は、例えばＳＬＡＭ等を用いて生成された空間マップや、外向きカメラ１６により撮影された画像に基づいて検出される。天井の有無の検出結果は、判定条件設定部２４に出力され、天井が有る場合と、天井が無い場合とで、それぞれ周辺環境に応じた上側閾値角度α'が算出される。

　判定条件設定部２４では、例えば、図７を参照して説明した、ユーザ１の姿勢（立位状態又は座位状態）に応じた上側閾値角度αに、環境角度φを加えることで、周辺環境に応じた上側閾値角度α'が算出される（α'＝α＋φ）。これは、例えば上記した基準閾値角度α₀から、屋内又は屋外における各姿勢での標準視線４１の角度を差し引くことに相当する。

　例えば天井が検出された場合、ユーザ１は屋内に存在するとして、周辺環境に応じた上側閾値角度α'は、姿勢に応じた上側閾値角度αに屋内での環境角度φ（例えば０°）を加えた値に設定される。一方で天井が検出されなかった場合、ユーザ１は屋外に存在するとして、上側閾値角度α'は、上側閾値角度αに屋外での環境角度φ（例えば５°）を加えた値に設定される。

　このように、判定条件設定部２４は、天井が検出された場合に、上側閾値角度α'を天井が検出されない場合よりも低い値に設定する。これにより、現在位置が屋内又は屋外のいずれであっても、ユーザ１は自然に上向きジェスチャを行うことで、上方画像３１を容易に表示させることが可能となる。この結果、様々なフィールドで優れた操作性を発揮するＨＭＤ１００を実現することが可能となる。

　なお、上記したように、天井の有無に応じて上側閾値角度α'を設定する場合に限定されず、例えば天井の高さに応じて上側閾値角度α'が設定されてもよい。例えば、天井の高さが高いほど、人間の標準視線４１が水平方向に近くなる傾向がある。このような特性に合わせて、例えば、天井の高さが高いほど、上側閾値角度α'が大きくなるように設定される。これにより、天井の高さの違いによって変化する視野特性に応じたジェスチャ判定が可能となり、操作性を向上することが可能となる。

　［環境情報に応じた表示制御］
　図８は、環境情報に応じた上方画像３１の表示例を示す模式図である。図８Ａ及び図８Ｂは、天井の有る屋内及び天井のない屋外において、ユーザ１の視野に重畳された上方画像３１が模式的に図示されている。なお、図８Ａ及び図８Ｂに示すユーザ１の視野は、ユーザ１の姿勢、頭部の床面からの高さ、及びピッチ角度が同じ状態での視野である。

　本実施形態では、レイアウト算出部２６により、天井の有無に応じて、上方画像３１の表示位置が調整される。例えばユーザ１が屋内にいる場合（図８Ａ）には、ユーザ１が屋外にいる場合（図８Ｂ）と比べて、上方画像３１が低い位置に表示される。これらの表示位置は、例えば屋内及び屋外での上側閾値角度α'を基準として設定することが可能である。これにより、ユーザ１は、屋内・屋外に係らず、上向きジェスチャの延長としてスムーズに上方画像３１を視認することが可能となる。

　屋内では、ユーザ１の注目対象は、床面と天井との間の空間にある場合が多い。従って、図８Ａに示すように上方画像３１の表示位置が多少低い場合であっても、上方画像３１がユーザ１が注目したい領域に重なってしまうといった事態を十分に回避することが可能である。また、不必要に頭部を傾けなくても上方画像３１のステータス等を確認することが可能であるため、ユーザ１の身体負荷を軽減することが可能である。

　また、屋外では、ユーザ１がより遠い位置に視線を向ける場合があり得る。このため、図８Ｂに示すように、上方画像３１の表示位置を高く設定することで、ユーザ１の視野を広く確保することが可能となり、実空間についての視認性を高めることが可能である。また屋外にいるユーザ１は、比較的大きな動作であっても自然に行うことが可能である。このため、上方画像３１の表示位置が多少高い場合であっても、自然な動作により上方画像３１を容易に視認することが可能である。

　［水平視野の特性］
　図９は、人間の水平視野に関する特性の一例を示す模式図である。図９には、頭頂から見た人間が模式的に図示されており、人間の頭部が正面を向いている場合を基準とした水平視野の各特性を示す角度（角度範囲）が記載されている。図中の下側がユーザ１の正面であり、上側がユーザ１の背面である。

　人間の眼球の水平方向の動作限界、すなわち眼球の水平方向の最大動作範囲は、左右に約１５°である。人間の視線が正面を向いている場合（基準視線４０）の左眼の視野は、左側に約９４°であり、右側に約６２°である。この視野内において、人間が色を識別することが可能な色識別限界は、左右に約３０°～６０°である。

　例えば、眼球の水平方向の最大動作範囲に含まれるように、仮想画像３０を表示することで、ユーザ１は、仮想画像３０を容易に認識することが可能である。一方で、上記した上方画像３１も含め、コンテンツの進行やユーザの操作（ジェスチャ操作等）に応じて表示される仮想画像３０の表示位置は、一般に任意に設定することが可能である。すなわち、表示される仮想画像３０は、必ずしもユーザ１が視認しやすい位置に表示されるとは限らない。このため、例えば仮想画像３０を見失うことや、仮想画像３０が表示されたことに気が付かないといった事態が発生する可能性がある。

　ところで、ユーザ１の周辺環境によっては、ユーザ１が視認しやすい領域（方向）等を推定することが可能な場合がある。このような場合、仮想画像３０の表示位置を、ユーザ１が視認しやすい領域に設定することで、仮想画像３０をロストするといった事態を回避することが可能である。以下では、周辺環境に応じた表示制御について具体的に説明する。

　図１０は、環境情報に応じた仮想画像３０の表示例を示す模式図である。図１０には、外向きカメラ１６により撮影されたユーザ１の視野画像５０が模式的に図示されている。視野画像５０は、屋内の通路の画像であり、画像の中央付近には単一の消失点５１が含まれる。すなわち、視野画像５０の構図は、一点透視と見做すことが可能である。このように、ユーザ１の視野が一点透視と見做せる場合、ユーザ１の視線方向は、ユーザ１の視野における消失点５１の付近に集中しやすくなる。言い換えれば、消失点５１の近くは、ユーザ１にとって視認しやすい領域となる。

　本実施形態では、消失点５１の近くに仮想画像３０が表示されるように、その表示位置が制御される。具体的には、環境情報取得部２３により、周辺環境に消失点５１が含まれるか否かが判定される。そして、レイアウト算出部２６により、周辺環境に消失点５１が含まれる場合、消失点５１を基準として仮想画像３０の表示位置が設定される。

　環境情報取得部２３は、例えば外向きカメラ１６により撮影された視野画像５０から直線等の特徴量を検出することで消失点５１の有無を判定する。また例えば空間マップ等の３次元的なデータを用いて消失点５１が検出されてもより。あるいは、ユーザ１の眼球を撮影する内向きカメラ等が設けられている場合には、ユーザ１の眼球の動作が検出されてもよい。この場合眼球の動作の平均が少ない場合（例えばユーザ１の視線の動きが、水平方向の動作限界よりも十分に小さい場合等）、一点透視とみなし消失点５１が存在するといった判定が実行されてもよい。この他、消失点５１の有無を判定する方法は限定されない。

　周辺環境に消失点５１が含まれると判定された場合、レイアウト算出部２６により、例えば消失点５１を基準とする表示候補領域５２（図１０の斜線の四角）が設定される。表示候補領域５２は、水平視野において例えば１０°程度の横幅となるように設定される。仮想画像３０は、設定された表示候補領域５２に収まるように配置される。これにより、例えばユーザ１が通路のような消失点５１を含む周辺環境にいる場合には、消失点５１の近傍に仮想画像３０が表示される。これにより、ユーザ１が自然に視線を向ける位置に仮想画像３０を表示することが可能となるため、仮想画像３０に対するアクセシビリティーを十分に向上することが可能となる。

　また本実施形態では、レイアウト算出部２６により、仮想画像３０を表示候補領域５２に収めるか否かが判定される。具体的には、ユーザ１の視線と空間マップ化された周辺環境との交点（衝突点）の距離に応じて、表示候補領域５２に収めるか否かが判定される。例えば、仮想画像３０を立体視することが可能な近距離（約３ｍ）までの範囲に交点がある場合には、仮想画像３０を表示候補領域５２に収めずに、そのまま表示するといった処理が実行される。すなわち、ユーザ１の視線が近距離に向けられている場合には、通常の表示処理が行われるため、ユーザ１は容易に仮想画像３０を認識することが可能となる。

　［関節可動域の特性］
　図１１は、人間の関節可動域に関する特性の一例を示す模式図である。図１１には、人間が正面を向いている状態を基準姿勢として、頭部を前方に傾ける屈曲時の首の関節可動域と、頭部を後方に傾ける伸展時の首の関節可動域との一例が模式的に図示されている。屈曲及び伸展を容易に行うことが可能な容易曲げ角度は、いずれも約３０°である。また屈曲及び伸展を行うことが可能な最大曲げ角度は、いずれも約６０°である。首の関節可動域に関するこれらの特性は、本実施形態に係る動作特性に含まれる。

　本実施形態では、ユーザ１の姿勢におけるユーザ１の関節可動域に応じて、判定条件が設定される。例えば、ユーザ１が立っている立位状態では、ユーザ１が座っている座位状態に比べ、首の容易曲げ角度や最大曲げ角度が大きくなる。また立位状態では、座位状態に比べ、ユーザ１が腰を曲げることで傾けることが可能な頭部の傾斜角度も大きくなる。このような首や腰の動作特性の違いに応じて、図７等を参照して説明した、上向きジェスチャや下向きジェスチャの判定条件（上側閾値角度αや下側閾値角度β）が設定される。

　判定条件設定部２４は、例えば上側閾値角度α及び下側閾値角度βを設定するための基準となる基準閾値角度α₀及びβ₀を、ユーザ１の姿勢に応じて設定する。例えばユーザ１が座位状態である場合には、基準閾値角度α₀及びβ₀が図４に示す眼球の動作限界の上限値及び下限値に設定される。またユーザ１が立位状態である場合には、基準閾値角度α₀及びβ₀が座位状態での値よりも大きくなるように設定される。すなわち立位状態では、上向きジェスチャ及び下向きジェスチャを判定するための閾値角度の範囲が、座位状態に比べ広くなるように調整される。

　立位状態の基準閾値角度α₀及びβ₀の増加量は、例えば座位状態と比べた場合の立位状態での関節可動域（容易曲げ角度や最大曲げ角度等）の増加量に応じて設定される。すなわち、ユーザ１が立つことで拡大した動作可能範囲に合わせて、基準閾値角度α₀及びβ₀が設定される。これは、上側及び下側の閾値角度α及びβの範囲を、関節可動域に応じてスケーリングしているとも言える。これにより、例えばユーザ１が無理なく動作できる範囲で各閾値角度α及びβを大きく設定するといったことが可能となる。この結果、ユーザ１の身体負荷を増大させることなく、上向き及び下向きジェスチャの誤検出等を抑制することが可能となる。

　なお、関節可動域に応じて閾値角度を設定する方法等は限定されない。例えば、座位状態での基準閾値角度α₀及びβ₀が関節可動域に応じて設定されてもよい。また基準閾値角度α₀及びβ₀を設定する代わりに、関節可動域に応じたシフト量が姿勢ごとに設定されてもよい。このシフト量を、ユーザ１の姿勢情報や環境情報に応じて設定された閾値角度（α及びβ）に加えることで、最終的な閾値角度が設定されてもよい。また姿勢ごとの関節可動域の特性には、個人差があるため、例えばユーザ１の関節可動域を学習し、その学習結果に基づいて、閾値角度を設定するように構成されてもよい。

　［身長に応じた視野特性］
　図１２は、ユーザ１から見て斜め下方に表示される仮想画像３０の表示位置の一例を示す模式図である。斜め下方に表示される仮想画像３０としては、例えば図３を参照して説明した仮想画像３０ｃや仮想画像３０ｄ（下方画像３６）が挙げられる。以下では、図１２を参照視して、下方画像３６の表示位置を設定する方法について説明する。

　一般に、人間が斜め下方を見下ろす場合、俯角γが約１０°～３０°の範囲が、人間が容易に視覚することが可能な範囲となる。ここで俯角γは、水平方向から斜め下方に見下ろす角度である。以下では、上記した俯角に収まり一定の高さとなる領域を下方表示領域５４と記載する。またユーザ１の頭部（ＨＭＤ１００）を含む水平面を基準水平面５５と記載する。図１２には、基準水平面５５からの相対距離Ｈが異なる３種類の下方表示領域５４ａ～５４ｃが、斜線の領域により模式的に図示されている。

　下方表示領域５４は、ユーザ１からの水平距離が、Ｈ／ｔａｎ（１０°）～Ｈ／ｔａｎ（３０°）となる領域である。図１２に示すように、ユーザ１から見た下方表示領域５４の手前側の位置は、基準水平面５５（ユーザ１の頭部の高さ位置）からの相対距離Ｈが大きいほどユーザ１から離れる。また下方表示領域５４のサイズ（奥行）は、相対距離Ｈが大きいほど大きくなる。このように、相対距離Ｈが異なれば、下方表示領域５４の位置及びサイズが変化する。

　本実施形態では、レイアウト算出部２６により、下方表示領域５４に下方画像３６が収まるように、下方画像３６の表示位置が設定される。具体的には、ユーザ１の身長をもとに、仮想画像３０を表示する基準水平面５５からの相対距離Ｈ（仮想画像３０の高さ位置）が算出され、相対距離Ｈに基づいて、仮想画像３０の奥行位置が設定される。このように、本実施形態では、ユーザ１の身長に応じて下方画像３６の表示位置が設定される。

　図１３は、下方画像３６の一例を示す模式図である。図１３Ａは、ユーザ１の胴体周り（腰周り）に表示される下方画像３６の一例であり、図３に示す仮想画像３０ｃの表示例である。仮想画像３０ｃは、複数の選択ウィンドウ３７を含む選択画面である。例えばユーザ１は、頭部を左右に回転することで、これらのウィンドウ３７から所望のウィンドウ３７を選択するといったジェスチャ操作が可能である。例えばこのような仮想画像３０ｃがユーザ１の腹部の高さに表示される。

　仮想画像３０ｃは、図１２に示すユーザ１の腹部と同程度の高さに設定された下方表示領域５４ａに配置される。下方表示領域５４ａの基準水平面５５からの相対距離Ｈ_aは、例えばユーザ１の身長ｈ₁の半分に設定される（Ｈ_a＝ｈ₁／２）。また例えば、ユーザ１の腰の高さｈ₂が読み込まれている場合等には、身長ｈ₁から腰の高さｈ₂を引いた値が相対距離Ｈ_aに設定される（Ｈ_a＝ｈ₁－ｈ₂）。この他、仮想画像３０ｃを表示するための相対距離Ｈ_aを設定する方法は限定されない。

　相対距離Ｈ_aが設定されると、下方表示領域５４ａの水平方向の位置が算出され、下方表示領域５４ａに収まるように、仮想画像３０ｃの表示位置が設定される。なお、仮想画像３０ｃは、空中に浮遊しているように表示される画像であり、例えばユーザ１から見やすいように、傾斜して配置される。これにより、ユーザ１は自身の胴体周りに表示された仮想画像３０ｃを容易に視認することが可能となる。

　図１３Ｂは、ユーザ１の周辺の床面に表示される下方画像３６の一例であり、図３に示す仮想画像３０ｄの表示例である。仮想画像３０ｄは、例えばナビゲーションマップ３８等を表示する画面である。また図１３Ｂに示す例では、ナビゲーション操作を行うための操作ウィンドウ３９が表示されており、ユーザ１は所定の選択操作を行うことで各種の操作を行うことが可能である。例えばこのような仮想画像３０ｄが床面に表示される。

　仮想画像３０ｄは、図１２に示すユーザ１が立っている床面と同じ高さに設定された下方表示領域５４ｂに配置される。この場合、下方表示領域５４ｂの基準水平面５５からの相対距離Ｈ_bは、例えばユーザ１の身長ｈ₁に設定される（Ｈ_b＝ｈ₁）。また例えば、ユーザ１の身長ｈ₁からＨＭＤ１００の装着位置のずれ量を引いた値が相対距離Ｈ_bに設定されてもよい。この他、仮想画像３０ｄを表示するための相対距離Ｈ_bを設定する方法は限定されない。

　相対距離Ｈ_bが設定されると、下方表示領域５４ｂの水平方向の位置が算出され、下方表示領域５４ｂに収まるように、仮想画像３０ｄの表示位置が設定される。仮想画像３０ｄは、例えば床面に沿って表示される画像である。従ってユーザ１は、周辺の床面をスクリーンとして表示されたナビゲーションマップ等を視認することになる。また仮想画像３０ｄは、ユーザ１が容易に視認可能な位置に表示されるため、ユーザ１は不必要に首を曲げる必要等がなくなり、ユーザ１の身体負荷を十分に軽減することが可能となる。

　図１２に示す、下方表示領域５４ｃは、ユーザ１の周辺の床面に段差等が設けられている場合に設定される領域である。この場合、ユーザ１の身長（身体情報）と、床面の高さ位置（環境情報）とを用いて、下方表示領域５４ｃの基準水平面５５に対する相対距離Ｈ_cが設定される。

　まず、環境情報取得部２３により、環境情報として床面の位置が検出される。例えばユーザ１が立っている位置よりも低い段差等がある場合には、奥行データや空間マップ等に基づいてその段差の高さｈ₃が検出される。そしてレイアウト算出部２６により、ユーザ１の身長ｈ₁及び段差の高さｈ₃から、低い床面と同じ高さの下方表示領域５４ｃの相対距離Ｈ_cが設定される（Ｈ_c＝ｈ₁＋ｈ₃）。これにより、床面に段差等がある場合であっても、仮想画像３０ｄのような床面に沿って表示される画像を、ユーザ１にとって見やすい範囲に表示させることが可能である。このように、本実施形態では、床面の位置に応じて、仮想画像３０ｄの表示位置が設定される。

　例えば、身長の高いユーザ１と、身長の低いユーザ１とでは、同じ俯角γで見下した場合でも視認する領域が異なる。このため、ユーザ１が楽に見下ろすことが可能な領域は、ユーザ１の身長ごとに異なってくる。また、床面に沿った表示を行う場合等には、床面の高さの違いによっても、容易に表示を視認できる領域が変化する。本実施形態では、ユーザ１の身長や床面の位置に応じて、下方画像３６の表示位置が制御される。これにより、身長や床面の高さに係らず、ユーザ１にとって見やすい表示を実現することが可能となり、優れたユーザビリティを発揮することが可能となる。

　なお下方画像３６は、例えばユーザ１が頭部を下方に向ける下向きジェスチャを行うことで表示される。この下向きジェスチャを判定するための判定条件（下側閾値角度β等）がユーザ１の身長に応じて設定されてもよい。例えば、ユーザ１が床面等を見下す動作を行う場合、身長が高いほど動作（頭部のピッチ角度）大きくなるといったことが考えられる。このような特性に合わせて、例えば身長が高いほど、下側閾値角度βを大きく設定するといった調整が可能である。これにより、ユーザ１の身長に係らず自然な動作で下方画像３６等を表示することが可能となる。

　上記では、主にユーザ１の姿勢や身長に応じた視野特性及び動作特性を用いた処理について説明した。これらの特性は、例えばユーザ１の年齢や性別によっても異なる場合がある。例えば、人間の視野範囲や関節可動域は年齢によって変化する。このような年齢ごとの特性の違いを加味して、判定条件の設定や仮想画像３０の表示位置の制御等が行われてもよい。またこれらの特性には、個人差が存在する。例えばユーザ１ごとにジェスチャによる動作範囲等の傾向を学習し、その学習結果からユーザ１個人の身体特性情報が算出されてもよい。この身体特性情報に応じて、判定条件の設定等を行うことで、仮想体験における操作性を十分に向上することが可能である。

　以上、本実施形態に係るコントローラ２０では、ＨＭＤ１００を装着したユーザ１の身体情報に基づいて、ジェスチャによる操作入力のトリガとなるトリガジェスチャの判定条件が設定される。この判定条件を用いて、ジェスチャ情報をもとにトリガジェスチャが行われたか否かが判定され、判定結果に基づいてトリガジェスチャに対応した出力が制御される。これにより、ユーザ１が行うトリガジェスチャはユーザ１の身体情報に合わせて判定されるため、ジェスチャ操作の操作性を向上することが可能となる。

　本実施形態では、ユーザ１の姿勢や身長等の身体情報を用いてユーザ１の状態にあった判定条件が設定される。また天井の有無等の周辺環境に合わせて判定条件が設定される。このように判定条件を設定することで、ユーザ１が自然に動作可能な範囲、あるいはユーザ１が楽に動作可能な範囲で、ユーザ１のトリガジェスチャを判定することが可能となる。これにより、ユーザ１は自身の状態によらず、ジェスチャ操作を容易に行うことが可能となり、身体負荷の低いユーザインタフェースを実現することが可能となる。

　また身体情報や環境情報に応じて、仮想画像３０の表示位置が制御される。これにより、仮想画像３０を見やすく表示することや、仮想画像３０を見つけやすく表示するといったことが可能となり、高い視認性を確保することが可能となる。また、ユーザ１にとって視認しやすい表示を一貫して行うことが可能であり、高いアクセシビリティ・ユーザビリティを実現することが可能となる。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　上記では、仮想画像を表示させる表示操作又は仮想画像を非表示にする非表示操作のトリガジェスチャについて説明した。これに限定されず、他の操作処理のトリガジェスチャを判定するための判定条件が、ユーザの身体情報等に基づいて設定されてもよい。

　例えば仮想画像を選択する選択操作のトリガとなるトリガジェスチャが用いられてもよい。この場合、選択操作のトリガジェスチャの判定条件が、ユーザ１の身体情報等に基づいて設定される。例えば、図１３Ａに示す仮想画像３０ｃでは、複数のウィンドウが表示され、ユーザ１が頭部を左右に向ける動作により、所望のウィンドウが選択される。この頭部を左右に向ける動作により変化する姿勢角度（ヨー角度）に対する閾値角度が、ユーザ１の身体情報等に応じて設定される。例えば立位状態では座位状態よりも腰が回転しやすいやめ、頭部のヨー角度を大きく動かすことが可能である。このような特性に従って、例えば立位状態では座位状態に比べヨー角度に対する閾値角度が大きく設定される。これにより、楽な動作で選択操作が可能となるとともに、閾値角度が小さいために生じる誤検出等を回避可能である。

　また頭部を用いたジェスチャに限定されず、ユーザが手足を用いて行うトリガジェスチャについての判定条件が設定されてもよい。例えば、図１３Ａに示す仮想画像３０ｃは、ユーザの胴体周りに表示される。この仮想画像３０ｃとして表示された選択ウィンドウ３７にユーザ手を伸ばすことで選択操作が行われてもよい。この場合、ユーザが所定の領域を超えて手を伸ばすジェスチャが選択操作のトリガジェスチャとなり、所定の領域の範囲が判定条件（判定閾値）となる。例えば立位状態では、座位状態に比べユーザが手を動かすことが可能な動作範囲（手の動作特性）が広い。従って立位状態では、座位状態よりも判定閾値となる領域が広く設定される。これにより、ユーザは姿勢に係らず容易に手を動かすことが可能な範囲で選択操作を行うことが可能である。

　またユーザが足を動かすことで選択操作が行われてもよい。例えば、図１３Ｂに示す仮想画像３０ｄが、ユーザの足元に表示される。この仮想画像３０ｄに含まれる操作ウィンドウ３９をユーザが踏むことで選択操作が行われてもよい。この場合、ユーザが所定の領域を超えて足を延ばすジェスチャが選択操作のトリガジェスチャとなり、所定の領域の範囲が判定閾値となる。例えば立位状態では、座位状態に比べ判定閾値となる領域が広く設定される。これにより座っている場合あるいは立っている場合に係らず、足による選択操作を容易に行うことが可能となる。例えばこのような処理が可能である。

　この他、トリガジェスチャや判定閾値の種類は限定されない。例えばトリガジェスチャを行う際に動作する部位（首、手、足、腰等）についての、ユーザの身体特性情報に応じて、トリガジェスチャを判定するための判定閾値が適宜設定されてよい。また環境が変化することで、各部位の動作範囲等が変化する場合には、その変化に合わせて判定閾値が調整される。これにより、ユーザの状態や周辺の状況に合わせて操作性の高いジェスチャ操作を実現することが可能である。

　上記では、トリガジェスチャを判定する方法として、主に判定閾値を用いた閾値処理について説明した。トリガジェスチャを判定する方法は限定されない。例えば閾値処理に代えて、深層学習（ディープラーニング）等の機械学習を用いて構築された識別器（学習済みモデル）を用いてトリガジェスチャを判定することも可能である。

　識別器は、例えば所定のデータセットを用いたトレーニングにより、機械学習のアルゴリズムに応じた各種のパラメータ等を学習することで、トリガジェスチャが行われたか否かを判定することが可能となる。このように、識別器が学習するパラメータは、トリガジェスチャを判定するための判定条件と見做すことが可能である。この識別器に、ユーザのジェスチャ情報等を入力することで、そのジェスチャがトリガジェスチャであるか否かが判定され、ジェスチャ判定結果が出力される。識別器を構築するためのアルゴリズムは限定されず、ジェスチャの種類や動作量等を検出可能な任意のアルゴリズムが用いられてよい。

　識別器のトレーニングには、例えばジェスチャ入力（ジェスチャ情報）と、そのジェスチャ入力についてのジェスチャ判定結果とが対応付けられたデータセットが用いられる。この場合、姿勢や身長等の状態に応じた複数のデータセットを用いて、各状態に対応した複数の識別器が構築され記憶部等に記憶される。トリガジェスチャを判定する際には、ジェスチャ検出部（制御部）により、ユーザの身体情報に基づいてユーザの状態、すなわちユーザの身体特性に合った識別器が選択されて使用される。例えばユーザが座位状態である場合には、座位状態用の識別器が使用され、立位状態である場合には、立位状態用の識別器が使用される。これにより、ユーザの姿勢や身長等に応じたトリガジェスチャの判定処理が可能となり、ジェスチャ操作の操作性を向上することが可能となる。

　また例えば、視野範囲や動作範囲等の身体特性情報を用いてトレーニングされた識別器が用いられてもよい。この場合、識別器は、ジェスチャ情報及び身体特性情報を入力とし、ジェスチャ判定結果を出力する。これにより、ユーザの身体特性情報に応じたトリガジェスチャの判定処理が可能となる。またユーザの身体特性には個人差がある。識別器は、個々のユーザの身体特性情報に基づいて各ユーザの身体特性に応じたパラメータを学習してもよい。これにより、ジェスチャ操作の操作性を大幅に向上することが可能となる。

　上記の実施形態では、透過型ディスプレイを備えるＨＭＤ（ＡＲグラス）により拡張現実（ＡＲ）を用いた仮想体験が提供された。これに限定されず、例えば外向きカメラ等を用いて撮影された実空間の画像を表示することでＡＲ表示を実現する没入型のＨＭＤ等に対しても本技術は適用可能である。また没入型のＨＭＤ等を用いて仮想現実（ＶＲ：Virtual Reality）を用いた仮想体験が提供される場合にも本技術は適用可能である。この場合、ＶＲ体験中のユーザの姿勢等を検出することで、トリガジェスチャを判定するための判定条件（判定閾値等）が設定される。

　上記では、トリガジェスチャに対応した画像出力の制御について説明した。トリガジェスチャに対応する出力は、画像出力に限定されず、トリガジェスチャに対応して音声出力や触覚出力が制御されてもよい。例えばジェスチャ操作によりＨＭＤに搭載されたスピーカーから出力される音声等の音量を調節する操作が可能であってもよい。また例えば、振動アクチュエータ等の触覚提示デバイスが搭載されている場合には、ジェスチャ操作により触覚の種類や強度等が調整可能であってもよい。このように、音声出力や触覚出力が制御される場合であっても、ユーザの身体情報に基づいてトリガジェスチャの判定条件を適宜設定することで、高い操作性を発揮することが可能となる。

　頭部搭載型の筐体を用いた装置（頭部搭載型装置）として、ヘッドホンやイヤホン等が用いられてもよい。例えばワイヤレスヘッドホンや有線ヘッドホン等に、９軸センサを搭載することで、ユーザの頭部の動作等を検出することが可能である。この場合、トリガジェスチャをトリガとするジェスチャ操作として、音量の調節や選曲等の操作が行われる。また、ヘッドホンに触覚提示デバイスが搭載されている場合には、ジェスチャ操作により触覚出力の制御が可能であってもよい。

　この他、頭部に装着するタイプの装置に限定されず、ユーザのジェスチャを検出可能な任意のウェアラブルデバイスに対して、本技術は適用可能である。例えば指、手首、胴体、腰、足首等に装着されるデバイスを用いて、ユーザのジェスチャを検出可能である。上記したようにユーザのジェスチャの動作量等は、ユーザの身体特性や環境に応じて変化する。例えば身体情報や環境情報に応じて各デバイスが検出可能なトリガジェスチャの判定条件を変更することで、ジェスチャ操作のトリガ検出を適正に行うことが可能となる。

　一例として手首や指に装着されるデバイスを用いて、手を用いたハンドジェスチャが検出されるとする。この場合、座位状態及び立位状態では、ハンドジェスチャの動作量（腕を動かす範囲等）が変化する場合が考えられる。各デバイスでは、このような姿勢に応じたジェスチャの変化に合わせてトリガジェスチャの判定条件が設定される。これにより、ジェスチャの検出精度を高めることが可能となる。この他、各デバイスにより検出可能なジェスチャを判定するための判定条件が適宜設定されてよい。

　上記では、本技術に係る情報処理装置の一実施形態として、ＨＭＤやヘッドホン等の頭部搭載型装置を例に挙げた。しかしながら、頭部搭載型装置とは別に構成され、有線又は無線を介して頭部搭載型装置に接続される任意のコンピュータにより、本技術に係る情報処理装置が実現されてもよい。例えば、ＨＭＤに接続するＰＣやゲーム機、あるいはヘッドホンに接続するスマートフォンといった頭部搭載型装置を制御する外部装置が、本技術に係る情報処理装置として用いられてもよい。また例えばクラウドサーバにより、本技術に係る情報処理方法が実行されてもよい。あるいはＨＭＤ等と他のコンピュータとが連動して、本技術に係る情報処理方法が実行されてもよい。

　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば身体情報の取得、ジェスチャ情報の取得、トリガジェスチャの判定条件の設定、及び判定条件を用いたトリガジェスチャの判定結果に基づく出力制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。

　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。

　なお、本技術は以下のような構成も採ることができる。
（１）頭部搭載型の筐体を装着したユーザの身体情報を取得する身体情報取得部と、
　前記ユーザのジェスチャに関するジェスチャ情報を取得するジェスチャ情報取得部と、
　前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定する判定条件設定部と、
　前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かを判定し、当該判定結果に基づいて、前記トリガジェスチャに対応した出力を制御する制御部と
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記判定条件設定部は、前記身体情報に応じた前記ユーザの身体特性情報に基づいて前記判定条件を設定する
　情報処理装置。
（３）（２）に記載の情報処理装置であって、
　前記身体特性情報は、前記ユーザの視野特性又は動作特性の少なくとも１方に関する情報を含む
　情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
　前記判定条件は、前記トリガジェスチャを判定するための判定閾値を含む
　情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
　前記身体情報取得部は、前記身体情報として前記ユーザの姿勢を取得し、
　前記判定条件設定部は、前記ユーザの姿勢に応じて、前記判定条件を設定する
　情報処理装置。
（６）（５）に記載の情報処理装置であって、
　前記判定条件設定部は、前記ユーザの姿勢における視野特性又は動作特性の少なくとも１方に応じて、前記判定条件を設定する
　情報処理装置。
（７）（５）又は（６）に記載の情報処理装置であって、
　前記トリガジェスチャは、前記ユーザが頭部を上方に向ける頭部ジェスチャであり、
　前記判定条件は、前記頭部ジェスチャにより変化する前記ユーザの頭部の姿勢角度に対する閾値角度を含み、
　前記身体情報取得部は、前記ユーザの姿勢として立位状態又は座位状態を検出し、
　前記判定条件設定部は、前記座位状態が検出された場合に、前記閾値角度を前記立位状態が検出された場合よりも小さい値に設定する
　情報処理装置。
（８）（１）から（７）のうちいずれか１つに記載の情報処理装置であって、
　前記頭部搭載型の筐体は、仮想画像を表示するヘッドマウントディスプレイの筐体であり、
　前記制御部は、前記身体情報に基づいて、前記仮想画像の表示位置を制御する
　情報処理装置。
（９）（８）に記載の情報処理装置であって、
　前記身体情報取得部は、前記身体情報として前記ユーザの姿勢を取得し、
　前記制御部は、前記ユーザの姿勢に応じて、前記仮想画像の表示位置を制御する
　情報処理装置。
（１０）（９）に記載の情報処理装置であって、
　前記仮想画像は、前記ユーザから見て斜め上方に表示される上方画像であり、
　前記身体情報取得部は、前記ユーザの姿勢として立位状態又は座位状態を検出し、
　前記制御部は、前記座位状態が検出された場合に、前記上方画像の表示位置を前記立位状態が検出された場合よりも低い位置に設定する
　情報処理装置。
（１１）（８）から（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記身体情報取得部は、前記身体情報として前記ユーザの身長を取得し、
　前記仮想画像は、前記ユーザから見て斜め下方に表示される下方画像であり、
　前記制御部は、前記ユーザの身長に応じて前記下方画像の表示位置を設定する
　情報処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の情報処理装置であって、さらに、
　前記ユーザの周辺環境に関する環境情報を取得する環境情報取得部を具備する
　情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
　前記判定条件設定部は、前記環境情報に基づいて、前記判定条件を設定する
　情報処理装置。
（１４）（１３）に記載の情報処理装置であって、
　前記トリガジェスチャは、前記ユーザが頭部を上方に向ける頭部ジェスチャであり、
　前記判定条件は、前記頭部ジェスチャにより変化する前記ユーザの頭部の姿勢角度に対する閾値角度を含み、
　前記環境情報取得部は、前記周辺環境における天井の有無を検出し、
　前記判定条件設定部は、前記天井が検出された場合に、前記閾値角度を前記天井が検出されない場合よりも低い値に設定する
　情報処理装置。
（１５）（１２）から（１４）のうちいずれか１つに記載の情報処理装置であって、
　前記頭部搭載型の筐体は、仮想画像を表示するヘッドマウントディスプレイの筐体であり、
　前記制御部は、前記環境情報に基づいて、前記仮想画像の表示位置を制御する
　情報処理装置。
（１６）（１５）に記載の情報処理装置であって、
　前記環境情報取得部は、前記周辺環境に消失点が含まれるか否かを判定し、
　前記制御部は、前記周辺環境に前記消失点が含まれる場合、前記消失点を基準として前記仮想画像の表示位置を設定する
　情報処理装置。
（１７）（１５）又は（１６）に記載の情報処理装置であって、
　前記環境情報取得部は、前記環境情報として床面の位置を検出し、
　前記制御部は、前記床面の位置に応じて前記仮想画像の表示位置を設定する
　情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
　前記頭部搭載型の筐体は、仮想画像を表示するヘッドマウントディスプレイの筐体であり、
　前記トリガジェスチャは、前記仮想画像を表示させる表示操作のトリガ、前記仮想画像を非表示にする非表示操作のトリガ、又は前記仮想画像を選択する選択操作のトリガとして機能する
　情報処理装置。
（１９）頭部搭載型の筐体を装着したユーザの身体情報を取得し、
　前記ユーザのジェスチャに関するジェスチャ情報を取得し、
　前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定し、
　前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かを判定し、当該判定結果に基づいて、前記トリガジェスチャに対応した出力を制御する
　ことをコンピュータシステムが実行する情報処理方法。
（２０）頭部搭載型の筐体を装着したユーザの身体情報を取得するステップと、
　前記ユーザのジェスチャに関するジェスチャ情報を取得するステップと、
　前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定するステップと、
　前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かを判定し、当該判定結果に基づいて、前記トリガジェスチャに対応した出力を制御するステップと
　をコンピュータシステムに実行させるプログラム。

　１…ユーザ
　５…頭部装着型の筐体
　１０…表示部
　１４…センサ部
　１５…記憶部
　２０…コントローラ
　２１…身体情報取得部
　２２…ジェスチャ情報取得部
　２３…環境情報取得部
　２４…判定条件設定部
　２５…ジェスチャ検出部
　２６…レイアウト算出部
　２７…レイアウト判断部
　２８…出力制御部
　３０、３０ａ～３０ｇ…仮想画像
　３１…上方画像
　３６…下方画像
　５１…消失点
　１００…ＨＭＤ

Claims

　頭部搭載型の筐体を装着したユーザの身体情報を取得する身体情報取得部と、
　前記ユーザのジェスチャに関するジェスチャ情報を取得するジェスチャ情報取得部と、
　前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定する判定条件設定部と、
　前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かを判定し、当該判定結果に基づいて、前記トリガジェスチャに対応した出力を制御する制御部と
　を具備する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記判定条件設定部は、前記身体情報に応じた前記ユーザの身体特性情報に基づいて前記判定条件を設定する
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記身体特性情報は、前記ユーザの視野特性又は動作特性の少なくとも１方に関する情報を含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記判定条件は、前記トリガジェスチャを判定するための判定閾値を含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記身体情報取得部は、前記身体情報として前記ユーザの姿勢を取得し、
　前記判定条件設定部は、前記ユーザの姿勢に応じて、前記判定条件を設定する
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記判定条件設定部は、前記ユーザの姿勢における視野特性又は動作特性の少なくとも１方に応じて、前記判定条件を設定する
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記トリガジェスチャは、前記ユーザが頭部を上方に向ける頭部ジェスチャであり、
　前記判定条件は、前記頭部ジェスチャにより変化する前記ユーザの頭部の姿勢角度に対する閾値角度を含み、
　前記身体情報取得部は、前記ユーザの姿勢として立位状態又は座位状態を検出し、
　前記判定条件設定部は、前記座位状態が検出された場合に、前記閾値角度を前記立位状態が検出された場合よりも小さい値に設定する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記頭部搭載型の筐体は、仮想画像を表示するヘッドマウントディスプレイの筐体であり、
　前記制御部は、前記身体情報に基づいて、前記仮想画像の表示位置を制御する
　情報処理装置。
　請求項８に記載の情報処理装置であって、
　前記身体情報取得部は、前記身体情報として前記ユーザの姿勢を取得し、
　前記制御部は、前記ユーザの姿勢に応じて、前記仮想画像の表示位置を制御する
　情報処理装置。
　請求項９に記載の情報処理装置であって、
　前記仮想画像は、前記ユーザから見て斜め上方に表示される上方画像であり、
　前記身体情報取得部は、前記ユーザの姿勢として立位状態又は座位状態を検出し、
　前記制御部は、前記座位状態が検出された場合に、前記上方画像の表示位置を前記立位状態が検出された場合よりも低い位置に設定する
　情報処理装置。
　請求項８に記載の情報処理装置であって、
　前記身体情報取得部は、前記身体情報として前記ユーザの身長を取得し、
　前記仮想画像は、前記ユーザから見て斜め下方に表示される下方画像であり、
　前記制御部は、前記ユーザの身長に応じて前記下方画像の表示位置を設定する
　情報処理装置。
　請求項１に記載の情報処理装置であって、さらに、
　前記ユーザの周辺環境に関する環境情報を取得する環境情報取得部を具備する
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記判定条件設定部は、前記環境情報に基づいて、前記判定条件を設定する
　情報処理装置。
　請求項１３に記載の情報処理装置であって、
　前記トリガジェスチャは、前記ユーザが頭部を上方に向ける頭部ジェスチャであり、
　前記判定条件は、前記頭部ジェスチャにより変化する前記ユーザの頭部の姿勢角度に対する閾値角度を含み、
　前記環境情報取得部は、前記周辺環境における天井の有無を検出し、
　前記判定条件設定部は、前記天井が検出された場合に、前記閾値角度を前記天井が検出されない場合よりも低い値に設定する
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記頭部搭載型の筐体は、仮想画像を表示するヘッドマウントディスプレイの筐体であり、
　前記制御部は、前記環境情報に基づいて、前記仮想画像の表示位置を制御する
　情報処理装置。
　請求項１５に記載の情報処理装置であって、
　前記環境情報取得部は、前記周辺環境に消失点が含まれるか否かを判定し、
　前記制御部は、前記周辺環境に前記消失点が含まれる場合、前記消失点を基準として前記仮想画像の表示位置を設定する
　情報処理装置。
　請求項１５に記載の情報処理装置であって、
　前記環境情報取得部は、前記環境情報として床面の位置を検出し、
　前記制御部は、前記床面の位置に応じて前記仮想画像の表示位置を設定する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記頭部搭載型の筐体は、仮想画像を表示するヘッドマウントディスプレイの筐体であり、
　前記トリガジェスチャは、前記仮想画像を表示させる表示操作のトリガ、前記仮想画像を非表示にする非表示操作のトリガ、又は前記仮想画像を選択する選択操作のトリガとして機能する
　情報処理装置。
　頭部搭載型の筐体を装着したユーザの身体情報を取得し、
　前記ユーザのジェスチャに関するジェスチャ情報を取得し、
　前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定し、
　前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かを判定し、当該判定結果に基づいて、前記トリガジェスチャに対応した出力を制御する
　ことをコンピュータシステムが実行する情報処理方法。
　頭部搭載型の筐体を装着したユーザの身体情報を取得するステップと、
　前記ユーザのジェスチャに関するジェスチャ情報を取得するステップと、
　前記身体情報に基づいて、前記ユーザのジェスチャによる操作入力のトリガとなるトリガジェスチャを判定するための判定条件を設定するステップと、
　前記ジェスチャ情報及び前記判定条件に基づいて、前記トリガジェスチャが行われたか否かを判定し、当該判定結果に基づいて、前記トリガジェスチャに対応した出力を制御するステップと
　をコンピュータシステムに実行させるプログラム。