JP6601402B2 - 制御装置、制御方法およびプログラム - Google Patents

Description

本開示は、制御装置、制御方法およびプログラムに関する。

近年、表示装置の軽量化および縮小化に伴い、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）等のような頭部に装着される表示装置が開発されるようになっている。さらに、ＨＭＤの表示する映像への没入感を向上させるために、ユーザの頭部運動に応じた画像をＨＭＤに表示させる技術が開発されている。

例えば、特許文献１では、ＨＭＤに備えられる姿勢センサ等から把握される頭部の回転に応じて、ＨＭＤに表示されるパノラマ画像の視線方向を変更する表示制御技術が開示されている。

特開２０１３−２５８６１４号公報

しかし、特許文献１で開示される技術では、ユーザが頭部を動かすことによってＨＭＤ等の表示装置の表示が変化されるため、操作を行うユーザに負担がかかる。

そこで、本開示では、ユーザが頭部を動かすことなく、ユーザが頭部運動をする場合のように表示を制御することが可能な、新規かつ改良された制御装置、制御方法およびプログラムを提案する。

本開示によれば、ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得部と、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御部と、を備える制御装置が提供される。

また、本開示によれば、ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得することと、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御することと、を含む制御方法が提供される。

また、本開示によれば、ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得機能と、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御機能と、をコンピュータに実現させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザが頭部を動かすことなく、ユーザが頭部運動をする場合のように表示を制御することが可能な制御装置、制御方法およびプログラムが提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る制御装置の概要を説明するための図である。 本開示の第１の実施形態に係る制御装置を用いて構成される制御システムの概略的な機能構成を示すブロック図である。 本実施形態に係る制御装置によって決定される画像視野に基づいて生成される仮想空間を示す画像の表示例を示す図である。 本実施形態に係る制御装置のユーザの頭部の動きおよび操作体の動きの例を示す図である。 本実施形態における制御装置の処理を概念的に示すフローチャートである。 操作体であると認識されるユーザ身体の部位およびその形態の例を示す図である。 操作体であると認識されるユーザ身体の部位およびその形態の例を示す図である。 操作体であると認識されるユーザ身体の部位およびその形態の例を示す図である。 操作体であると認識されるユーザ身体の部位およびその形態の例を示す図である。 本実施形態の第４の変形例に係る制御装置の表示する対応オブジェクトの例を示す図である。 本実施形態の第５の変形例に係る制御装置の処理における画像視野に基づいて生成される画像を説明するための図である。 本実施形態の第７の変形例に係る制御装置に接続される操作体の一部の姿勢変化の例を示す図である。 本開示の第２の実施形態に係る制御装置を用いて構成される制御システムの概略的な機能構成を示すブロック図である。 本実施形態における制御装置の処理を概念的に示すフローチャートである。 本実施形態の変形例に係る制御装置の表示する、動作装置の画像視野に基づいて生成される画像の例を示す図である。 本実施形態の変形例に係る制御装置の表示する、動作装置の画像視野に基づいて生成される画像の他の例を示す図である。 本開示の第３の実施形態に係る制御装置を用いて構成される制御システムの概略的な機能構成を示すブロック図である。 本実施形態における制御装置の処理を概念的に示すフローチャートである。 本実施形態の第２の変形例に係る制御装置を用いた制御システムの構成例を示す図である。 本開示に係る制御装置のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る制御装置の概要
２．第１の実施形態（操作体の位置姿勢に基づいて画像視野を制御する例）
２−１．制御装置の構成
２−２．制御装置の処理
２−３．変形例
３．第２の実施形態（動作装置の位置姿勢に基づいて画像視野を制御する例）
３−１．制御装置の構成
３−２．制御装置の処理
３−３．変形例
４．第３の実施形態（操作体の画像視野を利用した表示の例）
４−１．制御装置の構成
４−２．制御装置の処理
４−３．変形例
５．本開示の一実施形態に係る制御装置のハードウェア構成
６．むすび

＜１．本開示の一実施形態に係る制御装置の概要＞
まず、図１を参照して、本開示の一実施形態に係る制御装置の概要について説明する。図１は、本開示の一実施形態に係る制御装置の概要を説明するための図である。

本開示の一実施形態に係る制御装置１００は、ユーザの頭部に装着され、ユーザの視野の一部または全部を覆う表示部を備える携帯可能な装置である。また、制御装置１００は、通信機能および表示制御機能を有する。通信機能は、外部装置から情報を受信し、または外部装置に情報を送信する。表示制御機能は、ディスプレイに表示させる画像の表示に係る制御を行う。このため、制御装置１００は、外部装置から画像を受信し、受信される画像をディスプレイに表示させることが可能である。

例えば、図１に示したように、制御装置１００は、ユーザの頭部に装着される眼鏡型のＨＭＤであり得る。制御装置１００は、外部装置から画像を受信し、受信される当該画像を表示部に表示させる。

ここで、ＨＭＤの表示する画像への没入感を向上させるために、ユーザの頭部運動に応じた画像をＨＭＤに表示させることが一般に知られている。しかし、この場合、ユーザが頭部を動かすことによってＨＭＤの表示が変更されるため、操作を行うユーザに負担がかかる。また、ＨＭＤの表示範囲は、ユーザの頭部運動が可能な範囲に留まるため、頭部の可動範囲を超えるダイナミックな視点の変化を表示させることが困難である。そこで、本開示の一実施形態に係る制御装置１００は、ユーザの頭部と異なる位置にある操作体等の位置もしくは姿勢またはその両方（以下、位置姿勢とも称する。）に係る情報（以下、位置姿勢情報とも称する。）を受信し、当該位置姿勢情報に基づいて、ユーザの頭部に装着される表示装置に画像として表示される範囲（以下、画像視野とも称する。）を制御する。

例えば、図１に示したように、制御装置１００は、ユーザ操作可能な人形型の操作体２００と通信可能に接続され得る。制御装置１００は、操作体２００において検出される操作体２００の位置姿勢を示す位置姿勢情報を操作体２００から受信する。次に、制御装置１００は、受信される位置姿勢情報に基づいて、操作体２００の所定の位置、例えば操作体２００の顔の位置を視線元とする画像視野、例えば画角を決定する。そして、制御装置１００は、決定される画角に基づいて画像を生成し、生成される画像を表示部に表示させる。

このように、本開示の一実施形態に係る制御装置１００は、ユーザの頭部と異なる位置にある操作体等の位置姿勢情報を受信し、当該位置姿勢情報に基づいて、ユーザの頭部に装着される表示装置に画像として表示される範囲を制御する。このため、ユーザの操作する操作体等の位置姿勢に応じた画像が表示されることにより、ユーザが頭部を動かすことなく、表示装置の表示対象となる範囲をユーザの意図通りに制御することが可能となる。なお、図１においては制御装置１００の一例として眼鏡型のＨＭＤを示しているが、制御装置１００は、帽子型またはその他の形態のＨＭＤであってもよく、表示装置を含まず表示装置と接続される装置、例えばサーバ等であってもよい。また、説明の便宜上、第１〜第３の実施形態に係る制御装置１００の各々を、制御装置１００−１、制御装置１００−２のように、末尾に実施形態に対応する番号を付することにより区別する。

＜２．第１の実施形態（操作体の位置姿勢に基づいて画像視野を制御する例）＞
以上、本開示の一実施形態に係る制御装置１００の概要について説明した。次に、本開示の第１の実施形態に係る制御装置１００−１について説明する。

一般的に、人間は複数の感覚を組み合わせて仮想空間を知覚しており、特に視覚および身体感覚の整合性を担保することが仮想空間の知覚において重要となる。この整合性が担保されない場合、仮想空間への没入感もしくは臨場感の減退、または映像酔い等が引き起こされ得る。これに対し、人間の頭部運動に応じた画像を提供することが一般に知られている。しかし、この場合、画像として表示される範囲は、人間の頭部運動が可能な範囲に留まるため、頭部の可動範囲を超えるダイナミックな視点の変化を表示させることが困難である。

そこで、本開示の第１の実施形態に係る制御装置１００−１では、人間の身体運動の代わりに、人間が操作する別の物体の身体運動を利用して、表示部に仮想空間に係る画像として表示される範囲を制御する。

＜２−１．制御装置の構成＞
まず、図２を参照して、本開示の第１の実施形態に係る制御装置１００−１の構成について説明する。図２は、本開示の第１の実施形態に係る制御装置１００−１を用いて構成される制御システムの概略的な機能構成を示すブロック図である。

図２に示したように、制御システムは、制御装置１００−１および操作体２００−１で構成される。

（操作体２００−１の機能構成）
操作体２００−１は、センサ２０２、制御部２０４および通信部２０６を備える。

センサ２０２は、操作体２００−１の位置姿勢の変化を検出する。具体的には、センサ２０２は、制御部２０４の指示に基づいて検出状態に遷移され、検出状態である間、操作体２００−１の位置姿勢の変化および変化量を検出する。例えば、センサ２０２は、加速度センサ、角速度センサ、地磁気センサまたはその他のモーションセンサであり得る。なお、本実施形態では、センサ２０２は、位置姿勢の変化を検出する。

制御部２０４は、操作体２００−１の動作を全体的に制御する。具体的には、制御部２０４は、センサ２０２に動作指示等を行い、センサ２０２によって検出される操作体２００−１の位置姿勢の変化量を示す情報を位置姿勢情報として生成する。また、制御部２０４は、生成される位置姿勢情報を通信部２０６に送信させる。

通信部２０６は、制御装置１００−１と通信を行う。具体的には、通信部２０６は、制御部２０４によって生成される位置姿勢情報を制御装置１００−１に送信する。例えば、通信部２０６は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＺｉｇｂｅｅ（登録商標）等を利用した無線通信を行い得る。また、通信部２０６は、有線を介して通信を行ってもよい。

（制御装置１００−１の機能構成）
また、制御装置１００−１は、図２に示したように、通信部１０２、センサ１０４、決定部１０６、表示制御部１０８および表示部１１０を備える。

通信部１０２は、取得部として、操作体２００−１と通信を行う。具体的には、通信部１０２は、操作体２００−１から位置姿勢情報を受信する。なお、図２では、通信部１０２は受信のみ行う図を示したが、通信部１０２は位置姿勢情報等の送信要求等を操作体２００−１に送信してもよい。

センサ１０４は、取得部として、ユーザの頭部運動を検出する。具体的には、センサ１０４は、ユーザの頭部に装着される制御装置１００−１の位置姿勢の変化および変化量を検出する。なお、本実施形態のセンサ１０４は、センサ２０２と実質的に同一であるため詳細な説明を省略する。

決定部１０６は、制御部として、画像視野を決定する。具体的には、決定部１０６は、通信部１０２によって受信される操作体２００−１の位置姿勢情報に基づいて、第１の画像視野としての、操作体２００−１を視線元とする画像視野（以下、操作体２００−１の画像視野とも称する。）を決定する。例えば、決定部１０６は、過去の操作体２００−１の画像視野について、受信される位置姿勢情報の示す位置姿勢の変化方向および変化量に対応する方向および量の変更を行い、新たな操作体２００−１の画像視野を決定する。

また、決定部１０６によって決定される操作体２００−１の画像視野は仮想空間の少なくとも一部を含む。例えば、決定部１０６は、制御装置１００−１の動作開始時における操作体２００−１の画像視野（以下、初期視野とも称する。）とし、位置姿勢の変化に応じて当該初期視野から操作体２００−１の画像視野を変更する。なお、初期視野は、仮想空間を構築するアプリケーション等によって決定され、または変更され得る。

なお、操作体２００−１の画像視野は、操作体２００−１における予め決定される位置を視線元とする画像視野であり得る。例えば、操作体２００−１の画像視野は、操作体２００−１が人形型である場合、当該人形の顔または目に相当する部位を視線元とする画角であり得る。しかし、操作体２００−１の画像視野の視線元は、これに限定されず、例えばユーザ操作等によって設定され、または変更されてもよい。

また、決定部１０６は、ユーザの頭部の位置姿勢に基づいて、第２の画像視野としての、ユーザの視野に相当する画像視野（以下、ユーザの画像視野とも称する。）を決定する。例えば、決定部１０６は、センサ１０４によって検出される制御装置１００−１、すなわちユーザの頭部の位置姿勢の変化量に基づいて、制御装置１００−１を装着するユーザの画像視野を決定する。なお、決定部１０６は、一般的なヘッドトラッキング技術を用いて特定されるユーザの頭部の位置姿勢に基づいてユーザの画像視野を決定してもよい。

表示制御部１０８は、制御部として、表示部１１０の表示を制御する。具体的には、表示制御部１０８は、決定部１０６によって決定される操作体２００−１の画像視野に基づいて生成される仮想空間を示す画像を表示部１１０に表示させる。さらに、図３を参照して、表示制御部１０８の処理について詳細に説明する。図３は、本実施形態に係る制御装置１００−１によって決定される画像視野に基づいて生成される仮想空間を示す画像の表示例を示す図である。

まず、表示制御部１０８は、初期視野の仮想空間を表示部１１０に表示させる。例えば、表示制御部１０８は、図３の左図に示した初期視野Ｆ０の仮想空間を示す画像１０を表示部１１０に表示させる。例えば、画像視野は、仮想空間上のカメラ（以下、仮想カメラとも称する。）の画角によって決定され得る。なお、初期視野を決定する仮想カメラの画角は、画像視野が人間の視野よりも狭くなるような画角であり得る。

次に、表示制御部１０８は、操作体２００−１の画像視野の変化に応じて表示部１１０の表示を変更させる。例えば、表示制御部１０８は、決定部１０６によって決定される操作体２００−１の画像視野が、図３の右図に示したような初期視野Ｆ０から画像視野Ｆ１、Ｆ２およびＦ３の順に変化される場合、画像１１、１２および１３の順に表示部１１０に表示させる。なお、説明の便宜上、階段状に画像視野が変化される程度の時間間隔で操作体２００−１の画像視野が決定される例を示したが、操作体２００−１の画像視野の決定および当該画像視野に基づいて生成される画像の表示は、より滑らかに画像視野が変化される程度の時間間隔で行われ得る。

また、表示制御部１０８は、画像視野の選択を行う。具体的には、表示制御部１０８は、ユーザの態様に基づいて、操作体２００−１の画像視野またはユーザの画像視野のいずれかを画像として表示される範囲として選択する。例えば、表示制御部１０８は、所定のユーザ操作が行われる場合、ユーザの画像視野を選択する。さらに、図４を参照して画像視野の選択処理について詳細に説明する。図４は、本実施形態に係る制御装置１００−１のユーザの頭部の動きおよび操作体２００−１の動きの例を示す図である。

まず、上述したように、表示制御部１０８は、操作体２００−１の画像視野に基づいて生成される仮想空間を示す画像を表示部１１０に表示させる。例えば、表示制御部１０８は、図３の左図に示したような操作体２００−１の画像視野Ｆ０の仮想空間を示す画像１０を表示部１１０に表示させる。

そして、表示制御部１０８は、操作体２００−１およびユーザの頭部の位置姿勢が互いに異なる方向に変化される場合、ユーザの画像視野を選択する。例えば、決定部１０６は、操作体２００−１およびユーザの頭部の位置姿勢が変化される場合、操作体２００−１およびユーザの頭部の位置姿勢の変化方向を特定する。そして、操作体２００−１の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向が異なる、例えば、図４に示したように、操作体２００−１の画像視野の視線元である頭部の回転方向とユーザの頭部の回転方向とが逆方向である場合、表示制御部１０８は、ユーザの画像視野を、画像として表示される範囲として選択する。

次に、表示制御部１０８は、選択されるユーザの画像視野に基づいて生成される仮想空間を示す画像を表示部１１０に表示させる。例えば、表示制御部１０８は、ユーザの画像視野が選択されると、例えば図３の右図のようなユーザの画像視野Ｆ４の仮想空間を示す画像１４を表示部１１０に表示させる。当該ユーザの画像視野は、操作体２００−１の画像視野よりも広くあり得る。また、ユーザの画像視野に基づいて生成される仮想空間を示す画像１４は、図３の右図に示したように、操作体２００−１の画像視野に基づいて生成される仮想空間を示す画像１０〜１３の合成、すなわち表示済みの仮想空間の範囲であり得る。なお、ユーザの画像視野に基づいて生成される仮想空間を示す画像は、当該画像視野の仮想空間全体を示す画像であってもよく、既に表示された画像視野に相当する当該仮想空間全体の一部を示す画像であってもよい。

なお、上記では、所定のユーザ操作は、操作体２００−１およびユーザの頭部の位置姿勢が異なる方向に変化される操作である例を示したが、所定のユーザ操作は、ユーザによる明示的な画像視野の切り替え操作であってもよい。例えば、表示制御部１０８は、画像視野の切り替えを示すジェスチャが行われたり、制御装置１００−１の別途備える操作部に対する操作、例えば所定のボタンの押下等が行われたりすると、ユーザの画像視野を選択する。また、別途、ユーザの画像視野から操作体２００−１の画像視野への切り替えが行われてもよい。

また、所定のユーザ操作は、操作体２００−１の変更であってもよい。例えば、表示制御部１０８は、操作体２００−１が他の操作体２００−１に変更される場合、操作体２００−１の種類に応じて操作体２００−１の画像視野またはユーザの画像視野のいずれかに切り替える。

ここで図２を参照して制御装置１００−１の構成の説明に戻ると、表示部１１０は、表示制御部１０８の指示に基づいて表示を行う。具体的には、表示制御部１０８によって選択される画像視野に基づいて生成される仮想空間を示す画像を表示する。例えば、表示部１１０は、液晶または有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイであり得る。

＜２−２．制御装置の処理＞
次に、図５を参照して、本実施形態における制御装置１００−１の処理について説明する。図５は、本実施形態における制御装置１００−１の処理を概念的に示すフローチャートである。

まず、制御装置１００−１は、操作体２００−１の位置姿勢情報を受信するまで待機する（ステップＳ６０２）。具体的には、通信部１０２は、操作体２００−１において生成される操作体２００−１の位置姿勢情報を受信する。

位置姿勢情報が受信されると、制御装置１００−１は、受信される操作体２００−１の位置姿勢情報に基づいて操作体２００−１の画像視野を決定する（ステップＳ６０４）。具体的には、決定部１０６は、受信される操作体２００−１の位置姿勢情報の示す位置姿勢の変化量に応じて操作体２００−１の画像視野を変更する。

次に、制御装置１００−１は、制御装置１００−１の位置姿勢情報を取得する（ステップＳ６０６）。具体的には、決定部１０６は、センサ１０４によって検出される制御装置１００−１の位置姿勢の変化量を示す情報を含む位置姿勢情報をセンサ１０４から取得する。

次に、制御装置１００−１は、取得される制御装置１００−１の位置姿勢情報に基づいてユーザの画像視野を決定する（ステップＳ６０８）。具体的には、決定部１０６は、取得される制御装置１００−１の位置姿勢情報の示す位置姿勢の変化量に応じてユーザの画像視野を変更する。

次に、制御装置１００−１は、操作体２００−１およびユーザの頭部の位置姿勢が互いに異なる方向に変化したかを判定する（ステップＳ６１０）。具体的には、決定部１０６は、操作体２００−１の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが異なるかを判定する。

操作体２００−１およびユーザの頭部の位置姿勢が互いに異なる方向に変化したと判定される場合、制御装置１００−１は、ユーザの画像視野に基づいて画像を生成する（ステップＳ６１２）。具体的には、表示制御部１０８は、操作体２００−１の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが異なると判定される場合、ユーザの画像視野に基づいて仮想空間を示す画像を生成する。

また、操作体２００−１およびユーザの頭部の位置姿勢が互いに異なる方向に変化していないと判定される場合、制御装置１００−１は、操作体２００−１の画像視野に基づいて画像を生成する（ステップＳ６１４）。具体的には、表示制御部１０８は、操作体２００−１の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが同一または同一とみなされる程度の差異であると判定される場合、操作体２００−１の画像視野に基づいて仮想空間を示す画像を生成する。なお、操作体２００−１またはユーザの頭部の位置姿勢のいずれか一方または両方が変化しない場合も、決定部１０６は上記の場合と同様に判定する。

制御装置１００−１は、生成される画像を表示する（ステップＳ６１６）。具体的には、表示制御部１０８は、生成される画像を表示部１１０に表示させる。

このように、本開示の第１の実施形態によれば、制御装置１００−１は、ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置姿勢に係る位置姿勢情報を受信し、当該位置姿勢情報に基づいて、ユーザの頭部に装着される表示部に画像として表示される範囲である画像視野を制御する。このため、ユーザの操作する操作体等の位置姿勢に応じた画像が表示されることにより、ユーザが頭部を動かすことなく、表示装置の表示対象となる範囲をユーザの意図通りに制御することが可能となる。また、これにより、ユーザの頭部の可動範囲を超えた動きにおけるダイナミックな視点変化をユーザに提供することが可能となる。

また、上記の画像視野は、仮想空間の少なくとも一部を含む。このため、現実世界の操作によって仮想空間の表示される範囲が決定されることにより、仮想空間への没入感を向上させることが可能となる。

また、制御装置１００−１は、ユーザの頭部の位置姿勢情報を取得し、ユーザの態様に基づいて、操作体２００−１の画像視野またはユーザの画像視野のいずれかを画像として表示される範囲として選択する。このため、画像視野が切り替えられることにより、ユーザにとって適した画像視野に基づいて生成される画像を表示することが可能となる。

また、制御装置１００−１は、所定のユーザ操作が行われる場合、ユーザの画像視野を選択する。このため、ユーザの操作に起因して画像視野が切り替えられることにより、画像視野の切り替えについてユーザに唐突感を与える可能性を低下させることが可能となる。

また、制御装置１００−１は、ユーザ操作に係る物体およびユーザの頭部の位置姿勢が互いに異なる方向に変化される場合、ユーザの画像視野を選択する。一般的には、人間が自己の視野を変更する場合、人間は自己の頭を移動または回転させる。そのため、制御装置１００−１のユーザは、操作体２００−１を操作して画像視野を変更する際に、自己の頭を移動等させ得る。ここで、操作体２００−１の画像視野の変化方向が、自己の頭の変化方向、すなわちユーザの画像視野の変化方向と異なる場合、ユーザは違和感を覚え、さらには嘔吐を催す場合がある。そこで、制御装置１００−１は、この場合にはユーザの画像視野に基づいて表示を行うことにより、ユーザの違和感等の発生を抑制することが可能となる。

＜２−３．変形例＞
以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１〜第７の変形例について説明する。

（第１の変形例）
本実施形態の第１の変形例として、制御装置１００−１は、ユーザが映像酔いに陥った場合、ユーザの画像視野に基づいて生成される画像に切り替えてもよい。具体的には、制御装置１００−１は、ユーザが映像酔い状態であるかを判定する判定部をさらに備え、表示制御部１０８は、当該判定部によってユーザが映像酔い状態あると判定される場合、ユーザの画像視野を選択する。より具体的には、判定部は、ユーザの頭部の変位が閾値以上である場合、ユーザが映像酔い状態であると判定する。

例えば、判定部は、センサ１０４によって検出されるユーザの頭部の位置姿勢情報に基づいて、頭部の変位量を算出する。そして、判定部は、算出される頭部の変位量が閾値以上である場合、ユーザが映像酔い状態であると判定する。表示制御部１０８は、判定部によってユーザが映像酔い状態であると判定される場合、操作体２００−１の画像視野が選択されているときは、ユーザの画像視野を選択し、表示部１１０に当該ユーザの画像視野に基づいて生成される画像に切り替えさせる。

このように、本実施形態の第１の変形例によれば、制御装置１００−１は、ユーザが映像酔い状態であるかを判定する判定部を備え、表示制御部１０８は、当該判定部によってユーザが映像酔い状態あると判定される場合、ユーザの画像視野を選択する。このため、ユーザの体調変化に応じて画像視野が切り替えられることにより、ユーザの体調悪化を防止することが可能となる。

また、判定部は、ユーザの頭部の変位が閾値以上である場合、ユーザが映像酔い状態であると判定する。このため、センサ１０４によって得られる情報に基づいて映像酔い状態の判定が行われることにより、制御装置１００−１への機能追加を抑制することができ、制御装置１００−１のコストを低減することが可能となる。

なお、判定部は、ユーザの生体情報に基づいて、ユーザが映像酔い状態であるかを判定してもよい。例えば、判定部は、ユーザの発汗または脈拍の状態等に基づいて、ユーザが映像酔い状態であるかを判定し得る。また、乗り物酔いを判定するための技術が応用されてもよい。

（第２の変形例）
本実施形態の第２の変形例として、複数のユーザが仮想空間を共有する場合、ユーザ毎に画像視野が異なってもよい。具体的には、表示制御部１０８は、ユーザが操作体２００−１の画像視野の操作者であるかに基づいて、操作体２００−１の画像視野またはユーザの画像視野のいずれかを選択する。さらに、図３を参照して本変形例の処理について詳細に説明する。

通信部１０２は、他の制御装置１００−１と通信を行い、仮想表示の操作要求を送受信する。例えば、通信部１０２は、ユーザ操作等に基づいて操作要求を他の制御装置１００−１に送信する。また、通信部１０２は、他の制御装置１００−１から操作要求を受信すると表示制御部１０８にその旨を通知し、表示制御部１０８は、ユーザに操作要求に応じるかの判断および操作をユーザに促す表示を表示部１１０に表示させる。操作要求に応じる旨の操作が行われると、通信部１０２は、当該操作要求への応答を他の制御装置１００−１に送信する。

そして、表示制御部１０８は、送信される操作要求への応答が他の制御装置１００−１から受信されると、操作体２００−１の画像視野に基づいて生成される画像を表示部１１０に表示させる。例えば、表示制御部１０８は、図３の左図に示したような、制御装置１００−１に接続される操作体２００−１の画像視野に基づいて生成される画像を表示部１１０に表示させる。

その後、表示制御部１０８は、他の制御装置１００−１から操作要求が受信されると、ユーザの画像視野に基づいて生成される画像を選択する。例えば、表示制御部１０８は、他の制御装置１００−１の操作要求に応じる旨の応答が返信される場合、表示部１１０に表示される画像を図３の右図に示したようなユーザの画像視野に基づいて生成される画像に切り替えさせる。

このように、本実施形態の第２の変形例によれば、表示制御部１０８は、ユーザが操作体２００−１の画像視野の操作者であるかに基づいて、操作体２００−１の画像視野またはユーザの画像視野のいずれかを選択する。このため、仮想空間が複数のユーザで共有される場合に、他のユーザが操作する操作体２００−１の画像視野に基づいて生成される画像が表示され、ユーザが映像酔い状態になることを防止することが可能となる。

なお、ユーザの画像視野に基づいて生成される画像において、他のユーザの操作体２００−１の画像視野を示すオブジェクトが表示されてもよい。

（第３の変形例）
本実施形態の第３の変形例として、制御装置１００−１は、ユーザの頭部以外の身体の部位（以下、ユーザ身体の部位とも称する。）を操作体２００−１として認識してもよい。具体的には、決定部１０６は、ユーザ身体の部位の位置姿勢情報に基づいて、当該ユーザ身体の部位を視線元とする画像視野（以下、ユーザ身体の部位の画像視野とも称する。）を決定し、表示制御部１０８は、当該ユーザ身体の部位の画像視野に基づいて生成される画像を表示部１１０に表示させる。なお、ユーザ身体の部位の位置姿勢情報は、当該ユーザ身体の部位に装着されるモーションセンサから取得されてもよく、制御装置１００−１の外部装置において当該ユーザ身体の部位を被写体とする画像が解析され、当該外部装置から通信を介して取得されてもよい。さらに、図６Ａ〜図６Ｄを参照して本変形例について詳細に説明する。図６Ａ〜図６Ｄは、操作体２００−１であると認識されるユーザ身体の部位およびその形態の例を示す図である。

まず、決定部１０６は、ユーザ身体の部位の形態を特定する。例えば、位置姿勢情報には、ユーザ身体の部位および当該部位の形態を示す情報（以下、部位情報とも称する。）が含まれる。そして、決定部１０６は、取得される位置姿勢情報から部位情報を取得し、取得される部位情報の示す部位および形態と、制御装置１００−１の別途備える記憶部に記憶される部位および形態のパターンとの比較を行うことにより、ユーザ身体の部位の形態を特定する。ユーザ身体の部位の形態には、例えば、図６Ａに示したような手の甲側を正面として二本の指が突き立てられる形態、図６Ｂに示したような手の平を正面として二組の二本の指がそれぞれ揃えられ、残りの指は離隔される形態、図６Ｃに示したような手の平を正面として五指のうちの一本の指が伸長される形態、図６Ｄに示したような手の甲を正面として腕を突き出す形態等が考えられる。

次に、決定部１０６は、特定されるユーザ身体の部位の形態に基づいてユーザ身体の部位の画像視野を決定する。例えば、ユーザ身体の部位の形態に応じて視線元となる位置が予め決定され得る。例えば、図６Ａに示した形態では二本の指の根元が視線元となり、図６Ｂに示した形態では中央に揃えられる二本の指の先端部分が視線元となり、図６Ｃに示した形態では伸長される指の先端部分が視線元となり、図６Ｄに示した形態では肘と手の間における腕の所定の位置が視線元となる。そのため、決定部１０６は、ユーザ身体の部位の形態に応じて特定される位置を視線元とする画像視野をユーザ身体の部位の画像視野の初期視野とし、取得される位置姿勢情報に基づいてユーザ身体の部位の画像視野を決定する。

そして、表示制御部１０８は、決定されるユーザ身体の部位の画像視野に基づいて生成される画像を表示部１１０に表示させる。詳細は第１の実施形態の処理と実質的に同一であるため説明を省略する。

このように、本実施形態の第３の変形例によれば、決定部１０６は、ユーザ身体の部位の位置姿勢情報からユーザ身体の部位の画像視野を決定し、表示制御部１０８は、当該ユーザ身体の部位の画像視野に基づいて生成される画像を表示部１１０に表示させる。このため、ユーザの身体の一部が操作体とみなされることにより、操作体が装置である場合に比べてユーザはより手軽に自己の視野と異なる画像視野で操作をすることが可能となる。

なお、上記では、ユーザ身体の部位の例として図６Ａ〜図６Ｄに示される形態を説明したが、ユーザ身体の部位は、これに限定されず、ユーザの頭部運動を表現可能な様々な部位であり得る。

（第４の変形例）
本実施形態の第４の変形例として、制御装置１００−１は、操作体２００−１に対応する表示（以下、対応オブジェクトとも称する。）を操作体２００−１の画像視野に基づいて生成される画像において表示してもよい。具体的には、表示制御部１０８は、表示部１１０に、操作体２００−１の少なくとも一部を示す対応オブジェクトを操作体２００−１の画像視野に基づいて生成される画像において表示させる。さらに、図７を参照して本変形例の処理について詳細に説明する。図７は、本実施形態の第４の変形例に係る制御装置１００−１の表示する対応オブジェクトの例を示す図である。

まず、表示制御部１０８は、操作体２００−１の形態または種類に応じた対応オブジェクトを取得する。例えば、通信部１０２は、制御装置１００−１に接続される操作体２００−１の種類を示す情報を操作体２００−１から受信する。そして、表示制御部１０８は、受信される当該情報の示す種類に対応する対応オブジェクトを記憶部から取得する。例えば、操作体２００−１が人形型である場合、対応オブジェクトは、図７に示したような人形の手および腕を示すオブジェクト２０であり得る。なお、表示制御部１０８は、通信部１０２を介して外部装置から対応オブジェクトを取得してもよい。

次に、表示制御部１０８は、操作体２００−１の画像視野に基づいて生成される画像に対応オブジェクトが表示されるように制御する。例えば、表示部１１０の表示する操作体２００−１の画像視野に基づいて生成される画像１０に取得されるオブジェクト２０が重畳される。

なお、仮想物体表示は、操作体２００−１の位置姿勢に応じて変化し得る。例えば、操作体２００−１が人形である場合、当該人形の手を曲げると、図７に示したようなオブジェクト２０の人形の手が曲げられる。

このように、本実施形態の第４の変形例によれば、表示制御部１０８は、操作体２００−１に対応する対応オブジェクトが操作体２００−１の画像視野に基づいて生成される画像において表示されるように制御を行う。このため、ユーザ操作によって表示が制御されることをユーザに認識させ、ユーザの操作感覚と表示の変化との整合性を向上させることが可能となる。

また、対応オブジェクトは、操作体２００−１の少なくとも一部を示す。このため、対応オブジェクトと操作体２００−１とが一致する印象をユーザに与えることにより、仮想空間上における操作に対する現実感を向上させることが可能となる。

また、対応オブジェクトは、操作体２００−１の形態または種類に応じて異なる。このため、操作体２００−１と仮想物体表示とが対応付けられることにより、仮想空間上における操作に対する現実感をさらに向上させることが可能となる。

なお、上記では、操作体２００−１は装置である例を説明したが、操作体２００−１はユーザ身体の部位であってもよい。また、対応オブジェクトは、操作体２００−１の画像視野に基づいて生成される画像において表示される例を説明したが、対応オブジェクトは、ユーザの画像視野に基づいて生成される画像において表示されてもよい。

（第５の変形例）
本実施形態の第５の変形例として、制御装置１００−１は、仮想空間上のオブジェクト（以下、仮想オブジェクトとも称する。）の位置姿勢に基づいて特定される画像視野（以下、仮想オブジェクトの画像視野とも称する。）に基づいて生成される画像を表示してもよい。具体的には、表示制御部１０８は、仮想オブジェクトの仮想空間上の移動方向を特定し、特定される移動方向を視線先とする画像視野に基づいて生成される画像を表示部１１０に表示させる。さらに、図８を参照して本変形例の処理について詳細に説明する。図８は、本実施形態の第５の変形例に係る制御装置１００−１の処理における画像視野に基づいて生成される画像を説明するための図である。

まず、表示制御部１０８は、仮想オブジェクトを表示部１１０に表示させる。例えば、表示制御部１０８は、操作体２００−１の画像視野に基づいて生成される画像１０は、図８の左図に示したような車両等の仮想オブジェクト３０が表示され得る。

次に、表示制御部１０８は、仮想オブジェクトを選択する操作が行われると、表示部１１０に、仮想オブジェクトを視線元とする画像視野に基づいて生成される画像に表示を切り替えさせる。例えば、図８の左図に示したような仮想オブジェクト３０をつまむ操作が行われると、表示制御部１０８は、図８の中図に示したような、表示部１１０に、当該仮想オブジェクト３０を視線元とする当該仮想オブジェクト３０の移動方向の画像視野に基づいて生成される画像１０に表示を切り替えさせる。

次に、決定部１０６は、ユーザ操作によって仮想オブジェクトの位置姿勢が変化される場合、仮想オブジェクトの位置姿勢の変化に応じて画像視野を変更する。例えば、決定部１０６は、仮想オブジェクトの座標情報等から位置姿勢の変化を検出し、当該変化に応じて仮想オブジェクトの画像視野を変更する。

そして、表示制御部１０８は、仮想オブジェクトの画像視野に基づいて生成される画像を表示部１１０に表示させる。詳細については上述の実施形態等と実質的に同一であるため説明を省略する。

このように、本実施形態の第５の変形例によれば、表示制御部１０８は、仮想空間上のオブジェクトの位置姿勢に基づいて特定される画像視野に基づいて生成される画像を表示部１１０に表示させる。このため、仮想空間上でユーザによって操作される仮想オブジェクトの画像視野に基づいて生成される画像に表示が切り替えられることにより、ユーザの仮想空間への没入感を向上させることが可能となる。

（第６の変形例）
本実施形態の第６の変形例として、制御装置１００−１は、ユーザの頭部の位置姿勢情報に基づいて、第５の変形例における仮想オブジェクトの画像視野を制御してもよい。具体的には、表示制御部１０８は、ユーザの頭部の位置または姿勢の変化に応じて仮想オブジェクトの画像視野を変更する。さらに、図８を参照して本変形例の処理について詳細に説明する。

まず、表示制御部１０８は、表示部１１０に、仮想オブジェクトを表示させ、仮想オブジェクトを選択する操作が行われると、仮想オブジェクトの画像視野に基づいて生成される画像を切り替えさせる。ここで、画像切り替えの際のユーザの頭部の位置姿勢が、切り替え後の画像に係る画像視野についての視線元の位置姿勢となり得る。なお、画像切り替え処理は第５の変形例の処理と実質的に同一であるため説明を省略する。

次に、決定部１０６は、ユーザの頭部の位置姿勢が変化されると、当該変化に応じて仮想オブジェクトの画像視野を変更する。例えば、決定部１０６は、図８の右図に示したような、センサ１０４によって制御装置１００−１、すなわちユーザの頭部の位置姿勢の変化が検出されると、ユーザの頭部の視線元の位置姿勢からの変化量に応じて仮想オブジェクト３０の画像視野を変更する。

そして、表示制御部１０８は、変更後の仮想オブジェクトの画像視野に基づいて生成される画像を表示部１１０に表示させる。例えば、表示制御部１０８は、図８の右図に示したような、仮想オブジェクト３０である車両の進行方向に向かって左側の風景を当該車両から見たような画像を表示部１１０に表示させる。

このように、本実施形態の第６の変形例によれば、表示制御部１０８は、ユーザの頭部の位置姿勢情報に基づいて、第５の変形例における仮想オブジェクトの画像視野を制御する。このため、仮想オブジェクトの画像視野が現実空間におけるユーザの頭部の動きに応じて変化されることにより、仮想空間への没入感をさらに向上させることが可能となる。

なお、上記では、仮想オブジェクトの画像視野が変化される例を説明したが、操作体２００−１の画像視野が変化されてもよい。

（第７の変形例）
本実施形態の第７の変形例として、制御装置１００−１は、仮想オブジェクトの仮想空間上の移動の速さを操作体２００−１の姿勢に応じて変化させてもよい。具体的には、操作体２００−１の一部の位置姿勢が変化される場合、表示制御部１０８は、操作体２００−１の一部の位置姿勢の変化に応じて仮想オブジェクトの仮想空間上の移動の速さを変更する。さらに、図９を参照して本変形例の処理について詳細に説明する。図９は、本実施形態の第７の変形例に係る制御装置１００−１に接続される操作体２００−１の一部の姿勢変化の例を示す図である。

操作体２００−１は、複数の位置姿勢情報を検出する。例えば、操作体２００−１は、２つのセンサ２０２を備え、制御部２０４は、各センサ２０２において検出される位置姿勢の変化に基づいて位置姿勢情報を生成する。例えば、センサ２０２は、図９に示されるような操作体２００−１の頭部Ａおよび下部Ｂのそれぞれに備えられ得る。なお、センサ２０２の設置態様はこれに限定されず、例えばセンサ２０２はユーザの主要な間接毎に設けられ得る。また、位置姿勢情報は、センサ２０２の備えられる位置を示す情報を含む。

表示制御部１０８は、操作体２００−１から位置姿勢情報が受信されると、操作体２００−１の一部のみの位置姿勢が変化されたかを判定する。例えば、図９に示したように、操作体２００−１が下部Ｂを中心に上半身のみが傾けられる場合、頭部Ａに備えられるセンサ２０２は姿勢が変化した旨を検出するが、下部Ｂに備えられるセンサ２０２は姿勢が変化していない、または変化していないとみなされる程度にしか変化していない旨を検出する。そのため、頭部Ａに備えられるセンサ２０２に係る位置姿勢情報は受信されるが、下部Ｂに備えられるセンサ２０２に係る位置姿勢情報は受信されない。そこで、表示制御部１０８は、位置姿勢情報の受信有無に基づいて、操作体２００−１の一部のみの位置姿勢が変化されたと判定する。ここでは、表示制御部１０８は、操作体２００−１の頭部Ａの周辺のみ姿勢が変化されたと判定する。

そして、表示制御部１０８は、操作体２００−１の一部のみの位置姿勢が変化されたと判定される場合、仮想オブジェクトの移動の速さを変更する。例えば、表示制御部１０８は、図９に示したように、操作体２００−１の頭部Ａの周辺のみ姿勢が変化される場合、操作体２００−１の画像視野を変更することなく、仮想オブジェクトの移動の速さを向上させる。

さらに、表示制御部１０８は、位置姿勢情報の示す位置姿勢の基準からの変化量に応じて、仮想オブジェクトの移動の速さを変更する。例えば、図９の左図に示したような、初期視野における位置姿勢が基準に設定され得る。そして、下部Ｂを中心に、図９の中図に示したような角度まで姿勢が変化されると、仮想オブジェクトの移動の速さは向上され、さらに図９の右図に示したような角度まで姿勢が変化されると、仮想オブジェクトの移動の速さはさらに向上される。

このように、本実施形態の第７の変形例によれば、表示制御部１０８は、操作体２００−１の一部のみの位置姿勢が変化される場合、操作体２００−１の一部の位置姿勢の変化量に応じて仮想オブジェクトの仮想空間上の移動の速さを変更する。このため、仮想オブジェクトが直観的に操作されることにより、操作が原因となって仮想空間から現実空間に意識が戻されることを抑制することが可能となる。

なお、上記では、操作体２００−１の位置姿勢が変化されない場合、位置姿勢情報が受信されない例を説明したが、センサ２０２のいずれかによって操作体２００−１の位置姿勢が変化した旨が検出される場合には、制御部２０４は、通信部２０６に各センサ２０２の位置姿勢情報を送信させてもよい。この場合、表示制御部１０８は、受信される位置姿勢情報と過去の位置姿勢情報とを比較し、位置姿勢が変化したかを判定する。

また、上記では、１つの操作体２００−１の異なる位置における位置姿勢が変化される場合について説明したが、表示制御部１０８は、複数の操作体２００−１の各々の位置姿勢の変化に基づいて処理を行ってもよい。例えば、表示制御部１０８は、複数の操作体２００−１のうちの１つの操作体２００−１のみの位置姿勢が変化される場合、当該１つの操作体２００−１の位置姿勢の変化に応じて仮想オブジェクトの仮想空間上の移動の速さを変更する。この場合、１つの操作体２００−１の場合と比べて仮想オブジェクトの移動の速さを変更する操作が容易となり、ユーザの操作性を向上させることが可能となる。

＜３．第２の実施形態（動作装置の位置姿勢に基づいて画像視野を制御する例）＞
以上、本開示の第１の実施形態に係る制御装置１００−１について説明した。次に、本開示の第２の実施形態に係る制御装置１００−２について説明する。制御装置１００−２は、操作体２００−２の操作に応じて制御される動作装置３００の画像に係る画像視野を制御する。

＜３−１．制御装置の構成＞
まず、図１０を参照して、本開示の第２の実施形態に係る制御装置１００−２および制御システムの構成について説明する。図１０は、本開示の第２の実施形態に係る制御装置１００−２を用いて構成される制御システムの概略的な機能構成を示すブロック図である。なお、第１の実施形態の機能と実質的に同一である機能については説明を省略する。

図１０に示したように、第２の実施形態に係る制御システムは、制御装置１００−２、操作体２００−２および動作装置３００で構成される。

（制御装置１００−２の機能構成）
制御装置１００−２は、通信部１０２、センサ１０４、決定部１０６、表示制御部１０８および表示部１１０に加えて動作制御部１１２を備える。

通信部１０２は、動作装置３００と通信する。具体的には、通信部１０２は、動作装置３００に動作要求を送信し、動作装置３００から位置姿勢情報および画像を受信する。

動作制御部１１２は、制御部として、操作体２００−２の位置姿勢情報に基づいて動作装置３００の制御を行う。具体的には、動作制御部１１２は、操作体２００−２から受信される位置姿勢情報の示す位置姿勢の変化に応じた位置姿勢の変化を動作装置３００に行わせるための動作要求を生成する。

決定部１０６は、動作装置３００に係る画像視野を決定する。具体的には、決定部１０６は、通信部１０２によって受信される動作装置３００の位置姿勢情報に基づいて、動作装置３００を視線元とする画像視野（以下、動作装置３００の画像視野とも称する。）を決定する。処理の詳細については、第１の実施形態における操作体２００−１の画像視野の決定処理と実質的に同一であるため説明を省略する。

表示制御部１０８は、動作装置３００から受信される画像を表示部１１０に表示させる。また、表示制御部１０８は、ユーザの態様に基づいて、動作装置３００の画像視野またはユーザの画像視野のいずれかを選択する。具体的には、表示制御部１０８は、動作装置３００およびユーザの頭部の位置姿勢が互いに異なる方向に変化される場合、ユーザの画像視野を選択する。なお、ユーザの画像視野に基づいて生成される画像は、広角画像または全天球画像であってもよく、複数の撮像部または外部の撮像装置の撮像により得られる画像が合成されることにより生成される画像であってもよい。処理の詳細については、第１の実施形態における処理と実質的に同一であるため説明を省略する。

（動作装置３００の機能構成）
動作装置３００は、図１０に示したように、通信部３０２、制御部３０４、センサ３０６および撮像部３０８を備える。

通信部３０２は、制御装置１００−２と通信する。具体的には、通信部３０２は、制御装置１００−２から動作要求を受信し、制御装置１００−２に位置姿勢情報および画像を送信する。なお、通信部３０２は、有線通信または無線通信を介して制御装置１００−２との通信を行う。

制御部３０４は、動作装置３００の動作を全体的に制御する。具体的には、制御部３０４は、センサ３０６によって検出される位置姿勢の変化に基づいて位置姿勢情報を生成し、通信部３０２に生成される位置姿勢情報を制御装置１００−２に向けて送信させる。

また、制御部３０４は、制御装置１００−２から受信される動作要求に基づいて動作装置３００の動きを制御する。例えば、制御部３０４は、動作装置３００の別途備えるモータおよびアクチュエータ等に動作指示を行い、制御装置１００−２の動作要求に応じた動作を動作装置３００に行わせる。

また、制御部３０４は、撮像部３０８の動作を制御する。例えば、制御部３０４は、動作指示によって、撮像部３０８を撮像状態に遷移させ、または撮像状態から元の状態に遷移させる。そして、制御部３０４は、通信部３０２に撮像部３０８の撮像により得られる画像を制御装置１００−２に向けて送信させる。

センサ３０６は、動作装置３００の位置姿勢の変化を検出する。なお、本実施形態のセンサ３０６は、第１の実施形態のセンサ１０４およびセンサ２０２と実質的に同一であるため詳細な説明を省略する。

撮像部３０８は、動作装置３００の周辺の現実空間の一部を撮像する。具体的には、撮像部３０８は、制御部３０４の動作指示に基づいて撮像状態に遷移し、撮像状態中においては定期的に撮像を行う。そして、撮像部３０８は、撮像により得られる画像を制御部３０４に提供する。例えば、撮像部３０８は、集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の信号変換素子を備え得る。なお、撮像部３０８は、広角または全天球の撮像を行ってもよい。

＜３−２．制御装置の処理＞
次に、図１１を参照して、本実施形態における制御装置１００−２の処理について説明する。図１１は、本実施形態における制御装置１００−２の処理を概念的に示すフローチャートである。なお、第１の実施形態と実質的に同一である処理については説明を省略する。

まず、制御装置１００−２は、操作体２００−２から位置姿勢情報を受信するまで待機する（ステップＳ７０２）。

操作体２００−２から位置姿勢情報が受信されると、制御装置１００−２は、操作体の位置姿勢情報に基づいて動作装置３００に動作指示を行う（ステップＳ７０４）。具体的には、動作制御部１１２は、操作体２００−２から受信される位置姿勢情報に基づいて動作要求を生成する。そして、動作制御部１１２は、通信部１０２に生成される動作要求を動作装置３００に向けて送信させる。

次に、制御装置１００−２は、動作装置３００から位置姿勢情報を受信するまで待機する（ステップＳ７０６）。

動作装置３００から位置姿勢情報が受信されると、制御装置１００−２は、動作装置３００の位置姿勢情報に基づいて動作装置３００の画像視野を検出する（ステップＳ７０８）。

次に、制御装置１００−２は、制御装置の位置姿勢情報を取得し（ステップＳ７１０）、取得される制御装置の位置姿勢情報に基づいてユーザの画像視野を決定する（ステップＳ７１２）。

次に、制御装置１００−２は、動作装置３００およびユーザの頭部の位置姿勢が互いに異なる方向に変化したかを判定する（ステップＳ７１４）。

動作装置３００およびユーザの頭部の位置姿勢が互いに異なる方向に変化していないと判定される場合、制御装置１００−２は、動作装置から受信される画像を表示する（ステップＳ７１６）。具体的には、通信部１０２は、動作装置３００から撮像部３０８の撮像により得られる画像を受信する。そして、表示制御部１０８は、動作装置３００の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが同一または同一とみなされる程度の差異であると判定される場合、受信される画像を表示部１１０に表示させる。

動作装置３００およびユーザの頭部の位置姿勢が互いに異なる方向に変化したと判定される場合、制御装置１００−２は、動作装置３００から受信される画像に基づいてユーザの画像視野に相当する画像を生成し（ステップＳ７１８）、生成される画像を表示する（ステップＳ７２０）。具体的には、表示制御部１０８は、動作装置３００の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが異なると判定される場合、動作装置３００から受信される画像に基づいて画像を生成する。例えば、表示制御部１０８は、受信される複数の画像を合成し、１つの画像を生成する。そして、表示制御部１０８は、生成される画像を表示部１１０に表示させる。なお、当該生成される画像は、ユーザの画像視野の広さに基づいて生成される。

このように、本開示の第２の実施形態によれば、制御装置１００−２は、操作体２００−２の操作に応じて制御される動作装置３００の画像視野に基づいて表示を制御する。このため、例えばロボット等の操作において、操作によって変化されるロボット等の画像視野に基づいて生成される画像とユーザの頭部の動きとが一致しないことによるユーザの映像酔いを抑制することが可能となる。

また、画像視野は、現実空間の一部を含む。さらに、画像視野は、撮像装置の撮像における被写体の範囲を含む。このため、現実空間においてユーザの頭部の可動範囲を超えた動きにおけるダイナミックな視点変化をユーザに提供することが可能となる。

＜３−３．変形例＞
以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。

本実施形態の変形例として、制御装置１００−２は、動作装置３００の画像視野の広さを制御してもよい。具体的には、動作制御部１１２は、ユーザ操作の操作量に応じて、動作装置３００の画像視野の広さを制御する。さらに、図１２Ａおよび図１２Ｂを参照して本変形例の処理について詳細に説明する。図１２Ａおよび図１２Ｂは、本実施形態の変形例に係る制御装置１００−２の表示する、動作装置３００の画像視野に基づいて生成される画像の例を示す図である。

動作制御部１１２は、操作体２００−２の操作量に応じて、動作装置３００の画像視野の広さを変更する。具体的には、動作制御部１１２は、受信される操作体２００−２の位置姿勢情報の示す位置姿勢の変化量に応じて、動作装置３００に備えられる撮像部３０８の画角を制御部３０４に変更させる。例えば、動作制御部１１２は、位置姿勢情報の示す位置姿勢の変化量が大きくなる程、制御部３０４に撮像部３０８の画角を広くさせ、図１２Ａに示したような画像を受信する。また、動作制御部１１２は、位置姿勢の変化量が小さくなる程、制御部３０４に撮像部３０８の画角を狭くさせ、図１２Ｂに示したような画像を受信する。

このように、本実施形態の変形例によれば、表示制御部１０８は、ユーザ操作の操作量に応じて動作装置３００の画像視野の広さを制御する。このため、操作の細かさを推定して画像視野の広さが制御されることにより、当該操作に適した表示をユーザに提供することができ、ユーザの利便性を向上させることが可能となる。

なお、本変形例の処理は、第１の実施形態についても適用可能である。具体的には、表示制御部１０８は、ユーザ操作の操作量に応じて動作装置３００の画像視野の広さを制御する。例えば、表示制御部１０８は、受信される操作体２００−２の位置姿勢情報の示す位置姿勢の変化量に応じて仮想カメラの画角を変更する。

さらに、表示制御部１０８は、第１の実施形態において、操作体２００−１の大きさに応じて画像視野の広さを変更してもよい。具体的には、通信部１０２は操作体２００−１から操作体２００−１の大きさに係る情報を受信し、表示制御部１０８は、受信される操作体２００−１の大きさに応じて仮想カメラの画角を変更する。この場合、操作体２００−１の大きさをユーザに体感させ、表示への没入感を向上させることが可能となる。

＜４．第３の実施形態（操作体の画像視野を利用した表示の例）＞
以上、本開示の第２の実施形態に係る制御装置１００−２について説明した。次に、本開示の第３の実施形態に係る制御装置１００−３について説明する。制御装置１００−３は、操作体２００−３から得られる画像に、操作体２００−３の画像視野に基づいて生成される画像を重畳する。

＜４−１．制御装置の構成＞
まず、図１３を参照して、本開示の第３の実施形態に係る制御装置１００−３および制御システムの構成について説明する。図１３は、本開示の第３の実施形態に係る制御装置１００−３を用いて構成される制御システムの概略的な機能構成を示すブロック図である。なお、第１および第２の実施形態の機能と実質的に同一である機能については説明を省略する。

（操作体２００−３の機能構成）
操作体２００−３は、図１３に示したように、センサ２０２、制御部２０４および通信部２０６に加えて、撮像部２０８を備える。

制御部２０４は、撮像部２０８の動作を制御する。具体的には、制御部２０４は、動作指示によって、撮像部２０８を撮像状態に遷移させ、または撮像状態から元の状態に遷移させる。そして、制御部２０４は、通信部２０６に撮像部２０８の撮像により得られる画像を制御装置１００−３に向けて送信させる。

通信部２０６は、位置姿勢情報に加えて、撮像部２０８の撮像により得られる画像を制御装置１００−３に送信する。

撮像部２０８は、操作体２００−３の周辺を撮像する。具体的には、第２の実施形態における撮像部３０８の機能と実質的に同一であるため説明を省略する。

（制御装置１００−３の機能構成）
制御装置１００−３の機能構成は、第１の実施形態の機能構成と実質的に同一であるが、通信部１０２および表示制御部１０８の機能が一部異なる。

通信部１０２は、位置姿勢情報に加えて、画像を操作体２００−３から受信する。

表示制御部１０８は、操作体２００−３から受信される画像に操作体２００−３の画像視野に基づいて生成される画像を重畳させる。具体的には、表示制御部１０８は、決定部１０６によって決定される操作体２００−３の画像視野に基づいて生成される画像を生成し、生成される画像を受信される画像に重畳させる。例えば、一般的なＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術等を用いて仮想空間と現実空間とがマッピングされ、例えば仮想空間および現実空間の座標とが対応付けられ得る。そして、表示制御部１０８は、決定部１０６によって決定される操作体２００−３の画像視野に基づいて生成される仮想空間を示す画像の一部、例えば仮想オブジェクトを仮想空間から抽出する。そして、現実空間を表示する操作体２００−３から受信される画像に、抽出される仮想オブジェクトを座標の対応付けに従って重畳させる。

＜４−２．制御装置の処理＞
次に、図１４を参照して、本実施形態における制御装置１００−３の処理について説明する。図１４は、本実施形態における制御装置１００−３の処理を概念的に示すフローチャートである。なお、第１および第２の実施形態と実質的に同一である処理については説明を省略する。

まず、制御装置１００−３は、操作体２００−３から位置姿勢情報を受信するまで待機する（ステップＳ８０２）。

操作体２００−３から位置姿勢情報が受信されると、制御装置１００−３は、操作体２００−３の位置姿勢情報に基づいて操作体２００−３の画像視野を決定する（ステップＳ８０４）。

次に、制御装置１００−３は、操作体２００−３の画像視野に基づいて生成される画像を生成する（ステップＳ８０６）。具体的には、表示制御部１０８は、操作体２００−３の画像視野によって特定される仮想空間内の仮想オブジェクトを抽出する。

次に、制御装置１００−３は、操作体２００−３から受信される画像に、画像視野に基づいて生成される画像を重畳し（ステップＳ８０８）、重畳により得られる画像を表示する（ステップＳ８１０）。具体的には、表示制御部１０８は、受信される画像に、抽出される仮想オブジェクトを重畳する。そして、表示制御部１０８は、重畳の結果として得られる画像を表示部１１０に表示させる。

このように、本開示の第３の実施形態によれば、制御装置１００−３は、操作体２００−３から得られる画像に操作体２００−３の画像視野に基づいて生成される画像を重畳する。このため、操作体２００−３の位置姿勢に応じて決定される画像視野に基づいて生成される上述の仮想オブジェクトのような画像が、操作体２００−３の撮像により得られる画像に重畳されることにより、ユーザに違和感を与えることなく表示の情報量または躍動感等を向上させることが可能となる。

なお、重畳される仮想オブジェクトは、操作体２００−３の位置姿勢情報に基づいて変更されてもよい。例えば、表示制御部１０８は、操作体２００−１のジェスチャ、例えばうなずく動作、かしげる動作またはジャンプ等が行われることによって変化する操作体２００−１の位置姿勢に応じて、仮想オブジェクトの表示位置、色彩もしくは形態等を変更し、または表示される仮想オブジェクトを異なる仮想オブジェクトに変更する。

また、重畳される仮想オブジェクトは、操作体２００−３から受信される画像に基づいて別途生成されてもよい。例えば、表示制御部１０８は、画像認識技術等を用いて、受信される画像に写されている物体を特定し、特定される物体に係る表示オブジェクトを生成する。そして、表示制御部１０８は、生成される表示オブジェクトを当該画像に重畳させる。なお、表示オブジェクトは外部装置から取得されてもよい。

＜４−３．変形例＞
以上、本開示の第３の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。

本実施形態の変形例として、制御装置１００−３は、当該装置のユーザと異なる他の制御装置１００−３のユーザ（以下、他のユーザとも称する。）に係る対応オブジェクトが操作体２００−３の画像視野に基づいて生成される画像において表示されるように制御を行ってもよい。具体的には、表示制御部１０８は、操作体２００−３から受信される画像に写される他のユーザに係る対応オブジェクトを当該画像に重畳させる。さらに、図１５を参照して本変形例について詳細に説明する。図１５は、本実施形態の第２の変形例に係る制御装置１００−３を用いた制御システムの構成例を示す図である。

例えば、本変形例に係る制御システムは、図１５に示したように、制御装置１００−３、サーバ４００および無線ルータ５００で構成され得る。

まず、制御装置１００−３は、通信を介してサーバ４００に操作体２００−３の位置姿勢情報を送信する。例えば、図１５に示したような制御装置１００−３Ａの通信部１０２は、操作体２００−３Ａから位置姿勢情報を受信すると、無線ルータ５００Ａおよびネットワーク１を介してサーバ４００に位置姿勢情報を送信する。

サーバ４００は、位置姿勢情報の送受信および管理を行う。例えば、サーバ４００は、制御装置１００−３の各々から受信される位置姿勢情報を記憶部に記憶させる。そして、定期的に、または制御装置１００−３からの要求があった際に、制御装置１００−３の各々に送信先の制御装置１００−３以外の制御装置１００−３の位置姿勢情報を送信する。例えば、サーバ４００は、制御装置１００−３Ａの位置姿勢情報を制御装置１００−３Ｂに送信し得る。なお、位置姿勢情報は同一空間座標系の情報であり得る。

他の制御装置１００−３の位置姿勢情報が受信されると、制御装置１００−３は、当該位置姿勢情報に基づいて当該他の制御装置１００−３の他のユーザを示す対応オブジェクトを生成する。例えば、表示制御部１０８は、受信される位置姿勢情報の示す位置に対応する仮想空間上の位置に他のユーザを示す対応オブジェクト、例えば人型のオブジェクトを生成する。なお、対応オブジェクトは、ユーザを示すオブジェクトに限定されず、ユーザの操作に係る物体、例えば操作される人形が擬人化されたオブジェクトであってもよい。また、対応オブジェクトはユーザ毎に異なってもよい。

そして、制御装置１００−３は、操作体２００−３の画像視野内に生成される対応オブジェクトが位置する場合、当該対応オブジェクトを操作体２００−３から受信される画像に重畳させる。

なお、図１１では、サーバ４００は無線ルータ５００を介して制御装置１００−３の各々と接続される例を示したが、サーバ４００は有線のみを介して制御装置１００−３の各々と接続されてもよい。

このように、本実施形態の変形例によれば、表示制御部１０８は、操作体２００−３の画像視野に基づいて生成される画像において他のユーザに係る対応オブジェクトが表示されるように制御を行う。このため、制御装置１００−３の利用ユーザが一目で把握されることにより、ユーザ間でコミュニケーションが行われ易くすることが可能となる。

なお、本変形例の処理は、第１の実施形態についても適用可能である。例えば、表示制御部１０８は、操作体２００−１の画像視野に基づいて生成される画像に他のユーザに係る対応オブジェクトを表示する。

さらに、表示制御部１０８は、第１の実施形態において、ユーザの画像視野に基づいて生成される画像において他のユーザに係る対応オブジェクトが表示されるように制御を行ってもよい。

＜５．本開示の一実施形態に係る制御装置のハードウェア構成＞
以上、本開示の実施形態を説明した。上述した制御装置１００の処理は、ソフトウェアと、以下に説明する制御装置１００のハードウェアとの協働により実現される。

図１６は、本開示に係る制御装置１００のハードウェア構成を示した説明図である。図１６に示したように、制御装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３６と、ブリッジ１３８と、バス１４０と、インターフェース１４２と、入力装置１４４と、出力装置１４６と、ストレージ装置１４８と、ドライブ１５０と、接続ポート１５２と、通信装置１５４とを備える。

ＣＰＵ１３２は、演算処理部および制御部として機能し、各種プログラムと協働して制御装置１００内の決定部１０６、表示制御部１０８、動作制御部１１２、判定部および検出部の動作を実現する。また、ＣＰＵ１３２は、マイクロプロセッサであってもよい。ＲＯＭ１３４は、ＣＰＵ１３２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１３６は、ＣＰＵ１３２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１３４およびＲＡＭ１３６により、制御装置１００内の記憶部の一部を実現する。ＣＰＵ１３２、ＲＯＭ１３４およびＲＡＭ１３６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。

入力装置１４４は、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、ならびにユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１３２に出力する入力制御回路などから構成されている。制御装置１００のユーザは、入力装置１４４を操作することにより、制御装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１４６は、例えば、制御装置１００の表示部１１０の一例として、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプなどの装置への出力を行う。さらに、出力装置１４６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。

ストレージ装置１４８は、データ格納用の装置である。ストレージ装置１４８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１４８は、ＣＰＵ１３２が実行するプログラムや各種データを格納する。

ドライブ１５０は、記憶媒体用リーダライタであり、制御装置１００に内蔵、あるいは外付けされる。ドライブ１５０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出して、ＲＡＭ１３４に出力する。また、ドライブ１５０は、リムーバブル記憶媒体に情報を書込むこともできる。

接続ポート１５２は、例えば、制御装置１００の外部の制御装置または周辺機器と接続するためのバスである。また、接続ポート１５２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であってもよい。

通信装置１５４は、例えば、制御装置１００の通信部１０２の一例として、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置１５４は、赤外線通信対応装置であっても、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜６．むすび＞
以上、本開示の第１の実施形態によれば、ユーザの操作する操作体等の位置姿勢に応じた画像が表示されることにより、ユーザが頭部を動かすことなく、表示装置の表示対象となる範囲をユーザの意図通りに制御することが可能となる。また、これにより、ユーザの頭部の可動範囲を超えた動きにおけるダイナミックな視点変化をユーザに提供することが可能となる。また、本開示の第２の実施形態によれば、例えばロボット等の操作において、操作によって変化されるロボット等の画像視野に基づいて生成される画像とユーザの頭部の動きとが一致しないことによるユーザの映像酔いを抑制することが可能となる。また、本開示の第３の実施形態によれば、操作体２００−３の位置姿勢に応じて決定される画像視野に基づいて生成される仮想オブジェクトが、操作体２００−３の撮像により得られる画像に重畳されることにより、ユーザに違和感を与えることなく表示の情報量または躍動感等を向上させることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、表示制御部１０８はユーザの態様等に基づいて画像視野を切り替える例を説明したが、表示制御部１０８は仮想空間上のイベントに基づいて画像視野を切り替えてもよい。例えば、表示制御部１０８は場面の切り替えに応じて操作体２００の画像視野またはユーザの画像視野のうちのいずれかに画像視野を切り替え得る。

また、表示制御部１０８は、制御装置１００のユーザの移動に基づいて画像視野を切り替えてもよい。例えば、表示制御部１０８は、センサ１０４によって制御装置１００の移動、すなわちユーザの移動が検出されると、操作体２００の画像視野からユーザの画像視野に切り替える。

また、上記実施形態では、初期視野における仮想カメラの画角は、画像視野が人間の視野よりも狭くなるような画角である例を説明したが、初期視野における仮想カメラの画角は、画像視野が人間の視野と同じ広さとなるような画角であってもよい。

また、上記実施形態では、表示制御部１０８はユーザ操作の操作量に応じて画像視野の広さを制御する例を説明したが、表示制御部１０８はユーザの操作する操作体２００のサイズもしくは種類に応じて、または操作体２００毎に画像視野の広さを変更してもよい。

また、表示制御部１０８は、仮想空間上のイベントに基づいて画像視野の広さを変更してもよい。例えば、表示制御部１０８は、仮想空間上のイベントが発生すると、仮想カメラまたは撮像部の画角を当該発生イベントに対応する予め決定される画角に変更する。

また、表示制御部１０８は、操作体２００等と位置姿勢に応じて画像視野の広さを変更してもよい。例えば、表示制御部１０８は、操作体２００が下方を向いている場合、画像視野を狭くしてもよく、操作体２００が上方を向いている場合、画像視野を広くしてもよい。

また、表示制御部１０８は、画像視野の広さに応じて表示の変化量を制御してもよい。例えば、表示制御部１０８は、画像視野が狭くなる程に、例えば仮想空間の景色の変化の速さを低下させ得る。

また、上記実施形態では、制御装置１００は、表示部１１０を備えるＨＭＤである例を説明したが、制御装置１００は、別体の表示装置と接続される制御装置であってもよい。例えば、制御装置１００は、通信部１０２、決定部１０６および表示制御部１０８を備えるサーバであってもよい。

また、操作体２００は出力部を備え、制御装置１００は、仮想空間上のイベント等に基づいて操作体２００の出力部の動作を制御してもよい。例えば、動作制御部１１２は、仮想空間上のイベントが発生すると、当該イベントに対するハプティクスフィードバックとして、通信を介して操作体２００の出力部に動作指示を行う。なお、出力部は、例えば音声出力または振動出力等であり得る。

また、操作体２００は入力部を備え、制御装置１００は、表示部１１０とは異なる出力部を備え、出力部は、通信を介して操作体２００の入力部に入力される情報を取得し、取得される情報に基づいて出力を行ってもよい。例えば、入力部はステレオマイク等の集音センサであり、出力部はヘッドフォン等のスピーカであり得る。

また、表示制御部１０８は、表示部１１０に表示させる画像の描画の速さを制御してもよい。例えば、表示制御部１０８は、操作体２００もしくは動作装置３００から受信される画像、または仮想空間に係る画像のレンダリングの遅延時間を制御し得る。これにより、表示される画像に対してユーザに遅さまたは重さの印象を与えることが可能となる。

また、本開示の各実施形態に係る制御装置１００は、ゲームアプリケーション、メカニカルマニピュレーションまたはロボットを用いたテレプレゼンス等に適用可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得部と、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御部と、を備える制御装置。
（２）前記画像視野は、仮想空間の少なくとも一部を含む、前記（１）に記載の制御装置。
（３）前記取得部は、ユーザの頭部の位置姿勢情報を取得し、前記制御部は、前記ユーザの態様に基づいて、前記ユーザ操作に係る物体の位置姿勢情報により特定される第１の画像視野または前記ユーザの頭部の位置姿勢情報により特定される第２の画像視野のいずれかを前記画像として表示される範囲として選択する、前記（２）に記載の制御装置。
（４）前記制御部は、所定のユーザ操作が行われる場合、前記第２の画像視野を選択する、前記（３）に記載の制御装置。
（５）前記制御部は、前記ユーザ操作に係る物体および前記ユーザの頭部の位置または姿勢が互いに異なる方向に変化される場合、前記第２の画像視野を選択する、前記（４）に記載の制御装置。
（６）前記ユーザが映像酔い状態であるかを判定する判定部をさらに備え、前記制御部は、前記判定部によって前記ユーザが映像酔い状態あると判定される場合、前記第２の画像視野を選択する、前記（３）〜（５）のいずれか１項に記載の制御装置。
（７）前記判定部は、前記ユーザの頭部の変位が閾値以上である場合、前記ユーザが映像酔い状態であると判定する、前記（６）に記載の制御装置。
（８）前記制御部は、前記ユーザが前記第１の画像視野の操作者であるかに基づいて、前記第１の画像視野または前記第２の画像視野のいずれかを選択する、前記（３）に記載の制御装置。
（９）前記制御部は、前記ユーザ操作に係る物体に対応する対応オブジェクトが前記第１の画像視野に基づいて生成される画像に表示されるように制御を行う、前記（３）〜（８）のいずれか１項に記載の制御装置。
（１０）前記対応オブジェクトは、前記ユーザ操作に係る物体の少なくとも一部を示す、前記（９）に記載の制御装置。
（１１）前記対応オブジェクトは、前記ユーザ操作に係る物体の形態または種類に応じて異なる、前記（９）または（１０）に記載の制御装置。
（１２）前記制御部は、前記ユーザ操作の操作量に応じて、前記第１の画像視野の広さを制御する、前記（３）〜（１１）のいずれかの１項に記載の制御装置。
（１３）前記ユーザ操作に係る物体は、仮想空間上の仮想オブジェクトを含み、前記第１の画像視野は、前記仮想オブジェクトの位置姿勢に基づいて特定される画像視野を含む、前記（３）〜（１２）のいずれか１項に記載の制御装置。
（１４）前記ユーザ操作に係る物体は、操作体を含み、前記制御部は、前記操作体の一部のみの位置または姿勢が変化される場合、前記操作体の一部の位置または姿勢の変化量に応じて前記仮想オブジェクトの仮想空間上の移動の速さを変更する、前記（１３）に記載の制御装置。
（１５）前記制御部は、前記ユーザの頭部の位置姿勢情報に基づいて、前記第１の画像視野を制御する、前記（１３）に記載の制御装置。
（１６）前記制御部は、前記第１の画像視野または前記第２の画像視野において、前記ユーザと異なる他のユーザを示すオブジェクトが表示されるように制御を行う、前記（９）〜（１５）のいずれか１項に記載の制御装置。
（１７）前記画像視野は、現実空間の一部を含む、前記（１）に記載の制御装置。
（１８）ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を受信することと、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御することと、を含む制御方法。
（１９）ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を受信する受信機能と、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御機能と、をコンピュータに実現させるためのプログラム。
（２０）ユーザの頭部に装着される表示装置と、前記ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得部と、前記位置姿勢情報に基づいて、前記表示装置に画像として表示される範囲である画像視野を制御する制御部と、を有する制御装置と、を備える制御システム。

１００ 制御装置
１０２ 通信部
１０４ センサ
１０６ 決定部
１０８ 表示制御部
１１０ 表示部
１１２ 動作制御部
２００ 操作体
２０２ センサ
２０４ 制御部
２０６ 通信部
２０８ 撮像部
３００ 動作装置
４００ サーバ

Claims (19)

1. ユーザ操作に係る物体の位置または姿勢に係る第１の位置姿勢情報と、ユーザの頭部の第２の位置姿勢情報とを取得する取得部と、
   前記第１の位置姿勢情報により特定される第１の画像視野または前記第２の位置姿勢情報により特定される第２の画像視野のいずれかを、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野として選択する制御部と、
   を備える制御装置。
2. 前記画像視野は、仮想空間の少なくとも一部を含む、請求項１に記載の制御装置。
3. 前記制御部は、所定のユーザ操作が行われる場合、前記第２の画像視野を選択する、請求項２に記載の制御装置。
4. 前記制御部は、前記ユーザ操作に係る物体および前記ユーザの頭部の位置または姿勢が互いに異なる方向に変化される場合、前記第２の画像視野を選択する、請求項３に記載の制御装置。
5. 前記ユーザが映像酔い状態であるかを判定する判定部をさらに備え、
   前記制御部は、前記判定部によって前記ユーザが映像酔い状態あると判定される場合、前記第２の画像視野を選択する、請求項３または４に記載の制御装置。
6. 前記判定部は、前記ユーザの頭部の変位が閾値以上である場合、前記ユーザが映像酔い状態であると判定する、請求項５に記載の制御装置。
7. 前記制御部は、前記ユーザが前記第１の画像視野の操作者であるかに基づいて、前記第１の画像視野または前記第２の画像視野のいずれかを選択する、請求項２に記載の制御装置。
8. 前記制御部は、前記ユーザ操作に係る物体に対応する対応オブジェクトが前記第１の画像視野に基づいて生成される画像に表示されるように制御を行う、請求項３から７のいずれか１項に記載の制御装置。
9. 前記対応オブジェクトは、前記ユーザ操作に係る物体の少なくとも一部を示す、請求項８に記載の制御装置。
10. 前記対応オブジェクトは、前記ユーザ操作に係る物体の形態または種類に応じて異なる、請求項８または９に記載の制御装置。
11. 前記制御部は、前記ユーザ操作の操作量に応じて、前記第１の画像視野の広さを制御する、請求項３から１０のいずれか１項に記載の制御装置。
12. 前記ユーザ操作に係る物体は、仮想空間上の仮想オブジェクトを含み、
    前記第１の画像視野は、前記仮想オブジェクトの位置姿勢に基づいて特定される画像視野を含む、請求項３から１１のいずれか１項に記載の制御装置。
13. 前記ユーザ操作に係る物体は、操作体を含み、
    前記制御部は、前記操作体の一部のみの位置または姿勢が変化される場合、前記操作体の一部の位置または姿勢の変化量に応じて前記仮想オブジェクトの仮想空間上の移動の速さを変更する、請求項１２に記載の制御装置。
14. 前記制御部は、前記第２の位置姿勢情報に基づいて、前記第１の画像視野を制御する、請求項１２に記載の制御装置。
15. 前記制御部は、前記第１の画像視野または前記第２の画像視野において、前記ユーザと異なる他のユーザを示すオブジェクトが表示されるように制御を行う、請求項８から１４のいずれか１項に記載の制御装置。
16. 前記画像視野は、現実空間の一部を含む、請求項１に記載の制御装置。
17. 前記画像視野は、撮像装置の撮像における被写体の範囲を含む、請求項１６に記載の制御装置。
18. ユーザ操作に係る物体の位置または姿勢に係る第１の位置姿勢情報と、ユーザの頭部の第２の位置姿勢情報とを取得することと、
    前記第１の位置姿勢情報により特定される第１の画像視野または前記第２の位置姿勢情報により特定される第２の画像視野のいずれかを、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野として選択することと、
    を含む制御方法。
19. ユーザ操作に係る物体の位置または姿勢に係る第１の位置姿勢情報と、ユーザの頭部の第２の位置姿勢情報とを取得する取得機能と、
    前記第１の位置姿勢情報により特定される第１の画像視野または前記第２の位置姿勢情報により特定される第２の画像視野のいずれかを、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野として選択する制御機能と、
    をコンピュータに実現させるためのプログラム。

Images