JP6642432B2 - 情報処理装置及び情報処理方法、並びに画像表示システム - Google Patents

Description

本明細書で開示する技術は、移動体装置やユーザーに搭載されたカメラで撮影した画像を処理する情報処理装置及び情報処理方法、並びに画像表示システムに関する。

画像を観察するユーザーの頭部又は顔部に固定される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば３Ｄ画像を提示することができる。

この種のヘッド・マウント・ディスプレイは、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体が焦点距離よりレンズに近い位置にある場合に、その物体側に形成される。例えば、瞳孔の前方に２５ミリメートルだけ離間して広視野角の虚像光学系を配置し、この広視野角光学系のさらに前方に約０．７インチの有効画素範囲の大きさを持つ表示パネルを配置して、表示画像の拡大虚像をユーザーの瞳に結像するヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献１を参照のこと）。

また、ユーザーは、この種のヘッド・マウント・ディスプレイを用いて、広角画像の一部を切り出した画像を観察することができる。例えば、頭部にジャイロ・センサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動きに追従させた全空間の３６０度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献２、特許文献３を参照のこと）。ジャイロ・センサーが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、頭部の動きに追従した画像を再現することができ、ユーザーは全空間を見渡すような体験をする。

また、ヘリコプターなどのラジコンに搭載した無線カメラで撮影した一人称視点（パイロット視点）画像を見ながら操縦する、ＦＰＶ（Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｖｉｅｗｉｎｇ）技術も知られている。例えば、撮影装置を搭載した移動体と、操作者が操作して移動体を遠隔制御するウェアラブルＰＣからなる移動体制御装置について提案がなされている（例えば、特許文献４を参照のこと）。移動体側では、移動体の動作を制御する信号を受信して自己の動作を制御するとともに、搭載している撮影装置を制御する信号を受信して撮影動作を制御して、撮影装置の出力する映像信号と音声信号をウェアラブルＰＣに送信する。一方、ウェアラブルＰＣ側では、操作者の操作に応じて、移動体の動作を制御する信号を生成し、また、操作者の音声に応じて撮影装置の動作を制御する信号を生成して、移動体に無線送信するとともに、撮影装置の出力信号を無線受信して映像信号を再生し、これをモニタ画面に表示する。

また、中長距離用の３次元ステレオ・カメラと近距離用の３次元ステレオ・カメラを有するラジコン・カーが３次元合成画像を送信して、コントローラー側で表示するネットワーク・システムについて提案がなされている（例えば、特許文献５を参照のこと）。また、模型装置が前方を撮影した画像と位置と向き情報を、コントローラー側で受信して、位置と向きに応じたバーチャル画像を生成して表示するネットワーク・システムについて提案がなされている（例えば、特許文献６を参照のこと）。

特開２０１２−１４１４６１号公報 特開平９−１０６３２２号公報 特開２０１０−２５６５３４号公報 特開２００１−２０９４２６号公報 特開２０１２−１５１８００号公報 特開２０１２−１４３４４７号公報

本明細書で開示する技術の目的は、移動体装置やユーザーに搭載されたカメラで撮影した画像を好適に処理することができる、優れた情報処理装置及び情報処理方法、並びに画像表示システムを提供することにある。

また、本明細書で開示する技術のさらなる目的は、カメラの撮影画像を、ユーザーの頭部又は顔部に固定された画像表示装置での表示に適合するように処理することができる、優れた情報処理装置及び情報処理方法、並びに画像表示システムを提供することにある。

本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
ユーザーの頭部姿勢の情報を取得する頭部姿勢取得部と、
カメラの姿勢の情報を取得するカメラ姿勢取得部と、
前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記ユーザーの頭部又は顔部に固定された表示装置で表示する画像を生成する描画処理部と、
を具備する情報処理装置である。

本明細書で開示する技術の第２の側面によれば、第１の側面に係る情報処理装置において、前記カメラは、移動体装置に搭載されている。

本明細書で開示する技術の第３の側面によれば、第１又は２のいずれかの側面に係る報処理装置の前記カメラは、全方位画像又は広角画像を撮影し、前記描画処理部は、前記ユーザーの頭部姿勢を前記カメラの撮影時の姿勢で補正し、補正した後の前記ユーザーの頭部姿勢に応じた画角を前記カメラの撮影画像から切り出した画像を生成するように構成されている。

本明細書で開示する技術の第４の側面によれば、第１の側面に係る情報処理装置において、前記カメラは、前記ユーザーの頭部又は顔部に固定して搭載されている。

本明細書で開示する技術の第５の側面によれば、第４の側面に係る情報処理装置の前記描画処理部は、前記カメラの姿勢を前記ユーザーの頭部姿勢に変換する第１の変換パラメーターに応じた画角を前記カメラの撮影画像から切り出した画像を生成するように構成されている。

本明細書で開示する技術の第６の側面によれば、第５の側面に係る情報処理装置の前記描画処理部は、前記カメラの撮影時刻における前記ユーザーの頭部姿勢と、前記表示装置に画像を表示するまでの遅延時間だけ後に予測される前記ユーザーの頭部姿勢を用いて、画像の生成を行なうように構成されている。

本明細書で開示する技術の第７の側面によれば、第１の側面に係る情報処理装置の前記描画処理部は、前記カメラが撮影する時系列画像データに基づいて周囲環境の３次元モデルを構築するとともに、前記３次元モデル内での現在のカメラ位置を推定し、前記カメラの位置及び姿勢を前記ユーザーの眼球の位置及び姿勢に変換する第２の変換パラメーターを用いて前記カメラで撮影してから前記表示装置で表示するまでの遅延時間だけ後の前記ユーザーの眼球位置及び姿勢を予測して、予測される眼球位置及び姿勢において撮影された画像を前記３次元モデルから生成するように構成されている。

本明細書で開示する技術の第８の側面によれば、第１の側面に係る情報処理装置は、前記移動体装置を遠隔操作するコントローラーと、前記移動体装置の軌道を制約し、制約した軌道以外の前記コントローラーからの入力をカットするフィルターと、
をさらに備えている。そして、前記コントローラーからの入力を前記の制約した軌道に沿う方向の位置指令、速度指令、又は加速度指令に変換して、前記移動体装置に送信するように構成されている。

本明細書で開示する技術の第９の側面によれば、第８の側面に係る情報処理装置は、前記移動体装置の軌道を直進に制約したときに、前記フィルターが前記コントローラーからの前後方向以外の入力をカットし、直進の軌道を維持する指令を前記移動体装置に送信するように構成されている。

本明細書で開示する技術の第１０の側面によれば、第９の側面に係る情報処理装置は、前記移動体装置が現在地を通り、現在の進行方向を向く直線、又は、前記移動体装置の現在地と目標地点を結ぶ直線を軌道に設定するように構成されている。

本明細書で開示する技術の第１１の側面によれば、第８の側面に係る情報処理装置は、前記移動体装置の軌道を周回に制約したときに、前記フィルターが前記コントローラーからの左右方向以外の入力をカットし、周回の軌道を維持する指令を前記移動体装置に送信するとともに、前記移動体装置の姿勢が目標地点を向くように制御するように構成されている。

本明細書で開示する技術の第１２の側面によれば、第１１の側面に係る情報処理装置は、目標地点を中心として前記移動体装置の現在地を通過する円周、又は、目標地点と交わる鉛直軸を中心として前記移動体装置の現在地を通る水平面内の円周を軌道に設定するように構成されている。

また、本明細書で開示する技術の第１３の側面は、
ユーザーの頭部姿勢の情報を取得する頭部姿勢取得ステップと、
カメラの姿勢の情報を取得するカメラ姿勢取得ステップと、
前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記ユーザーの頭部又は顔部に固定された表示装置で表示する画像を生成する描画処理ステップと、
を有する情報処理方法である。

また、本明細書で開示する技術の第１４の側面は、
カメラと、
ユーザーの頭部又は顔部に固定して用いられる表示装置と、
前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記表示装置で表示する画像を生成する画像処理装置と、
を具備する画像表示システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

本明細書で開示する技術によれば、移動体やユーザーなどに設置された遠隔カメラで撮影した画像を、ユーザーの頭部又は顔部に固定された画像表示装置での表示に適合するように好適に処理することができる、優れた情報処理装置及び情報処理方法、並びに画像表示システムを提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術の一実施形態に係る画像表示システム１００の構成を模式的に示した図である。 図２は、図１に示した画像表示システムに適用されるヘッド・マウント・ディスプレイ１１０を頭部に装着しているユーザーを正面から眺めた様子を示した図である。 図３は、図２に示したヘッド・マウント・ディスプレイ１１０を着用したユーザーを上方から眺めた様子を示した図である。 図４は、全方位カメラ４００の構成例を示した図である。 図５は、全方位カメラ４００の構成例を示した図である。 図６は、全方位カメラ４００の構成例を示した図である。 図７は、ヘッド・マウント・ディスプレイ１１０を着用したユーザーが自由視点画像を視聴する仕組みを説明するための図である 図８は、画像表示システム１００の機能的構成例を示した図である。 図９は、クォータニオンを例示した図である。 図１０は、画像表示システム１００の他の機能的構成例を示した図である。 図１１は、全方位画像からユーザーの頭部姿勢に応じた表示画角を切り出した様子を示した図である。 図１２は、全方位カメラの姿勢変化のためにユーザーの頭部姿勢と一致しない表示画角を切り出した様子を示した図である。 図１３は、ユーザーの頭部姿勢を全方位カメラの姿勢の変化分に応じて補正した表示画角を切り出す様子を示した図である。 図１４は、ユーザーの頭部姿勢を全方位カメラの姿勢の変化分に応じて補正した表示画角で、全方位画像から自由視点画像を切り出す処理手順を示した図である。 図１５は、ビデオ・シースルー方式の画像表示システム１００の構成例を示した図である。 図１６は、カメラの撮影画像を表示光学系の基準座標系に揃え、ユーザーの視野角に一致した画像を表示する処理手順を示した図である。 図１７は、撮影してから表示するまでの遅延時間を考慮して、カメラの撮影画像を表示光学系の基準座標系に揃え、ユーザーの視野角に一致した画像を表示する処理手順を示した図である。 図１８は、３次元再構成技術と頭部動作追跡予測を組み合わせて、撮影してから表示するまでの遅延時間を考慮した、ユーザーの視野角に一致した画像を表示する処理手順を示した図である。 図１９は、移動体装置１２０の制御自由度を直進に制限して、コントローラー１３０を用いて遠隔操作する様子を示した図である。 図２０は、移動体装置１２０の制御自由度を直進に制限して、遠隔操作を制御する処理手順を示した図である。 図２１は、移動体装置１２０の制御自由度を周回に制限して、コントローラー１３０を用いて遠隔操作する様子を示した図である。 図２２は、移動体装置１２０の制御自由度を周回に制限して、遠隔操作を制御する処理手順を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。なお、これ以降の説明では、原則として全方位画像や全方位カメラを例示に用いる。但し、広角画像や広角カメラを用いる場合であっても、撮影画角以外の領域を例えば黒一色に塗り潰した全方位画像やそれを出力するカメラを考えることによって、全方位画像の場合と共通に扱うことができ、本明細書で開示する技術は一般性を失わない。

図１には、本明細書で開示する技術の一実施形態に係る画像表示システム１００の構成を模式的に示している。図示の画像表示システム１００は、ユーザーが頭部又は顔部に装着して用いる画像表示装置（ヘッド・マウント・ディスプレイ）１１０と、飛行機（若しくはヘリコプター、その他の飛翔体）、自動車、船舶などの移動体装置１２０−１、１２０−２…で構成される。一部の移動体装置１２０は、無線で遠隔操作されるラジコンでもよく、ユーザーはコントローラー１３０でラジコンを操縦することができる。移動体装置１２０−１、１２０−２、１２０−３…は、それぞれ全方位カメラを搭載し、移動中に風景を撮影している。コントローラー１３０は、例えばスマートフォンやタブレットなどの多機能情報端末でもよく、移動体装置１２０の操縦用アプリケーションを起動している。

ヘッド・マウント・ディスプレイ１１０と移動体装置１２０、並びにコントローラー１３０と移動体装置１２０間は、例えばワイヤレス・ネットワークや赤外線通信などにより無線接続される。全方位カメラの撮影画像は、例えば移動体装置１２０の無線通信機能を利用して、ヘッド・マウント・ディスプレイ１１０を始め他の装置に送信することができる。但し、本明細書では、説明の簡素化のため、全方位カメラ自体が無線通信機能を装備しているものとする。

図２には、図１に示した画像表示システムに適用されるヘッド・マウント・ディスプレイ１１０を頭部に装着しているユーザーを正面から眺めた様子を示している。

ヘッド・マウント・ディスプレイ１１０は、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。シースルーのタイプとは相違し、ヘッド・マウント・ディスプレイ１１０を着用したユーザーは現実世界の風景を直接眺めることはできない。ユーザーの視線方向の風景を撮影する外側カメラ（図示しない）を装備していれば、その撮像画像をヘッド・マウント・ディスプレイ１１０で表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができる。

図２に示すヘッド・マウント・ディスプレイ１１０は、帽子形状に類似した構造体であり、着用したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ１１０本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図２では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。

ヘッド・マウント・ディスプレイ１１０本体の左右の両端付近にそれぞれマイクロフォンが設置されている。左右ほぼ対称的にマイクロフォンを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

また、ヘッド・マウント・ディスプレイ１１０本体の外側には、ユーザーが指先などを使ってタッチ入力することができるタッチパネルが配設されている。図示の例では、左右一対のタッチパネルを備えているが、単一又は３以上のタッチパネルを備えていてもよい。

図３には、図２に示したヘッド・マウント・ディスプレイ１１０を着用したユーザーを上方から眺めた様子を示している。図示のヘッド・マウント・ディスプレイ１１０は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネルを持つ。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。表示パネルの表示画像は、虚像光学部を通過するにより拡大虚像としてユーザーの左右の目でそれぞれ観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、着用したユーザーの眼と左右の各表示系とを位置合わせする必要がある。図３に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構を装備している。

移動体装置１２０に搭載する全方位カメラは、例えば複数台のビデオカメラの組み合わせで構成することができる。図４乃至図６には、６台のビデオカメラで構成される全方位カメラ４００の構成例を示している。

それぞれ所定の位置に固定された６台のビデオカメラ４０１、４０２、…、４０６は、撮像画像を、画像処理部４１０に同期して出力する。各ビデオカメラ４０１、４０２、…、４０６は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージ・センサーを撮像素子に用いている。

画像処理部４１０は、各ビデオカメラ４０１、４０２、…、４０６の撮像画像を、それぞれ配置された位置関係に応じてつなぎ合わせて１枚の全方位画像（若しくは、広角画像）フレームを生成する。生成された全方位画像の一部又は全部は、ヘッド・マウント・ディスプレイ１１０に無線送信され、着用したユーザーの頭部の姿勢（視線方向）に応じて視点が移動する自由視点画像を提供する。

図５並びに図６には、６台のビデオカメラ４０１、４０２、…、４０６の配置例を模式的に示している。但し、図５は上方から俯瞰した図であり、図６は側面から斜視した図である。図示のように、６台のビデオカメラ４０１、４０２、…、４０６は、各々のカメラ主軸方向を互いに背を向けて放射状に配置されている。

より好ましくは、各ビデオカメラ４０１、４０２、…、４０６の視点位置（カメラ位置）は、所定の基準点（後述）を通過する鉛直な基準軸５０１（図５、図６を参照のこと）を中心とする水平な同心円上に所定角度間隔で配列されている。本実施形態では、６台のビデオカメラ４０１、４０２、…、４０６が、６０度間隔で配置される。また、隣接するビデオカメラ４０１、４０２、…、４０６間では、互いの撮像画角の左右の端部分が重なり合うように設置され、水平方向に途切れることなく全周囲を撮影できるものとする。

なお、本実施形態に係る画像表示システム１００に適用可能な全方位カメラの具体的な構成例については、例えば本出願人に既に譲渡されている特願２０１４−１２８０２０号明細書を参照されたい。但し、本明細書で開示する技術は、特定の全方位カメラの構成に限定されない。

図７には、本実施形態に係る画像表示システム１００において、ヘッド・マウント・ディスプレイ１１０を着用したユーザーが自由視点画像を視聴する仕組み（すなわち、ユーザーの頭部の動きに追従した画像を表示する仕組み）を図解している。

ユーザーの視線の奥行き方向がｚ_w軸、水平方向がｙ_w軸、垂直方向がｘ_w軸であり、ユーザーの基準軸ｘ_wｙ_wｚ_wの原点位置はユーザーの視点位置とする。したがって、ロールθ_zはユーザーの頭部のｚ_w軸回りの運動、チルトθ_yはユーザーの頭部のｙ_w軸回りの運動、パンθ_zはユーザーの頭部のｘ_w軸回りの運動に相当する。

まず、ユーザーの頭部のロール、チルト、パンの各方向の動き（θ_z，θ_y，θ_z）や頭部の平行移動からなる姿勢情報を検出する。そして、ユーザーの頭部の姿勢に追従するように、全方位カメラで撮影した元の全方位画像７０１から切り出す領域７０２の中心を移動させ、その中心位置で所定の画角で切り出した領域７０２の画像をレンダリングする。具体的には、ユーザーの頭部運動のロール成分に応じて領域７０２−１を回転させたり、ユーザーの頭部運動のチルト成分に応じて領域７０２−２を移動させたり、ユーザーの頭部運動のパン成分に応じて領域７０２−３を移動させたりして、ユーザーの頭部の動きを打ち消すように表示領域を移動させる。このようにして、ヘッド・マウント・ディスプレイ１１０側では、ユーザーの頭部の動きに追従する自由視点画像を提示することができる。

なお、全方位カメラで撮影した全方位画像からユーザーの頭部姿勢に応じた自由視点画像をレンダリングする処理は、全方位カメラで行なう方法や、全方位画像をヘッド・マウント・ディスプレイ１１０に送信してヘッド・マウント・ディスプレイ１１０で行なう方法、全方位画像をクラウド・コンピューターにアップロードしてクラウド上で行なう方法などが挙げられる。

ここで、図１に示したように、全方位カメラが移動体装置１２０上に搭載されている場合、移動体装置１２０が進路を変更することが想定される。移動体装置１２０が進路を変更することに伴って、全方位カメラの姿勢が変化するため、ヘッド・マウント・ディスプレイ１１０を着用したユーザー自体は頭部を動かしていないにも拘らず、見える画像が変化するという問題がある。ユーザーの動きとは一致しない、予期しない画像を視聴すると、ユーザーはＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）酔いなどの、健康被害を受けるおそれがある。

そこで、本実施形態では、ヘッド・マウント・ディスプレイ１１０を着用したユーザーの頭部姿勢を全方位カメラの姿勢の変化分に応じて補正して、全方位画像から表示画像の切り出しを行なうようにしている。このような処理により、ユーザーが動かなければ同じ場所の自由視点画像が見え続けるようになり、ＶＲ酔いを防止することができる。

図８には、このような画像切り出し処理を実現することができる、画像表示システム１００の機能的構成例を示している。図示の画像表示システム１００は、頭部動作追跡装置８１０、表示装置８２０、撮影装置８３０という３台の装置で構成される。

頭部動作追跡装置８１０は、表示装置８２０が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の姿勢情報を表示装置８２０に出力する。図示の例では、頭部動作追跡装置８１０は、センサー部８１１と、姿勢角演算部８１２と、通信部８１３を備えている。

センサー部８１１は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成され、ユーザーの頭部の姿勢角を検出する。ここでは、３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。

姿勢角演算部８１２は、センサー部８１１による９軸の検出結果に基づいて、ユーザーの頭部の姿勢情報を演算する。本実施形態では、姿勢角はクォータニオンとして表現されるものとする。また、以下の説明では、位置を表す３次元ベクトルをｐ、姿勢を表すクォータニオンをｑとする。クォータニオンｑは、下式（１）並びに図９に示すように、回転軸（ベクトル）と回転角（スカラー）からなる４元数である。クォータニオンは、特異点がないことから計算に適している。コンピューター・グラフィックスの分野では、物体の姿勢をクォータニオンで表現するのが一般的である。

頭部動作追跡装置８１０と表示装置８２０間はＢｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信により相互接続されているものとする。あるいは、無線通信ではなく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような高速な有線インターフェース経由で頭部動作追跡装置８１０と表示装置８２０間を接続するようにしてもよい。姿勢角演算部８１２で求められたユーザーの頭部の姿勢情報は、通信部８１３を介して表示装置８２０に送信される。

撮影装置８３０は、全方位カメラ８３１と、センサー部８３２と、姿勢角演算部８３３と、通信部８３４を備えている。本実施形態では、撮影装置８３０は、移動体装置１２０に搭載して用いられる。

全方位カメラ８３１は、図４乃至図６に示したように構成され、全方位画像を撮影する。ここでは詳細な説明を省略する。

センサー部８３２は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成されている。ここでは、３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。姿勢角演算部８３３は、センサー部８３２による９軸の検出結果に基づいて、全方位カメラ８３１の姿勢情報を演算する。本実施形態では、姿勢角はクォータニオンとして表現されるものとする（同上）。

撮影装置８３０と表示装置８２０間はＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などの無線通信により相互接続されているものとする。全方位カメラ８３１で撮影した画像情報と、姿勢角演算部８３３で求められた全方位カメラ８３１の姿勢情報は、通信部８３４を介して表示装置８２０に送信される。

表示装置８２０は、図１に示した画像表示システム１００中のヘッド・マウント・ディスプレイ１１０に相当する。図８に示す例では、頭部動作追跡装置８１０は表示装置８２０とは独立した装置として構成されている（例えば、頭部動作追跡装置８１０は、ヘッド・マウント・ディスプレイ１１０のオプション製品として製造販売される）。但し、頭部動作追跡装置８１０と表示装置８２０を一体として、１台のヘッド・マウント・ディスプレイ１１０を構成することもできる。

表示装置８２０は、第１の通信部８２１と、第２の通信部８２４と、描画処理部８２２と、表示部８２３を備えている。

表示装置８２０がヘッド・マウント・ディスプレイとして構成される場合、例えば、表示部８２３は、ユーザーの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像及び右眼用画像を表示する。表示部８２３の画面は、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイなどの表示パネル、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部８２３の表示画像を拡大投影して、ユーザーの瞳に所定の画角からなる拡大虚像を結像する虚像光学部（図示しない）を備えている。

第１の通信部８２１は、頭部動作追跡装置８１０から、通信部８１３を介してユーザーの頭部の姿勢情報を受信する。また、第２の通信部８２４と、撮影装置８３０から、通信部８３４を介して、全方位カメラ８３１で撮影した画像情報と、姿勢角演算部８３３で求められた全方位カメラ８３１の姿勢情報を受信する。なお、本実施形態では姿勢角演算部８１２は頭部動作追跡装置８１０に、また姿勢角演算部８３３は撮影装置に搭載されるものとしたが、通信部８１３、通信部８３４が各々の姿勢情報を送信する代わりに、各装置８１０及び８３０では姿勢角演算を行なわず、センサー部８１１、センサー部８３２のセンサー検出結果をそれぞれそのまま無線送信し、表示装置８２０側で第１の通信部８２１や第２の通信部８２４で受信したセンサー情報を用いてそれぞれの姿勢角演算を行なうように構成することもできる。

描画処理部８２２は、全方位画像からユーザーの頭部の姿勢情報に対応した表示画角を切り出した画像をレンダリングする。ユーザーの頭部の姿勢角を打ち消すように原画像中から切り出す表示画角を移動させることによって、表示部８２３では、頭部の動きに追従した画像を表示することができる。したがって、ユーザーは大画面を見渡す体験をすることができる。

また、本実施形態では、描画処理部８２２は、表示装置８２０の表示画像を観察するユーザー（ヘッド・マウント・ディスプレイ１１０を着用したユーザー）の頭部姿勢を全方位カメラ８３１の姿勢の変化分に応じて補正して、全方位画像の切り出しを行なうことようにしている。このような補正処理により、カメラ８３１の姿勢が変化しても、ユーザーが動かなければ同じ場所の自由視点画像が見え続けるようにしている。

図１０には、画像表示システム１００の他の機能的構成例を示している。図示の画像表示システム１００は、頭部動作追跡装置１０１０、表示装置１０２０、撮影装置１０３０、画像処理装置１０４０という４台の装置で構成される。

頭部動作追跡装置１０１０は、表示装置１０２０が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の姿勢情報を画像処理装置１０４０に出力する。図示の例では、頭部動作追跡装置１０１０は、センサー部１０１１と、姿勢角演算部１０１２と、通信部１０１３を備えている。

センサー部１０１１は、９軸を検出可能なセンサーであり（同上）、ユーザーの頭部の姿勢角を検出する。姿勢角演算部１０１２は、センサー部１０１１による９軸の検出結果に基づいて、ユーザーの頭部の姿勢角を表すクォータニオンｑ_hを演算する。そして、算出したクォータニオンｑ_hを、通信部１０１３を介して画像処理装置１０４０に送信する。

撮影装置１０３０は、全方位カメラ１０３１と、センサー部１０３２と、姿勢角演算部１０３３と、通信部１０３４を備えている。撮影装置１０３０は、移動体装置１２０に搭載して用いられる（同上）。

全方位カメラ１０３１は、図４乃至図６に示したように構成され、全方位画像を撮影する。センサー部１０３２は、９軸を検出可能なセンサーであり（同上）、全方位カメラ１０３１の姿勢角を検出する。姿勢角演算部１０３３は、センサー部１０３２による９軸の検出結果に基づいて、全方位カメラ１０３１の姿勢角を表すクォータニオンｑ_cを演算する。そして、算出したクォータニオンｑ_cを、通信部１０３４を介して画像処理装置１０４０に送信する。

画像処理装置１０４０は、例えばクラウド・コンピューターで構成される。画像処理装置１０４０は、通信部１０４１を介して、頭部動作追跡装置１０１０からユーザーの頭部の姿勢角を表すクォータニオンｑ_hを受信するとともに、撮影装置１０３０から全方位カメラ１０３１で撮影した画像情報と全方位カメラ１０３１の姿勢角を表すクォータニオンｑ_cを受信する。そして、描画処理部１０４２は、全方位画像からユーザーの頭部の姿勢情報に対応した表示画角を切り出した画像をレンダリングして、通信部１０４１を介して表示装置１０２０に送信する。なお、先に述べた構成と同様に、姿勢角演算を頭部動作追跡装置１０１０や撮影装置１０３０で行なうのでなくセンサー情報を送信して、画像処理装置１０４０で姿勢角演算を行なうように構成することもできる。

表示装置１０２０は、通信部１０２１を介して画像処理装置１０４０から受信した画像情報を、表示部１０２３で表示する。表示装置１０２０は、ユーザーの頭部の姿勢角を打ち消すように原画像中の表示画角を移動させることによって、表示部１０２３では頭部の動きに追従した画像を表示することができる。したがって、ユーザーは大画面を見渡す体験をすることができる。画像処理装置１０４０が、例えばクラウド・コンピューターで構成され、通信部を介して表示装置１０２０と接続される構成の場合、通信部での伝送遅延が問題になるケースがある。図１０に示したシステム構成の変形例として、表示装置１０２０が第２の描画処理部（図示しない）を備え、画像処理装置１０４０は切り出した画像情報だけでなく、切り出しに用いたユーザーの頭部の姿勢情報も同時に送信し、表示装置１０２０では画像処理装置１０４０から受信した姿勢情報と、頭部動作追跡装置１０１０から受信した最新の姿勢情報を用いて画像表示位置を調整することによって、伝送遅延の問題を軽減することができる。

図１１には、移動体装置１２０に搭載した全方位カメラで撮影した全方位画像１１００から、ヘッド・マウント・ディスプレイ１１０を着用したユーザーの頭部姿勢に対応した表示画角１１０１を切り出した様子を示している。

また、図１２には、ユーザーは頭部姿勢を動かしていないにも拘らず、移動体装置１２０すなわち全方位カメラの姿勢が左方へ変化し、その結果として、全方位画像１２００から切り出される表示画角１２０１が逆に右方へ移動している様子を示している。この場合、ヘッド・マウント・ディスプレイ１１０を着用したユーザー自体は頭部を動かしていないにも拘らず、見える画像が変化するという現象が生じる。ユーザーの動きとは一致しない、予期しない画像を視聴すると、ユーザーはＶＲ酔いなどの、健康被害を受ける恐れがある。

例えば、ユーザーが移動体装置１２０に搭載したカメラの撮影画像を視聴しながらコントローラー１３０で移動体装置１２０を遠隔操作する場合、移動体装置１２０がユーザーの意図と異なる運動や予期せぬ運動を行なった場合には、ユーザーはＶＲ酔いを起こすおそれがある。勿論、移動体装置１２０がユーザーの遠隔操作通りに運動したとしても、表示画像の動きが激しいと、ＶＲ酔いを起こし易い。

上記のようなＶＲ酔いを防ぐために、コントローラー１３０による移動体装置１２０の制御性能を向上させて、ユーザーの意図と異なる運動が発生しないようにする、移動体装置１２０がゆっくりとした運動のみを行なうようにする、あるいは、カメラの速い動きがヘッド・マウント・ディスプレイ１１０で表示されないように、ローパス・フィルターでカットする、といった解決方法も想起される。

これに対し、本明細書で開示する技術では、移動体装置１２０に搭載したカメラで撮影した画像をそのまま表示するのではなく、ヘッド・マウント・ディスプレイ１１０を着用したユーザーが見ている方向に適合する部分を全方位画像から切り出して表示するようにしている。

例えば図８並びに図１０に示した実施形態では、頭部動作追跡装置８１０又は１０１０で計測したユーザーの頭部姿勢を、全方位カメラ８３０又は１０３０の姿勢の変化分に応じて補正するようする。図１３には、左方へ姿勢が変化した全方位カメラで撮影した全方位画像１３００から、ユーザーの頭部姿勢を全方位カメラの姿勢の変化分に応じて補正した表示画角１３０１を切り出す様子を示している。このような処理により、全方位カメラの姿勢が変化しても、ユーザーが動かなければ、同じ自由視点画像が見え続けるようになり、ＶＲ酔いを防止することができる。

なお、全方位画像（若しくは、広角画像）からユーザーが見ている方向に適合する表示画角を切り出す際には、カメラに固定した座標系でも、ユーザーの身体に固定した座標系でもない、第３の座標系を用いる。すなわち、カメラ側とヘッド・マウント・ディスプレイ側でそれぞれ独立に位置及び姿勢変動の推定を行ない、両者の結果に基づいて表示画像の領域を決定する。

図１４には、ヘッド・マウント・ディスプレイ１１０を着用したユーザーの頭部姿勢を全方位カメラの姿勢の変化分に応じて補正した表示画角で、全方位画像から自由視点画像を切り出す処理手順を示している。この処理手順は、例えば図８に示した画像表示システム１００において表示装置８２０内の描画処理部８２２が行ない、又は、図１０に示した画像表示システム１００において、画像処理装置１０４０が行なう。以下では、便宜上、図１０に示した画像表示システム１００で処理を実施するものとして説明する。

移動体装置１２０に搭載された撮影装置１０３０の全方位カメラ１０３１は、全方位画像を撮影している（Ｆ１４０１）。また、センサー部１０３２は全方位カメラ１０３１の姿勢角を検出し、姿勢角演算部１０３３は、センサー部１０３２による９軸の検出結果に基づいて全方位カメラ１０３１の姿勢角を表すクォータニオンｑ_cを演算する（Ｆ１４０２）。そして、撮影画像とカメラ姿勢角ｑ_cを、通信部１０３４を介して画像処理装置１０４０に送信する。

一方、頭部動作追跡装置１０１０内では、センサー部１０１１がユーザーの頭部の姿勢角を検出し、姿勢角演算部１０１２がセンサー部１０１１による検出結果に基づいてユーザーの頭部の姿勢角を表すクォータニオンｑ_hを演算する（Ｆ１４１１）。そして、頭部姿勢角ｑ_hを、通信部１０１３を介して画像処理装置１０４０に送信する。

画像処理装置１０４０側では、通信部１０４１で、撮影装置１０３０から撮影画像とカメラ姿勢角ｑ_cを受信するとともに、頭部動作追跡装置１０１０からユーザーの頭部姿勢角ｑ_hを受信する。カメラ姿勢角ｑ_cが変化しない場合は、描画処理部１０４２は、ユーザーの頭部姿勢角ｑ_hに応じた表示画角を撮影画像から切り出して、自由視点画像をレンダリングすればよい。但し、本実施形態では、図１３で示したように、カメラ姿勢角ｑ_cが変化することを想定している。したがって、描画処理部１０４２は、まず、カメラ姿勢角ｑ_cでユーザーの頭部姿勢角ｑ_hを補正し（Ｆ１４２１）、補正後のユーザーの頭部姿勢角ｑ_h ^*に応じた表示画角を撮影画像から切り出して、自由視点画像をレンダリングする（Ｆ１４２２）。そして、画像処理装置１０４０は、描画処理部１０４２がレンダリングした自由視点画像を、通信部１０４１を介して表示装置１０２０に送信し、表示装置１０２０で表示が行なわれる（Ｆ１４３０）。

なお、上記の処理Ｆ１４２２でのユーザーの頭部姿勢角ｑ_hの補正処理は、下式（２）に従って行なわれる。すなわち、元のユーザーの頭部姿勢角ｑ_hに、左側からカメラ姿勢角ｑ_cのインバースを乗算して、補正後のユーザーの頭部姿勢角ｑ_h ^*を求める。なお、姿勢角ｑ_h、ｑ_cはいずれも、上述した第３の座標系を基準として測定した頭部及びカメラそれぞれの姿勢各情報である。

これまでは、全方位カメラを備えた撮影装置が飛行機（若しくはヘリコプター、その他の飛翔体）、自動車、船舶などの移動体装置１２０に搭載された画像表示システム１００について説明してきた。これ対し、図１５に示す、ヘッド・マウント・ディスプレイ１１０を着用したユーザー本人に全方位カメラを搭載し、撮影した画像をユーザーがヘッド・マウント・ディスプレイ１１０で視聴するという、ビデオ・シースルー方式の画像表示システム１００も考えられる。この場合、全方位カメラで撮影した全方位画像から、ユーザーの頭部姿勢に応じた表示画角を切り出して、ヘッド・マウント・ディスプレイ１１０に表示する。

このようなビデオ・シースルー方式の画像表示システム１００において、ユーザーの頭部姿勢と表示画角が一致しないという問題は、図１２に示したようにカメラの姿勢が変化する以外に、カメラで撮影してから表示するまでの遅延時間にも起因して発生する。頭部の向きと表示画角が一致しないと、ユーザーは、予期しない画像を視聴することになり、ＶＲ酔いを起こし易い。

また、図１５に示したようなビデオ・シースルー方式のヘッド・マウント・ディスプレイにおいては、カメラの取り付け位置及び姿勢とユーザーが撮影画像を視聴する位置（眼球位置）及び姿勢の不一致により、以下の（１）〜（３）に挙げるようなさまざまな問題が生じる。

（１）手が短く見えるなど、距離感が掴み難い。
（２）光軸方向を揃えないと、酔い易い。
（３）撮像視野角と表示視野角が一致しないと、酔い易い。

本発明者らは、ビデオ・シースルー方式の画像表示システム１００における遅延や、姿勢・視野角の不一致の問題は、カメラ姿勢を考慮した表示補正と頭部動作追跡予測の組み合わせにより軽減できると考えている。

説明の簡素化のため、まずカメラで撮影してから表示するまでの遅延時間がない場合について考察する。この場合、カメラの基準座標系と、表示光学系（表示部の画面）の基準座標系を揃え、ユーザーに提示する視野角を一致させるだけでよい。

図１６には、カメラの撮影画像を表示光学系の基準座標系に揃え、ユーザーの視野角に一致した画像を表示する処理手順（但し、撮影してから表示するまでの遅延時間がないと仮定する）を示している。

ユーザーに搭載された撮影装置１０３０の全方位カメラ１０３１は、全方位画像を撮影している（Ｆ１６０１）。

ユーザー（若しくは、ユーザーが着用する表示装置１０２０）に対する全方位カメラ１０３１の位置は固定であるとする。この場合、カメラの姿勢を基準にして、ユーザーの頭部姿勢を固定パラメーターｑ_tで表現することができる。そこで、この固定に応じた表示画角をカメラの撮影画像から切り出して（Ｆ１６０２、Ｆ１６０３）、表示するだけでよい（Ｆ１６０４）。カメラと頭部が一体となって運動するため、上式（２）における補正後の頭部姿勢角ｑ_h´^*＝ｑ_c ^-1ｑ_hが、（各姿勢角ｑ_c、ｑ_hの値に依らず）常に一定値となるので、それを固定パラメーターｑ_tと呼ぶことにする。

また、図１７には、撮影してから表示するまでの遅延時間を考慮して、カメラの撮影画像を表示光学系の基準座標系に揃え、ユーザーの視野角に一致した画像を表示する処理手順を示している。

ユーザーに搭載された撮影装置１０３０の全方位カメラ１０３１は、全方位画像を撮影している（Ｆ１７０１）。

また、ユーザー（若しくは、ユーザーが着用する表示装置１０２０）に対する全方位カメラ１０３１の相対的な位置関係は固定であり、カメラの姿勢をユーザーの頭部姿勢に変換する固定パラメーターｑ_tが保持されている（Ｆ１７０２）。固定パラメーターｑ_tは、表示光学系とカメラ撮影系の機械的な配置によって決まる。

また、頭部動作追跡装置１０１０内では、センサー部１０１１がユーザーの頭部の姿勢角を検出し、姿勢角演算部１０１２がセンサー部１０１１による検出結果に基づいてユーザーの頭部の姿勢角を表すクォータニオンｑ_hを演算して（Ｆ１７０３）、センサー情報取得時の時刻情報と関連付けて、ロギングする（Ｆ１７０４）。そして、Ｆ１７０１における撮影時刻とＦ１７０４でロギングした頭部姿勢の推定値ｑ_hに基づいて、撮影時における頭部姿勢ｑ_hcを推定する（すなわち、撮影時刻に対する補間又は予測を行なう）（Ｆ１７０５）。また、現在時刻から表示光学系に画像が表示されるまでの遅延時間δを見積り（Ｆ１７０６）、現在時刻（Ｆ１７０７）とＦ１７０４でロギングした頭部姿勢の推定値ｑ_hに基づいて、次に表示が行なわれる時刻（現在時刻＋遅延時間δ）における頭部姿勢ｑ_h´を予測する（Ｆ１７０８）。なお、遅延時間δは、主に表示パネルの駆動周波数や、パネル駆動回路の構成によって決まる。遅延時間δを考慮した頭部の姿勢の予測は、例えば本出願人に既に譲渡されている特願２０１３−２６８０１４号明細書に開示されている予測アルゴリズムを用いて行なうことができる。

画像処理装置１０４０では、Ｆ１７０２で取得した固定パラメーターｑ_tと、Ｆ１７０５で推定した頭部姿勢ｑ_hcと、Ｆ１７０８で予測した頭部姿勢の予測値ｑ_h´に基づいて、補正パラメーターｑ_t ^*を計算する（Ｆ１７０９）。具体的には、下式（３）に示すように、頭部姿勢の予測値ｑ_h´の左側から、撮影時における頭部姿勢ｑ_hcのインバースを乗算して得られる補正項ｑ_hc ^-1ｑ_h´を固定パラメーターｑ_tの右側から乗算して、補正パラメーターｑ_t ^*を計算する

そして、補正パラメーターｑ_t ^*に応じた表示画角を撮影画像から切り出して、自由視点画像をレンダリングする（Ｆ１７１０）。このようにしてレンダリングした自由視点画像を、画像処理装置１０４０から表示装置１０２０に送信し、表示装置１０２０で表示が行なわれる（Ｆ１７１１）。

また、本発明者らは、ビデオ・シースルー方式の画像表示システム１００における遅延や、姿勢・視野角の不一致の問題は、Ｖｉｓｕａｌ ＳＬＡＭに代表される３次元再構成技術と頭部動作追跡予測の組み合わせによっても解決できると考えている。Ｖｉｓｕａｌ ＳＬＡＭは、未知環境下でカメラの自己位置推定と地図作成を同時に行なうことができる技術である。Ｖｉｓｕａｌ ＳＬＡＭの一例として、統合型拡張現実感技術ＳｍａｒｔＡＲ（ソニー株式会社の商標）を挙げることができる。

撮像装置１０４０では、ユーザーの頭部（又は、その他のユーザーの身体の部位）に設置された全方位カメラ１０３１が撮影を継続して行ない、時系列画像データを得ることができる。画像処理装置１０４０では、Ｖｉｓｕａｌ ＳＬＡＭ技術を利用して、この時系列画像データから周囲環境の３次元モデルを構築するとともに、この３次元モデル内での現在のカメラ位置を把握する。そして、画像処理装置１０４０は、撮影してから表示装置１０２０で表示するまでの遅延時間δを考慮してユーザーの現在の眼球位置と姿勢を予測すると、予測された位置での仮想カメラから撮影した画像をレンダリングして、これを表示装置１０２０で表示する。

図１８には、３次元再構成技術と頭部動作追跡予測を組み合わせて、撮影してから表示するまでの遅延時間を考慮した、ユーザーの視野角に一致した画像を表示する処理手順を示している。

ユーザーに搭載された撮影装置１０３０の全方位カメラ１０３１は、全方位画像を撮影している（Ｆ１８０１）。

画像処理装置１０４０では、Ｖｉｓｕａｌ ＳＬＡＭ技術を利用して、この時系列画像データから周囲環境の３次元モデルＭを構築するとともに（Ｆ１８０２）、この３次元モデル内での撮影時のカメラ位置ｐ_c及びカメラ姿勢ｑ_cを推定し（Ｆ１８０３）、各撮影時刻情報と関連付けてロギングする（Ｆ１８０４）。

次に、現在時刻から表示光学系に画像が表示されるまでの遅延時間δを見積り（Ｆ１８０５）、現在時刻（Ｆ１８０６）とＦ１８０４でロギングしたカメラ位置並びに姿勢の各推定値ｐ_c、ｑ_cに基づいて、次に表示が行なわれる時刻におけるカメラ位置ｐ´_c並びにカメラ姿勢ｑ´_cを予測する（Ｆ１８０７）。また、全方位カメラ１０３１の位置及び姿勢とユーザーの眼球位置及び姿勢の変換パラメーターｐ_t、ｑ_tを取得する（Ｆ１８０８）。変換パラメーターｐ_t、ｑ_tは、表示光学系とカメラ撮影系の機械的な配置によって決まる固定パラメーターである。なお、変換パラメーターｐ_tは座標位置のオフセットを与える３次元ベクトル、ｑ_tは姿勢の変化を表すクォータニオンである。そして、下式（４）に示すように、変換パラメーターｐ_t、ｑ_tを用いて、次に表示が行なわれる時刻におけるカメラ位置の予測値ｐ´_c並びにカメラ姿勢の予測値ｑ´_cから、その時刻におけるユーザーの眼球位置ｐ´_h及びユーザーの眼球の姿勢ｑ´_hを予測する（Ｆ１８０９）。

そして、画像処理装置１０４０では、Ｆ１８０２で構築された周囲環境の３次元モデルＭを用いて、予測された眼球位置ｐ´_h及び姿勢ｑ´_hでの撮影データをレンダリングする（Ｆ１８１０）。このようにしてレンダリングした自由視点画像を、画像処理装置１０４０から表示装置１０２０に送信し、表示装置１０２０で表示が行なわれる（Ｆ１８１１）。

上述したように、図１７並びに図１８に示した処理手順によれば、ビデオ・シースルー方式の画像表示システム１００における遅延や、姿勢・視野角の不一致の問題を解決することができる。この結果、ビデオ・シースルー画像において、光軸不一致などの不整合を抑制して、ＶＲ酔いを防止することができる。また、カメラの選択や配置の自由度が向上することから、以下の（１）〜（４）のような効果が得られる。

（１）カメラと眼球の光軸を合わせなくてよい。
（２）カメラと眼球の姿勢を一致させなくてよい。
（３）カメラと眼球の視野角を合わせなくてよい。
（４）任意の台数のカメラを配置することができる。

図１に示した画像表示システム１００は、移動体装置１２０に搭載されたカメラと、ユーザーが頭部に装着してカメラの撮影画像を視聴するヘッド・マウント・ディスプレイ１１０で構成されるが、ユーザーがコントローラー１３０を用いた移動体装置１２０の遠隔操作カメラ・システムとして利用することもできる。

一般的な遠隔操作システムでは、移動体装置１２０が可能なあらゆる動きを、コントローラー１３０を用いて操作することができる。ところが、移動体装置１２０に搭載したカメラの撮影画像を視聴しながら遠隔操作する場合、移動体装置１２０がユーザーの意図と異なる運動や予期せぬ運動を行なった場合には、ユーザーはＶＲ酔いを起こすおそれがある。

これに対し、本明細書で開示する技術では、ユーザーによる移動体装置１２０の制御自由度を制限することにより、ＶＲ酔いを防止するようにしている。例えば、空間内における移動体装置１２０の軌道を指定して、その軌道上の位置のみ、速度のみ、あるいは加速度のみを遠隔操作する。

以下では、画像表示システム１００を、制御自由度を制限できる遠隔操作カメラ・システムとして運用する実施例について紹介する。例えば、ヘリコプターや３枚以上のローターを備えたマルチコプターのような飛行型の移動体装置１２０を遠隔操作の対象とし、直進のみ、あるいは周回のみに制御自由度を制限する。そして、ユーザーは、ジョイスティックのような操作が比較的容易な入力装置をコントローラー１３０に用いて、直進又は周回するという軌道上での速度又は加速度のみを遠隔操作する。

まず、図１９に示すように、移動体装置１２０の制御自由度を直進に制限した場合のコントローラー１３０を用いた遠隔操作について説明する。図２０には、この場合の移動体装置１２０を制御する処理手順を示している。

直進に制限された軌道制約モードに入ると（Ｆ２００１）、移動体装置１２０の軌道をセットする（Ｆ２００２）。移動体装置１２０の軌道が直進に制約される場合、例えば以下の（１）又は（２）に示すような直線の軌道をセットする。

（１）現在地を通り、現在の進行方向を向く直線
（２）現在地と目標地点を結ぶ直線

ジョイスティックなどのコントローラー１３０から制御入力があると（Ｆ２００３）、制御入力のフィルタリングを行ない、前後方向以外の制御入力をカットする（Ｆ２００４）。

次いで、制御入力を、Ｆ２００２でセットした直線軌道に沿う位置指令、速度指令、又は加速度指令に変換して（Ｆ２００５）、軌道を維持する指令を移動体装置１２０の自動制御系へ伝達する（Ｆ２００６）。

次に、図２１に示すように、移動体装置１２０の制御自由度を周回に制限した場合のコントローラー１３０を用いた遠隔操作について説明する。図２２には、この場合の移動体装置１２０を制御する処理手順を示している。

周回に制限された軌道制約モードに入ると（Ｆ２２０１）、移動体装置１２０の軌道をセットする（Ｆ２２０２）。移動体装置１２０の軌道が周回に制約される場合、例えば以下の（１）又は（２）に示すような円周の軌道をセットする。

（１）目標地点を中心として現在地を通る円周
（２）目標地点と交わる鉛直軸を中心として、現在地を通る水平面内の円周

ジョイスティックなどのコントローラー１３０から制御入力があると（Ｆ２２０３）、制御入力のフィルタリングを行ない、左右方向以外の制御入力をカットする（Ｆ２２０４）。

次いで、制御入力を、Ｆ２２０２でセットした円周の軌道に沿う位置指令、速度指令、又は加速度指令に変換して（Ｆ２２０５）、軌道を維持する指令を移動体装置１２０の自動制御系へ伝達し、移動体装置１２０の姿勢は目標地点を向くように制御する（Ｆ２２０６）。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術は、移動体装置などに搭載した遠隔カメラで撮影した画像を没入型のヘッド・マウント・ディスプレイで視聴する際に好適に適用することができるが、勿論、透過型のヘッド・マウント・ディスプレイにも適用することができる。

また、本明細書で開示する技術は、遠隔カメラではなく、ヘッド・マウント・ディスプレイ本体に搭載したカメラで撮影した画像をビデオ・シースルーする場合にも、同様に適用することができる。

さらに、本明細書で開示する技術は、ヘッド・マウント・ディスプレイではなく、スマートフォンやタブレットなどの情報端末の画面を頭部や顔部に固定してカメラの撮影画像を視聴する場合にも、同様に適用することができる。

また、本明細書で開示する技術は、両眼式及び単眼式の双方のヘッド・マウント・ディスプレイに好適に適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部姿勢の情報を取得する頭部姿勢取得部と、
カメラの姿勢の情報を取得するカメラ姿勢取得部と、
前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記ユーザーの頭部又は顔部に固定された表示装置で表示する画像を生成する描画処理部と、
を具備する情報処理装置。
（２）前記カメラは、移動体装置に搭載されている、
上記（１）に記載の情報処理装置。
（３）前記カメラは、全方位画像又は広角画像を撮影し、
前記描画処理部は、前記ユーザーの頭部姿勢を前記カメラの撮影時の姿勢で補正し、補正した後の前記ユーザーの頭部姿勢に応じた画角を前記カメラの撮影画像から切り出した画像を生成する、
上記（１）又は（２）のいずれかに記載の情報処理装置。
（４）前記カメラは、前記ユーザーの頭部又は顔部に固定して搭載されている、
上記（１）に記載の情報処理装置。
（５）前記描画処理部は、前記カメラの姿勢を前記ユーザーの頭部姿勢に変換する第１の変換パラメーターに応じた画角を前記カメラの撮影画像から切り出した画像を生成する、
上記（４）に記載の情報処理装置。
（６）前記描画処理部は、前記カメラの撮影時刻における前記ユーザーの頭部姿勢と、前記表示装置に画像を表示するまでの遅延時間だけ後に予測される前記ユーザーの頭部姿勢を用いて、画像の生成を行なう、
上記（５）に記載の情報処理装置。
（７）前記描画処理部は、前記カメラが撮影する時系列画像データに基づいて周囲環境の３次元モデルを構築するとともに、前記３次元モデル内での現在のカメラ位置を推定し、前記カメラの位置及び姿勢を前記ユーザーの眼球の位置及び姿勢に変換する第２の変換パラメーターを用いて前記カメラで撮影してから前記表示装置で表示するまでの遅延時間だけ後の前記ユーザーの眼球位置及び姿勢を予測して、予測される眼球位置及び姿勢において撮影された画像を前記３次元モデルから生成する、
上記（４）に記載の情報処理装置。
（８）前記移動体装置を遠隔操作するコントローラーと、
前記移動体装置の軌道を制約し、制約した軌道以外の前記コントローラーからの入力をカットするフィルターと、
をさらに備え、
前記コントローラーからの入力を前記の制約した軌道に沿う方向の位置指令、速度指令、又は加速度指令に変換して、前記移動体装置に送信する、
上記（１）に記載の情報処理装置。
（９）前記移動体装置の軌道を直進に制約したときに、
前記フィルターは、前記コントローラーからの前後方向以外の入力をカットし、
直進の軌道を維持する指令を前記移動体装置に送信する、
上記（８）に記載の情報処理装置。
（１０）前記移動体装置が現在地を通り、現在の進行方向を向く直線、又は、前記移動体装置の現在地と目標地点を結ぶ直線を軌道に設定する、
上記（９）に記載の情報処理装置。
（１１）前記移動体装置の軌道を周回に制約したときに、
前記フィルターは、前記コントローラーからの左右方向以外の入力をカットし、
周回の軌道を維持する指令を前記移動体装置に送信するとともに、前記移動体装置の姿勢が目標地点を向くように制御する、
上記（８）に記載の情報処理装置。
（１２）目標地点を中心として前記移動体装置の現在地を通過する円周、又は、目標地点と交わる鉛直軸を中心として前記移動体装置の現在地を通る水平面内の円周を軌道に設定する、
上記（１１）に記載の情報処理装置。
（１３）ユーザーの頭部姿勢の情報を取得する頭部姿勢取得ステップと、
カメラの姿勢の情報を取得するカメラ姿勢取得ステップと、
前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記ユーザーの頭部又は顔部に固定された表示装置で表示する画像を生成する描画処理ステップと、
を有する情報処理方法。
（１４）カメラと、
ユーザーの頭部又は顔部に固定して用いられる表示装置と、
前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記表示装置で表示する画像を生成する画像処理装置と、
を具備する画像表示システム。

１００…画像表示システム
１１０…ヘッド・マウント・ディスプレイ
１２０…移動体装置、１３０…コントローラー
４００…全方位カメラ、４０１〜４０６…ビデオカメラ
４１０…画像処理部
８１０…頭部動作追跡装置、８１１…センサー部
８１２…姿勢角演算部、８１３…通信部、８２０…表示装置
８２１…第１の通信部、８２２…描画処理部、８２３…表示部
８２４…第２の通信部、８３０…撮影装置
８３１…全方位カメラ、８３２…センサー部
８３３…姿勢角演算部、８３４…通信部
１０１０…頭部動作追跡装置、１０１１…センサー部
１０１２…姿勢角演算部、１０１３…通信部
１０２０…表示装置、１０２１…通信部、１０２３…表示部
１０３０…撮影装置、１０３１…全方位カメラ
１０３２…センサー部、１０３３…姿勢角演算部
１０３４…通信部、１０４０画像処理装置、１０４１…通信部
１０４２…描画処理部

Claims (13)

1. ユーザーの頭部姿勢の情報を取得する頭部姿勢取得部と、
   前記ユーザーの頭部又は顔部に固定して搭載されているカメラの姿勢の情報を取得するカメラ姿勢取得部と、
   前記カメラの姿勢を前記ユーザーの頭部姿勢に変換する第１の変換パラメーターに応じた画角を前記カメラの撮影画像から切り出して、前記ユーザーの頭部又は顔部に固定された表示装置で表示する画像を生成する描画処理部と、
   を具備する情報処理装置。
2. 前記描画処理部は、前記カメラの撮影時刻における前記ユーザーの頭部姿勢と、前記表示装置に画像を表示するまでの遅延時間だけ後に予測される前記ユーザーの頭部姿勢を用いて、画像の生成を行なう、
   請求項１に記載の情報処理装置。
3. ユーザーの頭部姿勢の情報を取得する頭部姿勢取得部と、
   前記ユーザーの頭部又は顔部に固定して搭載されているカメラの姿勢の情報を取得するカメラ姿勢取得部と、
   前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記ユーザーの頭部又は顔部に固定された表示装置で表示する画像を生成する描画処理部と、
   を具備し、
   前記描画処理部は、前記カメラが撮影する時系列画像データに基づいて周囲環境の３次元モデルを構築するとともに、前記３次元モデル内での現在のカメラ位置を推定し、前記カメラの位置及び姿勢を前記ユーザーの眼球の位置及び姿勢に変換する第２の変換パラメーターを用いて前記カメラで撮影してから前記表示装置で表示するまでの遅延時間だけ後の前記ユーザーの眼球位置及び姿勢を予測して、予測される眼球位置及び姿勢において撮影された画像を前記３次元モデルから生成する、
   情報処理装置。
4. ユーザーの頭部姿勢の情報を取得する頭部姿勢取得部と、
   移動体装置に搭載されているカメラの姿勢の情報を取得するカメラ姿勢取得部と、
   前記移動体装置を遠隔操作するコントローラーと、
   前記移動体装置の軌道を制約し、制約した軌道以外の前記コントローラーからの入力をカットするフィルターと、
   前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記ユーザーの頭部又は顔部に固定された表示装置で表示する画像を生成する描画処理部と、
   を具備し、
   前記コントローラーからの入力を前記の制約した軌道に沿う方向の位置指令、速度指令、又は加速度指令に変換して、前記移動体装置に送信する、
   情報処理装置。
5. 前記移動体装置の軌道を直進に制約したときに、
   前記フィルターは、前記コントローラーからの前後方向以外の入力をカットし、
   直進の軌道を維持する指令を前記移動体装置に送信する、
   請求項４に記載の情報処理装置。
6. 前記移動体装置が現在地を通り、現在の進行方向を向く直線、又は、前記移動体装置の現在地と目標地点を結ぶ直線を軌道に設定する、
   請求項５に記載の情報処理装置。
7. 前記移動体装置の軌道を周回に制約したときに、
   前記フィルターは、前記コントローラーからの左右方向以外の入力をカットし、
   周回の軌道を維持する指令を前記移動体装置に送信するとともに、前記移動体装置の姿勢が目標地点を向くように制御する、
   請求項４に記載の情報処理装置。
8. 目標地点を中心として前記移動体装置の現在地を通過する円周、又は、目標地点と交わる鉛直軸を中心として前記移動体装置の現在地を通る水平面内の円周を軌道に設定する、
   請求項７に記載の情報処理装置。
9. 前記カメラは、全方位画像又は広角画像を撮影し、
   前記描画処理部は、前記ユーザーの頭部姿勢を前記カメラの撮影時の姿勢で補正し、補正した後の前記ユーザーの頭部姿勢に応じた画角を前記カメラの撮影画像から切り出した画像を生成する、
   請求項１乃至８のいずれかに記載の情報処理装置。
10. ユーザーの頭部姿勢の情報を取得する頭部姿勢取得ステップと、
    前記ユーザーの頭部又は顔部に固定して搭載されているカメラの姿勢の情報を取得するカメラ姿勢取得ステップと、
    前記カメラの姿勢を前記ユーザーの頭部姿勢に変換する第１の変換パラメーターに応じた画角を前記カメラの撮影画像から切り出して、前記ユーザーの頭部又は顔部に固定された表示装置で表示する画像を生成する描画処理ステップと、
    を有する情報処理方法。
11. ユーザーの頭部姿勢の情報を取得する頭部姿勢取得ステップと、
    前記ユーザーの頭部又は顔部に固定して搭載されているカメラの姿勢の情報を取得するカメラ姿勢取得ステップと、
    前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記ユーザーの頭部又は顔部に固定された表示装置で表示する画像を生成する描画処理ステップと、
    を有し、
    前記描画処理ステップでは、前記カメラが撮影する時系列画像データに基づいて周囲環境の３次元モデルを構築するとともに、前記３次元モデル内での現在のカメラ位置を推定し、前記カメラの位置及び姿勢を前記ユーザーの眼球の位置及び姿勢に変換する第２の変換パラメーターを用いて前記カメラで撮影してから前記表示装置で表示するまでの遅延時間だけ後の前記ユーザーの眼球位置及び姿勢を予測して、予測される眼球位置及び姿勢において撮影された画像を前記３次元モデルから生成する、
    情報処理方法。
12. ユーザーの頭部又は顔部に固定して搭載されているカメラと、
    ユーザーの頭部又は顔部に固定して用いられる表示装置と、
    前記ユーザーの頭部姿勢を計測する頭部動作追跡装置と、
    前記カメラの姿勢を前記ユーザーの頭部姿勢に変換する第１の変換パラメーターに応じた画角を前記カメラの撮影画像から切り出して、前記表示装置で表示する画像を生成する画像処理装置と、
    を具備する画像表示システム。
13. ユーザーの頭部又は顔部に固定して搭載されているカメラと、
    ユーザーの頭部又は顔部に固定して用いられる表示装置と、
    前記ユーザーの頭部姿勢を計測する頭部動作追跡装置と、
    前記ユーザーの頭部姿勢と前記カメラの姿勢に基づいて、前記カメラの撮影画像から前記表示装置で表示する画像を生成する画像処理装置と、
    を具備し、
    前記画像処理装置は、前記カメラが撮影する時系列画像データに基づいて周囲環境の３次元モデルを構築するとともに、前記３次元モデル内での現在のカメラ位置を推定し、前記カメラの位置及び姿勢を前記ユーザーの眼球の位置及び姿勢に変換する第２の変換パラメーターを用いて前記カメラで撮影してから前記表示装置で表示するまでの遅延時間だけ後の前記ユーザーの眼球位置及び姿勢を予測して、予測される眼球位置及び姿勢において撮影された画像を前記３次元モデルから生成する、
    画像表示システム。