JPWO2019155934A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された姿勢ごとの２以上の視点画像に基づいて、表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する画像処理装置である。【選択図】図６

Description

本技術は、画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、ＶＲ（Virtual Reality）技術の広まりに伴い３６０度全方位を撮影できる全天球カメラが数多く発表されてきている。これにより、作成された全天球コンテンツをヘッドマウントディスプレイなどを用いて視聴することが可能となっている。そこで、そのような全天球カメラの映像を適切にコンテンツとして再生するための種々の提案がなされている（特許文献１）。

国際公開ＷＯ２０１６／１４００８３号公報

現状、一般的に知られているステレオ全天球カメラは、各方向を２台以上のカメラで撮影して左目用、右目用の全天球画像を作成することで３Ｄの全天球画像を作成している。これによって作られる３Ｄコンテンツは、ヘッドマウントディスプレイなどの表示装置における水平方向の見回しにおいてはステレオ視聴時の破綻は少なくなるように設計されている。しかしヘッドマウントディスプレイを装着しているユーザが上下方向を見た場合、どの方向からでも見上げ、見下ろすことが出来るため、左目用画像、右目用画像というものを定めることが不可能であり、右目用画像と左目用画像の関係性が崩れ、左右のステレオ視が破綻する。このため、表示装置の姿勢が変化した場合、一般的には上下方向に行くほど視差がなくなるようにしたり、前後関係が逆になっても気にならない絵柄にしたり、一部ＣＧ（Computer Graphics）を被せる等で対応しているのが現状である。全天球カメラの映像を適切にコンテンツとして表示するための提案においてもこの点は未解決の問題となっている。

本技術はこのような問題点に鑑みなされたものであり、表示装置の姿勢の変化による破綻を軽減するステレオペア全天球画像を生成することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された前記姿勢ごとの２以上の視点画像に基づいて、表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する画像処理装置である。

また、第２の技術は、それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された姿勢ごとの２以上の視点画像に基づいて、表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する画像処理方法である。

また、第３の技術は、それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された姿勢ごとの２以上の視点画像に基づいて、表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する画像処理方法をコンピュータに実行させる画像処理プログラムである。

また、第４の技術は、表示装置の姿勢を取得する姿勢取得部と、表示装置の複数の姿勢に基づいて、それぞれ異なる位置で撮像された複数の視点画像から生成された複数のステレオペア全天球画像から１以上のステレオペア全天球画像を決定する画像決定部と、決定されたステレオペア全天球画像に基づいて表示装置において表示する表示画像を生成する画像生成部とを備える画像処理装置である。

また、第５の技術は、表示装置の姿勢を取得し、表示装置の複数の姿勢に基づいて、それぞれ異なる位置で撮像された複数の視点画像から生成された複数のステレオペア全天球画像から１以上のステレオペア全天球画像を決定し、決定されたステレオペア全天球画像に基づいて表示装置において表示する表示画像を生成する画像処理方法である。

また、第６の技術は、表示装置の姿勢を取得し、表示装置の複数の姿勢に基づいて、それぞれ異なる位置で撮像された複数の視点画像から生成された複数のステレオペア全天球画像から１以上のステレオペア全天球画像を決定し、決定されたステレオペア全天球画像に基づいて表示装置において表示する表示画像を生成する画像処理方法をコンピュータに実行させる画像処理プログラムである。

また、第７の技術は、それぞれ異なる位置で撮影された複数の視点画像から選択された２以上の視点画像に基づいて表示装置の複数の姿勢に対応して生成された複数のステレオペア全天球画像から、表示装置の姿勢に基づいて決定された１以上のステレオペア全天球画像を表示画像として前記表示装置に表示させる画像処理装置である。

また、第８の技術は、それぞれ異なる位置で撮影された複数の視点画像から選択された２以上の視点画像に基づいて表示装置の複数の姿勢に対応して生成された複数のステレオペア全天球画像から、表示装置の姿勢に基づいて決定された１以上のステレオペア全天球画像を表示装置において表示画像として表示させる画像処理方法である。

さらに、第９の技術は、それぞれ異なる位置で撮影された複数の視点画像から選択された２以上の視点画像に基づいて表示装置の複数の姿勢に対応して生成された複数のステレオペア全天球画像から、表示装置の姿勢に基づいて決定された１以上のステレオペア全天球画像を表示装置において表示画像として表示させる画像処理方法をコンピュータに実行させる画像処理プログラムである。

本技術によれば、表示装置の姿勢の変化による破綻を軽減するステレオペア全天球画像を生成することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。

本技術に係る画像処理システムの構成を示すブロック図である。 図２Ａは全天球カメラの構成を示す外観斜視図であり、図２Ｂは全天球カメラの平面図である。 キューブマップ（全天球画像）の構成を示す図である。 ヘッドマウントディスプレイ外観構成を示す斜視図である。 ヘッドマウントディスプレイによる画像表示の説明図である。 コンテンツサーバの構成を示すブロック図である。 図７Ａは姿勢別使用カメラテーブルを示す図であり、図７Ｂは全天球カメラから見上げる方向を示す図である。 ステレオペア全天球画像生成処理の流れを示すフローチャートである。 出力装置の構成を示すブロック図である。 画像決定処理の流れを示すフローチャートである。 回転情報と姿勢パターンの対応を示す表である。 画像決定処理の流れを示すフローチャートである。 図１３Ａは姿勢別使用カメラテーブルで定義されていない姿勢パターンの説明図であり、図１３Ｂは画像合成の説明図である。 ヘッドマウントディスプレイを装着したユーザの姿勢の変化を示す図である。 図１５Ａは変形例における全天球カメラから見上げる方向を示す図であり、図１５Ｂは姿勢別使用カメラテーブルを示す図である。 図１６Ａは変形例に係る広角レンズを用いた全天球カメラの一方の側面図であり、図１６Ｂは広角レンズを用いた全天球カメラの他方の側面図であり、図１６Ｃは広角レンズを用いた全天球カメラの平面図である。 広角レンズを用いた変形例に係る全天球カメラ画角を示す図である。

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．画像処理システムの構成］
［１−２．コンテンツサーバの構成と処理］
［１−３．出力装置の構成と処理］
＜２．変形例＞

＜１．実施の形態＞
［１−１．画像処理システムの構成］

画像処理システム１０は、全天球カメラ１００、コンテンツサーバ２００、出力装置３００およびヘッドマウントディスプレイ４００により構成されている。画像処理システム１０は、上下左右方向を含むあらゆる方向において複数の角度の画像を撮影可能とする複数のカメラを備える全天球カメラ１００で撮影を行い、撮影画像からステレオペア全天球画像を生成する。ステレオペア全天球画像とは、視差が生じるように左目用全天球画像と右目用全天球画像とから構成した画像の組である。全天球カメラ１００が備えている複数のカメラで撮影された画像が特許請求の範囲における視点画像である。

そして、様々な方向に対応させて生成したステレオペア全天球画像を、ヘッドマウントディスプレイ４００を装着しているユーザが向く方向（頭部姿勢）に応じて切り替えてヘッドマウントディスプレイ４００で表示することで、どの方向、どの角度の姿勢であっても左右のステレオ視が破綻しないような視聴を可能とするものである。水平方向についてはどの方向を向いても右目用画像と左目用画像の関係性は崩れないため、左右のステレオ視が破綻することはない。なお、本技術では、表示装置としてのヘッドマウントディスプレイ４００を装着したユーザが向く方向（頭部姿勢）に応じてステレオペア全天球画像中における表示領域を表示画像とするものである。ステレオペア全天球画像は、ヘッドマウントディスプレイ４００の複数の姿勢に対応した複数の全天球画像から構成される。

図２に示すように、全天球カメラ１００は複数のカメラを備えるように構成されている。本実施形態では、全天球カメラ１００はそれぞれ異なる位置に設けられた合計９個のカメラを備えている。説明の便宜上、全天球カメラ１００が備えるカメラをカメラ１、カメラ２、カメラ３、カメラ４、カメラ５、カメラ６、カメラ７、カメラ８、カメラ９とする。

カメラ１、カメラ２、カメラ３はレンズを上方に向け、各カメラの画角がオーバーラップするように配置され、どのカメラからも上方９０度×９０度の全域が撮影可能に配置された魚眼レンズを備えたカメラである。上述したように、本技術では、少なくとも２以上の方向のそれぞれに対応したステレオペア全天球画像を生成するために少なくとも上方に向けたカメラは３つ必要である。１つの方向に対応したステレオペア全天球画像を生成するためには２つのカメラの撮影画像が必要となるからである。

カメラ４乃至カメラ９はレンズを水平方向に向けるように構成されている。各カメラは撮影を行って画像をフレーム単位で生成する。図６に示すように、全天球カメラ１００は内蔵記録媒体や記録メディアなどにより構成された個別カメラ画像記録部１１０を備えており、全天球カメラ１００の撮影により取得された撮影画像は個別カメラ画像記録部１１０に保存される。全天球カメラ１００とコンテンツサーバ２００とはＷｉ−Ｆｉなどの無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）などの無線接続、またはＵＳＢ（Universal Serial Bus）などの有線接続により接続され、撮影画像や各種データなどの受け渡しがなされる。また、全天球カメラ１００とコンテンツサーバ２００は直接接続せずに、記録メディアのやり取りにより撮影画像や各種データなどの受け渡しを行うようにしてもよい。

コンテンツサーバ２００は、全天球カメラ１００で撮影された複数の画像から、ステレオペアの左右それぞれに使用する画像を選択して全天球画像を生成する。この際、カメラ配置から決定される複数の姿勢に対応する左右それぞれの画像を選択して、複数姿勢分のステレオペア全天球画像を生成する。このため従来のステレオペア全天球画像と比較して画像データのサイズや処理量が大きくなるが、例えばキューブマッピングを用いて画像を分割し、必要な方向のみ複数姿勢画像ペアを生成することで、データサイズや処理量を軽減することが可能となる。

図３は、キューブマッピングにより生成されるキューブマップ（全天球画像）の構成を示す図である。キューブマップは６つの正方形のそれぞれが架空の立方体の面となっており、それぞれの面が各方向（上・下・左・右・前・後）の景観を表している。キューブマッピングにより生成される全天球画像は具体的には−Ｘ面の画像、＋Ｚ面の画像、＋Ｘ面の画像、−Ｚ面の画像、＋Ｙ面の画像、−Ｙ面の画像とから構成されている。なお、生成される画像の方向はこの６面に限られるものではない。キューブマップを使用する際には左斜め４５度や前方上方４５度などの中間方向の画像を生成し、一の方向の画像から別の方向の画像への切り替わりが滑らかになるようにしている。

コンテンツサーバ２００は、生成したステレオペア全天球画像をＡＶＣ（Advanced Video Coding）やＨＥＶＣ(High Efficiency Video Coding)/Ｈ.２６５等に準じた符号化方式で圧縮符号化し、例えばＭＰＥＧ−ＤＡＳＨ（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）ストリーム化して保存する。そして、コンテンツサーバ２００はＭＰＥＧ−ＤＡＳＨストリームをインターネットなどを介して出力装置３００に送信し、ＭＰＥＧ−ＤＡＳＨストリームは出力装置３００に保存される。１つのコンテンツとしてのＭＰＥＧ−ＤＡＳＨストリームは出力装置３００に全てダウンロードされて保存されてからヘッドマウントディスプレイ５００を用いてユーザにより視聴されてもよい。また、コンテンツサーバ２００から出力装置３００へのＭＰＥＧ−ＤＡＳＨストリームのストリーミング配信を行いながらユーザが視聴するようにしてもよい。なお、ＭＰＥＧ−ＤＡＳＨはあくまで一例であり、ストリームの形式はそれに限られるものではない。コンテンツサーバ２００による画像処理の詳細については後述する。

出力装置３００は、例えばパーソナルコンピュータ、据え置き型ゲームコンソールなどである。出力装置３００は、予めインストールされているゲームプログラムの実行や光ディスクを再生することで生成される映像信号をヘッドマウントディスプレイ４００やディスプレイに出力する機能などを有するものである。

出力装置３００は、コンテンツサーバ２００から伝送されるＭＰＥＧ−ＤＡＳＨストリームを受信する。また出力装置３００は、ヘッドマウントディスプレイ４００が備える姿勢センサ４１０（加速度センサ、ジャイロセンサ）の検出結果を受信し、ヘッドマウントディスプレイ４００の向き、回転、傾きの情報を得る。さらに、出力装置３００は、姿勢センサ４１０の検出結果に基づいてユーザの視線ベクトルを決定し、ユーザの位置と視線ベクトルに基づいてユーザの視野範囲を決定する。

出力装置３００は、ユーザの視線ベクトルに対応する面を決定する。そして、出力装置３００は、ＭＰＥＧ−ＤＡＳＨストリームのうちの、ユーザの視線ベクトルに対応する面のストリームを選択して復号してユーザの視野範囲の画像を再生画像として生成する。そして出力装置３００は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブルを介して再生画像をヘッドマウントディスプレイ４００に伝送する。

ヘッドマウントディスプレイ４００は画像処理システム１０を利用するユーザが装着するものである。ヘッドマウントディスプレイ４００は特許請求の範囲における表示装置に相当するものである。図４に示すようにヘッドマウントディスプレイ４００は、筐体４５０およびバンド４６０を備えて構成されている。姿勢センサ４１０の図示は省略する。ヘッドマウントディスプレイ４００は装着時においてユーザの眼前に位置する、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等を備え、出力装置３００から供給される表示画像を表示する。ディスプレイの左半分には左目用画像を、右半分には右目用画像をそれぞれ独立して表示する。左目用画像と右目用画像は、左右の視点から見た視差画像を形成し、ディスプレイの左右の領域にそれぞれ表示されることで立体画像を構成することができる。なお、ヘッドマウントディスプレイ４００は、ＣＰＵ（Central Processing Unit）などからなり、ディスプレイにおける画像表示制御や操作制御などヘッドマウントディスプレイ４００全体の制御を行う制御部、外部機器を接続するためのＨＤＭＩ（登録商標）ポートやＵＳＢポートなどで外部接続部など備えている（図示せず）。なお、ヘッドマウントディスプレイ４００と出力装置３００は有線に限られず、無線通信により接続してもよい。なお、表示装置はヘッドマウントディスプレイのみでなく、スマートフォンやタブレット端末などの携帯端末であってもよい。そのような携帯端末を表示装置として利用する場合、ユーザは通常、携帯端末をはめ込みなどにより支持して頭部に装着可能なバンド状などの形態を有する装着具を使用する。

上述したようにヘッドマウントディスプレイ４００は、出力装置３００に姿勢情報を供給するために姿勢センサ４１０（加速度センサ、ジャイロセンサ）を備えている。姿勢情報は、３次元座標中の回転情報（Yaw,Pitch,Roll）を用いて定義される。姿勢センサ４１０は、ヘッドマウントディスプレイ４００の姿勢を検出し、その検出結果を出力装置３００に伝送する。

以上のようにして画像処理システム１０が構成されている。図５に示すように、画像処理システム１０においては、ヘッドマウントディスプレイ４００を装着するユーザが擬似的に球体の中心に位置し、ユーザが姿勢を変えて視線の方向を変えると、それに応じて表示する画像を変更することにより仮想的な映像世界を実現する。表示画像は、ユーザの位置を中心とする仮想球体の内周面に貼り付けられている。表示画像は、全天球カメラ１００で撮影されたステレオペア全天球画像で構成され、表示画像の天地と仮想球体の天地とが一致するように仮想球体の内周面に貼り付けられる。これによりユーザの実世界の上下左右と、ヘッドマウントディスプレイ４００で表示される画像の上下左右とが一致して、リアルなＶＲコンテンツが実現される。

［１−２．コンテンツサーバの構成と処理］
次に図６を参照してコンテンツサーバ２００の構成について説明する。コンテンツサーバ２００は姿勢別使用カメラテーブル２１０、ステレオペア全天球画像生成部２２０および画像格納部２３０を備えるよう構成されている。

全天球カメラ１００が備える各カメラにより撮影されて個別カメラ画像記録部１１０に保存された撮影画像は全天球カメラ１００からコンテンツサーバ２００に供給され、姿勢別使用カメラテーブル２１０と共にステレオペア全天球画像生成部２２０に供給される。

図７Ａは姿勢別使用カメラテーブル２１０の一例を示すものである。姿勢別使用カメラテーブル２１０は、図７Ｂに示すように、擬似的に全天球カメラ１００の略中心にユーザがいるとして全天球カメラ１００の略中心からの視点を想定して、全天球カメラ１００からＡ方向を見上げる姿勢の場合、Ｂ方向を見上げる姿勢の場合、Ｃ方向を見上げる姿勢の場合、それぞれの方向に対応したステレオペア全天球画像を作成するためにどのカメラを使用するかを対応付けたものである。これは、ユーザが全天球カメラ１００の略中心からＡ方向、Ｂ方向、Ｃ方向を見上げた場合の姿勢といえる。

図２に示す全天球カメラ１００は９個のカメラを備えており、カメラ４、カメラ６、カメラ８が左目用カメラであり、カメラ５、カメラ７、カメラ９が右目用カメラとなっている。カメラ４乃至カメラ９は水平方向に向いたカメラであるため、どの姿勢パターンであっても左目用、右目用として使用するカメラに変化はなく、常に固定である。一方、カメラ１、カメラ２、カメラ３については見上げる方向（姿勢パターン）に応じて左目用、右目用として使用するカメラが変化する。

本実施形態においては、全天球カメラ１００の中心からＡ方向を見上げた場合（姿勢パターンＡ）、Ｂ方向を見上げた場合（姿勢パターンＢ）、Ｃ方向を見上げた場合（姿勢パターンＣ）の３方向からを想定し、使用するカメラは図７Ａの姿勢別使用カメラテーブルに示すようになる。姿勢パターンＡでは左目用カメラとしてカメラ１を用い、右目用カメラとしてカメラ２を用いる。また、姿勢パターンＢでは左目用カメラとしてカメラ２を用い、右目用カメラとしてカメラ３を用いる。さらに、姿勢パターンＣでは左目用カメラとしてカメラ３を用い、右目用カメラとしてカメラ１を用いる。このように本技術においては、方向ごとにそれに対応したステレオペア全天球画像を生成するため、方向ごとにステレオペア全天球画像生成のための視点画像を撮影するカメラを決定しておく。なお、この使用するカメラのペアとそのペアが担当する方向については、カメラ配置に応じてマニュアルで設定してもよいし、カメラ配置から自動で設定してもよい。

この姿勢別使用カメラテーブル２１０は全天球カメラ１００が備えるカメラと見上げる方向（姿勢パターン）に応じて予め設定してテーブルとしてコンテンツサーバ２００に格納しておく。撮影画像と姿勢別使用カメラテーブル２１０はステレオペア全天球画像生成部２２０に供給される。

ステレオペア全天球画像生成部２２０は、撮影画像と姿勢別使用カメラテーブル２１０に基づいて姿勢別のステレオペア全天球画像を生成する。そして、生成された姿勢別ステレオペア全天球画像は、記憶媒体からなる画像格納部２３０に供給されて保存される。このステレオペア全天球画像を生成する構成が特許請求の範囲の請求項１における画像処理装置に相当するものである。

次に図８のフローチャートを参照してステレオペア全天球画像生成部２２０による処理について説明する。このステレオペア全天球画像生成処理は全天球カメラ１００から見上げる方向（姿勢パターン）ごとに行う。本実施形態においては３つの姿勢パターンがあるため、姿勢パターンＡ、姿勢パターンＢ、姿勢パターンＣの順でステレオペア全天球画像を生成するものとするが、生成順はどのような順序であってもよい。

まずステップＳ１１で姿勢別使用カメラテーブル２１０の読み込みを行う。次にステップＳ１２で個別カメラ画像記録部２１０から全天球カメラ１００を構成する９個のカメラの中から姿勢パターンＡの左目用カメラにより撮影された左目用画像を読み込む。姿勢パターンＡではカメラ１、カメラ４、カメラ６、カメラ８により撮影された画像が読み込まれる。

次にステップＳ１３で全ての左目用カメラにより撮像された左目用画像を用いて、スティッチングにより画像の明るさの調整し、画像の重なりを除去して接続することで左目用全天球画像を生成する。

次にステップＳ１４で左目用全天球画像から左目用部分画像を生成する。部分画像の生成は、左目用全天球画像をキューブマッピングと称されるキューブ形状に変換することにより行われる。これにより全天球画像は６つの面の画像に分割されて、全天球画像の一部を示す部分画像が生成される。画像を分割することにより、例えば、上を見上げた場合の画像生成処理はキューブマップの＋Ｙの面の画像のみで可能となる。同様に下を見下ろした場合の画像生成処理は、キューブマップの−Ｙの面の画像のみで可能となる。これにより、画像生成処理において全天球画像全体を使用する必要がなくなり、処理の高速化、画像保持のためのメモリや記憶媒体の容量の節約などを図ることができる。

続いてステップＳ１５で個別カメラ画像記録部２１０から全天球カメラ１００を構成する９個のカメラの中から姿勢パターンＡの右目用カメラにより撮影された右目用画像を読み込む。姿勢パターンＡではカメラ２、カメラ５、カメラ７、カメラ９により撮影された画像が読み込まれる。

次にステップＳ１６で全ての右目用カメラにより撮影された右目用画像を用いて、スティッチングにより右目用全天球画像を生成する。次にステップＳ１７で右目用全天球画像から右目用部分画像を生成する。部分画像の生成は、ステップＳ１４において左目用全天球画像を分割して部分画像を生成したのと同様である。この左目用部分画像と右目用部分画像とが姿勢パターンに対応した一組のステレオペア全天球画像となる。

そして、ステップＳ１８で全ての姿勢パターンのステレオペア全天球画像を生成したかを判断する。全ての姿勢パターンは姿勢別使用カメラテーブル２１０を参照して確認することができる。全ての姿勢パターンのステレオペア全天球画像を生成していない場合、処理はステップＳ１１に進む（ステップＳ１８のＮｏ）。そして、残りの姿勢パターンの全てについてステレオペア全天球画像を生成するまでステップＳ１１からステップＳ１８が繰り返される。

ステップＳ１８で全ての姿勢パターンのステレオペア全天球画像を生成した場合、処理はステップＳ１９に進む（ステップＳ１８のＹｅｓ）。そしてステップＳ１９で全てのステレオペア全天球画像をＭＰＥＧ−ＤＡＳＨストリーム化して画像格納部２３０に保存する。

なお、図８のフローチャートでは先に左目用画像の処理を行い、次に右目用画像の処理を行っているが、左目用画像と右目用画像の処理はその順に限られるものではなく、右目用画像を先に読み込んで処理を行ってもよい。

なお、図８のフローチャートにおけるステレオペア全天球画像生成処理において、部分画像の生成は必須の処理ではない。分割処理を行わず、全天球画像のままステレオペア全天球画像としてＭＰＥＧ−ＤＡＳＨストリーム化して保存してもよい。

［１−３．出力装置の構成と処理］
次に図９を参照して出力装置３００の構成および処理について説明する。出力装置３００は画像格納部３１０、姿勢取得部３２０、画像決定部３３０、表示画像生成部３４０を備えるよう構成されている。出力装置３００は、コンテンツサーバ２００により生成されたステレオペア全天球画像をヘッドマウントディスプレイ４００の姿勢情報に応じて切り替えてヘッドマウントディスプレイ４００に出力する。

記憶媒体で構成された画像格納部３１０には、コンテンツサーバ２００から送信されたＭＰＥＧ−ＤＡＳＨストリームがデコーダにより復号化されて生成された全てのステレオペア全天球画像が格納されている。本実施の形態では、コンテンツサーバ２００により生成されたコンテンツとしてのステレオペア全天球画像を出力装置３００に全てダウンロードして出力装置３００に保存してからヘッドマウントディスプレイ４００で表示させるようにする。なお、それに限らず、コンテンツサーバ２００から出力装置３００にコンテンツとしてのステレオペア全天球画像を伝送しながらヘッドマウントディスプレイ４００で表示させる、ストリーミング形式で行ってもよい。

姿勢取得部３２０はヘッドマウントディスプレイ４００から供給される、姿勢センサ４１０により得られたヘッドマウントディスプレイ４００の姿勢情報を取得し、画像決定部３３０に供給する。ヘッドマウントディスプレイ４００の姿勢情報は３次元座標中の回転情報（Yaw,Pitch,Roll）を用いて定義される。

画像決定部３３０は、ヘッドマウントディスプレイ４００の姿勢情報に基づいてステレオペア全天球画像を決定して、決定されたステレオペア全天球画像を全てのステレオペア全天球画像が格納されている画像格納部３１０から読み出す。

ここで、図１０のフローチャートを参照してステレオペア全天球画像の決定処理について説明する。まずステップＳ２０１で、姿勢取得部３２０がヘッドマウントディスプレイ４００から姿勢情報を取得する。次にステップＳ２０２でYawの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかを判断する。ここでｎは姿勢パターンの数の最大値に対応するものであり、姿勢パターンが３つであれば、判断は第１の範囲、第２の範囲、第３の範囲を判断するものとなり処理の分岐は３つとなる。姿勢パターンが６つであれば、判断は第１の範囲、第２の範囲、第３の範囲、第４の範囲、第５の範囲、第６の範囲を判断するものとなり処理の分岐は６つとなる。これはPitch、Rollについても同様である。

Yaw値が第１の範囲である場合、ステップＳ２０３でPitch値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかを判断する。

ステップＳ２０３でPitchの値が第１の範囲である場合、ステップＳ２０４でRollの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかによってステップＳ２１５でステレオペア全天球画像が決定する。

また、ステップＳ２０３でPitchの値が第２の範囲である場合、ステップＳ２０５でRollの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかによってステップＳ２１５でステレオペア全天球画像が決定する。

さらに、ステップＳ２０３でPitchの値が第ｎの範囲である場合、ステップＳ２０６でRollの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかによってステップＳ２１５でステレオペア全天球画像が決定する。

ステップＳ２０２でYawの値が第２の範囲である場合、ステップＳ２０７でPitch値が第１の範囲、第２の範囲、第ｎの範囲のいずれかであるかを判断する。

ステップＳ２０７でPitchの値が第１の範囲である場合、ステップＳ２０８でRollの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかによってステップＳ２１５でステレオペア全天球画像が決定する。

また、ステップＳ２０７でPitchの値が第２の範囲である場合、ステップＳ２０９でRollの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかによってステップＳ２１５でステレオペア全天球画像が決定する。

さらに、ステップＳ２０７でPitchの値が第ｎの範囲である場合、ステップＳ２１０でRollの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかによってステップＳ２１５でステレオペア全天球画像が決定する。

ステップＳ２０２でYawの値が第３の範囲である場合、ステップＳ２１１でPitchの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかを判断する。

ステップＳ２１１でPitchの値が第１の範囲である場合、ステップＳ２１２でRollの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかによってステップＳ２１５でステレオペア全天球画像が決定する。

また、ステップＳ２１１でPitchの値が第２の範囲である場合、ステップＳ２１３でRollの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかによってステップＳ２１５でステレオペア全天球画像が決定する。

さらに、ステップＳ２１１でPitchの値が第ｎの範囲である場合、ステップＳ２１４でRollの値が第１の範囲、第２の範囲、・・・、第ｎの範囲のいずれかであるかによってステップＳ２１５でステレオペア全天球画像が決定する。

本実施の形態においては、図１１の表に示すようにYawの値の範囲は０度以上１２０度未満、１２０度以上２４０度未満、２４０度以上３６０度未満の３つとする。またPitchの値の範囲は４５度以上９０度未満の範囲とする。Pitchの範囲が一定なのは、本技術は上向きのカメラによって撮影された画像を用いて、ユーザが上を向き、ヘッドマウントディスプレイ４００の姿勢が上向きとなっている場合の画像処理を行うものだからである。さらに、Rollの値の範囲は０度以上１２０度未満、１２０度以上２４０度未満、２４０度以上３６０度未満の３つとする。そして、Yaw,Pitch,Rollの組み合わせに予め姿勢パターンを対応させておく。

よって、図１０のフローチャートを本実施の形態に適用すると図１２に示すようになる。ステップＳ３０１はステップＳ２０１と同様に姿勢取得部３２０がヘッドマウントディスプレイ４００から姿勢情報を取得する。次にステップＳ３０２でYawの値が０度以上１２０度未満、１２０度以上２４０度未満、２４０度以上３６０度未満のいずれかであるかを判断する。Yawの値が０度以上１２０度未満である場合、処理はステップＳ３０３に進む。本実施の形態ではPitchの値の範囲は一定であるため判断処理は行わずステップＳ３０４に進む。

そしてステップＳ３０４で、Rollの値が０度以上１２０度未満、１２０度以上２４０度未満、２４０度以上３６０度未満のいずれかであるかを判断する。Rollの値が０度以上１２０度未満である場合、ステレオペア全天球画像は姿勢パターンＡに対応するものとなる。また、Rollの値が１２０度以上２４０度未満である場合、ステレオペア全天球画像は姿勢パターンＢに対応するものとなる。さらに、Rollの値が２４０度以上３６０度未満である場合、ステレオペア全天球画像は姿勢パターンＣに対応するものとなる。

説明はステップＳ３０２に戻り、ステップＳ３０２でYawの値が１２０度以上２４０度未満である場合、処理はステップＳ３０５に進む。本実施の形態ではPitchの値の範囲は一定であるため判断処理は行わずステップＳ３０６に進む。

そしてステップＳ３０６で、Rollの値が０度以上１２０度未満、１２０度以上２４０度未満、２４０度以上３６０度未満のいずれかであるかを判断する。Rollの値が０度以上１２０度未満である場合、ステレオペア全天球画像は姿勢パターンＢに対応するものとなる。また、Rollの値が１２０度以上２４０度未満である場合、ステレオペア全天球画像は姿勢パターンＣに対応するものとなる。さらに、Rollの値が２４０度以上３６０度未満である場合、ステレオペア全天球画像は姿勢パターンＡに対応するものとなる。

説明はステップＳ３０２に戻り、ステップＳ３０２でYawの値が２４０度以上３６０度未満である場合、処理はステップＳ３０７に進む。本実施の形態ではPitchの値の範囲は一定であるため判断処理は行わずステップＳ３０８に進む。

そしてステップＳ３０８で、Rollの値が０度以上１２０度未満、１２０度以上２４０度未満、２４０度以上３６０度未満のいずれかであるかを判断する。Rollの値が０度以上１２０度未満である場合、ステレオペア全天球画像は姿勢パターンＣに対応するものとなる。また、Rollの値が１２０度以上２４０度未満である場合、ステレオペア全天球画像は姿勢パターンＡに対応するものとなる。さらに、Rollの値が２４０度以上３６０度未満である場合、ステレオペア全天球画像は姿勢パターンＢに対応するものとなる。

このようにしてYaw, Pitch, Rollの値がどの範囲の時にどのステレオペア全天球画像をヘッドマウントディスプレイ４００に出力するかを設定しておく。なお、処理の最終的な分岐（図１２においてはRollの値に応じた分岐）の数と姿勢パターンとは予め対応させておく必要がある。姿勢パターンが３つである場合、処理の最終的な分岐も３つとなり、姿勢パターンが６つである場合、処理の最終的な分岐も６つとなる。

以上の処理によりステレオペア全天球画像を決定したら画像決定部３３０はその決定されたステレオペア全天球画像を画像格納部３１０から読み出して表示画像生成部３４０に供給する。表示画像生成部３４０は、供給されたステレオペア全天球画像からヘッドマウントディスプレイ４００で表示させる表示画像を生成する。表示画像は、ヘッドマウントディスプレイ４００の姿勢に対応したステレオペア全天球画像のＲＯＩ（Region of Interest）領域である。

例えば、姿勢情報からヘッドマウントディスプレイ４００の状態が姿勢パターンＡであるとされた場合には姿勢パターンＡに対応したステレオペア全天球画像が画像格納部２３０から読み出される。そして、そのステレオペア全天球画像中におけるヘッドマウントディスプレイ４００の姿勢に対応したＲＯＩ領域が表示画像生成部３４０により表示画像とされ、ヘッドマウントディスプレイ４００に表示画像として供給されて表示される。この表示画像を生成してヘッドマウントディスプレイ４００に供給して表示させる構成が特許請求の範囲の請求項８および１３における画像処理装置に相当するものである。

なお、画像格納部３１０から読み出される画像は一組のステレオペア全天球画像に限らず、複数組のステレオペア全天球画像を読み出し、それを表示画像生成部３４０で合成してその合成画像を表示画像とすることもできる。これはヘッドマウントディスプレイ４００を装着しているユーザの頭部姿勢に応じて表示画像を切り替える場合、切り替わりの境界で突然画像を切り替えることにより画像のずれが発生してしまうことを避けるためである。

画像の合成は、アルファブレンドやMultiband Blendingのように切り替える画像の画素ブレンドを行ってもよいし、Optical Flowなどを用いて画素のワープを行って姿勢パターンに応じた中間画像を生成するようにしてもよい。

例えば、図１３Ａに示すようにユーザがＡ方向とＢ方向の中間の方向であるＤ方向（Yaw＝１２０度、Pitch＝４５度、Roll＝０度）を見上げる場合（姿勢パターンＤ）、姿勢パターンＤに対応したステレオペア全天球画像を表示画像とする必要がある。しかし、姿勢パターンＤに対応した左目用カメラと右目用カメラは姿勢別使用カメラテーブル２１０で定義されていない。そこで、姿勢パターンＡと姿勢パターンＢとから姿勢パターンＤに対応した新たなステレオペア全天球画像を合成して生成する必要がある。

図１３Ｂを参照してステレオペア全天球画像の合成について説明する。なお、図１３Ｂにおける各カメラの左目用画像と右目用画像に対応した人物の顔は画像の合成を説明するための便宜上設定したものである。姿勢パターンＡと姿勢パターンＢとから姿勢パターンＤに対応したステレオペア全天球画像を合成する方法としては、例えば、Optical Flowを用いて、図１３Ｂに示すように姿勢パターンＡの左目用画像から姿勢パターンＢの左目用画像へどのくらい変化したかをベクトルで算出し、その中間を姿勢パターンＤの左目用画像とする。同様にして姿勢パターンＤの右目用画像も姿勢パターンＡの右目用画像と姿勢パターンＢの右目用画像とから合成して生成することができる。このように、ヘッドマウントディスプレイ４００の姿勢が、予め定めた姿勢以外の姿勢である場合、予め定めてあるヘッドマウントディスプレイ４００の姿勢に対応した２以上のステレオペア全天球画像から合成画像を生成することにより、予め定めていない姿勢にも対応した表示画像を得ることができる。

見上げる方向が姿勢パターンＢと姿勢パターンＣとの中間である場合、同様にして姿勢パターンＢと姿勢パターンＣのステレオペア全天球画像からステレオペア全天球画像を合成して新たな姿勢パターンに対応した新たなステレオペア全天球画像を生成することができる。さらに、ユーザの頭部姿勢が姿勢パターンＣと姿勢パターンＡとの中間である場合、同様に姿勢パターンＣと姿勢パターンＡのステレオペア全天球画像から新たなステレオペア全天球画像を合成して生成し、新たな姿勢パターンに対応したステレオペア全天球画像を生成することができる。

そして表示画像生成部３４０で生成された表示画像はヘッドマウントディスプレイ４００に供給されて表示されることによりユーザに提示される。以上のようにして本技術における処理が行われる。

図１４に示すように、ヘッドマウントディスプレイ４００を装着したユーザが例えば、正面を向いている第１の状態（Yaw：０度、Pitch：０度、Roll：０度）からそのまま上方を向いても（Yaw：０度、Pitch：９０度、Roll：０度）、ステレオペア全天球画像の右目用画像と左目用画像の関係性は崩れないため、左右のステレオ視が破綻することはない。しかし、第１の状態から第２の状態（Yaw：９０度、Pitch：９０度、Roll：０度）になった場合、従来はステレオペア全天球画像の右目用画像と左目用画像の関係性は崩れ、左右のステレオ視が破綻していた。しかし、本技術では、上を見上げた状態においてヘッドマウントディスプレイ４００の回転情報（Yaw、Roll）がどのような値であってもそれに対応させて予めステレオペア全天球画像を生成しているため、第１の状態から第２の状態への変化も含め、ヘッドマウントディスプレイ４００の向き、姿勢がどのような状態になっても左右のステレオ視を破綻させずに画像を表示させることができる。

実施の形態では、上方を向いたカメラで、姿勢パターンも上向きである場合について説明したが、下向きのカメラで撮影された画像を用いて、Pitchの値を、−４５度〜−９０度の範囲にすることにより下向きについて同様にユーザの姿勢が変化しても破綻しない表示画像を表示させることができる。例えば、実施の形態でさらに、下向きについても処理を行う場合、Ａ方向を見上げる場合（姿勢パターンＡ）、Ｂ方向を見上げる場合（姿勢パターンＢ）、Ｃ方向を見上げる場合（姿勢パターンＣ）、に加え、Ａ方向を見下ろす場合（姿勢パターンＡ'）、Ｂ方向を見下ろす場合（姿勢パターンＢ‘）、Ｃ方向を見下ろす場合（姿勢パターンＣ‘）を設定する。

上述したように水平方向においてはどの方向を向いても左右のステレオ視が破綻することはないため、水平方向においては、本技術を用いて様々なパターンのステレオペア全天球画像を作成する必要はない。部分画像を生成することにより、例えば、上を見上げた場合の画像生成処理はキューブマップの＋Ｙの面の画像のみで可能となる。同様に下を見下ろした場合の画像生成処理は、キューブマップの−Ｙの面の画像のみで可能となる。これにより、画像生成処理において全天球画像全体を使用する必要がなくなり、処理の高速化、画像保持のためのメモリや記憶媒体の容量の節約などを図ることができる。

本実施の形態においては上方向を見上げる姿勢に対してのみ処理を行い、ヘッドマウントディスプレイ４００が水平を維持したまま方向を変えている限り特に処理は行わない。これにより、処理を軽くし、さらに、本技術の実施のために使用するステレオペア全天球画像の数を抑制してステレオペア全天球画像保存に必要な記憶媒体の容量を抑えることができる。

また、コンテンツの種類に応じてどの姿勢に対して処理を行うかを決定してもよい。例えば、コンテンツがコンサート映像である場合、通常、ユーザはステージがある前方および上方に注視し、後方および下方を見ることはあまりない。よって、この場合、下方の画像に対して本技術の処理を行う必要はない。これにより処理の負荷の軽減、処理の高速化を図ることができる。

本技術に係るコンテンツサーバ２００の機能および出力装置３００の機能はプログラムにより提供されてもよい。そのプログラムは、予めコンテンツサーバ２００、出力装置３００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。

＜２．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

画像処理システム１０で表示させるコンテンツは動画に限られず、静止画でもよい。また実撮影された画像に限るものでもなく、ゲームアプリケーションによりリアルタイムで描画されたものであってもよい。

例えば、教会内、博物館内など変化があまりないような景色を撮影したコンテンツの場合、動画ではなく静止画が適しているといえる。変化があまりないため動画である必要がなく、静止画を表示することにより処理の負荷を軽減することができるからである。また、静止画を表示させることにより動画を表示する場合よりも高解像度のコンテンツをユーザに提供することもできる。

図１の画像処理システム１０はコンテンツサーバ２００と、コンテンツサーバ２００とインターネットなどを介して接続されている出力装置３００とを備えて構成されている。しかし、出力装置３００を使用せず、コンテンツサーバ２００が出力装置３００としての機能を担うようにしてもよい。この場合、コンテンツサーバ２００にヘッドマウントディスプレイ４００をインターネットなどを介して接続し、ヘッドマウントディスプレイ４００の姿勢センサ４１０で得た姿勢情報とをコンテンツサーバ２００に送信する。そして、実施の形態で出力装置３００が行ったのと同様にコンテンツサーバ２００が表示させるステレオペア全天球画像を決定してストリーミング形式でヘッドマウントディスプレイ４００に表示画像を送信する。

実施の形態では姿勢パターンＡ、姿勢パターンＢ、姿勢パターンＣの３つの姿勢パターンを設定して処理を行ったが、姿勢パターンの数は３つ限られるものではない。例えば、図１５Ａに示すように、姿勢パターンＡ、姿勢パターンＢ、姿勢パターンＣ、姿勢パターンＤ、姿勢パターンＥ、姿勢パターンＦからなる合計６つの姿勢パターンを設定してもよい。

図１５Ａに示すカメラ構成および姿勢パターンの場合、姿勢別使用カメラテーブルは図１５Ｂに示すように、６つの姿勢パターンを保持するように予め設定しておく必要がある。例えば、姿勢パターンＡは左目用画像をカメラ１、右目用画像をカメラ２とする。姿勢パターンＢは左目用カメラをカメラ１、右目用カメラをカメラ３とする。姿勢パターンＣは左目用カメラをカメラ２、右目用カメラをカメラ２とする。姿勢パターンＤは左目用カメラをカメラ２、右目用カメラをカメラ１とする。姿勢パターンＥは左目用カメラをカメラ３、右目用カメラをカメラ１とする。姿勢パターンＦは左目用カメラをカメラ３、右目用カメラをカメラ２とする。

この場合、保持して置くべき画像数は実施の形態の記載と同様に３カメラ分であるが、左目用カメラと右目用カメラの組み合わせ方を変えることでより細かい単位でステレオペア全天球画像を切り替えることができ、より視差破綻が少ない画像表示が可能となる。この場合Yaw, Pitch Rollの変化に応じた表示切り替えは、図１１の表におけるYawとRollをそれぞれ半分の角度単位で行うことになりパターン数は４倍となる。

また、実施の形態は説明の便宜上全天球カメラ１００において上方を向いているカメラの台数を３台としていたが、カメラの台数はそれに限られるものではない。カメラ台数を増やすことでより細かな単位でステレオペア全天球画像の切り替えが可能となるため、より自然なステレオ視が可能となる。更に、説明の便宜上、上方を向いたカメラについて述べたが、カメラの向きは上向き（見上げる方向）、下向き（見下ろす方向）に限られず、水平を含むどの方向でもよく、特に水平方向において上下方向のステレオペア全天球画像を使用することで、ヘッドマウントディスプレイ４００を装着したユーザが頭を傾けた状態や横に寝ることにより頭が傾いた状態で視聴する際も破綻が生じないまたは破綻が軽減された視聴が可能となる。

これにより、より細かい範囲ごとにステレオペア全天球画像を生成することができるので、ヘッドマウントディスプレイ４００の姿勢が変化し、それに応じてステレオペア全天球画像を切り替える際により自然で滑らかな切り替えを実現することができる。なお、姿勢パターンは６つにも限られず、それ以上またはそれ以下でもよい。

なお、出力装置３００はヘッドマウントディスプレイ４００と一体的に構成されていてもよい。

さらに、変形例に係る、広角レンズを用いた全天球カメラ１０００を図１６に示す。アスペクト比１６：９の広角（水平画角１３５度、垂直画角７０度）の小型カメラを用いて３６０度全方位を複数のカメラペアで撮影できるカメラ配置として図１６に示す構成を採用することができる。

カメラ０乃至カメラ２３までの合計２４台のカメラを用いて３６０度全方位が撮影可能となる。２４台のカメラは、緯度６０度に対応したカメラが６台、緯度−６０度に対応したカメラが６台、緯度０度のカメラが１２台で構成されている。

このカメラ構成では、上方向はカメラ０とカメラ１のペア、カメラ１とカメラ２のペア、カメラ２とカメラ３のペア、カメラ３とカメラ４のペア、カメラ４とカメラ５のペアで各方向のステレオペア全天球画像を生成することができる。

図１７は、図１６に示す全天球カメラ１０００が備える各カメラの画角を模式的に表したものである。図１７中の数字は図１６に示す全天球カメラ１０００が備えるカメラ０乃至カメラ２３の画角を示すものである。例えば、カメラ６とカメラ７の画角については、そのオーバーラップ部分にはカメラ０の画角も含まれている。よって、図１４に示す第１の状態でユーザが水平方向を向いておりヘッドマウントディスプレイ４００の姿勢が略水平状態である場合（Pitch＝−４５度〜＋４５度）、左目用カメラがカメラ６、右目用カメラがカメラ７となる。そして、図１４に示す第２の状態でユーザが上方を向き（Pitch＝４５度〜９０度）、体の向きを変えた場合（例えばYaw＝９０度）、左目用カメラをカメラ０、右目用カメラがカメラ６とする。同じ領域内にカメラ６とカメラ７のオーバーラップのあり、かつ、カメラ０とカメラ６のオーバーラップもあるため、使用するカメラを切り替えて同じ領域の画像を継続して生成することができるため、左右のステレオペアが破綻することを防止できる。

本技術は以下のような構成も取ることができる。
（１）
それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された前記姿勢ごとの２以上の視点画像に基づいて、前記表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する
画像処理装置。
（２）
前記複数の姿勢は、複数の所定の方向を少なくとも見上げたおよび／または見下ろした状態を含む姿勢である（１）に記載の画像処理装置。
（３）
前記複数の姿勢は、少なくとも前記表示装置が傾いた状態を含む姿勢である（１）または（２）に記載の画像処理装置。
（４）
前記ステレオペア全天球画像は、前記複数の姿勢に対応した複数の全天球画像から構成される（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記ステレオペア全天球画像は、全天球の一部を示す部分画像から構成される（１）から（３）のいずれかに記載の画像処理装置。
（６）
前記姿勢ごとに前記位置を予め対応付けたテーブルを参照することにより前記２以上の視点画像を決定する（１）から（５）のいずれかに記載の画像処理装置。
（７）
それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された前記姿勢ごとの２以上の視点画像に基づいて、前記表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する
画像処理方法。
（８）
それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された前記姿勢ごとの２以上の視点画像に基づいて、前記表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
（９）
表示装置の姿勢を取得する姿勢取得部と、
前記表示装置の複数の姿勢に基づいて、それぞれ異なる位置で撮像された複数の視点画像から生成された複数のステレオペア全天球画像から１以上のステレオペア全天球画像を選択する画像決定部と、
選択された前記ステレオペア全天球画像に基づいて前記表示装置において表示する表示画像を生成する画像生成部と
を備える画像処理装置。
（１０）
前記表示装置の姿勢は、前記表示装置の回転情報（Yaw、Pitch、Roll）により定義される（９）に記載の画像処理装置。
（１１）
前記画像生成部は、前記表示装置の姿勢が、予め定めた姿勢以外の姿勢である場合、予め定めた前記表示装置の姿勢に対応した２以上の前記ステレオペア全天球画像から前記表示画像としての合成画像を生成する（９）または（１０）に記載の画像処理装置。
（１２）
表示装置の姿勢を取得し、
前記表示装置の複数の姿勢に基づいて、それぞれ異なる位置で撮像された複数の視点画像から生成された複数のステレオペア全天球画像から１以上のステレオペア全天球画像を選択し、
選択された前記ステレオペア全天球画像に基づいて前記表示装置において表示する表示画像を生成する
画像処理方法。
（１３）
表示装置の姿勢を取得し、
前記表示装置の複数の姿勢に基づいて、それぞれ異なる位置で撮像された複数の視点画像から生成された複数のステレオペア全天球画像から１以上のステレオペア全天球画像を選択し、
選択された前記ステレオペア全天球画像に基づいて前記表示装置において表示する表示画像を生成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
（１４）
それぞれ異なる位置で撮影された複数の視点画像から選択された２以上の視点画像に基づいて表示装置の複数の姿勢に対応して生成された複数のステレオペア全天球画像から、前記表示装置の姿勢に基づいて選択された１以上の前記ステレオペア全天球画像を表示画像として前記表示装置に表示させる
画像処理装置。
（１５）
前記表示装置の姿勢が、予め定めた姿勢以外の姿勢である場合、予め定めた前記表示装置の姿勢に対応した２以上の前記ステレオペア全天球画像を合成した画像を前記表示画像として前記表示装置に表示させる（１４）に記載の画像処理装置。
（１６）
前記ステレオペア全天球画像は、前記複数の姿勢に対応した全天球画像により構成される（１４）または（１５）に記載の画像処理装置。
（１７）
前記ステレオペア全天球画像は、全天球の一部を示す部分画像から構成される（１４）または（１５）に記載の画像処理装置。
（１８）
それぞれ異なる位置で撮影された複数の視点画像から選択された２以上の視点画像に基づいて表示装置の複数の姿勢に対応して生成された複数のステレオペア全天球画像から、前記表示装置の姿勢に基づいて選択された１以上の前記ステレオペア全天球画像を前記表示装置において表示画像として表示させる
画像処理方法。
（１９）
それぞれ異なる位置で撮影された複数の視点画像から選択された２以上の視点画像に基づいて表示装置の複数の姿勢に対応して生成された複数のステレオペア全天球画像から、前記表示装置の姿勢に基づいて選択された１以上の前記ステレオペア全天球画像を前記表示装置において表示画像として表示させる
画像処理方法をコンピュータに実行させる画像処理プログラム。

１００・・・全天球カメラ
２００・・・コンテンツサーバ
３００・・・出力装置
４００・・・ヘッドマウントディスプレイ

Claims (19)

1. それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された前記姿勢ごとの２以上の視点画像に基づいて、前記表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する
   画像処理装置。
2. 前記複数の姿勢は、複数の所定の方向を少なくとも見上げたおよび／または見下ろした状態を含む姿勢である
   請求項１に記載の画像処理装置。
3. 前記複数の姿勢は、少なくとも前記表示装置が傾いた状態を含む姿勢である
   請求項１に記載の画像処理装置。
4. 前記ステレオペア全天球画像は、前記複数の姿勢に対応した複数の全天球画像から構成される
   請求項１に記載の画像処理装置。
5. 前記ステレオペア全天球画像は、全天球の一部を示す部分画像から構成される
   請求項１に記載の画像処理装置。
6. 前記姿勢ごとに前記位置を予め対応付けたテーブルを参照することにより前記２以上の視点画像を決定する
   請求項１に記載の画像処理装置。
7. それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された前記姿勢ごとの２以上の視点画像に基づいて、前記表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する
   画像処理方法。
8. それぞれ異なる位置で撮影された複数の視点画像から、表示装置の複数の姿勢に対応させて決定された前記姿勢ごとの２以上の視点画像に基づいて、前記表示装置の複数の姿勢に対応するステレオペア全天球画像を生成する
   画像処理方法をコンピュータに実行させる画像処理プログラム。
9. 表示装置の姿勢を取得する姿勢取得部と、
   前記表示装置の複数の姿勢に基づいて、それぞれ異なる位置で撮像された複数の視点画像から生成された複数のステレオペア全天球画像から１以上のステレオペア全天球画像を決定する画像決定部と、
   決定された前記ステレオペア全天球画像に基づいて前記表示装置において表示する表示画像を生成する画像生成部と
   を備える画像処理装置。
10. 前記表示装置の姿勢は、前記表示装置の回転情報（Yaw、Pitch、Roll）により定義される
    請求項９に記載の画像処理装置。
11. 前記画像生成部は、前記表示装置の姿勢が、予め定めた姿勢以外の姿勢である場合、予め定めた前記表示装置の姿勢に対応した２以上の前記ステレオペア全天球画像から前記表示画像としての合成画像を生成する
    請求項９に記載の画像処理装置。
12. 表示装置の姿勢を取得し、
    前記表示装置の複数の姿勢に基づいて、それぞれ異なる位置で撮像された複数の視点画像から生成された複数のステレオペア全天球画像から１以上のステレオペア全天球画像を決定し、
    決定された前記ステレオペア全天球画像に基づいて前記表示装置において表示する表示画像を生成する
    画像処理方法。
13. 表示装置の姿勢を取得し、
    前記表示装置の複数の姿勢に基づいて、それぞれ異なる位置で撮像された複数の視点画像から生成された複数のステレオペア全天球画像から１以上のステレオペア全天球画像を決定し、
    決定された前記ステレオペア全天球画像に基づいて前記表示装置において表示する表示画像を生成する
    画像処理方法をコンピュータに実行させる画像処理プログラム。
14. それぞれ異なる位置で撮影された複数の視点画像から選択された２以上の視点画像に基づいて表示装置の複数の姿勢に対応して生成された複数のステレオペア全天球画像から、前記表示装置の姿勢に基づいて決定された１以上の前記ステレオペア全天球画像を表示画像として前記表示装置に表示させる
    画像処理装置。
15. 前記表示装置の姿勢が、予め定めた姿勢以外の姿勢である場合、予め定めた前記表示装置の姿勢に対応した２以上の前記ステレオペア全天球画像を合成した画像を前記表示画像として前記表示装置に表示させる
    請求項１３に記載の画像処理装置。
16. 前記ステレオペア全天球画像は、前記複数の姿勢に対応した全天球画像により構成される
    請求項１４に記載の画像処理装置。
17. 前記ステレオペア全天球画像は、全天球の一部を示す部分画像から構成される
    請求項１４に記載の画像処理装置。
18. それぞれ異なる位置で撮影された複数の視点画像から選択された２以上の視点画像に基づいて表示装置の複数の姿勢に対応して生成された複数のステレオペア全天球画像から、前記表示装置の姿勢に基づいて決定された１以上の前記ステレオペア全天球画像を前記表示装置において表示画像として表示させる
    画像処理方法。
19. それぞれ異なる位置で撮影された複数の視点画像から選択された２以上の視点画像に基づいて表示装置の複数の姿勢に対応して生成された複数のステレオペア全天球画像から、前記表示装置の姿勢に基づいて決定された１以上の前記ステレオペア全天球画像を前記表示装置において表示画像として表示させる
    画像処理方法をコンピュータに実行させる画像処理プログラム。

Images