JP6719596B2

JP6719596B2 - 画像生成装置、及び画像表示制御装置

Info

Publication number: JP6719596B2
Application number: JP2018562874A
Authority: JP
Inventors: 友博大戸
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2017-01-19
Filing date: 2017-10-16
Publication date: 2020-07-08
Anticipated expiration: 2037-10-16
Also published as: WO2018134946A1; EP3573018A4; EP3573018B1; EP3573018A1; US10699372B2; WO2018135052A1; US20190355090A1; JPWO2018135052A1; CN110192221B; CN110192221A

Description

本発明は、パノラマ画像を生成する画像生成装置、パノラマ画像を表示する画像表示制御装置、画像生成方法、プログラム、及び画像データに関する。

観測点から見た全天周の景色を２次元平面に投影したパノラマ画像の画像フォーマットとして、正距円筒図法などのフォーマットが知られている。このようなパノラマ画像を用いることによって、例えばユーザーによる視点の向きの操作に応じて任意の方向の景色を表示するパノラマビューアを実現することができる。

上述した画像フォーマットを利用してパノラマ画像をユーザーに閲覧させる場合、ユーザーの前方や、特定の被写体が写っている箇所など、特定の方向が重要になることがある。しかしながら、従来のパノラマ画像のフォーマットでは、このような重要な方向とそうでない方向とが区別されていなかった。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、重要な方向をより高解像度で表示可能なパノラマ画像の画像データ、及びこれに対応した画像生成装置、画像表示制御装置、画像生成方法、及びプログラムを提供することにある。

本発明に係る画像生成装置は、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部と、前記生成されたパノラマ画像を出力する画像出力部と、を含み、前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、前記パノラマ画像生成部は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成することを特徴とする。

本発明に係る画像表示制御装置は、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を取得する取得部と、前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、を含み、前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、前記パノラマ画像は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面を変換してなるパノラマ画像であることを特徴とする。

本発明に係る画像生成方法は、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するステップと、前記生成されたパノラマ画像を出力するステップと、を含み、前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、前記パノラマ画像を生成するステップでは、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成することを特徴とする。

本発明に係るプログラムは、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部、及び、前記生成されたパノラマ画像を出力する画像出力部、としてコンピュータを機能させるためのプログラムであって、前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、前記パノラマ画像生成部は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成するプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明に係る画像データは、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面が平面形状に変換されてなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されており、前記投影面に含まれる、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面が変換されてなるパノラマ画像の画像データである。

全天周の景色に対応する仮想球を示す図である。１／４球面の景色が投影される投影面の一例を示す図である。投影面を構成する幹線の一例を示す図である。投影面を構成する支線の一例を示す図である。図２の投影面に投影される景色が変換されてなるパノラマ画像の一部分を示す図である。パノラマ画像の一例を示す図である。投影面の別の例を示す図である。パノラマ画像の一部分の別の例を示す図である。曲線により形成された幹線の一例を示す図である。画像表示システムの構成を示す構成ブロック図である。画像表示システムの機能を示す機能ブロック図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

[パノラマ画像の画像フォーマット]
本実施形態に係る画像生成装置は、観測点から見た全天周の全部、又は一部範囲の景色を含んだパノラマ画像を生成する。以下では、本実施形態に係る画像生成装置によって生成されるパノラマ画像をパノラマ画像Ｉと表記する。パノラマ画像Ｉは、全天周の全部、又は一部範囲の景色を含んだ２次元（平面）の画像データである。ここで全天周とは、観測点から見て水平方向（左右方向）に３６０度、鉛直方向（上下方向）に天頂から天底まで１８０度の全ての方位を意味している。

以下、本実施形態におけるパノラマ画像Ｉの画像フォーマットの具体例について、説明する。観測点から見た全天周の景色は、観測点の位置を中心とした仮想的な球面上に表される。ここで、全天周の景色に対応する仮想的な球を仮想球Ｓとする。以下では説明のために、観測点に対応する仮想球Ｓの中心点Ｏを原点として、互いに直交するｘ軸、ｙ軸、ｚ軸の３軸からなる座標系を使用する。ｘ軸、及びｚ軸は水平面上に沿って配置され、ｙ軸は鉛直方向に沿って配置されるものとする。

本実施形態では、全天周のうち、観測点から見て特に重要な方向が設定される。以下では、この重要な方向を注目方向という。ここでは、注目方向はｘ軸正方向に設定されるものとする。注目方向は、ユーザーが特に注目すると想定される方向や、パノラマ画像Ｉの生成者がユーザーに特に注目して欲しいと考える方向であって、例えば重要な被写体が写っている方向などであってよい。本実施形態では、仮想球Ｓ上において注目方向に近い領域ほど、高画質（高解像度）になるようにパノラマ画像Ｉが生成される。

仮想球Ｓを、その中心点Ｏを通り、注目方向に平行で互いに直交する２つの平面によって４分割すると、図１に示すように４個の１／４球面Ｓ１〜Ｓ４が得られる。この図では、仮想球Ｓはｘｙ平面（鉛直面）及びｘｚ平面（水平面）の二つの平面によって４分割されている。４個の１／４球面は、いずれも中心点Ｏを通り注目方向に平行な一つの平面に対して対称な形状になっている。具体的に、１／４球面Ｓ１、及び１／４球面Ｓ３は、いずれもｙ＝ｚで表される平面に対して対称な形状を有する。また、１／４球面Ｓ２、及び１／４球面Ｓ４は、いずれもｙ＝−ｚで表される平面に対して対称な形状を有する。

以下では、４個の１／４球面のうちの１／４球面Ｓ１を例として、この１／４球面Ｓ１に対応する景色を含んだパノラマ画像Ｉの一部分の生成方法を説明する。この１／４球面Ｓ１に対応する範囲の景色は、互いに連結された複数の多角形（三角形又は四角形）によって構成される投影面Ａ１に投影される。図２は、この投影面Ａ１の具体例を示す斜視図である。投影面Ａ１の注目方向に沿った中心線を、以下では幹線Ｔという。前述した通り１／４球面Ｓ１はｙ＝ｚで表される平面に対して対称な形状となっているので、これに対応して幹線Ｔもこの平面上に配置される。以下では、幹線Ｔが配置される平面（ここではｙ＝ｚで表される平面）を中心面という。幹線Ｔは、投影面Ａ１を中心面で切断した際の形状を表している。すなわち、幹線Ｔは、中心点Ｏを含み注目方向に平行な平面である中心面内において、注目方向側の一端と、その逆側の一端とを結ぶ線になっている。

図３は中心面内における幹線Ｔの形状の具体例を示している。なお、ここでは一例として、投影面Ａ１は６個の多角形が連結されて構成されているものとする。これに対応して、幹線Ｔは図３に示すように６個の線分によって構成される。また、以下では中心面内の位置を、互いに直交するＸ軸及びＹ軸からなる２次元座標系で表すこととする。ここで、Ｘ軸は３次元空間のｘ軸に一致するが、Ｙ軸はｙ軸をｚ軸側に４５°傾けた向きになっている。

以下、幹線Ｔの形状の決定方法について、説明する。ここでは、幹線Ｔを構成する６個の線分を、注目方向と反対側から順にＴ_１、Ｔ_２、Ｔ_３、Ｔ_４、Ｔ_５、Ｔ_６とする。また、注目方向の反対方向（Ｘ軸負方向）側の幹線Ｔの端点を起点Ｐ_１とし、各線分の端点を、起点Ｐ_１に近い側から順に中継点Ｐ_２、Ｐ_３、Ｐ_４、Ｐ_５、Ｐ_６とする。さらに、注目方向（Ｘ軸正方向）側の幹線Ｔの端点を終点Ｐ_７とする。

中継点Ｐ_２〜Ｐ_６は、線分Ｔ_１〜Ｔ_６それぞれを中心点Ｏから見込む角（すなわち、各線分の両端と中心点Ｏにより形成される角）が互いに等しくなるように配置されている。すなわち、角Ｐ_１ＯＰ_７（＝１８０°）を６等分する５本の補助線を引いた場合に、中継点Ｐ_２〜Ｐ_６はこれらの補助線上に配置されることになる。つまり、角Ｐ_１ＯＰ_２、角Ｐ_２ＯＰ_３、角Ｐ_３ＯＰ_４、角Ｐ_４ＯＰ_５、角Ｐ_５ＯＰ_６、角Ｐ_６ＯＰ_７は互いに等しく、全て３０°（＝１８０°／６）になる。以下ではこの角度（中心点Ｏから各線分を見込む角）を対応角αという。線分Ｔ_１〜Ｔ_６は、それぞれ中心点Ｏから見て対応角αの範囲をカバーすることになる。

起点Ｐ_１は、注目方向の反対方向（Ｘ軸負方向）側において中心点Ｏから所定の距離離れた位置に設定される。ここでは起点Ｐ_１の位置座標を（Ｘ＝−１，Ｙ＝０）とする。さらに、中継点Ｐ_２は、起点Ｐ_１を通り直線ＯＰ_１に垂直な直線と、起点Ｐ_１に最も近い補助線とが交差する位置に設定される。つまり、中継点Ｐ_２の位置は、角Ｐ_１ＯＰ_２がα＝３０°で、角ＯＰ_１Ｐ_２が９０°になるように決定される。ここでの角ＯＰ_１Ｐ_２を射出角βという。さらに、中継点Ｐ_３は、角Ｐ_２ＯＰ_３が３０°、角ＯＰ_２Ｐ_３が９０°になるように決定される。残る中継点Ｐ_４〜Ｐ_６、及び終点Ｐ_７のそれぞれも、角Ｐ_ｎ−１ＯＰ_ｎ（対応角α）が３０°、角ＯＰ_ｎ−１Ｐ_ｎ（射出角β）が９０°になるように、順次決定される。

このようにして起点Ｐ_１、中継点Ｐ_２〜Ｐ_６、及び終点Ｐ_７の位置が決定されると、中心面内における幹線Ｔの形状が決定される。このとき、線分Ｔ_１〜Ｔ_６は全て長さが異なり、しかも注目方向に近い線分ほど長さが長くなり、注目方向の反対方向に近い線分ほど長さが短くなる。つまり、幹線Ｔの形状は、中心点Ｏを通り注目方向に垂直な平面に対して非対称となっており、注目方向側の部分が反対側の部分よりも長くなる。

ここで、中心面内の位置座標を極座標（ｒ，θ）で表すことを考える。このとき、幹線Ｔの形状はｒ＝ｆ（θ）という極座標系の一価関数によって表現される。ｒは、中心点Ｏまでの距離である。θは、Ｘ軸負方向を０°とし、反時計回り方向を正方向とする角度値であって、０°以上１８０°以下の値をとる。以上説明したような方法で決定された幹線Ｔをこのように関数ｆで表現すると、関数ｆはθが増加するにつれてｒが増加する単調増加関数となっている。これにより、注目方向に近づくにつれて、単位角度あたりの幹線Ｔの長さが長くなるようにすることができる。

幹線Ｔの形状が決定されると、次に、中継点Ｐ_２〜Ｐ_６のそれぞれを通るように、５本の支線Ｆ_１〜Ｆ_５が配置される。これらの支線Ｆは、幹線Ｔを背骨と見た場合の肋骨に相当し、幹線Ｔの延伸方向から見て左右に延びるように配置される。具体的に、ここでは支線Ｆ_１〜Ｆ_５は、中心面と直交する方向に沿って配置される。また、支線Ｆ_１〜Ｆ_５は、いずれもその中点が幹線Ｔ上の中継点に一致するように配置される。各支線Ｆの長さは、１／４球面Ｓ１に対応するように決定される。

支線Ｆ_１を例として、その配置を具体的に説明する。図４は、中継点Ｐ_２及び支線Ｆ_１を含むｘ軸に垂直な平面内の様子を示している。１／４球面Ｓ１を、中継点Ｐ_２を通り注目方向と直交する平面で切断した場合、中心角９０°の扇形形状となる。そのため、支線Ｆ_１も、図４に示されるように、その両端とｘ軸上の点とでなす角が９０°になるように、その長さが決定される。このとき支線Ｆ_１の長さは、中継点Ｐ_２からｘ軸までの距離の２倍に等しくなる。なお、支線Ｆ_１の中点は中継点Ｐ_２に一致するので、支線Ｆ_１は、中心面に対して対称になっている。支線Ｆ_１と同様に、支線Ｆ_２〜Ｆ_５も、対応する中継点からｘ軸までの距離の２倍に等しくなるように、その長さが決定される。

このようにして幹線Ｔ、及び支線Ｆ_１〜Ｆ_５の位置が決定されると、投影面Ａ１の全体形状が決定されることになる。すなわち、投影面Ａ１は、幹線Ｔの起点Ｐ_１と終点Ｐ_７、及び各支線Ｆの両端を結んでできる形状となる。１／４球面Ｓ１の景色は、この投影面Ａ１に投影される。各支線Ｆ_１〜Ｆ_５は中心面に対して対称なので、投影面Ａ１全体も、１／４球面Ｓ１と同様、中心面に対して対称になる。なお、投影面Ａ１上には、支線Ｆ_１〜Ｆ_５のほかに、支線Ｆ_ｄが設定される。この支線Ｆ_ｄは、他の支線Ｆ_１〜Ｆ_５と平行する投影面Ａ１上の線分である。支線Ｆ_ｄの位置の決定方法については、後述する。

投影面Ａ１に投影された景色は、平面形状に変換されてパノラマ画像Ｉの一部となる。以下では、投影面Ａ１に対応するパノラマ画像Ｉ内の領域を、画像部分Ｉｐ１という。本実施形態では、画像部分Ｉｐ１は正方形の形状を有するものとする。図５は、この画像部分Ｉｐ１を示しており、投影面Ａ１内の幹線Ｔ、及び支線Ｆ_１〜Ｆ_５に対応する線分が図示されている。

図５に示されるように、幹線Ｔは、画像部分Ｉｐ１の一方の対角線に対応づけられる。ここでは、画像部分Ｉｐ１の右上の頂点が起点Ｐ_１に対応し、左下の頂点が終点Ｐ_７に対応している。この対角線Ｐ_１Ｐ_７は、６分割されて、それぞれ幹線Ｔを構成する線分Ｔ_１〜Ｔ_６のいずれかに対応づけられる。画像部分Ｉｐ１内における各線分の長さは、投影面Ａ１内における線分Ｔ_１〜Ｔ_６の長さに応じて決定される。ただし、６個の線分は、投影面Ａ１上における長さの比を完全に保つように変換される必要はなく、その中心面内における位置に応じて補正された長さに変換されてよい。

具体的な長さの補正の例について、説明する。投影面Ａ１内におけるＯＰ_１の長さを１とすると、投影面Ａ１内における線分Ｔ_１〜Ｔ_６の長さは、以下の表１に示される値となる。

各線分の長さは、補正係数を乗じた値に補正される。ｎ番目の線分Ｔ_ｎに対する補正係数ａ_ｎは、（ｎ−１）番目の線分Ｔ_ｎ−１（すなわち、注目方向と反対側の隣接する線分）に対する補正係数ａ_ｎ−１と、対応角α、及び射出角βを用いて、以下の式により算出される。
ａ_ｎ＝ａ_ｎ−１×ｓｉｎ（β）／ｓｉｎ（１８０°−α−β）
ここでは、全ての線分について対応角α＝３０°、射出角β＝９０°であるため、
ａ_ｎ＝ａ_ｎ−１／ｓｉｎ６０°
となる。また、線分Ｔ_１については補正の必要はないので、ａ_１＝１である。そのため、例えばａ_２は
ａ_２＝１／ｓｉｎ６０°
で計算され、およそ１．１５となる。線分Ｔ_２〜Ｔ_６に対する補正係数についても、同様にして順に計算される。表１には、この計算式によって計算された各線分に対する補正係数が示されている。各線分の補正後の長さは、投影面Ａ１内の長さに対してこの補正係数を乗じた値である。

画像部分Ｉｐ１内における各線分の長さは、この補正後の長さと一致するように計算される。すなわち、線分Ｔ_１〜Ｔ_６までの補正後の長さの合計値をＬｔとすると、画像部分Ｉｐ１内における各線分の長さが幹線Ｔの全長に対して占める割合は、（補正後の長さ）／Ｌｔで求められる。実際の画像部分Ｉｐ１内における各線分の長さは、この割合に画像部分Ｉｐ１の対角線の長さを乗じた値となる。

このような補正は、単位角度に対する幹線Ｔの長さの変化の不連続を緩和するためのものである。ここで単位角度とは、幹線Ｔを含む中心面内における、中心点（観測点）Ｏを中心とした回転角である角度θの単位量を指している。前述したように極座標系の一価関数ｒ＝ｆ（θ）で幹線Ｔの形状を表現する場合において、θを増加させていくと、角度θの単位量に対する幹線Ｔの長さは、線分と線分の境界で不連続に変化する。このような不連続性が存在すると、仮想球Ｓ上の単位領域に対応する画像部分Ｉｐ１内の領域の広さ（すなわち、画像内に含まれる情報の密度）も不連続に変化することになり、好ましくない。そこで、上述したような補正係数ａ_ｎによる補正を行うことにより、このような不連続を防止することができる。なお、投影面Ａ１の各線分上における任意の点の位置と、画像部分Ｉｐ１内の各線分内における位置との対応関係は、線形補間等の補間計算により決定されてよい。

投影面Ａ１内の支線Ｆ_１〜Ｆ_５は、それぞれ、画像部分Ｉｐ１内において、幹線Ｔに対応する対角線と交差する対角線に平行な線分に変換される。具体的に支線Ｆ_１〜Ｆ_５は、それぞれ投影面Ａ１内と同様に、画像部分Ｉｐ１内でも中継点Ｐ_２〜Ｐ_６を通るように変換される。なお、ここでは画像部分Ｉｐ１を正方形としているので、各支線Ｆは幹線Ｔと直交する。

さらに、幹線Ｔに対応する対角線と交差する対角線そのものも、支線Ｆの一つとして設定される。これが、前述した支線Ｆ_ｄである。投影面Ａ１内における支線Ｆ_ｄの位置は、画像部分Ｉｐ１内における対角線の位置に対応した位置に設定される。

このようにして幹線Ｔ、及び各支線Ｆの対応関係が決定されることにより、投影面Ａ１内の位置は画像部分Ｉｐ１内の位置に変換される。具体的に、投影面Ａ１のうち、支線Ｆ_１と起点Ｐ_１で囲まれる三角形、及び支線Ｆ_５と終点Ｐ_７で囲まれる三角形は、それぞれ画像部分Ｉｐ１の右上、及び左下の三角形に変換される。また、支線Ｆ_１〜Ｆ_５、及びＦ_ｄのうち、隣接する２個の支線Ｆで挟まれた台形は、画像部分Ｉｐ１内で同じ２個の支線Ｆにより挟まれる台形に変換される。

なお、三角形を三角形に変換する場合、その内部に含まれる点の変換後の位置は、一意に決定される。一方、四角形を四角形に変換する場合、その内部に含まれる点の変換後の位置は、一意に定まらない。そこで、例えば以下のように変換を行う。すなわち、まず幹線Ｔに平行な方向の位置を、線形に補間する。その後、幹線Ｔと交差する方向（すなわち、支線Ｆに平行な方向）の位置を、線形に補間する。このような変換によって、投影面Ａ１上の任意の点を、画像部分Ｉｐ１内の位置に対応させることができる。

なお、四角形の変換の方法は、以上説明したものに限られない。例えば投影面Ａ１上において２個の支線Ｆにより形成される台形を２個の三角形に分割し、そのそれぞれを画像部分Ｉｐ１上に変換してもよい。また、テッセレーション処理を実行することによって投影面Ａ１上の三角形や四角形をさらに分割し、分割によって得られるポリゴン単位で変換を行ってもよい。このような変換方法によれば、変換に伴って発生する誤差の程度を抑えることができる。また、テッセレーションを含むこのような多角形から多角形への変換処理は、公知のコンピュータグラフィックスライブラリ等を利用して容易に実現することができる。

以上説明したような変換によって、１／４球面Ｓ１内の景色は、平面形状を有する画像部分Ｉｐ１に変換される。１／４球面Ｓ２〜Ｓ４についても、その内部の景色を投影面Ａ２〜Ａ４に投影し、同様の変換を行うことによって、画像部分Ｉｐ２〜Ｉｐ４が得られる。このようにして得られる４個の画像部分Ｉｐ１〜Ｉｐ４を並べることで、全天周の景色を含んだ平面形状のパノラマ画像Ｉが生成される。

図６は、このようにして得られるパノラマ画像Ｉの一例を示している。各画像部分が正方形なので、パノラマ画像Ｉも全体として正方形の形状を有している。パノラマ画像Ｉの中心Ｃが、注目方向（ｘ軸正方向）に対応している。この図においては、注目方向に対して角度３０°までの範囲、６０°までの範囲、９０°までの範囲、及び１２０°までの範囲のそれぞれを表す曲線が図示されている。この図に示されるように、注目方向に近い場所ほど、パノラマ画像Ｉ内においてより広い領域が割り当てられる。そのため、パノラマ画像Ｉは注目方向に近い場所ほどより多くの情報を含み、注目方向と反対側については比較的少ない情報しか含まないようになっている。このようなパノラマ画像Ｉを用いて景色画像を描画した場合、注目方向に近い箇所ほど高画質で画像を描画できることになる。

なお、以上の説明では投影面Ａ１は６個の多角形から構成されることとし、これに対応して幹線Ｔは６個の線分により構成されることとした。しかしながらこれに限らず、幹線Ｔは３本以上の任意の数の線分によって構成されてよい。図７は、幹線Ｔを４本の線分によって構成することとし、以上の説明と同様の手順で投影面Ａ１の形状を決定した場合における投影面Ａ１の形状を示している。このように幹線Ｔをより少ない数の線分で構成すると、注目方向と注目方向の反対側とで情報密度の差がより大きくなる。逆に幹線Ｔを構成する線分の数を増加させると、幹線Ｔの形状は半円に近づいていき、注目方向とその反対側との間の情報密度の差は小さくなる。

また、以上の説明では、幹線Ｔを構成する複数の線分のそれぞれは、対応角αが互いに等しくなるように決定されることとした。しかしながら、対応角αは線分ごとに異なってもよい。

また、以上の説明では射出角βを９０°としたが、これに限らず射出角βは９０°より大きく１８０°より小さな任意の値であってもよい。射出角が９０°≦β＜１８０°であれば、幹線Ｔの形状を表す関数ｒ＝ｆ（θ）は単調増加関数となる。そのため、幹線Ｔを構成する複数の線分を、注目方向に近づくにつれて順に長くなるようにすることができる。ただし、射出角βは、次の対応角αに対して、α＋β＜１８０°の関係を満たす必要がある。なお、このように幹線Ｔを構成する各線分の対応角αと射出角βがこれまでの説明と異なる値をとる場合にも、前述した補正係数ａ_ｎについては、同様の計算式で順に算出することができる。

また、幹線Ｔは、その一部又は全部が曲線により構成されてもよい。この場合にも、関数ｒ＝ｆ（θ）が単調増加関数となるように幹線Ｔの形状を定義することで、注目方向に近くなるほど、仮想球Ｓ上の単位領域に対応するパノラマ画像Ｉ内の領域が広くなるようにすることができる。

このような関数の具体例について、説明する。例えば幹線Ｔは、関数ｆ（θ）＝ｅ^ａθで定義される曲線であってよい。ここでａは、正の値をとる任意の係数である。この場合、幹線Ｔは、注目方向に近づくにつれて、単位角度あたりの長さが指数的に増加する。係数ａが
ａ＝６・ｌｏｇ（４／３・π）
のとき、この関数によって定義される曲線は、３０°あたりの長さの比率が、図３に例示した幹線Ｔを構成する各線分に対して重み付けをした長さの比率と一致する。図８は、この曲線によって形成された幹線Ｔの形状を示している。この図においては、比較のために図３の幹線Ｔが一点鎖線で示されている。また、図中の二点鎖線は、図３の幹線Ｔを構成する線分Ｔ_１以外の線分Ｔ_２〜Ｔ_６を、曲線の幹線Ｔに合わせて距離を変化させたものである。距離を変化させた各線分と、同じ角度範囲に対応する曲線の幹線Ｔとの長さの比は、どの角度でも一定になっている。

また、支線Ｆも、以上説明したような形状及び配置のものに限られない。例えば支線Ｆは、対応する中継点を通り、注目方向に垂直な平面内において、複数の線分によって構成される形状であってもよい。あるいは、弧状に形成されるなど、曲線を含む形状であってもよい。いずれにせよ、支線Ｆは、中心面に対して対称な形状であって、支線Ｆをｘ軸上の点から見込む角（支線Ｆの両端と中心角Ｏにより形成される角）が対応する１／４球面に一致するように（すなわち、９０°になるように）決定される。また、支線Ｆは、対応する中継点、及び中心点Ｏを通り、中心面に垂直な平面内に配置されてもよい。

また、以上の説明では、注目方向は水平面に平行な方向であることとしたが、これに限らず注目方向は全天周の任意の方向に設定されてよい。この場合も、注目方向を基準として、中心面が注目方向に平行になるように投影面Ａ１〜Ａ４の配置位置を決定することで、注目方向に近づくほど情報量が大きくなるようにパノラマ画像Ｉを生成することができる。なお、仮想球Ｓを１／４球面に分割する際の向きについても、任意の向きに設定されてよい。

また、以上の説明では全天周の景色の全てをパノラマ画像Ｉに含めることとしたが、本実施形態におけるパノラマ画像Ｉはこのようなものに限られず、全天周の一部の範囲の景色のみを含むものであってもよい。例えばパノラマ画像Ｉは、１／４球面Ｓ１〜Ｓ４のうちの１個のみに対応する景色を含んだものであってもよいし、２個の１／４球面（すなわち、半球）に対応する景色を含んだものであってもよい。

さらに、本実施形態におけるパノラマ画像Ｉは、ある１／４球面について、その一部範囲の景色のみを画像部分に変換して生成されるものであってもよい。この場合、景色が投影されていない範囲については、パノラマ画像Ｉ内においてダミー情報を持った画素（例えば画素値０の画素）としてもよい。これにより、例えば天底に近い高緯度の範囲など、一部範囲の景色に関する情報がない場合であっても、本実施形態の手法によりパノラマ画像Ｉを生成することができる。また、１／４球面に対応する投影面Ａ１〜Ａ４のそれぞれは、正方形以外の形状（例えば長方形形状）の画像部分に変換されることとしてもよい。

以下、本実施形態におけるパノラマ画像Ｉの変形例についてさらに説明する。

以上の説明では、幹線Ｔは、極座標系の角度θを変数とする単調増加関数ｒ＝ｆ（θ）によって表現可能な形状であることとした。すなわち、幹線Ｔは、注目方向（θ＝１８０°）に近づくにつれて単位角度あたりの長さが長くなるような形状となっている。これにより、パノラマ画像Ｉ内における注目方向近傍の領域の情報量を増やすことができる。しかしながらこれに限らず、幹線Ｔの形状は、単位角度あたりの長さが注目方向に近づくにつれて長くなる形状でなくともよい。例えば幹線Ｔの形状は、中心点Ｏから見て注目方向側とその逆側とで対称な形状であってよく、半円に近い形状であってもよい。

幹線Ｔがこのような形状を有していても、幹線Ｔを含む投影面を平面形状のパノラマ画像Ｉに変換する際に、投影面の部分毎に変換の比率を変化させることで、幹線Ｔが注目方向に近づくにつれて単位角度あたりの長さが長くなる形状を有している場合と同様の効果を得ることができる。具体的には、幹線Ｔを構成する複数の部分のそれぞれを、注目方向に近い部分ほどパノラマ画像Ｉ内における長さが長くなるように変換することとする。これにより、注目方向に近い領域ほど単位角度あたりの情報量が多いパノラマ画像Ｉを生成することができる。この例では、投影面内における幹線Ｔそのものは、単位角度あたりの長さが注目方向に近づくほど長くなっているわけではないが、パノラマ画像Ｉ内では、幹線Ｔの単位角度あたりの長さが、注目方向に近づくほど長くなっている。

換言すると、パノラマ画像Ｉ内の幹線Ｔと投影面内における幹線Ｔとの対応関係は、パノラマ画像Ｉ内における幹線Ｔの単位長さが、投影面内においては注目方向に近いほどより大きな角度θに対応するように、定義される。ここで、パノラマ画像Ｉ内における幹線Ｔの単位長さは、パノラマ画像Ｉの各画素の画素サイズに相当する長さであってもよい。このような対応関係にしたがって投影面とパノラマ画像Ｉとの間の変換を行うことによって、注目方向ほど解像度の高い映像を提供できるようになる。

なお、これまでの説明では、パノラマ画像Ｉ内における幹線Ｔの単位角度あたりの長さは、注目方向に近づくにつれて一貫して増加し続けることとした。しかしながら、投影面の構造や対応関係の定義の仕方によっては、単位角度あたりの長さが一時的に減少する場合があってもよい。そのような場合であっても、注目方向に最も近い位置で単位角度あたりの長さが最も長くなるように対応関係が定義されていれば、注目方向近傍で情報量の多いパノラマ画像Ｉを生成することができる。

また、以上の説明では、１個の１／４球面に対応する投影面を図４に例示したような正方形の画像部分に変換し、このような画像部分を４個並べることで全天周の景色を含んだパノラマ画像Ｉを生成することとした。しかしながら、１／４球面に対応する画像部分は、このような形状に限られない。例えば１／４球面に含まれる景色は、直角二等辺三角形の形状に変換されてもよい。図９は、この場合の画像部分の一例を示している。この図の例では、図５と同様に１／４球面Ｓ１の景色を含んだ画像部分Ｉｐ１が示されており、直角二等辺三角形の頂角が注目方向に対応している。また、幹線Ｔは、頂角から底辺に延びる垂線、及び底辺によって構成されており、幹線Ｔのうち注目方向と逆側の半分は、底辺を二分してなる２つの線分の双方に対応している。これに伴って、起点Ｐ_１は左右の底角に対応する点Ｐ_１Ｌ、点Ｐ_１Ｒに対応している。同様に、中継点Ｐ_２〜Ｐ_５もそれぞれ底辺上の二点に対応する。このような画像部分を、注目方向に対応する頂角が中心で重なるように４個並べて配置することで、全体として正方形のパノラマ画像Ｉを生成することができる。この例でも、投影面内において幹線Ｔ、及び支線によって囲まれる多角形のそれぞれが、パノラマ画像Ｉ内において三角形ないし台形に変換されている。

［画像表示システムの構成、及び機能］
次に、本発明の実施形態に係る画像生成装置１０、及び画像表示制御装置２０を含んだ画像表示システム１の構成を説明する。

画像生成装置１０は、パノラマ画像Ｉを生成する情報処理装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。図１０に示されるように、画像生成装置１０は、制御部１１と、記憶部１２と、通信部１３と、を含んで構成される。

制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部１１はパノラマ画像Ｉの生成処理を実行する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部１３は、ＬＡＮカード等の通信インタフェースであって、通信ネットワーク経由で画像表示制御装置２０に対してパノラマ画像Ｉのデータを送信する。

画像表示制御装置２０は、画像生成装置１０で生成されたパノラマ画像Ｉに基づく画像の表示制御を行う情報処理装置であって、画像生成装置１０と同様に、家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。画像表示制御装置２０は、制御部２１、記憶部２２、及び通信部２３を含んで構成されている。さらに画像表示制御装置２０は、表示装置２４及び操作デバイス２５と接続されている。

制御部２１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部２２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部２１は、パノラマ画像Ｉに基づいて表示画像を描画する処理を実行する。記憶部２２はＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部２１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部２３は、ＬＡＮカード等の通信インタフェースであって、画像生成装置１０から送信されるデータを通信ネットワーク経由で受信する。

表示装置２４は、液晶ディスプレイ等であって、画像表示制御装置２０が供給する映像信号に従って画像を表示する。表示装置２４は、画像表示制御装置２０が供給する立体視可能な画像を表示する立体画像表示装置であってもよい。また、表示装置２４は、ユーザーが頭部に装着可能なヘッドマウントディスプレイ等の頭部装着型表示装置であってもよい。

操作デバイス２５は、家庭用ゲーム機のコントローラやポインティングデバイス等であって、ユーザーが画像生成装置１０に対して各種の指示操作を行うために使用される。操作デバイス２５に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより画像表示制御装置２０に送信される。なお、操作デバイス２５は画像表示制御装置２０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。

次に、画像生成装置１０及び画像表示制御装置２０が実現する機能について、図１１を用いて説明する。図１１に示すように、画像生成装置１０は、機能的に、景色情報取得部３１と、パノラマ画像生成部３２と、パノラマ画像送信部３３と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。また、画像表示制御装置２０は、機能的に、パノラマ画像取得部３４と、方向取得部３５と、表示画像描画部３６と、を含む。これらの機能は、制御部２１が記憶部２２に記憶されたプログラムを実行することにより実現される。各装置で実行されるプログラムは、インターネット等の通信ネットワークを介して各装置に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

景色情報取得部３１は、パノラマ画像Ｉを生成するための元データとなる景色情報を取得する。景色情報は、観測点から見た全天周の景色を仮想球Ｓに投影した場合に、仮想球Ｓの表面上の各単位領域の色（画素値）を特定するのに必要な情報である。例えば景色情報は、正距円筒図法のように本実施形態とは異なる画像フォーマットで生成されたパノラマ画像であってもよい。また、パノラマカメラによって撮影されたパノラマ写真の画像データであってもよい。景色情報取得部３１は、景色情報を通信ネットワーク経由で他の装置から受信してもよいし、画像生成装置１０に接続されたカメラ等のデバイスから読み込んでもよい。また、フラッシュメモリー等の情報記憶媒体に記憶された景色情報を読み出してもよい。

パノラマ画像生成部３２は、景色情報取得部３１が取得した景色情報を用いてパノラマ画像Ｉを生成する。パノラマ画像Ｉは、前述したように全天周の全部、又は一部の景色を含んだ２次元の画像データである。具体的にパノラマ画像生成部３２は、所与の条件により、注目方向、並びに投影面Ａ１〜Ａ４の位置及び形状を決定する。そして、前述した投影面内の位置とパノラマ画像Ｉ内の位置との対応関係に従って、パノラマ画像Ｉ内の各画素の画素値を景色情報に基づいて算出することにより、パノラマ画像Ｉを生成する。

なお、投影面内の位置とパノラマ画像Ｉ内の位置との対応関係は、投影面の位置及び形状によって決定される。そして、これまで説明したように、投影面の位置及び形状は、注目方向がどの方向かと、幹線Ｔ及び支線Ｆの位置及び形状によって定義される。これらの投影面の位置及び形状を定義づける情報は、画像表示制御装置２０がパノラマ画像Ｉを用いてその中に含まれる景色を再現するために必要となる。そこでパノラマ画像生成部３２は、このようなパノラマ画像Ｉの構成を定義する情報（以下、画像定義情報という）を、生成したパノラマ画像Ｉに関連づけて出力する。

また、パノラマ画像生成部３２は、立体視用のパノラマ画像データを生成してもよい。この場合に生成される画像データは、例えば左半分に左目用画像を生成するための正方形のパノラマ画像Ｉを含み、右半分に右目用画像を生成するための正方形のパノラマ画像Ｉを含んだ縦横比１：２の矩形の画像データであってよい。また、パノラマ画像生成部３２は、時間とともに変化する動画像としてパノラマ画像Ｉを生成してもよい。

パノラマ画像送信部３３は、パノラマ画像生成部３２が生成したパノラマ画像Ｉを、画像表示制御装置２０に対して送信する。このときパノラマ画像送信部３３は、画像定義情報を併せて送信する。

パノラマ画像取得部３４は、画像生成装置１０のパノラマ画像送信部３３が送信するパノラマ画像Ｉを受信することによって、取得する。ここではパノラマ画像取得部３４は、通信ネットワークを介して画像生成装置１０から送信されるパノラマ画像Ｉを直接受信することとする。しかしながら、これに限らず、パノラマ画像取得部３４はサーバコンピュータ等の他の装置を経由してパノラマ画像Ｉを受信してもよい。

方向取得部３５は、ユーザーの指示などに基づいて、表示装置２４に表示される表示画像の視野範囲（表示範囲）を決定するために用いられる方向情報を取得する。方向取得部３５が取得する方向情報は、後述する表示画像描画部３６が表示画像を生成する際の仮想カメラの撮像方向として使用される。この撮像方向は、例えば水平方向の角度を表すヨー角と上下方向の角度を表すピッチ角とによって定義される。さらに方向取得部３５は、撮像方向を回転軸としたカメラの回転の角度を示すロール角も取得してもよい。

具体的に、例えば方向取得部３５は、操作デバイス２５に対するユーザーの方向を指示する操作入力を受け付けることによって、方向情報を取得する。あるいは方向取得部３５は、ユーザーが画像表示制御装置２０の本体を傾ける動作を行った場合に、画像表示制御装置２０に内蔵されているモーションセンサーの検出結果から方向情報を取得してもよい。これにより、例えば画像表示制御装置２０がスマートフォンやタブレットのように小型の筐体を備えている場合、ユーザーは画像表示制御装置２０の向きを変化させることによって任意の向きに視野範囲を変化させることができる。また、表示装置２４が頭部装着型表示装置である場合、方向取得部３５は、この表示装置２４内に内蔵されたモーションセンサーの検出結果から方向情報を取得してもよい。これにより、ユーザーの頭部の向きの変化に応じて視野範囲を変化させることができる。

表示画像描画部３６は、パノラマ画像取得部３４が取得したパノラマ画像Ｉに基づいて、方向取得部３５が取得した方向情報に応じて決まる視野範囲内の景色を示す表示画像を描画し、表示装置２４に表示させる。これによりユーザーは、パノラマ画像Ｉ内に含まれる特定の視野範囲内の景色を閲覧することができる。さらに、操作デバイス２５に対する操作入力等によって視野範囲を変化させることで、全天周の任意の方向の景色を閲覧することができる。

具体的に、表示画像描画部３６は、パノラマ画像Ｉとともに送信された画像定義情報に基づいて、仮想空間内に投影面Ａ１〜Ａ４を配置する。併せて表示画像描画部３６は、その中心位置（仮想球Ｓの中心点Ｏに対応する位置）に仮想カメラを配置する。このとき仮想カメラは、方向取得部３５が取得した方向情報に応じて決まる向き、及び傾きで配置される。

続いて表示画像描画部３６は、投影面Ａ１〜Ａ４の内側に、パノラマ画像Ｉに基づいて生成されるテクスチャーを貼り付ける。具体例として、図６に例示したパノラマ画像Ｉを用いて描画処理を行う場合、表示画像描画部３６は、図２に例示したような投影面Ａ１を仮想空間内に配置する。また、投影面Ａ１と同形の投影面Ａ２〜Ａ４を、９０度ずつ回転させた向きに配置する。そして、図５に例示される画像部分Ｉｐ１に含まれる画像を、投影面Ａ１の内側にテクスチャーとして貼り付ける。具体的に、表示画像描画部３６は、画像部分Ｉｐ１を支線Ｆ_１〜Ｆ_５、及びＦ_ｄによって５個の台形と２個の三角形に分割する。そして、この分割によって得られる三角形や台形などのポリゴンを、画像が生成された際と逆のアフィン変換によって、対応する投影面Ａ１内の平面に応じた形状に変換する。そして、この変換によって得られるテクスチャーを投影面Ａ１内に貼り付ける。例えば画像部分Ｉｐ１内において起点Ｐ_１と支線Ｆ_１によって形成される右上の三角形は、投影面Ａ１で起点Ｐ_１を頂点に持つ三角形部分に貼り付けられる。同様に、画像部分Ｉｐ１内において支線Ｆ_１と支線Ｆ_２で挟まれる台形は投影面Ａ１内でも支線Ｆ_１と支線Ｆ_２で挟まれる台形に変換される。このようにして、パノラマ画像Ｉ内の全ての三角形や台形などのポリゴンが、対応する投影面Ａ１〜Ａ４に応じた形状に変換されて貼り付けられる。このような処理は、公知の頂点シェーダー等によって実現できる。また、表示画像描画部３６は、前述したように、テッセレーション処理を実行して台形をより小さな複数のポリゴンに分割し、分割されたポリゴンごとに変換を行ってもよい。このような描画処理の少なくとも一部は、ＧＰＵ等によって実現されてもよい。

その後、表示画像描画部３６は、仮想球Ｓの中心点Ｏに対応する位置に配置された仮想カメラから、このテクスチャーが貼り付けられた投影面Ａ１〜Ａ４を見た様子を描画することで、表示画像を生成する。例えば仮想カメラが注目方向に向けられている場合、投影面Ａ１の終点Ｐ_７近傍の領域、及びこれと隣接する投影面Ａ２〜Ａ４の領域を含んだ表示画像が描画されることになる。

ここで、前述したようにパノラマ画像Ｉは、注目方向近傍の領域についてより多くの面積を占める画像フォーマットになっている。このようなパノラマ画像Ｉに基づいて表示画像を生成することで、注目方向の近傍では、他の領域と比較して高解像度で景色を表す表示画像を生成することができる。

さらに本実施形態では、表示画像描画部３６は、方向取得部３５が取得する方向の変化に応じて、表示画像をリアルタイムで更新する。すなわち、表示画像描画部３６は、方向取得部３５が取得する方向が変化すると、その変化した向きと対応する方向に仮想カメラの向きを変化させる。より具体的に、ピッチ角、及びヨー角が変化した場合には、この変化に連動させて仮想カメラの撮像方向を変化させる。また、ロール角が変化した場合には、この変化に連動させて、撮像方向を回転軸として仮想カメラを傾けさせる。これにより、仮想カメラの視野範囲は方向取得部３５が取得する方向の変化に連動して変化することになる。表示画像描画部３６は、更新された視野範囲に基づいて投影面Ａ１〜Ａ４の内面の様子を再描画して表示画像を更新し、表示装置２４の画面に表示する。表示画像描画部３６は、このような方向取得部３５が取得する方向の変化に応じた表示画像の再描画（更新）処理を、所定時間おきに繰り返し実行する。このような制御によれば、ユーザーは視野範囲を動かしてパノラマ画像Ｉ内に含まれる全天周の任意の位置の景色を閲覧することができる。

また、方向取得部３５は、ユーザーの指示などに基づいて、仮想カメラの向きだけでなく、仮想カメラの位置の情報を取得してもよい。この場合、表示画像描画部３６は、この位置の情報の変化に基づいて、仮想カメラを仮想空間内で平行移動させる。これにより、投影面Ａ１〜Ａ４に貼り付けられた景色を異なる位置から見た様子を表示させることができる。

なお、以上の説明では表示画像は一つの平面画像であるとしたが、表示画像描画部３６は立体画像を描画してもよい。この場合、表示画像描画部３６は、投影面Ａ１〜Ａ４の中心に左右方向に並んだ二つの仮想カメラを配置する。そして、左目用のパノラマ画像Ｉに基づいて生成したテクスチャーを貼り付けた投影面Ａ１〜Ａ４の内面を左側の仮想カメラから見た様子を描画することにより、左目用の表示画像を生成する。同様に、右目用のパノラマ画像Ｉに基づいて生成したテクスチャーを貼り付けた投影面Ａ１〜Ａ４の内面を右側の仮想カメラから見た様子を描画することにより、右目用の表示画像を生成する。これら二つの表示画像を立体視に対応する表示装置２４に表示させることによって、ユーザーは全天周の景色を立体的に閲覧することが可能となる。

以上説明したように、本実施形態では、注目方向に近ければ近いほど全天周に対応する仮想球Ｓの単位領域あたりの情報量が増加するような画像フォーマットでパノラマ画像Ｉが生成される。このため、重要な部分については高解像度で表示することが可能でありながら、パノラマ画像Ｉの全体のデータ量を比較的抑えることができる。

なお、以上の説明では画像生成装置１０は通信ネットワークを介してパノラマ画像Ｉを画像表示制御装置２０に送信することとしたが、これに限らず、画像生成装置１０はフラッシュメモリー等の情報記憶媒体にパノラマ画像Ｉを書き込むこととし、画像表示制御装置２０はこのような情報記憶媒体からパノラマ画像Ｉを読み出して取得することとしてもよい。また、例えば以上の説明では画像生成装置１０と画像表示制御装置２０は互いに独立した装置であることとしたが、一つの情報処理装置がパノラマ画像Ｉの生成と表示制御の双方を実現してもよい。

また、以上の説明において表示画像描画部３６は、画像定義情報を参照してパノラマ画像Ｉが生成された際と同じ形状の投影面を仮想空間内に配置することとしたが、本発明の実施の形態はこのようなものに限られない。例えば表示画像描画部３６は、図２に例示した投影面に対応するパノラマ画像Ｉに基づいて、球状の投影面にテクスチャーを貼り付けて、表示画像を描画してもよい。この場合、表示画像描画部３６は、画像定義情報を参照してパノラマ画像Ｉ内の各部分が投影面内において占める領域を特定し、当該部分に基づいて生成されたテクスチャーを特定した領域に貼り付ける。このような処理によって、パノラマ画像Ｉ生成時の投影面とは異なる形状の投影面に、パノラマ画像Ｉに含まれる景色を表すテクスチャーを展開することができる。

特に、前述したように表示画像描画部３６が視差による立体視を実現するための右目用画像、及び左目用画像を描画する場合、表示画像を描画する際の仮想カメラから投影面までの距離が仮想カメラの方向に応じて変化すると、同じ距離にある物体までの見かけの距離が方向によって変化してしまう。そのため、ユーザーが違和感を覚える場合がある。表示画像を描画する際に球に近い投影面を使用することで、どの方向でも仮想カメラから投影面までの距離が変わらないようにすることができる。

球状の投影面にレンダリングする処理の具体例について、以下に説明する。まず表示画像描画部３６は、テッセレーション処理を実行してパノラマ画像Ｉを比較的小さな三角形の小領域に分割する。例えば表示画像描画部３６は、パノラマ画像Ｉを格子状に小さな正方形に分割し、分割された各正方形を、さらにパノラマ画像Ｉの中心に対向する向きの対角線で二つの三角形の小領域に分割する。この分割によって得られる小領域のそれぞれについて、その頂点の仮想空間内における位置を算出する。このとき、各頂点の位置は、元のパノラマ画像Ｉが生成された際の投影面の形状（換言すると、幹線Ｔ及び各支線Ｆの位置情報）に基づいて算出される。そして、表示画像描画部３６は、算出された各頂点の位置に応じて、仮想空間内に略球形状となるように小領域を配置していく。このようにすることで、パノラマ画像Ｉに含まれる景色を再現した球状の投影面を生成することができる。

なお、ここでは各小領域を中心点（仮想カメラの位置）から略等距離になるように配置することとしたが、これに限らず、注視点からの方位を保ったまま各小領域までの距離を変化させてもよい。これにより、方位に応じて投影面までの距離を変化させることもできる。

１画像表示システム、１０画像生成装置、１１，２１制御部、１２，２２記憶部、１３，２３通信部、２０画像表示制御装置、２４表示装置、２５操作デバイス、３１景色情報取得部、３２パノラマ画像生成部、３３パノラマ画像送信部、３４パノラマ画像取得部、３５方向取得部、３６表示画像描画部。

Claims

観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部と、
前記生成されたパノラマ画像を出力する画像出力部と、
を含み、
前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、
前記パノラマ画像生成部は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成する
ことを特徴とする画像生成装置。
請求項１に記載の画像生成装置において、
前記パノラマ画像生成部は、前記投影面が前記パノラマ画像に変換された際、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に近い位置ほど長くなるように、前記投影面に対応する前記パノラマ画像を生成する
ことを特徴とする画像生成装置。
請求項２に記載の画像生成装置において、
前記投影面は、前記幹線に対して対称に形成され、当該幹線は、前記注目方向に近づくほど、前記観測点からの距離が大きくなる形状を有する
ことを特徴とする画像生成装置。
請求項１から３のいずれか一項に記載の画像生成装置において、
前記投影面は、複数の多角形が連結された形状を有する
ことを特徴とする画像生成装置。
請求項１から４のいずれか一項に記載の画像生成装置において、
前記パノラマ画像内において前記注目方向に対応する点は、前記パノラマ画像の中心に位置する
ことを特徴とする画像生成装置。
観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を取得する取得部と、
前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、
を含み、
前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、
前記パノラマ画像は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面を変換してなるパノラマ画像である
ことを特徴とする画像表示制御装置。
観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するステップと、
前記生成されたパノラマ画像を出力するステップと、
を含み、
前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、
前記パノラマ画像を生成するステップでは、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成する
ことを特徴とする画像生成方法。
観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部、及び、
前記生成されたパノラマ画像を出力する画像出力部、
としてコンピュータを機能させるためのプログラムであって、
前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、
前記パノラマ画像生成部は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成する
プログラム。
観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面が平面形状に変換されてなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されており、
前記投影面に含まれる、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面が変換されてなるパノラマ画像の画像データ。