JPWO2018134947A1 - 画像配信装置 - Google Patents

Abstract

動画像を表示してユーザーに提示する画像表示制御装置に対して、表示対象となる動画像を配信する画像配信装置であり、表示可能範囲のうち、互いに異なる部分領域を高い解像度で表示可能な複数の動画像の中から、一度にいずれか一つの動画像を画像表示制御装置に配信する画像配信装置であって、表示可能範囲内におけるユーザーの注視方向の情報を取得し、当該注視方向の情報に基づいて、複数の動画像の中から配信対象とする動画像を選択する。

Description

本発明は、動画像を配信する画像配信装置、画像配信方法、及びプログラムに関する。

従来、通信ネットワーク経由で動画像をリアルタイムで配信し、ユーザーに閲覧させる技術が知られている。

上記従来例の技術では、通信ネットワークに十分な帯域が確保できないと、高解像度の動画像を配信することが難しい。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーが注視する方向について比較的高解像度での表示を実現しつつ、必要な通信帯域を抑えることのできる画像配信装置、画像配信方法、及びプログラムを提供することにある。

本発明に係る画像配信装置は、動画像を表示してユーザーに提示する画像表示制御装置に対して、表示対象となる動画像を配信する画像配信装置であって、表示可能範囲のうち、互いに異なる部分領域を高い解像度で表示可能な複数の動画像の中から、一度にいずれか一つの動画像を前記画像表示制御装置に配信する配信部と、前記表示可能範囲内における前記ユーザーの注視方向の情報を取得する注視方向取得部と、を含み、前記配信部は、前記注視方向の情報に基づいて、前記複数の動画像の中から配信対象とする動画像を選択することを特徴とする。

本発明に係る画像配信方法は、動画像を表示してユーザーに提示する画像表示制御装置に対して、表示対象となる動画像を配信する画像配信方法であって、表示可能範囲のうち、互いに異なる部分領域を高い解像度で表示可能な複数の動画像の中から、一度にいずれか一つの動画像を前記画像表示制御装置に配信する配信ステップと、前記表示可能範囲内における前記ユーザーの注視方向の情報を取得する注視方向取得ステップと、を含み、前記配信ステップでは、前記注視方向の情報に基づいて、前記複数の動画像の中から配信対象とする動画像を選択することを特徴とする。

本発明に係るプログラムは、動画像を表示してユーザーに提示する画像表示制御装置に対して、表示対象となる動画像を配信する画像配信装置を制御するためのプログラムであって、表示可能範囲のうち、互いに異なる部分領域を高い解像度で表示可能な複数の動画像の中から、一度にいずれか一つの動画像を前記画像表示制御装置に配信する配信部、及び、前記表示可能範囲内における前記ユーザーの注視方向の情報を取得する注視方向取得部、として前記画像配信装置を機能させ、前記配信部は、前記注視方向の情報に基づいて、前記複数の動画像の中から配信対象とする動画像を選択することを特徴とする。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

全天周の景色に対応する仮想球を示す図である。 １／４球面の景色が投影される投影面の一例を示す図である。 投影面を構成する幹線の一例を示す図である。 投影面を構成する支線の一例を示す図である。 図２の投影面に投影される景色が変換されてなるパノラマ画像の一部分を示す図である。 パノラマ画像の一例を示す図である。 投影面の別の例を示す図である。 画像表示システムの構成を示す構成ブロック図である。 画像表示システムの機能を示す機能ブロック図である。 配信対象の動画像を切り替える場合における配信対象動画像の一例を示す図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

[パノラマ画像の画像フォーマット]
本実施形態に係る画像生成装置は、観測点から見た全天周の全部、又は一部範囲の景色を含んだパノラマ画像を生成する。以下では、本実施形態に係る画像生成装置によって生成されるパノラマ画像をパノラマ画像Ｉと表記する。パノラマ画像Ｉは、全天周の全部、又は一部範囲の景色を含んだ２次元（平面）の画像データである。ここで全天周とは、観測点から見て水平方向（左右方向）に３６０度、鉛直方向（上下方向）に天頂から天底まで１８０度の全ての方位を意味している。

以下、本実施形態におけるパノラマ画像Ｉの画像フォーマットの具体例について、説明する。観測点から見た全天周の景色は、観測点の位置を中心とした仮想的な球面上に表される。ここで、全天周の景色に対応する仮想的な球を仮想球Ｓとする。以下では説明のために、観測点に対応する仮想球Ｓの中心点Ｏを原点として、互いに直交するｘ軸、ｙ軸、ｚ軸の３軸からなる座標系を使用する。ｘ軸、及びｚ軸は水平面上に沿って配置され、ｙ軸は鉛直方向に沿って配置されるものとする。

本実施形態では、全天周のうち、観測点から見て特に重要な方向が設定される。以下では、この重要な方向を注目方向という。ここでは、注目方向はｘ軸正方向に設定されるものとする。注目方向は、ユーザーが特に注目すると想定される方向や、パノラマ画像Ｉの生成者がユーザーに特に注目して欲しいと考える方向であって、例えば重要な被写体が写っている方向などであってよい。本実施形態では、仮想球Ｓ上において注目方向に近い領域ほど、高画質（高解像度）になるようにパノラマ画像Ｉが生成される。

仮想球Ｓを、その中心点Ｏを通り、注目方向に平行で互いに直交する２つの平面によって４分割すると、図１に示すように４個の１／４球面Ｓ１〜Ｓ４が得られる。この図では、仮想球Ｓはｘｙ平面（鉛直面）及びｘｚ平面（水平面）の二つの平面によって４分割されている。４個の１／４球面は、いずれも中心点Ｏを通り注目方向に平行な一つの平面に対して対称な形状になっている。具体的に、１／４球面Ｓ１、及び１／４球面Ｓ３は、いずれもｙ＝ｚで表される平面に対して対称な形状を有する。また、１／４球面Ｓ２、及び１／４球面Ｓ４は、いずれもｙ＝−ｚで表される平面に対して対称な形状を有する。

以下では、４個の１／４球面のうちの１／４球面Ｓ１を例として、この１／４球面Ｓ１に対応する景色を含んだパノラマ画像Ｉの一部分の生成方法を説明する。この１／４球面Ｓ１に対応する範囲の景色は、互いに連結された複数の多角形（三角形又は四角形）によって構成される投影面Ａ１に投影される。図２は、この投影面Ａ１の具体例を示す斜視図である。投影面Ａ１の注目方向に沿った中心線を、以下では幹線Ｔという。前述した通り１／４球面Ｓ１はｙ＝ｚで表される平面に対して対称な形状となっているので、これに対応して幹線Ｔもこの平面上に配置される。以下では、幹線Ｔが配置される平面（ここではｙ＝ｚで表される平面）を中心面という。幹線Ｔは、投影面Ａ１を中心面で切断した際の形状を表している。

図３は中心面内における幹線Ｔの形状の具体例を示している。なお、ここでは一例として、投影面Ａ１は６個の多角形が連結されて構成されているものとする。これに対応して、幹線Ｔは図３に示すように６個の線分によって構成される。また、以下では中心面内の位置を、互いに直交するＸ軸及びＹ軸からなる２次元座標系で表すこととする。ここで、Ｘ軸は３次元空間のｘ軸に一致するが、Ｙ軸はｙ軸をｚ軸側に４５°傾けた向きになっている。

以下、幹線Ｔの形状の決定方法について、説明する。ここでは、幹線Ｔを構成する６個の線分を、注目方向と反対側から順にＴ_１、Ｔ_２、Ｔ_３、Ｔ_４、Ｔ_５、Ｔ_６とする。また、注目方向の反対方向（Ｘ軸負方向）側の幹線Ｔの端点を起点Ｐ_１とし、各線分の端点を、起点Ｐ_１に近い側から順に中継点Ｐ_２、Ｐ_３、Ｐ_４、Ｐ_５、Ｐ_６とする。さらに、注目方向（Ｘ軸正方向）側の幹線Ｔの端点を終点Ｐ_７とする。

中継点Ｐ_２〜Ｐ_６は、線分Ｔ_１〜Ｔ_６それぞれを中心点Ｏから見込む角（すなわち、各線分の両端と中心点Ｏにより形成される角）が互いに等しくなるように配置されている。すなわち、角Ｐ_１ＯＰ_７（＝１８０°）を６等分する５本の補助線を引いた場合に、中継点Ｐ_２〜Ｐ_６はこれらの補助線上に配置されることになる。つまり、角Ｐ_１ＯＰ_２、角Ｐ_２ＯＰ_３、角Ｐ_３ＯＰ_４、角Ｐ_４ＯＰ_５、角Ｐ_５ＯＰ_６、角Ｐ_６ＯＰ_７は互いに等しく、全て３０°（＝１８０°／６）になる。以下ではこの角度（中心点Ｏから各線分を見込む角）を対応角αという。線分Ｔ_１〜Ｔ_６は、それぞれ中心点Ｏから見て対応角αの範囲をカバーすることになる。

起点Ｐ_１は、注目方向の反対方向（Ｘ軸負方向）側において中心点Ｏから所定の距離離れた位置に設定される。ここでは起点Ｐ_１の位置座標を（Ｘ＝−１，Ｙ＝０）とする。さらに、中継点Ｐ_２は、起点Ｐ_１を通り直線ＯＰ_１に垂直な直線と、起点Ｐ_１に最も近い補助線とが交差する位置に設定される。つまり、中継点Ｐ_２の位置は、角Ｐ_１ＯＰ_２がα＝３０°で、角ＯＰ_１Ｐ_２が９０°になるように決定される。ここでの角ＯＰ_１Ｐ_２を射出角βという。さらに、中継点Ｐ_３は、角Ｐ_２ＯＰ_３が３０°、角ＯＰ_２Ｐ_３が９０°になるように決定される。残る中継点Ｐ_４〜Ｐ_６、及び終点Ｐ_７のそれぞれも、角Ｐ_ｎ−１ＯＰ_ｎ（対応角α）が３０°、角ＯＰ_ｎ−１Ｐ_ｎ（射出角β）が９０°になるように、順次決定される。

このようにして起点Ｐ_１、中継点Ｐ_２〜Ｐ_６、及び終点Ｐ_７の位置が決定されると、中心面内における幹線Ｔの形状が決定される。このとき、線分Ｔ_１〜Ｔ_６は全て長さが異なり、しかも注目方向に近い線分ほど長さが長くなり、注目方向の反対方向に近い線分ほど長さが短くなる。つまり、幹線Ｔの形状は、中心点Ｏを通り注目方向に垂直な平面に対して非対称となっており、注目方向側の部分が反対側の部分よりも長くなる。

ここで、中心面内の位置座標を極座標（ｒ，θ）で表すことを考える。このとき、幹線Ｔの形状はｒ＝ｆ（θ）という極座標系の一価関数によって表現される。ｒは、中心点Ｏまでの距離である。θは、Ｘ軸負方向を０°とし、反時計回り方向を正方向とする角度値であって、０°以上１８０°以下の値をとる。以上説明したような方法で決定された幹線Ｔをこのように関数ｆで表現すると、関数ｆはθが増加するにつれてｒが増加する単調増加関数となっている。これにより、注目方向に近づくにつれて、単位角度あたりの幹線Ｔの長さが長くなるようにすることができる。

幹線Ｔの形状が決定されると、次に、中継点Ｐ_２〜Ｐ_６のそれぞれを通るように、５本の支線Ｆ_１〜Ｆ_５が配置される。これらの支線Ｆは、幹線Ｔを背骨と見た場合の肋骨に相当し、幹線Ｔの延伸方向から見て左右に延びるように配置される。具体的に、ここでは支線Ｆ_１〜Ｆ_５は、中心面と直交する方向に沿って配置される。また、支線Ｆ_１〜Ｆ_５は、いずれもその中点が幹線Ｔ上の中継点に一致するように配置される。各支線Ｆの長さは、１／４球面Ｓ１に対応するように決定される。

支線Ｆ_１を例として、その配置を具体的に説明する。図４は、中継点Ｐ_２及び支線Ｆ_１を含むｘ軸に垂直な平面内の様子を示している。１／４球面Ｓ１を、中継点Ｐ_２を通り注目方向と直交する平面で切断した場合、中心角９０°の扇形形状となる。そのため、支線Ｆ_１も、図４に示されるように、その両端とｘ軸上の点とでなす角が９０°になるように、その長さが決定される。このとき支線Ｆ_１の長さは、中継点Ｐ_２からｘ軸までの距離の２倍に等しくなる。なお、支線Ｆ_１の中点は中継点Ｐ_２に一致するので、支線Ｆ_１は、中心面に対して対称になっている。支線Ｆ_１と同様に、支線Ｆ_２〜Ｆ_５も、対応する中継点からｘ軸までの距離の２倍に等しくなるように、その長さが決定される。

このようにして幹線Ｔ、及び支線Ｆ_１〜Ｆ_５の位置が決定されると、投影面Ａ１の全体形状が決定されることになる。すなわち、投影面Ａ１は、幹線Ｔの起点Ｐ_１と終点Ｐ_７、及び各支線Ｆの両端を結んでできる形状となる。１／４球面Ｓ１の景色は、この投影面Ａ１に投影される。各支線Ｆ_１〜Ｆ_５は中心面に対して対称なので、投影面Ａ１全体も、１／４球面Ｓ１と同様、中心面に対して対称になる。なお、投影面Ａ１上には、支線Ｆ_１〜Ｆ_５のほかに、支線Ｆ_ｄが設定される。この支線Ｆ_ｄは、他の支線Ｆ_１〜Ｆ_５と平行する投影面Ａ１上の線分である。支線Ｆ_ｄの位置の決定方法については、後述する。

投影面Ａ１に投影された景色は、平面形状に変換されてパノラマ画像Ｉの一部となる。以下では、投影面Ａ１に対応するパノラマ画像Ｉ内の領域を、画像部分Ｉｐ１という。本実施形態では、画像部分Ｉｐ１は正方形の形状を有するものとする。図５は、この画像部分Ｉｐ１を示しており、投影面Ａ１内の幹線Ｔ、及び支線Ｆ_１〜Ｆ_５に対応する線分が図示されている。

図５に示されるように、幹線Ｔは、画像部分Ｉｐ１の一方の対角線に対応づけられる。ここでは、画像部分Ｉｐ１の右上の頂点が起点Ｐ_１に対応し、左下の頂点が終点Ｐ_７に対応している。この対角線Ｐ_１Ｐ_７は、６分割されて、それぞれ幹線Ｔを構成する線分Ｔ_１〜Ｔ_６のいずれかに対応づけられる。画像部分Ｉｐ１内における各線分の長さは、投影面Ａ１内における線分Ｔ_１〜Ｔ_６の長さに応じて決定される。ただし、６個の線分は、投影面Ａ１上における長さの比を完全に保つように変換される必要はなく、その中心面内における位置に応じて補正された長さに変換されてよい。

具体的な長さの補正の例について、説明する。投影面Ａ１内におけるＯＰ_１の長さを１とすると、投影面Ａ１内における線分Ｔ_１〜Ｔ_６の長さは、以下の表１に示される値となる。

各線分の長さは、補正係数を乗じた値に補正される。ｎ番目の線分Ｔ_ｎに対する補正係数ａ_ｎは、（ｎ−１）番目の線分Ｔ_ｎ−１（すなわち、注目方向と反対側の隣接する線分）に対する補正係数ａ_ｎ−１と、対応角α、及び射出角βを用いて、以下の式により算出される。
ａ_ｎ＝ａ_ｎ−１×ｓｉｎ（β）／ｓｉｎ（１８０°−α−β）
ここでは、全ての線分について対応角α＝３０°、射出角β＝９０°であるため、
ａ_ｎ＝ａ_ｎ−１／ｓｉｎ６０°
となる。また、線分Ｔ_１については補正の必要はないので、ａ_１＝１である。そのため、例えばａ_２は
ａ_２＝１／ｓｉｎ６０°
で計算され、およそ１．１５となる。線分Ｔ_２〜Ｔ_６に対する補正係数についても、同様にして順に計算される。表１には、この計算式によって計算された各線分に対する補正係数が示されている。各線分の補正後の長さは、投影面Ａ１内の長さに対してこの補正係数を乗じた値である。

画像部分Ｉｐ１内における各線分の長さは、この補正後の長さと一致するように計算される。すなわち、線分Ｔ_１〜Ｔ_６までの補正後の長さの合計値をＬｔとすると、画像部分Ｉｐ１内における各線分の長さが幹線Ｔの全長に対して占める割合は、（補正後の長さ）／Ｌｔで求められる。実際の画像部分Ｉｐ１内における各線分の長さは、この割合に画像部分Ｉｐ１の対角線の長さを乗じた値となる。

このような補正は、単位角度に対する幹線Ｔの長さの変化の不連続を緩和するためのものである。前述したように極座標系の一価関数ｒ＝ｆ（θ）で幹線Ｔの形状を表現する場合において、θを増加させていくと、角度θの単位量に対する幹線Ｔの長さは、線分と線分の境界で不連続に変化する。このような不連続性が存在すると、仮想球Ｓ上の単位領域に対応する画像部分Ｉｐ１内の領域の広さ（すなわち、画像内に含まれる情報の密度）も不連続に変化することになり、好ましくない。そこで、上述したような補正係数ａ_ｎによる補正を行うことにより、このような不連続を防止することができる。なお、投影面Ａ１の各線分上における任意の点の位置と、画像部分Ｉｐ１内の各線分内における位置との対応関係は、線形補間等の補間計算により決定されてよい。

投影面Ａ１内の支線Ｆ_１〜Ｆ_５は、それぞれ、画像部分Ｉｐ１内において、幹線Ｔに対応する対角線と交差する対角線に平行な線分に変換される。具体的に支線Ｆ_１〜Ｆ_５は、それぞれ投影面Ａ１内と同様に、画像部分Ｉｐ１内でも中継点Ｐ_２〜Ｐ_６を通るように変換される。なお、ここでは画像部分Ｉｐ１を正方形としているので、各支線Ｆは幹線Ｔと直交する。

さらに、幹線Ｔに対応する対角線と交差する対角線そのものも、支線Ｆの一つとして設定される。これが、前述した支線Ｆ_ｄである。投影面Ａ１内における支線Ｆ_ｄの位置は、画像部分Ｉｐ１内における対角線の位置に対応した位置に設定される。

このようにして幹線Ｔ、及び各支線Ｆの対応関係が決定されることにより、投影面Ａ１内の位置は画像部分Ｉｐ１内の位置に変換される。具体的に、投影面Ａ１のうち、支線Ｆ_１と起点Ｐ_１で囲まれる三角形、及び支線Ｆ_５と終点Ｐ_７で囲まれる三角形は、それぞれ画像部分Ｉｐ１の右上、及び左下の三角形に変換される。また、支線Ｆ_１〜Ｆ_５、及びＦ_ｄのうち、隣接する２個の支線Ｆで挟まれた台形は、画像部分Ｉｐ１内で同じ２個の支線Ｆにより挟まれる台形に変換される。

なお、三角形を三角形に変換する場合、その内部に含まれる点の変換後の位置は、一意に決定される。一方、四角形を四角形に変換する場合、その内部に含まれる点の変換後の位置は、一意に定まらない。そこで、例えば以下のように変換を行う。すなわち、まず幹線Ｔに平行な方向の位置を、線形に補間する。その後、幹線Ｔと交差する方向（すなわち、支線Ｆに平行な方向）の位置を、線形に補間する。このような変換によって、投影面Ａ１上の任意の点を、画像部分Ｉｐ１内の位置に対応させることができる。

なお、四角形の変換の方法は、以上説明したものに限られない。例えば投影面Ａ１上において２個の支線Ｆにより形成される台形を２個の三角形に分割し、そのそれぞれを画像部分Ｉｐ１上に変換してもよい。また、テッセレーション処理を実行することによって投影面Ａ１上の三角形や四角形をさらに分割し、分割によって得られるポリゴン単位で変換を行ってもよい。このような変換方法によれば、変換に伴って発生する誤差の程度を抑えることができる。また、テッセレーションを含むこのような多角形から多角形への変換処理は、公知のコンピュータグラフィックスライブラリ等を利用して容易に実現することができる。

以上説明したような変換によって、１／４球面Ｓ１内の景色は、平面形状を有する画像部分Ｉｐ１に変換される。１／４球面Ｓ２〜Ｓ４についても、その内部の景色を投影面Ａ２〜Ａ４に投影し、同様の変換を行うことによって、画像部分Ｉｐ２〜Ｉｐ４が得られる。このようにして得られる４個の画像部分Ｉｐ１〜Ｉｐ４を並べることで、全天周の景色を含んだ平面形状のパノラマ画像Ｉが生成される。

図６は、このようにして得られるパノラマ画像Ｉの一例を示している。各画像部分が正方形なので、パノラマ画像Ｉも全体として正方形の形状を有している。パノラマ画像Ｉの中心Ｃが、注目方向（ｘ軸正方向）に対応している。この図においては、注目方向に対して角度３０°までの範囲、６０°までの範囲、９０°までの範囲、及び１２０°までの範囲のそれぞれを表す曲線が図示されている。この図に示されるように、注目方向に近い場所ほど、パノラマ画像Ｉ内においてより広い領域が割り当てられる。そのため、パノラマ画像Ｉは注目方向に近い場所ほどより多くの情報を含み、注目方向と反対側については比較的少ない情報しか含まないようになっている。このようなパノラマ画像Ｉを用いて景色画像を描画した場合、注目方向に近い箇所ほど高画質で画像を描画できることになる。

なお、以上の説明では投影面Ａ１は６個の多角形から構成されることとし、これに対応して幹線Ｔは６個の線分により構成されることとした。しかしながらこれに限らず、幹線Ｔは３本以上の任意の数の線分によって構成されてよい。図７は、幹線Ｔを４本の線分によって構成することとし、以上の説明と同様の手順で投影面Ａ１の形状を決定した場合における投影面Ａ１の形状を示している。このように幹線Ｔをより少ない数の線分で構成すると、注目方向と注目方向の反対側とで情報密度の差がより大きくなる。逆に幹線Ｔを構成する線分の数を増加させると、幹線Ｔの形状は半円に近づいていき、注目方向とその反対側との間の情報密度の差は小さくなる。

また、以上の説明では、幹線Ｔを構成する複数の線分のそれぞれは、対応角αが互いに等しくなるように決定されることとした。しかしながら、対応角αは線分ごとに異なってもよい。

また、以上の説明では射出角βを９０°としたが、これに限らず射出角βは９０°より大きく１８０°より小さな任意の値であってもよい。射出角が９０°≦β＜１８０°であれば、幹線Ｔの形状を表す関数ｒ＝ｆ（θ）は単調増加関数となる。そのため、幹線Ｔを構成する複数の線分を、注目方向に近づくにつれて順に長くなるようにすることができる。ただし、射出角βは、次の対応角αに対して、α＋β＜１８０°の関係を満たす必要がある。なお、このように幹線Ｔを構成する各線分の対応角αと射出角βがこれまでの説明と異なる値をとる場合にも、前述した補正係数ａ_ｎについては、同様の計算式で順に算出することができる。

また、幹線Ｔは、その一部又は全部が曲線により構成されてもよい。この場合にも、関数ｒ＝ｆ（θ）が単調増加関数となるように幹線Ｔの形状を定義することで、注目方向に近くなるほど、仮想球Ｓ上の単位領域に対応するパノラマ画像Ｉ内の領域が広くなるようにすることができる。

また、支線Ｆも、以上説明したような形状及び配置のものに限られない。例えば支線Ｆは、対応する中継点を通り、注目方向に垂直な平面内において、複数の線分によって構成される形状であってもよい。あるいは、弧状に形成されるなど、曲線を含む形状であってもよい。いずれにせよ、支線Ｆは、中心面に対して対称な形状であって、支線Ｆをｘ軸上の点から見込む角（支線Ｆの両端と中心角Ｏにより形成される角）が対応する１／４球面に一致するように（すなわち、９０°になるように）決定される。また、支線Ｆは、対応する中継点、及び中心点Ｏを通り、中心面に垂直な平面内に配置されてもよい。

また、以上の説明では、注目方向は水平面に平行な方向であることとしたが、これに限らず注目方向は全天周の任意の方向に設定されてよい。この場合も、注目方向を基準として、中心面が注目方向に平行になるように投影面Ａ１〜Ａ４の配置位置を決定することで、注目方向に近づくほど情報量が大きくなるようにパノラマ画像Ｉを生成することができる。なお、仮想球Ｓを１／４球面に分割する際の向きについても、任意の向きに設定されてよい。

また、以上の説明では全天周の景色の全てをパノラマ画像Ｉに含めることとしたが、本実施形態におけるパノラマ画像Ｉはこのようなものに限られず、全天周の一部の範囲の景色のみを含むものであってもよい。例えばパノラマ画像Ｉは、１／４球面Ｓ１〜Ｓ４のうちの１個のみに対応する景色を含んだものであってもよいし、２個の１／４球面（すなわち、半球）に対応する景色を含んだものであってもよい。

さらに、本実施形態におけるパノラマ画像Ｉは、ある１／４球面について、その一部範囲の景色のみを画像部分に変換して生成されるものであってもよい。この場合、景色が投影されていない範囲については、パノラマ画像Ｉ内においてダミー情報を持った画素（例えば画素値０の画素）としてもよい。これにより、例えば天底に近い高緯度の範囲など、一部範囲の景色に関する情報がない場合であっても、本実施形態の手法によりパノラマ画像Ｉを生成することができる。また、１／４球面に対応する投影面Ａ１〜Ａ４のそれぞれは、正方形以外の形状（例えば長方形形状）の画像部分に変換されることとしてもよい。

［画像表示システムの構成、及び機能］
次に、本発明の実施形態に係る画像生成装置１０、及び画像表示制御装置２０を含んだ画像表示システム１の構成を説明する。

画像生成装置１０は、パノラマ画像Ｉを生成する情報処理装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。図８に示されるように、画像生成装置１０は、制御部１１と、記憶部１２と、通信部１３と、を含んで構成される。

制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部１１はパノラマ画像Ｉの生成処理を実行する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部１３は、ＬＡＮカード等の通信インタフェースであって、通信ネットワーク経由で画像表示制御装置２０に対してパノラマ画像Ｉのデータを送信する。

画像表示制御装置２０は、画像生成装置１０で生成されたパノラマ画像Ｉに基づく画像の表示制御を行う情報処理装置であって、画像生成装置１０と同様に、家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。画像表示制御装置２０は、制御部２１、記憶部２２、及び通信部２３を含んで構成されている。さらに画像表示制御装置２０は、表示装置２４及び操作デバイス２５と接続されている。

制御部２１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部２２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部２１は、パノラマ画像Ｉに基づいて表示画像を描画する処理を実行する。記憶部２２はＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部２１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部２３は、ＬＡＮカード等の通信インタフェースであって、画像生成装置１０から送信されるデータを通信ネットワーク経由で受信する。

表示装置２４は、液晶ディスプレイ等であって、画像表示制御装置２０が供給する映像信号に従って画像を表示する。表示装置２４は、画像表示制御装置２０が供給する立体視可能な画像を表示する立体画像表示装置であってもよい。また、表示装置２４は、ユーザーが頭部に装着可能なヘッドマウントディスプレイ等の頭部装着型表示装置であってもよい。

操作デバイス２５は、家庭用ゲーム機のコントローラやポインティングデバイス等であって、ユーザーが画像生成装置１０に対して各種の指示操作を行うために使用される。操作デバイス２５に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより画像表示制御装置２０に送信される。なお、操作デバイス２５は画像表示制御装置２０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。

次に、画像生成装置１０及び画像表示制御装置２０が実現する機能について、図９を用いて説明する。図９に示すように、画像生成装置１０は、機能的に、景色情報取得部３１と、パノラマ画像生成部３２と、パノラマ画像送信部３３と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。また、画像表示制御装置２０は、機能的に、パノラマ画像取得部３４と、方向取得部３５と、表示画像描画部３６と、を含む。これらの機能は、制御部２１が記憶部２２に記憶されたプログラムを実行することにより実現される。各装置で実行されるプログラムは、インターネット等の通信ネットワークを介して各装置に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

景色情報取得部３１は、パノラマ画像Ｉを生成するための元データとなる景色情報を取得する。景色情報は、観測点から見た全天周の景色を仮想球Ｓに投影した場合に、仮想球Ｓの表面上の各単位領域の色（画素値）を特定するのに必要な情報である。例えば景色情報は、正距円筒図法のように本実施形態とは異なる画像フォーマットで生成されたパノラマ画像であってもよい。また、パノラマカメラによって撮影されたパノラマ写真の画像データであってもよい。景色情報取得部３１は、景色情報を通信ネットワーク経由で他の装置から受信してもよいし、画像生成装置１０に接続されたカメラ等のデバイスから読み込んでもよい。また、フラッシュメモリー等の情報記憶媒体に記憶された景色情報を読み出してもよい。

パノラマ画像生成部３２は、景色情報取得部３１が取得した景色情報を用いてパノラマ画像Ｉを生成する。パノラマ画像Ｉは、前述したように全天周の全部、又は一部の景色を含んだ２次元の画像データである。具体的にパノラマ画像生成部３２は、所与の条件により、注目方向、並びに投影面Ａ１〜Ａ４の位置及び形状を決定する。そして、前述した投影面内の位置とパノラマ画像Ｉ内の位置との対応関係に従って、パノラマ画像Ｉ内の各画素の画素値を景色情報に基づいて算出することにより、パノラマ画像Ｉを生成する。

なお、投影面内の位置とパノラマ画像Ｉ内の位置との対応関係は、投影面の位置及び形状によって決定される。そして、これまで説明したように、投影面の位置及び形状は、注目方向がどの方向かと、幹線Ｔ及び支線Ｆの位置及び形状によって定義される。これらの投影面の位置及び形状を定義づける情報は、画像表示制御装置２０がパノラマ画像Ｉを用いてその中に含まれる景色を再現するために必要となる。そこでパノラマ画像生成部３２は、このようなパノラマ画像Ｉの構成を定義する情報（以下、画像定義情報という）を、生成したパノラマ画像Ｉに関連づけて出力する。

また、パノラマ画像生成部３２は、立体視用のパノラマ画像データを生成してもよい。この場合に生成される画像データは、例えば左半分に左目用画像を生成するための正方形のパノラマ画像Ｉを含み、右半分に右目用画像を生成するための正方形のパノラマ画像Ｉを含んだ縦横比１：２の矩形の画像データであってよい。また、パノラマ画像生成部３２は、時間とともに変化する動画像としてパノラマ画像Ｉを生成してもよい。

パノラマ画像送信部３３は、パノラマ画像生成部３２が生成したパノラマ画像Ｉを、画像表示制御装置２０に対して送信する。このときパノラマ画像送信部３３は、画像定義情報を併せて送信する。

パノラマ画像取得部３４は、画像生成装置１０のパノラマ画像送信部３３が送信するパノラマ画像Ｉを受信することによって、取得する。ここではパノラマ画像取得部３４は、通信ネットワークを介して画像生成装置１０から送信されるパノラマ画像Ｉを直接受信することとする。しかしながら、これに限らず、パノラマ画像取得部３４はサーバコンピュータ等の他の装置を経由してパノラマ画像Ｉを受信してもよい。

方向取得部３５は、ユーザーの指示などに基づいて、表示装置２４に表示される表示画像の視野範囲（表示範囲）を決定するために用いられる方向情報を取得する。方向取得部３５が取得する方向情報は、後述する表示画像描画部３６が表示画像を生成する際の仮想カメラの撮像方向として使用される。この撮像方向は、例えば水平方向の角度を表すヨー角と上下方向の角度を表すピッチ角とによって定義される。さらに方向取得部３５は、撮像方向を回転軸としたカメラの回転の角度を示すロール角も取得してもよい。

具体的に、例えば方向取得部３５は、操作デバイス２５に対するユーザーの方向を指示する操作入力を受け付けることによって、方向情報を取得する。あるいは方向取得部３５は、ユーザーが画像表示制御装置２０の本体を傾ける動作を行った場合に、画像表示制御装置２０に内蔵されているモーションセンサーの検出結果から方向情報を取得してもよい。これにより、例えば画像表示制御装置２０がスマートフォンやタブレットのように小型の筐体を備えている場合、ユーザーは画像表示制御装置２０の向きを変化させることによって任意の向きに視野範囲を変化させることができる。また、表示装置２４が頭部装着型表示装置である場合、方向取得部３５は、この表示装置２４内に内蔵されたモーションセンサーの検出結果から方向情報を取得してもよい。これにより、ユーザーの頭部の向きの変化に応じて視野範囲を変化させることができる。

表示画像描画部３６は、パノラマ画像取得部３４が取得したパノラマ画像Ｉに基づいて、方向取得部３５が取得した方向情報に応じて決まる視野範囲内の景色を示す表示画像を描画し、表示装置２４に表示させる。これによりユーザーは、パノラマ画像Ｉ内に含まれる特定の視野範囲内の景色を閲覧することができる。さらに、操作デバイス２５に対する操作入力等によって視野範囲を変化させることで、全天周の任意の方向の景色を閲覧することができる。

具体的に、表示画像描画部３６は、パノラマ画像Ｉとともに送信された画像定義情報に基づいて、仮想空間内に投影面Ａ１〜Ａ４を配置する。併せて表示画像描画部３６は、その中心位置（仮想球Ｓの中心点Ｏに対応する位置）に仮想カメラを配置する。このとき仮想カメラは、方向取得部３５が取得した方向情報に応じて決まる向き、及び傾きで配置される。

続いて表示画像描画部３６は、投影面Ａ１〜Ａ４の内側に、パノラマ画像Ｉに基づいて生成されるテクスチャーを貼り付ける。具体例として、図６に例示したパノラマ画像Ｉを用いて描画処理を行う場合、表示画像描画部３６は、図２に例示したような投影面Ａ１を仮想空間内に配置する。また、投影面Ａ１と同形の投影面Ａ２〜Ａ４を、９０度ずつ回転させた向きに配置する。そして、図５に例示される画像部分Ｉｐ１に含まれる画像を、投影面Ａ１の内側にテクスチャーとして貼り付ける。具体的に、表示画像描画部３６は、画像部分Ｉｐ１を支線Ｆ_１〜Ｆ_５、及びＦ_ｄによって５個の台形と２個の三角形に分割する。そして、この分割によって得られる三角形や台形などのポリゴンを、画像が生成された際と逆のアフィン変換によって、対応する投影面Ａ１内の平面に応じた形状に変換する。そして、この変換によって得られるテクスチャーを投影面Ａ１内に貼り付ける。例えば画像部分Ｉｐ１内において起点Ｐ_１と支線Ｆ_１によって形成される右上の三角形は、投影面Ａ１で起点Ｐ_１を頂点に持つ三角形部分に貼り付けられる。同様に、画像部分Ｉｐ１内において支線Ｆ_１と支線Ｆ_２で挟まれる台形は投影面Ａ１内でも支線Ｆ_１と支線Ｆ_２で挟まれる台形に変換される。このようにして、パノラマ画像Ｉ内の全ての三角形や台形などのポリゴンが、対応する投影面Ａ１〜Ａ４に応じた形状に変換されて貼り付けられる。このような処理は、公知の頂点シェーダー等によって実現できる。また、表示画像描画部３６は、前述したように、テッセレーション処理を実行して台形をより小さな複数のポリゴンに分割し、分割されたポリゴンごとに変換を行ってもよい。このような描画処理の少なくとも一部は、ＧＰＵ等によって実現されてもよい。

その後、表示画像描画部３６は、仮想球Ｓの中心点Ｏに対応する位置に配置された仮想カメラから、このテクスチャーが貼り付けられた投影面Ａ１〜Ａ４を見た様子を描画することで、表示画像を生成する。例えば仮想カメラが注目方向に向けられている場合、投影面Ａ１の終点Ｐ_７近傍の領域、及びこれと隣接する投影面Ａ２〜Ａ４の領域を含んだ表示画像が描画されることになる。

ここで、前述したようにパノラマ画像Ｉは、注目方向近傍の領域についてより多くの面積を占める画像フォーマットになっている。このようなパノラマ画像Ｉに基づいて表示画像を生成することで、注目方向の近傍では、他の領域と比較して高解像度で景色を表す表示画像を生成することができる。

さらに本実施形態では、表示画像描画部３６は、方向取得部３５が取得する方向の変化に応じて、表示画像をリアルタイムで更新する。すなわち、表示画像描画部３６は、方向取得部３５が取得する方向が変化すると、その変化した向きと対応する方向に仮想カメラの向きを変化させる。より具体的に、ピッチ角、及びヨー角が変化した場合には、この変化に連動させて仮想カメラの撮像方向を変化させる。また、ロール角が変化した場合には、この変化に連動させて、撮像方向を回転軸として仮想カメラを傾けさせる。これにより、仮想カメラの視野範囲は方向取得部３５が取得する方向の変化に連動して変化することになる。表示画像描画部３６は、更新された視野範囲に基づいて投影面Ａ１〜Ａ４の内面の様子を再描画して表示画像を更新し、表示装置２４の画面に表示する。表示画像描画部３６は、このような方向取得部３５が取得する方向の変化に応じた表示画像の再描画（更新）処理を、所定時間おきに繰り返し実行する。このような制御によれば、ユーザーは視野範囲を動かしてパノラマ画像Ｉ内に含まれる全天周の任意の位置の景色を閲覧することができる。

また、方向取得部３５は、ユーザーの指示などに基づいて、仮想カメラの向きだけでなく、仮想カメラの位置の情報を取得してもよい。この場合、表示画像描画部３６は、この位置の情報の変化に基づいて、仮想カメラを仮想空間内で平行移動させる。これにより、投影面Ａ１〜Ａ４に貼り付けられた景色を異なる位置から見た様子を表示させることができる。

なお、以上の説明では表示画像は一つの平面画像であるとしたが、表示画像描画部３６は立体画像を描画してもよい。この場合、表示画像描画部３６は、投影面Ａ１〜Ａ４の中心に左右方向に並んだ二つの仮想カメラを配置する。そして、左目用のパノラマ画像Ｉに基づいて生成したテクスチャーを貼り付けた投影面Ａ１〜Ａ４の内面を左側の仮想カメラから見た様子を描画することにより、左目用の表示画像を生成する。同様に、右目用のパノラマ画像Ｉに基づいて生成したテクスチャーを貼り付けた投影面Ａ１〜Ａ４の内面を右側の仮想カメラから見た様子を描画することにより、右目用の表示画像を生成する。これら二つの表示画像を立体視に対応する表示装置２４に表示させることによって、ユーザーは全天周の景色を立体的に閲覧することが可能となる。

以上説明したように、本実施形態では、注目方向に近ければ近いほど全天周に対応する仮想球Ｓの単位領域あたりの情報量が増加するような画像フォーマットでパノラマ画像Ｉが生成される。このため、重要な部分については高解像度で表示することが可能でありながら、パノラマ画像Ｉの全体のデータ量を比較的抑えることができる。

なお、以上の説明では画像生成装置１０は通信ネットワークを介してパノラマ画像Ｉを画像表示制御装置２０に送信することとしたが、これに限らず、画像生成装置１０はフラッシュメモリー等の情報記憶媒体にパノラマ画像Ｉを書き込むこととし、画像表示制御装置２０はこのような情報記憶媒体からパノラマ画像Ｉを読み出して取得することとしてもよい。また、例えば以上の説明では画像生成装置１０と画像表示制御装置２０は互いに独立した装置であることとしたが、一つの情報処理装置がパノラマ画像Ｉの生成と表示制御の双方を実現してもよい。

［複数画像の切り替え配信］
以上の説明では、画像生成装置１０は一つのパノラマ画像Ｉを画像表示制御装置２０に対して送信し、画像表示制御装置２０はこのパノラマ画像Ｉに基づいて表示画像を描画することとした。しかしながら、時間とともに変化するパノラマ動画像Ｉｍを表示対象とする場合、画像生成装置１０は、複数種類のパノラマ動画像Ｉｍを用意しておき、画像表示制御装置２０に対してリアルタイムで配信する動画像を、これらのパノラマ動画像Ｉｍの中から切り替えることとしてもよい。これにより、ユーザーが表示画像を閲覧している途中で表示対象となるパノラマ動画像Ｉｍが変更されることになる。このような制御について、以下に説明する。

この例では、全天周の全部、又は一部の領域を表示可能範囲として、画像生成装置１０は、この表示可能範囲内の景色を含んだ複数のパノラマ動画像Ｉｍを生成する。そして、これらのパノラマ動画像Ｉｍのうち、いずれか一つを配信対象として選択し、画像表示制御装置２０のユーザーが表示画像を閲覧中にリアルタイムで動画像を送信するストリーミング配信を行う。

これらのパノラマ動画像Ｉｍは、互いに共通する景色情報に基づいて生成されるが、注目方向が互いに異なっている。例えば画像生成装置１０は、水平面内で互いに９０°ずつ異なる前後左右の４方向と、天頂方向、及び天底方向の６方向を注目方向として、６個のパノラマ動画像Ｉｍを生成する。これらのパノラマ動画像Ｉｍは、動画像を構成するフレーム画像の解像度は互いに等しく、一つのフレーム画像内において情報量が大きい領域が互いに異なっている。例えば前方を注目方向とするパノラマ動画像Ｉｍは、前方として定義された方向については高解像度での表示が可能な情報を含み、これと反対側の後方については比較的低解像度での表示のみが可能な情報を含んでいる。また、全てのパノラマ動画像Ｉｍは、表示可能範囲自体は互いに共通であって、解像度の高い領域は互いに異なるものの、画像の内容自体は共通している。

画像表示制御装置２０の方向取得部３５は、表示画像を閲覧中のユーザーが注視する方向を示す情報を取得し、取得した注視方向の情報を画像生成装置１０に対して送信する。画像生成装置１０は、この注視方向の情報を用いて、配信対象とするパノラマ動画像Ｉｍを選択する。具体例として、ユーザーが前方として定義された方向を注視している場合には前方を注目方向として生成されたパノラマ動画像Ｉｍを配信し、ユーザーが天頂方向を注視している場合には天頂方向を注目方向として生成したパノラマ動画像Ｉｍを配信する。

なお、画像表示制御装置２０の方向取得部３５は、所定時間おきにその時点の注視方向の情報を送信してもよいし、注視方向が所定値以上変化したタイミングや、ある範囲から別の範囲に遷移したタイミングなどで、変化後の注視方向の情報を送信してもよい。

また、画像生成装置１０のパノラマ画像送信部３３は、注視方向の変化を通知する情報を画像表示制御装置２０から受信した場合に、直ちに配信対象のパノラマ動画像Ｉｍを切り替えてもよいし、所定のタイミングが到来してから切り替えてもよい。具体的に、例えばパノラマ画像送信部３３は、ＧＯＰ（Group Of Pictures）の先頭のフレーム画像を送信するタイミングで、配信対象のパノラマ動画像Ｉｍを別のものに切り替えてもよい。

このような制御によれば、画像表示制御装置２０は、ユーザーが注視している方向の景色を高画質で表示することができる。また、表示可能範囲の全体を高画質で表示するために必要な情報を含んだパノラマ動画像を配信する場合と比較して、配信すべき動画像のデータ量を小さくすることができる。

さらに、この例では、ストリーミングの実行中、一度に配信されるのはいずれか一つのパノラマ動画像Ｉｍだけになるが、どのパノラマ動画像Ｉｍも表示可能範囲全体の情報を含んでいる。そのため、例えばユーザーが急に注視方向を大きく変化させた場合などであっても、切り替え後のパノラマ動画像Ｉｍが配信されるまで何も表示できないということがなく、注目方向よりは低解像度で変化後の注視方向の景色を表示させ続けることができる。

また、画像生成装置１０は、データサイズの異なる複数種類のパノラマ動画像Ｉｍを用意しておき、画像生成装置１０と画像表示制御装置２０との間の通信ネットワークの状況に応じて配信対象のパノラマ動画像Ｉｍを切り替えてもよい。例えば画像生成装置１０は、表示可能範囲の全体を所定基準以上の解像度で表示可能な一つの第１パノラマ動画像Ｉｍ１、注目方向を中心とした一定範囲を所定基準以上の解像度で表示可能なｎ個の第２パノラマ動画像Ｉｍ２、さらに注目方向を中心として第２パノラマ動画像Ｉｍ２よりも狭い範囲を所定基準以上の解像度で表示可能なｍ個の第３パノラマ動画像Ｉｍ３を配信対象として用意してもよい。ここで、ｎ＜ｍである。

図１０は、これらの配信対象のパノラマ動画像Ｉｍを示しており、各パノラマ動画像Ｉｍのサイズは各動画像のデータサイズの相違を示している。また、ここでは６個の第２パノラマ動画像Ｉｍ２と２６個の第３パノラマ動画像Ｉｍ３が用意されるものとする。

この図１０の例では、第１パノラマ動画像Ｉｍ１はこれまで説明した画像フォーマットとは異なるフォーマットのデータであって、注目方向とその反対側とで情報の偏りがなく、全方位を高解像度で表示するために必要な情報が含まれている。その代わり、第２パノラマ動画像Ｉｍ２や第３パノラマ動画像Ｉｍ３と比較してデータサイズが大きくなっている。仮に画像生成装置１０と画像表示制御装置２０との間で第１パノラマ動画像Ｉｍ１を配信するために十分な帯域が確保できる場合、この第１パノラマ動画像Ｉｍ１を配信対象とすればよい。これにより画像表示制御装置２０は、ユーザーがどの方向を注視したとしても、その方向を高解像度で表示する表示画像を描画することができる。

これに対して第２パノラマ動画像Ｉｍ２は、例えば図２に例示したような６個の多角形から構成される投影面を用いて生成されるパノラマ画像Ｉｍをフレーム画像として含んだ動画像データであってよい。具体的にこの第２パノラマ動画像Ｉｍ２は、それぞれ、注目方向を中心として立体角（４π／６）以上の範囲を所定基準以上の解像度で表示可能なデータであってよい。また、６個の第２パノラマ動画像Ｉｍ２は、例えば前後左右、天頂、天底の６方向を注目方向とした動画像であってよい。

これら６個の第２パノラマ動画像Ｉｍ２は、それぞれ互いに異なる範囲を高解像度で表示可能なデータになっている。これら６個の第２パノラマ動画像Ｉｍ２を用いることで、全天周の全体を高解像度で表示することが可能になる。また、これらの第２パノラマ動画像Ｉｍ２は、注目方向を中心とした範囲以外は相対的に情報量が少なくなっているので、第１パノラマ動画像Ｉｍ１よりもデータサイズは小さくなる。そこで、第１パノラマ動画像Ｉｍ１を配信するために十分な帯域が確保できない場合、６個の第２パノラマ動画像Ｉｍ２のいずれかを配信対象とすることで、通信ネットワークの帯域使用量を抑えることができる。しかも、前述したようにユーザーの注視方向に応じて互いに注目方向の異なる６個の第２パノラマ動画像Ｉｍ２の中から配信対象を選択することで、データサイズが小さいにもかかわらず、注目方向の近傍では第１パノラマ動画像Ｉｍ１と比較して遜色ない解像度で動画像を表示させることができる。

同様に、第３パノラマ動画像Ｉｍ３は、所定基準以上の解像度で表示可能な領域が第２パノラマ動画像Ｉｍ２よりもさらに狭くなる代わりに、データサイズが第２パノラマ動画像Ｉｍ２よりも小さくなる。例えば図７に例示したような４個の多角形から構成される投影面を用いて生成されるパノラマ画像Ｉｍをフレーム画像とすることで、所定基準以上の解像度で表示可能な領域が第２パノラマ動画像Ｉｍ２よりも狭くなっている第３パノラマ動画像Ｉｍ３を生成することができる。また、所定基準以上の解像度で表示可能な領域が狭くなる分、第２パノラマ動画像Ｉｍ２よりも多数の第３パノラマ動画像Ｉｍ３を用意することで、表示可能範囲（ここでは全天周）の全体をカバーできるようにしている。具体的に図１０の例では、水平面上で方位角が互いに４５°ずつ異なる８方向、仰角４５°で方位角が異なる８方向、俯角４５°で方位角が異なる８方向、天頂方向、及び天底方向の合計２６方向を注目方向とした２６個の第３パノラマ動画像Ｉｍ３が用意されている。

第２パノラマ動画像Ｉｍ２の配信に必要な通信帯域を確保できない場合、画像生成装置１０はこれらの第３パノラマ動画像Ｉｍ３のうち、注視方向に応じて選択される一つを配信対象とする。これにより、画像表示制御装置２０は、注視方向が注目方向の近傍にとどまっている限り、十分な通信帯域が確保できない場合でも第１パノラマ動画像Ｉｍ１などと比較してそれほど遜色ない解像度で動画像を表示させることができる。なお、第３パノラマ動画像Ｉｍ３は所定基準以上の解像度で表示可能な領域が相対的に狭くなっているため、ユーザーが注視方向を大きく動かすと、注視方向がこの領域を外れることが多くなる。このような場合であっても、表示可能範囲の全体を含んだ第３パノラマ動画像Ｉｍ３を配信しているので、低解像度であっても途切れることなく動画像を表示させ続けることができる。

以上説明したように、画像生成装置１０は、注目方向が互いに異なる複数のパノラマ動画像Ｉｍを配信対象として用意し、ユーザーの注視方向に応じて切り替えることにより、配信すべてデータ量を抑えながら、注視方向が変化してもその方向の近傍を高解像度の動画像として表示することができる。また、所定基準以上の解像度で表示可能な領域の位置、及び大きさが互いに異なる複数種類のパノラマ動画像Ｉｍを用意し、通信帯域と注視方向とに応じて切り替えることにより、通信帯域を有効活用しながら、注視方向に応じた領域を所定基準以上の解像度の動画像として表示することができる。

なお、以上の説明では全天周が表示可能範囲となっているパノラマ動画像Ｉｍを配信対象としたが、これに限らず、表示可能範囲は例えば半球面など全天周の一部の範囲であってもよい。このようなケースであっても、以上説明した配信方法により、通信帯域を抑えながら表示可能範囲内の任意の位置を表示でき、かつ注視方向の近傍を高解像度で表示することができる。

あるいは、画像生成装置１０は、パノラマ動画像Ｉｍ以外の動画像（例えばフレーム画像が通常の平面画像である動画像）を配信対象としてもよい。この場合にも、例えば公知のアイ・トラッキング技術によりユーザーの視線方向を特定するなどの方法で、ユーザーの注視方向を特定できる。この場合、動画像内の一部領域を他の領域よりも高解像度で描画した配信対象動画像が複数生成される。これらの配信対象動画像は、互いに異なる領域を、他の領域よりも高解像度で表示可能とする。これにより、パノラマ動画像Ｉｍの場合と同様に、注視方向近傍を高解像度で表示しつつ、全体を高解像度で描画した動画像を配信する場合と比較して、使用する通信帯域を抑えることができる。

また、以上の説明では配信対象の動画像を生成する画像生成装置１０そのものが、生成した動画像の配信、及び配信対象動画像の切り替えを行うこととしたが、これに限らず、画像生成装置とは別の画像配信装置がこのような配信処理を実行することとしてもよい。

１ 画像表示システム、１０ 画像生成装置、１１，２１ 制御部、１２，２２ 記憶部、１３，２３ 通信部、２０ 画像表示制御装置、２４ 表示装置、２５ 操作デバイス、３１ 景色情報取得部、３２ パノラマ画像生成部、３３ パノラマ画像送信部、３４ パノラマ画像取得部、３５ 方向取得部、３６ 表示画像描画部。

Claims (7)

1. 動画像を表示してユーザーに提示する画像表示制御装置に対して、表示対象となる動画像を配信する画像配信装置であって、
   表示可能範囲のうち、互いに異なる部分領域を高い解像度で表示可能な複数の動画像の中から、一度にいずれか一つの動画像を前記画像表示制御装置に配信する配信部と、
   前記表示可能範囲内における前記ユーザーの注視方向の情報を取得する注視方向取得部と、
   を含み、
   前記配信部は、前記注視方向の情報に基づいて、前記複数の動画像の中から配信対象とする動画像を選択する
   ことを特徴とする画像配信装置。
2. 請求項１に記載の画像配信装置において、
   前記配信部は、前記表示可能範囲内の互いに異なる位置の部分領域を所定基準以上の解像度で表示可能な複数の第１動画像、及び、当該第１動画像よりも狭い部分領域を所定基準以上の解像度で表示可能な複数の第２動画像を含む複数の動画像の中から、一度にいずれか一つの動画像を前記画像表示制御装置に配信する
   ことを特徴とする画像配信装置。
3. 請求項２に記載の画像配信装置において、
   前記複数の第１動画像それぞれの部分領域は、前記表示可能範囲内の任意の位置を前記複数の第１動画像のいずれかが所定基準以上の解像度で表示できるように決定されており、
   前記複数の第２動画像それぞれの部分領域は、前記表示可能範囲内の任意の位置を前記複数の第２動画像のいずれかが所定基準以上の解像度で表示できるように決定されている
   ことを特徴とする画像配信装置。
4. 請求項２又は３に記載の画像配信装置において、
   当該画像配信装置と前記画像表示制御装置との間の通信帯域に関する情報を取得する帯域情報取得部をさらに含み、
   前記配信部は、前記注視方向の情報と、前記通信帯域に関する情報とに基づいて、配信対象とする動画像を選択する
   ことを特徴とする画像配信装置。
5. 請求項１から４のいずれか一項に記載の画像配信装置において、
   前記動画像は、全天周の一部、又は全部の範囲を前記表示可能範囲とするパノラマ動画像であって、
   前記表示可能範囲の一部の視野範囲が、前記前記画像表示制御装置による表示対象となる
   ことを特徴とする画像配信装置。
6. 動画像を表示してユーザーに提示する画像表示制御装置に対して、表示対象となる動画像を配信する画像配信方法であって、
   表示可能範囲のうち、互いに異なる部分領域を高い解像度で表示可能な複数の動画像の中から、一度にいずれか一つの動画像を前記画像表示制御装置に配信する配信ステップと、
   前記表示可能範囲内における前記ユーザーの注視方向の情報を取得する注視方向取得ステップと、
   を含み、
   前記配信ステップでは、前記注視方向の情報に基づいて、前記複数の動画像の中から配信対象とする動画像を選択する
   ことを特徴とする画像配信方法。
7. 動画像を表示してユーザーに提示する画像表示制御装置に対して、表示対象となる動画像を配信する画像配信装置を制御するためのプログラムであって、
   表示可能範囲のうち、互いに異なる部分領域を高い解像度で表示可能な複数の動画像の中から、一度にいずれか一つの動画像を前記画像表示制御装置に配信する配信部と配信部、及び、
   前記表示可能範囲内における前記ユーザーの注視方向の情報を取得する注視方向取得部、
   として前記画像配信装置を機能させ、
   前記配信部は、前記注視方向の情報に基づいて、前記複数の動画像の中から配信対象とする動画像を選択する
   ことを特徴とするプログラム。

Images