JPWO2017029885A1 - 画像生成装置、及び画像表示制御装置 - Google Patents

画像生成装置、及び画像表示制御装置 Download PDF

Info

Publication number
JPWO2017029885A1
JPWO2017029885A1 JP2017535279A JP2017535279A JPWO2017029885A1 JP WO2017029885 A1 JPWO2017029885 A1 JP WO2017029885A1 JP 2017535279 A JP2017535279 A JP 2017535279A JP 2017535279 A JP2017535279 A JP 2017535279A JP WO2017029885 A1 JPWO2017029885 A1 JP WO2017029885A1
Authority
JP
Japan
Prior art keywords
image
sphere
latitude
point
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017535279A
Other languages
English (en)
Other versions
JP6672315B2 (ja
Inventor
友博 大戸
友博 大戸
篠原　隆之
隆之 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2017029885A1 publication Critical patent/JPWO2017029885A1/ja
Application granted granted Critical
Publication of JP6672315B2 publication Critical patent/JP6672315B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成して出力する画像生成装置である。

Description

本発明は、パノラマ画像を生成する画像生成装置、パノラマ画像を表示する画像表示制御装置、画像生成方法、プログラム、及び画像データに関する。
観測点から見た全天周の景色を２次元平面に投影したパノラマ画像の画像フォーマットとして、正距円筒図法が知られている。この方式では、縦横比が１：２の矩形の画像データ内に、水平方向に３６０度、上下方向に１８０度の全方位の景色が含まれている。このようなパノラマ画像を用いることによって、例えばユーザーによる視点の向きの操作に応じて任意の方向の景色を表示するパノラマビューアを実現することができる。
上述した正距円筒図法の画像フォーマットでは、画像の上辺全体が天頂（真上）の一点に対応し、下辺全体が天底（真下）の一点に対応する。そのため、上辺や下辺の近傍の領域（観測点から見て真上や真下に近い向きの景色が含まれる領域）では、地平線に近い高さの景色が含まれる画像中段の領域と比較して、１画素あたりの情報量が極端に小さくなり、情報の無駄が多くなる。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、パノラマ画像に含まれる情報の無駄を低減することのできる画像生成装置、画像表示制御装置、画像生成方法、プログラム、及び画像データを提供することにある。
本発明に係る画像生成装置は、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成するパノラマ画像生成部と、前記生成されたパノラマ画像を出力する画像出力部と、を含むことを特徴とする。
また、本発明に係る画像表示制御装置は、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を取得する取得部と、前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、を含むことを特徴とする。
また、本発明に係る画像生成方法は、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成するステップと、前記生成されたパノラマ画像を出力するステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成する手段、及び、前記生成されたパノラマ画像を出力する手段、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
また、本発明に係る画像データは、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域が、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換された状態で平面上に配置されてなる画像データである。
本発明の実施形態に係る画像生成装置が生成する第１の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球を正面側から見た斜視図である。 第１の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球を背面側から見た斜視図である。 第１の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球の正面図である。 正距円筒図法によるパノラマ画像を示す図である。 第１の例に係るパノラマ画像を示す図である。 本発明の実施形態に係る画像生成装置が生成する第２の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球を正面側から見た斜視図である。 第２の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球を背面側から見た斜視図である。 第２の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球の正面図である。 第２の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球の背面図である。 第２の例に係るパノラマ画像を示す図である。 第３の例に係るパノラマ画像を示す図である。 本発明の実施の形態に係る画像生成装置が生成するパノラマ画像の画素配置の一例を示す図である。 パノラマ画像を長方形とする場合の画素配置の一例を示す図である。 パノラマ画像を長方形とする場合の画素配置の別の例を示す図である。 本発明の実施の形態に係る画像生成装置、及び画像表示制御装置を含んだ画像表示システムの構成を示す構成ブロック図である。 画像表示システムの機能を示す機能ブロック図である。 表示画像描画時のサンプリング処理を説明する図である。 サンプリング用画素列を付加したパノラマ画像の例を示す図である。
以下、本発明の実施形態について、図面に基づき詳細に説明する。
本実施形態に係る画像生成装置は、観測点から見た全天周の景色を含む、正距円筒図法とは異なる画像フォーマットのパノラマ画像を生成する。以下では、本実施形態に係る画像生成装置によって生成されるパノラマ画像をパノラマ画像Ｐと表記する。パノラマ画像Ｐは、全天周の景色を含んだ２次元（平面）の画像データである。ここで全天周とは、観測点から見て水平方向（左右方向）に３６０度、鉛直方向（上下方向）に天頂から天底まで１８０度の全ての方位を意味している。
以下、パノラマ画像Ｐの画像フォーマットの三つの実施例について、正距円筒図法によるパノラマ画像と比較して説明する。まず、パノラマ画像Ｐの第１の例について説明する。以下では、この第１の例に係るパノラマ画像Ｐを第１パノラマ画像Ｐ１と表記する。また、正距円筒図法により生成されるパノラマ画像を正距円筒画像Ｐ０と表記する。
観測点から見た全天周の景色は、観測点の位置を中心とした仮想的な球面上に投影される。ここで、全天周の景色が投影された仮想的な球を球Ｓとする。図１Ａ〜図１Ｃはこの球Ｓを示しており、図１Ａが正面上方から見た斜視図、図１Ｂが背面下方から見た斜視図、図１Ｃが正面図である。なお、ここでは後述する点Ｅ１の位置を正面方向としている。球Ｓの表面において、天頂（観測点の真上）に対応する点を点Ｕとする。また、天底（観測点の真下）に対応する点を点Ｄとする。点Ｕと点Ｄとは、球Ｓの中心を挟んで対向している。直線ＵＤに垂直な球Ｓの大円は、観測点から見た天文学的地平線に対応し、観測点から水平方向に見た景色がこの大円上に投影される。以下、この直線ＵＤに垂直な球Ｓの大円を含む平面を地平面という。また、地平面と直交する平面を鉛直面という。
この第１の例では、球Ｓの表面上の位置を緯度θと経度φからなる座標系で表現することとする。また、地平面上の一つの点Ｆをこの座標系の原点（θ＝０，φ＝０）とする。球Ｓ上のある点の緯度θは、その点と球Ｓの中心とを結ぶ直線が地平面となす角度で表される。経度φは、その点と点Ｕ、及び点Ｄを含む球Ｓの大円が、点Ｆ、点Ｕ及び点Ｄを含む大円となす角度で表される。なお、ここでは図１Ｃに示すように、地平面から天頂に向かう方向を緯度θの正方向とする。そのため、点Ｕの緯度θはπ／２、点Ｄの緯度θは−π／２となる。また、観測点から点Ｆを見た場合の右手方向を経度φの正方向とする。
また、地平面に沿って９０度ずつ離れた球Ｓ上の４点を点Ｅ１〜点Ｅ４とする。具体的に、これらの４点の緯度θはいずれも０で、経度φについては点Ｅ１がπ／４、点Ｅ２が３π／４、点Ｅ３が５π／４（または−３π／４）、点Ｅ４が−π／４となる。例えば観測点上にいる観測者が点Ｅ１の方向を向いている場合、点Ｅ２が観測者の右手方向、点Ｅ３が背面方向、点Ｅ４が左手方向となる。点Ｅ１と点Ｅ３、点Ｅ２と点Ｅ４はそれぞれ球Ｓの中心を挟んで対向し、直線Ｅ１Ｅ３と直線Ｅ２Ｅ４とは地平面上において互いに直交している。なお、図１Ａ〜図１Ｃでは、地平面に含まれるθ＝０の緯線と、点Ｅ１〜Ｅ４のそれぞれを通る４本の経線とが実線で図示されている。また、何本かの緯線が破線で示されている。
さらに、球Ｓの中心を通り互いに直交する３個の平面により球Ｓの表面を分割して得られる８個の領域を、分割領域Ａ１〜Ａ８と表記する。この第１の例において、互いに直交する３個の平面は、点Ｅ１〜Ｅ４を含む地平面と、点Ｅ１、点Ｅ３、点Ｕ、及び点Ｄを含む鉛直面と、点Ｅ２、点Ｅ４、点Ｕ、及び点Ｄを含む鉛直面である。具体的に、点Ｕと点Ｅ１を結ぶ経線、点Ｅ１と点Ｅ２を結ぶ緯線、及び点Ｅ２と点Ｕを結ぶ経線に囲まれた領域を分割領域Ａ１とする。同様にして、点Ｕ、点Ｅ２、点Ｅ３で囲まれた領域を分割領域Ａ２とし、点Ｕ、点Ｅ３、点Ｅ４で囲まれた領域を分割領域Ａ３とし、点Ｕ、点Ｅ４、点Ｅ１で囲まれた領域を分割領域Ａ４とし、点Ｄ、点Ｅ１、点Ｅ２で囲まれた領域を分割領域Ａ５とし、点Ｄ、点Ｅ２、点Ｅ３で囲まれた領域を分割領域Ａ６とし、点Ｄ、点Ｅ３、点Ｅ４で囲まれた領域を分割領域Ａ７とし、点Ｄ、点Ｅ４、点Ｅ１で囲まれた領域を分割領域Ａ８とする。これらの分割領域Ａ１〜Ａ８は、いずれも球Ｓの大円の円周の１／４に相当する長さを持つ３本の緯線又は経線によって囲まれた領域であって、互いに等しい大きさ及び形状を備えている。
図２は、この球Ｓ上に投影される景色を含んだ正距円筒画像Ｐ０を示している。なお、ここでは経度φ＝０の点Ｆを正距円筒画像Ｐ０の中心としている。正距円筒図法では、観測点から見た上下左右の位置関係が保たれるように、球Ｓの表面に投影された景色が縦横比１：２の長方形の正距円筒画像Ｐ０に変換される。正距円筒画像Ｐ０内では、球Ｓの緯線は左右方向に沿って互いに並行に延伸し、経線は上下方向に沿って互いに並行に延伸し、全ての緯線と経線とは直交する。また、分割領域Ａ１〜Ａ８はそれぞれ正方形状の領域に変換され、正距円筒画像Ｐ０の上辺全体が点Ｕに対応し、下辺全体が点Ｄに対応する。このような変換により、球Ｓの表面において点Ｕ及び点Ｄの近傍に位置する領域（高緯度の領域）は、正距円筒画像Ｐ０内において左右方向に引き伸ばされることになる。そのため、正距円筒画像Ｐ０の上辺近傍、及び下辺近傍では、単位画素あたりに含まれる情報量が画像中段の低緯度の領域と比較して低下する。
図３は、球Ｓ上に投影される景色を含んだ第１パノラマ画像Ｐ１を示している。同図に示されるように、第１パノラマ画像Ｐ１は全体として正方形の形状をしている。そして、正方形の中心点が点Ｄに対応しており、球Ｓ上において点Ｄと対向する点Ｕは正方形の４隅に対応している。すなわち、第１パノラマ画像Ｐ１の４個の頂点は、球Ｓ上の一つの点Ｕに対応する。また、正方形の上辺の中点が点Ｅ１に、右辺の中点が点Ｅ２に、下辺の中点が点Ｅ３に、左辺の中点が点Ｅ４に、それぞれ対応している。なお、ここでは球Ｓの点Ｕに対応する第１パノラマ画像Ｐ１の４個の頂点のうち、右上の頂点を点Ｕ１、右下の頂点を点Ｕ２、左下の頂点を点Ｕ３、左上の頂点を点Ｕ４としている。
球Ｓにおけるθ＝０の緯線は、第１パノラマ画像Ｐ１内において、４辺の中点を頂点とし、点Ｄを中心とする正方形Ｅ１Ｅ２Ｅ３Ｅ４を形成する。そして、θ＜０の緯線は、第１パノラマ画像Ｐ１内において、直線Ｅ１Ｄ、直線Ｅ２Ｄ、直線Ｅ３Ｄ、及び直線Ｅ４Ｄのそれぞれと交差する位置で９０度折れ曲がり、点Ｄを中心とする正方形を形成する。一方、θ＞０の緯線は、第１パノラマ画像Ｐ１を４分割してなる４個の正方形Ｅ１Ｕ１Ｅ２Ｄ、正方形ＤＥ２Ｕ２Ｅ３、正方形Ｕ４Ｅ１ＤＥ４、及び正方形Ｅ４ＤＥ３Ｕ３のそれぞれに分割されている。これら４個の正方形は、互いに直交する二つの鉛直面で球Ｓの表面を４分割して得られる４個の領域に対応している。そして、これらの正方形それぞれの内部において、緯線（すなわち、二つの鉛直面に直交する平面と球Ｓとの交線）は、正方形の対角線と平行な向きに互いに並んで配置される。なお、球Ｓの経線は、第１パノラマ画像Ｐ１内において中心の点Ｄから放射状に延び、θ＝０の緯線と交差する位置で屈曲して点Ｕに対応する正方形のいずれかの頂点まで延びている。
球Ｓの表面を８分割して得られる分割領域Ａ１〜Ａ８のそれぞれは、第１パノラマ画像Ｐ１内において直角二等辺三角形の形状の領域に変換されている。第１パノラマ画像Ｐ１においては、正方形の形状に変換される正距円筒画像Ｐ０と比較して、各分割領域が元の球面上における形状と比較的近い形状に変換される。そのため、正距円筒画像Ｐ０と比較して、高緯度領域と低緯度領域との間における単位画素あたりに含まれる情報量の格差が小さくなる。なお、以下では各分割領域を変換して得られるパノラマ画像Ｐ内の領域を変換領域という。また、説明の便宜のため、パノラマ画像Ｐ内における個々の変換領域を球Ｓ上の対応する分割領域と同じ符号で参照する。つまり、球Ｓ上の分割領域Ａ１を変換して得られる第１パノラマ画像Ｐ１内の変換領域は、変換領域Ａ１と表記する。
ここで、球Ｓの表面上における位置座標と、第１パノラマ画像Ｐ１内の位置座標との対応関係について、説明する。ここでは第１パノラマ画像Ｐ１内の位置座標は、図３に示すように、横方向をｘ軸、縦方向をｙ軸とし、中心位置を原点とする直交座標系によって表されるものとする。この直交座標系において、第１パノラマ画像Ｐ１の右辺はｘ＝１、左辺はｘ＝−１、上辺はｙ＝１、下辺はｙ＝−１で表される。
この場合において、球Ｓの表面上の緯度θ、及び経度φは、変数ｕ、ｖ、ａを用いて以下の数式により表される。
Figure 2017029885
 ここで変数ｕ、ｖ、ａは、それぞれ第１パノラマ画像Ｐ１内の位置座標（ｘ、ｙ）に応じて以下の数式により表される。
Figure 2017029885
 これらの数式により、球Ｓ上の位置と第１パノラマ画像Ｐ１内の位置との対応関係が定義されている。これらの数式から分かるように、各分割領域内において緯度θはｘ、ｙのそれぞれと線形関係にある。
なお、第１パノラマ画像Ｐ１の外周上の点（ｘ＝１、ｘ＝−１、ｙ＝１、ｙ＝−１）を除けば、球Ｓ上の位置座標と第１パノラマ画像Ｐ１内の位置座標は一対一で対応する。さらに、第１パノラマ画像Ｐ１内において隣接する画素同士は、球Ｓ内においても互いに隣接する領域に対応する。つまり、第１パノラマ画像Ｐ１内において緯線や経線が屈曲する箇所は存在するが、球Ｓ上において互いに離れた不連続な領域が第１パノラマ画像Ｐ１内において隣接するような変換はされていない。なお、第１パノラマ画像Ｐ１の外周上の点は、正方形の各辺を中点で折り返した場合に対応する同じ辺上の箇所と、球Ｓ上で連続するようになっている。例えば正方形の上辺においては、左端からｎ番目の画素と右端からｎ番目の画素とが互いに球Ｓ上の隣接する領域に対応している。
正距円筒画像Ｐ０では、低緯度の領域（画像中段の領域）で単位画素あたりの情報量が最も大きくなる。ここで、正距円筒画像Ｐ０の縦方向の画素数を２Ｎとすると、横方向の画素数は４Ｎとなり、地平面上における９０度の視野範囲（例えば点Ｅ１から点Ｅ２までの範囲）に対応する画素数はＮとなる。これに対して、縦方向の画素数が２Ｎである第１パノラマ画像Ｐ１においては、地平面上における９０度の視野範囲に対応する画素は、例えば図３の直線Ｅ１Ｅ２のように斜め方向に沿って配列されるが、画素数自体は正距円筒画像Ｐ０の場合と同じくＮになる。そのため第１パノラマ画像Ｐ１は、縦方向の画素数が同じ正距円筒画像Ｐ０と比較して、低緯度の領域でほぼ同等の画質を得ることができる。また、天頂（点Ｕ）から地平面を経て天底（点Ｄ）に至るまでの鉛直方向に沿った１８０度の視野範囲については、正距円筒画像Ｐ０におけるこの視野範囲に対応する画素数は、画像の縦方向の画素数２Ｎに一致する。これに対して第１パノラマ画像Ｐ１においては、この視野範囲は例えば図３の点Ｕ１から点Ｅ１を経て点Ｄに至る経路に相当するので、画素数は第１パノラマ画像Ｐ１の一辺の画素数２Ｎから１引いた数（２Ｎ−１）になる。ここで１が減じられるのは、点Ｅ１の位置の画素は直線Ｕ１Ｅ１の端点でもあり、かつ直線Ｅ１Ｄの端点でもあり、両者に共有されるからである。いずれにせよ、鉛直方向に沿った視野範囲に対応する画素数についても、第１パノラマ画像Ｐ１は縦方向の画素数が同じ正距円筒画像Ｐ０とほぼ同数となることから、ほぼ同等の解像度を得られることが分かる。なお、高緯度になるにつれて第１パノラマ画像Ｐ１内の画素数は減少するが、正距円筒画像Ｐ０の高緯度領域はもともと情報の無駄が大きいため、第１パノラマ画像Ｐ１は高緯度領域でも正距円筒画像Ｐ０と比較して画質がほとんど劣化しない。すなわち、第１パノラマ画像Ｐ１は、全天周にわたって、縦方向の画素数が同じ正距円筒画像Ｐ０と比べて遜色ない画質を備えている。
第１パノラマ画像Ｐ１と正距円筒画像Ｐ０の間で縦方向の画素数が一致する場合、第１パノラマ画像Ｐ１の横方向の画素数は正距円筒画像Ｐ０のちょうど半分になる。そのため、第１パノラマ画像Ｐ１は全体としてちょうど半分の画素数で正距円筒画像Ｐ０とほぼ同等の画質を得られることになる。このことから、第１パノラマ画像Ｐ１を利用すれば、画質を損なうことなく、データサイズを正距円筒画像Ｐ０と比較して小さくすることができる。また、正距円筒画像Ｐ０と比較して画像のデータサイズを肥大化させることなく、画像の高解像度化を実現できる。また、パノラマ画像を動画像として生成する場合に、フレームレートを向上させたり、動画像のエンコードやデコードの処理に必要な処理負荷を軽減させることができる。また、パノラマ画像を立体画像として表示したい場合、左目用と右目用の２枚のパノラマ画像を含んだ画像データを、１枚の正距円筒画像Ｐ０と同等の画素数で提供することができる。
次に、本実施形態におけるパノラマ画像Ｐの画像フォーマットの第２の例について説明する。以下では、この第２の例に係るパノラマ画像Ｐを第２パノラマ画像Ｐ２と表記する。この第２の例では、球Ｓ上の位置を第２パノラマ画像Ｐ２内の位置に変換する際に、球Ｓの表面を２分割して得られる二つの半球面について、互いに異なる座標系を用いて変換を行う。そこでまず、第２の例における球Ｓ上の位置座標の定義について、図４Ａ〜４Ｄを用いて説明する。
図４Ａは球Ｓを正面上方から見た斜視図であり、図４Ｂは球Ｓを背面下方から見た斜視図である。また、図４Ｃは正面図、図４Ｄは背面図である。なお、ここでは点Ｆの位置を正面方向としている。図１Ａ〜図１Ｃと同様に、第２の例でも天頂に対応する点を点Ｕとし、天底に対応する点を点Ｄとする。また、地平面上において９０度ずつ離れた４点を点Ｆ、点Ｌ、点Ｂ、及び点Ｒとする。球Ｓの中心点（観測点）にいる観測者が点Ｆの方向（正面方向）を向いた場合に、右手方向が点Ｒ、背面方向が点Ｂ、左手方向が点Ｌとなる。
球Ｓの正面側の半分、すなわち図４Ｃで表示されている範囲については、前述した第１の例と同様の緯度θと経度φによって位置座標が定義される。つまり、緯線は地平面と並行な線となり、経線は点Ｕ及び点Ｄを通る球Ｓの大円の円周となる。以下では、この球Ｓの正面側半分の半球面を正面領域といい、正面領域内の位置を示す座標系を正面座標系という。なお、図４Ａ及び図４Ｃでは、正面領域内の何本かの緯線が破線により示されている。正面座標系では、点Ｆを原点（θ＝０，φ＝０）とし、図中矢印で示されるように、点Ｆから天頂（点Ｕ）に向かう方向を緯度θの正方向とし、点Ｒに向かう方向を経度φの正方向とする。これにより、第１の例と同様に点Ｕはθ＝π／２、点Ｄはθ＝−π／２となる。また、点Ｒはθ＝０、φ＝π／２となり、点Ｌはθ＝０、φ＝−π／２となる。
一方、球Ｓの背面側の半分、すなわち図４Ｄで表示されている範囲については、正面領域とは異なる向きに緯度θと経度φが定義される。具体的には、点Ｌを北極点、点Ｒを南極点とみなした場合の地球と同様の向き、つまり正面領域に対して９０度傾いた向きで緯度θと経度φが定義される。これにより、緯線は直線ＬＲに垂直な球Ｓの断面の外周となり、経線は点Ｌ及び点Ｒを通る球Ｓの大円の円周となる。以下では、この球Ｓの背面側半分の半球面を背面領域といい、背面領域内の位置を示す座標系を背面座標系という。図４Ｂ及び図４Ｄでは、背面座標系で定義される背面領域内の何本かの緯線が一点鎖線により示されている。図４Ｄに示されるように、背面座標系では緯線は背面側から見て直線ＵＤに平行に（すなわち、正面座標系の緯線と直交する向きに）延伸している。背面座標系では、点Ｂを原点（θ＝０、φ＝０）とし、図中矢印で示されるように、点Ｂから点Ｌに向かう方向を緯度θの正方向とし、点Ｄに向かう方向を経度φの正方向とする。これにより、正面領域と背面領域の境界線上に位置する点Ｕ、点Ｌ、点Ｄ、及び点Ｒは、背面座標系においては正面座標系と異なる位置座標で表される。具体的に背面座標系では、点Ｌはθ＝π／２となり、点Ｒはθ＝−π／２となる。また、点Ｄはθ＝０、φ＝π／２となり、点Ｕはθ＝０、φ＝−π／２となる。
また、球Ｓの表面を互いに直交する３個の平面で分割して得られる８個の領域を分割領域Ａ９〜Ａ１６と表記する。ここでは互いに直交する３個の平面は、点Ｆ、点Ｌ、点Ｂ、及び点Ｒを含む地平面と、点Ｕ、点Ｆ、点Ｄ、及び点Ｂを含む鉛直面と、点Ｕ、点Ｌ、点Ｄ、及び点Ｒを含む鉛直面である。具体的に、点Ｕ、点Ｆ、点Ｌで囲まれた領域を分割領域Ａ９とし、点Ｄ、点Ｆ、点Ｌで囲まれた領域を分割領域Ａ１０とし、点Ｄ、点Ｒ、点Ｆで囲まれた領域を分割領域Ａ１１とし、点Ｕ、点Ｆ、点Ｒで囲まれた領域を分割領域Ａ１２とし、点Ｕ、点Ｂ、点Ｒで囲まれた領域を分割領域Ａ１３とし、点Ｄ、点Ｂ、点Ｒで囲まれた領域を分割領域Ａ１４とし、点Ｄ、点Ｌ、点Ｂで囲まれた領域を分割領域Ａ１５とし、点Ｕ、点Ｂ、点Ｌで囲まれた領域を分割領域Ａ１６とする。これらの分割領域Ａ９〜Ａ１６は、いずれも球Ｓの大円の円周の１／４に相当する長さを持つ３本の緯線又は経線によって囲まれた領域であって、互いに等しい大きさ及び形状を備えている。
図５は、球Ｓ上に投影される景色を含んだ第２パノラマ画像Ｐ２を示している。同図に示されるように、第２パノラマ画像Ｐ２も第１パノラマ画像Ｐ１と同様に全体として正方形の形状をしている。そして、正方形の中心点が点Ｆに対応しており、球Ｓ上において点Ｆと対向する点Ｂは正方形の４隅に対応している。すなわち、第２パノラマ画像Ｐ２の４個の頂点は、球Ｓ上の一つの点Ｂに対応する。また、正方形の左辺の中点が点Ｌに、上辺の中点が点Ｕに、右辺の中点が点Ｒに、下辺の中点が点Ｄに、それぞれ対応している。なお、ここでは点Ｂに対応する４個の頂点のうち、右上の頂点を点Ｂ１、右下の頂点を点Ｂ２、左下の頂点を点Ｂ３、左上の頂点を点Ｂ４としている。
第２パノラマ画像Ｐ２においては、球Ｓの正面領域が、図５における正方形ＲＵＬＤに変換される。この正方形内においては、緯線は左右方向（直線ＬＲと平行な方向）に沿って互いに平行に並んでいる。これに対して経線は、点Ｕから放射状に延び、直線ＲＬと交差する位置で屈曲して点Ｄまで延びている。
一方、球Ｓの背面領域は、４分割されてそれぞれ直角二等辺三角形状の変換領域に変換され、正方形ＲＵＬＤの外側に配置されている。このとき、各変換領域の配置位置は、球Ｓ上の連続した領域が第２パノラマ画像Ｐ２内でも隣接するように決定されている。つまり、第２パノラマ画像Ｐ２においても、第１パノラマ画像Ｐ１と同様に、球Ｓの表面を８分割して得られる分割領域Ａ９〜Ａ１６はそれぞれ直角二等辺三角形状の変換領域Ａ９〜Ａ１６に変換され、球Ｓ上における隣接関係を保つように配列されて正方形のパノラマ画像を形成している。なお、正方形ＲＵＬＤの外側に配置される変換領域Ａ１３〜Ａ１６内において、背面座標系の緯線は正面座標系の緯線と同様に直線ＬＲと平行な方向に沿って互いに並行に並んでいる。
ここで、球Ｓの表面上における位置座標と、第２パノラマ画像Ｐ２内の位置座標との対応関係について、説明する。ここでは第２パノラマ画像Ｐ２内の位置座標は、図４に示すように、横方向をｘ軸、縦方向をｙ軸とし、中心位置を原点とする直交座標系によって表されるものとする。この直交座標系において、第２パノラマ画像Ｐ２の右辺はｘ＝１、左辺はｘ＝−１、上辺はｙ＝１、下辺はｙ＝−１で表される。
この場合において、球Ｓの表面上の緯度θ、及び経度φは、変数ｕ、ｖを用いて以下の数式により表される。
Figure 2017029885
 ここで変数ｕ、ｖは、それぞれ第２パノラマ画像Ｐ２内の位置座標（ｘ、ｙ）に応じて以下の数式により表される。
Figure 2017029885
 これらの数式により、球Ｓ上の位置と第２パノラマ画像Ｐ２内の位置との対応関係が定義されている。ただし、この第２の例では、前述したように、正面領域内の緯度θ及び経度φは正面座標系によって定義され、背面領域内の緯度θ及び経度φは背面座標系によって定義されている。なお、この第２パノラマ画像Ｐ２においても、各分割領域内において緯度θはｘ、ｙのそれぞれと線形関係にある。
この第２パノラマ画像Ｐ２についても、外周上の点（ｘ＝１、ｘ＝−１、ｙ＝１、ｙ＝−１）を除いて球Ｓ上の位置座標と第２パノラマ画像Ｐ２内の位置座標は一対一で対応する。さらに、第２パノラマ画像Ｐ２内において隣接する画素同士は、球Ｓ内においても互いに隣接する領域に対応する。そして、第２パノラマ画像Ｐ２の外周上の点は、正方形の各辺を中点で折り返した場合に対応する同じ辺上の箇所と、球Ｓ上で連続するようになっている。この第２パノラマ画像Ｐ２も、第１パノラマ画像Ｐ１と同様に、正距円筒画像Ｐ０の半分の画素数で正距円筒画像Ｐ０とほぼ同等の画質を実現できる。
なお、第２の例では、第１パノラマ画像Ｐ１と異なり、観測者から見て正面側の景色（点Ｆを中心とする半球面に投影される景色）が、分割されることなく第２パノラマ画像Ｐ２と中心が一致する正方形に変換されている。そのため、特に後方よりも前方の景色をユーザーに提示したい場合、第２パノラマ画像Ｐ２の利用が適している。
以上説明したように、第１パノラマ画像Ｐ１では点Ｄが中心に配置されてこれと対向する点Ｕが４隅の頂点に対応し、第２パノラマ画像Ｐ２では点Ｆが中心に配置されてこれと対向する点Ｂが４隅の頂点に対応している。つまり、両者は球Ｓから平面のパノラマ画像Ｐに変換する際の変換の向きに違いがある。しかしながら、変換の内容自体は両者で類似するものになっている。具体的には、どちらの場合も、球Ｓの中心を通り互いに直交する３個の平面により分割される球面上の８個の分割領域を、それぞれ直角二等辺三角形状の変換領域に変換している。これにより、画素間の情報量の差異を減らすことができる。なお、ここで各分割領域を直角二等辺三角形に変換しているのは、８個の直角二等辺三角形を並べて配置することでパノラマ画像Ｐを正方形の形状とすることができるからである。パノラマ画像Ｐの形状をその他（例えば長方形）の形状とすることが許容されるのであれば、各分割領域を直角二等辺三角形ではない三角形（直角三角形など）に変換したとしても、正距円筒画像Ｐ０と比較して画素間の情報量の差異を減らすことは可能である。
次に、本実施形態におけるパノラマ画像Ｐの画像フォーマットの第３の例について説明する。以下では、この第３の例に係るパノラマ画像Ｐを第３パノラマ画像Ｐ３と表記する。説明の便宜のため、第３の例においても、第２の例と同様に球Ｓの表面を分割領域Ａ９〜Ａ１６の８個の領域に分割する。また、球Ｓ上の位置座標を、第２の例における正面座標系と同様に定義された緯度θ及び経度φによって表すこととする。つまり、第２の例とは異なり第３の例では、球Ｓの表面上の位置は球Ｓの全面にわたって単一の座標系によって表現されることになる。
図６は、球Ｓ上に投影される景色を含んだ第３パノラマ画像Ｐ３を示している。同図に示されるように、この第３パノラマ画像Ｐ３においては、８個の分割領域Ａ９〜Ａ１６は、それぞれ第２パノラマ画像Ｐ２と同様に直角二等辺三角形に変換され、第２パノラマ画像Ｐ２と同じ位置に配置される。さらに、分割領域Ａ９〜Ａ１２は、第２パノラマ画像Ｐ２と同様の変換式により第３パノラマ画像P３内の変換領域Ａ９〜Ａ１２に変換される。つまり、同じ景色を表現する場合、第２パノラマ画像Ｐ２と第３パノラマ画像Ｐ３とで正方形ＵＲＤＬ内の画像データは一致することになる。
一方、分割領域Ａ１３〜Ａ１６については、第３パノラマ画像Ｐ３内において第２パノラマ画像Ｐ２と同様の位置及び形状の変換領域に変換されるが、分割領域内の位置は第２パノラマ画像Ｐ２とは異なる変換式によって対応する変換領域内の位置に変換される。その結果、第３パノラマ画像Ｐ３においては、θ＞０の緯線は図中点線で示されるように上に開いたコの字型になる。逆にθ＜０の緯線は下に開いたコの字型になる。
ここで、球Ｓの表面上における位置座標と、第３パノラマ画像Ｐ３内の位置座標との対応関係について、説明する。第３パノラマ画像Ｐ３内の位置座標は、第１パノラマ画像Ｐ１や第２パノラマ画像Ｐ２と同様に、横方向をｘ軸、縦方向をｙ軸とし、中心位置を原点とする直交座標系によって表されるものとする。
この場合において、球Ｓの表面上の緯度θ、及び経度φは、変数ｕ、ｖ、ａを用いて以下の数式により表される。
Figure 2017029885
 ここで変数ｕ、ｖ、ａは、それぞれ第３パノラマ画像Ｐ３内の位置座標（ｘ、ｙ）に応じて以下の数式により表される。
Figure 2017029885
 これらの数式により、球Ｓ上の位置と第３パノラマ画像Ｐ３内の位置との対応関係が定義される。なお、この第３パノラマ画像Ｐ３においても、各分割領域内において緯度θはｘ、ｙのそれぞれと線形関係にある。
第３の例においても、第２の例と同様に、観測者から見て正面側の景色（点Ｆを中心とする半球面に投影される景色）が、分割されることなく第３パノラマ画像Ｐ３内の正方形ＵＲＤＬに変換されている。そのため、第１の例と比較して、前方の景色をユーザーに提示する用途に適している。また、球Ｓの全体が一つの座標系によって定義されており、緯度と経度の入れ替えを行う必要がないため、第２の例と比較して、正距円筒画像Ｐ０をパノラマ画像Ｐに変換する場合における補間処理が容易になり、演算負荷を抑えることができる。
以上説明した３つの例においては、前述した互いに直交する３個の平面のうち、二つの平面により球Ｓの表面を分割して得られる４個の領域が、それぞれ正方形状の領域に変換されている。例えば第１パノラマ画像Ｐ１では、点Ｕ、点Ｅ１、点Ｄ、及び点Ｅ３を含む鉛直面と点Ｕ、点Ｅ２、点Ｄ、及び点Ｅ４を含む鉛直面によって球Ｓを分割して得られる４個の領域が、４個の正方形Ｅ１Ｕ１Ｅ２Ｄ、正方形ＤＥ２Ｕ２Ｅ３、正方形Ｕ４Ｅ１ＤＥ４、及び正方形Ｅ４ＤＥ３Ｕ３に変換される。そして、前述した３個の平面のうち、残る一つの平面が球Ｓと直交して得られる円周が、４個の正方形それぞれの対角線に変換されている。例えば第１パノラマ画像Ｐ１では、前述した４個の正方形の対角線によって、地平面に対応する正方形Ｅ１Ｅ２Ｅ３Ｅ４が形成されている。すなわち、第１パノラマ画像Ｐ１、第２パノラマ画像Ｐ２及び第３パノラマ画像Ｐ３は、いずれも、８個の直角二等辺三角形を二つずつ組み合わせることによって４個の正方形とし、この４個の正方形を、各直角二等辺三角形の底辺が正方形を形成するように２行２列に並べて配置することによって、構成されている。
図７は、これまで説明した実施例において二つの直角二等辺三角形状の変換領域を組み合わせて形成された正方形の例を示す図であって、図３の第１パノラマ画像Ｐ１内における正方形Ｅ１Ｕ１Ｅ２Ｄの画素配置を示している。ここでは簡単のため、正方形の１辺が８個の画素によって構成されているものとしている。正方形の１辺が８個の画素を持つ場合、対角線上に並ぶ画素の数も同じく８個となる。なお、図７では対角線上の画素がハッチングで示されている。
図７のハッチングで示すように、底辺が斜め方向となるように配置した場合、一つの直角二等辺三角形は、底辺の画素数をＮとしてＮ（Ｎ＋１）／２個の画素で構成される。これを単純に２倍するとＮ（Ｎ＋１）となる。つまり、各直角二等辺三角形の底辺の画素数をＮとしたい場合、そのままでは、二つの直角二等辺三角形に対してＮ行（Ｎ＋１）列の矩形の領域が必要になる。しかしながら以上説明した実施例では、図７に示すように、二つの直角二等辺三角形の間で底辺を共有させている。つまり、正方形の１の対角線上の画素が、二つの直角二等辺三角形状の変換領域それぞれの底辺を構成している。これにより、二つの直角二等辺三角形を組み合わせてなる矩形はちょうどＮ行Ｎ列の正方形となる。このように、球Ｓを互いに直交する２個の平面で分割して得られる４個の領域のそれぞれが正方形に変換されることで、パノラマ画像Ｐの全体も縦方向の画素数と横方向の画素数が等しい正方形となる。このような構成とすることで、動画圧縮などの処理がやりやすくなっている。
このＮ行Ｎ列の正方形は、直線Ｅ１Ｅ２に平行な直線に沿って並ぶ複数の画素からなる画素列が、右上から左下に向かって（２Ｎ−１）個配列して構成されているとみなすことができる。すなわち、点Ｕ１に最も近い右上の画素は、単独で１番目の画素列を構成している。この右上の画素の左隣の画素、及び真下の画素の２個の画素が、２番目の画素列を構成している。Ｎ番目の画素列は、図７においてハッチングで示されている、点Ｅ１から点Ｅ２までのＮ個の画素によって構成されている。さらに、（Ｎ＋１）番目の画素列は図７のハッチングされた各画素の左隣に位置する（Ｎ−１）個の画素によって構成される。そして、（２Ｎ−１）番目の画素列は点Ｄに最も近い左下の画素によって構成されている。これらの各画素列を構成する画素の和をとると、
１＋２＋…＋（Ｎ−１）＋Ｎ＋（Ｎ−１）＋…＋２＋１＝Ｎ２
となり、全体でＮ行Ｎ列の正方形の画素数に一致する。
前述の通り、直線Ｅ１Ｅ２に平行な直線は球Ｓ上の緯線に相当する。そのため、同じ画素列に属する各画素は、球Ｓ上において同緯度の領域に対応する。このことからも、前述したように球Ｓの天頂から天底までの１８０度の視野範囲が第１パノラマ画像Ｐ１内において（２Ｎ−１）個の画素列に変換されていることが分かる。しかも、前述したように、球Ｓ上の点と第１パノラマ画像Ｐ１内の点とを変換する変換式において緯度θはｘ、ｙと線形な関係にある。そのため、上述した（２Ｎ−１）個の画素列は、球Ｓ上において互いに等しい緯度範囲に対応する。つまり、各画素列は、球Ｓ上においてπ／（２Ｎ−１）の緯度範囲に相当する帯状の領域に対応する。さらに、前述した変換式から、同じ画素列に含まれる画素は、球Ｓ上の帯状の領域内において同じ広さの領域に対応する。つまり、同緯度の領域に対応する画素列に含まれる画素は、互いに同じ情報量を持つことになる。第２パノラマ画像Ｐ２や第３パノラマ画像Ｐ３についても、画素列の向きなどが異なるものの、このような分割領域と変換領域との間の変換に関する特徴は同様に成り立つ。すなわち、前述したような変換式によって球Ｓ上の位置とパノラマ画像Ｐ内の位置との変換が行われていることにより、単純に球面上の分割領域の景色をそのまま球の内部の平面に投影して変換領域を生成する場合と比較して、パノラマ画像Ｐ内の各画素が持つ情報量の格差が小さくなっている。
ここでは三つの実施例について説明したが、本実施形態におけるパノラマ画像Ｐはこのようなものに限られず、変換に用いる座標系やパノラマ画像Ｐ内における各変換領域の配置などを変化させた種々のバリエーションがあり得る。いずれの場合であっても、球Ｓの中心を通り互いに直交する３個の平面により球Ｓの表面を分割して得られる８個の分割領域をそれぞれ三角形状の変換領域に変換し、平面上に配置することで、全天周の景色を含んだ正方形状のパノラマ画像Ｐを生成できる。さらに、球Ｓ表面の１／８に相当する各分割領域を三角形状に変換することで、正距円筒図法と比較して画素あたりの情報量の無駄を抑え、少ない画素数で高画質なパノラマ画像Ｐを実現できる。
以上の説明では、球Ｓ上の各分割領域を三角形状の領域に変換して平面上に配置することで、縦方向の画素数と横方向の画素数が等しい正方形のパノラマ画像Ｐを生成することとした。しかしながら、本実施形態におけるパノラマ画像Ｐはこのようなものに限られない。例えば、前述の図７の説明では、二つの変換領域が直角二等辺三角形の底辺を共有することで球Ｓ表面の１／４の領域がちょうどＮ行Ｎ列の正方形に変換されることとした。しかしながら、底辺を共有させずに、二つの分割領域をそれぞれＮ個の画素からなる画素列を底辺とする直角二等辺三角形状の領域に変換してもよい。この場合、球Ｓの１／４の領域がＮ行（Ｎ＋１）列の長方形の領域に変換され、パノラマ画像Ｐは全体で２Ｎ行（２Ｎ＋２）列の長方形の形状となる。
さらに、この底辺と交差する方向の解像度を向上させたい場合、球Ｓの１／４の領域をＮ行（Ｎ＋ｍ）列の長方形の領域に変換してもよい。ここで、ｍは１以上の自然数である。ｍの上限は特にないが、大きすぎるとパノラマ画像Ｐのデータサイズが増大してしまう。ｍをＮ未満とすることで、底辺方向の解像度が同程度の正距円筒画像Ｐ０と比較して、画像データサイズを小さくすることができる。図８は、この例において球Ｓ表面の１／４の領域を変換して得られるＮ行（Ｎ＋ｍ）列の長方形の一例を示している。ここでは、図３の第１パノラマ画像Ｐ１内における正方形Ｅ１Ｕ１Ｅ２Ｄに対応する球Ｓの領域（分割領域Ａ１及びＡ５）を第１パノラマ画像Ｐ１と類似の変換方法により変換した例を示している。また、この図はＮ＝８、ｍ＝３の場合の例を示している。この例では、球Ｓ上の分割領域は、これまでの実施例のような三角形状ではなく、台形状に変換されている。
図８では、球Ｓ上における同緯度の領域に対応する画素群に対して互いに同じ数字のラベルが付与されている。以下では、パノラマ画像Ｐ内において、対応する球Ｓ上の緯度が互いに等しい画素群を、同緯度画素群という。図８で同じラベルが付与された画素は、同じ同緯度画素群に属する。例えば、図８において「１」のラベルが付与された右上の画素は球Ｓ上で天頂（点Ｕ）に最も近い高緯度の領域に対応しており、「２」のラベルが付与された二つの画素は、球Ｓ上でラベル「１」に対応する領域を囲む一段下の領域に対応する同緯度画素群を構成する。また、ラベル「９」の同緯度画素群とラベル「１０」の同緯度画素群が球Ｓ上の地平面に沿った領域に対応している。同図に示されるように、ここでは各同緯度画素群は左上から右下に向かう斜線に沿って帯状の画素列を形成している。そして、比較的低緯度の領域に対応するラベル「８」からラベル「１１」の同緯度画素群が最も多くの画素によって構成されており、そこから点Ｕまたは点Ｄに近づくほど同緯度画素群を構成する画素の数は減少していく。この図８の例では、地平面に沿った９０度の範囲を表現する画素の数は図７の例と同じくＮ個だが、点Ｕ１から点Ｅ１または点Ｅ２を経由して点Ｄに到達する１８０度の範囲を表現する画素数は、図７の（２Ｎ−１）個に対して（２Ｎ−１＋ｍ）個になっている。つまり、パノラマ画像Ｐの形状を正方形から長方形にして左右方向の画素数を増加させた分、球Ｓの鉛直方向を表現する解像度が向上していることになる。なお、ここではパノラマ画像Ｐは左右方向に引き延ばされた形状としているが、上下方向に引き延ばされた形状であってもよい。
図９は、パノラマ画像Ｐを長方形に形成する別の例を示している。ここでは、図６の正方形ＵＦＲＢ１に相当する領域を第３パノラマ画像Ｐ３と類似の変換方法により長方形に変換した例を示している。また、図８と同様、同じ同緯度画素群に属する画素に対して互いに同じ数字のラベルを付与している。第３パノラマ画像Ｐ３では、球Ｓ表面の１／４に相当する変換領域Ａ１２及びＡ１３のうち、点Ｕに最も近い同緯度の領域に対応するのは左上の１画素であったが、この図９の例ではラベル「１」を付与された４個（すなわち、１＋ｍ個）の画素が点Ｕに最も近い高緯度の同緯度画素群を形成している。ラベル「８」の同緯度画素群は、地平面に沿った領域に対応しており、（２Ｎ−１＋ｍ）個の画素によって構成されている。すなわち、この図９では、球Ｓの鉛直方向の９０度の範囲はＮ個の画素で表現され、水平方向の１８０度の範囲は（２Ｎ−１＋ｍ）個の画素によって表現されており、図８とは逆に左右方向の解像度が向上している。なお、この図の例では、第３パノラマ画像Ｐと同様に、同緯度画素群はＬ字型の領域を形成している。また、分割領域Ａ１３は第３パノラマ画像Ｐ３と同様の直角二等辺三角形状に変換され、分割領域Ａ１２は台形状に変換されている。
以上例示したように、パノラマ画像Ｐを長方形とすることで、正方形にする場合と比較して、鉛直方向または水平方向の解像度を向上させることができる。以上説明したいずれの例でも、球Ｓ上の緯線に対応する同緯度画素群がパノラマ画像Ｐ内において帯状の領域を形成している。これまでの説明から分かるように、緯線は、球Ｓ上においてある点（以下、極点という）からの距離が等しい点の集合である。第１パノラマ画像Ｐ１、第２パノラマ画像Ｐ２の正面領域、及び第３パノラマ画像Ｐ３の場合には、極点は点Ｕ及び点Ｄであって、緯線は球Ｓ上において地平面に平行な平面と球Ｓ表面との交線に該当する。一方、第２パノラマ画像Ｐ３の背面領域については、点Ｒ及び点Ｌが極点となり、緯線は図４Ｄの一点鎖線で示されるように鉛直方向に沿って延伸している。そして、極点及び緯線をどのような位置及び向きで定義するかにかかわらず、本実施形態におけるパノラマ画像Ｐは、球Ｓ上の任意の緯線に着目した場合に、その緯線に対応する同緯度画素群に属する画素の数が、その緯線より低緯度の緯線（すなわち、極点に近い側の緯線）に対応する同緯度画素群に属する画素の数と同数か、それよりも少なくなっている。換言すると、パノラマ画像Ｐ内において、高緯度になるにつれて同緯度画素群に含まれる画素の数は減少していくことになる。これに対して正距円筒画像Ｐ０においては、どの緯線も画像の横方向に並ぶ同じ長さの画素列に相当するので、同緯度画素群に属する画素の数は緯度にかかわらず一定である。本実施形態におけるパノラマ画像Ｐは、以上説明したように高緯度の緯線に対応する同緯度画素群に属する画素の数が低緯度の緯線に対応する同緯度画素群の画素数よりも少なくなるようにすることで、正距円筒画像Ｐ０の高緯度領域で生じていた情報の無駄が減り、正距円筒画像Ｐ０と比較して少ない画素数で同等以上の解像度を実現することができる。
なお、以上の説明では全天周の景色の全てをパノラマ画像Ｐに含めることとしたが、本実施形態におけるパノラマ画像Ｐはこのようなものに限られない。例えばパノラマ画像Ｐは、球Ｓの表面を分割して得られる８個の分割領域に対応する８個の変換領域の全てを含むのではなく、一部の変換領域のみを含むものであってもよい。例えば図４Ａ〜図４Ｄに示す球Ｓの表面を分割して得られる８個の分割領域のうち、４個の分割領域Ａ９〜Ａ１２だけを変換領域に変換して平面上に配置し、パノラマ画像Ｐとしてもよい。これにより、観測点から見て前方の半球内の景色だけを含んだパノラマ画像Ｐを得ることができる。この場合のパノラマ画像Ｐは、図５に示す第２パノラマ画像Ｐ２の一部である正方形ＲＵＬＤと同等のものであってよい。あるいは、４個の分割領域は正方形ではなく長方形を形成するように配列されてもよい。また、球Ｓを分割して得られる８個の分割領域のうち、２個の分割領域を直角二等辺三角形の変換領域に変換して、図７に例示するような正方形のパノラマ画像Ｐを形成してもよい。
さらに、本実施形態におけるパノラマ画像Ｐは、球Ｓの全体に観測点から見た景色を投影するのではなく、一部の範囲のみに景色を投影し、この景色が投影された球Ｓを分割して得られる８個の分割領域の少なくとも一つを変換領域に変換して形成されるものであってもよい。この例では、一つの分割領域の中の一部範囲にのみ景色が投影され、その他の範囲には景色が投影されていない状態で、この分割領域が変換領域に変換されることもあり得る。その場合には、景色が投影されていない範囲についてはパノラマ画像Ｐ内においてダミー情報を持った画素（例えば画素値０の画素）に変換すればよい。これにより、例えば天底に近い高緯度の範囲など、一部範囲の景色に関する情報がない場合であっても、本実施形態の手法によりパノラマ画像Ｐを生成することができる。
なお、第３パノラマ画像Ｐ３の場合、図６に例示されるように緯線がコの字型になっていることから、天頂や天底に近い高緯度の範囲は点Ｕ及び点Ｄ近傍の矩形の領域となる。この領域が不要な場合、その部分を除いた球Ｓの範囲を変換して得られるパノラマ画像Ｐを長方形に再配置することができる。この場合の各緯線に対応する画素列の配置は、図９に例示したものと同様になる。このように不要な範囲を除いた部分を矩形領域に再配置することで、ダミー情報を持った画素を含まないパノラマ画像Ｐを生成することができる。
また、以上の説明では、球Ｓ表面の位置座標である緯度θは、パノラマ画像Ｐ内の位置座標ｘ、ｙと線形関係にあることとした。これは、パノラマ画像Ｐ内の全ての同緯度画素群は、球Ｓ上の互いに等しい緯度範囲に対応していることを意味している。例えば図８に示したようにパノラマ画像Ｐの１／４が８行１１列の画素によって構成されている場合、１８０度の緯度範囲が１８個の同緯度画素群に変換されているので、各同緯度画素群はいずれも緯度１０度分の角度に対応することになる。つまり、ラベル「１」が付与された同緯度画素群は球Ｓ上の緯度が８０度〜９０度の範囲に相当し、ラベル「２」が付与された同緯度画素群は球Ｓ上の緯度７０度〜８０度の範囲に相当し、ラベル「１８」が付与された同緯度画素群は緯度−８０度〜−９０度の範囲に相当する。また、経度方向に関しても、同じ同緯度画素群に属する各画素は互いに等しい経度範囲に対応している。しかしながら、本実施形態におけるパノラマ画像Ｐはこのようなものに限られず、各画素が対応する緯度範囲や経度範囲を互いに異ならせてもよい。
特に、球Ｓ表面上の重要な領域（ユーザーが注目すると想定される領域）については、パノラマ画像Ｐ内の画素に対応する球Ｓ上の緯度範囲や経度範囲を他の領域よりも狭めることとしてもよい。このように画素毎に対応する球Ｓ表面上の角度範囲を変化させることで、重要な領域の解像度を他の領域よりも高めることができる。一例として、ユーザーは高緯度の領域（天頂や天底に近い領域）よりも低緯度の領域（地平面に近い領域）に注目しやすいと考えられる。そこで、緯度が−４５度から４５度までの注目範囲については、同緯度画素群１個あたりの緯度範囲を、緯度４５度以上、及び−４５度以下の範囲における同緯度画素群１個あたりの緯度範囲の半分とする。このようにすると、１８０度の緯度範囲のうちの半分に相当する注目範囲について、それ以外の範囲の２倍の解像度とすることができる。なお、ここでは画素毎の対応緯度範囲を２段階で変化させることとしたが、これに限らずより多くの段階で変化させてもよい。また、同緯度画素群に属する各画素について、対応する経度範囲を緯度範囲と同じように変化させてもよい。なお、このように単位画素あたりの対応緯度範囲や対応経度範囲を異ならせる手法は、本実施形態におけるパノラマ画像Ｐだけでなく正距円筒画像Ｐ０にも適用することができる。
次に、本発明の実施形態に係る画像生成装置１０、及び画像表示制御装置２０を含んだ画像表示システム１の構成を説明する。
画像生成装置１０は、パノラマ画像Ｐを生成する情報処理装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。図１０に示されるように、画像生成装置１０は、制御部１１と、記憶部１２と、通信部１３と、を含んで構成される。
制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部１１はパノラマ画像Ｐの生成処理を実行する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部１３は、ＬＡＮカード等の通信インタフェースであって、通信ネットワーク経由で画像表示制御装置２０に対してパノラマ画像Ｐのデータを送信する。
画像表示制御装置２０は、画像生成装置１０で生成されたパノラマ画像Ｐに基づく画像の表示制御を行う情報処理装置であって、画像生成装置１０と同様に、家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。画像表示制御装置２０は、制御部２１、記憶部２２、及び通信部２３を含んで構成されている。さらに画像表示制御装置２０は、表示装置２４及び操作デバイス２５と接続されている。
制御部２１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部２２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部２１は、パノラマ画像Ｐに基づいて表示画像を描画する処理を実行する。記憶部２２はＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部２１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部２３は、ＬＡＮカード等の通信インタフェースであって、画像生成装置１０から送信されるデータを通信ネットワーク経由で受信する。
表示装置２４は、液晶ディスプレイ等であって、画像表示制御装置２０が供給する映像信号に従って画像を表示する。表示装置２４は、画像表示制御装置２０が供給する立体視可能な画像を表示する立体画像表示装置であってもよい。また、表示装置２４は、ユーザーが頭部に装着可能なヘッドマウントディスプレイ等の頭部装着型表示装置であってもよい。
操作デバイス２５は、家庭用ゲーム機のコントローラやポインティングデバイス等であって、ユーザーが画像生成装置１０に対して各種の指示操作を行うために使用される。操作デバイス２５に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより画像表示制御装置２０に送信される。なお、操作デバイス２５は画像表示制御装置２０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。
次に、画像生成装置１０及び画像表示制御装置２０が実現する機能について、図１１を用いて説明する。図１１に示すように、画像生成装置１０は、機能的に、景色情報取得部３１と、パノラマ画像生成部３２と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。また、画像表示制御装置２０は、機能的に、パノラマ画像取得部３３と、方向取得部３４と、表示画像描画部３５と、を含む。これらの機能は、制御部２１が記憶部２２に記憶されたプログラムを実行することにより実現される。各装置で実行されるプログラムは、インターネット等の通信ネットワークを介して各装置に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
景色情報取得部３１は、パノラマ画像Ｐを生成するための元データとなる景色情報を取得する。景色情報は、観測点から見た全天周の景色を仮想的な球Ｓに投影した場合に、球Ｓの表面上の各単位領域の色（画素値）を特定するのに必要な情報である。例えば景色情報は、正距円筒図法のように本実施形態とは異なる画像フォーマットで生成されたパノラマ画像であってもよい。また、パノラマカメラによって撮影されたパノラマ写真の画像データであってもよい。景色情報取得部３１は、景色情報を通信ネットワーク経由で他の装置から受信してもよいし、画像生成装置１０に接続されたカメラ等のデバイスから読み込んでもよい。また、フラッシュメモリー等の情報記憶媒体に記憶された景色情報を読み出してもよい。
パノラマ画像生成部３２は、景色情報取得部３１が取得した景色情報を用いてパノラマ画像Ｐを生成する。パノラマ画像Ｐは、前述したように全天周（またはその一部）の景色が投影された２次元の画像データである。具体的にパノラマ画像生成部３２は、前述したような球Ｓ上の点とパノラマ画像Ｐ内の点との対応関係を示す計算式に従って、パノラマ画像Ｐ内の各画素の画素値を景色情報に基づいて算出することにより、パノラマ画像Ｐを生成する。
なお、パノラマ画像生成部３２は立体視用の画像データを生成してもよい。この場合に生成される画像データは、例えば左半分に左目用画像を生成するための正方形のパノラマ画像Ｐを含み、右半分に右目用画像を生成するための正方形のパノラマ画像Ｐを含んだ縦横比１：２の矩形の画像データであってよい。また、パノラマ画像生成部３２は、時間とともに変化する動画像としてパノラマ画像Ｐを生成してもよい。
また、パノラマ画像生成部３２は、前述した第１パノラマ画像Ｐ１、第２パノラマ画像Ｐ２のような複数種類の画像フォーマットの中から１の画像フォーマットを選択し、選択した画像フォーマットに従ってパノラマ画像Ｐを生成してもよい。この場合、パノラマ画像生成部３２は、生成したパノラマ画像Ｐの画像フォーマットを特定する情報を当該パノラマ画像Ｐとともに出力する。
パノラマ画像取得部３３は、画像生成装置１０のパノラマ画像生成部３２によって生成されたパノラマ画像Ｐを取得する。ここではパノラマ画像取得部３３は、通信ネットワークを介して画像生成装置１０から送信されるパノラマ画像Ｐを直接受信することとする。しかしながら、これに限らず、パノラマ画像取得部３３はサーバコンピュータ等の他の装置を経由してパノラマ画像Ｐを受信してもよい。また、一旦フラッシュメモリー等の情報記憶媒体に記憶されたパノラマ画像Ｐをこの情報記憶媒体から読み出して取得してもよい。
方向取得部３４は、ユーザーの指示などに基づいて、表示装置２４に表示される表示画像の視野範囲（表示範囲）を決定するために用いられる方向情報を取得する。方向取得部３４が取得する方向情報は、後述する表示画像描画部３５が表示画像を生成する際の仮想カメラの撮像方向として使用される。この撮像方向は、例えば水平方向の角度を表すヨー角と上下方向の角度を表すピッチ角とによって定義される。さらに方向取得部３４は、撮像方向を回転軸としたカメラの回転の角度を示すロール角も取得してもよい。
具体的に、例えば方向取得部３４は、操作デバイス２５に対するユーザーの方向を指示する操作入力を受け付けることによって、方向情報を取得する。あるいは方向取得部３４は、ユーザーが画像表示制御装置２０の本体を傾ける動作を行った場合に、画像表示制御装置２０に内蔵されているモーションセンサーの検出結果から方向情報を取得してもよい。これにより、例えば画像表示制御装置２０がスマートフォンやタブレットのように小型の筐体を備えている場合、ユーザーは画像表示制御装置２０の向きを変化させることによって任意の向きに視野範囲を変化させることができる。また、表示装置２４が頭部装着型表示装置である場合、方向取得部３４は、この表示装置２４内に内蔵されたモーションセンサーの検出結果から方向情報を取得してもよい。これにより、ユーザーの頭部の向きの変化に応じて視野範囲を変化させることができる。
表示画像描画部３５は、パノラマ画像取得部３３が取得したパノラマ画像Ｐに基づいて、方向取得部３４が取得した方向情報に応じて決まる視野範囲内の景色を示す表示画像を描画し、表示装置２４に表示させる。これによりユーザーは、パノラマ画像Ｐ内に含まれる特定の視野範囲内の景色を閲覧することができる。さらに、操作デバイス２５に対する操作入力等によって視野範囲を変化させることで、全天周の任意の方向の景色を閲覧することができる。
具体的に、表示画像描画部３５は、仮想空間内に球Ｓを配置するとともに、当該球Ｓの中心位置に仮想カメラを配置する。このとき仮想カメラは、方向取得部３４が取得した方向情報に応じて決まる向き、及び傾きで配置される。さらに表示画像描画部３５は、球Ｓの内面にパノラマ画像Ｐに基づいて生成されるテクスチャーを貼り付け、仮想カメラからこのテクスチャーが貼り付けられた球Ｓの内面を見た様子を描画することで、表示画像を生成する。なお、表示画像描画部３５は、球Ｓに貼り付けるテクスチャーを生成する際には、パノラマ画像Ｐとともに出力された画像フォーマットを特定する情報を参照して、特定された画像フォーマットに応じて定められた計算式に従って、テクスチャーに含まれる各画素に対応するパノラマ画像Ｐ内の画素を特定する。
ここで、パノラマ画像Ｐに基づいて球Ｓの内面にテクスチャーを貼り付ける処理の具体例について、説明する。前述したように、球Ｓ上の各点は、パノラマ画像Ｐ内の一点と対応する。そのため、テクスチャーに含まれる画素（テクセル）の画素値（色）を決定する際には、そのテクセルが貼り付けられる球Ｓ上の位置と対応するパノラマ画像Ｐ内の画素の画素値を参照する。しかしながら、解像度や形状の違いなどにより、テクスチャー内のテクセルとパノラマ画像Ｐ内の画素とは１対１で対応するわけではない。そこで表示画像描画部３５は、テクセルの球Ｓ上の位置をパノラマ画像Ｐ内の位置（ここでは点Ｘとする）に変換し、その点Ｘの近傍の複数の画素をサンプリング対象に決定する。そして、サンプリング対象の画素の画素値を用いて補間処理を実行することにより、テクセルの画素値を決定する。
ただし、パノラマ画像Ｐ内においては、画像の左右方向や上下方向が球Ｓの水平方向や鉛直方向と必ずしも一致しない。例えば第１パノラマ画像Ｐ１の場合、どの変換領域内でも球Ｓの水平方向（緯線の方向）は画像の左右方向に対して斜め４５度傾いた方向に対応している。このような場合、例えば点Ｘを含む縦２行横２列の４個の画素をサンプリング対象とする通常のサンプリング処理では、適切にテクセルの画素値を算出できない。そこで表示画像描画部３５は、パノラマ画像Ｐの画像フォーマットの種類、及び画像内の変換領域毎に定められる選択ルールに従って、サンプリング対象の画素を選択することとする。
例えば第１パノラマ画像Ｐ１の右上の変換領域Ａ１及びＡ５内では、図３の破線で示されるように等緯度を結んだ緯線は左右方向と４５度の角度をなす左上がりの直線となっている。この変換領域内でサンプリングを行う場合、表示画像描画部３５は、図１２に示すように、点Ｘの近傍の２本の緯線に沿って並んだ４個の画素Ｘ１〜Ｘ４をサンプリング対象として選択する。ここで、画素Ｘ１と画素Ｘ２の組、及び画素Ｘ３と画素Ｘ４の組はそれぞれ対応する緯度が互いに等しい組み合わせになっている。そこで表示画像描画部３５は、画素Ｘ１と画素Ｘ２の画素値から点Ｘの経度の端数に応じた補間値Ｉ１を得る。また、画素Ｘ３と画素Ｘ４の画素値から点Ｘの経度の端数に応じた補間値Ｉ２を得る。なお、各画素の経度の値は異なるため、補間値Ｉ１を算出する際と補間値Ｉ２を算出する際の係数は互いに異なる。さらに、補間値Ｉ１と補間値Ｉ２から点Ｘの緯度の端数に応じた補間値を算出することによって、点Ｘに対応するテクセルの画素値を決定する。このようにして、球Ｓの内面に貼り付けられるテクスチャーに含まれる各テクセルの画素値が算出される。
なお、パノラマ画像Ｐの外周近傍の画素をサンプリング対象として補間処理を行う場合、画像内で離れた位置に配置された複数の画素がサンプリング対象とされることがある。前述したように、パノラマ画像Ｐの外周では、辺の中点を中心として折り返された際に重なる画素同士が、球Ｓ上で隣接する位置に対応するからである。そこで、このように離れた位置にある画素をサンプリング対象として参照する必要をなくすために、サンプリング用画素列をパノラマ画像Ｐの外周に沿って配置してもよい。このサンプリング用画素列は、パノラマ画像Ｐの一辺の画素列を左右または上下に反転させた画素列であって、反転の対象とした画素列に隣接するように配置される。図１３はサンプリング用画素列を付け加えたパノラマ画像Ｐの一例を示している。この図の例では、１６行１６列の正方形の形状を有する第３パノラマ画像Ｐ３に対して、上下に１列ずつサンプリング用画素列を付け加えたパノラマ画像Ｐを示している。図中においてサンプリング用画素列はハッチングで示されている。ここで、同じギリシア文字またはアルファベット小文字のラベルが付与された画素は、同じ画素値を有している。このラベルによって示されるように、図中最上段のサンプリング用画素列は、上から２段目の画素列を左右反転した画素列になっており、最下段のサンプリング用画素列は、下から２段目の画素列を左右反転させた画素列になっている。このサンプリング用画素列は、元のパノラマ画像Ｐ内における外周の画素に対して、球Ｓ上において隣接する画素がパノラマ画像Ｐ内においても隣接するように配置されている。このようなサンプリング用画素列は、情報としては冗長であるが、補間処理を容易にする効果がある。具体的に、図中の上から２段目の画素や下から２段目の画素をサンプリング対象として補間処理を行う場合に、必要な他のサンプリング対象をパノラマ画像Ｐ内の別の場所から取り出すのではなく、隣接するサンプリング用画素列から取り出すことができる。このような隣接する画素をサンプリング対象とした補間処理は、グラフィックプロセッサー等によりハードウェア的に実現できる場合がある。このような場合、サンプリング用画素列をパノラマ画像Ｐに付け加えることによって、端部まで含めて緯度方向の補間処理をハードウェアで実行することができ、補間演算を高速化することができる。
さらに本実施形態では、表示画像描画部３５は、方向取得部３４が取得する方向の変化に応じて、表示画像をリアルタイムで更新する。すなわち、表示画像描画部３５は、方向取得部３４が取得する方向が変化すると、その変化した向きと対応する方向に仮想カメラの向きを変化させる。より具体的に、ピッチ角、及びヨー角が変化した場合には、この変化に連動させて仮想カメラの撮像方向を変化させる。また、ロール角が変化した場合には、この変化に連動させて、撮像方向を回転軸として仮想カメラを傾けさせる。これにより、仮想カメラの視野範囲は方向取得部３４が取得する方向の変化に連動して変化することになる。表示画像描画部３５は、更新された視野範囲に基づいて球Ｓの内面の様子を再描画して表示画像を更新し、表示装置２４の画面に表示する。表示画像描画部３５は、このような方向取得部３４が取得する方向の変化に応じた表示画像の再描画（更新）処理を、所定時間おきに繰り返し実行する。このような制御によれば、ユーザーは視野範囲を動かしてパノラマ画像Ｐ内に含まれる全天周の任意の位置の景色を閲覧することができる。
なお、以上の説明では表示画像は一つの平面画像であるとしたが、表示画像描画部３５は立体画像を描画してもよい。この場合、表示画像描画部３５は、仮想的な球Ｓの中心に左右方向に並んだ二つの仮想カメラを配置する。そして、左目用のパノラマ画像Ｐに基づいて生成したテクスチャーを貼り付けた球Ｓの内面を左側の仮想カメラから見た様子を描画することにより、左目用の表示画像を生成する。同様に、右目用のパノラマ画像Ｐに基づいて生成したテクスチャーを貼り付けた球Ｓの内面を右側の仮想カメラから見た様子を描画することにより、右目用の表示画像を生成する。これら二つの表示画像を立体視に対応する表示装置２４に表示させることによって、ユーザーは全天周の景色を立体的に閲覧することが可能となる。
以上説明した本実施形態に係る画像生成装置１０によれば、正距円筒図法のパノラマ画像と比較して情報の無駄が少なく、比較的少ない画素数で高画質のパノラマ画像Ｐを生成することができる。また、本実施形態に係る画像表示制御装置２０は、このようにして生成されたパノラマ画像Ｐに基づいて、パノラマ画像Ｐに含まれる視野範囲内の景色を示す表示画像を生成し、ユーザーに閲覧させることができる。
なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、画像生成装置１０と画像表示制御装置２０は互いに独立した装置であることとしたが、一つの情報処理装置がパノラマ画像Ｐの生成と表示制御の双方を実現してもよい。
１ 画像表示システム、１０ 画像生成装置、１１，２１ 制御部、１２，２２ 記憶部、１３，２３ 通信部、２０ 画像表示制御装置、２４ 表示装置、２５ 操作デバイス、３１ 景色情報取得部、３２ パノラマ画像生成部、３３ パノラマ画像取得部、３４ 方向取得部、３５ 表示画像描画部。

Claims (16)

  1. 観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成するパノラマ画像生成部と、
    前記生成されたパノラマ画像を出力する画像出力部と、
    を含むことを特徴とする画像生成装置。
  2. 請求項１に記載の画像生成装置において、
    前記パノラマ画像生成部は、前記少なくとも一つの分割領域を、三角形または台形状の変換領域に変換する
    ことを特徴とする画像生成装置。
  3. 請求項２に記載の画像生成装置において、
    前記パノラマ画像生成部は、前記少なくとも一つの分割領域を直角二等辺三角形状の前記変換領域に変換する
    ことを特徴とする画像生成装置。
  4. 請求項３に記載の画像生成装置において、
    前記パノラマ画像生成部は、前記３個の平面のうちの２個の平面で前記球の表面を分割して得られる４個の領域の少なくとも一つが、前記パノラマ画像内において２個の前記変換領域を含む正方形状の領域に変換されるように、２個以上の前記変換領域を配置して前記パノラマ画像を生成する
    ことを特徴とする画像生成装置。
  5. 請求項４に記載の画像生成装置において、
    前記パノラマ画像生成部は、前記正方形状の領域内において、当該正方形の１の対角線上の画素が２個の前記変換領域に共有されるように、２個以上の前記変換領域を配置して前記パノラマ画像を生成する
    ことを特徴とする画像生成装置。
  6. 請求項４に記載の画像生成装置において、
    前記パノラマ画像生成部は、前記８個の分割領域をそれぞれ変換してなる８個の変換領域を、全体として正方形になるよう配置して前記パノラマ画像を生成する
    ことを特徴とする画像生成装置。
  7. 請求項６に記載の画像生成装置において、
    前記３個の平面の一つは地平面である
    ことを特徴とする画像生成装置。
  8. 請求項７に記載の画像生成装置において、
    前記パノラマ画像生成部は、前記球の天底が前記パノラマ画像の中心に対応するように前記パノラマ画像を生成する
    ことを特徴とする画像生成装置。
  9. 請求項７に記載の画像生成装置において、
    前記パノラマ画像生成部は、前記球の地平面上における一点が前記パノラマ画像の中心に対応するように前記パノラマ画像を生成する
    ことを特徴とする画像生成装置。
  10. 請求項１に記載の画像生成装置において、
    前記パノラマ画像生成部は、前記パノラマ画像の外周の一辺を構成する画素列に隣接するように、補間処理に用いるサンプリング用画素列を付加して、前記パノラマ画像を生成する
    ことを特徴とする画像生成装置。
  11. 請求項１０に記載の画像生成装置において、
    前記サンプリング用画素列は、前記一辺を構成する画素列の配置を反転させた画素列である
    ことを特徴とする画像生成装置。
  12. 請求項１に記載の画像生成装置において、
    前記パノラマ画像生成部は、前記球上の緯度又は経度に応じて、前記パノラマ画像内の画素に対応する前記球上の角度範囲が異なるように前記パノラマ画像を生成する
    ことを特徴とする画像生成装置。
  13. 観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を取得する取得部と、
    前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、
    を含むことを特徴とする画像表示制御装置。
  14. 観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成するステップと、
    前記生成されたパノラマ画像を出力するステップと、
    を含むことを特徴とする画像生成方法。
  15. 観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成する手段、及び、
    前記生成されたパノラマ画像を出力する手段、
    としてコンピュータを機能させるためのプログラム。
  16. 観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域が、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換された状態で平面上に配置されてなる画像データ。
JP2017535279A 2015-08-18 2016-06-24 画像生成装置、及び画像表示制御装置 Active JP6672315B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015160951 2015-08-18
JP2015160951 2015-08-18
PCT/JP2016/068873 WO2017029885A1 (ja) 2015-08-18 2016-06-24 画像生成装置、及び画像表示制御装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019080249A Division JP2019160330A (ja) 2015-08-18 2019-04-19 画像生成装置、及び画像表示制御装置

Publications (2)

Publication Number Publication Date
JPWO2017029885A1 true JPWO2017029885A1 (ja) 2018-04-26
JP6672315B2 JP6672315B2 (ja) 2020-03-25

Family

ID=58050968

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017535279A Active JP6672315B2 (ja) 2015-08-18 2016-06-24 画像生成装置、及び画像表示制御装置
JP2019080249A Pending JP2019160330A (ja) 2015-08-18 2019-04-19 画像生成装置、及び画像表示制御装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019080249A Pending JP2019160330A (ja) 2015-08-18 2019-04-19 画像生成装置、及び画像表示制御装置

Country Status (10)

Country Link
US (1) US10659742B2 (ja)
EP (1) EP3340164B1 (ja)
JP (2) JP6672315B2 (ja)
KR (1) KR102072639B1 (ja)
CN (1) CN107924556B (ja)
AU (1) AU2016308980B2 (ja)
CA (1) CA2995665C (ja)
MX (1) MX2018001286A (ja)
RU (1) RU2686591C1 (ja)
WO (1) WO2017029885A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043237B2 (en) * 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
WO2018170917A1 (zh) * 2017-03-24 2018-09-27 深圳看到科技有限公司 全景画面播放方法及全景画面播放装置
CN107172412A (zh) * 2017-06-11 2017-09-15 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频存储方法及装置
WO2019003609A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 画像処理装置及び画像処理方法
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
EP3884664A4 (en) * 2019-03-18 2022-04-27 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR ACCESSING AND TRANSFERRING POINT CLOUD CONTENT IN A 360 DEGREE VIDEO ENVIRONMENT
CN110084740B (zh) * 2019-04-25 2023-05-23 北京工业大学 一种基于规格化结构的球面图像生成及转换方法
US20220236062A1 (en) * 2019-07-26 2022-07-28 Cube Earth Co., Ltd. Position space identication method, position space identifier imparting device, and computer program
WO2021020274A1 (ja) * 2019-07-26 2021-02-04 株式会社イッツ・エムエムシー 位置空間識別方法、位置空間識別子付与装置及びコンピュータプログラム
CN112218110B (zh) * 2020-09-28 2022-10-28 京东方科技集团股份有限公司 Vr全景视频的传输方法、装置、服务器及交互系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008081961A1 (ja) * 2007-01-04 2008-07-10 Hajime Narukawa 情報処理方法
JP2010033573A (ja) * 2008-07-01 2010-02-12 Hajime Narukawa 情報処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744147B2 (ja) * 1997-04-21 2006-02-08 ソニー株式会社 パノラマ画像生成装置および方法
JP4012749B2 (ja) 2002-03-14 2007-11-21 国立大学法人 奈良先端科学技術大学院大学 遠隔操縦システム
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
US8773500B2 (en) * 2006-01-18 2014-07-08 Capso Vision, Inc. In vivo image capturing system including capsule enclosing a camera
US7621647B1 (en) * 2006-06-23 2009-11-24 The Elumenati, Llc Optical projection system and method of use
CN101561989A (zh) * 2009-05-20 2009-10-21 北京水晶石数字科技有限公司 一种全景图展示方法
CN101968890B (zh) * 2009-07-27 2013-07-10 西安费斯达自动化工程有限公司 基于球面显示的360°全景仿真系统
CN102096949B (zh) * 2011-01-27 2013-12-11 深圳市远望落星山科技有限公司 一种360度数字球幕电影的制作方法
RU108651U1 (ru) * 2011-04-22 2011-09-20 Александр Сергеевич Шпагин Растровая система воспроизведения объемного изображения
CN104196282A (zh) * 2014-09-18 2014-12-10 江苏卡罗卡国际动漫城有限公司 球幕影院的动感乘坐设备
CN104834176A (zh) * 2015-04-28 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种360°球幕播放系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008081961A1 (ja) * 2007-01-04 2008-07-10 Hajime Narukawa 情報処理方法
JP2010033573A (ja) * 2008-07-01 2010-02-12 Hajime Narukawa 情報処理方法

Also Published As

Publication number Publication date
EP3340164A1 (en) 2018-06-27
JP2019160330A (ja) 2019-09-19
BR112018002918A2 (ja) 2018-09-18
KR102072639B1 (ko) 2020-02-03
EP3340164A4 (en) 2019-03-06
AU2016308980A1 (en) 2018-02-15
CA2995665C (en) 2022-04-26
JP6672315B2 (ja) 2020-03-25
US20180227558A1 (en) 2018-08-09
WO2017029885A1 (ja) 2017-02-23
US10659742B2 (en) 2020-05-19
CN107924556A (zh) 2018-04-17
CA2995665A1 (en) 2017-02-23
CN107924556B (zh) 2021-06-29
EP3340164B1 (en) 2022-09-28
MX2018001286A (es) 2018-06-19
RU2686591C1 (ru) 2019-04-29
AU2016308980B2 (en) 2019-10-17
KR20180042346A (ko) 2018-04-25

Similar Documents

Publication Publication Date Title
JP2019160330A (ja) 画像生成装置、及び画像表示制御装置
EP3438919B1 (en) Image displaying method and head-mounted display apparatus
US11195253B2 (en) Equatorial stitching of hemispherical images in a spherical image capture system
JP2005339313A (ja) 画像提示方法及び装置
JP6310898B2 (ja) 画像処理装置、情報処理装置、および画像処理方法
WO2019076348A1 (zh) 一种虚拟现实vr界面生成的方法和装置
US11244492B2 (en) Parallel texture sampling
JP6708444B2 (ja) 画像処理装置および画像処理方法
JP6719596B2 (ja) 画像生成装置、及び画像表示制御装置
WO2018134947A1 (ja) 画像配信装置
WO2019124070A1 (ja) 画像処理装置、画像処理方法、プログラム、および投影システム
BR112018002918B1 (pt) Aparelhos para geração de imagem e para controle de exibição de imagem, método para geração de uma imagem, meio de armazenamento legível por computador, e, unidade de armazenamento
CN118379204A (zh) 全景图像处理方法、装置和存储介质
CN118694911A (zh) 基于球形屏幕的图像显示方法、装置、设备及介质

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20180111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190507

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200304

R150 Certificate of patent or registration of utility model

Ref document number: 6672315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150