JP6682984B2 - 自由視点映像表示装置 - Google Patents

自由視点映像表示装置 Download PDF

Info

Publication number
JP6682984B2
JP6682984B2 JP2016085214A JP2016085214A JP6682984B2 JP 6682984 B2 JP6682984 B2 JP 6682984B2 JP 2016085214 A JP2016085214 A JP 2016085214A JP 2016085214 A JP2016085214 A JP 2016085214A JP 6682984 B2 JP6682984 B2 JP 6682984B2
Authority
JP
Japan
Prior art keywords
point
viewpoint
image
feature point
omnidirectional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016085214A
Other languages
English (en)
Other versions
JP2017194857A (ja
Inventor
河合　直樹
直樹 河合
セドリック オドラ
セドリック オドラ
孝博 松原
孝博 松原
聡 田端
聡 田端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2016085214A priority Critical patent/JP6682984B2/ja
Publication of JP2017194857A publication Critical patent/JP2017194857A/ja
Application granted granted Critical
Publication of JP6682984B2 publication Critical patent/JP6682984B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、自由視点映像表示装置に関し、特に、現実に存在する実空間について撮影した全方位画像を利用して、仮想空間上の任意位置の視点から見た任意方向の視界を表示する映像表示装置に関する。
博物館・美術館、テーマパーク、アミューズメント施設、観光地、商業施設など、現実に存在する実空間を対象として、魚眼レンズや全方位ミラーを装着した全方位カメラによる撮影を行い、得られた全方位画像を用いて仮想空間上を移動する体験を提供する映像表示装置は、既に、様々な分野において利用されている。このような装置では、通常、ユーザが進行方向、進行速度、視線方向などの指示操作を行うと、当該指示操作に基づいて、あたかも仮想空間上を実際に移動しているように、ユーザの指定に基づく自由視点における映像の表示が行われる。仮想二次元空間を移動できるようにしておけば、ユーザに対していわゆる「ウォークスルー」の体験を提供することができ、仮想三次元空間を移動できるようにしておけば、ユーザに対していわゆる「フライスルー」の体験を提供することができる。
たとえば、下記の特許文献１には、実空間上に予め設定された所定のルートに沿って全方位カメラを移動させながら撮影を行い、上記ルートに沿って仮想空間上を自由に移動する際の映像を表示させる自由視点映像表示装置が開示されている。また、特許文献２には、このような自由視点映像表示装置において、複数の経路を乗り継ぐ際に、画像の不連続に起因した違和感を感じさせないような動画提示を行う技術が開示されている。
一方、米国グーグル社がＷｅｂ上で提供しているサービス「Google Street View」では、現実に存在する街路などの実空間について、予め離散的な位置で全方位画像を撮影しておき、これら離散的な全方位画像を適宜切り替えながら、仮想空間上で移動している状態を映像表示する技術が利用されている。また、下記の非特許文献１には、所定のルート上の離散的な２地点で撮影された全方位画像に対して補間を行うことにより、当該２地点の間にある上記ルート上の中間地点から見た映像を表示する技術が開示されている。
特開２０１３−０９０２５７号公報 特開２０１３−１８３２４９号公報
Qiang Zhao, Liang Wan「Cube2Video: Navigate Between Cubic Panoramas in Real-Time」, IEEE Transactions on Multimedia, Vol. 15, No. 8, December 2013
上述した自由視点映像表示装置において、ユーザに対してできるだけ違和感のない写実的な映像を提示し、臨場感を高めるためには、ユーザの仮想空間上での移動自由度を高めるとともに、実空間上の撮影地点の密度を増やし、できるだけ多数の撮影地点における全方位画像を用意するのが好ましい。しかしながら、移動自由度を高め、かつ、撮影地点の密度を増やすと、撮影段階の作業負担が大幅に増加することになり、得られる全方位画像のデータ量も膨大なものになる。このため、装置全体が肥大化し、コストの高騰も避けられない。
上記特許文献１，２に開示された技術では、移動範囲を特定のルートに限定し、このルートに沿って移動する全方位カメラにより動画撮影を行うため、ルート上の撮影地点密度は十分なものになる。このため、仮想空間を上記ルートに沿って移動する限りは、写実的な映像提示が可能になる。しかしながら、仮想空間上でのユーザの移動自由度は、当該ルートのみに限定されてしまうため、ユーザが所望する任意の視点から見た画像を提示することはできない。したがって、順路が定まった美術館や博物館などを、特定のルート上から見学させるような用途には向いているが、より高い移動自由度が要求される用途では、十分な臨場感を提供することができない。
一方、上述した「Google Street View」では、離散的に定義された特定の撮影地点で撮影された全方位画像に基づいて映像提示が行われる。このように、撮影地点を離散的に設定すれば、撮影段階の作業負担を軽減し、必要な全方位画像のデータ量も低減させることができる。この「Google Street View」は、全世界規模の街路情報をＷｅｂを通じて提示するサービスであり、撮影地点を離散点として全データ量を低減させることは合理的な手法である。しかしながら、撮影地点の密度が低くなるため、写実的な映像を提示することは困難である。
前述したとおり、このような問題を解決するために、非特許文献１に新たな技術が開示されている。この技術によれば、離散的な２地点の撮影画像に基づいて、中間地点における仮想的な撮影画像を生成することができる。しかしながら、この技術は、２つの離散点を結ぶ直線上の１点についての仮想撮影画像を生成するためのものであるため、やはりユーザが所望する任意の視点から見た画像を提示することはできない。
もちろん、ＣＧを用いて仮想空間を構築すれば、任意の視点から見た画像を自由に作成することが可能であるが、ＣＧ画像は制作コストが高く、また、現在の技術では写実性が不完全であり、実写画像を用いる技術には及ばない点がいろいろと指摘されている。
そこで本発明は、現実に存在する実空間について、離散的な撮影地点から撮影した全方位画像を利用して、仮想空間上の任意位置から見た視界を表示することが可能な自由視点映像表示装置を提供することを目的とする。
(1) 本発明の第１の態様は、任意位置の視点から見た任意方向の視界を表示する自由視点映像表示装置において、
実空間上の所定の撮影地点に全方位カメラを配置して被写体を撮像面に投影して撮影することにより得られる全方位画像を、実空間上に定義された単位領域図形の頂点を撮影地点とすることにより、個々の撮影地点のそれぞれについて、当該撮影地点の位置を示す撮影地点位置情報とともに格納する全方位画像格納部と、
単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている被写体上の特徴点について、各全方位画像上での投影位置を示す特徴点投影位置情報と、各全方位画像が複数のセルの投影像によってメッシュ状に分割されるように、特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報と、を格納した特徴点情報格納部と、
実空間に対応する仮想空間上で、任意の視点と当該視点を基準とした任意の視線方向を指定する位置方向指定部と、
撮影地点位置情報および特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定する特徴点投影位置推定部と、
セル定義情報に基づいて、特徴点投影位置推定部によって推定された特徴点の投影位置を頂点とする新たなセルを生成し、全方位画像格納部に格納されている全方位画像上の対応するセル内の部分画像に基づいて、新たなセル内に割り付けるべき新たな部分画像を生成する処理を、生成した各セルについて実行することにより、視点における全方位画像を生成する全方位画像生成部と、
位置方向指定部によって指定された視線方向に基づいて、全方位画像生成部が生成した視点における全方位画像から、その一部分を切り出す画像切出部と、
画像切出部によって切り出された画像を表示する画像表示部と、
を設けたものである。
(2) 本発明の第２の態様は、上述した第１の態様に係る自由視点映像表示装置において、
位置方向指定部が、仮想空間上で単位領域図形内の１地点からなる視点と当該視点を基準とした視線方向とを指定するようにしたものである。
(3) 本発明の第３の態様は、上述した第１の態様に係る自由視点映像表示装置において、
位置方向指定部が、仮想空間上で単位領域図形外の１地点からなる視点と当該視点を基準とした視線方向とを指定するようにしたものである。
(4) 本発明の第４の態様は、上述した第１の態様に係る自由視点映像表示装置において、
全方位画像格納部が、互いに隣接して配置されるように定義された複数の単位領域図形の頂点を撮影地点とすることにより、個々の撮影地点のそれぞれについて撮影された全方位画像を、当該撮影地点の位置を示す撮影地点位置情報とともに格納しており、
特徴点情報格納部が、１つの単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている特徴点の投影位置を示す特徴点投影位置情報と、これらの特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報と、を個々の単位領域図形ごとに格納しており、
位置方向指定部が、複数の単位領域図形のいずれかに包含される視点を指定する機能を有し、
特徴点投影位置推定部が、特定の単位領域図形を参照領域図形として選択し、参照領域図形の頂点についての撮影地点位置情報、および参照領域図形についての特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定し、
全方位画像生成部が、参照領域図形についてのセル定義情報に基づいて、推定された特徴点の投影位置を頂点とする新たなセルを生成し、参照領域図形の頂点における全方位画像上の対応するセル内の部分画像に基づいて、新たなセル内に割り付けるべき新たな部分画像を生成するようにしたものである。
(5) 本発明の第５の態様は、上述した第４の態様に係る自由視点映像表示装置において、
個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系におけるＸＹ平面を分割することにより得られる二次元図形によって構成されているようにしたものである。
(6) 本発明の第６の態様は、上述した第５の態様に係る自由視点映像表示装置において、
個々の単位領域図形を構成する二次元図形が、ＸＹ平面をＸ軸に平行なＸ軸方向分割直線およびＹ軸に平行なＹ軸方向分割直線によって縦横に分割することにより得られる、Ｘ軸方向分割直線とＹ軸方向分割直線との交点を頂点とする四角形によって構成されており、
全方位画像格納部が、個々の交点を撮影地点として撮影された全方位画像を格納しているようにしたものである。
(7) 本発明の第７の態様は、上述した第４の態様に係る自由視点映像表示装置において、
個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系における三次元空間を分割することにより得られる三次元図形によって構成されているようにしたものである。
(8) 本発明の第８の態様は、上述した第７の態様に係る自由視点映像表示装置において、
個々の単位領域図形を構成する三次元図形が、ＸＹＺ三次元直交座標系からなる座標空間を、ＸＹ平面に平行なＺ軸方向分割平面、ＸＺ平面に平行なＹ軸方向分割平面、ＹＺ平面に平行なＸ軸方向分割平面、によってそれぞれ分割することにより得られる複数の直方体によって構成されており、
全方位画像格納部が、複数の直方体の各頂点を撮影地点として撮影された全方位画像を格納しているようにしたものである。
(9) 本発明の第９の態様は、上述した第４〜第８の態様に係る自由視点映像表示装置において、
特徴点投影位置推定部が、参照領域図形の頂点の中から２組の頂点を参照頂点として選択し、当該参照頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定するようにしたものである。
(10) 本発明の第１０の態様は、上述した第９の態様に係る自由視点映像表示装置において、
特徴点投影位置推定部が、参照領域図形の頂点の中から、視点に最も近い頂点を第１の参照頂点Ａとして選択し、視点に２番目に近い頂点を第２の参照頂点Ｂとして選択するようにしたものである。
(11) 本発明の第１１の態様は、上述した第９または第１０の態様に係る自由視点映像表示装置において、
特徴点投影位置推定部が、第１の参照頂点Ａから第ｉ番目の特徴点ξｉへ向かう第１の参照ベクトルＶｉａを、第１の参照頂点Ａについての撮影地点位置情報および特徴点投影位置情報に基づいて求め、第２の参照頂点Ｂから第ｉ番目の特徴点ξｉへ向かう第２の参照ベクトルＶｉｂを、第２の参照頂点Ｂについての撮影地点位置情報および特徴点投影位置情報に基づいて求め、第１の参照ベクトルＶｉａと第２の参照ベクトルＶｉｂとの交点もしくはこれら両参照ベクトルに対して所定の近接位置にある近接点を第ｉ番目の特徴点ξｉの三次元位置と推定し、視点Ｑに配置された全方位カメラによって、推定された三次元位置にある第ｉ番目の特徴点ξｉを撮影した場合に全方位画像上に投影される点を、視点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置と推定するようにしたものである。
(12) 本発明の第１２の態様は、上述した第１１の態様に係る自由視点映像表示装置において、
全方位画像格納部が、撮像面上の方位を示す方位角φを横座標軸にとり、撮像面に対する仰角θを縦座標軸にとった全方位画像を格納しており、
特徴点投影位置推定部が、第１の参照頂点Ａから第ｉ番目の特徴点ξｉへ向かう第１の参照ベクトルＶｉａを求める際に、第１の参照頂点Ａを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す第１の参照方位角φｉａおよび第１の参照仰角θｉａを参照し、第１の参照頂点Ａを起点として、第１の参照方位角φｉａおよび第１の参照仰角θｉａによって示される方向を向いたベクトルを第１の参照ベクトルＶｉａとし、
特徴点投影位置推定部が、第２の参照頂点Ｂから第ｉ番目の特徴点ξｉへ向かう第２の参照ベクトルＶｉｂを求める際に、第２の参照頂点Ｂを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す第２の参照方位角φｉｂおよび第２の参照仰角θｉｂを参照し、第２の参照頂点Ｂを起点として、第２の参照方位角φｉｂおよび第２の参照仰角θｉｂによって示される方向を向いたベクトルを第２の参照ベクトルＶｉｂとし、
特徴点投影位置推定部が、第１の参照ベクトルＶｉａと第２の参照ベクトルＶｉｂとの交点もしくはこれら両参照ベクトルに対して所定の近接位置にある近接点を第ｉ番目の特徴点ξｉの三次元位置と推定し、視点Ｑを起点として、推定された三次元位置にある第ｉ番目の特徴点ξｉに向かう指示ベクトルの方位角φｉｑおよび仰角θｉｑを、視点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標と推定するようにしたものである。
(13) 本発明の第１３の態様は、上述した第４〜第８の態様に係る自由視点映像表示装置において、
特徴点投影位置推定部が、参照領域図形の頂点の中からｎ組（ｎ≧３）の頂点を参照頂点として選択し、当該参照頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定するようにしたものである。
(14) 本発明の第１４の態様は、上述した第１３の態様に係る自由視点映像表示装置において、
特徴点投影位置推定部が、参照領域図形の頂点の中から、視点に近い順に、第１の参照頂点から第ｎの参照頂点を選択するようにしたものである。
(15) 本発明の第１５の態様は、上述した第１３または第１４の態様に係る自由視点映像表示装置において、
特徴点投影位置推定部が、第ｊ番目の参照頂点から第ｉ番目の特徴点ξｉへ向かう第ｊ番目の参照ベクトルＶｉｊを第ｊ番目の参照頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて求める処理を、ｊ＝１〜ｎのそれぞれについて行うことにより第１の参照ベクトルＶｉ１〜第ｎの参照ベクトルＶｉｎを求め、求めたｎ本の参照ベクトルＶｉ１〜Ｖｉｎの交点もしくはこれらｎ本の参照ベクトルＶｉ１〜Ｖｉｎに対して所定の近接位置にある近接点を第ｉ番目の特徴点ξｉの三次元位置と推定し、視点Ｑに配置された全方位カメラによって、推定された三次元位置にある第ｉ番目の特徴点ξｉを撮影した場合に全方位画像上に投影される点を、視点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置と推定するようにしたものである。
(16) 本発明の第１６の態様は、上述した第１５の態様に係る自由視点映像表示装置において、
全方位画像格納部が、撮像面上の方位を示す方位角φを横座標軸にとり、撮像面に対する仰角θを縦座標軸にとった全方位画像を格納しており、
特徴点投影位置推定部が、第ｊ番目の参照頂点から第ｉ番目の特徴点ξｉへ向かう第ｊ番目の参照ベクトルＶｉｊを求める際に、第ｊ番目の参照頂点を撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す第ｊ番目の参照方位角φｉｊおよび第ｊ番目の参照仰角θｉｊを参照し、第ｊ番目の参照頂点を起点として、第ｊ番目の参照方位角φｉｊおよび第ｊ番目の参照仰角θｉｊによって示される方向を向いたベクトルを第ｊ番目の参照ベクトルＶｉｊとし、
特徴点投影位置推定部が、第１の参照ベクトルＶｉ１〜第ｎの参照ベクトルＶｉｎの交点もしくはこれらｎ本の参照ベクトルＶｉ１〜Ｖｉｎに対して所定の近接位置にある近接点を第ｉ番目の特徴点ξｉの三次元位置と推定し、視点Ｑを起点として、推定された三次元位置にある第ｉ番目の特徴点ξｉに向かう指示ベクトルの方位角φｉｑおよび仰角θｉｑを、視点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標と推定するようにしたものである。
(17) 本発明の第１７の態様は、上述した第４の態様に係る自由視点映像表示装置において、
特徴点投影位置推定部が、参照領域図形の頂点の中からｎ組（ｎ≧３）の頂点を参照頂点として選択し、各参照頂点を撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を用いた補間演算により、視点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値を算出するようにしたものである。
(18) 本発明の第１８の態様は、上述した第１７の態様に係る自由視点映像表示装置において、
全方位画像格納部が、撮像面上の方位を示す方位角φを横座標軸にとり、撮像面に対する仰角θを縦座標軸にとった全方位画像を格納しており、
特徴点投影位置推定部が、第ｊ番目の参照頂点を撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｊ，θｉｊ）を抽出する処理を、ｊ＝１〜ｎのそれぞれについて行うことにより第１の座標値（φｉ１，θｉ１）〜第ｎの座標値（φｉｎ，θｉｎ）からなるｎ組の座標値を抽出し、ｎ組の参照頂点の位置と視点Ｑの位置との関係に基づいて、参照領域図形に対する視点Ｑの相対位置を示すパラメータを求め、抽出したｎ組の座標値と上記パラメータとを用いた補間演算により、視点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値を算出するようにしたものである。
(19) 本発明の第１９の態様は、上述した第１８の態様に係る自由視点映像表示装置において、
個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系におけるＸＹ平面を、Ｘ軸に平行なＸ軸方向分割直線およびＹ軸に平行なＹ軸方向分割直線によって縦横に分割することにより得られる、Ｘ軸方向分割直線とＹ軸方向分割直線との交点を頂点とする四角形によって構成されており、
全方位画像格納部が、個々の交点を撮影地点として撮影された全方位画像を格納しており、
参照領域図形を構成する四角形の左上頂点をＡ，右上頂点をＢ，左下頂点をＣ，右下頂点をＤとし、視点をＱとし、上辺ＡＢおよび下辺ＣＤがＸ軸に平行、左辺ＡＣおよび右辺ＢＤがＹ軸に平行となるように座標系を定義したときに、特徴点投影位置推定部が、頂点Ａ，Ｂ，Ｃ，Ｄを参照頂点として選択し、
点Ｑを通りＹ軸に平行な垂直補助線Ｌｙと上辺ＡＢとの交点を中間点ｍ１、垂直補助線Ｌｙと下辺ＣＤとの交点を中間点ｍ２、点Ｑを通りＸ軸に平行な水平補助線Ｌｘと左辺ＡＣとの交点を中間点ｍ３、水平補助線Ｌｘと右辺ＢＤとの交点を中間点ｍ４とし、上辺ＡＢもしくは下辺ＣＤを中間点ｍ１もしくは中間点ｍ２が分割する按分割合をα：１−αとし、左辺ＡＣもしくは右辺ＢＤを中間点ｍ３もしくは中間点ｍ４が分割する按分割合をβ：１−βとして、パラメータα，βを定め、
参照頂点Ａを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉａ，θｉａ）とし、参照頂点Ｂを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｂ，θｉｂ）とし、参照頂点Ｃを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｃ，θｉｃ）とし、参照頂点Ｄを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｄ，θｉｄ）としたときに、
特徴点投影位置推定部が、
中間点ｍ１における全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｍ１，θｉｍ１）を、
φｉｍ１＝（１−α）・φｉａ＋α・φｉｂ
θｉｍ１＝（１−α）・θｉａ＋α・θｉｂ
なる演算で求め、
中間点ｍ２における全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｍ２，θｉｍ２）を、
φｉｍ２＝（１−α）・φｉｃ＋α・φｉｄ
θｉｍ２＝（１−α）・θｉｃ＋α・θｉｄ
なる演算で求め、
視点を示す点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｑ，θｉｑ）を、
φｉｑ＝（１−β）・φｉｍ１＋β・φｉｍ２
θｉｑ＝（１−β）・θｉｍ１＋β・θｉｍ２
なる演算で求めるようにしたものである。
(20) 本発明の第２０の態様は、上述した第１８の態様に係る自由視点映像表示装置において、
個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系におけるＸＹ平面を、隙間なく分割することにより得られる三角形によって構成されており、
全方位画像格納部が、三角形の各頂点を撮影地点として撮影された全方位画像を格納しており、
参照領域図形を構成する三角形の各頂点をＡ，Ｂ，Ｃとし、視点を点Ｑとしたときに、特徴点投影位置推定部が、頂点Ａ，Ｂ，Ｃを参照頂点として選択し、
点Ａ，Ｑを通る直線と底辺ＢＣとの交点を中間点ｍとし、底辺ＢＣを中間点ｍが分割する按分割合をα：１−αとし、点Ａ，ｍを結ぶ補助線Ｌを点Ｑが分割する按分割合をβ：１−βとして、パラメータα，βを定め、
参照頂点Ａを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉａ，θｉａ）とし、参照頂点Ｂを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｂ，θｉｂ）とし、参照頂点Ｃを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｃ，θｉｃ）としたときに、
特徴点投影位置推定部が、
中間点ｍにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｍ，θｉｍ）を、
φｉｍ＝（１−α）・φｉｂ＋α・φｉｃ
θｉｍ＝（１−α）・θｉｂ＋α・θｉｃ
なる演算で求め、
視点を示す点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｑ，θｉｑ）を、
φｉｑ＝（１−β）・φｉａ＋β・φｉｍ
θｉｑ＝（１−β）・θｉａ＋β・θｉｍ
なる演算で求めるようにしたものである。
(21) 本発明の第２１の態様は、上述した第４〜第２０の態様に係る自由視点映像表示装置において、
特徴点投影位置推定部が、視点を包含する単位領域図形を参照領域図形として選択するようにしたものである。
(22) 本発明の第２２の態様は、上述した第１２，第１６，第１８〜第２０の態様に係る自由視点映像表示装置において、
位置方向指定部が、視線方向として、所定の方位角φｅおよび所定の仰角θｅを指定し、
画像切出部が、切出対象となる全方位画像上において、位置方向指定部によって指定された方位角φｅおよび仰角θｅで示される座標値をもつ点を切出中心点として、当該切出中心点の周囲の一部分を切り出すようにしたものである。
(23) 本発明の第２３の態様は、上述した第４〜第２２の態様に係る自由視点映像表示装置において、
特徴点情報格納部が、３つの特徴点を頂点とする三角形からなる複数のセルを定義するセル定義情報を格納しており、全方位画像が、複数のセルの投影像からなる個々のセルによってメッシュ状に分割され、
全方位画像生成部が、セル定義情報に基づいて、推定された特徴点の投影位置を頂点とする新たなセルを生成し、全方位画像格納部に格納されている全方位画像上の対応するセル内の部分画像に基づいて、新たなセル内に割り付けるべき新たな部分画像を生成する処理を、生成した各セルについて実行することにより、視点における全方位画像を生成するようにしたものである。
(24) 本発明の第２４の態様は、上述した第４〜第２２の態様に係る自由視点映像表示装置において、
全方位画像生成部が、参照領域図形の頂点の中の１つの頂点を模写対象頂点として選択し、模写対象頂点についての全方位画像上で対応する対応セル内の部分画像を模写対象部分画像として選択し、この模写対象部分画像に基づいて新たなセル内に割り付けるべき新たな部分画像を生成するようにしたものである。
(25) 本発明の第２５の態様は、上述した第２４の態様に係る自由視点映像表示装置において、
全方位画像生成部が、新たなセル内に割り付けるべき新たな部分画像を構成する所定画素の画素値を定める際に、所定画素の上記新たなセルに対する相対位置を求め、模写対象部分画像において上記相対位置に対応する位置にある対応画素の画素値を模写対象画素値として抽出し、所定画素の画素値を上記模写対象画素値に基づいて決定するようにしたものである。
(26) 本発明の第２６の態様は、上述した第４〜第２２の態様に係る自由視点映像表示装置において、
全方位画像生成部が、参照領域図形の頂点の中から複数ｎ個（ｎ≧２）の頂点を模写対象頂点として選択し、ｎ個の模写対象頂点についての全方位画像上で対応する対応セル内の部分画像をそれぞれ模写対象部分画像として選択し、選択されたｎ枚の模写対象部分画像に基づいて新たなセル内に割り付けるべき新たな部分画像を生成するようにしたものである。
(27) 本発明の第２７の態様は、上述した第２６の態様に係る自由視点映像表示装置において、
全方位画像生成部が、新たなセル内に割り付けるべき新たな部分画像を構成する所定画素の画素値を定める際に、所定画素の上記新たなセルに対する相対位置を求め、ｎ枚の模写対象部分画像において上記相対位置に対応する位置にある対応画素の画素値をそれぞれ模写対象画素値として抽出し、所定画素の画素値を、抽出したｎ組の模写対象画素値に基づいて決定するようにしたものである。
(28) 本発明の第２８の態様は、上述した第２７の態様に係る自由視点映像表示装置において、
全方位画像生成部が、新たな部分画像を構成する所定画素の画素値をｎ組の模写対象画素値に基づいて決定する際に、視点とｎ個の模写対象頂点との距離をそれぞれ求め、距離のより小さな模写対象頂点についての全方位画像から抽出された模写対象画素値に対してより大きな重みづけを付加してｎ組の模写対象画素値の加重平均値を算出し、この加重平均値に基づいて所定画素の画素値を決定するようにしたものである。
(29) 本発明の第２９の態様は、上述した第２５、第２７、第２８の態様に係る自由視点映像表示装置において、
特徴点情報格納部が、３つの特徴点を頂点とする三角形からなる複数のセルを定義するセル定義情報を格納しており、全方位画像が、複数のセルの投影像からなる個々のセルによってメッシュ状に分割され、
新たなセルを構成する三角形Ｃｑの頂点をξ１ｑ，ξ２ｑ，ξ３ｑとし、対応セルを構成する三角形Ｃａの対応する頂点をξ１ａ，ξ２ａ，ξ３ａとし、三角形Ｃｑ内の所定画素の位置を点Ｇｑとしたときに、
全方位画像生成部が、
三角形Ｃｑについて、頂点ξ３ｑと点Ｇｑとを通る直線と、頂点ξ１ｑと頂点ξ２ｑとを結ぶ底辺Ｂｑと、の交点を中間点Ｒｑとし、この中間点Ｒｑが底辺Ｂｑを分割する按分割合をａ：ｂとし、点Ｇｑが中間点Ｒｑと頂点ξ３ｑとを結ぶ中間線分Ｌｑを分割する按分割合をｃ：ｄとして、パラメータａ，ｂ，ｃ，ｄを定め、
対応三角形Ｃａについて、頂点ξ１ａと頂点ξ２ｑとを結ぶ底辺Ｂａを按分割合ａ：ｂで分割する点として中間点Ｒａを求め、この中間点Ｒａと頂点ξ３ａとを結ぶ中間線分Ｌｂをｃ：ｄで分割する点として点Ｇａを求め、点Ｇａに位置する対応画素の画素値を模写対象画素値として抽出し、
三角形Ｃｑ内の点Ｇｑに位置する所定画素の画素値を、模写対象画素値に基づいて決定するようにしたものである。
(30) 本発明の第３０の態様は、上述した第１〜第２９の態様に係る自由視点映像表示装置において、
個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系に配置された二次元図形もしくは三次元図形によって構成され、更に、時間軸ｔを考慮することにより、同一の空間位置に時間の異なる複数通りの単位領域図形が定義されており、
全方位画像格納部には、時間の異なる複数通りの単位領域図形の頂点を撮影地点として、特定の撮影地点において、特定の時間に撮影された全方位画像が格納されており、
位置方向指定部が、任意の視点と当該視点を基準とした任意の視線方向に加えて、更に、任意の観測時間を指定する機能を有し、
特徴点投影位置推定部が、
上記観測時間に、上記視点における全方位画像上に現れるべき特徴点の投影位置を推定し、
全方位画像生成部が、上記観測時間かつ上記視点における全方位画像を生成するようにしたものである。
(31) 本発明の第３１の態様は、上述した第１〜第３０の態様に係る自由視点映像表示装置を、コンピュータに専用のプログラムを組み込むことにより構成したものである。
(32) 本発明の第３２の態様は、任意位置の視点から見た任意方向の視界を表示する自由視点映像表示方法において、
必要なデータを準備する準備プロセスと、準備したデータを用いてコンピュータが映像表示を行う表示プロセスと、を有し、
準備プロセスは、
実空間上に単位領域図形を定義し、この単位領域図形の頂点位置に撮影地点を定義し、各撮影地点の位置を示す撮影地点位置情報を設定する撮影地点定義段階と、
実空間上の各撮影地点に全方位カメラを配置して被写体を撮像面に投影して撮影し、個々の撮影地点のそれぞれについて、当該撮影地点の位置を示す撮影地点位置情報に対応づけた全方位画像を用意する全方位画像撮影段階と、
単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている被写体上の特徴点を定め、各特徴点について全方位画像上での投影位置を示す特徴点投影位置情報を求める特徴点設定段階と、
全方位画像が複数のセルの投影像によってメッシュ状に分割されるように、特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報を定めるセル定義段階と、
を有し、
表示プロセスは、
コンピュータが、実空間に対応する仮想空間上で、任意の視点と当該視点を基準とした任意の視線方向を指定する位置方向指定段階と、
コンピュータが、撮影地点位置情報および特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定する特徴点投影位置推定段階と、
コンピュータが、セル定義情報に基づいて、特徴点投影位置推定段階で推定された特徴点の投影位置を頂点とする新たなセルを生成し、全方位画像上の対応するセル内の部分画像に基づいて、新たなセル内に割り付けるべき新たな部分画像を生成する処理を、生成した各セルについて実行することにより、視点における全方位画像を生成する全方位画像生成段階と、
コンピュータが、位置方向指定段階で指定された視線方向に基づいて、全方位画像生成段階で生成した視点における全方位画像から、その一部分を切り出す画像切出段階と、
コンピュータが、画像切出段階によって切り出された画像を表示する画像表示段階と、
を有するようにしたものである。
(33) 本発明の第３３の態様は、上述した第３２の態様に係る自由視点映像表示方法において、
撮影地点定義段階で、互いに隣接して配置された複数の単位領域図形を定義し、
全方位画像撮影段階で、各単位領域図形の頂点を撮影地点とする撮影を行うことにより、個々の頂点のそれぞれについての全方位画像を用意し、
特徴点設定段階で、個々の単位領域図形ごとに、当該単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている特徴点を定め、
セル定義段階で、個々の単位領域図形ごとに、各特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報を定め、
位置方向指定段階で、複数の単位領域図形のいずれかに包含される視点を指定し、
特徴点投影位置推定段階で、特定の単位領域図形を参照領域図形として選択し、参照領域図形の頂点についての撮影地点位置情報および参照領域図形についての特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定し、
全方位画像生成段階で、参照領域図形についてのセル定義情報に基づいて、推定された特徴点の投影位置を頂点とする新たなセルを生成し、参照領域図形の頂点における全方位画像上の対応するセル内の部分画像に基づいて、新たなセル内に割り付けるべき新たな部分画像を生成するようにしたものである。
本発明の自由視点映像表示装置によれば、単位領域図形の頂点を撮影地点とする複数の全方位画像が用意され、これらの画像上に共通して現れている特徴点の投影位置を示す情報と、各特徴点を頂点とする図形からなる複数のセルを定義する情報が用意される。そして、これらの情報に基づいて、ユーザが指定した任意の視点で撮影した場合に得られるであろうと推定される全方位画像が生成され、提示される。このため、現実に存在する実空間について、離散的な撮影地点から撮影した全方位画像を利用して、仮想空間上の任意位置から見た視界を表示することが可能になる。
撮影地点Ｏに配置された全方位カメラによる撮影によって得られる一般的な全方位画像Ｐ（Ｏ）の一例を示す図である。 本発明の基本原理を説明する斜視図である。 本発明の基本的実施形態に係る自由視点映像表示装置の構成を示すブロック図である。 本発明における特徴点の具体的な定義方法を示す平面図である。 図３に示す特徴点投影位置情報１６１の具体例を示す図である。 図３に示す特徴点投影位置推定部１２０による第ｉ番目の特徴点ξｉの投影位置を推定する手順を示す平面図である。 図６に示す特徴点ξｉの投影位置の推定を三角測量法に基づいて行う基本原理を示す斜視図である。 図７に示す基本原理に基づいて特徴点ξｉの三次元位置を推定する第１の方法を示す斜視図である。 図７に示す基本原理に基づいて特徴点ξｉの三次元位置を推定する第２の方法を示す斜視図である。 三角形のセルによって全方位画像Ｐ（Ａ）をメッシュ状に分割した一例を示す平面図である。 三角形のセルによる分割態様を示す平面図である。 図１０に示すセル分割に応じたセル定義情報１６２の具体例を示す表である。 図３に示す全方位画像生成部１３０によるセルＣ５に関する部分画像生成処理を示す平面図である。 三角形のセルに関する部分画像生成処理の具体的な処理手順を示す平面図である。 複数の単位領域図形を互いに隣接して配置し、各図形の頂点を撮影地点とした実施形態を示す斜視図である。 個々の単位領域図形ごとに、それぞれ共通特徴点の定義が行われる実例を示す平面図である。 複数の単位領域図形を隣接して配置する実施形態の第１の変形例を示す平面図である。 複数の単位領域図形を隣接して配置する実施形態の第２の変形例を示す平面図である。 単位領域図形を三次元図形によって構成した変形例を示す斜視図である。 時間軸ｔを考慮して単位領域図形を定義した変形例を示す斜視図である。 図６に示す特徴点ξｉの投影位置の推定を線形補間法に基づいて行う基本原理を示す図である。 図２１に示す線形補間法における内挿法と外挿法との違いを示す図である。 単位領域図形が四角形である場合に、図２２に示す線形補間法（内挿法）を適用した具体例を示す平面図である。 単位領域図形が三角形である場合に、図２２に示す線形補間法（内挿法）を適用した具体例を示す平面図である。 本発明に係る自由視点映像表示方法の処理手順を示す流れ図である。
以下、本発明を図示する実施形態に基づいて説明する。
＜＜＜ §１． 全方位カメラによる撮影原理 ＞＞＞
本発明は、現実に存在する実空間を対象として、全方位カメラによる撮影を行い、得られた全方位画像を用いて、ユーザに仮想空間上を移動する体験を提供する装置に係るものである。全方位カメラは、魚眼レンズや全方位ミラーを装着したカメラであり、通常、撮影地点の周囲３６０°の対象物を被写体とするいわゆるパノラマ画像を撮影することができる。このような全方位カメラそれ自身およびそれを用いた撮影によって得られる全方位画像の特徴は公知のものであるが、ここでは、便宜上、図１を用いて、全方位カメラによる撮影原理および全方位画像の特徴を簡単に説明しておく。
図１(a) は、全方位カメラによる撮影によって得られる円形画像と被写体との関係を説明するための模式図である。図には、三次元座標系の原点Ｏを撮影地点として、全方位カメラによる撮影を行った場合について、被写体がどのように投影されるかが示されている。図１(a) に示す円Ｓは、ＸＹ平面上に配置された撮像面であり、被写体の像は、この撮像面Ｓ上に結像する。この円形の撮像面Ｓの上方に描かれたドームＨは、ここで生じる光学現象を説明するために用いる概念的な仮想図形であり、実在の光学系を示すものではない。図示のとおり、このドームＨは、天頂点Ｕ（原点Ｏの直上の点）を頂点とする仮想半球をなす。
いま、図示の位置に、被写体上の任意の対象点１０が存在するものとし、この対象点１０が、全方位カメラによる撮影によって、撮像面Ｓのどの位置に結像するかを考えてみよう。なお、対象点１０は実際には幾何学上の１点であるが、ここでは説明の便宜上、小さな星印によって対象点１０の位置を示すことにする。魚眼レンズや全方位ミラーを装着したカメラの場合、図示のとおり、被写体上の対象点１０は、撮像面Ｓ上の投影点１１（やはり小さな星印によって示す）上に結像する。
この投影点１１は、撮影地点Ｏを起点として対象点１０に向かう視線ベクトルＥ（φｅ，θｅ）を定義した場合、この視線ベクトルＥ（φｅ，θｅ）と仮想半球Ｈとの交点ｈを結像面Ｓ上に投影した点になる。図示のとおり、視線ベクトルＥ（φｅ，θｅ）の向きは、方位角φｅと仰角θｅによって定まる。方位角φは、撮影地点となる原点Ｏを中心として、視線ベクトルＥの撮像面Ｓ上の方位を示す角度であり、図示の例では、図の左方向の位置を方位角φ＝０°にとり、反時計まわりに３６０°までの方位角φが定義されている。一方、仰角θは、視線ベクトルＥが撮像面Ｓに対してなす角度であり、図示の例では、０〜９０°の範囲の仰角θが定義されている。θ＝９０°の場合、視線ベクトルＥは天頂点Ｕを指すベクトルになる。
なお、ここでは、０〜９０°の範囲の仰角θを用いた例を述べることにするが、三次元空間をフライスルーする体験を提供する装置の場合、水平面から上方を０〜＋９０°の範囲の仰角θで示し、水平面から下方を０〜−９０°の範囲の仰角θで示すこともできる。この場合、−９０°〜＋９０°の範囲の仰角θが定義される。
結局、原点Ｏの位置に視点をおいた場合、図示の対象点１０は、方位角φ＝φｅ、仰角θ＝θｅの方向に観察される点ということになる。図１(b) は、図１(a) に示す円形の撮像面Ｓの平面図であり、対象点１０の投影位置が星印の投影点１１として示されている。撮像面Ｓ上の投影点１１の位置は、方位角φｅおよび仰角θｅによって定められる。
上述したとおり、図示の例の場合、方位角φは図の左位置を起点０°として、反時計まわりに０〜３６０°が定義されており、円形の撮像面Ｓ上の円周方向に関する位置を示すパラメータになる。一方、仰角θは図の円周位置を０°、中心位置（原点Ｏの位置）を９０°として、半径に沿って０〜９０°が定義されており、円形の撮像面Ｓ上の半径方向に関する位置を示すパラメータになる。このように、撮像面Ｓ上の投影点１１の位置は、（φｅ，θｅ）なる極座標形式で表現することができる。
このように、全方位カメラによる撮影によって得られた円形の撮像面Ｓ上の画像は、原点Ｏの周囲３６０°の景色を示す全方位画像に相当するが、実用上は、表示の便宜を考えて、これを図１(c) に示すような矩形の全方位画像Ｐ（Ｏ）に変換して用いるのが好ましい。図１(c) に示す全方位画像Ｐ（Ｏ）は、撮像面Ｓ上の方位を示す方位角φ（図１(b) における円周方向の位置）を横座標軸にとり、撮像面Ｓに対する仰角θ（図１(b) における半径方向の位置）を縦座標軸にとった画像である。この画像は、図１(b) における（φ，θ）なる極座標を直交座標（φθ二次元直交座標系）に変換することにより得られる画像であり、周囲３６０°の景色を示すパノラマ画像になる。
この図１(c) に示す全方位画像Ｐ（Ｏ）上においても、星印で示す投影点１１の位置が座標値（φｅ，θｅ）で示されることに変わりはない。もっとも、図１(b) に示す円形画像が極座標系上の座標値（φ，θ）で示される画像であるのに対して、図１(c) に示す矩形の全方位画像Ｐ（Ｏ）は直交座標系上の座標値（φ，θ）で示される画像であるため、座標系の変換により、全方位画像Ｐ（Ｏ）には歪みが生じることになる。特に、天頂点Ｕの近傍（仰角θが９０°に近い位置）の歪みは大きくなるので、通常は、図１(b) にハッチングを施したドーナツ状の領域（中心点Ｏの近傍を除外した領域）についてのみ座標変換を行い、矩形の全方位画像Ｐ（Ｏ）を得ることが多い。この場合、全方位画像Ｐ（Ｏ）の上辺近傍には画像は形成されないことになる。
このような全方位画像Ｐ（Ｏ）を用意しておけば、原点Ｏにおかれた視点から見た任意方向の視界を表示することができる。たとえば、星印で示す対象物１０の方向の視界（図１(a) に示す視線ベクトルＥ（φｅ，θｅ）の方向の視界）を表示させたい場合は、方位角φｅおよび仰角θｅを指定すればよい。この場合、図１(c) に示すように、方位角φｅおよび仰角θｅで示される座標値（φｅ，θｅ）をもつ投影点１１を切出中心点として、当該切出中心点１１の周囲の一部分（図にハッチングを施して示す部分）を切出画像Ｄ（φｅ，θｅ）として切り出し、これをディスプレイ画面上に表示すればよい。
上述したように、全方位画像Ｐ（Ｏ）には歪みが生じているため、必要があれば、切出画像Ｄ（φｅ，θｅ）に対して歪み補正処理を施した上で、ディスプレイ画面上に表示することもできる。
以上、原点Ｏを撮影地点とする撮影によって得られた全方位画像Ｐ（Ｏ）の特徴と、この全方位画像Ｐ（Ｏ）を利用した画像提示の方法を述べた。同様の方法で、多数の撮影地点についての全方位画像を用意しておけば、当該撮影地点を視点とした任意方向の視界を表示することができる。
しかしながら、実用上は、撮影地点の数を無尽蔵に増やすことは困難であるため、所定のルート上に限定した撮影地点を定義するか、撮影地点の密度を減らして離散的に定義する手法が採られている。本発明は、離散的な撮影地点から撮影された全方位画像を利用しつつ、仮想空間上の任意位置から見た視界を表示することが可能な新たな手法を提案するものである。
＜＜＜ §２． 本発明の基本原理 ＞＞＞
図２は、本発明の基本原理を説明する斜視図である。ここでは、説明の便宜上、図示のようなＸＹＺ三次元直交座標系を定義し、視点ＱをＸＹ平面上の任意の位置に移動させたときに、当該視点Ｑから見た任意方向の視界を表示させる方法を説明する。
まず、図示のとおり、ＸＹ平面上に四角形ＡＢＣＤを定義する。ここでは、この四角形ＡＢＣＤを単位領域図形Ｆと呼ぶことにする。後述するように、単位領域図形Ｆは必ずしも四角形である必要はないが、ここでは最も基本的な実施形態として、単位領域図形Ｆとして四角形ＡＢＣＤを用いた例を述べる。ＸＹＺ三次元直交座標系は、現実に存在する実空間上に定義された座標系であり、単位領域図形Ｆの４つの頂点Ａ，Ｂ，Ｃ，Ｄも、実空間上の点になる。
そこで、この実空間上に定義された各頂点Ａ〜Ｄをそれぞれ撮影地点として、それぞれ全方位カメラを用いた撮影を行い、全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）を得る。§１では、図１を参照しながら、原点Ｏを撮影地点とした撮影により全方位画像Ｐ（Ｏ）を得る例を説明したが、全く同じ方法により、各撮影地点Ａ〜Ｄについて、それぞれ全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）を得ることができる。ここでも、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）は、図１(c) に示す各全方位画像Ｐ（Ｏ）と同様に、方位角φを横座標軸にとり、仰角θを縦座標軸にとった矩形のパノラマ画像であるものとする。図２では、このような全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）を矩形のブロックとして描き、白矢印で対応する頂点（撮影地点）を示してある。
図２に示すとおり、実空間上に定義されたＸＹＺ三次元直交座標系はグローバル座標系であり、当該グローバル座標系を用いることにより、ＸＹ平面上に定義された撮影地点Ａは座標値（ｘａ，ｙａ）、撮影地点Ｂは座標値（ｘｂ，ｙｂ）、撮影地点Ｃは座標値（ｘｃ，ｙｃ）、撮影地点Ｄは座標値（ｘｄ，ｙｄ）でそれぞれ位置を特定することができる。同様に、ＸＹ平面上の任意の視点Ｑも座標値（ｘｑ，ｙｑ）で位置を特定することができる。これに対して、全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上に定義されたφθ二次元直交座標系は、個々の撮影地点Ａ〜Ｄごとのローカル座標系ということになる。ここでは、図１(c) に示す例と同様に、横軸φ＝０〜３６０°、縦軸θ＝０〜９０°の範囲が定義されているものとする。
こうして、４つの撮影地点Ａ〜Ｄについて、それぞれ全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）を用意しておけば、仮想空間上にも同様のＸＹＺ三次元直交座標系を定義することにより、仮想空間上の撮影地点Ａ〜Ｄのいずれかに配置された視点から見た任意方向の視界を表示することが可能である。本発明に係る自由視点映像表示装置では、それだけでなく、任意の位置Ｑに配置された視点から見た任意方向の視界も表示させることが可能になる。
図２には、任意の視点Ｑ（ｘｑ，ｙｑ）を起点とする視線ベクトルＥ（φｅ，θｅ）が矢印で示されている。ここで、φｅは、視線ベクトルＥについての視点Ｑを中心としたＸＹ平面（撮像面）上の方位角であり、θｅは、視線ベクトルＥのＸＹ平面（撮像面）に対する仰角である。方位角φは、グローバル座標系における任意の方向を基準として、ＸＹ平面上に０〜３６０°の角度を定義すればよい。たとえば、Ｙ軸負方向を０°とすれば、Ｘ軸正方向が９０°、Ｙ軸正方向が１８０°、Ｘ軸負方向が２７０°ということになる。
ここで、視点Ｑを起点とする任意の視線ベクトルＥ（φｅ，θｅ）の方向の視界を表示するためには、図２の下方に示すように、視点Ｑにおける全方位画像Ｐ（Ｑ）が必要になる。この視点Ｑにおける全方位画像Ｐ（Ｑ）は、いわば「全方位カメラを視点Ｑに配置し、視点Ｑを撮影地点とする撮影を行った場合に得られるであろう画像」ということになり、やはり横軸をφ、縦軸をθにとったφθ二次元直交座標系上に定義されるパノラマ画像になる。もっとも、そのような全方位画像Ｐ（Ｑ）は実際には撮影されていないので、視点Ｑが定まった段階で、新たに生成する必要がある。
そこで、本発明では、既存の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）の一部もしくは全部を利用して、全方位画像Ｐ（Ｑ）を生成する処理が行われる。全方位画像Ｐ（Ｑ）の具体的な生成処理については後に詳述する。こうして全方位画像Ｐ（Ｑ）が生成されれば、そこから視線ベクトルＥ（φｅ，θｅ）に応じた一部分を切り出し、これを表示すればよい。
＜＜＜ §３． 本発明の基本的実施形態 ＞＞＞
図３は、本発明の基本的実施形態に係る自由視点映像表示装置１００の構成を示すブロック図である。この自由視点映像表示装置１００は、任意位置の視点から見た任意方向の視界を表示する装置であり、図示のとおり、全方位画像格納部１１０、特徴点投影位置推定部１２０、全方位画像生成部１３０、画像切出部１４０、画像表示部１５０、特徴点情報格納部１６０、位置方向指定部１７０を有している。もっとも、実際には、これらの各構成要素は、コンピュータに専用のプログラムを組み込むことにより実現される。
全方位画像格納部１１０は、実空間上の所定の撮影地点に全方位カメラを配置して被写体を撮像面に投影して撮影することにより得られる全方位画像を、個々の撮影地点のそれぞれについて、当該撮影地点の位置を示す撮影地点位置情報とともに格納する構成要素である。しかも、実空間上に定義された単位領域図形Ｆの頂点を撮影地点とした全方位画像が、当該頂点の位置を示す撮影地点位置情報とともに格納されている。
たとえば、図２に示す例の場合、四角形ＡＢＣＤからなる単位領域図形Ｆが定義されているため、全方位画像格納部１１０には、上述した４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）が、頂点Ａ〜Ｄの位置を示す撮影地点位置情報とともに格納されることになる。図３では、全方位画像格納部１１０のブロック内に、矩形のブロックで示す４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）と、頂点Ａ〜Ｄの位置を示すＸＹＺ三次元直交座標系上での座標値Ａ（ｘａ，ｙａ，０），Ｂ（ｘｂ，ｙｂ，０），Ｃ（ｘｃ，ｙｃ，０），Ｄ（ｘｄ，ｙｄ，０）が格納されている状態が示されている。前述したとおり、ここに示す実施例の場合、頂点Ａ〜ＤはいずれもＸＹ平面上の点であるため、Ｚ座標値はいずれも０である。
矩形のブロックで示す全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）には、それぞれローカル座標系を構成する座標軸として、撮像面上の方位を示す方位角φの横座標軸と、撮像面に対する仰角θの縦座標軸がとられている点は、既に述べたとおりである。もちろん、実際には、各矩形のブロック内には撮影で得られたパノラマ画像が収容されている。
図３には、全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）を示す矩形のブロック内に特徴点ξ１，ξ２，ξ３が示されている。この特徴点ξ１，ξ２，ξ３は、各画像の被写体上に定義される所定の特徴をもった点である。ただ、ここでは、説明の便宜上、特徴点ξ１を小さな×印、特徴点ξ２を小さな三角印、特徴点ξ３を小さなハート印のマークで示すことにする。図示のとおり、特徴点ξ１，ξ２，ξ３は、４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）のそれぞれに含まれているが、実際には、特徴点ξ１〜ξ３は、現実の被写体上の特定点であり、ＸＹＺ三次元直交座標系上の三次元空間に位置する実在の点である。
したがって、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上に示されている特徴点ξ１〜ξ３は、実際には、被写体上の実在の特徴点ξ１〜ξ３を各撮像面上に投影した投影点ということになる。たとえば、図３に示す例において、全方位画像Ｐ（Ａ）に×印で示された特徴点ξ１、全方位画像Ｐ（Ｂ）に×印で示された特徴点ξ１、全方位画像Ｐ（Ｃ）に×印で示された特徴点ξ１、全方位画像Ｐ（Ｄ）に×印で示された特徴点ξ１は、いずれも三次元空間に位置する実在の同一特徴点ξ１を各画像上に投影した投影点ということになる。
このように、本願にいう「特徴点ξ１〜ξ３」は、本来、実在する被写体上の点であり、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）に現れる点は、この本来の「特徴点ξ１〜ξ３」を各撮影地点における撮像面上に投影した「投影点」ということになる。ただ、以下の説明のでは、便宜上、この全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）に現れる「特徴点ξ１〜ξ３の投影点」についても、特に疑義が生じない限り、「特徴点ξ１〜ξ３」と呼ぶことにする。なお、図３には、便宜上、３つの特徴点ξ１，ξ２，ξ３しか示されていないが、実際には、後述するように、多数の特徴点が定義されることになる。
一方、図示の全方位画像Ｐ（Ａ）には、３つの特徴点ξ１，ξ２，ξ３を頂点とする三角形によって、セルＣ１（図にハッチングを施して示す領域）が構成されている状態が示されている。他の全方位画像Ｐ（Ｂ），Ｐ（Ｃ），Ｐ（Ｄ）についても、同様に、３つの特徴点ξ１，ξ２，ξ３を頂点とする三角形によってセルが構成される。
特徴点情報格納部１６０は、このような特徴点に関する情報を格納する構成要素である。具体的には、この特徴点情報格納部１６０には、図示のとおり、特徴点投影位置情報１６１とセル定義情報１６２とが格納されている。
ここで、特徴点投影位置情報１６１は、図２に示す単位領域図形Ｆの頂点Ａ，Ｂ，Ｃ，Ｄを撮影地点とする複数の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上に共通して現れている被写体上の特徴点ξ１，ξ２，ξ３について、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上での投影位置を示す情報である。たとえば、図３には、特徴点投影位置情報１６１として、３つの特徴点ξ１，ξ２，ξ３について、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上での位置座標（φ，θ）が格納されている状態が示されている。
図３に示す特徴点投影位置情報１６１の表の各欄には、便宜上、この位置座標をすべて「（φ，θ）」と記載しているが、実際には、表の各欄には、それぞれ異なる位置座標が収容される。たとえば、この特徴点投影位置情報１６１の表における画像Ｐ（Ａ）についてのξ１の欄には、全方位画像格納部１１０内に示されている全方位画像Ｐ（Ａ）における×印で示された特徴点ξ１の当該全方位画像Ｐ（Ａ）についてのローカル座標系での座標値（φ，θ）が収容されている。
上述したとおり、実際には、特徴点ξ１は、ＸＹＺ三次元直交座標系上の三次元空間に位置する実在の点であるが、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）は、それぞれ異なる撮影地点から撮影された画像であるため、画像Ｐ（Ａ）〜Ｐ（Ｄ）上に現れる特徴点ξ１の投影位置は、個々の画像ごとに若干異なることになる。したがって、特徴点投影位置情報１６１の表に示された座標値（φ，θ）は、個々の欄ごとに異なった値になる。
なお、特徴点ξ１，ξ２，ξ３は、単位領域図形Ｆの４頂点を撮影地点とする複数の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上に共通して現れている点として定義されるので、画像Ｐ（Ａ）〜Ｐ（Ｄ）のすべてに特徴点ξ１，ξ２，ξ３が存在することになる。別言すれば、一部の全方位画像には現れていない点（たとえば、何らかの物体の陰に隠れている点）は、特徴点としては選出されないことになる。
一方、セル定義情報１６２は、特徴点を頂点とする図形からなるセルを定義する情報である。図３には、３つの特徴点ξ１，ξ２，ξ３を頂点とする三角形からなるセルＣ１が定義された例が示されている。このため、図３の例では、セル定義情報１６２として、「セルＣ１の頂点となる特徴点がξ１，ξ２，ξ３である」ことを示す情報が格納されている。実際には、より多数の特徴点が定義され、より多数のセルが定義されることになる。セル定義情報１６２は、このような多数のセルのそれぞれについて、頂点となる特徴点群を示す情報になる。
後述するように、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）は、この多数のセルによってメッシュ状に分割される。したがって、セル定義情報１６２は、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）が複数のセルの投影像によってメッシュ状に分割されるように、各特徴点を頂点とする図形からなる複数のセルを定義する情報と言うことができる。
位置方向指定部１７０は、この自由視点映像表示装置１００によって映像表示を行う際に、実空間に対応する仮想空間上で、任意の視点Ｑと当該視点Ｑを基準とした任意の視線方向Ｅを指定する構成要素である。たとえば、図２に示す点Ｑ（ｘｑ，ｙｑ）を視点として指定し、視線ベクトルＥ（φｅ，θｅ）を視線方向として指定する場合は、位置方向指定部１７０によって、視点Ｑを示す情報として、座標値Ｑ（ｘｑ，ｙｑ，０）が指定され、視線方向Ｅを示す情報として、点Ｑを起点とする視線ベクトルＥの方位角φｅと仰角θｅとが指定される。図示の位置方向指定部１７０のブロック内には、このような指定が行われた例が示されている。
もちろん、実際には、ユーザ自身が座標値（ｘｑ，ｙｑ，０）や角度（φｅ，θｅ）を数値として入力するわけではない。位置方向指定部１７０は、実際には、自由視点映像表示装置１００を構成するコンピュータの一部として機能するジョイスティックなどの操作入力機器およびそのインターフェイスによって構成され、ユーザが仮想空間上を移動する体験を行う際には、この操作入力機器に対して所定の指示操作を行うことにより、移動方向、移動速度、視線の向きなどを指示することになる。操作入力機器のインターフェイスを構成するプログラムは、このような指示操作に応じて、視点Ｑの座標値や視線方向Ｅの角度を増減させる変更処理を行うことになる。
なお、位置方向指定部１７０による視点Ｑおよび視線方向Ｅの指定は、必ずしもユーザの操作入力に基づいて行う必要はなく、所定のアルゴリズムに従って自動的に指定がなされるようにしてもかまわない。たとえば、予め定められた所定のルートに沿って移動しながら、予め定められた所定の方向を観察した場合の視界が自動的に表示されるようなプログラムを用意しておけば、ユーザの操作入力なしに、自動的に視点Ｑおよび視線方向Ｅが指定されることになる。もちろん、ランダムに視点Ｑおよび視線方向Ｅを変化させるプログラムを用意しておけば、いわゆる「ランダムウォーク」の状態を表示することができる。
特徴点投影位置推定部１２０および全方位画像生成部１３０は、位置方向指定部１７０によって任意の視点Ｑが指定された場合に、「当該視点Ｑを撮影地点とする撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）」を生成するための構成要素である。前述したとおり、全方位画像格納部１１０内には、単位領域図形Ｆの４頂点Ａ，Ｂ，Ｃ，Ｄについての全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）しか用意されていないので、位置方向指定部１７０によって任意の視点Ｑが指定された場合、全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）の一部もしくは全部を利用して、新たに全方位画像Ｐ（Ｑ）を用意する処理が行われる。
新たに全方位画像Ｐ（Ｑ）を用意する処理は、次の２段階のステップによって行われる。第１段階のステップは、特徴点投影位置推定部１２０によって行われる特徴点投影位置推定段階であり、第２段階のステップは、全方位画像生成部１３０によって行われる全方位画像生成段階である。以下、この２段階のステップを順に説明する。
まず、特徴点投影位置推定部１２０によって、「視点Ｑを撮影地点とする撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）」に現れるべき特徴点の投影位置が推定される。図示のとおり、特徴点投影位置推定部１２０には、全方位画像格納部１１０に格納されている撮影地点位置情報と、特徴点情報格納部１６０に格納されている特徴点投影位置情報１６１と、位置方向指定部１７０により指定された視点Ｑが与えられる。特徴点投影位置推定部１２０は、撮影地点位置情報および特徴点投影位置情報１６１に基づいて、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき特徴点の投影位置を推定する処理を行うことになる。
特徴点投影位置推定部１２０は、図２に示すＸＹＺ三次元直交座標系上において、４つの撮影地点Ａ〜Ｄの位置座標と指定された視点Ｑの位置座標とを認識することができるので、これらの情報に対して幾何学的な手法を適用して、全方位画像Ｐ（Ｑ）上に現れるべき特徴点の投影位置を推定する。具体的な推定方法については、§５で詳述する。
図３に示す特徴点投影位置推定部１２０のブロック内には、準備画像ＰＰ（Ｑ）内に、３つの特徴点ξ１〜ξ３の投影位置ξ１（φ，θ）〜ξ３（φ，θ）が推定された状態が示されている（特徴点ξ１〜ξ３についての座標値（φ，θ）の値は、それぞれ異なる特定の値になる）。
ここで、準備画像ＰＰ（Ｑ）は、全方位画像Ｐ（Ｑ）の生成に用いられる概念的な空画像であり、実体のある画像ではない。すなわち、この準備画像ＰＰ（Ｑ）は、特徴点ξ１〜ξ３の投影位置ξ１（φ，θ）〜ξ３（φ，θ）を図示するための便宜上の画像であり、特徴点投影位置推定部１２０による推定処理によって得られるデータは、投影位置ξ１（φ，θ）〜ξ３（φ，θ）の座標値だけである。もちろん、準備画像ＰＰ（Ｑ）の縦横の座標軸は、生成する全方位画像Ｐ（Ｑ）の各座標軸に一致し、横座標軸は方位角φ（０〜３６０°）、縦座標軸は仰角θ（０〜９０°）である。
図３の準備画像ＰＰ（Ｑ）には、全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）と同様に、３つの特徴点ξ１〜ξ３の投影位置が、×印、三角印、ハート印で示されている。前述したとおり、実際には、特徴点ξ１〜ξ３は、現実の被写体上の特定点であり、準備画像ＰＰ（Ｑ）上に求められた点ξ１（φ，θ）〜ξ３（φ，θ）は、特徴点ξ１〜ξ３を、視点Ｑを撮影地点とした撮像面上に投影した投影点ということになる。特徴点の撮像面上の投影位置は、個々の撮影地点によってそれぞれ異なるため、たとえば、同じ×印で示す特徴点ξ１であっても、その投影位置の座標（φ，θ）は、全方位画像Ｐ（Ａ）〜Ｐ（Ｄ），Ｐ（Ｑ）のそれぞれで異なる。
全方位画像生成部１３０は、こうして準備画像ＰＰ（Ｑ）上に得られた各特徴点ξ１〜ξ３の投影位置を利用して、「視点Ｑを撮影地点とする撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）」を生成する。
具体的には、まず、特徴点情報格納部１６０に格納されているセル定義情報１６２に基づいて、特徴点投影位置推定部１２０が推定した特徴点の投影位置ξ１（φ，θ）〜ξ３（φ，θ）を頂点とする新たなセルを生成する。図示の例の場合、セル定義情報１６２には、「３つの特徴点ξ１，ξ２，ξ３をもつ三角形によってセルＣ１が構成される」旨の情報が含まれているので、全方位画像生成部１３０は、準備画像ＰＰ（Ｑ）上に得られた３つの投影点ξ１（φ，θ）〜ξ３（φ，θ）を頂点とする三角形からなる新たなセルＣ１′を生成することができる。図３の全方位画像生成部１３０のブロック内には、こうして生成された新たなセルＣ１′がハッチング領域として示されている。
続いて、全方位画像生成部１３０は、全方位画像格納部１１０に格納されている全方位画像Ｐ（Ａ）上の対応するセルＣ１内の部分画像（ハッチング部分）に基づいて、新たなセルＣ１′内に割り付けるべき新たな部分画像を生成する処理を実行する。
新たなセルＣ１′と、全方位画像Ｐ（Ａ）上の対応セルＣ１とは、「特徴点ξ１〜ξ３の投影点を頂点とする三角形からなるセル」という点で互いに対応関係を有しているセルであるが、その位置や形状は若干異なっている。したがって、対応セルＣ１内の部分画像を、そのまま新たなセルＣ１′内に割り付けることはできない。そこで、実際には、対応セルＣ１内の部分画像を模写対象部分画像として、この模写対象部分画像を若干変形して新たなセルＣ１′内に割り付ける処理が行われる。このような処理の具体的な方法は、§６において詳述する。
なお、図３では、全方位画像Ｐ（Ａ）上の対応セルＣ１内の部分画像に基づいて、新たなセルＣ１′内に割り付けるべき新たな部分画像を生成する例を示したが、もちろん、全方位画像Ｐ（Ｂ）〜Ｐ（Ｄ）上の対応セル内の部分画像に基づいて、新たなセルＣ１′内に割り付けるべき新たな部分画像を生成してもかまわない。また、§６で述べるとおり、複数の全方位画像上の対応セル内の部分画像を合成して、セルＣ１′内に割り付けるべき新たな部分画像を生成してもかまわない。
図３では、説明の便宜上、３つの特徴点ξ１〜ξ３と、これらを頂点とする１つのセルＣ１を用いた単純な例が示されているが、実際には、より多数の特徴点が定義され、より多数のセルが定義される。したがって、全方位画像生成部１３０は、生成した多数のセルについて上記処理を実行する。全方位画像は、この多数のセルによってメッシュ状に分割された画像になるため、メッシュを構成するすべてのセルについて上記処理を実行すれば、全方位画像Ｐ（Ｑ）を生成することができる。全方位画像生成部１３０は、このような手順により、全方位画像Ｐ（Ｑ）を生成する。
なお、視点Ｑが、たまたま、単位領域図形Ｆの頂点Ａ，Ｂ，Ｃ，Ｄのいずれかの位置に一致した場合、全方位画像Ｐ（Ｑ）は、全方位画像格納部１１０内に格納されている全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）と一致するので、新たな全方位画像Ｐ（Ｑ）を生成する処理を行う必要はない。したがって、この場合、特徴点投影位置推定部１２０は特徴点投影位置の推定処理を行う必要はなく、全方位画像生成部１３０は、全方位画像格納部１１０内に格納されている全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）のいずれかを、そのまま全方位画像Ｐ（Ｑ）として出力すればよい。
画像切出部１４０は、位置方向指定部１７０によって指定された視線方向Ｅに基づいて、全方位画像生成部１３０が生成した「視点Ｑにおける全方位画像Ｐ（Ｑ）」から、その一部分を切り出す処理を行う。
ここで述べる実施形態の場合、位置方向指定部１７０は、視線方向Ｅとして、所定の方位角φｅおよび所定の仰角θｅを指定する。そこで、画像切出部１４０は、切出対象となる全方位画像Ｐ（Ｑ）上において、位置方向指定部１７０によって指定された方位角φｅおよび仰角θｅで示される座標値（φｅ，θｅ）をもつ点を切出中心点として、当該切出中心点の周囲の一部分の所定領域を、切出画像Ｄ（φｅ，θｅ）として切り出す処理を行うことになる。当該切出処理は、図１(c) を参照して、§１で既に説明したとおりである。なお、全方位画像Ｐ（Ｑ）には歪みが生じているため、必要があれば、切出画像Ｄ（φｅ，θｅ）に対して歪み補正処理を施すこともできる。
画像表示部１５０は、こうして画像切出部に１４０よって切り出された切出画像Ｄ（φｅ，θｅ）を表示する構成要素である。この画像表示部１５０は、実際には、コンピュータを構成するディスプレイ装置およびそのインターフェイスによって構成される。
以上述べた特徴点投影位置推定部１２０による特徴点投影位置推定の処理と、全方位画像生成部１３０による全方位画像生成の処理は、位置方向指定部１７０によって新たな視点Ｑの指定が行われるたびに繰り返し実行され、そのたびに、画像切出部１４０によって新たな切出画像が切り出され、画像表示部１５０による表示が行われる。したがって、ユーザに対しては、リアルタイムで仮想空間内を移動している情景が提示されることになる。
このように本実施例に係る自由視点映像表示装置１００の全方位画像格納部１１０内には、離散的な撮影地点Ａ，Ｂ，Ｃ，Ｄから撮影した全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）が用意されているだけであるが、仮想空間上の任意の視点Ｑから見た視界を表示することが可能になる。
なお、図２には、仮想空間上で単位領域図形Ｆの内部に位置する視点Ｑと当該視点Ｑを基準とした視線方向Ｅが指定された例が示されているが、位置方向指定部１７０は、必ずしも単位領域図形Ｆ内の視点Ｑを指定する必要はなく、単位領域図形Ｆの外側に位置する視点Ｑを指定してもかまわない。
本発明における単位領域図形Ｆは、その頂点が撮影地点になるという点において、複数の撮影地点が同一グループ（同一の単位領域図形Ｆの頂点グループ）に所属することを示す意味がある。後の§７では、複数の単位領域図形Ｆを配列する実施形態が述べられるが、そのような実施形態においても、１つの単位領域図形Ｆに所属する頂点は、１つのグループに所属する撮影地点になる。そして、同一グループに所属する撮影地点で撮影された複数の全方位画像は、同一グループに所属する全方位画像ということになり、この同一グループに所属する全方位画像上に共通して現れている被写体上の特徴点について、特徴点投影位置情報１６１やセル定義情報１６２が用意される。
このように、本発明における単位領域図形Ｆは、全方位画像をグループ分けする上での指標になるものであり、視点Ｑの位置は、必ずしもこの単位領域図形Ｆの内側に制限されるものではない。したがって、本発明の実施にあたって、視点Ｑは、図２に例示するように、単位領域図形Ｆの内部（単位領域図形Ｆの輪郭線上も含む）にあってもよいし、単位領域図形Ｆの外部にあってもよい。
後述するように、特徴点投影位置推定部１２０は、視点Ｑが単位領域図形Ｆの内部に位置する場合も、外部に位置する場合も、特徴点投影位置の推定を行うことができる。後述するように、本願では、単位領域図形Ｆの内部に位置する視点Ｑについて、特徴点投影位置の推定を行う方法を内挿法と呼び、単位領域図形Ｆの外部に位置する視点Ｑについて、特徴点投影位置の推定を行う方法を外挿法と呼んでいる。
＜＜＜ §４． 特徴点の具体的な定義方法 ＞＞＞
§３で述べたとおり、特徴点情報格納部１６０には、各全方位画像上での特徴点の投影位置を示す特徴点投影位置情報１６１と、特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報１６２と、が格納されている。図３では、単純な例として３つの特徴点ξ１〜ξ３を定義した例を示したが、ここでは、より具体的な特徴点の定義方法を述べる。
前述したように、本発明における特徴点は、現実の被写体上において所定の特徴を有する特定の点であり、ＸＹＺ三次元直交座標系上の三次元空間に位置する実在の点である。ただ、特徴点を定義する作業は、各撮影地点Ａ〜Ｄで撮影された全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上で行われる。別言すれば、本発明において特徴点を定義する処理は、実際には、全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上に共通して現われている「特徴点の投影点」を指定する作業によって行われる。ここでは、担当者が、撮影された全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）を見ながら人間の判断で各投影点を定義する作業を行う例を以下に説明する。
図４は、本発明における特徴点の具体的な定義方法を示す平面図である。図４(a) は、撮影地点Ａで撮影された全方位画像Ｐ（Ａ）上に、手作業で１２個の特徴点ξ１〜ξ１２を定義した状態を示す平面図である。図に×印で示されている点が個々の特徴点ξ１〜ξ１２に相当する。なお、正確に言えば、これら×印で示されている点は、「被写体上の特徴点ξ１〜ξ１２の全方位画像Ｐ（Ａ）上に現われた投影点」であるが、ここでは便宜上、単に「特徴点ξ１〜ξ１２」と呼ぶ。
このように、全方位画像Ｐ（Ａ）上に、手作業で各特徴点ξ１〜ξ１２を定義するには、たとえば、コンピュータの画面上に全方位画像Ｐ（Ａ）を表示させた状態で、マウスなどのポインティングデバイスを用いて、特徴点として設定すべき位置をクリック操作などで指示してゆけばよい。
特徴点としては、画像上で何らかの特徴のある部分を任意に選択することができるが、一般的には、被写体となる物の角、辺の一点、特定部位の中心点などを適宜選択すればよい。図４(a) に示す例の場合、ドアの角の点として特徴点ξ１，ξ２が定義され、ドアノブの中心点として特徴点ξ３が定義され、額縁の四隅の点として特徴点ξ４〜ξ７が定義されている。また、額縁の左右の辺の延長線（破線で示す）とテーブルの上辺の交点として特徴点ξ８，ξ９が定義され、人物の両目の中心点として特徴点ξ１０，ξ１１が定義され、襟の合わせ目として特徴点ξ１２が定義されている。
図４(b) は、撮影地点Ｂで撮影された全方位画像Ｐ（Ｂ）上に、同様の方法で１２個の特徴点ξ１〜ξ１２を定義した状態を示す平面図である。ここで重要なことは、全方位画像Ｐ（Ｂ）上に定義される特徴点ξ１〜ξ１２が、全方位画像Ｐ（Ａ）上に定義された特徴点ξ１〜ξ１２と１対１に対応するようにする点である。図４(a) に示す全方位画像Ｐ（Ａ）と図４(b) に示す全方位画像Ｐ（Ｂ）とは、同一の被写体を撮影した全方位画像であるが、撮影位置が異なっているため、被写体の位置にずれが生じている。しかしながら、被写体が同一であるため、両画像上に共通して現れている特徴点を定義することができる。図示の特徴点ξ１〜ξ１２は、このように両画像上に共通して現れている特徴点である。
図示されていないが、撮影地点Ｃで撮影された全方位画像Ｐ（Ｃ）および撮影地点Ｄで撮影された全方位画像Ｐ（Ｄ）上にも、同様の方法により、特徴点ξ１〜ξ１２が定義される。結局、特徴点ξ１〜ξ１２は、４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）のすべてに共通して現われている被写体上の特定点ということになる。
図５(a) は、図３に示す特徴点投影位置情報１６１の具体例を示す図であり、図４に示す１２組の特徴点ξ１〜ξ１２についての投影位置を示すものである。図５(b) は、図２に示す単位領域図形Ｆ（四角形ＡＢＣＤ）の平面図であり、４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）は、この四角形ＡＢＣＤの各頂点を撮影地点として撮影された画像である。図５(a) に示す表のＰ（Ａ）の欄には、撮影地点Ａについての全方位画像Ｐ（Ａ）上における各特徴点ξ１〜ξ１２の投影点の位置座標が示されている。
たとえば、Ｐ（Ａ）の欄の１行目の座標値（φ１ａ，θ１ａ）は、図４(a) に示すドアの左上角の特徴点ξ１のφθ座標系における座標値であり、２行目の座標値（φ２ａ，θ２ａ）は、図４(a) に示すドアの右上角の特徴点ξ２のφθ座標系における座標値である。同様に、Ｐ（Ｂ）の欄の１行目の座標値（φ１ｂ，θ１ｂ）は、図４(b) に示すドアの左上角の特徴点ξ１のφθ座標系における座標値であり、２行目の座標値（φ２ｂ，θ２ｂ）は、図４(b) に示すドアの右上角の特徴点ξ２のφθ座標系における座標値である。
上述したとおり、マウスなどのポインティングデバイスを用いて、各特徴点の位置をディスプレイ画面上で指定する操作を行えば、コンピュータは、指定された点の座標値を自動入力して、図５(a) に例示するような特徴点投影位置情報を作成することができる。このとき、全方位画像Ｐ（Ａ）上で指定された座標値は、図５(a) の表のＰ（Ａ）の欄に収容され、全方位画像Ｐ（Ｂ）上で指定された座標値は、図５(a) の表のＰ（Ｂ）の欄に収容され、全方位画像Ｐ（Ｃ）上で指定された座標値は、図５(a) の表のＰ（Ｃ）の欄に収容され、全方位画像Ｐ（Ｄ）上で指定された座標値は、図５(a) の表のＰ（Ｄ）の欄に収容される。
また、図示の例の場合、４組の座標値（φ１ａ，θ１ａ），（φ１ｂ，θ１ｂ），（φ１ｃ，θ１ｃ），（φ１ｄ，θ１ｄ）は、いずれも同一の特徴点ξ１についての投影位置を示す情報であるので、これら４組の座標値は、図５(a) の表における同一行に収容して対応づける必要がある。このため、マウスクリックなどで各特徴点についての投影位置を指定する操作を行う際には、コンピュータに、どの特徴点についての操作であるかを認識させる必要がある。そのためには、たとえば、コンピュータに対して、同一の特徴点の投影位置が連続的に入力されるようなインターフェイスを用意しておけばよい。具体的には、４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）について、ドアの左上角の特徴点ξ１の投影位置を順にクリックしてゆく操作を一連の作業として行えば、当該作業に基づいて、コンピュータは、図５(a) の表における第１行目のデータを作成することができる。
§３で述べたとおり、本発明における特徴点は、セルの頂点として利用される。したがって、定義される特徴点の密度を高めれば、セルの密度も高まることになる。視点Ｑについて生成される全方位画像Ｐ（Ｑ）上に生じる画像の歪みを低減する上では、セルの密度は高い方が好ましく、そのためには、特徴点の密度を高めるのが好ましい。しかしながら、特徴点やセルの密度を高めると、１枚の全方位画像上の特徴点やセルの数が増え、演算負担は増大する。したがって、実用上は、画像の歪み低減に必要と思われるセルを形成するのに必要最低限の特徴点を定義するのが好ましい。
以上、人間の手作業によって、特徴点およびその位置を設定する処理を述べたが、この処理をコンピュータによる自動作業によって行うようにすることも可能である。
一般に、任意の画像について特徴点を自動抽出する処理には、様々なアルゴリズムのものが知られている。たとえば、画像上に現れる輝度勾配を解析することにより、図４(a) に示すドア，額縁，人物といった対象物の輪郭線を抽出する技術が知られている。したがって、このような輪郭線の折れ曲がり箇所として、図４(a) に示す特徴点ξ１，ξ２，ξ４〜ξ７などを自動抽出することが可能である。また、人物の目の位置を自動認識するアルゴリズムも知られており、このようなアルゴリズムを利用すれば、図４(a) に示す特徴点ξ１０，ξ１１を自動抽出することも可能である。
また、２つの画像から抽出した特徴点について、その周囲の輝度勾配などを解析することにより、同一性を自動判定するアルゴリズムも知られている。このようなアルゴリズムを利用すれば、たとえば、図４(a) に示す全方位画像Ｐ（Ａ）から自動抽出した特徴点ξ１と、図４(b) に示す全方位画像Ｐ（Ｂ）から自動抽出した特徴点ξ１とが、被写体上の同一の特徴点ξ１の投影点であることを自動認識することができる。もちろん、４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）から各特徴点を自動抽出した後に、全画像に共通して現われている特徴点のみを残し、それ以外の特徴点を自動削除することも可能である。
したがって、これまで、人間の手作業による位置指定操作に基づいて、図５(a) に示す特徴点投影位置情報１６１を作成する例を述べてきたが、これをコンピュータによる自動処理によって行うことも可能である。この場合、所定の解析プログラムが組み込まれたコンピュータに、４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）の画像データを与えることにより、図５(a) に示すような特徴点投影位置情報１６１が自動的に作成されることになる。
もっとも、現在の画像解析技術では、コンピュータによる完全な自動処理によって、理想的な特徴点投影位置情報１６１を作成することは困難である。したがって、実用上は、コンピュータによる自動処理を行った後、人間の目視確認により、適宜修正を加えることにより、図５(a) に例示するような特徴点投影位置情報１６１を作成するのが好ましい。
なお、上述したとおり、演算負担を軽減するためには、特徴点の数は、画像の歪み低減に必要と思われるセルを形成するのに必要最低限の数に抑えるのが好ましい。したがって、実際には、コンピュータが自動抽出した特徴点のうち、不要と思われる特徴点については、適宜、間引く処理を行うようにするのが好ましい。
こうして、図５(a) に例示するような特徴点投影位置情報１６１が作成できれば、この情報を利用して、特徴点投影位置推定部１２０による特徴点投影位置の推定処理および全方位画像生成部１３０による全方位画像Ｐ（Ｑ）の生成処理が行われる点は、既に述べたとおりである。
図４(c) は、図４(a) に示す全方位画像Ｐ（Ａ）上の特徴点ξ３の位置と、図４(b) に示す全方位画像Ｐ（Ｂ）上の特徴点ξ３の位置に基づいて、視点Ｑについての準備画像ＰＰ（Ｑ）上に特徴点ξ３の推定位置をプロットした状態を示す。図示の例の場合、特徴点ξ３はドアノブの中心点であり、図５(a) の特徴点投影位置情報１６１に示されているとおり、全方位画像Ｐ（Ａ）上の特徴点ξ３の位置は、座標値（φ３ａ，θ３ａ）であり、全方位画像Ｐ（Ｂ）上の特徴点ξ３の位置は、座標値（φ３ｂ，θ３ｂ）である。これらの座標値の情報と、図５(b) に示す撮影地点Ａ，撮影地点Ｂ，視点ＱのＸＹＺ三次元直交座標系上での座標値の情報と、を用いれば、図４(c) に示すように、準備画像ＰＰ（Ｑ）上の特徴点ξ３の位置を推定することができる。具体的な推定方法は、§５で詳述する。
一方、図４(d) は、図４(a) に示す全方位画像Ｐ（Ａ）上の特徴点ξ３の近傍画像、もしくは、図４(b) に示す全方位画像Ｐ（Ｂ）上の特徴点ξ３の近傍画像を、準備画像ＰＰ（Ｑ）上の特徴点ξ３の近傍にコピーすることにより、全方位画像Ｐ（Ｑ）の一部が生成された状態を示している。この例の場合、特徴点ξ３はドアノブの中心点であるため、図４(d) には、このドアノブの中心点の近傍画像がコピーされた状態が示されている。近傍画像のコピーは、図４(a) に示す全方位画像Ｐ（Ａ）から行ってもよいし、図４(b) に示す全方位画像Ｐ（Ｂ）から行ってもよい。もちろん、図示されていないが、全方位画像Ｐ（Ｃ）や全方位画像Ｐ（Ｄ）から行ってもよいし、複数の全方位画像を合成して割り付けてもかまわない。
もっとも、実際には、図４(d) に示すように「特定の特徴点の近傍画像をコピーする」という手法を採る代わりに、§３で述べたとおり、「特徴点を頂点とする図形からなる多数のセルを定義し、個々のセル内の部分画像をコピーする」という手法を採ることになる。このような処理の具体的な方法は、§６において詳述する。
＜＜＜ §５． 特徴点投影位置の推定（三角測量法） ＞＞＞
ここでは、図３に示す特徴点投影位置推定部１２０によって行われる特徴点投影位置推定処理の具体的な処理手順を説明する。§３で述べたとおり、特徴点投影位置推定部１２０は、「視点Ｑを撮影地点とする撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）」に現れるべき特徴点の投影位置を推定する処理を実行する。図３の特徴点投影位置推定部１２０のブロック内には、３つの特徴点ξ１〜ξ３の推定投影位置が示されている。また、図４には、図４(a) に示す全方位画像Ｐ（Ａ）内の特徴点ξ３の位置と図４(b) に示す全方位画像Ｐ（Ｂ）内の特徴点ξ３の位置とに基づいて、図４(c) に示すように、準備画像ＰＰ（Ｑ）上に特徴点ξ３の位置を推定した例が示されている。ここでは、このような推定を行うための具体的な方法を述べる。
いま、図５(b) に示すように、実空間上に定義された四角形の単位領域図形Ｆの各頂点Ａ〜Ｄを撮影地点とする撮影により、全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）が得られており、これらの各画像上の特徴点投影位置情報１６１（図５(a) 参照）によって示される座標位置に、合計１２組の特徴点ξ１〜ξ１２が定義されているものとしよう。なお、ここでは、後述する§７で説明する「複数の単位領域図形を配列する実施形態」との関係上、図示の単位領域図形Ｆを「参照領域図形」と呼ぶことにする。ここで「参照領域図形」とは、視点位置の全方位画像Ｐ（Ｑ）を生成する際に参照されることになる単位領域図形Ｆを意味する。ここに示す基本的実施形態は、単一の単位領域図形Ｆのみを想定した実施形態であるため、当該単一の単位領域図形Ｆが「参照領域図形」になる。
さて、ここで、図５(b) に示すような視点Ｑが指定された場合、特徴点投影位置推定部１２０が行うべき処理は、図５(a) に示す特徴点投影位置情報１６１と、図３のブロック１１０内に示されている撮影地点位置情報とに基づいて、「視点Ｑを撮影地点とする撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）」に現れるべき１２組の特徴点ξ１〜ξ１２の投影位置を推定することである。
そのため、特徴点投影位置推定部１２０は、まず、参照領域図形Ｆの４頂点Ａ〜Ｄの中から２組の頂点を参照頂点として選択する。そして、当該参照頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき１２組の特徴点ξ１〜ξ１２の投影位置を推定する処理を行う。
なお、参照頂点としては、理論的には、参照領域図形Ｆの４頂点Ａ〜Ｄのいずれを選択してもかまわないが、実用上は、参照領域図形Ｆの頂点の中から、視点Ｑに最も近い頂点を第１の参照頂点として選択し、視点に２番目に近い頂点を第２の参照頂点として選択するのが好ましい。これは、後述するように、２組の参照頂点についての全方位画像を利用して、視点Ｑについての全方位画像Ｐ（Ｑ）上の特徴点の投影位置を推定する処理を行う際に、視点Ｑにできるだけ近い位置にある頂点を参照頂点として選択した方が、より誤差の少ない正確な推定が期待できるためである。
図５(b) に示す例の場合、参照領域図形Ｆの４頂点Ａ〜Ｄのうち、視点Ｑに最も近い頂点は頂点Ａであり、２番目に近い頂点は頂点Ｂである。そこで、以下、頂点Ａを第１の参照頂点として選択し、頂点Ｂを第２の参照頂点として選択した場合の例について説明を行うことにする。
図６は、図３に示す特徴点投影位置推定部１２０による第ｉ番目の特徴点ξｉの投影位置を推定する手順を示す平面図である。図６(a) に示す全方位画像Ｐ（Ａ）は、図５(b) に示す第１の参照頂点Ａで撮影された画像であり、図６(b) に示す全方位画像Ｐ（Ｂ）は、図５(b) に示す第２の参照頂点Ｂで撮影された画像である。図５(a) の表のＰ（Ａ）の欄およびＰ（Ｂ）の欄には、これら各画像Ｐ（Ａ），Ｐ（Ｂ）上に定義された１２組の特徴点ξ１〜ξ１２の投影位置を示す座標値が収容されている。
すなわち、ここに示す実施例の場合、ｉは１〜１２の範囲の値をとり、図６(a) の全方位画像Ｐ（Ａ）上に示されている第ｉ番目の特徴点ξｉの投影点ξｉａ（φｉａ，θｉａ）は、図５(a) の表のＰ（Ａ）の欄に収容されている各座標値（φ１ａ，θ１ａ）〜（φ１２ａ，θ１２ａ）に対応する位置の点になる。同様に、図６(b) の全方位画像Ｐ（Ｂ）上に示されている第ｉ番目の特徴点ξｉの投影点ξｉｂ（φｉｂ，θｉｂ）は、図５(a) の表のＰ（Ｂ）の欄に収容されている各座標値（φ１ｂ，θ１ｂ）〜（φ１２ｂ，θ１２ｂ）に対応する位置の点になる。
全方位画像Ｐ（Ａ）上の投影点ξｉａ（φｉａ，θｉａ）も、全方位画像Ｐ（Ｂ）上の投影点ξｉｂ（φｉｂ，θｉｂ）も、実空間上に実在する同一の特徴点ξｉを投影した点であるが、撮影地点が異なるため、φθ座標系上では異なる位置の点になる。特徴点投影位置推定部１２０が行う推定処理は、投影点ξｉａ（φｉａ，θｉａ）の情報と投影点ξｉｂ（φｉｂ，θｉｂ）の情報とを利用して、図６(c) に示す準備画像ＰＰ（Ｑ）上に投影点ξｉｑ（φｉｑ，θｉｑ）を求めることである。ここで、投影点ξｉｑ（φｉｑ，θｉｑ）は、「視点Ｑを撮影地点とする撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）」に現れるべき第ｉ番目の特徴点ξｉの投影位置と推定される点である。
以下、このような推定を行う方法の一例として、三角測量法に基づく方法を説明する。図７は、図６(c) に示す投影点ξｉｑ（φｉｑ，θｉｑ）の位置の推定を三角測量法に基づいて行う基本原理を示す斜視図である。図示されているＸＹＺ三次元直交座標系は、図２に示す座標系と同様に、実空間上に定義されたグローバル座標系であり、四角形の単位領域図形Ｆ（参照領域図形）は、この座標系におけるＸＹ平面上に定義されている。図７には、この単位領域図形Ｆの４頂点のうちの第１の参照頂点Ａおよび第２の参照頂点Ｂが示されており、更に、視点Ｑが示されている。
ここで、第１の参照頂点Ａは、座標値（ｘａ，ｙａ，０）で示される位置に配置され、第２の参照頂点Ｂは、座標値（ｘｂ，ｙｂ，０）で示される位置に配置され、視点Ｑは、座標値（ｘｑ，ｙｑ，０）で示される位置に配置されている。点Ａ，Ｂ，Ｑは、いずれもＸＹ平面上に位置し、そのＺ座標値は０である。図には、各点Ａ，Ｂ，Ｑを中心点とした仮想半球Ｈａ，Ｈｂ，Ｈｑが描かれており、これら仮想半球Ｈａ，Ｈｂ，Ｈｑの底面には、それぞれ撮像面Ｓａ，Ｓｂ，Ｓｑが描かれている。
図１で説明したとおり、点Ａについての全方位画像Ｐ（Ａ）は、撮像面Ｓａに形成された円形画像に基づいて作成されたパノラマ画像であり、点Ｂについての全方位画像Ｐ（Ｂ）は、撮像面Ｓｂに形成された円形画像に基づいて作成されたパノラマ画像である。そして、これから生成する点Ｑについての全方位画像Ｐ（Ｑ）は、もし、点Ｑを撮影地点として撮影を行ったとしたら、撮像面Ｓｑに形成されるであろう円形画像に基づいて作成されるべきパノラマ画像ということになる。
いま、図示のとおり、このＸＹＺ三次元直交座標系が定義された実空間上の１点に、第ｉ番目の特徴点ξｉが存在するものとしよう。特徴点ξｉは、座標値（ｘξｉ，ｙξｉ，ｚξｉ）で示される位置に配置されている。この場合、点Ａから特徴点ξｉを望むと、図示のとおり、方位角φｉａ，仰角θｉａの方向に観測されることになるので、全方位画像Ｐ（Ａ）上における特徴点ξｉの投影位置は、座標値（φｉａ，θｉａ）で示される投影点ξｉａになる。また、点Ｂから特徴点ξｉを望むと、図示のとおり、方位角φｉｂ，仰角θｉｂの方向に観測されることになるので、全方位画像Ｐ（Ｂ）上における特徴点ξｉの投影位置は、座標値（φｉｂ，θｉｂ）で示される投影点ξｉｂになる。
同様に、もし、点Ｑから特徴点ξｉを望んだとすると、図示のとおり、方位角φｉｑ，仰角θｉｑの方向に観測されることになるので、全方位画像Ｐ（Ｑ）上における特徴点ξｉの投影位置は、座標値（φｉｑ，θｉｑ）で示される投影点ξｉｑになるはずである。
このようなモデルを前提とすれば、特徴点投影位置推定部１２０は、次のような手順により、図６(c) に示す投影点ξｉｑの座標値（φｉｑ，θｉｑ）を求めることができる。
まず、図７に示すように、第１の参照頂点Ａから第ｉ番目の特徴点ξｉへ向かう第１の参照ベクトルＶｉａを、第１の参照頂点Ａについての撮影地点位置情報（座標値（ｘａ，ｙａ，０））および特徴点投影位置情報（座標値（φｉａ，θｉａ））に基づいて求める。すなわち、第１の参照頂点Ａを撮影地点とする全方位画像Ｐ（Ａ）上の第ｉ番目の特徴点ξｉの投影位置を示す第１の参照方位角φｉａおよび第１の参照仰角θｉａを参照し、座標値（ｘａ，ｙａ，０）をもつ第１の参照頂点Ａを起点として、第１の参照方位角φｉａおよび第１の参照仰角θｉａによって示される方向を向いたベクトルを第１の参照ベクトルＶｉａとすればよい。
次に、第２の参照頂点Ｂから第ｉ番目の特徴点ξｉへ向かう第２の参照ベクトルＶｉｂを、第２の参照頂点Ｂについての撮影地点位置情報（座標値（ｘｂ，ｙｂ，０））および特徴点投影位置情報（座標値（φｉｂ，θｉｂ））に基づいて求める。すなわち、第２の参照頂点Ｂを撮影地点とする全方位画像Ｐ（Ｂ）上の第ｉ番目の特徴点ξｉの投影位置を示す第２の参照方位角φｉｂおよび第２の参照仰角θｉｂを参照し、座標値（ｘｂ，ｙｂ，０）をもつ第２の参照頂点Ｂを起点として、第２の参照方位角φｉｂおよび第２の参照仰角θｉｂによって示される方向を向いたベクトルを第２の参照ベクトルＶｉｂとすればよい。
こうして、第１の参照ベクトルＶｉａと第２の参照ベクトルＶｉｂが求まったら、第１の参照ベクトルＶｉａと第２の参照ベクトルＶｉｂとの交点を幾何学的な演算によって求め、この交点を、第ｉ番目の特徴点ξｉの三次元位置と推定すればよい。かくして、特徴点ξｉの三次元座標値（ｘξｉ，ｙξｉ，ｚξｉ）が求まる。
最後に、視点Ｑに配置された全方位カメラによって、上記方法によって推定された三次元位置（ｘξｉ，ｙξｉ，ｚξｉ）にある第ｉ番目の特徴点ξｉを撮影した場合に全方位画像上に投影される点を、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき第ｉ番目の特徴点ξｉの投影位置と推定すればよい。
具体的には、図７に示されているように、座標値（ｘｑ，ｙｑ，０）をもつ視点Ｑを起点として、上記方法によって推定された三次元位置（ｘξｉ，ｙξｉ，ｚξｉ）にある第ｉ番目の特徴点ξｉに向かう指示ベクトルＶｉｑを求め、当該指示ベクトルＶｉｑの方位角φｉｑおよび仰角θｉｑを、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標（φｉｑ，θｉｑ）と推定すればよい。このような手順により、図６(c) に示す投影点ξｉｑの座標値（φｉｑ，θｉｑ）が得られることになる。
なお、図７に示す例の場合、第１の参照ベクトルＶｉａと第２の参照ベクトルＶｉｂとが交差しているため、その交点を、第ｉ番目の特徴点ξｉの三次元位置と推定することができるが、実際には、両参照ベクトルＶｉａ，Ｖｉｂは、必ずしも交差するとは限らず、両者がねじれの位置の関係にあることも少なくない。これは、全方位画像Ｐ（Ａ），Ｐ（Ｂ）には、個々の位置に固有の歪みが含まれており、また、この画像上に特徴点を定義する際に、位置的誤差が生じる可能性があるためである。
そこで、実用上は、第１の参照ベクトルＶｉａと第２の参照ベクトルＶｉｂとが交差せず、両参照ベクトルの交点が求められない場合は、図８に示す例のように、これら両参照ベクトルに対して所定の近接位置にある近接点を、第ｉ番目の特徴点ξｉの三次元位置（ｘξｉ，ｙξｉ，ｚξｉ）と推定すればよい。図８に示す例では、第１の参照ベクトルＶｉａ上の第２の参照ベクトルＶｉｂに対する最近接点Ｎａと、第２の参照ベクトルＶｉｂ上の第１の参照ベクトルＶｉａに対する最近接点Ｎｂとを求め、これら最近接点Ｎａと最近接点Ｎｂとを結ぶ線分の中間点を第ｉ番目の特徴点ξｉの三次元位置と推定している。
以上、第１の参照頂点Ａおよび第２の参照頂点Ｂという２個の参照頂点を用いて、第ｉ番目の特徴点ξｉの三次元位置を推定する方法を説明したが、３以上の参照頂点を用いて特徴点ξｉの三次元位置を推定することも可能である。理論的には、より多数の参照頂点を用いた推定方法の方が、より正確な推定が可能になる。そこで、以下、３以上の参照頂点を用いて、図６(c) に示す投影点ξｉｑの座標値（φｉｑ，θｉｑ）を求める方法を述べておく。
この方法では、参照領域図形の頂点の中からｎ組（ｎ≧３）の頂点が参照頂点として選択される。そして、当該参照頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき特徴点の投影位置を推定する処理を行うことになる。この場合も、推定精度を高めるために、特徴点投影位置推定部１２０は、参照領域図形の頂点の中から、視点に近い順に、第１の参照頂点から第ｎの参照頂点を選択するようにするのが好ましい。
具体的には、特徴点投影位置推定部１２０は、第ｊ番目の参照頂点から第ｉ番目の特徴点ξｉへ向かう第ｊ番目の参照ベクトルＶｉｊを、第ｊ番目の参照頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて求める処理を、ｊ＝１〜ｎのそれぞれについて行うことにより第１の参照ベクトルＶｉ１〜第ｎの参照ベクトルＶｉｎを求める。図７に示す例は、ｎ＝２に設定した例ということになる。
第ｊ番目の参照頂点から第ｉ番目の特徴点ξｉへ向かう第ｊ番目の参照ベクトルＶｉｊを求めるには、第ｊ番目の参照頂点を撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す第ｊ番目の参照方位角φｉｊおよび第ｊ番目の参照仰角θｉｊを参照し、第ｊ番目の参照頂点を起点として、第ｊ番目の参照方位角φｉｊおよび第ｊ番目の参照仰角θｉｊによって示される方向を向いたベクトルを第ｊ番目の参照ベクトルＶｉｊとすればよい。
続いて、求めたｎ本の参照ベクトルＶｉ１〜Ｖｉｎの交点もしくはこれらｎ本の参照ベクトルＶｉ１〜Ｖｉｎに対して所定の近接位置にある近接点を、第ｉ番目の特徴点ξｉの三次元位置と推定する。図９は、ｎ＝４の場合に、第ｉ番目の特徴点ξｉの三次元位置（ｘξｉ，ｙξｉ，ｚξｉ）を求めた例である。図５(b) に示す例のように、四角形の単位領域図形Ｆを参照領域図形とした場合、ｎ＝４に設定すると、４頂点Ａ，Ｂ，Ｃ，Ｄのすべてが参照頂点として選択されることになる。
図９に示す参照ベクトルＶｉａは、頂点Ａを起点として、全方位画像Ｐ（Ａ）上に現れている特徴点ξｉの投影点ξｉａの座標値（φｉａ，θｉａ）で示される方向を向いたベクトルであり、参照ベクトルＶｉｂは、頂点Ｂを起点として、全方位画像Ｐ（Ｂ）上に現れている特徴点ξｉの投影点ξｉｂの座標値（φｉｂ，θｉｂ）で示される方向を向いたベクトルである。同様に、参照ベクトルＶｉｃは、頂点Ｃを起点として、全方位画像Ｐ（Ｃ）上に現れている特徴点ξｉの投影点ξｉｃの座標値（φｉｃ，θｉｃ）で示される方向を向いたベクトルであり、参照ベクトルＶｉｄは、頂点Ｄを起点として、全方位画像Ｐ（Ｄ）上に現れている特徴点ξｉの投影点ξｉｄの座標値（φｉｄ，θｉｄ）で示される方向を向いたベクトルである。
図示の例の場合、これら４本の参照ベクトルＶｉａ〜Ｖｉｄのすべてに対して所定の近接位置にある近接点が、第ｉ番目の特徴点ξｉの三次元位置（ｘξｉ，ｙξｉ，ｚξｉ）として求められている。
こうして、特徴点ξｉの三次元位置（ｘξｉ，ｙξｉ，ｚξｉ）が推定されたら、視点Ｑに配置された全方位カメラによって、推定された三次元位置にある第ｉ番目の特徴点ξｉを撮影した場合に全方位画像上に投影される点を、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき第ｉ番目の特徴点ξｉの投影位置ξｉｑ（φｉｑ，θｉｑ）と決定する点は、前述したｎ＝２に設定した方法と同様である。
＜＜＜ §６． 全方位画像の生成 ＞＞＞
続いて、図３に示す全方位画像生成部１３０による全方位画像の生成処理の具体的な手順を説明する。§３で述べたとおり、全方位画像生成部１３０は、準備画像ＰＰ（Ｑ）上に得られた各特徴点の投影位置を利用して、「視点Ｑを撮影地点とする撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）」を生成する処理を行う。この処理は、特徴点を頂点とする多数のセルによって画像をメッシュ状に分割し、個々のセル単位で部分画像をコピーするという手法によって行われる。そこで、まず、多数のセルによって画像をメッシュ状に分割する具体的な態様を述べる。
§４では、図４(a) を参照しながら、全方位画像Ｐ（Ａ）上に１２個の特徴点ξ１〜ξ１２を定義した例を説明した。ここでは、この例を利用して、画像を多数のセルによってメッシュ分割する一例を示そう。
図１０(a) は、図４(a) と全く同じ図であり、全方位画像Ｐ（Ａ）上に１２個の特徴点ξ１〜ξ１２が定義された状態が示されている。図１０(b) は、この特徴点ξ１〜ξ１２を頂点とする合計１２個の三角形のセルＣ１〜Ｃ１２によって、全方位画像Ｐ（Ａ）をメッシュ状に分割した一例を示す平面図である。セルＣ１〜Ｃ１２は、大きさや形状がそれぞれ異なる図形であるが、いずれも図１０(a) に示す１２個の特徴点ξ１〜ξ１２の中の３点を頂点とする三角形になっている。
なお、図１０(a) に示す例は、特徴点の定義方法を示すために、単純な絵柄を用いて説明を行った例であるため、全方位画像Ｐ（Ａ）の外枠近傍には特徴点が定義されていない。このため、図１０(b) に示す分割例の場合、画像の外枠近傍には十分なセル定義がなされておらず、画像の中央部分のみがメッシュ状に分割された状態になっている。しかしながら、実際には、画像の外枠近傍にも何らかの被写体が写っており、特徴点を定義することが可能である。したがって、実際は、図１０(c) に×印で示すように、画像全体に分布するように、多数の特徴点が定義されることになる。
図１０(d) は、図１０(c) に×印で示す特徴点を用いて多数のセルを定義し、画像をメッシュ状に分割した例を示す図である。やはり個々のセルは、大きさや形状がそれぞれ異なる図形であるが、いずれも図１０(c) に×印で示す特徴点を頂点とする三角形になっている。なお、実用上は、画像の外枠の４頂点を特徴点として取り扱ってもかまわない。外枠の４頂点は、実在の被写体とは無関係の点であり、被写体上の特徴点ではないため、いずれの全方位画像も共通して有している点であるため、便宜上、特徴点の１つとして取り扱ってもかまわない。
もちろん、図１０(d) に示すメッシュ状の分割態様は、図１０(c) に×印で示す特徴点を用いた分割態様の一例を示すものであり、同じ特徴点を用いて別な態様で分割を行うことも可能である。別言すれば、図１０(c) に×印で示す特徴点を頂点にもつ三角形のセルの組み合わせは１通りではなく、様々な組み合わせが考えられる。
たとえば、図１１(a) に示すように、４つの特徴点ξ１〜ξ４をそれぞれ連結して四角形を作成し、当該四角形を２つに分割して、三角形からなる２組のセルを作成する場合を考えてみよう。この場合、図１１(b) のように縦に分割してセルＣ１，Ｃ２を作成することもできるし、図１１(c) のように横に分割してセルＣ１，Ｃ２を作成することもできる。いずれの方法を採っても、２組のセルＣ１，Ｃ２が作成される。
ただ、実用上は、できるだけ扁平な三角形を避けるような分割態様を採用するのが好ましい。図示の例の場合、図１１(b) のように縦に分割すると、扁平率の高いセルＣ１，Ｃ２が作成されるのに対して、図１１(c) のように横に分割すると、扁平率の低いセルＣ１，Ｃ２が作成される。したがって、この例の場合、図１１(c) のように横に分割して扁平率の低いセルＣ１，Ｃ２を作成するのが好ましい。これは、後述するように、セル単位で部分画像をコピーする際に、セルが扁平な三角形であると、部分画像の歪みが大きくなるためである。
なお、図１０(c) に示す多数の特徴点に基づいて、図１０(d) に示す多数のセルを定義する処理は、人間が目視しながら三角形の組み合わせを指定してゆく操作によって行うことも可能であるが、実用上は、コンピュータによる自動処理に委ねるのが好ましい。このような自動処理を行うための具体的なアルゴリズムは、公知の技術であるため、ここでは詳しい説明は省略する。
図３に示すとおり、特徴点情報格納部１６０には、特徴点投影位置情報１６１とセル定義情報１６２が格納されている。ここで、特徴点投影位置情報１６１は、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上での特徴点の投影位置を示す情報であり、図１０(a) に示すような１２個の特徴点ξ１〜ξ１２が定義された場合、前述したとおり、図５(a) の表に示すような特徴点投影位置情報１６１が用意されることになる。一方、セル定義情報１６２は、これら特徴点を頂点とするセル（画像をメッシュ状に分割するセル）を定義するための情報であり、具体的には、各セルを構成する頂点（いずれかの特徴点）を特定する情報ということになる。
図３の例では、便宜上、１つのセルＣ１のみが示されているため、ブロック１６０内に格納されているセル定義情報１６２は、セルＣ１の頂点となる特徴点ξ１，ξ２，ξ３を示す情報のみになっているが、実際には、個々のセルについて、それぞれ頂点となる特徴点が列挙されることになる。
図１２は、図１０(a) に示す１２個の特徴点ξ１〜ξ１２に基づいて、図１０(b) に示すように１２組のセルＣ１〜Ｃ１２を定義する場合のセル定義情報１６２を示す表である。このセル定義情報１６２によれば、１２組のセルＣ１〜Ｃ１２のそれぞれについて、頂点となる３個の特徴点が特定されている。このように、セル定義情報１６２は、実空間の被写体上に定義された特徴点の組み合わせ（四角形以上のセルの場合には、更に、特徴点相互の接続関係）により個々のセルの構成を定義する情報であるが、各全方位画像上に現れた特徴点（の投影点）の組み合わせ（および相互の接続関係）により構成される画像上のセルを定義する役割も担うことになる。
図５に示す特徴点投影位置情報１６１および図１２に示すセル定義情報１６２を参照すれば、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）のそれぞれの上に、図１０(b) に示すような１２組のセルＣ１〜Ｃ１２を配置することができ、これらのセルによって、画像をメッシュ状に分割することができる。全方位画像生成部１３０は、全方位画像Ｐ（Ｑ）を生成するための準備画像ＰＰ（Ｑ）上に、特徴点投影位置情報１６１およびセル定義情報１６２に基づいて新たなセルを生成し、全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）の対応するセル内の部分画像に基づいて、当該新たなセル内に割り付けるべき新たな部分画像を生成する処理を実行する。
要するに、ここで述べる実施形態の場合、特徴点情報格納部１６０には、３つの特徴点を頂点とする三角形からなる複数のセルを定義するセル定義情報１６２が格納されており、各全方位画像は、この複数のセルの投影像からなる個々のセルによってメッシュ状に分割されることになる。そして、全方位画像生成部１３０は、このセル定義情報１６２に基づいて、特徴点投影位置推定部１２０によって推定された特徴点の投影位置を頂点とする新たなセルを生成し、全方位画像格納部１１０に格納されている全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）上の対応するセル内の部分画像に基づいて、新たなセル内に割り付けるべき新たな部分画像を生成する処理を実行する。このような処理を、生成した各セルについて実行すれば、視点Ｑにおける全方位画像Ｐ（Ｑ）を生成することができる。
図１３は、図１０(b) に示すセルＣ５に関する部分画像の生成処理を示す平面図である。図１３(a) は、図１０(a) に示す全方位画像Ｐ（Ａ）上に、３つの特徴点ξ４，ξ５，ξ６を頂点とするセルＣ５を配置した状態を示す図である。ここでは、説明の便宜上、全方位画像Ｐ（Ａ）上に位置する特徴点ξ４，ξ５，ξ６（の投影点）を、それぞれ特徴点ξ４ａ，ξ５ａ，ξ６ａと呼び、これら特徴点ξ４ａ，ξ５ａ，ξ６ａを頂点とする三角形からなるセル（全方位画像Ｐ（Ａ）上に位置するセル）をセルＣ５ａと呼ぶことにする。
このセルＣ５ａは、図１２の表（セル定義情報１６２）の「Ｃ５」の行に示されている３つの特徴点ξ４，ξ５，ξ６についての全方位画像Ｐ（Ａ）上の投影点ξ４ａ，ξ５ａ，ξ６ａを頂点とする三角形であり、各頂点の座標は、図５(a) の表に記載されている。たとえば、頂点ξ４ａの座標は、図５(a) の表（特徴点投影位置情報１６１）の「ξ４」の行の「Ｐ（Ａ）」の欄に記載されている（φ４ａ，θ４ａ）ということになる。セルＣ５ａの内部には、図示のとおり、実際の撮影により得られた全方位画像Ｐ（Ａ）の一部となる部分画像（図のハッチング部分：風景画の一部）が存在する。
一方、図１３(b) には、視点Ｑにおける全方位画像Ｐ（Ｑ）の生成に用いられる準備画像ＰＰ（Ｑ）が示されている。前述したとおり、この準備画像ＰＰ（Ｑ）は、概念的な空画像であり、いわば全方位画像Ｐ（Ｑ）を描くためのキャンバスに相当するものである。図示の例では、この準備画像ＰＰ（Ｑ）上に、特徴点ξ４ｑ，ξ５ｑ，ξ６ｑと、これら特徴点ξ４ｑ，ξ５ｑ，ξ６ｑを頂点とする三角形からなるセルＣ５ｑが示されている。
ここで、特徴点ξ４ｑ，ξ５ｑ，ξ６ｑは、実在の被写体上の特徴点ξ４，ξ５，ξ６が全方位画像Ｐ（Ｑ）上に現れるであろうと予想される投影点であり、特徴点投影位置推定部１２０によって推定された点である。また、セルＣ５ｑは、図１２に示すセル定義情報１６２に基づいて、準備画像ＰＰ（Ｑ）上に新たに生成されたセルである。すなわち、図１２に示す表の「Ｃ５」の行を参照すれば、３つの頂点ξ４，ξ５，ξ６によってセルＣ５が定義される旨の情報が得られるので、当該情報に基づいて、準備画像ＰＰ（Ｑ）上の３つの特徴点ξ４ｑ，ξ５ｑ，ξ６ｑを頂点とする新たなセルＣ５ｑを生成することができる。
視点Ｑにおける全方位画像Ｐ（Ｑ）を生成するには、この新たに生成したセルＣ５ｑの内部（図のハッチング部分）に、図１３(a) に示す全方位画像Ｐ（Ａ）上の対応するセルＣ５ａ内の部分画像（図のハッチング部分）をコピーして割り付ける処理を行えばよい。図１３(c) には、このようなコピーが完了した状態が示されている。実際には、準備画像ＰＰ（Ｑ）上に、新たなセルが多数生成され、準備画像ＰＰ（Ｑ）は、これら多数のセルによってメッシュ状に分割された状態になる。そこで、新たに生成された個々のセルについて、同様の方法により、図１３(a) に示す全方位画像Ｐ（Ａ）上の対応するセル内の部分画像をコピーして割り付ける処理を行えば、目的となる全方位画像Ｐ（Ｑ）が生成されることになる。
なお、図１３に示す実施例では、準備画像ＰＰ（Ｑ）上に生成された新たなセルＣ５ｑの内部に、全方位画像Ｐ（Ａ）上の対応するセルＣ５ａ内の部分画像をコピーする例を示したが、コピー元となる画像は、必ずしも全方位画像Ｐ（Ａ）である必要はない。ここに示す基本的実施形態では、図５(b) に示すとおり、参照領域図形Ｆの４頂点Ａ，Ｂ，Ｃ，Ｄを撮影地点として、４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）が用意されているので、この４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）のいずれをコピー元の画像として利用してもかまわない。
本願では、このようなコピー元として利用される全方位画像のことを「模写対象画像」と呼ぶことにし、この模写対象画像の中のセル内の部分画像を「模写対象部分画像」と呼ぶことにする。また、当該模写対象画像の撮影地点を「模写対象頂点」と呼ぶことにする。図１３に示す実施例は、図５(b) に示す参照領域図形Ｆの左上頂点Ａを模写対象頂点とすることにより、全方位画像Ｐ（Ａ）を模写対象画像として選択した例であり、図１３(b) にハッチングを施して示す新たなセルＣ５ｑ内に、図１３(a) にハッチングを施して示す対応セルＣ５ａ内の模写対象部分画像をコピーして割り付ける処理が行われている。
結局、図１３に示す実施例の場合、全方位画像生成部１３０が、参照領域図形Ｆの頂点Ａ，Ｂ，Ｃ，Ｄの中の１つの頂点Ａを模写対象頂点として選択し、この模写対象頂点Ａについての全方位画像Ｐ（Ａ）上で対応する対応セルＣ５ａ内の部分画像（ハッチング部分）を模写対象部分画像として選択し、この模写対象部分画像に基づいて新たなセルＣ５ｑ内に割り付けるべき新たな部分画像を生成する処理を行うことになる。
ところで、上述の説明では、「新たなセルＣ５ｑの内部に対応セルＣ５ａ内の部分画像をコピーして割り付ける」という表現を用いたが、ここで言う「コピー」とは、「対応セルＣ５ａ内の模写対象部分画像をそっくりそのまま複写する」という意味ではない。前述したように、実在する被写体上の同一の特徴点ξであっても、撮影地点が異なる複数の全方位画像上に現れる投影点の位置は若干異なってくる。このため、図１３(b) に示す新たなセルＣ５ｑの形状や大きさは、図１３(a) に示す対応セルＣ５ａの形状や大きさとは完全には一致しない。したがって、対応セルＣ５ａ内の模写対象部分画像を、そっくりそのまま新たなセルＣ５ｑ内に割り付けることはできず、実際には、新たなセルＣ５ｑの形状や大きさに合致するよう、若干の変形処理を加えた上で割り付ける必要がある。
したがって、図１３(c) に示す新たなセルＣ５ｑ内に割り付けられている部分画像は、図１３(a) に示す対応セルＣ５ａ内の模写対象部分画像に対して若干の変形処理を加えた画像になっている。このように、所定の割付枠の形状に合致するように画像に対して変形を加える処理方法としては、種々のアルゴリズムに基づく方法が知られているが、ここでは、新たなセルＣ５ｑ内に割り付けるべき部分画像を生成する具体的な方法を１つ例示しておく。
この方法の特徴は、新たなセルＣ５ｑ内に割り付けるべき新たな部分画像を構成する所定画素の画素値を定める際に、当該所定画素の当該新たなセルＣ５ｑに対する相対位置を求め、模写対象部分画像において上記相対位置に対応する位置にある対応画素の画素値を模写対象画素値として抽出し、当該所定画素の画素値をこの模写対象画素値に基づいて決定する点にある。具体的な処理内容としては、新たなセルＣ５ｑ内の各画素の画素値を、模写対象部分画像の対応位置の画素の画素値に基づいて決定する手順を踏むことになるが、概念的には、模写対象部分画像に若干の変形処理を加えて新たなセルＣ５ｑ内に割り付ける処理が行われたことになる。
ここでは、上記方法を実施する上で、模写対象部分画像の対応位置にある対応画素を決定する具体的な手順の一例を、図１４を参照しながら説明しておく。いま、図１４(a) に示すような対応セルＣａと新たなセルＣｑとが与えられた場合を考えてみよう。新たなセルＣｑは、準備画像ＰＰ（Ｑ）上に定義された３つの特徴点ξ１ｑ，ξ２ｑ，ξ３ｑを頂点とする三角形であり、図１３(b) のセルＣ５ｑに相当するものである。一方、対応セルＣａは、模写対象画像として選択された全方位画像Ｐ（Ａ）上に定義されたセルのうち、新たなセルＣｑに対応するセルである。図示のとおり、この対応セルＣａは、３つの特徴点ξ１ａ，ξ２ａ，ξ３ａを頂点とする三角形であり、図１３(a) のセルＣ５ａに相当するものである。
ここで行う処理の目的は、対応セルＣａ内の模写対象部分画像（ハッチング部分）を、若干の変形処理を加えた上で、新たなセルＣｑ内に割り付けることである。このような処理は、結局、新たなセルＣｑ内の個々の画素の画素値を、対応セルＣａ内の対応する画素の画素値に基づいて決定する作業によって行うことができる。そこで、以下、図示のとおり、新たなセルＣｑ内の任意の位置に点Ｇｑを設定し、この点Ｇｑの位置にある画素の画素値を決定する手順を説明する。
図１４(a) に示すとおり、新たなセルを構成する三角形Ｃｑの頂点は、ξ１ｑ，ξ２ｑ，ξ３ｑであり、これに対応するセルを構成する三角形Ｃａの各対応頂点は、それぞれξ１ａ，ξ２ａ，ξ３ａである。そして、三角形Ｃｑ内には、所定画素の位置を示す点Ｇｑが定義されている。このような前提において、全方位画像生成部１３０は、次のような手順で、点Ｇｑの位置にある画素の画素値を決定することができる。
まず、図１４(b) に示すとおり、三角形Ｃｑについて、頂点ξ３ｑと点Ｇｑとを通る直線を引き、当該直線と、頂点ξ１ｑと頂点ξ２ｑとを結ぶ底辺Ｂｑと、の交点Ｒｑを求める。そして、この交点Ｒｑを中間点として、中間点Ｒｑが底辺Ｂｑを分割する按分割合をａ：ｂとする。また、点Ｇｑが中間点Ｒｑと頂点ξ３ｑとを結ぶ中間線分Ｌｑを分割する按分割合をｃ：ｄとする。こうして、三角形Ｃｑについて、４つのパラメータａ，ｂ，ｃ，ｄを定める。これらのパラメータは、点Ｇｑの位置にある画素についての三角形Ｃｑに対する相対位置を示している。
続いて、これら４つのパラメータａ，ｂ，ｃ，ｄを用いて、対応する三角形Ｃａに対して等価な相対位置にある点を求める。そのためには、図１４(c) に示すとおり、対応三角形Ｃａについて、まず、頂点ξ１ａと頂点ξ２ｑとを結ぶ底辺Ｂａを按分割合ａ：ｂで分割する点として中間点Ｒａを求める。そして、この中間点Ｒａと頂点ξ３ａとを結ぶ中間線分Ｌａを、ｃ：ｄで分割する点として点Ｇａを求める。こうして求めた点Ｇａの対応三角形Ｃａに対する相対位置は、点Ｇｑの三角形Ｃｑに対する相対位置と等価になる。したがって、三角形Ｃｑ内の点Ｇｑの位置にある画素には、三角形Ｃａ内の点Ｇａの位置にある画素の画素値を与えればよい。
そこで、三角形Ｃａ内の点Ｇａに位置する対応画素の画素値を模写対象画素値として抽出し、三角形Ｃｑ内の点Ｇｑに位置する所定画素の画素値を、この模写対象画素値に基づいて決定すればよい。基本的には、模写対象画素値を点Ｇｑに位置する所定画素の画素値としてそのままコピーすればよいが、必要に応じて、何らかの修正処理を加えるようにしてもかまわない。
以上、参照領域図形Ｆの頂点Ａ，Ｂ，Ｃ，Ｄの中の１つの頂点Ａを模写対象頂点として選択し、この模写対象頂点Ａについての全方位画像Ｐ（Ａ）を模写対象画像として、新たなセル内に割り付けるべき新たな部分画像を生成する手順を示したが、模写対象画像は、必ずしも１枚だけに限定する必要はない。
すなわち、全方位画像生成部１３０は、参照領域図形Ｆの４頂点Ａ，Ｂ，Ｃ，Ｄの中から複数ｎ個（ｎ≧２）の頂点を模写対象頂点として選択し、このｎ個の模写対象頂点についての全方位画像上で対応する対応セル内の部分画像をそれぞれ模写対象部分画像として選択すれば、選択されたｎ枚の模写対象部分画像に基づいて新たなセル内に割り付けるべき新たな部分画像を生成することができる。たとえば、ｎ＝２に設定し、参照領域図形Ｆの４頂点Ａ，Ｂ，Ｃ，Ｄの中から、２組の頂点Ａ，Ｂを模写対象頂点として選択すれば、全方位画像Ｐ（Ａ）およびＰ（Ｂ）が模写対象画像として選択されることになる。
この場合、全方位画像生成部１３０は、新たなセル内に割り付けるべき新たな部分画像を構成する所定画素の画素値を定める際に、当該所定画素の新たなセルに対する相対位置を求め、ｎ枚の模写対象部分画像において上記相対位置に対応する位置にある対応画素の画素値をそれぞれ模写対象画素値として抽出し、所定画素の画素値を、抽出したｎ組の模写対象画素値に基づいて決定すればよい。
たとえば、ｎ＝２に設定し、全方位画像Ｐ（Ａ）およびＰ（Ｂ）を模写対象画像として選択する場合、図１３(b) に示す新たなセルＣ５ｑに割り付けるべき新たな部分画像は、全方位画像Ｐ（Ａ）内の模写対象部分画像から抽出した模写対象画素値と、全方位画像Ｐ（Ｂ）内の模写対象部分画像から抽出した模写対象画素値との双方に基づいて決定すればよい（たとえば、両者の平均値とする）。
理論的には、模写対象頂点の数ｎが多くなれば、より多くの模写対象部分画像から抽出した模写対象画素値を参照して、新たな部分画像の画素の画素値を決定することができるので、より適切な全方位画像Ｐ（Ｑ）を生成することが可能になる。
なお、新たな部分画像を構成する所定画素の画素値を複数ｎ組の模写対象画素値に基づいて決定する場合、視点Ｑとｎ個の模写対象頂点との距離をそれぞれ求め、距離のより小さな模写対象頂点についての全方位画像から抽出された模写対象画素値に対してより大きな重みづけを付加してｎ組の模写対象画素値の加重平均値を算出し、この加重平均値に基づいて当該所定画素の画素値を決定することもできる。
たとえば、図５(b) に示す例の場合、ｎ＝４に設定して、参照領域図形Ｆの４頂点Ａ，Ｂ，Ｃ，Ｄすべてを模写対象頂点とすることが可能である。この場合、４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）がいずれも模写対象画像となり、それぞれから抽出された４組の模写対象画素値に基づいて、新たな部分画像の画素の画素値が決定されることになる。このとき、抽出された４組の模写対象画素値の単純平均値を算出して、新たな画素値とすることもできるが、視点Ｑに近い頂点Ａについての全方位画像Ｐ（Ａ）から抽出された模写対象画素値には大きな重みづけをし、視点Ｑに遠い頂点Ｄについての全方位画像Ｐ（Ｄ）から抽出された模写対象画素値には小さな重みづけをして、重みを考慮した加重平均値を算出して、これを新たな画素値としてもよい。
一般的には、視点Ｑに近い頂点Ａで撮影された全方位画像Ｐ（Ａ）は、視点Ｑに遠い頂点Ｄで撮影された全方位画像Ｐ（Ｄ）に比べて、視点Ｑで撮影した場合に得られるであろう全方位画像Ｐ（Ｑ）を生成する上でより適切な画像情報を有していると考えられる。したがって、上記加重平均値を用いる実施例を行えば、より適切な全方位画像Ｐ（Ｑ）が得られる。
＜＜＜ §７． 複数の単位領域図形を配列する実施形態 ＞＞＞
これまで、図２に示すように、ＸＹＺ三次元直交座標系のＸＹ平面に単一の単位領域図形Ｆを定義し、この単位領域図形Ｆの各頂点Ａ，Ｂ，Ｃ，Ｄを撮影地点として、４枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）を用意する基本的実施形態を述べてきた。本発明の基本原理は、この基本的実施形態に集約されているが、実用上は、複数の単位領域図形を定義するのが好ましい。これは、撮影対象となる実空間が広くなった場合、単一の単位領域図形Ｆのみを定義した基本的実施形態では、任意の視点Ｑにおける全方位画像Ｐ（Ｑ）を生成する精度が低下するおそれがあるためである。
既に述べたとおり、本発明における単位領域図形Ｆは、その頂点が撮影地点になるという点において、複数の撮影地点をグループ化する意味をもつ。そして、同一グループに所属する撮影地点（同一の単位領域図形Ｆの頂点）で撮影された複数の全方位画像は、同一グループに所属する全方位画像となり、これらに共通して現れている被写体上の特徴点について、特徴点投影位置情報やセル定義情報が用意される。
しかしながら、実空間上の広い領域全体をカバーするような単一の単位領域図形Ｆを定義した場合、各頂点を撮影地点として得られた複数の全方位画像に共通して現れている特徴点を定義することが困難になってくる。これは、実空間上では、通常、複数の被写体が重なり合って存在するため、特定の撮影地点から観察した場合、ある被写体が別な被写体の陰に隠れて見えなくなる、という現象が生じるためである。実際、都市全体をカバーするような広大な単位領域図形Ｆを設定した場合、全方位画像に共通して現れている特徴点を見つけることは非常に困難である。
そこで、実用上は、互いに隣接して配置された複数の単位領域図形を定義するのが好ましい。図１５は、ＸＹＺ三次元直交座標系のＸＹ平面に、複数の単位領域図形Ｆ１１，Ｆ１２，Ｆ１３，... を、互いに隣接するように配置した例を示す斜視図である。図示の点Ａ〜Ｌは、各単位領域図形Ｆ１１，Ｆ１２，Ｆ１３，... の頂点であり、本発明を実施する上での撮影地点になる。したがって、全方位画像格納部１１０には、互いに隣接して配置されるように定義された複数の単位領域図形の頂点を撮影地点とすることにより、個々の撮影地点のそれぞれについて撮影された全方位画像が、当該撮影地点の位置を示す撮影地点位置情報とともに格納される。
この図１５に示す例では、個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系におけるＸＹ平面を分割することにより得られる二次元図形によって構成されている。したがって、ＸＹ平面は、複数の単位領域図形Ｆ１１，Ｆ１２，Ｆ１３，... によって隙間なく埋め尽くされている。
特に、図１５に示す実施例は、個々の単位領域図形を構成する二次元図形を四角形によって構成した例であり、各四角形は、ＸＹ平面をＸ軸に平行なＸ軸方向分割直線およびＹ軸に平行なＹ軸方向分割直線によって縦横に分割することにより得られる。このため、各四角形は、Ｘ軸方向分割直線とＹ軸方向分割直線との交点を頂点とする図形になっており、全方位画像格納部１１０には、これら各交点を撮影地点として撮影された全方位画像が格納されている。
もちろん、ここで述べる実施形態の場合も、ユーザに対して、実空間をＸＹ平面に沿って自由に移動している状態を体験させることができる点に変わりはない。位置方向指定部１７０は、ＸＹ平面上の任意の点を視点Ｑとして指定することができる。上述したとおり、ＸＹ平面は、複数の単位領域図形Ｆ１１，Ｆ１２，Ｆ１３，... によって隙間なく埋め尽くされているため、位置方向指定部１７０によって指定された視点Ｑは、複数の単位領域図形のいずれかに包含されることになる。図１５には、単位領域図形Ｆ１２内に視点Ｑが指定された例が示されている。この場合、視点Ｑは、単位領域図形Ｆ１２内に包含される。
このように、複数の単位領域図形Ｆ１１，Ｆ１２，Ｆ１３，... を定義した実施形態の場合、特徴点情報格納部１６０には、１つの単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている特徴点の投影位置を示す特徴点投影位置情報と、これらの特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報と、が個々の単位領域図形ごとに格納される。
図１６は、個々の単位領域図形ごとに、それぞれ共通特徴点の定義が行われた実例を示す平面図であり、図１５に示す単位領域図形のうち、４つの単位領域図形Ｆ１１，Ｆ１２，Ｆ２１，Ｆ２２の部分のみが示されている。各頂点位置からの吹き出し内には、当該頂点を撮影地点とする撮影で得られた全方位画像上に現れている特徴点が記載されている。たとえば、頂点Ａからの吹き出し内には「ξ１，ξ２，ξ３」なる記載があるが、これは頂点Ａから撮影した全方位画像Ｐ（Ａ）上に特徴点ξ１，ξ２，ξ３が現れていることを示している。吹き出し内に記載されている特徴点は、個々の頂点ごとに異なっている。これは、撮影地点によっては、特定の特徴点が別な被写体の陰に隠れて観察できなくなる、という現象が生じるためである。
このように、全方位画像上に現れる特徴点は、個々の頂点ごとに異なるが、１つの単位領域図形については、固有の共通特徴点が定められ、当該固有の共通特徴点に基づいて固有のセルが定義される。たとえば、図示の例の場合、単位領域図形Ｆ１１については共通特徴点ξ１，ξ２，ξ３が定められ、単位領域図形Ｆ１２については共通特徴点ξ２，ξ３，ξ４が定められ、単位領域図形Ｆ２１については共通特徴点ξ２，ξ３，ξ６が定められ、単位領域図形Ｆ２２については共通特徴点ξ３，ξ４，ξ７が定められている（もちろん、実際には、より多数の共通特徴点が定義される。）。
単位領域図形Ｆ１１についての共通特徴点ξ１，ξ２，ξ３は、頂点Ａの全方位画像Ｐ（Ａ）上に現れている特徴点群「ξ１，ξ２，ξ３」、頂点Ｂの全方位画像Ｐ（Ｂ）上に現れている特徴点群「ξ１，ξ２，ξ３，ξ４」、頂点Ｅの全方位画像Ｐ（Ｅ）上に現れている特徴点群「ξ１，ξ２，ξ３，ξ６」、頂点Ｆの全方位画像Ｐ（Ｆ）上に現れている特徴点群「ξ１，ξ２，ξ３，ξ４，ξ６，ξ７」について共通する特徴点ということになる。単位領域図形Ｆ１１については、これら共通特徴点ξ１，ξ２，ξ３の各画像Ｐ（Ａ），Ｐ（Ｂ），Ｐ（Ｅ），Ｐ（Ｆ）上の投影位置を示す特徴点投影位置情報と、これらの特徴点を頂点とするセルを定義するセル定義情報と、が用意される。
同様に、単位領域図形Ｆ１２についての共通特徴点ξ２，ξ３，ξ４は、頂点Ｂの全方位画像Ｐ（Ｂ）上に現れている特徴点群「ξ１，ξ２，ξ３，ξ４」、頂点Ｃの全方位画像Ｐ（Ｃ）上に現れている特徴点群「ξ２，ξ３，ξ４，ξ５」、頂点Ｆの全方位画像Ｐ（Ｆ）上に現れている特徴点群「ξ１，ξ２，ξ３，ξ４，ξ６，ξ７」、頂点Ｇの全方位画像Ｐ（Ｇ）上に現れている特徴点群「ξ２，ξ３，ξ４，ξ７」について共通する特徴点ということになる。単位領域図形Ｆ１２については、これら共通特徴点ξ２，ξ３，ξ４の各画像Ｐ（Ｂ），Ｐ（Ｃ），Ｐ（Ｆ），Ｐ（Ｇ）上の投影位置を示す特徴点投影位置情報と、これらの特徴点を頂点とするセルを定義するセル定義情報と、が用意される。
単位領域図形Ｆ２１や単位領域図形Ｆ２２についても同様である。§７で述べる複数の単位領域図形を配列する実施形態の場合、特徴点情報格納部１６０には、図１６に例示するとおり、１つの単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている特徴点の投影位置を示す特徴点投影位置情報と、これらの特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報と、が個々の単位領域図形ごとに格納される。
もっとも、ここで「個々の単位領域図形ごとに格納される」という意味は、第ｋ番目の単位領域図形Ｆｋに着目した場合に、当該単位領域図形Ｆｋの頂点についての全方位画像上に共通して現れている特徴点の投影位置を示す情報と、これらの特徴点を頂点とするセルを定義するセル定義情報とが、特徴点情報格納部１６０内のどこかに格納されている、という意味であり、個々の単位領域図形ごとにそれぞれ専用格納区画を設け、第ｋ番目の単位領域図形Ｆｋについての特徴点投影位置情報およびセル定義情報を、第ｋ番目の専用格納区画に格納する、という意味ではない。
別言すれば、隣接して配置された単位領域図形は、互いに共通する頂点を有しているので、当該共通する頂点についての特徴点投影位置情報は、特徴点情報格納部１１０内の異なる格納区画に重複して格納しておく必要はない。たとえば、図１６に示す例において、頂点Ｆは、４つの単位領域図形Ｆ１１，Ｆ１２，Ｆ２１，Ｆ２２に共通する頂点であるが、この頂点Ｆについての特徴点群「ξ１，ξ２，ξ３，ξ４，ξ６，ξ７」の画像Ｐ（Ｆ）上の投影位置を示す特徴点投影位置情報は、特徴点情報格納部１１０内のどこか１箇所に格納しておけば足り、単位領域図形Ｆ１１についての特徴点投影位置情報、単位領域図形Ｆ１２についての特徴点投影位置情報、... というように、個々の単位領域図形ごとの情報として別個に格納する必要はない。
以上、この§７で説明する実施形態における全方位画像格納部１１０および特徴点情報格納部１６０についての留意点を述べた。続いて、この実施形態における特徴点投影位置推定部１２０および全方位画像生成部１３０についての留意点を述べる。
まず、特徴点投影位置推定部１２０は、複数の単位領域図形の中から、特定の単位領域図形を参照領域図形として選択し、この参照領域図形の頂点についての撮影地点位置情報およびこの参照領域図形についての特徴点投影位置情報に基づいて、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき特徴点の投影位置を推定する。
たとえば、図１５の例に示すように、単位領域図形Ｆ１２内に位置する視点Ｑが指定された場合に、視点Ｑを包含する単位領域図形Ｆ１２を参照領域図形として選択すれば、これまで述べてきた基本的実施形態と同様の方法で、特徴点の投影位置を推定することができる。すなわち、図１５に示す四角形ＢＣＦＧを、図２に示す四角形ＡＢＣＤとして取り扱えば、以降の処理は、これまで述べてきた基本的実施形態と全く同様である。
この場合、全方位画像生成部１３０が実行する処理も、これまで述べてきた基本的実施形態と全く同様である。すなわち、全方位画像生成部１３０は、参照領域図形Ｆ１２についてのセル定義情報に基づいて、推定された特徴点の投影位置を頂点とする新たなセルを生成し、参照領域図形Ｆ１２の頂点ＢＣＦＧにおける全方位画像上の対応するセル内の部分画像に基づいて、生成した新たなセル内に割り付けるべき新たな部分画像を生成することになる。
一方、特徴点投影位置推定部１２０は、視点Ｑを包含する単位領域図形ではなく、別な単位領域図形を参照領域図形として選択することも可能である。たとえば、図１５に示す例のように、単位領域図形Ｆ１２内に位置する視点Ｑが指定された場合、視点Ｑを包含する単位領域図形Ｆ１２ではなく、単位領域図形Ｆ２１やＦ２２など、別な単位領域図形を参照領域図形として選択してもかまわない。たとえば、単位領域図形Ｆ２１を参照領域図形として選択した場合は、図１５に示す四角形ＥＦＩＪを、図２に示す四角形ＡＢＣＤとして取り扱えばよい。
このような取り扱いは、図２に示す例において、視点Ｑが単位領域図形Ｆの外側に位置する場合と等価になる。§３の最後に述べたように、特徴点投影位置推定部１２０は、視点Ｑが単位領域図形Ｆの内部に位置する場合も、外部に位置する場合も、特徴点投影位置の推定を行うことができる。ここでは、単位領域図形Ｆの内部に位置する視点Ｑについて、特徴点投影位置の推定を行う方法を内挿法と呼び、単位領域図形Ｆの外部に位置する視点Ｑについて、特徴点投影位置の推定を行う方法を外挿法と呼んでいる。
§５では、図７を参照して、視点Ｑの位置で撮影された全方位画像Ｐ（Ｑ）上に現れるであろう特徴点の投影位置を、三角測量法によって求める方法を説明した。この三角測量法では、内挿法も外挿法も違いはない。すなわち、図７には、単位領域図形Ｆの２頂点Ａ，Ｂは示されているが、残りの２頂点Ｃ，Ｄは示されていない。これは、この図７に示す三角測量法を実施する上で、２頂点Ｃ，Ｄの位置は無関係であり、視点Ｑが単位領域図形Ｆの内側の点であっても、外側の点であっても、三角測量法の基本原理に違いはないことを示している。
このような基本原理に鑑みれば、図１５に示す例において、視点Ｑを含まない単位領域図形Ｆ２１を参照領域図形として選択し、たとえば、頂点Ｉおよび頂点Ｊを利用して、全方位画像Ｐ（Ｑ）上に現れるであろう特徴点の投影位置を推定することも可能である。この場合、頂点Ｉおよび頂点Ｊを、図２に示す頂点Ａおよび頂点Ｂとして取り扱えばよい。もちろん、全方位画像生成部１３０によって、全方位画像Ｐ（Ｑ）を生成する際にも、たとえば、参照領域図形Ｆ２１の頂点Ｊを模写対象頂点として選択し、全方位画像Ｐ（Ｊ）上で対応する対応セル内の部分画像を模写対象部分画像として抽出し、全方位画像Ｐ（Ｑ）を形成するための新たなセル内に割り付けることが可能である。
結局、原理上は、視点Ｑの位置にかかわらず、任意の単位領域図形を参照領域図形として選択することができる。しかしながら、実用上は、視点Ｑを包含する単位領域図形を参照領域図形として選択するようにするのが好ましい。
その第１の理由は、視点Ｑの位置が参照領域図形から離れれば離れるほど、特徴点投影位置推定部１２０によって推定される特徴点の投影位置に含まれる誤差が大きくなるためである。たとえば、図１５に示す例において、視点Ｑについての特徴点の投影位置を推定する際には、近くに位置する頂点Ｆ，Ｇについての特徴点の位置情報を利用した方が、遠くに位置する頂点Ｉ，Ｊについての特徴点の位置情報を利用する場合に比べて、より精度の高い結果が得られることは、容易に想像がつくであろう。
そして第２の理由は、視点Ｑの位置が参照領域図形から離れれば離れるほど、画像上の特徴点の分布が偏在するようになるためである。たとえば、図１５に示す例において、視点Ｑを包含する単位領域図形Ｆ１２を参照領域図形として選択した場合、位置の推定対象となる特徴点は、４つの頂点Ｂ，Ｃ，Ｆ，Ｇについての全方位画像上に共通して現れる特徴点ということになり、通常、視点Ｑの周囲全体に分布する点になる。これに対して、視点Ｑを包含しない単位領域図形Ｆ２１を参照領域図形として選択した場合、位置の推定対象となる特徴点は、４つの頂点Ｅ，Ｆ，Ｉ，Ｊについての全方位画像上に共通して現れる特徴点ということになり、視点Ｑから見ると、図における左下方向に分布する点が多くなることが予想される。
結局、視点Ｑに対して遠く離れた単位領域図形を参照領域図形に指定すると、特徴点投影位置推定部１２０によって推定される特徴点の位置が、準備画像ＰＰ（Ｑ）上で偏在することになる。このように、特徴点の分布に粗密が生じると、これら特徴点を頂点として定義される多数のセルに大小の差が生じることになる。これは、抽出される個々の部分画像の歪みの程度にバラツキが生じることを意味し、生成される全方位画像Ｐ（Ｑ）の画質を低下させる要因になる。
このように、視点Ｑから遠い単位領域図形を参照領域図形に指定すると、種々の問題が生じることになる。このような問題を避けるためには、視点Ｑに最も近い単位領域図形、すなわち、視点Ｑを包含する単位領域図形を参照領域図形として選択するのが好ましい。
なお、ここで述べる実施形態の場合、図１６の例に示すように、個々の単位領域図形ごとに、それぞれ別個の共通特徴点群が定義され、それぞれ別個のセル定義がなされるので、画像を分割するメッシュ構成も、個々の単位領域図形ごとに異なることになる。一方、視点Ｑを包含する単位領域図形を参照領域図形として選択する運用を採る場合、視点Ｑが単位領域図形の境界線を越えて移動すると、全方位画像Ｐ（Ｑ）を分割するメッシュ構成が切り替わることになる。しかしながら、全方位画像Ｐ（Ｑ）の内容自体は連続的に変化するため、視点Ｑが境界線を越えて移動した際に、ユーザに違和感を与えることはない。
以上、図１５に示すように、ＸＹ平面を縦横に分割して、多数の四角形からなる単位領域図形を構成した実施例を述べたが、単位領域図形は必ずしも四角形にする必要はない。
たとえば、図１７は、複数の単位領域図形を隣接して配置する実施形態の第１の変形例を示す平面図である。この変形例は、各単位領域図形Ｆ１〜Ｆ８を三角形によって構成した例である。やはり各三角形の頂点Ａ〜Ｉが撮影地点となり、個々の撮影地点で撮影された全方位画像Ｐ（Ａ）〜Ｐ（Ｉ）が用意されることになる。三角形は四角形と同様に、同一図形によって平面を埋め尽くすことが可能な形であるので、複数の図形を平面上に隣接して配置するのに適している。
もっとも、本発明を実施する上では、各単位領域図形は、必ずしも同一図形によって構成する必要はない。図１８は、複数の単位領域図形を隣接して配置する実施形態の第２の変形例を示す平面図である。図示の例では、３つの単位領域図形Ｆ１，Ｆ２，Ｆ３が隣接して配置されているが、個々の単位領域図形Ｆ１，Ｆ２，Ｆ３は、大きさも形状も異なっている。この変形例においても、各頂点Ａ〜Ｈが撮影地点となり、個々の撮影地点で撮影された全方位画像Ｐ（Ａ）〜Ｐ（Ｈ）が用意される点に変わりはない。
＜＜＜ §８． 単位領域図形の次元拡張 ＞＞＞
図１７および図１８には、単位領域図形Ｆのバリエーションとして、様々な形状の図形を例示した。これらの図形はいずれも二次元図形であり、これまで、ＸＹＺ三次元直交座標系上のＸＹ平面に配置する例を述べてきた。ここでは、このような単位領域図形Ｆの次元を拡張した変形例を述べる。
＜８−１．三次元図形への拡張＞
図１９は、単位領域図形を三次元図形によって構成した変形例を示す斜視図であり、直方体からなる単位領域図形Ｆ１０が示されている。この単位領域図形Ｆ１０は８個の頂点Ａ〜Ｈを有しており、これらの頂点がそれぞれ撮影地点となる。したがって、図示のように、単一の単位領域図形Ｆ１０を用いる実施例の場合、各頂点を撮影地点とする撮影によって得られた８枚の全方位画像Ｐ（Ａ）〜Ｐ（Ｈ）が用意されることになる。
このような三次元図形からなる単位領域図形Ｆ１０を定義すると、視点Ｑの移動の自由度も三次元に拡張することができる。図には、この単位領域図形Ｆ１０内の三次元の任意の位置に視点Ｑが示されている。視点Ｑは座標値（ｘｑ，ｙｑ，ｚｑ）で示される三次元空間上の任意の位置の点である。これまで述べた基本的実施形態は、二次元図形からなる単位領域図形Ｆを定義し、視点Ｑを二次元平面内で自由に移動させることにより、ユーザに仮想空間内のウォークスルーを体験させる装置であるが、ここで述べる変形例は、三次元図形からなる単位領域図形Ｆ１０を定義し、視点Ｑを三次元空間内で自由に移動させることにより、ユーザに仮想空間内のフライスルーを体験させる装置ということになる。
このようなフライスルーを体験させる装置の場合、各撮影地点で撮影する全方位画像には、水平面より上方の半球空間（これまで述べてきたように、仰角θ＝０〜＋９０°の空間）を仰ぎ見る視界だけでなく、水平面より下方の半球空間（仰角θ＝０〜−９０°の空間）を俯瞰する視界も含ませるようにするのが好ましい。この場合、たとえば、図の頂点Ｆの位置を撮影地点とする撮影によって得られる全方位画像Ｐ（Ｆ）は、図示のとおり、横座標軸が方位角φ＝０〜３６０°、縦座標軸が仰角θ＝−９０〜＋９０°の範囲をとる画像になる。
このように、垂直方向に角度１８０°のレンジ、水平方向に角度３６０°のレンジをもつ全方位画像を撮影するには、水平面より上方の半球空間を撮影する上方全方位カメラと、水平面より下方の半球空間を撮影する下方全方位カメラとを装着したドローンなどを飛行させ、所定の頂点位置の空間で撮影を行うようにすればよい。
このように、三次元図形からなる単位領域図形Ｆ１０を定義した場合でも、各構成要素の基本動作に変わりはない。撮影地点は三次元空間上に配置されることになるが、撮影される全方位画像は二次元画像であり、この画像上に特徴点やセルが定義される点も、これまで述べた基本的実施形態と同じである。
なお、実用上は、§７で述べた実施形態と同様に、三次元空間上に互いに隣接して配置されるように、三次元図形からなる単位領域図形を複数定義するのが好ましい。すなわち、個々の単位領域図形を、実空間上に定義されたＸＹＺ三次元直交座標系における三次元空間を分割することにより得られる三次元図形によって構成すればよい。
個々の単位領域図形として、図１９に示すような直方体状の三次元図形を利用するのであれば、ＸＹＺ三次元直交座標系からなる座標空間を、ＸＹ平面に平行なＺ軸方向分割平面、ＸＺ平面に平行なＹ軸方向分割平面、ＹＺ平面に平行なＸ軸方向分割平面、によってそれぞれ分割すればよい。そうすれば、分割によって、それぞれが直方体によって構成される三次元の単位領域図形が得られる。全方位画像格納部１１０は、この複数の直方体の各頂点を撮影地点として撮影された全方位画像を格納することになる。
上述したとおり、この全方位画像は、横座標軸が方位角φ＝０〜３６０°、縦座標軸が仰角θ＝−９０〜＋９０°の範囲をとる画像にするのが好ましい。もちろん、この場合、位置方向指定部１７０は、視点Ｑの位置として、座標値（ｘｑ，ｙｑ，ｚｑ）で示される三次元空間上の任意の位置を指定することができ、視線方向として、０〜３６０°の範囲内の任意の方位角φと、−９０〜＋９０°の範囲内の任意の仰角θを指定することができる。
＜８−２．時間軸を付加する拡張＞
続いて、単位領域図形に時間軸を追加した変形例を述べる。上述した§８−１では、単位領域図形を、三次元に拡張して立体図形により構成した例を述べたが、この三次元の単位領域図形に、更に時間軸の概念を追加すれば、四次元に拡張した取り扱いが可能になる。たとえば、三次元空間の座標軸Ｘ，Ｙ，Ｚに、第４の座標軸として時間軸ｔを加えれば、単位領域図形を四次元図形として把握することができる。
図２０は、このような時間軸ｔを考慮して単位領域図形を定義した変形例を示す斜視図である。図示の直方体は、いずれも図１９に示す三次元図形からなる単位領域図形Ｆ１０であるが、それぞれ空間上に存在する時刻が異なっている。すなわち、図の左に示す単位領域図形Ｆ１０（ｔ１）は、時刻６：１０に存在した単位領域図形であり、図の中央に示す単位領域図形Ｆ１０（ｔ２）は、時刻６：２０に存在した単位領域図形であり、図の右に示す単位領域図形Ｆ１０（ｔ３）は、時刻６：３０に存在した単位領域図形である。なお、図では四次元空間を描くことができないため、便宜上、第４の座標軸である時間軸ｔを水平方向にとっている。
この変形例の場合も、単位領域図形Ｆ１０を構成する直方体の各頂点を撮影地点として全方位画像が撮影されることになるが、図形上は同一の頂点であっても、時間軸上の位置が異なる複数の頂点が存在することになる。たとえば、図１９に示す頂点Ａについては、Ａ（ｔ１），Ａ（ｔ２），Ａ（ｔ３），... というように、異なる時刻（この例では１０分間隔）に存在する複数の頂点が定義され、これらの頂点のそれぞれが撮影地点となる。結局、ここに示す例の場合、空間的に同一地点を示す頂点Ａにおいて、１０分間隔で全方位画像が撮影されることになる。
全方位画像格納部１１０には、このように撮影時刻が異なる複数の画像を含めて、単位領域図形Ｆ１０の各頂点位置で撮影された全方位画像が格納される。もちろん、美術館などの室内において無人の状態で撮影を行ったような場合は、撮影時刻が異なってもほとんど同じ画像が撮影されることになるが、一般的な街路などで撮影を行えば、人や車の変化や日照状態の変化などにより、時々刻々と変わる全方位画像が得られることになる。
このように、時間軸を含めた四次元図形として単位領域図形を定義した場合、視点Ｑの指定も四次元で行われる。たとえば、図２０の下段には、座標値（ｘｑ，ｙｑ，ｚｑ，ｔｑ）をもつ視点Ｑが定義された状態が示されている。ここで、座標値（ｘｑ，ｙｑ，ｚｑ）は視点Ｑの空間上の位置を示しているが、座標値ｔｑは視点Ｑが存在した時間（図示の例の場合、時刻６：１７）を示している。
したがって、ここで述べる変形例の場合、位置方向指定部１７０は、視点Ｑの空間上の位置（ｘｑ，ｙｑ，ｚｑ）に加えて、時間軸上の位置ｔｑを指定する機能を有している。時間の指定は、たとえば、フライスルーの体験を提示する場合には、リアルタイムでの時間経過をそのまま反映して、座標値ｔｑを実時間の経過に応じて自動的に変化させてゆくようにすればよい。また、ユーザの指示に基づいて、座標値ｔｑを任意の値に変更できるようにすれば、タイムマシンで瞬時に過去や未来へと移動するような体験も提示できる。
このように、時間軸を含めた四次元図形からなる単位領域図形を定義した場合でも、各構成要素の基本動作に変わりはない。概念的には、§８−１で述べた三次元図形からなる単位領域図形Ｆ１０を四次元図形に拡張した処理を行うだけである。具体的には、特徴点情報格納部１６０に格納する撮影地点位置情報や特徴点投影位置情報は、時間軸上の位置を含めた四次元の位置情報にすればよい。この場合、特徴点としては、同じ単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている被写体上の特徴点が選択されることになるが、個々の単位領域図形は、時間軸を含めた四次元図形であるから、同一時刻に撮影された全方位画像上に共通して現れている特徴点が選択され、当該特徴点に基づいてセルの定義がなされる。したがって、画像を分割するためのセル構成は、時間ごとに異なったものになる。
また、特徴点投影位置推定部１２０は、空間上の三次元位置に加えて、時間軸上の位置も考慮して、視点Ｑ（ｘｑ，ｙｑ，ｚｑ，ｔｑ）の位置で撮影した場合に得られるであろう全方位画像Ｐ（Ｑ）上の特徴点の位置を推定することになる。§５では、このような推定を行うための三角測量法の一例を図７を参照しながら説明した。この図７に示す手法は、三次元空間上において、頂点Ａ，Ｂについての全方位画像Ｐ（Ａ），Ｐ（Ｂ）に基づいて、視点Ｑについての全方位画像Ｐ（Ｑ）上に現れるであろう特徴点ξｉの投影位置を推定するものであるが、これに時間軸を加え、点Ａ，Ｂ，Ｑを四次元空間上の点として扱う処理を行えばよい。全方位画像生成部１３０による処理も同様である。
なお、図２０には、同一時刻には単一の単位領域図形Ｆ１０のみが存在する例を示したが、もちろん、同一時刻において、互いに隣接して配置されるように定義された複数の単位領域図形を定義してもかまわない。
以上、Ｘ，Ｙ，Ｚ，ｔの４座標軸をもつ四次元空間上の図形として単位領域図形を定義する変形例を述べたが、もちろん、Ｘ，Ｙ，ｔの３座標軸をもつ三次元空間（通常の三次元空間ではなく、二次元空間＋時間の概念をもつ空間）上の図形として単位領域図形を定義することも可能である。この場合は、§３〜§７で述べたように、単位領域図形として二次元図形を定義する実施形態に、時間軸ｔを加えた取り扱いを行うことになる。
結局、この§８−２で述べる時間軸を付加する拡張を適用した変形例では、個々の単位領域図形を、実空間上に定義されたＸＹＺ三次元直交座標系に配置された二次元図形もしくは三次元図形によって構成し、更に、時間軸ｔを考慮することにより、同一の空間位置に時間の異なる複数通りの単位領域図形を定義すればよい。その結果、全方位画像格納部１１０には、時間の異なる複数通りの単位領域図形の頂点を撮影地点として、特定の撮影地点において、特定の時間に撮影された全方位画像が格納されることになる。
また、位置方向指定部１７０には、任意の視点Ｑと当該視点Ｑを基準とした任意の視線方向Ｅに加えて、更に、任意の観測時間ｔｑを指定する機能が付加される。そして、特徴点投影位置推定部１２０は、当該指定された観測時間ｔｑに、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき特徴点の投影位置を推定する処理を行い、全方位画像生成部１３０は、当該観測時間ｔｑかつ視点Ｑにおける全方位画像Ｐ（Ｑ）を生成する処理を行うことになる。
＜＜＜ §９． 特徴点投影位置の推定（線形補間法） ＞＞＞
§５では、特徴点投影位置推定部１２０によって特徴点の投影位置を推定する方法として、図７を参照しながら三角測量法を適用する例を述べた。この三角測量法を適用する方法は、幾何学的な論理に則った方法であり、理論的には正確な推定結果が得られる。しかしながら、この三角測量法に基づく演算を実行するには、多大な演算負荷がかかることになる。たとえば、図７に示す図において、参照ベクトルＶｉａ，Ｖｉｂを求めるためには、方位角φｉａ，φｉｂおよび仰角θｉａ，θｉｂを用いた三角関数演算が必要になる。同様に、指示ベクトルＶｉｑについての方位角φｉｑおよび仰角θｉｑを求める際にも三角関数演算が必要になる。また、図８や図９に示す第ｉ番目の特徴点ξｉの三次元位置を決定する際にも複雑な幾何学演算が必要になる。
一般に、コンピュータは幾何学演算が苦手であり、上述したような幾何学演算を実行させると多大な演算負荷がかかることになる。このため、演算能力の低いコンピュータでは、リアルタイムでの処理が間に合わなくなる可能性もでてくる。本発明に係る自由視点映像表示装置の主要な用途は、ユーザに対して、仮想空間上を移動させる疑似体験を提供することにある。このような用途では、ユーザが位置方向指定部１７０に対して何らかの指示操作を与えたときに、その結果がディスプレイ画面上に即座に反映されるようにするのが好ましい。特徴点投影位置推定部１２０による推定演算に多大な時間がかかると、画面上での結果表示に遅延が生じ、好ましくない。
そこで、ここでは、§５で述べた三角測量法に代えて利用することができる線形補間法について説明する。この線形補間法の目的は、§５で述べた三角測量法の目的と同様に、視点Ｑを撮影地点として撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）上に現れる特徴点の投影位置を推定することである。具体的には、全方位画像格納部１１０に格納されている撮影地点位置情報（図３のブロック１１０の右側に示された情報）と、特徴点情報格納部１６０に格納されている特徴点投影位置情報１６１（図５の表に示された情報）に基づいて、特徴点の投影位置の推定が行われることになる。
図６に示す例の場合、図６(a) に示す全方位画像Ｐ（Ａ）上に現れている特徴点ξｉａの座標値（φｉａ，θｉａ）と、図６(b) に示す全方位画像Ｐ（Ｂ）上に現れている特徴点ξｉａの座標値（φｉｂ，θｉｂ）とが、特徴点投影位置情報１６１に相当する。また、撮影地点Ａ，Ｂの撮影地点位置情報は、Ａ（ｘａ，ｙａ，０）およびＢ（ｘｂ，ｙｂ，０）なる座標値として与えられることになり、視点Ｑの位置情報は、Ｑ（ｘｑ，ｙｑ，０）なる座標値として与えられることになる。図６に示す例の場合、これらの情報に基づいて、図６(c) に示す準備画像ＰＰ（Ｑ）上に現れる特徴点ξｉｑの座標値（φｉｑ，θｉｑ）を求める必要がある。
結局、特徴点投影位置推定部１２０は、３点Ａ，Ｂ，Ｑの座標値Ａ（ｘａ，ｙａ，０），Ｂ（ｘｂ，ｙｂ，０），Ｑ（ｘｑ，ｙｑ，０）と、特徴点ξｉａの座標値（φｉａ，θｉａ）と、特徴点ξｉｂの座標値（φｉｂ，θｉｂ）と、に基づいて、視点Ｑ上に現れると推定される特徴点ξｉｑの座標値（φｉｑ，θｉｑ）を求める処理を行う必要がある。三角測量法を利用すれば、このような処理が可能になることは、既に§５で述べたとおりである。ここでは、より演算負担の軽い線形補間法によって同様の処理を行う方法を述べる。
ここでは、説明の便宜上、まず、図２１(a) に示すように、２点ＡＢを結ぶ線分上に視点Ｑが存在する単純な例を考えてみる。点Ａについては全方位画像Ｐ（Ａ）が撮影されており、その上に特徴点ξａ（被写体上の特徴点ξの画像Ｐ（Ａ）上の投影点）が定義されている。同様に、点Ｂについては全方位画像Ｐ（Ｂ）が撮影されており、その上に特徴点ξｂ（被写体上の特徴点ξの画像Ｐ（Ｂ）上の投影点）が定義されている。ここで行う処理の目的は、このような前提において、視点Ｑの位置で撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）上に現れる特徴点ξｑ（被写体上の特徴点ξの画像Ｐ（Ｑ）上の投影点）の位置を推定することにある。
ここで、特徴点ξａの位置は座標値（φａ，θａ）として与えられており、特徴点ξｂの位置は座標値（φｂ，θｂ）として与えられている。また、３点Ａ，Ｂ，Ｑの座標値も、それぞれ座標値Ａ（ｘａ，ｙａ，０），Ｂ（ｘｂ，ｙｂ，０），Ｑ（ｘｑ，ｙｑ，０）として与えられている。したがって、２点ＡＱ間の距離および２点ＱＢ間の距離は簡単な演算で算出できる。そこで、２点ＡＢ間の距離を１として、２点ＡＱ間の距離αと２点ＱＢ間の距離（１−α）を求める。点Ａおよび点Ｂは、四角形からなる単位領域図形Ｆの頂点であるので、２点ＡＢ間は、この単位領域図形Ｆの範囲に一致する。
ここで述べる線形補間法では、上述した既知の値を利用して、図２１(b) に示す演算式に基づく演算が行われ、特徴点ξｑの座標値（φｑ，θｑ）が算出される。すなわち、
φｑ＝（１−α）・φａ＋α・φｂ
θｑ＝（１−α）・θａ＋α・θｂ
なる演算が実行される。なお、方位角φに関しては、φ＝３６０°とφ＝０°とを等価とする取り扱いを行うようにする。この式は、一般にバイリニア補間法という線形補間法に利用される式であり、ここで述べる線形補間法は、正に、このバイリニア補間法を利用した方法ということができる。
もっとも、本発明において、特徴点投影位置推定部１２０による推定処理にバイリニア補間法を適用することは、理論的には正しい方法ではない。バイリニア補間法は、本来、線形関係が前提となる系に適用されるべき補間法であり、非線形関係が前提となる系には適用すべきでない。そもそも、図２１(a) に示す系は、線形関係が前提となる系ではない。すなわち、値φａ，φｑ，φｂは、２点ＡＢを結ぶ直線上に定義された座標に関して線形変化をする量ではなく、値θａ，θｑ，θｂも、２点ＡＢを結ぶ直線上に定義された座標に関して線形変化をする量ではない。これは、そもそも角度φ，θの値と、その三角関数値sin φ，sin θなどの値との間に、線形関係がないためである。
したがって、一般当業者の常識からすると、図２１(a) に示す系は、バイリニア補間法の適用対象となる系ではなく、この系に、バイリニア補間法を適用するという着想を得るにあたっては、大きな阻害要因が存在する。ただ、本願発明者が、このような阻害要因の存在にもかかわらず、敢えてバイリニア補間法を適用してみたところ、正確ではないにせよ、実用上は、大きな支障が生じない程度の結果が得られることが判明した。本願発明者は、その理由として、本発明に係る自由視点映像表示装置では、そもそも撮影によって得られる全方位画像自体が歪みをもった画像であるため、バイリニア補間法を適用することにより、更に歪み成分が加わったとしても、全体的には大きな悪影響が生じないという事情があるのではないかと考えている。
図２１(a) は、線分ＡＢの内部に視点Ｑが定義されており、いわゆる「内挿法」と呼ばれる形式で線形補間が行われているが、線分ＡＢの外部に視点Ｑが定義されている場合は、いわゆる「外挿法」と呼ばれる形式で線形補間を行うことができる。図２２は、図２１に示す線形補間法における内挿法と外挿法との違いを示す図である。
図２２(a) の内挿法は、図２１(a) に示した方法であり、線分ＡＢの内部に視点Ｑが定義されている。上述したとおり、２点ＡＢ間は、単位領域図形Ｆの範囲に一致するので、この内挿法は、視点Ｑが単位領域図形Ｆの内部に位置する場合に適用される方法ということになる。この場合、図示のとおり、線分ＡＢの長さを１として、２点ＡＱ間の距離がα、２点ＱＢ間の距離が（１−α）となるように、パラメータαの値が定められる。
これに対して、図２２(b) の外挿法は、線分ＡＢの外部に視点Ｑが定義されている場合、すなわち、視点Ｑが単位領域図形Ｆの外部に位置する場合に適用される方法ということになる。この場合、図示のとおり、線分ＡＢの長さを１として、２点ＡＱ間の距離がα、２点ＢＱ間の距離が（α−１）となるように、パラメータαの値が定められる。
このように、図示すると、図２２(a) ，(b) のように、内挿法と外挿法との間に若干の相違が見られるが、２点ＡＢを通る直線を座標軸と考え、この座標軸に沿って左から右へ向かう方向を正、逆に右から左へ向かう方向を負、として、２点間の距離に符合を付して考えることにすれば、点Ａから点Ｑへ向かう距離をα、点Ｑから点Ｂへ向かう距離を（１−α）と定義する取り扱いをすれば、内挿法の場合も外挿法の場合も、パラメータαの定義に相違はない。したがって、内挿法の場合も外挿法の場合も、図２１(b) に示す式に基づいて、特徴点ξｑの座標値（φｑ，θｑ）を算出することができる。
以上、図２１(a) に示すように、２点ＡＢを結ぶ線分上に視点Ｑが存在する単純な例について説明したが、実際には、視点Ｑは任意の位置に指定されることになる。その場合は、上述した一次元に関するバイリニア補間法を二次元に拡張すればよい。図２３は、単位領域図形Ｆが四角形である場合に、図２２に示す線形補間法（内挿法）を適用した具体例を示す平面図である。
図２３において、４つの頂点Ａ，Ｂ，Ｃ，Ｄは、１つの単位領域図形Ｆを構成する四角形の頂点である。前述のとおり、この単位領域図形Ｆは、ＸＹＺ三次元直交座標系上のＸＹ平面に定義される。ここでは、図示の方向にＸ軸およびＹ軸が定義されているものとする。すなわち、四角形ＡＢＣＤの上辺および下辺はＸ軸平行な線分になり、左辺および右辺はＹ軸に平行な線分になる。
ここで、点Ａについては全方位画像Ｐ（Ａ）、点Ｂについては全方位画像Ｐ（Ｂ）、点Ｃについては全方位画像Ｐ（Ｃ）、点Ｄについては全方位画像Ｐ（Ｄ）がそれぞれ撮影されている。また、各全方位画像Ｐ（Ａ）〜Ｐ（Ｄ）の上には、それぞれ特徴点ξａ〜ξｄ（被写体上の特徴点ξの各画像Ｐ（Ａ）〜Ｐ（Ｄ）上の投影点）が定義されている。ここでは、図示のとおり、単位領域図形Ｆ内の任意の位置に視点Ｑが与えられたときに、この視点Ｑの位置で撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）上に現れる特徴点ξｑ（被写体上の特徴点ξの画像Ｐ（Ｑ）上の投影点）の位置を推定する手順を考えてみよう。
まず、図示のように、視点Ｑを通りＹ軸に平行な垂直補助線Ｌｙを引き、上辺ＡＢとの交点位置に中間点ｍ１を定義し、下辺ＣＤとの交点位置に中間点ｍ２を定義する。同様に、視点Ｑを通りＸ軸に平行な垂直補助線Ｌｘを引き、左辺ＡＣとの交点位置に中間点ｍ３を定義し、右辺ＢＤとの交点位置に中間点ｍ４を定義する。ここでも、２点ＡＢ間の距離を１とすれば、中間点ｍ１は上辺ＡＢをα：１−αの比率で按分する点になり、中間点ｍ２は下辺ＣＤをα：１−αの比率で按分する点になる。同様に、２点ＡＣ間の距離を１とすれば、中間点ｍ３は左辺ＡＣをβ：１−βの比率で按分する点になり、中間点ｍ４は右辺ＢＤをβ：１−βの比率で按分する点になる。
このような前提をおくと、中間点ｍ１上の準備画像ＰＰ（ｍ１）上に現れる特徴点ξの投影位置は、図２１に示すバイリニア補間法による演算によって求めることができる（図２１(a) の視点Ｑを中間点ｍ１に置き換えればよい）。同様に、中間点ｍ２上の準備画像ＰＰ（ｍ２）上に現れる特徴点ξの投影位置も、図２１に示すバイリニア補間法による演算によって求めることができる（図２１(a) の点Ａ，Ｑ，Ｂを、それぞれ点Ｃ，ｍ２，Ｄに置き換えればよい）。
もちろん、中間点ｍ１，ｍ２について、全方位画像Ｐ（ｍ１），Ｐ（ｍ２）を生成することも可能であるが、実際に必要なのは、視点Ｑについての全方位画像Ｐ（Ｑ）であるので、中間点ｍ１，ｍ２については、特徴点ξが投影された準備画像ＰＰ（ｍ１），ＰＰ（ｍ２）を得れば十分である。
こうして、中間点ｍ１における準備画像ＰＰ（ｍ１）および中間点ｍ２における準備画像ＰＰ（ｍ２）が得られれば、視点Ｑ上の全方位画像Ｐ（Ｑ）上に現れる特徴点ξの投影位置を、図２１に示すバイリニア補間法による演算によって求めることができる（図２１(a) の点Ａ，Ｑ，Ｂを、それぞれ点ｍ１，Ｑ，ｍ２に置き換え、αをβに置き換えればよい）。視点Ｑについての特徴点ξの投影位置を示す画像は、準備画像ＰＰ（Ｑ）ということになる。全方位画像生成部１３０が、この準備画像ＰＰ（Ｑ）に基づいて全方位画像Ｐ（Ｑ）を生成する処理を行うことは、既に述べたとおりである。
このように線形補間法を用いれば、特徴点投影位置推定部１２０は、図２１(b) に示すような単純な線形補間演算を行うだけで、全方位画像Ｐ（Ｑ）上に現れる特徴点ξの投影位置（φｑ，θｑ）を算出することができる。
上述した線形補間法は、単位領域図形Ｆが三角形である場合にも適用可能である。図２４は、単位領域図形Ｆが三角形である場合に、図２２に示す線形補間法（内挿法）を適用した具体例を示す平面図である。
図２４において、３つの頂点Ａ，Ｂ，Ｃは、１つの単位領域図形Ｆを構成する三角形の頂点である。ここで、点Ａについては全方位画像Ｐ（Ａ）、点Ｂについては全方位画像Ｐ（Ｂ）、点Ｃについては全方位画像Ｐ（Ｃ）がそれぞれ撮影されている。また、各全方位画像Ｐ（Ａ）〜Ｐ（Ｃ）の上には、それぞれ特徴点ξａ〜ξｃ（被写体上の特徴点ξの各画像Ｐ（Ａ）〜Ｐ（Ｃ）上の投影点）が定義されている。ここでは、図示のとおり、単位領域図形Ｆ内の任意の位置に視点Ｑが与えられたときに、この視点Ｑの位置で撮影を行った場合に得られるであろう全方位画像Ｐ（Ｑ）上に現れる特徴点ξｑ（被写体上の特徴点ξの画像Ｐ（Ｑ）上の投影点）の位置を推定する手順を考えてみよう。
まず、図示のように、２点ＡＱを通る直線と底辺ＢＣとの交点位置に中間点ｍを定義する。そうすると、底辺ＢＣの長さを１とすれば、中間点ｍは底辺ＢＣをα：１−αの比率で按分する点になる。また、２点Ａ，ｍ間を結ぶ線分を補助線Ｌとし、その長さを１とすれば、視点Ｑは補助線Ｌをβ：１−βの比率で按分する点になる。
このような前提をおくと、中間点ｍ上の準備画像ＰＰ（ｍ）上に現れる特徴点ξの投影位置は、図２１に示すバイリニア補間法による演算によって求めることができる（図２１(a) の点Ａ，Ｑ，Ｂを、それぞれ点Ｂ，ｍ，Ｃに置き換えればよい）。ここでも、中間点ｍについて、全方位画像Ｐ（ｍ）を生成することも可能であるが、実際に必要なのは、視点Ｑについての全方位画像Ｐ（Ｑ）であるので、中間点ｍについては、特徴点ξが投影された準備画像ＰＰ（ｍ）を得れば十分である。
こうして、中間点ｍにおける準備画像ＰＰ（ｍ）が得られれば、視点Ｑ上の全方位画像Ｐ（Ｑ）上に現れる特徴点ξの投影位置も、図２１に示すバイリニア補間法による演算によって求めることができる（図２１(a) の点Ａ，Ｑ，Ｂを、それぞれ点Ａ，Ｑ，ｍに置き換え、αをβに置き換えればよい）。視点Ｑについての特徴点ξの投影位置を示す画像は、準備画像ＰＰ（Ｑ）ということになる。全方位画像生成部１３０が、この準備画像ＰＰ（Ｑ）に基づいて全方位画像Ｐ（Ｑ）を生成する処理を行うことは、既に述べたとおりである。
このように線形補間法は、単位領域図形Ｆが三角形である場合にも適用可能であり、特徴点投影位置推定部１２０は、図２１(b) に示すような単純な線形補間演算を行うだけで、全方位画像Ｐ（Ｑ）上に現れる特徴点ξの投影位置（φｑ，θｑ）を算出することができる。
以上、図２３および図２４を用いて、単位領域図形Ｆが四角形および三角形である場合に線形補間法を適用した例を説明したが、この線形補間法は、任意の形状をもつ単位領域図形Ｆに適用することが可能である。たとえば、五角形からなる単位領域図形Ｆに適用する場合は、当該五角形を複数の三角形に分割して、図２４に示す線形補間法を適用すればよい。もちろん、図１９に示す例のように、単位領域図形Ｆが三次元図形である場合にも線形補間法を適用することが可能である。この場合は、バイリニア補間法の代わりにトリリニア補間法を用いた線形補間を行えばよい。
また、図２３および図２４は、視点Ｑが単位領域図形Ｆの内部にある例であるため、バイリニア補間法を行う際に、図２２(a) に示す内挿法が適用されることになるが、視点Ｑが単位領域図形Ｆの外部にある場合には、図２２(b) に示す外挿法を適用すればよい。前述したとおり、内挿法も外挿法も、実質的な演算処理に変わりはない。図１５に例示するように、複数の単位領域図形を配置する実施形態の場合、視点Ｑを包含する単位領域図形を参照領域図形として選択した場合は内挿法が適用され、視点Ｑを包含しない単位領域図形を参照領域図形として選択した場合は外挿法が適用されることになるが、いずれの場合も、この§９で述べる線形補間法を用いた簡易演算が可能である。
結局、この§９で述べる線形補間法を適用する場合、特徴点投影位置推定部１２０は、参照領域図形（単位領域図形）の頂点の中からｎ組（ｎ≧３）の頂点を参照頂点として選択し、各参照頂点を撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を用いた補間演算により、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値を算出する処理を行えばよい。図２３に示す四角形に適用した例はｎ＝４に設定し、４頂点Ａ，Ｂ，Ｃ，Ｄを参照頂点として選択した例であり、図２４に示す三角形に適用した例はｎ＝３に設定し、３頂点Ａ，Ｂ，Ｃを参照頂点として選択した例である。
既に述べた基本的実施形態の場合、全方位画像格納部１１０には、撮像面Ｓ上の方位を示す方位角φを横座標軸にとり、撮像面Ｓに対する仰角θを縦座標軸にとった全方位画像が格納されている。
この場合、特徴点投影位置推定部１２０は、第ｊ番目の参照頂点を撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｊ，θｉｊ）を抽出する処理を、ｊ＝１〜ｎのそれぞれについて行うことにより第１の座標値（φｉ１，θｉ１）〜第ｎの座標値（φｉｎ，θｉｎ）からなるｎ組の座標値を抽出することになる。そして、ｎ組の参照頂点の位置と視点Ｑの位置との関係に基づいて、参照領域図形に対する視点Ｑの相対位置を示すパラメータα，βを求め、抽出したｎ組の座標値とパラメータα，βとを用いた補間演算により、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値を算出すればよい。
図１５に示す例のように、個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系におけるＸＹ平面を、Ｘ軸に平行なＸ軸方向分割直線およびＹ軸に平行なＹ軸方向分割直線によって縦横に分割することにより得られる、Ｘ軸方向分割直線とＹ軸方向分割直線との交点を頂点とする四角形によって構成されている場合は、全方位画像格納部１１０には、これら個々の交点を撮影地点として撮影された全方位画像が格納されていることになる。
この場合、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｑ，θｉｑ）を、線形補間法によって算出する具体的な処理手順は、次のようになる。
まず、図２３に示すように、参照領域図形を構成する四角形の左上頂点をＡ，右上頂点をＢ，左下頂点をＣ，右下頂点をＤとし、視点をＱとし、上辺ＡＢおよび下辺ＣＤがＸ軸に平行、左辺ＡＣおよび右辺ＢＤがＹ軸に平行となるようにＸＹ座標系を定義する。そして、特徴点投影位置推定部１２０は、頂点Ａ，Ｂ，Ｃ，Ｄを参照頂点として選択し、次のような処理を行えばよい。
はじめに、点Ｑを通りＹ軸に平行な垂直補助線Ｌｙと上辺ＡＢとの交点を中間点ｍ１、この垂直補助線Ｌｙと下辺ＣＤとの交点を中間点ｍ２とする。また、点Ｑを通りＸ軸に平行な水平補助線Ｌｘと左辺ＡＣとの交点を中間点ｍ３、この水平補助線Ｌｘと右辺ＢＤとの交点を中間点ｍ４とする。そして、上辺ＡＢもしくは下辺ＣＤを中間点ｍ１もしくは中間点ｍ２が分割する按分割合をα：１−αとし、左辺ＡＣもしくは右辺ＢＤを中間点ｍ３もしくは中間点ｍ４が分割する按分割合をβ：１−βとして、パラメータα，βを定める。
続いて、参照頂点Ａを撮影地点とする全方位画像Ｐ（Ａ）上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉａ，θｉａ）とし、参照頂点Ｂを撮影地点とする全方位画像Ｐ（Ｂ）上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｂ，θｉｂ）とし、参照頂点Ｃを撮影地点とする全方位画像Ｐ（Ｃ）上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｃ，θｉｃ）とし、参照頂点Ｄを撮影地点とする全方位画像Ｐ（Ｄ）上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｄ，θｉｄ）とする。
上記前提において、特徴点投影位置推定部１２０は、中間点ｍ１における全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｍ１，θｉｍ１）を、
φｉｍ１＝（１−α）・φｉａ＋α・φｉｂ
θｉｍ１＝（１−α）・θｉａ＋α・θｉｂ
なる演算で求め、
中間点ｍ２における全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｍ２，θｉｍ２）を、
φｉｍ２＝（１−α）・φｉｃ＋α・φｉｄ
θｉｍ２＝（１−α）・θｉｃ＋α・θｉｄ
なる演算で求め、
視点を示す点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｑ，θｉｑ）を、
φｉｑ＝（１−β）・φｉｍ１＋β・φｉｍ２
θｉｑ＝（１−β）・θｉｍ１＋β・θｉｍ２
なる演算で求めればよい。
一方、個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系におけるＸＹ平面を、隙間なく分割することにより得られる三角形によって構成されている場合は、全方位画像格納部１１０には、これら三角形の各頂点を撮影地点として撮影された全方位画像が格納されていることになる。
この場合、視点Ｑにおける全方位画像Ｐ（Ｑ）上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｑ，θｉｑ）を、線形補間法によって算出する具体的な処理手順は、次のようになる。
まず、図２４に示すように、参照領域図形を構成する三角形の各頂点をＡ，Ｂ，Ｃとし、視点を点Ｑとしたときに、特徴点投影位置推定部１２０は、頂点Ａ，Ｂ，Ｃを参照頂点として選択し、次のような処理を行えばよい。
はじめに、点Ａ，Ｑを通る直線と底辺ＢＣとの交点を中間点ｍとし、底辺ＢＣを中間点ｍが分割する按分割合をα：１−αとし、点Ａ，ｍを結ぶ補助線Ｌを点Ｑが分割する按分割合をβ：１−βとして、パラメータα，βを定める。
続いて、参照頂点Ａを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉａ，θｉａ）とし、参照頂点Ｂを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｂ，θｉｂ）とし、参照頂点Ｃを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｃ，θｉｃ）とする。
上記前提において、特徴点投影位置推定部１２０は、中間点ｍにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｍ，θｉｍ）を、
φｉｍ＝（１−α）・φｉｂ＋α・φｉｃ
θｉｍ＝（１−α）・θｉｂ＋α・θｉｃ
なる演算で求め、
視点を示す点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｑ，θｉｑ）を、
φｉｑ＝（１−β）・φｉａ＋β・φｉｍ
θｉｑ＝（１−β）・θｉａ＋β・θｉｍ
なる演算で求めればよい。
＜＜＜ §１０． 方法発明としての把握 ＞＞＞
最後に、本発明を、任意位置の視点Ｑから見た任意方向Ｅの視界を表示する自由視点映像表示方法という方法発明として捉えた場合の処理手順を、図２５の流れ図を参照しながら述べる。図示のとおり、この方法は必要なデータを準備する準備プロセス（ステップＳ１〜Ｓ４）と、準備したデータを用いてコンピュータが映像表示を行う表示プロセス（Ｓ５〜Ｓ１０）と、を有している。
まず、準備プロセスの最初のステップである撮影地点定義段階Ｓ１は、実空間上に単位領域図形を定義し、この単位領域図形の頂点位置に撮影地点を定義し、各撮影地点の位置を示す撮影地点位置情報を設定する段階である。続く全方位画像撮影段階Ｓ２は、実空間上の各撮影地点に全方位カメラを配置して被写体を撮像面に投影して撮影し、個々の撮影地点のそれぞれについて、当該撮影地点の位置を示す撮影地点位置情報に対応づけた全方位画像を用意する段階である。そして、特徴点設定段階Ｓ３は、単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている被写体上の特徴点を定め、各特徴点について全方位画像上での投影位置を示す特徴点投影位置情報を求める段階である。最後のセル定義段階Ｓ４は、全方位画像が複数のセルの投影像によってメッシュ状に分割されるように、特徴点を頂点とする図形からなる複数のセルを定義する段階である。
以上の準備プロセスに属する各段階Ｓ１〜Ｓ４は、人間が手作業によって行うこともできるし、コンピュータによる自動処理によって行うこともできる。もちろん、コンピュータによる自動処理の結果に対して、人間が手作業による補正を施すことによって行うこともできる。この準備プロセスが完了したら、得られた各データをコンピュータに格納することにより、以下の表示プロセスを実施する準備が完了する。
表示プロセスは、コンピュータがユーザに対して、任意位置の視点から見た任意方向の視界を提示するプロセスであり、ユーザは、必要に応じてコンピュータに対して所望の指示を与える操作を行うことになる。
表示プロセスの最初のステップである位置方向指定段階Ｓ５は、コンピュータが、実空間に対応する仮想空間上で、任意の視点と当該視点を基準とした任意の視線方向を指定する段階である。当該指定は、ユーザからの操作入力に基づいて行うこともできるし、予め定められた所定のアルゴリズムに基づいて自動的に行うこともできる。続く特徴点投影位置推定段階Ｓ６は、コンピュータが、準備プロセスで用意された撮影地点位置情報および特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定する段階である。
次の全方位画像生成段階Ｓ７は、コンピュータが、準備プロセスで用意されたセル定義情報に基づいて、特徴点投影位置推定段階Ｓ６で推定された特徴点の投影位置を頂点とする新たなセルを生成し、準備プロセスで用意された全方位画像上の対応するセル内の部分画像に基づいて、生成した新たなセル内に割り付けるべき新たな部分画像を生成する処理を、生成した各セルについて実行することにより、視点における全方位画像を生成する段階である。
そして、画像切出段階Ｓ８は、コンピュータが、位置方向指定段階Ｓ５で指定された視線方向に基づいて、全方位画像生成段階Ｓ７で生成した、視点における全方位画像から、その一部分を切り出す段階であり、画像表示段階Ｓ９は、コンピュータが、画像切出段階Ｓ８によって切り出された画像を表示して、ユーザに提示する段階である。
図示のとおり、最後のステップＳ１０では、ここで処理を終了するか否かが判定され、終了しない場合は、再びステップＳ５へ戻り、新たに指定された視点および視線方向に基づいて、同様の処理が繰り返されることになる。
なお、§７で述べた実施形態のように、複数の単位領域図形を用いる場合は、準備プロセスにおける撮影地点定義段階Ｓ１で、互いに隣接して配置された複数の単位領域図形を定義し、全方位画像撮影段階Ｓ２で、各単位領域図形の頂点を撮影地点とする撮影を行うことにより、個々の頂点のそれぞれについての全方位画像を用意し、特徴点設定段階Ｓ３で、個々の単位領域図形ごとに、当該単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている特徴点を定め、セル定義段階Ｓ４で、個々の単位領域図形ごとに、各特徴点を頂点とする図形からなる複数のセルを定義すればよい。
また、表示プロセスにおける位置方向指定段階Ｓ５で、複数の単位領域図形のいずれかに包含される視点を指定し、特徴点投影位置推定段階Ｓ６で、特定の単位領域図形を参照領域図形として選択し、この参照領域図形の頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定し、全方位画像生成段階Ｓ７で、参照領域図形についてのセル定義情報に基づいて、推定された特徴点の投影位置を頂点とする新たなセルを生成し、参照領域図形の頂点における全方位画像上の対応するセル内の部分画像に基づいて、新たなセル内に割り付けるべき新たな部分画像を生成すればよい。
１０：被写体上の対象点
１１：対象点の撮像面上の投影位置（投影点）
１００：自由視点映像表示装置
１１０：全方位画像格納部
１２０：特徴点投影位置推定部
１３０：全方位画像生成部
１４０：画像切出部
１５０：画像表示部
１６０：特徴点情報格納部
１６１：特徴点投影位置情報
１６２：セル定義情報
１７０：位置方向指定部
Ａ〜Ｌ：単位領域図形の頂点（撮影地点）
ａ〜ｄ：按分割合を示すパラメータ
Ａ（ｘａ，ｙａ，０）：撮影地点Ａ／その位置情報
Ｂ（ｘｂ，ｙｂ，０）：撮影地点Ｂ／その位置情報
Ｃ（ｘｃ，ｙｃ，０）：撮影地点Ｃ／その位置情報
Ｄ（ｘｄ，ｙｄ，０）：撮影地点Ｄ／その位置情報
Ｂａ，Ｂｑ：三角形のセルの底辺
Ｃ１〜Ｃ１２：セル
Ｃ１′：新たなセル
Ｃａ，Ｃ５ａ：対応セル
Ｃｑ，Ｃ５ｑ：新たなセル
Ｄ（φｅ，θｅ）：切出画像
Ｅ，Ｅ（φｅ，θｅ）：視線方向／視線ベクトル
Ｆ，Ｆ１〜Ｆ２３：単位領域図形
Ｆ１０（ｔ１），Ｆ１０（ｔ２），Ｆ１０（ｔ３）：各時間における単位領域図形
Ｇａ，Ｇｑ：画素の位置を示す点
Ｈ，Ｈａ，Ｈｂ，Ｈｑ：仮想半球
ｈ：仮想半球Ｈと視線ベクトルＥ（φｅ，θｅ）との交点
Ｌ：補助線
Ｌａ，Ｌｑ：中間線分
Ｌｘ：水平補助線
Ｌｙ：垂直補助線
ｍ，ｍ１〜ｍ４：中間点
Ｎａ：参照ベクトルＶｉａ上の参照ベクトルＶｉｂに対する最近接点
Ｎｂ：参照ベクトルＶｉｂ上の参照ベクトルＶｉａに対する最近接点
Ｏ：ＸＹＺ三次元座標系の原点
Ｐ（Ａ）〜Ｐ（Ｆ）：各頂点（撮影地点）Ａ〜Ｆで撮影された全方位画像
Ｐ（Ｏ）：原点Ｏを撮影地点とした撮影で得られる全方位画像
Ｐ（Ｑ）：視点Ｑにおける撮影で得られるであろうと推定される全方位画像
ＰＰ（Ｑ）：全方位画像Ｐ（Ｑ）の生成に用いられる準備画像
ＰＰ（ｍ），ＰＰ（ｍ１），ＰＰ（ｍ２）：中間点における準備画像
Ｑ，Ｑ（ｘｑ，ｙｑ，０），Ｑ（ｘｑ，ｙｑ，ｚｑ）：視点
Ｑ（ｘｑ，ｙｑ，ｚｑ，ｔｑ）：時間ｔｑにおける視点
Ｒａ，Ｒｑ：中間点
Ｓ，Ｓａ，Ｓｂ，Ｓｑ：撮像面
Ｓ１〜Ｓ１０：流れ図の各ステップ
ｔ：時間軸
Ｕ：天頂点
Ｖｉａ：第ｉ番目の特徴点ξｉに関する第１の参照ベクトル
Ｖｉｂ：第ｉ番目の特徴点ξｉに関する第２の参照ベクトル
Ｖｉｑ：第ｉ番目の特徴点ξｉに関する指示ベクトル
Ｘ：ＸＹＺ三次元直交座標系の座標軸
ｘａ〜ｘｑ，ｘξｉ：座標軸Ｘに関する座標値
Ｙ：ＸＹＺ三次元直交座標系の座標軸
ｙａ〜ｙｑ，ｙξｉ：座標軸Ｙに関する座標値
Ｚ：ＸＹＺ三次元直交座標系の座標軸
ｚξｉ：座標軸Ｚに関する座標値
φ，φａ，φｂ，φｑ：方位角
φｉａ：第ｉ番目の特徴点ξｉに関する第１の参照方位角
φｉｂ：第ｉ番目の特徴点ξｉに関する第２の参照方位角
φｉｑ：第ｉ番目の特徴点ξｉに関する指示方位角
φｅ：視線方向Ｅの方位角
θ，θａ，θｂ，θｑ：仰角
θｉａ：第ｉ番目の特徴点ξｉに関する第１の参照仰角
θｉｂ：第ｉ番目の特徴点ξｉに関する第２の参照仰角
θｉｑ：第ｉ番目の特徴点ξｉに関する指示仰角
θｅ：視線方向Ｅの仰角
α，β：按分割合を示すパラメータ
ξ１〜ξ１２：特徴点
ξ１（φ，θ）：特徴点ξ１の投影像
ξ２（φ，θ）：特徴点ξ２の投影像
ξ３（φ，θ）：特徴点ξ３の投影像
ξａ（φａ，θａ）：特徴点ξの投影像
ξｂ（φｂ，θｂ）：特徴点ξの投影像
ξｑ（φｑ，θｑ）：特徴点ξの投影像
ξｉ，ξｉ（ｘξｉ，ｙξｉ，ｚξｉ）：第ｉ番目の特徴点
ξｉａ，ξｉａ（φｉａ，θｉａ）：第ｉ番目の特徴点ξｉの画像Ｐ（Ａ）上の投影点
ξｉｂ，ξｉｂ（φｉｂ，θｉｂ）：第ｉ番目の特徴点ξｉの画像Ｐ（Ｂ）上の投影点
ξｉｑ，ξｉｑ（φｉｑ，θｉｑ）：第ｉ番目の特徴点ξｉの画像Ｐ（Ｑ）上の投影点

Claims (33)

  1. 任意位置の視点から見た任意方向の視界を表示する自由視点映像表示装置であって、
    実空間上の所定の撮影地点に全方位カメラを配置して被写体を撮像面に投影して撮影することにより得られる全方位画像を、前記実空間上に定義された単位領域図形の頂点を撮影地点とすることにより、個々の撮影地点のそれぞれについて、当該撮影地点の位置を示す撮影地点位置情報とともに格納する全方位画像格納部と、
    前記単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている被写体上の特徴点について、各全方位画像上での投影位置を示す特徴点投影位置情報と、各全方位画像が複数のセルの投影像によってメッシュ状に分割されるように、前記特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報と、を格納した特徴点情報格納部と、
    前記実空間に対応する仮想空間上で、任意の視点と当該視点を基準とした任意の視線方向を指定する位置方向指定部と、
    前記撮影地点位置情報および前記特徴点投影位置情報に基づいて、前記視点における全方位画像上に現れるべき前記特徴点の投影位置を推定する特徴点投影位置推定部と、
    前記セル定義情報に基づいて、前記特徴点投影位置推定部によって推定された特徴点の投影位置を頂点とする新たなセルを生成し、前記全方位画像格納部に格納されている全方位画像上の対応するセル内の部分画像に基づいて、前記新たなセル内に割り付けるべき新たな部分画像を生成する処理を、生成した各セルについて実行することにより、前記視点における全方位画像を生成する全方位画像生成部と、
    前記位置方向指定部によって指定された視線方向に基づいて、前記全方位画像生成部が生成した前記視点における全方位画像から、その一部分を切り出す画像切出部と、
    前記画像切出部によって切り出された画像を表示する画像表示部と、
    を備えることを特徴とする自由視点映像表示装置。
  2. 請求項１に記載の自由視点映像表示装置において、
    位置方向指定部が、仮想空間上で単位領域図形内の１地点からなる視点と当該視点を基準とした視線方向とを指定することを特徴とする自由視点映像表示装置。
  3. 請求項１に記載の自由視点映像表示装置において、
    位置方向指定部が、仮想空間上で単位領域図形外の１地点からなる視点と当該視点を基準とした視線方向とを指定することを特徴とする自由視点映像表示装置。
  4. 請求項１に記載の自由視点映像表示装置において、
    全方位画像格納部が、互いに隣接して配置されるように定義された複数の単位領域図形の頂点を撮影地点とすることにより、個々の撮影地点のそれぞれについて撮影された全方位画像を、当該撮影地点の位置を示す撮影地点位置情報とともに格納しており、
    特徴点情報格納部が、１つの単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている特徴点の投影位置を示す特徴点投影位置情報と、これらの特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報と、を個々の単位領域図形ごとに格納しており、
    位置方向指定部が、前記複数の単位領域図形のいずれかに包含される視点を指定する機能を有し、
    特徴点投影位置推定部が、特定の単位領域図形を参照領域図形として選択し、前記参照領域図形の頂点についての撮影地点位置情報、および前記参照領域図形についての特徴点投影位置情報に基づいて、前記視点における全方位画像上に現れるべき特徴点の投影位置を推定し、
    全方位画像生成部が、前記参照領域図形についてのセル定義情報に基づいて、推定された特徴点の投影位置を頂点とする新たなセルを生成し、前記参照領域図形の頂点における全方位画像上の対応するセル内の部分画像に基づいて、前記新たなセル内に割り付けるべき新たな部分画像を生成することを特徴とする自由視点映像表示装置。
  5. 請求項４に記載の自由視点映像表示装置において、
    個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系におけるＸＹ平面を分割することにより得られる二次元図形によって構成されていることを特徴とする自由視点映像表示装置。
  6. 請求項５に記載の自由視点映像表示装置において、
    個々の単位領域図形を構成する二次元図形が、ＸＹ平面をＸ軸に平行なＸ軸方向分割直線およびＹ軸に平行なＹ軸方向分割直線によって縦横に分割することにより得られる、前記Ｘ軸方向分割直線と前記Ｙ軸方向分割直線との交点を頂点とする四角形によって構成されており、
    全方位画像格納部が、前記個々の交点を撮影地点として撮影された全方位画像を格納していることを特徴とする自由視点映像表示装置。
  7. 請求項４に記載の自由視点映像表示装置において、
    個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系における三次元空間を分割することにより得られる三次元図形によって構成されていることを特徴とする自由視点映像表示装置。
  8. 請求項７に記載の自由視点映像表示装置において、
    個々の単位領域図形を構成する三次元図形が、ＸＹＺ三次元直交座標系からなる座標空間を、ＸＹ平面に平行なＺ軸方向分割平面、ＸＺ平面に平行なＹ軸方向分割平面、ＹＺ平面に平行なＸ軸方向分割平面、によってそれぞれ分割することにより得られる複数の直方体によって構成されており、
    全方位画像格納部が、前記複数の直方体の各頂点を撮影地点として撮影された全方位画像を格納していることを特徴とする自由視点映像表示装置。
  9. 請求項４〜８のいずれかに記載の自由視点映像表示装置において、
    特徴点投影位置推定部が、参照領域図形の頂点の中から２組の頂点を参照頂点として選択し、当該参照頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定することを特徴とする自由視点映像表示装置。
  10. 請求項９に記載の自由視点映像表示装置において、
    特徴点投影位置推定部が、参照領域図形の頂点の中から、視点に最も近い頂点を第１の参照頂点Ａとして選択し、視点に２番目に近い頂点を第２の参照頂点Ｂとして選択することを特徴とする自由視点映像表示装置。
  11. 請求項９または１０に記載の自由視点映像表示装置において、
    特徴点投影位置推定部が、第１の参照頂点Ａから第ｉ番目の特徴点ξｉへ向かう第１の参照ベクトルＶｉａを、前記第１の参照頂点Ａについての撮影地点位置情報および特徴点投影位置情報に基づいて求め、第２の参照頂点Ｂから前記第ｉ番目の特徴点ξｉへ向かう第２の参照ベクトルＶｉｂを、前記第２の参照頂点Ｂについての撮影地点位置情報および特徴点投影位置情報に基づいて求め、前記第１の参照ベクトルＶｉａと前記第２の参照ベクトルＶｉｂとの交点もしくはこれら両参照ベクトルに対して所定の近接位置にある近接点を前記第ｉ番目の特徴点ξｉの三次元位置と推定し、視点Ｑに配置された全方位カメラによって、前記推定された三次元位置にある前記第ｉ番目の特徴点ξｉを撮影した場合に全方位画像上に投影される点を、前記視点Ｑにおける全方位画像上に現れるべき前記第ｉ番目の特徴点ξｉの投影位置と推定することを特徴とする自由視点映像表示装置。
  12. 請求項１１に記載の自由視点映像表示装置において、
    全方位画像格納部が、撮像面上の方位を示す方位角φを横座標軸にとり、前記撮像面に対する仰角θを縦座標軸にとった全方位画像を格納しており、
    特徴点投影位置推定部が、第１の参照頂点Ａから第ｉ番目の特徴点ξｉへ向かう第１の参照ベクトルＶｉａを求める際に、前記第１の参照頂点Ａを撮影地点とする全方位画像上の前記第ｉ番目の特徴点ξｉの投影位置を示す第１の参照方位角φｉａおよび第１の参照仰角θｉａを参照し、前記第１の参照頂点Ａを起点として、前記第１の参照方位角φｉａおよび前記第１の参照仰角θｉａによって示される方向を向いたベクトルを前記第１の参照ベクトルＶｉａとし、
    特徴点投影位置推定部が、第２の参照頂点Ｂから第ｉ番目の特徴点ξｉへ向かう第２の参照ベクトルＶｉｂを求める際に、前記第２の参照頂点Ｂを撮影地点とする全方位画像上の前記第ｉ番目の特徴点ξｉの投影位置を示す第２の参照方位角φｉｂおよび第２の参照仰角θｉｂを参照し、前記第２の参照頂点Ｂを起点として、前記第２の参照方位角φｉｂおよび前記第２の参照仰角θｉｂによって示される方向を向いたベクトルを前記第２の参照ベクトルＶｉｂとし、
    特徴点投影位置推定部が、前記第１の参照ベクトルＶｉａと前記第２の参照ベクトルＶｉｂとの交点もしくはこれら両参照ベクトルに対して所定の近接位置にある近接点を前記第ｉ番目の特徴点ξｉの三次元位置と推定し、視点Ｑを起点として、前記推定された三次元位置にある前記第ｉ番目の特徴点ξｉに向かう指示ベクトルの方位角φｉｑおよび仰角θｉｑを、前記視点Ｑにおける全方位画像上に現れるべき前記第ｉ番目の特徴点ξｉの投影位置を示す座標と推定することを特徴とする自由視点映像表示装置。
  13. 請求項４〜８のいずれかに記載の自由視点映像表示装置において、
    特徴点投影位置推定部が、参照領域図形の頂点の中からｎ組（ｎ≧３）の頂点を参照頂点として選択し、当該参照頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて、視点における全方位画像上に現れるべき特徴点の投影位置を推定することを特徴とする自由視点映像表示装置。
  14. 請求項１３に記載の自由視点映像表示装置において、
    特徴点投影位置推定部が、参照領域図形の頂点の中から、視点に近い順に、第１の参照頂点から第ｎの参照頂点を選択することを特徴とする自由視点映像表示装置。
  15. 請求項１３または１４に記載の自由視点映像表示装置において、
    特徴点投影位置推定部が、第ｊ番目の参照頂点から第ｉ番目の特徴点ξｉへ向かう第ｊ番目の参照ベクトルＶｉｊを前記第ｊ番目の参照頂点についての撮影地点位置情報および特徴点投影位置情報に基づいて求める処理を、ｊ＝１〜ｎのそれぞれについて行うことにより第１の参照ベクトルＶｉ１〜第ｎの参照ベクトルＶｉｎを求め、求めたｎ本の参照ベクトルＶｉ１〜Ｖｉｎの交点もしくはこれらｎ本の参照ベクトルＶｉ１〜Ｖｉｎに対して所定の近接位置にある近接点を前記第ｉ番目の特徴点ξｉの三次元位置と推定し、視点Ｑに配置された全方位カメラによって前記推定された三次元位置にある前記第ｉ番目の特徴点ξｉを撮影した場合に全方位画像上に投影される点を、前記視点Ｑにおける全方位画像上に現れるべき前記第ｉ番目の特徴点ξｉの投影位置と推定することを特徴とする自由視点映像表示装置。
  16. 請求項１５に記載の自由視点映像表示装置において、
    全方位画像格納部が、撮像面上の方位を示す方位角φを横座標軸にとり、前記撮像面に対する仰角θを縦座標軸にとった全方位画像を格納しており、
    特徴点投影位置推定部が、第ｊ番目の参照頂点から第ｉ番目の特徴点ξｉへ向かう第ｊ番目の参照ベクトルＶｉｊを求める際に、前記第ｊ番目の参照頂点を撮影地点とする全方位画像上の前記第ｉ番目の特徴点ξｉの投影位置を示す第ｊ番目の参照方位角φｉｊおよび第ｊ番目の参照仰角θｉｊを参照し、前記第ｊ番目の参照頂点を起点として、前記第ｊ番目の参照方位角φｉｊおよび前記第ｊ番目の参照仰角θｉｊによって示される方向を向いたベクトルを前記第ｊ番目の参照ベクトルＶｉｊとし、
    特徴点投影位置推定部が、第１の参照ベクトルＶｉ１〜第ｎの参照ベクトルＶｉｎの交点もしくはこれらｎ本の参照ベクトルＶｉ１〜Ｖｉｎに対して所定の近接位置にある近接点を前記第ｉ番目の特徴点ξｉの三次元位置と推定し、視点Ｑを起点として、前記推定された三次元位置にある前記第ｉ番目の特徴点ξｉに向かう指示ベクトルの方位角φｉｑおよび仰角θｉｑを、前記視点Ｑにおける全方位画像上に現れるべき前記第ｉ番目の特徴点ξｉの投影位置を示す座標と推定することを特徴とする自由視点映像表示装置。
  17. 請求項４に記載の自由視点映像表示装置において、
    特徴点投影位置推定部が、参照領域図形の頂点の中からｎ組（ｎ≧３）の頂点を参照頂点として選択し、各参照頂点を撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を用いた補間演算により、視点Ｑにおける全方位画像上に現れるべき前記第ｉ番目の特徴点ξｉの投影位置を示す座標値を算出することを特徴とする自由視点映像表示装置。
  18. 請求項１７に記載の自由視点映像表示装置において、
    全方位画像格納部が、撮像面上の方位を示す方位角φを横座標軸にとり、前記撮像面に対する仰角θを縦座標軸にとった全方位画像を格納しており、
    特徴点投影位置推定部が、第ｊ番目の参照頂点を撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｊ，θｉｊ）を抽出する処理を、ｊ＝１〜ｎのそれぞれについて行うことにより第１の座標値（φｉ１，θｉ１）〜第ｎの座標値（φｉｎ，θｉｎ）からなるｎ組の座標値を抽出し、ｎ組の参照頂点の位置と視点Ｑの位置との関係に基づいて、参照領域図形に対する前記視点Ｑの相対位置を示すパラメータを求め、抽出した前記ｎ組の座標値と前記パラメータとを用いた補間演算により、前記視点Ｑにおける全方位画像上に現れるべき前記第ｉ番目の特徴点ξｉの投影位置を示す座標値を算出することを特徴とする自由視点映像表示装置。
  19. 請求項１８に記載の自由視点映像表示装置において、
    個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系におけるＸＹ平面を、Ｘ軸に平行なＸ軸方向分割直線およびＹ軸に平行なＹ軸方向分割直線によって縦横に分割することにより得られる、前記Ｘ軸方向分割直線と前記Ｙ軸方向分割直線との交点を頂点とする四角形によって構成されており、
    全方位画像格納部が、前記個々の交点を撮影地点として撮影された全方位画像を格納しており、
    参照領域図形を構成する四角形の左上頂点をＡ，右上頂点をＢ，左下頂点をＣ，右下頂点をＤとし、視点をＱとし、上辺ＡＢおよび下辺ＣＤがＸ軸に平行、左辺ＡＣおよび右辺ＢＤがＹ軸に平行となるように座標系を定義したときに、特徴点投影位置推定部が、前記頂点Ａ，Ｂ，Ｃ，Ｄを参照頂点として選択し、
    点Ｑを通りＹ軸に平行な垂直補助線Ｌｙと上辺ＡＢとの交点を中間点ｍ１、前記垂直補助線Ｌｙと下辺ＣＤとの交点を中間点ｍ２、点Ｑを通りＸ軸に平行な水平補助線Ｌｘと左辺ＡＣとの交点を中間点ｍ３、前記水平補助線Ｌｘと右辺ＢＤとの交点を中間点ｍ４とし、上辺ＡＢもしくは下辺ＣＤを中間点ｍ１もしくは中間点ｍ２が分割する按分割合をα：１−αとし、左辺ＡＣもしくは右辺ＢＤを中間点ｍ３もしくは中間点ｍ４が分割する按分割合をβ：１−βとして、パラメータα，βを定め、
    参照頂点Ａを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉａ，θｉａ）とし、参照頂点Ｂを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｂ，θｉｂ）とし、参照頂点Ｃを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｃ，θｉｃ）とし、参照頂点Ｄを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｄ，θｉｄ）としたときに、
    特徴点投影位置推定部が、
    中間点ｍ１における全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｍ１，θｉｍ１）を、
    φｉｍ１＝（１−α）・φｉａ＋α・φｉｂ
    θｉｍ１＝（１−α）・θｉａ＋α・θｉｂ
    なる演算で求め、
    中間点ｍ２における全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｍ２，θｉｍ２）を、
    φｉｍ２＝（１−α）・φｉｃ＋α・φｉｄ
    θｉｍ２＝（１−α）・θｉｃ＋α・θｉｄ
    なる演算で求め、
    視点を示す点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｑ，θｉｑ）を、
    φｉｑ＝（１−β）・φｉｍ１＋β・φｉｍ２
    θｉｑ＝（１−β）・θｉｍ１＋β・θｉｍ２
    なる演算で求めることを特徴とする自由視点映像表示装置。
  20. 請求項１８に記載の自由視点映像表示装置において、
    個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系におけるＸＹ平面を、隙間なく分割することにより得られる三角形によって構成されており、
    全方位画像格納部が、前記三角形の各頂点を撮影地点として撮影された全方位画像を格納しており、
    参照領域図形を構成する三角形の各頂点をＡ，Ｂ，Ｃとし、視点を点Ｑとしたときに、特徴点投影位置推定部が、前記頂点Ａ，Ｂ，Ｃを参照頂点として選択し、
    点Ａ，Ｑを通る直線と底辺ＢＣとの交点を中間点ｍとし、底辺ＢＣを中間点ｍが分割する按分割合をα：１−αとし、点Ａ，ｍを結ぶ補助線Ｌを点Ｑが分割する按分割合をβ：１−βとして、パラメータα，βを定め、
    参照頂点Ａを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉａ，θｉａ）とし、参照頂点Ｂを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｂ，θｉｂ）とし、参照頂点Ｃを撮影地点とする全方位画像上の第ｉ番目の特徴点ξｉの投影位置を示す座標値を（φｉｃ，θｉｃ）としたときに、
    特徴点投影位置推定部が、
    中間点ｍにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｍ，θｉｍ）を、
    φｉｍ＝（１−α）・φｉｂ＋α・φｉｃ
    θｉｍ＝（１−α）・θｉｂ＋α・θｉｃ
    なる演算で求め、
    視点を示す点Ｑにおける全方位画像上に現れるべき第ｉ番目の特徴点ξｉの投影位置を示す座標値（φｉｑ，θｉｑ）を、
    φｉｑ＝（１−β）・φｉａ＋β・φｉｍ
    θｉｑ＝（１−β）・θｉａ＋β・θｉｍ
    なる演算で求めることを特徴とする自由視点映像表示装置。
  21. 請求項４〜２０のいずれかに記載の自由視点映像表示装置において、
    特徴点投影位置推定部が、視点を包含する単位領域図形を参照領域図形として選択することを特徴とする自由視点映像表示装置。
  22. 請求項１２，１６，１８〜２０のいずれかに記載の自由視点映像表示装置において、
    位置方向指定部が、視線方向として、所定の方位角φｅおよび所定の仰角θｅを指定し、
    画像切出部が、切出対象となる全方位画像上において、前記位置方向指定部によって指定された方位角φｅおよび仰角θｅで示される座標値をもつ点を切出中心点として、当該切出中心点の周囲の一部分を切り出すことを特徴とする自由視点映像表示装置。
  23. 請求項４〜２２のいずれかに記載の自由視点映像表示装置において、
    特徴点情報格納部が、３つの特徴点を頂点とする三角形からなる複数のセルを定義するセル定義情報を格納しており、全方位画像が、前記複数のセルの投影像からなる個々のセルによってメッシュ状に分割され、
    全方位画像生成部が、前記セル定義情報に基づいて、推定された特徴点の投影位置を頂点とする新たなセルを生成し、全方位画像格納部に格納されている全方位画像上の対応するセル内の部分画像に基づいて、前記新たなセル内に割り付けるべき新たな部分画像を生成する処理を、生成した各セルについて実行することにより、視点における全方位画像を生成することを特徴とする自由視点映像表示装置。
  24. 請求項４〜２２のいずれかに記載の自由視点映像表示装置において、
    全方位画像生成部が、参照領域図形の頂点の中の１つの頂点を模写対象頂点として選択し、前記模写対象頂点についての全方位画像上で対応する対応セル内の部分画像を模写対象部分画像として選択し、この模写対象部分画像に基づいて新たなセル内に割り付けるべき新たな部分画像を生成することを特徴とする自由視点映像表示装置。
  25. 請求項２４に記載の自由視点映像表示装置において、
    全方位画像生成部が、新たなセル内に割り付けるべき新たな部分画像を構成する所定画素の画素値を定める際に、前記所定画素の前記新たなセルに対する相対位置を求め、模写対象部分画像において前記相対位置に対応する位置にある対応画素の画素値を模写対象画素値として抽出し、前記所定画素の画素値を前記模写対象画素値に基づいて決定することを特徴とする自由視点映像表示装置。
  26. 請求項４〜２２のいずれかに記載の自由視点映像表示装置において、
    全方位画像生成部が、参照領域図形の頂点の中から複数ｎ個（ｎ≧２）の頂点を模写対象頂点として選択し、前記ｎ個の模写対象頂点についての全方位画像上で対応する対応セル内の部分画像をそれぞれ模写対象部分画像として選択し、選択されたｎ枚の模写対象部分画像に基づいて新たなセル内に割り付けるべき新たな部分画像を生成することを特徴とする自由視点映像表示装置。
  27. 請求項２６に記載の自由視点映像表示装置において、
    全方位画像生成部が、新たなセル内に割り付けるべき新たな部分画像を構成する所定画素の画素値を定める際に、前記所定画素の前記新たなセルに対する相対位置を求め、ｎ枚の模写対象部分画像において前記相対位置に対応する位置にある対応画素の画素値をそれぞれ模写対象画素値として抽出し、前記所定画素の画素値を、抽出したｎ組の模写対象画素値に基づいて決定することを特徴とする自由視点映像表示装置。
  28. 請求項２７に記載の自由視点映像表示装置において、
    全方位画像生成部が、新たな部分画像を構成する所定画素の画素値をｎ組の模写対象画素値に基づいて決定する際に、視点とｎ個の模写対象頂点との距離をそれぞれ求め、距離のより小さな模写対象頂点についての全方位画像から抽出された模写対象画素値に対してより大きな重みづけを付加してｎ組の模写対象画素値の加重平均値を算出し、この加重平均値に基づいて前記所定画素の画素値を決定することを特徴とする自由視点映像表示装置。
  29. 請求項２５，２７，２８のいずれかに記載の自由視点映像表示装置において、
    特徴点情報格納部が、３つの特徴点を頂点とする三角形からなる複数のセルを定義するセル定義情報を格納しており、全方位画像が、前記複数のセルの投影像からなる個々のセルによってメッシュ状に分割され、
    新たなセルを構成する三角形Ｃｑの頂点をξ１ｑ，ξ２ｑ，ξ３ｑとし、対応セルを構成する三角形Ｃａの対応する頂点をξ１ａ，ξ２ａ，ξ３ａとし、前記三角形Ｃｑ内の所定画素の位置を点Ｇｑとしたときに、
    全方位画像生成部が、
    前記三角形Ｃｑについて、頂点ξ３ｑと点Ｇｑとを通る直線と、頂点ξ１ｑと頂点ξ２ｑとを結ぶ底辺Ｂｑと、の交点を中間点Ｒｑとし、この中間点Ｒｑが前記底辺Ｂｑを分割する按分割合をａ：ｂとし、点Ｇｑが前記中間点Ｒｑと頂点ξ３ｑとを結ぶ中間線分Ｌｑを分割する按分割合をｃ：ｄとして、パラメータａ，ｂ，ｃ，ｄを定め、
    前記対応三角形Ｃａについて、頂点ξ１ａと頂点ξ２ｑとを結ぶ底辺Ｂａを按分割合ａ：ｂで分割する点として中間点Ｒａを求め、この中間点Ｒａと頂点ξ３ａとを結ぶ中間線分Ｌｂをｃ：ｄで分割する点として点Ｇａを求め、前記点Ｇａに位置する対応画素の画素値を模写対象画素値として抽出し、
    前記三角形Ｃｑ内の点Ｇｑに位置する前記所定画素の画素値を、前記模写対象画素値に基づいて決定することを特徴とする自由視点映像表示装置。
  30. 請求項１〜２９のいずれかに記載の自由視点映像表示装置において、
    個々の単位領域図形が、実空間上に定義されたＸＹＺ三次元直交座標系に配置された二次元図形もしくは三次元図形によって構成され、更に、時間軸ｔを考慮することにより、同一の空間位置に時間の異なる複数通りの単位領域図形が定義されており、
    全方位画像格納部には、時間の異なる複数通りの単位領域図形の頂点を撮影地点として、特定の撮影地点において、特定の時間に撮影された全方位画像が格納されており、
    位置方向指定部が、任意の視点と当該視点を基準とした任意の視線方向に加えて、更に、任意の観測時間を指定する機能を有し、
    特徴点投影位置推定部が、
    前記観測時間に、前記視点における全方位画像上に現れるべき特徴点の投影位置を推定し、
    全方位画像生成部が、前記観測時間かつ前記視点における全方位画像を生成することを特徴とする自由視点映像表示装置。
  31. 請求項１〜３０のいずれかに記載の自由視点映像表示装置としてコンピュータを機能させるプログラム。
  32. 任意位置の視点から見た任意方向の視界を表示する自由視点映像表示方法であって、
    必要なデータを準備する準備プロセスと、準備したデータを用いてコンピュータが映像表示を行う表示プロセスと、を有し、
    前記準備プロセスは、
    実空間上に単位領域図形を定義し、この単位領域図形の頂点位置に撮影地点を定義し、各撮影地点の位置を示す撮影地点位置情報を設定する撮影地点定義段階と、
    実空間上の前記撮影地点に全方位カメラを配置して被写体を撮像面に投影して撮影し、個々の撮影地点のそれぞれについて、当該撮影地点の位置を示す前記撮影地点位置情報に対応づけた全方位画像を用意する全方位画像撮影段階と、
    前記単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている被写体上の特徴点を定め、各特徴点について全方位画像上での投影位置を示す特徴点投影位置情報を求める特徴点設定段階と、
    前記全方位画像が複数のセルの投影像によってメッシュ状に分割されるように、前記特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報を定めるセル定義段階と、
    を有し、
    前記表示プロセスは、
    コンピュータが、前記実空間に対応する仮想空間上で、任意の視点と当該視点を基準とした任意の視線方向を指定する位置方向指定段階と、
    コンピュータが、前記撮影地点位置情報および前記特徴点投影位置情報に基づいて、前記視点における全方位画像上に現れるべき特徴点の投影位置を推定する特徴点投影位置推定段階と、
    コンピュータが、前記セル定義情報に基づいて、前記特徴点投影位置推定段階で推定された特徴点の投影位置を頂点とする新たなセルを生成し、前記全方位画像上の対応するセル内の部分画像に基づいて、前記新たなセル内に割り付けるべき新たな部分画像を生成する処理を、生成した各セルについて実行することにより、前記視点における全方位画像を生成する全方位画像生成段階と、
    コンピュータが、前記位置方向指定段階で指定された視線方向に基づいて、前記全方位画像生成段階で生成した前記視点における全方位画像から、その一部分を切り出す画像切出段階と、
    コンピュータが、前記画像切出段階によって切り出された画像を表示する画像表示段階と、
    を有することを特徴とする自由視点映像表示方法。
  33. 請求項３２に記載の自由視点映像表示方法において、
    撮影地点定義段階で、互いに隣接して配置された複数の単位領域図形を定義し、
    全方位画像撮影段階で、各単位領域図形の頂点を撮影地点とする撮影を行うことにより、個々の頂点のそれぞれについての全方位画像を用意し、
    特徴点設定段階で、個々の単位領域図形ごとに、当該単位領域図形の頂点を撮影地点とする複数の全方位画像上に共通して現れている特徴点を定め、
    セル定義段階で、個々の単位領域図形ごとに、前記特徴点を頂点とする図形からなる複数のセルを定義するセル定義情報を定め、
    位置方向指定段階で、前記複数の単位領域図形のいずれかに包含される視点を指定し、
    特徴点投影位置推定段階で、特定の単位領域図形を参照領域図形として選択し、前記参照領域図形の頂点についての撮影地点位置情報および前記参照領域図形についての特徴点投影位置情報に基づいて、前記視点における全方位画像上に現れるべき特徴点の投影位置を推定し、
    全方位画像生成段階で、前記参照領域図形についてのセル定義情報に基づいて、推定された特徴点の投影位置を頂点とする新たなセルを生成し、前記参照領域図形の頂点における全方位画像上の対応するセル内の部分画像に基づいて、前記新たなセル内に割り付けるべき新たな部分画像を生成することを特徴とする自由視点映像表示方法。
JP2016085214A 2016-04-21 2016-04-21 自由視点映像表示装置 Active JP6682984B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016085214A JP6682984B2 (ja) 2016-04-21 2016-04-21 自由視点映像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016085214A JP6682984B2 (ja) 2016-04-21 2016-04-21 自由視点映像表示装置

Publications (2)

Publication Number Publication Date
JP2017194857A JP2017194857A (ja) 2017-10-26
JP6682984B2 true JP6682984B2 (ja) 2020-04-15

Family

ID=60155624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016085214A Active JP6682984B2 (ja) 2016-04-21 2016-04-21 自由視点映像表示装置

Country Status (1)

Country Link
JP (1) JP6682984B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
JP7204511B2 (ja) 2019-02-12 2023-01-16 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム
JP7439398B2 (ja) * 2019-06-18 2024-02-28 大日本印刷株式会社 情報処理装置、プログラム及び情報処理システム
CN117423109A (zh) * 2023-10-31 2024-01-19 北京代码空间科技有限公司 一种图像关键点标注方法及其相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002213984A (ja) * 2001-01-12 2002-07-31 Oojisu Soken:Kk パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体

Also Published As

Publication number Publication date
JP2017194857A (ja) 2017-10-26

Similar Documents

Publication Publication Date Title
US9626790B1 (en) View-dependent textures for interactive geographic information system
US9754410B2 (en) System and method for three-dimensional garment mesh deformation and layering for garment fit visualization
CN109658365B (zh) 图像处理方法、装置、系统和存储介质
JP6515985B2 (ja) 三次元画像結合方法及び三次元画像結合装置
CN106296783B (zh) 一种结合空间全局3d视图和全景图片的空间展示方法
EP3534336B1 (en) Panoramic image generating method and apparatus
US8390617B1 (en) Visualizing oblique images
JP4392507B2 (ja) ３次元サーフェス生成方法
US20140218354A1 (en) View image providing device and method using omnidirectional image and 3-dimensional data
JP6682984B2 (ja) 自由視点映像表示装置
US20020113865A1 (en) Image processing method and apparatus
US20170278293A1 (en) Processing a Texture Atlas Using Manifold Neighbors
JPH0816783A (ja) 画像処理装置及び方法
US9165397B2 (en) Texture blending between view-dependent texture and base texture in a geographic information system
KR101591427B1 (ko) 3차원 지형 영상 가시화에서의 적응형 렌더링 방법
KR20200043458A (ko) 3d 장면의 이미지를 생성 및 수정하기 위한 방법
CN109685879A (zh) 多视影像纹理分布的确定方法、装置、设备和存储介质
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
CN111524230A (zh) 一种三维模型与展开全景图联动浏览方法及计算机系统
JP2013090257A (ja) 自由視点映像表示装置
JP2000076488A (ja) ３次元仮想空間表示装置及びテクスチャオブジェクト設定情報作成装置
US10699372B2 (en) Image generation apparatus and image display control apparatus
CN109461116B (zh) 一种基于opengl的720全景展开监控方法
US10275939B2 (en) Determining two-dimensional images using three-dimensional models
CN106484850B (zh) 全景地图显示方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190225

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190621

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200309

R150 Certificate of patent or registration of utility model

Ref document number: 6682984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150