JP4211292B2 - 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体 - Google Patents
画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体 Download PDFInfo
- Publication number
- JP4211292B2 JP4211292B2 JP2002161838A JP2002161838A JP4211292B2 JP 4211292 B2 JP4211292 B2 JP 4211292B2 JP 2002161838 A JP2002161838 A JP 2002161838A JP 2002161838 A JP2002161838 A JP 2002161838A JP 4211292 B2 JP4211292 B2 JP 4211292B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel
- plane
- pixel value
- intermediate data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 226
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 254
- 238000000034 method Methods 0.000 claims description 204
- 238000003384 imaging method Methods 0.000 claims description 177
- 230000008569 process Effects 0.000 claims description 156
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 description 59
- 239000013598 vector Substances 0.000 description 59
- 238000010586 diagram Methods 0.000 description 45
- 230000003287 optical effect Effects 0.000 description 45
- 238000004364 calculation method Methods 0.000 description 33
- 238000000605 extraction Methods 0.000 description 24
- 230000007246 mechanism Effects 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000036544 posture Effects 0.000 description 9
- 230000006978 adaptation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 241000283070 Equus zebra Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- OVSKIKFHRZPJSS-UHFFFAOYSA-N 2,4-D Chemical compound OC(=O)COC1=CC=C(Cl)C=C1Cl OVSKIKFHRZPJSS-UHFFFAOYSA-N 0.000 description 1
- 241000695274 Processa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体に関し、例えば、ユーザの視点に対応した画像を表示することができるようにする画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体に関する。
【０００２】
【従来の技術】
従来の、例えば、ＣＲＴ(Cathod Ray Tube)や液晶パネル、プロジェクタなどを利用したディスプレイにおいては、例えば、ビデオカメラ（以下、適宜、単に、カメラともいう）で撮像された画像が表示されるが、その画像は、図１に示すように、カメラの位置を視点として見たものにすぎなかった。
【０００３】
従って、ユーザが、例えば、頭部を移動して、ディスプレイに表示された画像を見るときの視点を変えても、ディスプレイに表示される画像は、カメラのレンズ中心（以下、適宜、カメラの視点ともいう）から見た画像のままであり、ユーザの視点の変化に応じて、ディスプレイに表示される画像が変化することはなかった。
【０００４】
【発明が解決しようとする課題】
そこで、ディスプレイに表示される画像が、ユーザの視点に応じて変化する画像の表示方法として、例えば、zebra imagingと呼ばれる方法がある。ここで、zebra imagingについては、例えば、zebra imaging社のwebページであるhttp://www.zebraimaging.com/に開示されている。
【０００５】
しかしながら、zebra imagingは、ホログラフィを利用した方法であり、表示される画像がホログラムであるため、その作成に多大の演算量と時間を要する。
【０００６】
また、ディスプレイに表示される画像が、ユーザの視点に応じて変化する画像の他の表示方法としては、例えば、イリノイ大学のCAVE（洞窟の意）方式などに代表される、IPT(Immersive Projection Technology)（没入型投射技術）またはIPD(Immersive Projection Display)（没入型投射ディスプレイ）を用いたVR(Virtual Reality)システムがある。ここで、CAVE方式については、例えば、EVL(Electronic Visualization Laboratory）のwebページであるhttp://www.evl.uic.edu/evl/vr/に開示されている。
【０００７】
しかしながら、かかるＶＲシステムでは、対象とする画像がCG(Computer Graphics)であり、ビデオカメラで撮像された、いわゆる実写の画像を対象とすることは困難である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、実写の画像であっても、容易に、ユーザの視点に応じて変化させることができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の第１の画像処理装置は、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データを変換する画像データ変換手段と、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理手段と、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである第１の仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、第１の仮想スクリーン上の画素の画素値とし、第１の仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データを第２の画像データに変換する中間データ変換手段とを備えることを特徴とする。
【００１０】
本発明の第１の画像処理方法は、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データを変換する画像データ変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、仮想スクリーン上の画素の画素値とし、仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データを第２の画像データに変換する中間データ変換ステップとを備えることを特徴とする。
【００１１】
本発明の第１のプログラムは、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データを変換する画像データ変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、仮想スクリーン上の画素の画素値とし、仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データを第２の画像データに変換する中間データ変換ステップとを備えることを特徴とする。
【００１２】
本発明の第１のプログラム記録媒体は、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データを変換する画像データ変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、仮想スクリーン上の画素の画素値とし、仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データを第２の画像データに変換する中間データ変換ステップとを備えるプログラムが記録されていることを特徴とする。
【００１３】
本発明の第２の画像処理装置は、画像データを、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換する変換手段と、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理手段と、補間処理が施された中間データを記録する中間データ記録手段とを備えることを特徴とする。
【００１４】
本発明の第２の画像処理方法は、画像データを、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換する変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データを記録手段に記録する中間データ記録ステップとを備えることを特徴とする。
【００１５】
本発明の第２のプログラムは、画像データを、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換する変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データを記録手段に記録する中間データ記録ステップとを備えることを特徴とする。
【００１６】
本発明の第２のプログラム記録媒体は、画像データを、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換する変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データを記録手段に記録する中間データ記録ステップとを備えるプログラムが記録されていることを特徴とする。
【００１９】
本発明の第１の画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体においては、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データが変換され、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理が施され、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、仮想スクリーン上の画素の画素値とし、仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データが第２の画像データに変換される。
【００２０】
本発明の第２の画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体においては、画像データが、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換され、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理が施され、補間処理が施された中間データが記録される。
【００２２】
ここで、画像データは、静止画であっても良いし、動画であっても良い。さらに、画像データは、例えば、実写の画像データであると、ＣＧであるとを問わない。
【００２３】
【発明の実施の形態】
図２は、本発明を適用した画像表示装置の一実施の形態の構成例を示している。
【００２４】
コンピュータ１は、例えば、ワークステーションであり、画像データベース２に記憶された原画像データを、後述する中間データに変換し、中間データベース３に記憶させる。また、コンピュータ１は、位置センサとしてのレシーバ４およびトランシーバ５を制御し、レシーバ４の出力に基づいて、ユーザの位置（さらには、必要に応じて姿勢）を検出する。さらに、コンピュータ１は、ユーザの位置を、ユーザの視点の位置として設定し、中間データベース３に記憶された中間データを、そのユーザの視点から見た画像データ（以下、適宜、提示用画像データという）に変換する。そして、コンピュータ１は、提示用画像データを、ディスプレイ６に供給して表示させる。
【００２５】
画像データベース２は、後述するように、カメラ等の撮像装置で撮像された実写の画像データとしての原画像データを記憶している。中間データベース３は、コンピュータ１から供給される、原画像データを変換した中間データを記憶する。
【００２６】
レシーバ４は、ユーザに装着されており、トランスミッタ５が発生する磁界を検知し、その磁界の強度を、コンピュータ１に供給する。トランスミッタ５は、コンピュータ１の制御にしたがい、磁界を発生する。即ち、図２の実施の形態では、レシーバ４およびトランスミッタ５は、位置センサとしての磁界センサを構成しており、レシーバ４が、トランスミッタが発生する磁界の強度を計測することにより、レシーバ４の位置、ひいては、ユーザの位置が検出されるようになっている。
【００２７】
ここで、レシーバ４は、例えば、ユーザの頭部に装着される。また、ユーザが、例えば、ネクタイピンを着用していたり、または眼鏡をかけている場合には、レシーバ４は、そのネクタイピンや眼鏡のフレームに装着することができる。
【００２８】
なお、位置センサである磁界センサとしては、例えば、ポヒマス(Polhemus)社の３次元位置センサなどを採用することができる。
【００２９】
また、位置センサとしては、磁界センサの他、例えば、機械リンク式の位置計測手段（例えば、３次元ディジタイザなど）を採用することが可能である。さらに、位置センサとしては、例えば、ジョイスティックやトラックボールなどの、ユーザの位置の変化を入力することのできる手段を採用することも可能である。即ち、ここでは、位置センサは、実際のユーザの位置を検知する手段である必要はなく、仮想的なユーザの位置を入力することができる手段であってもよい。
【００３０】
ディスプレイ６は、例えば、ＣＲＴや液晶パネルなどで構成され、コンピュータ１から供給される提示用画像データを表示する。なお、ディスプレイ６としては、ＣＲＴや液晶パネル以外に、例えば、プロジェクタやＨＭＤ(Head Mount Display)、その他の画像を表示することのできる手段を採用することが可能である。
【００３１】
次に、図３は、図１のコンピュータ１のハードウェア構成例を示している。
【００３２】
コンピュータ１には、後述する一連の処理を実行するプログラムがインストールされている。
【００３３】
プログラムは、コンピュータ１に内蔵されている記録媒体としてのハードディスク１５やＲＯＭ１３に予め記録しておくことができる。
【００３４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１は、いわゆるパッケージソフトウエアとして提供することができる。
【００３５】
なお、プログラムは、上述したようなリムーバブル記録媒体２１からコンピュータ１にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータ１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータ１に有線で転送し、コンピュータ１では、そのようにして転送されてくるプログラムを、通信部１８で受信し、内蔵するハードディスク１５にインストールすることができる。
【００３６】
コンピュータ１は、CPU(Central Processing Unit)１２を内蔵している。CPU１２には、バス１１を介して、入出力インタフェース２０が接続されており、CPU１２は、入出力インタフェース２０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１３に格納されているプログラムを実行する。あるいは、また、CPU１２は、ハードディスク１５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１８で受信されてハードディスク１５にインストールされたプログラム、またはドライブ１９に装着されたリムーバブル記録媒体２１から読み出されてハードディスク１５にインストールされたプログラムを、RAM(Random Access Memory)１４にロードして実行する。これにより、CPU１２は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU１２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０を介して、スピーカ等で構成される出力部１６から出力、あるいは、通信部１８から送信、さらには、ハードディスク１５に記録等させる。
【００３７】
なお、図３の実施の形態では、入出力インタフェース２０に、画像データベース２、中間データベース３、レシーバ４、トランスミッタ５、およびディスプレイ６が接続されている。そして、CPU１２は、画像データベース２に記憶された原画像データを、入出力インタフェース２０を介して読み出し、中間データに変換する。さらに、CPU１２は、その中間データを、入出力インタフェース２０を介して、中間データベース３に記憶させる。また、CPU１２は、入出力インタフェース２０を介して、トランスミッタ５を制御するとともに、レシーバ４の出力を受信し、ユーザの位置を検出する。さらに、CPU１２は、検出したユーザの位置を、ユーザの視点として設定し、そのユーザの視点に対応して、中間データベース３に記憶された中間データを、提示用画像データに変換する。また、CPU１２は、提示用画像データを、入出力インタフェース２０を介して、ディスプレイ６に供給して表示させる。
【００３８】
ここで、本明細書において、コンピュータ１に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしも後述するフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【００３９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００４０】
以上のような図３のコンピュータ１をベースとして構成される図２の画像表示装置では、例えば、図４Ａに示すように、現実世界において、ユーザが、ある被写体を観察する場合と同様の提示用画像データが表示される。
【００４１】
即ち、現実世界において、ユーザが、ある被写体を観察する場合には、ユーザが、その視点を移動すると、ユーザは、その移動後の視点から見た被写体を観察することができる。具体的には、現実世界では、ユーザが、その視点を移動することによって、被写体の見える部分と見えない部分が変化する。
【００４２】
図２の画像表示装置においても、図４Ｂに示すように、ユーザが、その視点を移動した場合、その視点に応じて、ディスプレイ６に表示される提示用画像データが、現実世界においてユーザの視覚に映る被写体が表示されたものとなるようになっている。即ち、図２の画像表示装置においては、図４Ｃに示すように、ユーザが視点を移動した場合に、その視点から被写体を見た場合の提示用画像データが表示されるようになっている。
【００４３】
従って、図２の画像表示装置では、ユーザが視点を移動すると、例えば、移動前の視点からでは見えなかった被写体の部分が見える状態となった提示用画像データが表示される。即ち、ユーザが、ディスプレイ６における提示用画像データに表示された被写体をのぞき込むように、視点を移動すると、現実世界において、その移動後の視点から被写体を見た場合に視覚に映るのと同様の提示用画像データ、つまり、ユーザが覗き込んだ被写体の部分が見える状態となった提示用画像データが表示される。このことから、図２の画像表示装置は、いわば、のぞけるテレビ(Television)ということができる。
【００４４】
次に、図５は、図３のコンピュータ１がプログラムを実行することにより実現される画像処理装置の機能的構成例を示している。
【００４５】
コンピュータ１（のCPU１２）がプログラムを実行することにより実現される画像処理装置は、データ変換部３０およびセンサ制御部３３で構成される。
【００４６】
データ変換部３０は、画像データ変換部３１と中間データ変換部３２から構成され、画像データベース２に記憶された原画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、その原画像データを、センサ制御部３３から供給されるユーザの視点から見える提示用画像データに変換し、ディスプレイ６に供給して表示させる。
【００４７】
即ち、データ変換部３１は、画像データベース２から原画像データを読み出し、中間データに幾何変換する。さらに、データ変換部３１は、中間データを、中間データベース３に供給して記憶させる。
【００４８】
中間データ変換部３２は、センサ制御部３３から供給されるユーザの視点に基づいて、中間データを、提示用画像データに変換し、即ち、ユーザの視点から見た画像データを再構成し、ディスプレイ６に供給して表示させる。
【００４９】
センサ制御部３３は、位置センサとしてのレシーバ４およびトランスミッタ５を制御することにより、ユーザの視点を検出し、中間データ変換部３２に供給する。即ち、センサ制御部３３は、トランスミッタ５を制御することにより、磁界を発生させる。さらに、センサ制御部３３は、レシーバ４から供給される、トランスミッタ５が発生する磁界の検出結果に基づいて、ユーザの位置を検出して、その位置を、ユーザの視点として設定し、中間データ変換部３２に供給する。
【００５０】
次に、図６のフローチャートを参照して、図５の画像処理装置（コンピュータ）１による画像処理について説明する。
【００５１】
まず最初に、ステップＳ１において、データ変換部３１は、画像データベース２から原画像データを読み出し、中間データに変換する。さらに、ステップＳ１では、データ変換部３１は、中間データを、中間データベース３に供給して記憶させ、ステップＳ２に進む。
【００５２】
ステップＳ２では、センサ制御部３３が、レシーバ４の出力から、ユーザの位置を検出し、さらに、そのユーザの位置を、ユーザの視点に設定して、中間データ変換部３２に供給する。
【００５３】
そして、ステップＳ３に進み、中間データ変換部３２は、センサ制御部３３から供給されるユーザの視点に基づいて、中間データを、提示用画像データに変換し、ステップＳ４に進む。
【００５４】
ステップＳ４では、中間データ変換部３２は、提示用画像データを、ディスプレイ６に供給して表示させ、ステップＳ５に進む。
【００５５】
ステップＳ５では、例えば、ユーザが、画像処理を終了するように、入力部１７（図３）を操作したかどうかを、CPU１２（図３）が判定する。ステップＳ５において、画像処理を終了するように、入力部１７が操作されていないと判定された場合、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００５６】
また、ステップＳ５において、画像処理を終了するように、入力部１７が操作されたと判定された場合、処理を終了する。
【００５７】
なお、図６の画像処理が、過去に実行され、これにより、画像データベース２に記憶されている原画像データを変換した中間データが、中間データベース３に、既に記憶されている場合には、ステップＳ１の処理は、スキップすることができる。
【００５８】
次に、図７は、画像データベース２に記憶させる原画像データを生成（撮像）する画像生成装置の構成例を示している。
【００５９】
カメラ４１は、図７の実施の形態では、例えば、いわゆる全方位カメラで構成され、被写体を含む全方位の画像データ（全方位画像データ）を、コントローラ４７の制御にしたがって撮像し、バッファ４２に供給する。
【００６０】
バッファ４２は、カメラ４１から供給される全方位画像データを一時記憶する。
【００６１】
全方位画像変換部４３は、バッファ４２に記憶された全方位画像データを読み出し、後述する緯度経度表現の原画像データに変換して、バッファ４４に供給する。
【００６２】
バッファ４４は、全方位画像変換部４３から供給される原画像データを一時記憶する。
【００６３】
駆動機構４５は、駆動機構制御部４６の制御にしたがい、カメラ４１で撮像する撮像対象となっている被写体を移動する。ここで、駆動機構４５によって被写体が移動されることにより、相対的に、被写体に対するカメラ４１の視点（光学中心）が、複数の位置に変えられる。
【００６４】
駆動機構制御部４６は、コントローラ４７の制御にしたがい、駆動機構を駆動する。
【００６５】
コントローラ４７は、カメラ４１の撮像タイミングや、駆動機構制御部４６による駆動機構４５の駆動速度および駆動方向などを制御する。さらに、コントローラ４７は、カメラ４１の撮像タイミング（撮像時刻）や、駆動機構４５により移動される被写体の位置（必要に応じて、被写体の姿勢を含む）を表す情報などを、ｍｕｘ（マルチプレクサ）４８に供給する。
【００６６】
マルチプレクサ４８は、バッファ４４に記憶された原画像データの各フレームに、そのフレームについてコントローラ４７が出力する情報を付加し、画像データベース２に供給して記憶させる。
【００６７】
次に、図８のフローチャートを参照して、図７の画像生成装置による画像生成処理について説明する。
【００６８】
まず最初に、コントローラ４７は、被写体を所定の位置に移動させ、その撮像を行うように、カメラ４１および駆動機構制御部４６を制御するとともに、その所定の位置と被写体の撮像タイミングを表す情報を、ｍｕｘ４８に供給する。
【００６９】
ここで、コントローラ４７は、例えば、現実世界に、３次元座標系（以下、適宜、撮像時座標系という）をあらかじめ設定し、その撮像時座標系における被写体の座標を、被写体の位置を表す情報（以下、適宜、位置情報という）として出力する。また、コントローラ４７は、被写体のある姿勢（例えば、被写体の撮像開始時の姿勢）を基準姿勢として、その基準姿勢からの被写体の変化を表す角度も、位置情報に含めて出力する。さらに、コントローラ４７は、撮像時座標系における、カメラ４１の位置（例えば、レンズ中心の位置）を表す座標と、その光軸方向（視線の方向）を表す情報も、位置情報に含めて出力する。
【００７０】
なお、後述する図９で説明するモーションベース方式や、図１１で説明するターンテーブル方式によって、被写体を動かす場合には、カメラ４１のレンズ中心（光学中心）の位置および光軸方向は、変化せず、固定となるが、このカメラ４１のレンズ中心の位置および光軸方向は、コントローラ４７にあらかじめ設定されているものとする。
【００７１】
また、上述の被写体の座標や姿勢は、実際には、被写体を移動させる駆動機構４５の状態から把握される。ここで、駆動機構４５の状態は、駆動機構４５を、駆動機構制御部４６を介して制御するコントローラ４７によって認識される。
【００７２】
ステップＳ１１において、駆動機構制御部４６は、コントローラ４７の制御にしたがい、駆動機構４５を制御することにより、被写体の位置を変化させ、ステップＳ１２に進む。ステップＳ１２では、カメラ４１が、コントローラ４７の制御にしたがい、被写体を撮像し、その結果得られる全方位画像データを、バッファ４２に供給して記憶させる。
【００７３】
そして、ステップＳ１３に進み、全方位画像変換部４３は、バッファ４２に記憶された全方位画像データを読み出し、緯度経度表現の原画像データに変換して、バッファ４４に供給する。その後、ステップＳ１４に進み、ｍｕｘ４８は、バッファ４４に記憶された原画像データのフレームに、コントローラ４７から供給される情報を付加し、画像データベース２に供給して記憶させる。
【００７４】
ステップＳ１４の処理後は、ステップＳ１５に進み、コントローラ４７は、被写体を、あらかじめ設定したすべての位置に移動したかどうか（さらには、必要に応じて、あらかじめ設定したすべての姿勢をとらせたかどうか）を判定し、まだ、すべての位置に移動していないと判定した場合、被写体を、まだ移動させていない位置に移動させ、その撮像を行うように、カメラ４１および駆動機構制御部４６を制御するとともに、被写体の移動位置と被写体の撮像タイミングを表す情報その他を、ｍｕｘ４８に供給する。そして、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００７５】
また、ステップＳ１５において、被写体を、あらかじめ設定したすべての位置に移動したと判定された場合、即ち、あらかじめ設定したすべての位置において、被写体の撮像が行われた場合、処理を終了する。
【００７６】
次に、図７の画像生成装置において、被写体を移動させる被写体の移動方式について説明する。
【００７７】
図７の画像生成装置では、被写体を移動させながら、その撮像が行われるが、この場合、その被写体の位置を精度良く制御する必要がある。そのような被写体の移動方式としては、例えば、モーションベース方式やターンテーブル方式がある。
【００７８】
モーションベース方式では、図９に示すように、駆動機構４５として、モーションベースが用いられる。そして、駆動機構４５としてのモーションベース上に被写体を載せ、例えば、被写体が併進運動するように、モーションベースが（カメラ４１に向かって）上下左右に移動される。
【００７９】
即ち、モーションベース方式では、駆動機構４５としてのモーションベースを、例えば、図１０Ａに示すように、上下方向に移動しながら、徐々に、左から右方向に移動する。ここで、図１０Ｂは、実際のモーションベースの軌跡を表している。なお、図１０Ｂにおいて、モーションベースの軌跡とともに、TC:の後に続けて表示してある数字は、カメラ４１で撮像された画像のタイムコードを表す。従って、図１０Ｂでは、モーションベースの軌跡とタイムコードとが対応付けられているので、被写体の位置（姿勢）と、その位置にある被写体を撮像した画像データのフレームとの対応関係を認識することができる。
【００８０】
図９のモーションベース方式によれば、被写体とカメラ４１との間に想定することができる開曲面としての、例えば平面上の複数の点を視点として被写体を撮像したときの、被写体からの光線の軌跡とその光線に対応する画素値である光線情報を得ることができる。なお、被写体からの光線に対応する画素値は、カメラ４１が出力する画像データから得ることができ、被写体からの光線の軌跡は、カメラ４１と被写体の位置から得ることができる。
【００８１】
ターンテーブル方式では、図１１に示すように、駆動機構４５として、ターンテーブル（台車）が用いられる。そして、駆動機構４５としてのターンテーブル上に被写体を載せ、ターンテーブルを非常に低速で上または下方向に移動させながら一定の角速度で回転させる。
【００８２】
図１１のターンテーブル方式によれば、被写体を囲む開曲面としての、例えば円柱の側面上の複数の点を視点として被写体を撮像したときの光線情報を得ることができる。
【００８３】
なお、図７の画像生成装置においては、被写体を移動させることにより、その被写体を複数の視点それぞれから見た画像データの撮像を行うようにしたが、被写体を移動させるのではなく、カメラ４１を移動させることにより、被写体を複数の視点それぞれから見た画像データの撮像を行うようにすることも可能である。
【００８４】
また、図７の画像生成装置においては、１台のカメラ４１を用い、被写体を移動させることによって、被写体を複数の視点それぞれから見た画像データの撮像を行うようにしたが、その他、例えば、異なる位置に配置した複数台のカメラを用いて被写体を撮像することにより、被写体を複数の視点それぞれから見た画像データの撮像を行うことも可能である。
【００８５】
次に、図７の画像生成装置では、カメラ４１として、全方位カメラが採用されているが、この全方位カメラによる画像の撮像と、全方位画像変換部４３による全方位画像データの変換について説明する。
【００８６】
図１２は、図７のカメラ４１としての全方位カメラの光学系の構成例を示している。
【００８７】
図１２の実施の形態では、カメラ４１は、集光部５２が、撮像部５３の上部に配置された支持体５１によって支持されることによって構成されており、集光部５２の周囲３６０度の方向を撮像することができるようになっている。
【００８８】
支持体５１は、ガラスなどの反射率の低い透明材料からなり、ガラス面での光の屈折を最小化するために、入射光がガラス面と直交するように、集光部５２の後述する焦点を中心とした球面になっている。
【００８９】
集光部５２は、例えば、双曲面形状のミラー（双曲面ミラー）で構成され、支持体５１を介して入射する周囲の光を、撮像部５３の方向に反射する。
【００９０】
撮像部５３は、例えば、ＣＣＤ(Charge Coupled Device)等の光電変換素子で構成され、そこに入射する光を電気信号としての画像データに変換する。この撮像部５３で得られる画像データが、カメラ４１の出力として、図７のバッファ４２に供給される。
【００９１】
ここで、図１２に示した全方位カメラの構成や集光の原理については、例えば、「移動ロボット用全方位視覚センサの開発」、自動化技術第２９巻第６号（１９９７年）（以下、適宜、文献１という）に開示されているため、ここでは、簡単に説明する。
【００９２】
図１３は、図１２のカメラ４１によって撮像された全方位画像データの例を示している。
【００９３】
全方位画像データは、中心点Ｃ１を中心とする２つの円の円周Ｆ１とＦ２によって区分される。なお、図１３では、円周Ｆ１の方が、円周Ｆ２よりも半径が大きいものとなっている。
【００９４】
即ち、全方位画像データは、大きい円周Ｆ１の内側で、かつ小さい円周Ｆ２の外側になっている領域Ｒ１、大きい円周Ｆ１の外側の領域Ｒ２、小さい円周Ｒ２に囲まれた領域（内側の領域）Ｒ３から構成される。
【００９５】
以上の３つの領域Ｒ１乃至Ｒ３のうち、領域Ｒ１においては、集光部５２で反射された、周囲からの光に対応する画像データが撮像されており、領域Ｒ２においては、集光部５２の外側の部分が撮像されている。また、領域Ｒ３には、撮像部５３自身が撮像されている。
【００９６】
さらに、図１３の実施の形態では、領域Ｒ１には、複数の建物が撮像されているが、円周Ｆ１に近い方向に、建物の上部が撮像され、円周Ｆ２に近い方向に、建物の下部が撮像されている。
【００９７】
次に、図１４を参照して、図１２の集光部５２を構成する双曲面について説明する。
【００９８】
集光部５２は、双曲面の一部により構成されており、双曲面の軸に対する垂直面により、双曲面を切断して得られた双曲面の凸型先頭部の凸状面に、鏡面を形成したものとなっている。
【００９９】
集光部５２には、双曲面の１つである二葉双曲面を用いることができ、二葉双曲面は、図１４に示すように、双曲線を軸（図１４では、Ｚ軸）回りに回転して得られる曲面であり、Ｚ＞０の領域に存在する下に凸の双曲面Ｈ１と、Ｚ＜０の領域に存在する上に凸の双曲面Ｈ２から構成される。
【０１００】
集光部５２には、二葉の双曲面Ｈ１とＨ２のうち、Ｚ＞０の領域にある双曲面Ｈ１を利用する。なお、以下、適宜、Ｚ軸を、双曲線の中心軸または単に軸ともいう。
【０１０１】
図１４に示したＸ，Ｙ，Ｚの３次元直交座標系において、二葉双曲面Ｈ１とＨ２は、式（１）で示される。
【０１０２】
【数１】
・・・（１）
【０１０３】
ここで、式（１）において、定数ａとｂは、双曲面Ｈ１およびＨ２の形状を定義する定数である。即ち、定数ｂは、原点Ｏから、双曲面Ｈ１（Ｈ２）とＺ軸との交点までの距離を表す。また、定数ａは、その交点を通る、ＸＹ平面と平行な平面と、双曲面Ｈ１（Ｈ２）の漸近面Ａ１との交線が描く円の半径を表す。
【０１０４】
さらに、式（１）において、定数ｃは、双曲面Ｈ１およびＨ２の焦点の位置を定義する定数である。即ち、Ｚ軸上の＋ｃの位置（０，０，＋ｃ）が、双曲面Ｈ２の焦点ｆ１となり、Ｚ軸上の−ｃの位置（０，０，−ｃ）が、双曲面Ｈ１の焦点ｆ２となる。
【０１０５】
なお、定数ａ，ｂ，ｃは、次式で示される関係を有する。
【０１０６】
【数２】
・・・（２）
【０１０７】
集光部５２が、図１４で説明したような双曲面Ｈ１で構成されるとした場合、撮像部５３は、図１５に示すように、そのレンズの中心軸（光軸）がＺ軸に一致し、かつ、レンズ中心（カメラ４１のレンズ中心）が、双曲面Ｈ１の焦点ｆ２に一致するように配置される。
【０１０８】
次に、撮像部５３が出力する全方位画像データは、上述の図１３に示したようなものとなるが、いま、この全方位画像データについて、図１６に示すように、その左上の点を原点Ｏとするとともに、左から右方向にｘ軸をとり、上から下方向にｙ軸をとった２次元直交座標系を定義する。
【０１０９】
この場合、円周Ｆ１の円および円周Ｆ２の円の中心点Ｃ１の座標を（Ｘ0 、Ｙ0 ）とするとともに、円周Ｆ１の円の半径をｒF1とし、円周Ｆ２の円の半径をｒF2とすると、円周Ｆ１の外側の領域Ｒ２を構成する点（ｘ，ｙ）は、式（３）により表され、円周Ｆ２の内側の領域Ｒ３を構成する点（ｘ，ｙ）は、式（４）により表される。
【０１１０】
【数３】
・・・（３）
【０１１１】
【数４】
・・・（４）
【０１１２】
図７の全方位画像変換部４３は、全方位画像データを緯度経度表現の原画像データに変換する前に、式（３）で表される領域Ｒ２を構成する画素値と、式（４）で表される領域Ｒ３を構成する画素値を、画素値としては一般に取り得ない値（例えば、０）に変換する。
【０１１３】
ここで、この画素値の変換にあたっては、中心点Ｃ１の座標（Ｘ0，Ｙ0）、並びに半径ｒF1およびｒF2が必要となるが、これらの情報は、カメラ４１からバッファ４２を介して、全方位画像変換部４３に供給されるようになっている。
【０１１４】
なお、ここでは、説明を簡単にするため、露出時間や、絞り、ズームは、固定であるとする。
【０１１５】
また、図１３や図１６に示した領域Ｒ１の画像データである全方位画像データについては、所望の被写体が表示されている部分等の、全方位画像データの一部分だけが必要な場合があり、この場合、全方位画像データから、その必要な部分を切り出す必要があるが、この切り出しは、全方位画像変換部４３において行われるようになっている。即ち、全方位画像変換部４３は、図１７に示すように、所望の被写体を含む領域Ｒ１１であって、中心点Ｃ１を通る半径方向の２つの直線Ｌc1とＬc2に囲まれ、かつ中心点Ｃ１を中心とする２つの円の円周Ｆc1とＦc2に囲まれる略扇形の領域Ｒ１１の画像データを切り出す。
【０１１６】
次に、全方位画像データは、図１３や図１６に示したように、中心点Ｃ１に近づくほど狭まったものとなり、逆に、中心点Ｃ１から遠ざかるほど広がったものとなるような歪みを有する。このことは、全方位画像変換部４３が全方位画像データから切り出す略扇形の画像データについても同様であり、このようは歪みのある画像データは、図５の画像処理装置において処理等するにあたって、歪みのないものに変換する必要がある。
【０１１７】
全方位カメラであるカメラ４１が出力する、上述のような全方位画像データの歪みは、中心点Ｃ１を通る円の円周方向の歪みと、半径方向の歪みとに分けて考えることができる。
【０１１８】
そこで、まず円周方向の歪みを考えてみると、図１３や図１６の全方位画像データの、中心点Ｃ１を中心とするある円の円周上においては、スケールが一定であり、従って、歪みはない。
【０１１９】
即ち、図１８は、Ｚ軸方向から見た集光部５２としての双曲面Ｈ１を示している。
【０１２０】
図１８では、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、Ｚ軸に向かい、Ｘ軸（ＸＺ平面）と角度θをつくるように、光線ｒが入射している。この光線ｒは、双曲面Ｈ１で反射され、後述する図１９に図示してある撮像部５３の受光面（画像面）（仮想スクリーン）Ａ３上の点ｐ（ｘ，ｙ）に到達する。そして、この場合、点ｐ（ｘ，ｙ）は、Ｘ軸（ＸＺ平面）との間で、光線ｒがＸ軸との間でつくるのと同一の角度θをつくる。
【０１２１】
また、Ｚ軸に向かい、Ｘ軸と角度θ’をつくるように入射する光線ｒ’を考えた場合、この光線ｒ’も、双曲面Ｈ１で反射され、受光面（画像面）Ａ３上の点ｐ’（ｘ’，ｙ’）に到達する。そして、この場合も、点ｐ’（ｘ’，ｙ’）は、Ｘ軸との間で、光線ｒ’がＸ軸との間でつくるのと同一の角度θ’をつくる。
【０１２２】
また、光線ｒとｒ’の、Ｚ軸に対する仰角（後述する）が同一であれば、光線ｒおよびｒ’は、受光面Ａ３上の、位置は異なるが、Ｚ軸から同一の距離ｒpだけ離れた点で受光される。
【０１２３】
以上から、Ｚ軸に対する仰角が同一の複数の光線それぞれは、受光面Ａ３上の、Ｚ軸から同一の距離にある点であって、Ｘ軸との間で、光線とＸ軸とがつくるのと同一の角度をつくる点で受光される。
【０１２４】
従って、Ｚ軸に対する仰角が同一で、Ｘ軸との角度が等角度の複数の光線は、受光面Ａ３の、Ｚ軸を中心とする円周上に、等間隔で入射することになるから、全方位画像データにおいて、受光面Ａ３とＺ軸との交点にあたる中心点Ｃ１を中心とする円の円周方向には、歪みは生じない。
【０１２５】
一方、図１３や図１６の全方位画像データの、中心点Ｃ１を通る半径方向の直線上においては、中心点Ｃ１に近づくほど、スケールが小さくなり、中心点Ｃ１から離れるほど、スケールが大きくなることから、全方位画像データは、半径方向の歪みを有する。
【０１２６】
即ち、図１９は、Ｘ軸方向から見た集光部５２としての双曲面Ｈ１を示している。
【０１２７】
図１９において、Ｚ軸に対して仰角０度で、焦点ｆ１に向かって入射する光線ｒ１は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、撮像部５３の受光面（画像面）Ａ３で受光される。
【０１２８】
ここで、Ｚ軸に対する仰角とは、Ｚ軸上の焦点ｆ１を通り、ＸＹ面に平行な面と、焦点ｆ１に向かって入射する光線とがつくる角度を意味する。また、撮像部５３の受光面Ａ３は、カメラ４１の焦点距離をｆとすると、焦点ｆ２から、Ｚ軸に沿って、ｆだけ離れた原点Ｏ方向に位置する。
【０１２９】
Ｚ軸に対して仰角△ｄ度で、焦点ｆ１に向かって入射する光線ｒ２は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。Ｚ軸に対して仰角２△ｄ度で、焦点ｆ１に向かって入射する光線ｒ３は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。仰角が△ｄ度ずつ大きくなる光線ｒ４，ｒ５，ｒ６も、同様にして、受光面Ａ３で受光される。
【０１３０】
このように、仰角が△ｄ度ずつ異なる光線ｒ１乃至ｒ６それぞれが、受光面Ａ３で受光される点どうしの間隔は、図１９の拡大図に示すように、等間隔にはならず、Ｚ軸に近い点どうしの間隔ほど狭くなる（Ｚ軸から離れた点どうしの間隔ほど広くなる）。即ち、仰角が大きい光線どうしの間隔ほど狭くなる（仰角が小さい光線どうしの間隔ほど広くなる）。
【０１３１】
そして、仰角が等角度の光線について、受光面Ａ３上で受光される点どうしの間隔が、上述のように、等間隔にならないことから、全方位画像データには、半径方向の歪みが生じる。
【０１３２】
従って、全方位画像データの半径方向の歪みを除去するには、仰角が等角度の光線の、受光面Ａ３上での受光点どうしの間隔が、等間隔になるようにすれば良い。
【０１３３】
そこで、いま、図２０に示すように、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、焦点ｆ１に向かって、仰角α度で入射する光線ｒを考える。
【０１３４】
この光線ｒは、図１９で説明した場合と同様に、集光部５２としての双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。
【０１３５】
この場合において、焦点ｆ２に向かう光線ｒが、焦点ｆ２を通り、ＸＹ平面に平行な平面とつくる角度をγ度とする。さらに、Ｘ軸とＹ軸とで定義される２次元直交座標系において、光線ｒが受光面Ａ３で受光された点（受光点）ｐの座標を（ｘ，ｙ）で表し、その点ｐ（ｘ，ｙ）とＺ軸との距離をＲと表す。
【０１３６】
図２０における角度αは、式（１）で表される双曲面Ｈ１において、光線ｒが反射される点の座標を求めることにより、次式で表すことができる。
【０１３７】
【数５】
・・・（５）
【０１３８】
式（５）から、ｔａｎαは、次式で求めることができる。
【０１３９】
【数６】
・・・（６）
【０１４０】
ここで、ｃｏｓγを、次式のようにおく。
【０１４１】
【数７】
・・・（７）
【０１４２】
式（６）に、式（７）を代入すると、次式が求められる。
【０１４３】
【数８】
・・・（８）
【０１４４】
式（８）を変形して、式（９）が得られる。
【０１４５】
【数９】
・・・（９）
【０１４６】
一方、ＡとＢを、それぞれ式（１０）と（１１）に示すように定義する。
【０１４７】
【数１０】
・・・（１０）
【０１４８】
【数１１】
・・・（１１）
【０１４９】
式（９）に、式（１０）および（１１）を代入することにより、式（１２）が求められる。
【０１５０】
【数１２】
・・・（１２）
【０１５１】
式（１２）は、次のような、Ｘについての２次方程式とすることができる。
【０１５２】
【数１３】
・・・（１３）
【０１５３】
式（１３）の２次方程式を解くと、次式が得られる。
【０１５４】
【数１４】
・・・（１４）
【０１５５】
従って、式（７）より、角度γは、次式によって求めることができる。
【０１５６】
【数１５】
・・・（１５）
【０１５７】
但し、式（１５）において、Ｘは、式（１４）で定義されるものであり、また、式（１４）中のＡとＢは、それぞれ、式（１０）と（１１）で定義されるものである。
【０１５８】
また、図２０の点ｐの座標から、角度γは、次式で求めることができる。
【０１５９】
【数１６】
・・・（１６）
【０１６０】
一方、図２０におけるＺ軸と点ｐ（ｘ，ｙ）との距離Ｒは、√（ｘ2＋ｙ2）で表されるから、式（１６）は、次式のように変形することができる。
【０１６１】
【数１７】
・・・（１７）
【０１６２】
以上から、式（１５）によって、角度γを求め、その角度γを用いて、式（１７）を計算することにより、Ｚ軸に対して仰角α度で、焦点ｆ１に向かって入射する光線ｒが、受光面Ａ３において受光される点ｐ（ｘ，ｙ）のＺ軸からの距離Ｒを算出することができる。
【０１６３】
従って、Ｚ軸に対する仰角の所定の範囲（例えば、０度乃至８０度など）を等角度△ｄに分割し、各仰角△ｄ，２△ｄ，３△ｄ，・・・で入射する光線が、受光面Ａ３上で受光される各点ｐ１，ｐ２，ｐ３・・・について、Ｚ軸からの距離Ｒp1，Ｒp2，Ｐp3・・・を求めておき、隣接する点どうしの距離の差｜Ｒp1−Ｒp2｜，｜Ｒp2−Ｐp3｜，・・・が、一定値になるように、カメラ４１が出力する全方位画像データを変換することにより、その半径方向の歪みを除去した全方位画像データを得ることができることになる。
【０１６４】
なお、この歪み除去のための全方位画像データの変換は、図７の全方位画像変換部４３が行う。
【０１６５】
即ち、全方位画像変換部４３は、図２１に示すように、カメラ４１から、バッファ４２を介して、上述した半径方向の歪みがある全方位画像データとともに、中心点Ｃ１、円周Ｆ１の円の半径ｒF1、および円周Ｆ２の円の半径ｒF2を受信する。
【０１６６】
そして、全方位画像変換部４３は、中心点Ｃ１を中心とする半径ｒF1の円の円周Ｆ１と、中心点Ｃ１を中心とする半径ｒF2の円の円周Ｆ２とで囲まれる領域Ｒ１内において、中心点Ｃ１を中心とする、上述のＲp1，Ｒp2，Ｐp3・・・を半径とする複数の同心円を描く。さらに、全方位画像変換部４３は、その複数の同心円の円周を等分する、中心点Ｃ１を通る複数の直線を描く。これにより、全方位画像変換部４３は、領域Ｒ１において、複数の同心円と、複数の直線とで形成される多数の交点を得る。
【０１６７】
ここで、上述の複数の同心円と、複数の直線とで形成される多数の交点を、以下、適宜、変換対象点という。
【０１６８】
上述したことから、変換対象点を、その隣接するものどうしが等間隔になるように配置することで、歪みのある全方位画像データを、その歪みを除去した画像データに変換することができる。
【０１６９】
そこで、いま、図２１における、図１７に示したのと同一の略扇形の領域Ｒ１１の画像データを、歪みのないものに変換することを考える。
【０１７０】
この領域Ｒ１１内には、図２２Ａに示すように、中心点Ｃ１を中心とする複数の同心円の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれと、中心点Ｃ１を通る複数の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれとの交点である多数の変換対象点が存在する。
【０１７１】
全方位画像変換部４３は、領域Ｒ１１内に存在する多数の変換対象点を、図２２Ｂに示すように、隣接するものどうしが等間隔になるように配置する。
【０１７２】
即ち、全方位画像変換部４３は、図２２Ａの円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれに対応する、等間隔に配置された横方向の直線Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４，Ｌ２５，Ｌ２６と、図２２Ａの直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれに対応する、等間隔に配置された縦方向の直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４，Ｌ１５，Ｌ１６を想定し、その横方向の直線Ｌ２１乃至Ｌ２６それぞれと、縦方向の直線Ｌ１１乃至Ｌ１６それぞれとの交点上に、対応する変換対象点を変換する（割り当てる）。
【０１７３】
これにより、例えば、図２２Ａにおいて、円弧Ｆ１４と、直線Ｌ５との交点である変換対象点ｐ１１は、図２２Ｂの、円弧Ｆ１４に対応する直線Ｌ２４と、直線Ｌ５に対応する直線Ｌ１５との交点ｐ１２に変換される。
【０１７４】
なお、カメラ４１を囲む、表面が鏡の球を考えると、全方位画像データには、その球面上に映る、球の外側の景色が表示される。従って、例えば、いま、そのカメラ４１を囲む球を地球に見立てると、全方位画像変換部４３において得られる画像データは、その縦軸と横軸が、それぞれ地球の緯度と経度に対応するものとなっている。そこで、本実施の形態では、全方位画像変換部４３が出力する、歪みが除去された全方位画像データを、緯度経度表現の画像データと呼んでいる。
【０１７５】
ところで、全方位画像変換部４３は、上述のように、変換対象点の位置を変換（変更）することによって、半径方向の歪みを有する画像データ（全方位画像データ）を、その歪みを除去した画像データ（緯度経度表現の画像データ）に変換するが、変換対象点は、上述したように、中心点Ｃ１を中心とする円と、中心点Ｃ１を通る直線との交点である。従って、変換対象点は、撮像部５３（図１２）の受光面Ａ３（図１９、図２０）を構成する画素の画素中心に一致するとは限らず、むしろ、一般には、一致しないことが多い。
【０１７６】
このように、変換対象点は、画素中心からずれているのが一般的であるから、全方位画像変換部４３において、変換対象点の位置を変換する前に、その変換対象点における画素値を求める必要がある。
【０１７７】
そこで、全方位画像変換部４３は、変換対象点における画素値を、例えば、次のようにして求めるようになっている。
【０１７８】
即ち、いま、図２２の変換対象点ｐ１１が、図２３に示すように、受光面Ａ３上の隣接する２×２の４画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素中心ＣP1，ＣP2，ＣP3，ＣP4を頂点とする長方形（正方形）の範囲内にあるとする。なお、図２３の実施の形態においては、上下、または左右方向に隣接する画素中心どうしの距離が１であるとしてある。
【０１７９】
そして、変換対象点ｐ１１が、画素中心ＣP1よりも距離αだけ右方向の、距離βだけ下方向の点である場合、全方位画像変換部４３は、例えば、次式で求められる画素値Ｓsを、変換対象点ｐ１１の画素値とする。
【０１８０】
【数１８】
・・・（１８）
【０１８１】
但し、式（１８）において、Ｓa，Ｓb，Ｓc，Ｓdは、画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素値を表す。また、式（１８）において、αおよびβは、０以上１以下の範囲の値で、変換対象点ｐ１１の位置に対応するものである。
【０１８２】
なお、図１２の実施の形態では、集光部５２を双曲面ミラーで構成するようにしたが、集光部５２には、その他、例えば、球面ミラーなどを採用することも可能である。
【０１８３】
また、図７の実施の形態では、カメラ４１として、全方位画像データを撮像することができる全方位カメラを採用したが、カメラ４１としては、その他、例えば、魚眼レンズを装着したビデオカメラや、一般的な（通常の）レンズのビデオカメラなどを採用することも可能である。
【０１８４】
ここで、一般的なレンズのビデオカメラでは、そのビデオカメラの光軸と直交し、その重心が光軸上にある長方形の平面であって、かつビデオカメラのレンズ中心と被写体との間にある平面を、仮想的なスクリーンである仮想スクリーンとすれば、被写体上の各点からレンズ中心に入射する光線が仮想スクリーン上に形成する画像データが撮像される。そして、その際、仮想スクリーンに入射する光線は、理想的には、何らの変換もされないから、２次元平面である仮想スクリーンには、３次元空間である現実世界の状況が、いわば忠実に映し出される。
【０１８５】
しかしながら、全方位カメラや魚眼レンズを装着したビデオカメラでは、全方位や広角の撮像が可能であるが、仮想スクリーンに入射する光線が、いわば非線形な変換を受けるため、即ち、例えば、全方位カメラについて言えば、図１９に示したように、光線が、双曲面ミラー（を表す双曲面Ｈ１）で反射されるため、仮想スクリーンには、現実世界の状況が歪んだ形で映し出された全方位画像データが形成される。
【０１８６】
そのため、図７の全方位画像変換部４３では、そのような歪んだ全方位画像データが、一般的なレンズのカメラで撮像した場合と同様の緯度経度表現の画像データに変換されるが、いま、この緯度経度表現の画像データを、一般的なレンズのカメラで撮像したものとすると、この緯度経度表現の画像データには、全方位カメラの光軸を中心とするすべての経度方向が表示されているから、一般的なレンズのカメラについての仮想スクリーンは、左右方向（経度方向）に無限の長さを有するものとなる。
【０１８７】
また、全方位カメラでは、緯度方向については、理想的には、０度から−９０度の方向（図１９において、ＸＹ平面から下側の任意の点から原点に向かう方向）が撮像されるから、緯度経度表現の画像データを、一般的なレンズのカメラで撮像したものとした場合には、その仮想スクリーンは、下方向（マイナスの緯度方向）に無限の長さを有するものとなる。
【０１８８】
ところで、全方位カメラにおいて撮像された全方位画像データを変換した緯度経度表現の画像データは、図２の画像表示装置において画像を表示するにあたって、そのすべてを必要としない。即ち、図２の画像表示装置において画像を表示するにあたっては、緯度経度表現の画像データのうち、注目している被写体が映っている部分を含むある程度の範囲の画像データがあれば、基本的には、十分である。
【０１８９】
そこで、以下においては、一般的なレンズのカメラで被写体を撮像した場合に、その仮想スクリーンに映る範囲の画像データを、緯度経度表現の画像データから切り出し、その切り出された画像データを対象に処理が行われるものとする。ここで、この切り出しは、例えば、図７の全方位画像変換部４３に行わせることが可能である。
【０１９０】
さらに、以下においては、カメラ４１の光軸やレンズ中心というときには、カメラ４１が一般的なレンズのカメラであるとして、その一般的なレンズのカメラの光軸やレンズ中心を意味するものとする。従って、上述したように、緯度経度表現の画像データから切り出された画像データについては、その画像データを、一般的なレンズのカメラで撮像したと仮定した場合の、そのカメラの光軸やレンズ中心が、カメラ４１の光軸やレンズ中心となる。
【０１９１】
次に、図５の画像処理装置によれば、データ変換部３０において、画像データベース２に記憶された画像データが変換されることにより、図４で説明したように、ユーザの視点から見た画像データ、即ち、現実世界においてユーザが見ることのできる被写体が表示された画像データが、ディスプレイ６に表示される。
【０１９２】
このように、データ変換部３０において、現実世界においてユーザが見ることのできる被写体が表示された画像データが得られるのは、次の原理による。
【０１９３】
即ち、画像データベース２には、図７の画像生成装置が出力する、複数の視点（カメラ４１の視点）から撮像された緯度経度表現の原画像データが記憶されている。このことは、図２４に示すように、ある曲面Ω上の複数の点を視点として、被写体を撮像した画像データが、画像データベース２に記憶されていると見ることができる。
【０１９４】
いま、曲面Ωの、被写体と反対側のある位置に視点Ｐを設定し、その視点Ｐから被写体を見た場合の視覚に映る画像を考えてみる。
【０１９５】
なお、視点Ｐは、その視点Ｐと、被写体上の任意の点とを結ぶ直線が、曲面Ωと交わる位置にとるものとする。
【０１９６】
また、ここでは、説明を簡単にするために、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが、画像データベース２に記憶されているものとするとともに、ユーザが被写体を観測しようとする空間（媒質）内において、光線は直進し、減衰しないものとする。
【０１９７】
視点Ｐから被写体を見たときの光線の軌跡（被写体から視点Ｐに入射する光線の軌跡）は、視点Ｐと被写体上の各点とを結ぶ直線によって表現することができる。この光線は、必ず、曲面Ωと交わるから、その光線と一致する軌跡の光線に対応する画素値（被写体Ｐから被写体を見た場合の光線情報と同一の光線情報）が、画像データベース２には、必ず存在する。
【０１９８】
即ち、いま、視点Ｐと被写体上のある点Ｒiとを結ぶ直線Ｌiに注目し、その直線Ｌiと曲面Ωとの交点をＱiと表す。いまの場合、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが、画像データベース２に記憶されているから、点Ｑiを視点として被写体を撮像した画像データは、画像データベース２に記憶されている。さらに、いまの場合、光線は直進し、かつ減衰しないから、被写体上の点Ｒiから、曲面Ω上の点Ｑiに入射する光線と、視点Ｐに入射する光線とは、同一である。従って、視点Ｐから被写体を見た場合、その被写体上の点Ｒiから視点Ｐに向かう光線に対応する画素値は、被写体上の点Ｒiから曲面Ω上の点Ｑiに向かう光線に対応する画素値に一致し、この点Ｒiから点Ｑiに向かう光線に対応する画素値は、画像データベース２に記憶されている。
【０１９９】
以上から、視点Ｐから、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができる。
【０２００】
視点Ｐから、被写体上の他の点を見たときの画素値も、同様に、曲面Ω上の点を視点として撮像された画像データから得ることができるから、結果として、曲面Ω上の任意の点を視点として撮像された画像データが存在すれば、その画像データを構成する画素の画素値から、視点Ｐと被写体とを結ぶ光線情報と同一の光線情報の光線に対応する画素値を選択することにより、視点Ｐから被写体を見た画像データが得られることになる。
【０２０１】
ここで、図２４に示した曲面Ωの形状は、特に限定されるものではなく、任意の形状のものを採用することができる。従って、曲面Ωは、図２５に示すように、平面であってもかまわない。
【０２０２】
また、曲面Ωは、開曲面であっても、閉曲面であってもかまわない。但し、曲面Ωが開曲面である場合には、視点Ｐは、上述したように、その視点Ｐと、被写体上の任意の点とを結ぶ直線が、曲面Ωと交わる位置にとる必要がある。
【０２０３】
さらに、曲面Ωが、被写体を囲む閉曲面である場合には、上述した原理から、次のことが言える。
【０２０４】
即ち、被写体を囲む閉曲面上のすべての点において、すべての方向の光線の光線情報（光線の軌跡とその光線に対応する画素値）が得られている場合には、その閉曲面の外側の任意の位置から見た画像を再構成することができる。
【０２０５】
なお、上述の場合には、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが得られているものとしたが、被写体を撮像するときの視点は、曲面Ω上にない点であってもかまわない。即ち、例えば、曲面Ωが、被写体を囲む閉曲面であるとした場合、その閉曲面の外側の任意の位置から見た画像を再構成するには、原理的には、閉曲面上の任意の点において、すべての方向の光線情報が存在すればよく、その光線情報は、閉曲面上の点を視点として撮像された画像のものであっても、また、閉曲面上の点以外の点を視点として撮像された画像のものであっても良い。このことは、曲面Ωが開曲面であっても同様である。
【０２０６】
図５のデータ変換部３０は、以上のように、画像データベース２に記憶された原画像データを撮像したときの、所定の曲面Ωを通る光線情報のうち、ユーザの視点に向かう光線情報を用いて、提示用画像データ（ユーザの視点から見た画像データ）を再構成することにより、原画像データを提示用画像データに変換する。
【０２０７】
即ち、図５のデータ変換部３０は、ユーザの視点から見た画像が表示される仮想的なスクリーン（仮想スクリーン）を、ユーザの視点と被写体との間に設定し、ユーザの視点と、仮想スクリーンの画素とを結ぶ直線と同一軌跡の光線を検出する。さらに、データ変換部３０は、検出した光線に対応する画素値を、仮想スクリーンの画素の画素値とし、以上の処理を、仮想スクリーン上のすべての画素値について行うことにより、仮想スクリーン上に、ユーザの視点から見た画像データ（提示用画像データ）を再構成する。
【０２０８】
従って、例えば、いま、被写体を囲む閉曲面の外側の任意の位置を視点とした提示用画像データを再構成するとした場合には、その閉曲面上のすべての点における、すべての方向の光線情報があれば良い。なお、理論上は、閉曲面上の点も、その点における方向も無限に存在するから、実際には、閉曲面上の点も、その点における方向も有限個に制限されることになる。
【０２０９】
ところで、閉曲面上のすべての点における、すべての方向の光線情報を用いて、その閉曲面の外側の任意の位置を視点とした提示用画像データを再構成する場合、視点が閉曲面上にある場合には、その視点と一致する閉曲面上の点を通る光線の光線情報を、そのまま用いて、提示用画像データを再構成することができる。
【０２１０】
しかしながら、視点が閉曲面上にない場合には、その視点と、その視点について設定された仮想スクリーン上の画素とを結ぶ直線が、閉曲面と交わる点を、仮想スクリーン上のすべての画素について求める必要があり、この場合、例えば、画像処理装置としてのコンピュータ１（図３）を構成するCPU１２の性能等によっては、提示用画像データを実時間で表示するのが困難となることがある。
【０２１１】
そこで、データ変換部３０は、画像データ変換部３１において、画像データベース２に記憶された原画像データを、その画素に入射した光線に対応する画素値からなる所定のフォーマットの画像データである中間データに変換しておき、中間データ変換部３２において、その中間データを、ユーザの視点から見た提示用画像データに変換するようにすることで、提示用画像データを実時間で表示することを可能としている。
【０２１２】
即ち、画像データ変換部３１は、原画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、原画像データの所定の画素の画素値とした画像データを、中間データとして生成する。
【０２１３】
従って、曲面Ωとして、例えば、図２６に示すように、閉曲面としての球面を考え、その球面上のある点Ｑにおける、ある方向の光線に注目した場合、画像データ変換部３１では、その注目光線ついて、所定の点としての、例えば、原点を通り、注目光線と直交する平面α上において、注目光線が通る点Ｐxが画素とされ、さらに、その画素値が、注目光線に対応する画素値に設定される。画像データ変換部３１では、球面上の点Ｑ以外の点における、同一方向の光線についても同様にして、平面α上に画素とその画素値が設定され、これにより、平面α上には、同一方向の光線に対応する画素値からなる画像データが形成される。
【０２１４】
ここで、いま、図２６において、球面の中心を原点とする３次元座標系を考えるとともに、球面上の点Ｑにおける、ある方向の光線と同一方向の、原点を通るベクトルを、ベクトルｖと表す。さらに、ベクトルｖを、３次元座標系におけるｘｙ平面に射影して得られるベクトルを、ベクトルｖ’と表すとともに、ベクトルｖとｖ’がつくる角度θを緯度と、ｘ軸とベクトルｖ’がつくる角度φを経度と、それぞれいうものとする。ベクトルｖの向きは、この緯度θと経度φで規定される。
【０２１５】
上述した平面αには、ベクトルｖと同一方向の光線に対応する画素値からなる画像データが形成されるが、この平面α上に形成される画像データは、ベクトルｖの方向の無限遠を視点として見た場合の画像データとなる。
【０２１６】
データ変換部３１は、各値の緯度θと経度φによって規定される向きのベクトルｖと直交し、原点を通る平面について、同様の画像データを構成し、中間データとして出力する。
【０２１７】
次に、図２７のフローチャートと、図２８を参照して、図５の画像データ変換部３１が、図６のステップＳ１で行う画像データ変換処理、即ち、原画像データを中間データに変換する処理について説明する。
【０２１８】
まず最初に、ステップＳ２１において、画像データ変換部３１は、画像データベース２に記憶された原画像データを撮像したときのカメラ４１の視点（以下、適宜、撮像ポイントともいう）から、注目撮像ポイントＰcとするものを選択する。
【０２１９】
即ち、図７で説明した画像生成装置においては、カメラ４１を固定し、被写体を移動しながら、原画像データの撮像が行われるが、これは、相対的には、被写体を固定し、カメラ４１を移動しながら、原画像データの撮像が行われていることと等価である。即ち、原画像データは、カメラ４１の視点（撮像ポイント）を変えながら、被写体の撮像を行ったものであり、多数の撮像ポイントが存在する。ステップＳ２１では、その多数の撮像ポイントの中から、まだ注目撮像ポイントとしていない任意の撮像ポイントが、注目撮像ポイントＰcとして選択される。
【０２２０】
ここで、画像データベース２には、上述したように、原画像データの各フレームとともに、その原画像データを撮像したときの、被写体の位置、並びにカメラ４１の位置および光軸方向を表す情報も記憶される。データ変換部３１は、これらの情報に基づき、各フレームの原画像データについて、例えば、撮像時座標系における、被写体の位置（姿勢を含む）を固定した場合のカメラ４１の位置としての撮像ポイントを求め、その中から、まだ注目撮像ポイントとしていない撮像ポイントを、注目撮像ポイントＰcとして選択する。
【０２２１】
その後、ステップＳ２２に進み、画像データ変換部３１は、注目撮像ポイントＰcについて、仮想スクリーンを設定し、仮想スクリーン上の画素のうち、まだ注目画素として選択していない画素を、注目画素Ｐsとして選択する。
【０２２２】
即ち、画像データ変換部３１は、図２８に示すように、注目撮像ポイントＰcについて、その注目撮像ポイントから、カメラ４１の光軸方向に向かって、所定の距離Ｌだけ離れた位置に、カメラ４１の光軸と直交する長方形状の平面を、仮想スクリーンとして設定する。そして、画像データ変換部３１は、仮想スクリーン上の画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素Ｐsとして選択する。
【０２２３】
ここで、画像データ変換部３１では、注目撮像ポイントにおけるカメラ４１の光軸方向は、画像データベース２に記憶されている情報から認識される。
【０２２４】
また、仮想スクリーンの横と縦の画素数は、注目撮像ポイントＰsから撮像された原画像データのフレームの横と縦の画素数にそれぞれ一致し、仮想スクリーン上には、注目撮像ポイントＰsから撮像された原画像データが表示されているものと考える。
【０２２５】
ステップＳ２２の処理後は、ステップＳ２３に進み、画像データ変換部３１は、注目画素Ｐsを始点とし、注目撮像ポイントＰcを終点とするベクトルｖを求め、ステップＳ２４に進む。
【０２２６】
ここで、図２８の実施の形態では、ベクトルｖは、撮像時座標系において、ｘｚ平面内のベクトルであって、ｘｙ平面からｚ軸方向に角度θの方向を有するものとなっている。即ち、図２８の実施の形態では、ベクトルｖは、緯度がθで、経度が０度の方向のベクトルになっている。
【０２２７】
また、図２８の実施の形態では、注目撮像ポイントＰcにおけるカメラ４１の光軸が、撮像時座標系の原点を通るものとなっているが、カメラ４１の光軸は、必ずしも、撮像時座標系の原点を通る必要はない。
【０２２８】
さらに、図２８では、被写体を囲む曲面Ωとして、閉曲面である、原点を中心とする球面を示してある。
【０２２９】
ステップＳ２４では、画像データ変換部３１は、ベクトルｖと直交し、撮像時座標系上の所定の点としての、例えば原点を通る平面αを求め、ステップＳ２５に進む。
【０２３０】
ここで、平面αは、必ずしも、原点を通るものである必要はない。
【０２３１】
ステップＳ２５では、画像データ変換部３１は、ステップＳ２３で求めたベクトルｖの緯度θおよび経度φを求め、即ち、ベクトルｖとｘｙ平面とがつくる角度である緯度θ、およびベクトルｖとｘｚ平面とがつくる角度である経度φを求め、ステップＳ２６に進む。
【０２３２】
ここで、ベクトルｖの緯度θおよび経度φは、ステップＳ２４で求められた平面αの法線方向の緯度θおよび経度φということもできる。従って、所定の点としての原点を通る平面αは、その緯度θと経度φによって特定することができるので、この緯度θと経度φによって特定される平面αを、以下、適宜、平面Ｉ（θ，φ）とも記述する。
【０２３３】
なお、緯度θの符号については、ｚ軸の正側と負側を、それぞれ正または負とする。また、経度φの符号についても、ｙ軸の正側と負側を、それぞれ正または負とする。
【０２３４】
ステップＳ２６では、画像データ変換部３１は、図２８に示すように、注目撮像ポイントＰcと注目画素Ｐsとを結ぶ直線Ｌpを求める。さらに、ステップＳ２６では、画像データ変換部３１は、直線Ｌpと、ステップＳ２４で求めた平面α（Ｉ（θ，φ））との交点Ｐxを求め、ステップＳ２７に進み、その点Ｐxの、平面α上における座標（ｘα，ｙα）を求める。
【０２３５】
ここで、平面α上における点Ｐxの座標（ｘα，ｙα）は、次のようにして求めることができる。
【０２３６】
即ち、いま、平面α上に、２次元座標系を考え、そのｘ軸方向とｙ軸方向の、撮像時座標系における単位ベクトルを、それぞれｖxとｖyと表す。
【０２３７】
この場合、点Ｐxのｘ座標ｘαとｙ座標ｙαは、それぞれ、ｖx・ＯＰs（またはｖx・ＯＰc）と、ｖy・ＯＰs（またはｖy・ＯＰc）を計算することによって求めることができる。但し、・は、内積を表し、ＯＰs（ＯＰc）は、撮像時座標系の原点を始点とし、注目画素Ｐs（注目撮像ポイントＰc）を終点とするベクトルを表す。
【０２３８】
なお、単位ベクトルｖxは、例えば、式ｖx・ｖ＝０を満たし、かつ式ｖx・Ｚv＝０を満たす、長さが１のベクトルである。また、単位ベクトルｖyは、例えば、式ｖy・ｖ＝０を満たし、かつ式ｖy・ｖx＝０を満たす、長さが１のベクトルである。但し、ベクトルＺvは、撮像時座標系におけるｚ軸方向の単位ベクトル（＝（０，０，１））を表す。
【０２３９】
ここで、注目撮像ポイントＰcからのカメラ４１の光軸が、撮像時座標系の原点を通らない場合は、例えば、その光軸と平面αとの交点の、平面α上の２次元座標系の座標の分だけ、点Ｐxの座標（ｘα，ｙα）をオフセットする必要がある。
【０２４０】
即ち、上述のようにして、平面α上における点Ｐxの座標（ｘα，ｙα）を求めた場合、その点Ｐxの座標（ｘα，ｙα）は、注目撮像ポイントＰcからのカメラ４１の光軸と平面αとの交点を原点とするものであり、このため、光軸が平面αと交わる点が異なる撮像ポイントを通る同一方向の光線については、同一平面α上に、原点が異なる位置にある２次元座標系が定義されてしまうことになる。
【０２４１】
そこで、ここでは、同一平面α上に定義される２次元座標系の原点を、所定の点としての、例えば、撮像時座標系の原点に固定するため、注目撮像ポイントＰcからのカメラ４１の光軸が、撮像時座標系の原点を通らない場合は、画像データ変換部３１は、ステップＳ２７において、その光軸と平面αとの交点の、平面α上の２次元座標系の座標の分だけ、点Ｐxの座標をオフセットする。
【０２４２】
具体的には、画像データ変換部３１は、上述したようにして求められた点Ｐxの座標を、（ｘα’，ｙα’）と表すとともに、注目撮像ポイントＰcからのカメラ４１の光軸と平面αとの交点の、平面α上の２次元座標系の座標を、（ｘα 0，ｙα 0）と表すと、座標（ｘα’，ｙα’）と（ｘα 0，ｙα 0）とを加算した座標（ｘα’＋ｘα 0，ｙα’＋ｙα 0）を、平面α上における点Ｐxの座標（ｘα，ｙα）として、最終的に求める。
【０２４３】
その後、ステップＳ２８に進み、画像データ変換部３１は、仮想スクリーン上の原画像データを構成する画素のうちの注目画素Ｐsの画素値を、平面α上の点Ｐxの位置の画素の画素値とする。即ち、いま、平面α上の点Ｐxの位置の画素の画素値を、平面αを表すＩ（θ，φ）と、平面α上の点Ｐxの座標を表す（ｘα，ｙα）とによって、Ｉ（θ，φ）（ｘα，ｙα）と表すこととすると、ステップＳ２８において、画像データ変換部３１は、平面α上の点Ｐxの位置の画素の画素値Ｉ（θ，φ）（ｘα，ｙα）に、注目画素Ｐsの画素値を設定する。これにより、注目画素Ｐsは、ベクトルｖと直交する平面Ｉ（θ，φ）に正射影され、その正射影された平面Ｉ（θ，φ）の点Ｐx（＝（ｘα，ｙα））の位置の画素の画素値Ｉ（θ，φ）（ｘα，ｙα）として、注目画素Ｐsの画素値が設定される。ここで、この注目画素Ｐsを平面Ｉ（θ，φ）に正射影した画素Ｐxの画素値Ｉ（θ，φ）（ｘα，ｙα）が、中間データである。
【０２４４】
そして、ステップＳ２９に進み、画像データ変換部３１は、注目撮像ポイントＰcに対して設定された仮想スクリーン上の（原画像データを構成する）すべての画素を注目画素としたかどうかを判定し、まだ、注目画素としていないものがあると判定した場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０２４５】
また、ステップＳ２９において、仮想スクリーン上のすべての画素を注目画素としたと判定された場合、ステップＳ３０に進み、画像データ変換部３１は、画像データベース２に記憶された原画像データのすべてのフレームの撮像ポイントを、注目撮像ポイントとしたかどうかを判定する。
【０２４６】
ステップＳ３０において、画像データベース２に記憶された原画像データの各のフレームの撮像ポイントのうち、まだ、注目撮像ポイントとしていないものがあると判定された場合、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０２４７】
また、ステップＳ３０において、画像データベース２に記憶された原画像データの各のフレームの撮像ポイントすべてを、注目撮像ポイントとしたと判定された場合、処理を終了する。
【０２４８】
以上の画像データ変換処理により、理想的には、各値の緯度θと経度φで定義される平面Ｉ（θ，φ）上に、その緯度θと経度φで規定される方向の無限遠から被写体を見た場合の画像データが生成され、この画像データが、中間データとして、中間データベース３に供給されて記憶される。
【０２４９】
図２９は、図２７の画像データ変換処理により生成される中間データのフォーマットを模式的に表している。
【０２５０】
図２７の画像データ変換処理によって生成される中間データは、平面Ｉ（θ，φ）上に、その緯度θと経度φで規定される方向の無限遠から見た被写体を映した画像データとなっており、従って、各値の緯度θおよび経度φごとに存在するので、図２９Ａに示すような、緯度θと経度φの値で区切られるテーブル（以下、適宜、緯度経度テーブルという）で表現することができる。
【０２５１】
ここで、図２９Ａの実施の形態では、緯度θが−９０度から９０度の範囲の１度刻みで、経度φが−１８０乃至１７９度の範囲の１度刻みで、それぞれ変化する平面Ｉ（θ，φ）ごとに、各緯度θと各経度φで規定される方向の無限遠から被写体を見た場合の画像データが、緯度経度テーブルの各マス目に登録されている。なお、緯度θや経度φを、何度刻みとするかは、特に限定されるものではない。また、緯度θや経度φの刻み幅は、一定であっても良いし、可変であっても良い。さらに、上述のように、緯度θと経度φが整数値のみを取り得る場合には、図２７の画像データ変換処理において緯度θと経度φを求める演算を行うにあたり、小数点以下は、例えば、切り上げ、切り捨て、または四捨五入される。
【０２５２】
図２９Ａの緯度経度テーブルの各マス目には、そのマス目に対応する緯度θと経度φで規定される方向の無限遠から被写体を見た場合の画像データ、即ち、平面Ｉ（θ，φ）上に正射影された原画像データの画素の画素値が、その平面Ｉ（θ，φ）上に定義された２次元座標系の各ｘ座標ｘαと各ｙ座標ｙαごとに登録されている。即ち、図２９Ａの緯度経度テーブルの各マス目には、例えば、図２９Ｂに示すように、平面Ｉ（θ，φ）上に定義された２次元座標系のｘ座標ｘαとｙ座標ｙαの値で区切られたテーブル（以下、適宜、画素値テーブルという）が登録されており、その画素値テーブルのマス目には、そのマス目に対応するｘ座標ｘαとｙ座標ｙαで規定される点に正射影された原画像データの画素の画素値ｐ（ｘα，ｙα）が登録されている。
【０２５３】
なお、図２９Ｂにおいて、ｘ1とｙ1は、原画像データの画素を平面Ｉ（θ，φ）上に正射影した点の、最小のｘ座標とｙ座標を、それぞれ表す。また、ｘ2とｙ2は、原画像データの画素を平面Ｉ（θ，φ）上に正射影した点の、最大のｘ座標とｙ座標を、それぞれ表す。さらに、図２９Ｂでは、ｘ座標およびｙ座標が１刻みになっているが、この刻み幅も、緯度θおよび経度φの刻み幅と同様に、特に限定されるものではない。
【０２５４】
ここで、図３０に、図２９Ａの緯度経度テーブルの各マス目に登録されている、無限遠から被写体を見た場合の画像データの模式図を示す。なお、図３０の実施の形態においては、被写体が、果物が入っている籠になっている。
【０２５５】
図２９Ａの緯度経度テーブルの各マス目に登録されている、無限遠から見た場合の画像データは、カメラで撮影された画像データそのものと同様の性質を有しており、従って、カメラで撮影された画像データに対して、その性質（例えば、相関性など）を利用して施される画像処理（例えば、エッジ強調やノイズ除去など）と同一の画像処理を施すことができる。
【０２５６】
ところで、図２９Ａの緯度経度テーブルの各マス目に登録されている画素値テーブル（図２９Ｂ）における画素値からなる画像データは、そのマス目に対応する緯度θと経度φで規定される平面Ｉ（θ，φ）上に正射影された原画像データの画素の画素値から構成されるため、画像データベース２に記憶される原画像データによっては、画素値が存在しない場合がある。
【０２５７】
即ち、平面Ｉ（θ，φ）上に原画像データの画素が正射影される範囲（以下、適宜、有効範囲という）は、図２９Ｂに示したように、ｘ座標がｘ1乃至ｘ2で、ｙ座標がｙ1乃至ｙ2で規定される範囲であり、この範囲における画素値が、画素値テーブルに登録されている。しかしながら、平面Ｉ（θ，φ）のすべての点（例えば、ｘ座標がｘ1乃至ｘ2の範囲の整数値で、ｙ座標がｙ1乃至ｙ2の範囲の整数値で、それぞれ表されるすべての点）に、原画像データの画素が正射影されるとは限らず、正射影される原画像データの画素が存在しない場合があり得る。
【０２５８】
従って、平面Ｉ（θ，φ）の有効範囲内の画素において、画素値が存在しない場合があり、この場合、その有効範囲の画像データ、即ち、平面Ｉ（θ，φ）に対応する画素値テーブル（図２９Ｂ）における画素値からなる画像データは、例えば、図３１Ａに示すように、その一部の画素の画素値が欠落したものとなる。
【０２５９】
ここで、図３１Ａの実施の形態においては、黒色で示す縞模様状に、画素値が欠落している。
【０２６０】
このように、平面Ｉ（θ，φ）の有効範囲、つまり画素値テーブルに、画素値の欠落が生じている場合には、その画素値を補間する画素値補間処理を行い、これにより、図３１Ａに示した画素値が欠落している画素値テーブル（に登録された画素値で構成される画像）を、図３１Ｂに示すような、画素値の欠落のない画素値テーブルに変換することができる。
【０２６１】
画素値テーブルについての画素値補間処理は、例えば、次のようにして行うことが可能である。
【０２６２】
即ち、例えば、いま、平面Ｉ（θ，φ）の有効範囲のある点（ｘα，ｙα）における画素値Ｉ（θ，φ）（ｘα，ｙα）が欠落している場合において、緯度または経度が僅かにずれた平面Ｉ（θ’，φ’）の有効範囲の、点（ｘα，ｙα）と同一座標の点における画素値Ｉ（θ’，φ’）（ｘα，ｙα）が存在するときには、欠落している画素値Ｉ（θ，φ）（ｘα，ｙα）は、平面Ｉ（θ’，φ’）上の画素値Ｉ（θ’，φ’）（ｘα，ｙα）で補間することができる。
【０２６３】
なお、θ’は、例えば、経度が整数値のみをとる場合には、θ±１やθ±２などとする。
【０２６４】
以上のような画素値補間処理は、図２７の画像データ変換処理が終了した後、例えば、画像データ変換部３１に行わせることができる。
【０２６５】
そこで、図３２のフローチャートを参照して、画像データ変換部３１が行う画素値補間処理について説明する。なお、ここでは、説明を簡単にするために、緯度θ、経度φ、平面Ｉ（θ，φ）の有効範囲のｘ座標ｘα、ｙ座標ｙαは、いずれも整数値のみをとるものとする。
【０２６６】
画素値補間処理では、まず最初に、ステップＳ４１において、画像データ変換部３１が、緯度を表す変数θと、経度を表す変数φに、初期値としての、例えば、その最小値である−９０度と−１８０度をそれぞれセットするとともに、平面Ｉ（θ，φ）のｘ座標を表す変数ｘαと、ｙ座標を表す変数ｙαに、初期値としての、例えば、その最小値であるｘ1とｙ1をそれぞれセットする。
【０２６７】
そして、ステップＳ４２に進み、画像データ変換部３１は、中間データＩ（θ，φ）（ｘα，ｙα）に、画素値がセットされているかどうかを判定する。
【０２６８】
ここで、中間データＩ（θ，φ）（ｘα，ｙα）に、画素値がセットされているかどうかの判定は、例えば、図２７の画像データ変換処理を行う前に、中間データとしての配列変数Ｉ（θ，φ）（ｘα，ｙα）に、画素値としては取り得ない値を、初期値として設定しておき、その値が、Ｉ（θ，φ）（ｘα，ｙα）にセットされているかどうかによって行う方法がある。
【０２６９】
ステップＳ４２において、中間データＩ（θ，φ）（ｘα，ｙα）に、画素値がセットされていると判定された場合、即ち、画素値が欠落していない場合、ステップＳ４３およびＳ４４をスキップして、ステップＳ４５に進む。
【０２７０】
また、ステップＳ４２において、中間データＩ（θ，φ）（ｘα，ｙα）に、画素値がセットされていないと判定された場合、即ち、画素値が欠落している場合、ステップＳ４３に進み、画像データ変換部３１は、θ−△θ＜θ’＜θ＋△θの範囲の緯度θ’と、φ−△φ＜φ’＜φ＋△φの範囲の経度φ’で規定される平面Ｉ（θ’，φ’）上の点（ｘα，ｙα）の中で、画素値がセットされているものを探索（検索）する。
【０２７１】
ここで、△θと△φとしては、例えば、いずれも、小さい正の整数値が採用される。
【０２７２】
その後、ステップＳ４４に進み、画像データ変換部３１は、ステップＳ４３で探索された画素値がセットされている中間データＩ（θ’，φ’）（ｘα，ｙα）の値（画素値）を、欠落している画素値である中間データＩ（θ，φ）（ｘα，ｙα）にセットして、ステップＳ４５に進む。
【０２７３】
ここで、ステップＳ４３において、θ−△θ＜θ’＜θ＋△θの範囲の緯度θ’と、φ−△φ＜φ’＜φ＋△φの範囲の経度φ’で規定される平面Ｉ（θ’，φ’）上の点（ｘα，ｙα）の中で、画素値がセットされているものが複数見つかった場合には、ステップＳ４４では、画像データ変換部３１は、その中から、例えば、緯度の差の絶対値｜θ−θ’｜と、経度の差の絶対値｜φ−φ’｜の自乗和が最も小さいものを選択し、その選択したＩ（θ’，φ’）（ｘα，ｙα）の値を、中間データＩ（θ，φ）（ｘα，ｙα）にセットする。
【０２７４】
また、ステップＳ４３において、θ−△θ＜θ’＜θ＋△θの範囲の緯度θ’と、φ−△φ＜φ’＜φ＋△φの範囲の経度φ’で規定される平面Ｉ（θ’，φ’）上の点（ｘα，ｙα）の中で、画素値がセットされているものが見つからなかった場合には、ステップＳ４４では、画像データ変換部３１は、Ｉ（θ，φ）上の画素値がセットされている点の中から、点（ｘα，ｙα）と最も近い点を検索し、その点にセットされている画素値を、点（ｘα，ｙα）にセットする。
【０２７５】
なお、画素値補間処理では、平面Ｉ（θ，φ）上の、画素値がセットされていない点（ｘα，ｙα）に、画素値が補間されるから、その処理が進行していくと、画素値が補間された点における画素値によって、さらに、他の点における画素値が補間されることが生じうる。これを防止するためには、画素値の補間がされた点に、例えば、補間がされたことを表す補間フラグを付加するようにし、補間フラグが付加されている点における画素値は、補間に用いないようにする（ステップＳ４３における探索の対象外とする）必要がある。
【０２７６】
ステップＳ４５では、画像データ変換部３１が、平面Ｉ（θ，φ）上のｙ座標を表す変数ｙαが、その最大値であるｙ2に等しいかどうかを判定する。ステップＳ４５において、ｙ座標ｙαが、最大値ｙ2に等しくないと判定された場合、ステップＳ４６に進み、画像データ変換部３１は、ｙ座標ｙαを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０２７７】
また、ステップＳ４５において、ｙ座標ｙαが、最大値ｙ2に等しいと判定された場合、ステップＳ４７に進み、画像データ変換部３１は、ｙ座標ｙαを、その最小値であるｙ1にリセットして、ステップＳ４８に進む。
【０２７８】
ステップＳ４８では、画像データ変換部３１が、平面Ｉ（θ，φ）上のｘ座標を表す変数ｘαが、その最大値であるｘ2に等しいかどうかを判定する。ステップＳ４８において、ｘ座標ｘαが、最大値ｘ2に等しくないと判定された場合、ステップＳ４９に進み、画像データ変換部３１は、ｘ座標ｘαを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０２７９】
また、ステップＳ４８において、ｘ座標ｘαが、最大値ｘ2に等しいと判定された場合、ステップＳ５０に進み、画像データ変換部３１は、ｘ座標ｘαを、その最小値であるｘ1にリセットして、ステップＳ５１に進む。
【０２８０】
ステップＳ５１では、画像データ変換部３１は、経度を表す変数φが、その最大値である１７９度に等しいかどうかを判定する。ステップＳ５１において、経度φが、最大値である１７９度に等しくないと判定された場合、ステップＳ５２に進み、画像データ変換部３１は、経度φを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０２８１】
また、ステップＳ５１において、経度φが、最大値である１７９度に等しいと判定された場合、ステップＳ５３に進み、画像データ変換部３１は、経度φを、その最小値である−１８０度にリセットし、ステップＳ５４に進む。
【０２８２】
ステップＳ５４では、画像データ変換部３１は、緯度を表す変数θが、その最大値である９０度に等しいかどうかを判定する。ステップＳ５４において、緯度θが、最大値である９０度に等しくないと判定された場合、ステップＳ５５に進み、画像データ変換部３１は、緯度θを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０２８３】
また、ステップＳ５４において、緯度θが、最大値である９０度に等しいと判定された場合、処理を終了する。
【０２８４】
なお、ここでは、画素値補間処理を、画像データ変換部３１に行わせるようにしたが、画素値補間処理は、その他、例えば、図２７の画像データ変換処理が終了した後に、中間データ変換部３２（図５）に行わせるようにすることも可能である。
【０２８５】
ところで、図３２の画素値補間処理では、他の点にセットされている画素値を、画素値がセットされていない点の画素値として、そのまま用いて補間が行われることから、平面Ｉ（θ，φ）上に形成される画像データの真値が存在すると仮定すると、画素値補間処理によって得られる画像データは、基本的に、真値に一致しない。
【０２８６】
しかしながら、真値に一致しないまでも、真値に、より近い画像データが得られるのが望ましい。
【０２８７】
そこで、図３２の画素補間処理によって得られる画像データを、真値に、より近い画像データに変換する方法として、例えば、本件出願人が先に提案しているクラス分類適応処理がある。
【０２８８】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【０２８９】
ここで、適応処理について、低画質の画像（以下、適宜、低画質画像という）を、高画質の画像（以下、適宜、高画質画像という）に変換する場合を例に説明する。
【０２９０】
なお、図３２の画素補間処理によって得られる画像データは、真値と比較して低画質な低画質画像と考えることができ、真値は、図３２の画素補間処理によって得られる画像データと比較して高画質な高画質画像と考えることができる。
【０２９１】
適応処理では、低画質画像を構成する画素（以下、適宜、低画質画素という）と、所定のタップ係数との線形結合により、その低画質画像の画質を向上させた高画質画像の画素の予測値を求めることで、その低画質画像の画質を高くした画像が得られる。
【０２９２】
具体的には、例えば、いま、ある高画質画像を教師データとするとともに、その高画質画像の画質を劣化させた低画質画像を生徒データとして、高画質画像を構成する画素（以下、適宜、高画質画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低画質画素の画素値ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０２９３】
【数１９】
・・・（１９）
【０２９４】
式（１９）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、次式のように定義する。
【０２９５】
【数２０】
・・・（２０）
【０２９６】
この場合、次のような観測方程式が成立する。
【０２９７】
【数２１】
・・・（２１）
【０２９８】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１９）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１９）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０２９９】
式（２１）の観測方程式に最小自乗法を適用して、高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。そこで、まず、教師データとなる高画質画素の真の画素値ｙの集合でなる行列Ｙ、および高画質画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、次式で定義する。
【０３００】
【数２２】
・・・（２２）
【０３０１】
この場合、式（２１）から、次のような残差方程式が成立する。
【０３０２】
【数２３】
・・・（２３）
【０３０３】
最小自乗法では、高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjを評価する尺度として、例えば、次式で表される自乗誤差が採用される。
【０３０４】
【数２４】
・・・（２４）
【０３０５】
高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、式（２４）の自乗誤差を最小にすることで求めることができる。
【０３０６】
従って、式（２４）の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０３０７】
【数２５】
・・・（２５）
【０３０８】
そこで、まず、式（２３）を、タップ係数ｗjで微分することにより、次式が成立する。
【０３０９】
【数２６】
・・・（２６）
【０３１０】
式（２５）および（２６）より、式（２７）が得られる。
【０３１１】
【数２７】
・・・（２７）
【０３１２】
さらに、式（２３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差（誤差）ｅiの関係を考慮すると、式（２７）から、次のような正規方程式を得ることができる。
【０３１３】
【数２８】
・・・（２８）
【０３１４】
なお、いま、ベクトルＷを、式（２０）で示したように定義するとともに、行列（共分散行列）Ａおよびベクトルｖを、次式で定義する。
【０３１５】
【数２９】
・・・（２９）
【０３１６】
この場合、式（２８）に示した正規方程式は、次式で表される。
【０３１７】
【数３０】
・・・（３０）
【０３１８】
式（３０）と等価な式（２８）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（３０）を、ベクトルＷについて解くことで（但し、式（３０）を解くには、式（３０）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（３０）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０３１９】
以上のように、生徒データと教師データを用いて、最適なタップ係数ｗjを求める学習をしておき、さらに、そのタップ係数ｗjを用い、式（１９）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０３２０】
なお、適応処理は、低画質画像には含まれていないが、高画質画像に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（１９）だけを見る限りは、例えば、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、高画質画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０３２１】
次に、図３３は、上述のようなクラス分類適応処理を行うクラス分類適応処理装置の構成例を示している。
【０３２２】
なお、クラス分類適応処理装置は、例えば、図５の画像データ変換部３１または中間データ変換部３２に内蔵させ、図３２の画素値補間処理が施された中間データを対象に、クラス分類適応処理を行わせるようにすることができる。また、クラス分類適応処理装置は、図５の画像データ変換部３１および中間データ変換部３２とは別に設け、中間データベース３に記憶された、図３２の画素値補間処理が施された中間データを対象に、クラス分類適応処理を行わせるようにすることができる。
【０３２３】
バッファ６１には、低画質画像データとしての、画素値補間処理が施された中間データ（以下、適宜、補間中間データという）が供給され、バッファ６１は、そこに供給される低画質画像データを一時記憶する。
【０３２４】
予測タップ抽出部６２は、後述する積和演算部６６において求めようとする、中間データの真値としての高画質画像データの画素（高画質画素）を、順次、注目画素とし、さらに、その注目画素を予測するのに用いる低画質画像データの画素（低画質画素）を、バッファ６１から抽出し、予測タップとする。
【０３２５】
即ち、予測タップ抽出部６２は、例えば、注目画素に対応する位置に対して近い位置にある低画質画素の幾つかを、予測タップとして、バッファ６１から読み出す。
【０３２６】
そして、予測タップ抽出部６２は、注目画素について、予測タップを得ると、その注目画素についての予測タップを、積和演算部６６に供給する。
【０３２７】
ここで、予測タップ抽出部６２では、例えば、注目画素の平面に対応する低画質画像データとしての中間データの平面Ｉ（θ，φ）において、注目画素に対応する位置から近い位置にある低画質画素の幾つかを、予測タップとして抽出することができる。さらに、予測タップ抽出部６２では、平面Ｉ（θ，φ）から緯度θまたは経度φが僅かにずれた平面Ｉ（θ’，φ’）において、注目画素に対応する位置から近い位置にある低画質画素の幾つかも、予測タップとして抽出することが可能である。
【０３２８】
一方、クラスタップ抽出部６３は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる低画質画素を、バッファ６１から抽出し、クラスタップとする。
【０３２９】
なお、ここでは、説明を簡単にするために、例えば、予測タップ抽出部６２で得られる予測タップと、クラスタップ抽出部６３で得られるクラスタップとは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、独立（別）のタップ構造を有するものとすることが可能である。
【０３３０】
クラスタップ抽出部６３において得られる、注目画素についてのクラスタップは、クラス分類部６４に供給される。クラス分類部６４は、クラスタップ抽出部６３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【０３３１】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０３３２】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【０３３３】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０３３４】
なお、クラス分類部６４には、例えば、クラスタップを構成する画素のレベル分布（画素値分布）のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の画素で構成され、各画素に、Ｋビットが割り当てられているとすると、クラス分類部６４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素のビット数Ｋに指数的に比例した膨大な数となる。
【０３３５】
従って、クラス分類部６４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【０３３６】
クラス分類部６４が出力するクラスコードは、係数記憶部６５に、アドレスとして与えられる。
【０３３７】
係数記憶部６５は、後述する学習装置において学習処理が行われることにより得られるタップ係数を記憶しており、クラス分類部６４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算部６６に出力する。
【０３３８】
積和演算部６６は、予測タップ抽出部６２が出力する予測タップと、係数記憶部６５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１９）に示した線形予測演算（積和演算）を行い、その演算結果を、注目画素となっている高画質画素の画素値として出力する。
【０３３９】
次に、図３４は、図３３の係数記憶部６５に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０３４０】
教師データメモリ７１には、学習に用いられる学習用データが供給される。ここで、学習用データとしては、中間データの真値としての高画質画像データが用いられる。即ち、例えば、多数の視点から撮像した画像データを対象に、図２７の画像データ変換処理を行うことで、画素値の欠落のない中間データを生成し、これが、学習用データとして用いられる。
【０３４１】
教師データメモリ７１は、そこに供給される、学習用データとしての高画質画像データを、学習の教師となる教師データとして記憶する。そして、生徒データ生成部７２は、教師データメモリ７１に記憶された教師データから、学習の生徒となる生徒データを生成する。
【０３４２】
即ち、生徒データ生成部７２は、教師データメモリ７１に記憶された教師データとしての画像データの画素値を欠落させ、その画素値を欠落させた画像データに、図３２の画素値補間処理を施す。そして、生徒データ生成部７２は、その画素値補間処理によって得られる低画質の画像データを、生徒データとして、生徒データメモリ７３に供給して記憶させる。
【０３４３】
教師データメモリ７１に記憶された教師データについて、生徒データが求められ、生徒データメモリ７３に記憶されると、予測タップ抽出部７４は、教師データメモリ７１に記憶された教師データを、順次、注目画素とし、さらに、その注目画素を予測するのに用いる生徒データを、生徒データメモリ７３から抽出し、これにより、図３３の予測タップ抽出部６２が構成する予測タップと同一のタップ構造の予測タップを構成する。
【０３４４】
以上のようにして、予測タップ抽出部７４で得られた予測タップは、正規方程式加算部７７に供給される。
【０３４５】
一方、クラスタップ抽出部７５は、注目画素のクラス分類に用いる生徒データを、生徒データメモリ７３から抽出し、これにより、図３３のクラスタップ抽出部６３における場合と同一構造のクラスタップを構成して、クラス分類部７６に供給する。
【０３４６】
クラス分類部７６は、クラスタップ抽出部７５から、注目画素についてのクラスタップが供給されると、そのクラスタップを用い、図３３のクラス分類部６４と同一のクラス分類を行い、注目画素のクラスを表すクラスコードを、正規方程式加算部７７に供給する。
【０３４７】
正規方程式加算部７７は、教師データメモリ７１から、注目画素となっている教師データを読み出し、予測タップ抽出部７４からの予測タップを構成する生徒データ、および注目画素としての教師データを対象とした足し込みを、クラス分類部７６から供給されるクラスごとに行う。
【０３４８】
即ち、正規方程式加算部７７は、クラス分類部７６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（２９）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０３４９】
さらに、正規方程式加算部７７は、やはり、クラス分類部７６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（２９）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０３５０】
正規方程式加算部７７は、以上の足し込みを、教師データメモリ７１に記憶された教師データすべてを注目画素として行い、これにより、各クラスについて、式（３０）に示した正規方程式をたてる。
【０３５１】
その後、タップ係数決定部７８は、正規方程式加算部７７においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ７９の、各クラスに対応するアドレスに供給する。これにより、係数メモリ７９では、タップ係数決定部７８から供給されるクラスごとのタップ係数が記憶される。
【０３５２】
なお、図２９の中間データのフォーマットは、原画像データを構成する画素に入射した光線の各方向（緯度θと経度φによって特定される各方向）について、その方向に垂直な平面の各点ごとに、その点に入射する、平面と垂直な方向の光線に対応する画素値を表したものであるが、中間データは、その他、例えば、図３５に示すフォーマットとすることも可能である。
【０３５３】
即ち、図２９のフォーマットでは、中間データが、緯度θと経度φの値で区切られる緯度経度テーブル（図２９Ａ）で表現され、さらに、その緯度経度テーブルの各マス目には、そのマス目に対応する緯度θと経度φで規定される平面Ｉ（θ，φ）上に正射影された原画像データの画素の画素値が、その平面Ｉ（θ，φ）上に定義された２次元座標系の各ｘ座標ｘαと各ｙ座標ｙαごとに配置された画素値テーブルが登録されている。
【０３５４】
これに対して、図３５の中間データのフォーマットは、原画像データを構成する画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値を表したものとなっている。
【０３５５】
即ち、図３５のフォーマットでは、中間データが、図３５Ａに示すように、原画像データの画素の画素値が正射影される平面Ｉ（θ，φ）上に定義された２次元座標系のｘ座標ｘαとｙ座標ｙαの値で区切られたテーブル（以下、適宜、座標テーブルという）で表現され、さらに、その座標テーブルの各マス目には、図３５Ｂに示すように、そのマス目に対応するｘ座標ｘαとｙ座標ｙαで規定される点に正射影された原画像データの画素値が、画素値が正射影される平面Ｉ（θ，φ）を規定する各緯度θと各経度φごとに配置されたテーブル（このテーブルも、以下、適宜、画素値テーブルという）が登録される。
【０３５６】
図３５のフォーマットでは、座標テーブルの１つのマス目に、緯度θと経度φが各値の平面における、同一座標の点に正射影された原画像データの画素値が配置されるため、図３２の画素値補間処理を行う場合に、図２９のフォーマットよりも有利である。
【０３５７】
即ち、図３２の画素値補間処理では、平面Ｉ（θ，φ）上のある点（ｘα，ｙα）における画素値Ｉ（θ，φ）（ｘα，ｙα）が欠落している場合には、緯度または経度が僅かにずれた平面Ｉ（θ’，φ’）上の、点（ｘα，ｙα）と同一座標の点における画素値Ｉ（θ’，φ’）（ｘα，ｙα）によって、欠落している画素値Ｉ（θ，φ）（ｘα，ｙα）が補間される。
【０３５８】
従って、図２９のフォーマットの中間データでは、画素値補間処理を行うのに、緯度経度テーブル（図２９Ａ）において、画素値の欠落がある平面Ｉ（θ，φ）に対応するマス目とは別のマス目である、平面Ｉ（θ’，φ’）に対応するマス目から、画素値Ｉ（θ’，φ’）（ｘα，ｙα）を読み出す必要がある。
【０３５９】
これに対して、図３５のフォーマットの中間データでは、座標テーブル（図３５Ａ）において、各緯度θと各経度φの平面Ｉ（θ，φ）上における同一座標（ｘα，ｙα）の点における画素値が、１つのマス目に登録されているから、画素値補間処理を行うにあたっては、画素値の欠落がある平面Ｉ（θ，φ）上の点（ｘα，ｙα）に対応するマス目と同一のマス目から、画素値Ｉ（θ’，φ’）（ｘα，ｙα）を読み出すことができる。即ち、この場合、座標テーブル（図３５Ａ）において、画素値の欠落がある平面Ｉ（θ，φ）上の点（ｘα，ｙα）に対応するマス目と別のマス目にアクセスする必要がない。
【０３６０】
次に、図３６のフローチャートと、図３７を参照して、図５の中間データ変換部３２が、図６のステップＳ３で行う中間データ変換処理、即ち、中間データを、ユーザの視点から見た画像データ（提示用画像データ）に変換する処理について説明する。
【０３６１】
まず最初に、ステップＳ６１において、中間データ変換部３２は、図６のステップＳ２で設定されたユーザの視点Ｐcについて、図３７に示すように、そのユーザの視点Ｐcから、その視線方向に向かって、所定の距離Ｌだけ離れた位置に、ユーザの視線と直交する長方形状の平面を、仮想スクリーンとして設定する。
【０３６２】
ここで、本実施の形態では、説明を簡単にするため、図２７で説明した画像データ変換処理では、被写体のある点（例えば、重心など）を原点とする撮像時座標系を用いて処理が行われるものとする。
【０３６３】
さらに、中間データ変換処理では、ディスプレイ６（図２）に、ユーザの視点に応じた画像を表示するための３次元座標系が想定される。いま、この３次元座標系を、表示時座標系というものとし、その原点は、例えば、ディスプレイ６の表示画面の中心点（表示画面の対角線の交点）にとられるものとする。そして、ユーザの視線は、視点Ｐcから、例えば、表示時座標系の原点に向かうものであるとする。
【０３６４】
その後、ステップＳ６２に進み、中間データ変換部３２は、ユーザの視点Ｐcについて設定した仮想スクリーン上の画素のうち、まだ注目画素として選択していない画素を、注目画素Ｐsとして選択する。
【０３６５】
ステップＳ６２の処理後は、ステップＳ６３に進み、中間データ変換部３２は、注目画素Ｐsを始点とし、ユーザの視点Ｐcを終点とするベクトルｖを求め、ステップＳ６４に進む。
【０３６６】
ここで、図３７の実施の形態では、ベクトルｖは、表示時座標系において、ｘｚ平面内のベクトルであって、ｘｙ平面からｚ軸方向に角度θの方向を有するものとなっている。即ち、図３７の実施の形態では、ベクトルｖは、緯度がθで、経度が０度の方向のベクトルになっている。
【０３６７】
また、図３７の実施の形態では、ユーザの視線方向が、上述したように、ユーザの視点Ｐcから表示時座標系の原点を通るものとなっているが、ユーザの視線方向は、必ずしも、表示時座標系の原点を通る必要はない。即ち、ユーザの視線方向は、何らかの方法で検出するようにすることができる。
【０３６８】
さらに、図３７では、図２８における場合と同様に、被写体を囲む曲面Ωとして、閉曲面である球面を示してある。
【０３６９】
ステップＳ６４では、中間データ変換部３２は、ベクトルｖと直交し、表示時座標系上の所定の点としての原点を通る平面αを求め、ステップＳ６５に進む。
【０３７０】
ここで、平面αは、必ずしも、原点を通るものである必要はない。
【０３７１】
ステップＳ６５では、中間データ変換部３２は、ステップＳ６３で求めたベクトルｖの緯度θおよび経度φを求め、即ち、ベクトルｖとｘｙ平面とがつくる角度である緯度θ、およびベクトルｖとｘｚ平面とがつくる角度である経度φを求め、ステップＳ６６に進む。
【０３７２】
ここで、ベクトルｖの緯度θおよび経度φは、ステップＳ６４で求められた平面αの法線方向の緯度θおよび経度φでもある。従って、所定の点としての原点を通る平面αは、その緯度θと経度φによって特定することができるので、この緯度θと経度φによって特定される平面αを、画像データ変換処理における場合と同様に、以下、適宜、平面Ｉ（θ，φ）とも記述する。
【０３７３】
ステップＳ６６では、中間データ変換部３２は、図３７に示すように、ユーザの視点Ｐcと注目画素Ｐsとを結ぶ直線Ｌpを求める。さらに、ステップＳ６６では、中間データ変換部３２は、直線Ｌpと、ステップＳ６４で求めた平面α（Ｉ（θ，φ））との交点Ｐxを求め、ステップＳ６７に進み、その点Ｐxの、平面α上の２次元座標系における座標（ｘα，ｙα）を求める。
【０３７４】
ここで、平面α上における点Ｐxの座標（ｘα，ｙα）は、図２７のステップＳ２７における場合と同様にして求めることができる。
【０３７５】
なお、ユーザの視点Ｐcからの視線方向が、表示時座標系の原点を通らない場合は、例えば、図２７のステップＳ２７で説明した場合と同様に、その視線方向の直線と平面αとの交点の、平面α上の２次元座標系の座標の分だけ、点Ｐxの座標（ｘα，ｙα）をオフセットする必要がある。
【０３７６】
その後、ステップＳ６８に進み、中間データ変換部３２は、仮想スクリーン上の注目画素Ｐsの画素値として、平面α上の点Ｐxの位置の画素の画素値をセットする。即ち、平面αが、緯度θと経度φで特定される平面Ｉ（θ，φ）であり、平面α上の点Ｐxの座標が、（ｘα，ｙα）である場合、中間データ変換部３２は、中間データベースから、画素値Ｉ（θ，φ）（ｘα，ｙα）を読み出し、その画素値（θ，φ）（ｘα，ｙα）を、注目画素Ｐsの画素値としてセットする。
【０３７７】
そして、ステップＳ６９に進み、中間データ変換部３２は、ユーザの視点Ｐcに対して設定された仮想スクリーン上のすべての画素を注目画素としたかどうかを判定し、まだ、注目画素としていないものがあると判定した場合、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０３７８】
また、ステップＳ６９において、仮想スクリーン上のすべての画素を注目画素としたと判定された場合、即ち、仮想スクリーン上に、ユーザの視点から見た画像データ（提示用画像データ）が形成された場合、処理を終了する。
【０３７９】
以上のようにして得られた提示用画像データは、上述した図６のステップＳ４において、ディスプレイ６に表示される。
【０３８０】
従って、ディスプレイ６には、ユーザの視点から被写体を見た場合の画像データが表示されることになる。
【０３８１】
以上のように、原画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、原画像データを、ユーザの視点から見える提示用画像データに変換するようにしたので、実写の画像であっても、容易に、ユーザの視点に応じて変化させることができる。即ち、ユーザが、その視点を動かすことにより、ディスプレイ６には、ユーザが現実世界において被写体を観察している場合にユーザの視覚に映るのと同様の画像が表示される。
【０３８２】
具体的には、例えば、ユーザが、ディスプレイ６に向かって、左または右方向に視点を移動した場合には、ディスプレイ６には、ユーザが視点を動かす前に表示されていた被写体の左側面側または右側面側が見える画像が表示される。また、例えば、ユーザが、ディスプレイ６に対して近づく方向または遠ざかる方向に視点を移動した場合には、ディスプレイ６には、ユーザが視点を動かす前に表示されていた被写体が大きくまたは小さくなった画像が表示される。
【０３８３】
その結果、ユーザは、被写体としての物体が、実際に、その場にあるかのような感覚を享受することができる。
【０３８４】
また、図５の画像処理装置１によれば、例えば、宇宙空間の画像データや、分子などのミクロの構造の画像データなどを、原画像データとして、図６の画像処理を行うようにすることにより、通常は視認することができない構造を、ユーザが直感的に把握することができるインタフェースの提供が可能となる。
【０３８５】
さらに、図５の画像処理装置１では、原画像データを、被写体を無限遠の各方向から観察した中間データに変換しておくようにしたので、その中間データから、ユーザの視点に応じた提示用画像データを、容易に生成することができる。
【０３８６】
なお、中間データは、別の被写体について、独立に生成しておき、図３６の中間データ変換処理において、提示用画像データを生成する過程で、その別々の被写体の画像を合成するようにすることも可能である。
【０３８７】
また、中間データについては、図３６の中間データ変換処理の対象とする前に、その一部を削除したり、その一部に、他の中間データ等の画像データを追加する等の編集を行うことが可能である。
【０３８８】
さらに、図５の画像処理装置１において処理の対象とする画像は、実写の画像に限定されるものではない。
【０３８９】
また、上述の場合には、ユーザの位置を検出し、その位置に、ユーザの視点を設定して（ユーザの視点があるものとして）、図３６の中間データ変換処理を行うようにしたが、ユーザの視点は、図５の画像処理装置１において、任意の位置に設定することが可能である。
【０３９０】
即ち、ユーザの視点は、例えば、表示時座標系の原点を中心とする、所定の平面上に描かれる所定の半径の円の円周上を、順次移動するように設定することが可能である。この場合、ディスプレイ６には、被写体の周囲をパン(pan)しながら撮像を行ったかのような画像が表示されることになる。
【０３９１】
また、ユーザの視点は、例えば、表示時座標系の原点を通る直線上を、一方向に移動するように設定することが可能である。この場合、ディスプレイ６には、被写体に近づきながら、または被写体から遠ざかりながら撮像を行ったかのような画像が表示されることになる。
【０３９２】
さらに、上述の場合には、静止している被写体を、その被写体をモーションベース方式やターンテーブル方式で動かしながら、カメラ４１で撮像することにより、多数の視点から撮像した被写体の原画像データを得るようにしたが、図５の画像処理装置１では、動きのある被写体の画像を対象に処理を行うことも可能である。但し、その場合、基本的には、例えば、複数のカメラによって、複数の視点から、動いている被写体の画像データを同時に撮像するとともに、その複数のカメラそれぞれによって撮像された各フレームの画像データについて、フレームごとに、中間データを生成し、さらに、表示時にも、フレームごとに、そのフレームの中間データを用いて、提示用画像データを生成する必要がある。
【０３９３】
次に、図３８は、図３のコンピュータ１がプログラムを実行することにより実現される画像処理装置の他の機能的構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３８の画像処理装置１は、再生フレーム管理部３４が新たに設けられている他は、基本的に、図５における場合と同様に構成されている。
【０３９４】
但し、図３８の実施の形態においては、画像データベース２には、カメラを、直線的に移動しながら撮像された画像データが記憶されている。即ち、画像データベース２には、例えば、カメラを等速直線運動させながら撮像を行った映画のシーンや、一定速度で走行する自動車や列車の車窓からカメラによる撮像を行った画像データなどが記憶されている。
【０３９５】
このため、図３８の実施の形態では、ディスプレイ６に表示される画像データのフレームを管理するため、再生フレーム管理部３４が設けられている。即ち、再生フレーム管理部３４は、中間データに変換された原画像データのフレーム（またはフィールド）数を、画像データ変換部３１から受信し、また、ディスプレイ６に表示させる提示用画像データのフレームを、中間データ変換部３２に指示する。
【０３９６】
ここで、図３８の実施の形態において、画像データベース２に記憶されている画像データは、等価的に、カメラを、直線的に移動しながら撮像されたものであれば良く、従って、例えば、カメラを固定して、被写体を直線的に移動しながら撮像を行うことにより得られたものであっても良い。
【０３９７】
図３８の画像処理装置１においても、図５の実施の形態における場合と同様の原理によって、画像データベース２に記憶された原画像データが、ユーザの視点から見た画像データ（提示用画像データ）に変換される。
【０３９８】
即ち、画像データベース２に記憶された原画像データは、カメラを、例えば、等速直線運動する列車に固定して撮像したもの、即ち、列車が走行する方向に、カメラの視点を移動しながら撮像したものであり、従って、原画像データは、図３９Ａに示すように、地球の経度の各方向の光線に対応する画素値を含む。ここで、図３９Ａでは、３つの方向＃１乃至＃３の光線を示している。
【０３９９】
一方、ある視点から被写体を見た場合の画像データは、被写体から視点に向かう光線に対応する画素値で構成される。従って、いま、光線は直進し、かつ減衰しないものとすると、列車が走行する軌跡と平行な直線上のある視点から被写体を見た場合の画像データである提示用画像データは、図３９Ｂに示すように、被写体から視点に向かう光線に対応する画素値でなる画像データを、図３９Ａに示した各方向の光線に対応する画素値を含む原画像データから再構成することで得ることができる。
【０４００】
図３８の画像処理装置１では、上述の原理にしたがい、原画像データが、列車の走行軌跡と平行な直線上のユーザの視点から見た画像データ（提示用画像データ）に変換される。
【０４０１】
なお、ここでは、画像データベース２に記憶された原画像データは、列車が走行する方向に、カメラの視点を移動しながら撮像したものであるため、図３８の画像処理装置１において得られる提示用画像データは、上述のような原画像データが撮像されたときの光線情報から構成することができるものに限られる。即ち、図３８の画像処理装置１において得られる提示用画像データには、列車が走行する平面と垂直な方向へのユーザの視点の移動は反映されない（反映することができない）。
【０４０２】
次に、図４０のフローチャートを参照して、図３８の画像処理装置（コンピュータ）１による画像処理について説明する。
【０４０３】
まず最初に、ステップＳ８１において、データ変換部３１は、画像データベース２から原画像データを読み出し、中間データに変換する。さらに、ステップＳ８１では、データ変換部３１は、中間データを、中間データベース３に供給して記憶させ、ステップＳ８２に進む。
【０４０４】
ステップＳ８２では、画像データ変換部３１は、ステップＳ８１において中間データに変換した原画像データのフレーム数Ｆnumを、再生フレーム管理部３４に供給し、再生フレーム管理部３４は、そのフレーム数Ｆnumを取得する。
【０４０５】
そして、ステップＳ８３に進み、再生フレーム管理部３４は、再生対象のフレームを表す変数ｎを、例えば、１に初期化し、処理対象のフレームを表すフレーム情報として、中間データ変換部３２に供給して、ステップＳ８４に進む。
【０４０６】
ステップＳ８４では、センサ制御部３３が、レシーバ４（図２）の出力から、ユーザの位置を検出し、さらに、そのユーザの位置を、ユーザの視点に設定して、中間データ変換部３２に供給する。
【０４０７】
そして、ステップＳ８５に進み、中間データ変換部３２は、再生フレーム管理部３４から供給されるフレーム情報に基づいて、処理対象が第ｎフレームであることを認識し、さらに、センサ制御部３３から供給されるユーザの視点に基づいて、中間データを、処理対象である第ｎフレームの提示用画像データに変換し、ステップＳ８６に進む。
【０４０８】
ステップＳ８６では、中間データ変換部３２は、第ｎフレームの提示用画像データを、ディスプレイ６に供給して表示させ、ステップＳ８７に進む。
【０４０９】
ステップＳ８７では、再生フレーム管理部３４は、変数ｎが、原画像データの全フレーム数Ｆnumに等しいかどうかを判定する。ステップＳ８７において、変数ｎが、全フレーム数Ｆnumに等しくないと判定された場合、ステップＳ８８に進み、例えば、ユーザが、画像処理を終了するように、入力部１７（図３）を操作したかどうかを、CPU１２（図３）が判定する。ステップＳ８８において、画像処理を終了するように、入力部１７が操作されていないと判定された場合、ステップＳ８９に進み、再生フレーム管理部３４は、変数ｎを１だけインクリメントし、対応するフレーム情報を、中間データ変換部３２に供給する。そして、ステップＳ８４に戻り、以下、同様の処理が繰り返される。
【０４１０】
一方、ステップＳ８７において、変数ｎが、全フレーム数Ｆnumに等しいと判定されるか、または、ステップＳ８８において、画像処理を終了するように、入力部１７が操作されたと判定された場合、処理を終了する。
【０４１１】
なお、図４０の画像処理が、過去に実行され、これにより、画像データベース２に記憶されている原画像データを変換した中間データが、中間データベース３に、既に記憶されている場合には、ステップＳ８１およびＳ８２の処理は、スキップすることができる。
【０４１２】
次に、図３８の実施の形態でのデータ変換部３０（を構成する画像データ変換部３１および中間データ変換部３２）の処理について説明する。
【０４１３】
なお、画像データベース２に記憶された原画像データは、例えば、図４１に示すように、ほぼ等速直線運動をしている列車の車窓に固定されたカメラによって撮像されたものとする。図４１に示した場合においては、カメラでは、近景（例えば、カメラから比較的近くにある樹木などの物体）と遠景（例えば、カメラから遠くにある空などの景色）が撮像されている。
【０４１４】
ここで、図４１においては、列車が走行する平面（あるいはその平面と平行な平面）上において、列車の走行方向に対して垂直な方向を基線とし、その基線に対して、反時計回り方向に角度φ0だけ傾いた方向が光軸方向となるように、カメラが固定されている。なお、列車が走行する平面上において、その列車に固定されたカメラのレンズ中心から反時計回り方向に、基線に対してつくられる角度を、以下、適宜、偏角という。この偏角は、上述の経度に相当する。
【０４１５】
即ち、ここでは、列車が、平面上を、直線的に移動することとしているため、その平面を、地球の赤道上の平面と考えると、列車に固定されたカメラの視点は、緯度方向には移動せず、経度方向にのみ移動する。従って、そのようなカメラによって撮像された原画像データについては、基本的には、上述の緯度と経度のうち、経度だけに注目すれば良く、緯度は無視できることになる。
【０４１６】
図４１では、列車の走行方向に向かって右側に、被写体となる複数の物体（例えば、樹木など）があり、さらに、その被写体となる複数の物体は、列車の走行方向に沿って存在している。従って、図４１の実施の形態では、被写体となる複数の物体は、列車の走行軌跡に対して等距離の位置に存在している。
【０４１７】
この場合、カメラの光学中心を通る基線上にある被写体の、カメラから見た速度をＶ0と表すこととすると、その基線から角度（偏角）φの方向にある被写体の、カメラから見た速度は、Ｖ0ｃｏｓφで表すことができる。
【０４１８】
従って、カメラによって撮像される画像データ、即ち、カメラの光軸と垂直な仮想スクリーン上に表示される画像データにおいては、右側に表示された被写体が、左側に表示された被写体よりも高速に移動する。
【０４１９】
図４１では、列車が、図中上方向に走行している。従って、その列車の車窓に固定されたカメラによれば、例えば、図４２に示すように、画像データが撮像される。
【０４２０】
即ち、いまの場合、列車は等速直線運動をしているから、その列車に固定されているカメラも等速直線運動をし、これにより、カメラでは、そのレンズ中心が、列車の走行方向に等間隔で移動しながら、各フレームの画像データが撮像される。
【０４２１】
いま、カメラで撮像された各フレームの画像データにおいて、ある偏角φ1の方向に注目すると、その偏角φ1の方向の光線に対応する画素値は、各フレームの画像データに存在する。従って、各フレームの画像データから、偏角φ1の方向の光線に対応する画素値を集めることで、その偏角φ1の方向の無限遠から見た画像データである中間データを生成することができる。
【０４２２】
即ち、カメラで撮像された各フレームの画像データから、偏角φ1の方向にある列の画素（偏角φ1の方向にある、垂直方向に並ぶ画素）の並びを切り出し、各フレームから切り出した１列の画素の画素値を、フレーム順に、右から左方向に並べることで、偏角φ1の方向の無限遠から見た画像データである中間データを生成することができる。
【０４２３】
ところで、上述のように、カメラで撮像された各フレームの画像データから、偏角θ1の方向にある列の画素を切り出して並べることにより、偏角φ1の方向の無限遠から見た画像データ（中間データ）を生成すると、その画像データは、１フレームの間にカメラが移動する移動距離に対応する間隔だけ、画素が存在しないものとなることがある。
【０４２４】
即ち、１フレームの間にカメラが移動する移動距離が、１画素の横の長さを越える場合、あるフレームの画像データにおける偏角φ1の方向にある列の画素と、その次のフレームの画像データにおける偏角φ1の方向にある画素との間には、１画素を越える間隔が生じ、中間データとしての画像データも、そのような間隔の空いたものとなる。
【０４２５】
そこで、そのような間隔が生じるのを防止するため、カメラで撮像された各フレームの画像データからの画素の切り出しは、行方向（水平方向）に、ある程度の幅のある形で行うことができる。
【０４２６】
即ち、カメラで撮像された各フレームの画像データからは、例えば、図４２に示すように、ある偏角φ1から、微小角度±δφの範囲の方向にある複数列の画素を切り出すようにすることができる。いま、この偏角φ1から、微小角度±δφの範囲の方向にある複数列の画素でなる短冊状の画像を、偏角θ1についての短冊画像というものとすると、偏角φ1の方向の無限遠から見た画像データである中間データの生成（再構成）は、図４３に示すように、カメラで撮像された各フレームの画像データから、偏角φ1についての短冊画像が切り出され、フレーム順に、右から左方向に配置されることで行われる。
【０４２７】
なお、図４３に示した中間データの列方向（垂直方向）の長さは、カメラで撮像された画像データのフレームの画素の行数（列方向の画素数）で決まるが、その行方向（水平方向）の長さは、カメラで撮像された画像データのフレーム数に依存する。
【０４２８】
図３８のデータ変換部３０における画像データ変換部３１では、上述のようにして、各偏角の方向の無限遠から見た中間データが生成される。
【０４２９】
即ち、いま、列車に固定されたカメラで撮像された画像データが、例えば、図４４に示すように、樹木がある風景が、画面上を左から右方向に移動していくものである場合には、例えば、図４５に示すような中間データが生成される。
【０４３０】
ここで、図４５は、図４５Ａに示すような４つの方向＃１乃至＃４の無限遠から見た画像データである中間データを示している。即ち、図４５Ｂ乃至図４５Ｅは、図４５Ａにおける方向＃１乃至＃４の無限遠それぞれから見た画像データである中間データを示している。
【０４３１】
次に、図４６のフローチャートと、図４７を参照して、図３８の画像データ変換部３１が、図４０のステップＳ８１で行う画像データ変換処理、即ち、原画像データを中間データに変換する処理について説明する。
【０４３２】
まず最初に、ステップＳ１０１において、画像データ変換部３１は、画像データベース２に記憶された原画像データのフレーム数をカウントする変数Ｆnumに、初期値としての、例えば１をセットして、ステップＳ１０２に進む。
【０４３３】
ステップＳ１０２では、画像データベース２に記憶された原画像データを撮像したときのカメラの視点（撮像ポイント）から、注目撮像ポイントＰcとするものを選択する。
【０４３４】
即ち、図３８の実施の形態においては、画像データベース２に記憶された原画像データは、図４１および図４２で説明したように、等速直線運動する列車に固定されたカメラによって撮像されたものであるから、図４７に示すように、列車の走行方向に沿った直線上には、多数の撮像ポイントが存在すする。ステップＳ１０２では、その多数の撮像ポイントの中から、第Ｆnumフレームの原画像データをカメラで撮像したときの撮像ポイントが、注目撮像ポイントＰcとして選択される。なお、図３８では、第ｎ−１フレーム、第ｎフレーム、および第ｎ＋１フレームの３つのフレームそれぞれについての撮像ポイントを示してある。
【０４３５】
ここで、図３８の実施の形態においては、画像データベース２には、列車に固定されたカメラによって撮像された原画像データの他、図７の画像生成装置で撮像された原画像データにおける場合と同様に、現実世界にあらかじめ設定された３次元座標系である撮像時座標系における、列車に固定されたカメラの撮像ポイントも記憶されているものとする。この場合、ステップＳ１０２において、画像データ変換部３１は、画像データベース２から、第Ｆnumフレームの画像データについての撮像ポイントを、注目撮像ポイントＰcとして読み出す。なお、図４７では、撮像時座標系として、左方向にｘ軸が、上方向にｙ軸が、紙面と垂直な手前方向にｚ軸が、それぞれとられている。
【０４３６】
その後、ステップＳ１０３に進み、画像データ変換部３１は、注目撮像ポイントＰcについて、仮想スクリーンを設定し、仮想スクリーン上の垂直方向の画素の列のうち、まだ注目列として選択していない画素列を、注目列として選択する。
【０４３７】
即ち、画像データ変換部３１は、図４７に示すように、注目撮像ポイントＰcについて、その注目撮像ポイントＰcから、カメラの光軸方向に向かって、所定の距離Ｌだけ離れた位置に、列車に固定されたカメラの光軸と直交する長方形状の平面を、仮想スクリーンとして設定する。そして、画像データ変換部３１は、仮想スクリーン上の画素のうち、例えば、左から右方向の順番で、まだ注目列として選択していない画素列を、注目列として選択する。
【０４３８】
ここで、図４７では、カメラの光軸と基線が一致しているが、即ち、カメラの光軸が、基線から０度の方向になっているが、カメラの光軸は、基線から任意の偏角θ0の方向にとることが可能である。なお、カメラの光軸の方向は、基線からの偏角θ0が何度の方向であっても良いが、その偏角θ0が何度であるかは、ここでは、データ変換部３０において、あらかじめ認識されているものとする。
【０４３９】
ステップＳ１０３において注目列が選択された後は、ステップＳ１０４に進み、画像データ変換部３１は、その注目列を構成する画素のうちの、例えば最上行の画素を注目画素Ｐsとして選択する。
【０４４０】
ここで、注目画素Ｐsは、注目列を構成する画素のうちの最上行の画素に限定されるものではなく、任意の行の画素を、注目画素として選択することが可能である。
【０４４１】
ステップＳ１０４において注目画素Ｐsが選択された後は、ステップＳ１０５に進み、画像データ変換部３１は、注目撮像ポイントＰcを始点とし、注目画素Ｐsを終点とするベクトルｖを求め、ステップＳ１０６に進む。
【０４４２】
ステップＳ１０６では、画像データ変換部３１は、図４７に示すように、ステップＳ１０５で求められたベクトルｖと直交し、撮像時座標系上の所定の点Ｐfを通る平面αを求め、ステップＳ１０７に進む。
【０４４３】
ステップＳ１０７では、画像データ変換部３１は、ステップＳ１０５で求めたベクトルｖの、基線に対する偏角φを求め、ステップＳ１０８に進む。即ち、本来ならば、図２７の実施の形態における場合と同様に、ベクトルｖの緯度と経度を求める必要があるが、ここでは、上述したように、経度方向にしか移動しないカメラによって原画像データが撮像されているので、緯度は無視することができ、経度のみを考慮すれば足りる。そこで、ステップＳ１０７では、ベクトルｖの経度に相当する、基線に対する偏角φが求められる。
【０４４４】
ここで、ベクトルｖの偏角φは、ステップＳ１０６で求められた平面αの法線の偏角φということもできる。また、平面αの法線の方向は、緯度と経度で特定されるが、ここでは、上述したように、緯度は無視することができる（緯度は、任意の固定の値とすることができる）。従って、所定の点Ｐfを通る平面αは、その法線の経度に相当する偏角φによって特定することができるので、この偏角φによって特定される平面αを、以下、適宜、平面Ｉ（φ）とも記述する。
【０４４５】
なお、偏角φの符号については、撮像ポイントを中心として、列車が走行する平面（図４７の実施の形態では、ｘｙ平面）内における、反時計回り方向を、正とする。
【０４４６】
ステップＳ１０８では、画像データ変換部３１は、図４７に示すように、注目撮像ポイントＰcと注目画素Ｐsとを結ぶ直線Ｌpを求める。さらに、ステップＳ１０８では、画像データ変換部３１は、直線Ｌpと、ステップＳ１０６で求めた平面α（Ｉ（φ））との交点Ｐxを求め、ステップＳ１０９に進み、その点Ｐxの、平面α上における座標（ｘα，ｙα）を求める。
【０４４７】
ここで、ステップＳ１０９では、平面Ｉ（φ）上において、例えば、その平面Ｉ（φ）が必ず通る所定の点Ｐfを原点とするとともに、撮像時座標系のｘ軸とｚ軸を平面Ｉ（φ）上に写像して得られる軸を、それぞれｘ軸とｙ軸とする２次元座標系が定義され、その２次元座標系における点Ｐxの座標（ｘα，ｙα）が求められる。なお、平面Ｉ（φ）上に定義される２次元座標系は、上述したものに限定されない。
【０４４８】
その後、ステップＳ１１０に進み、画像データ変換部３１は、仮想スクリーン上の第Ｆnumフレームの原画像データの注目列を、平面Ｉ（φ）上に射影する。
【０４４９】
即ち、いま、平面Ｉ（φ）上の点Ｐxの位置の画素の画素値を、平面Ｉ（φ）と、平面Ｉ（φ）上の点Ｐxの座標を表す（ｘα，ｙα）とによって、Ｉ（φ）（ｘα，ｙα）と表すこととするとともに、注目列が、Ｎ画素で構成されるものとする。この場合、画像データ変換部３１は、仮想スクリーン上の第Ｆnumフレームの原画像データの注目列における第１行の画素の画素値を、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα）に、注目列における第２行の画素の画素値を、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα＋１）に、・・・、注目列における第Ｎ行の画素の画素値を、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα＋（Ｎ−１））に、それぞれセットする。
【０４５０】
そして、ステップＳ１１１進み、画像データ変換部３１は、注目撮像ポイントＰcに対して設定された仮想スクリーン上の原画像データのすべての画素列を注目列としたかどうかを判定し、まだ、注目列としていないが画素列があると判定した場合、ステップＳ１０３に戻り、以下、同様の処理が繰り返される。
【０４５１】
また、ステップＳ１１１において、仮想スクリーン上のすべての画素列を注目列としたと判定された場合、ステップＳ１１２に進み、画像データ変換部３１は、第Ｆnumフレームの次のフレームの原画像データが存在するかどうかを、画像データベース２を参照することにより判定する。ステップＳ１１２において、第Ｆnumフレームの次のフレームの原画像データが存在すると判定された場合、ステップＳ１１３に進み、画像データ変換部３１は、変数Ｆnumを１だけインクリメントして、ステップＳ１０２に戻り、以下、同様の処理を繰り返す。
【０４５２】
また、ステップＳ１１２において、第Ｆnumフレームの次のフレームの原画像データが存在しないと判定された場合、即ち、画像データベース２に記憶されたすべてのフレームの画像データを、各偏角φの平面Ｉ（φ）に正射影した画像データとしての中間データが得られた場合、処理を終了する。
【０４５３】
なお、以上の画像データ変換処理により得られた中間データは、画像データ変換部３１から中間データベース３に供給されて記憶される。
【０４５４】
また、図４６の画像データ変換処理において最終的に得られた原画像データのフレーム数Ｆnumは、図４０で説明したように、ステップＳ８２において、画像データ変換部３１から再生フレーム管理部３４に供給される。
【０４５５】
次に、図４８は、図４６の画像データ変換処理により生成される中間データのフォーマットを模式的に表している。
【０４５６】
図４６の画像データ変換処理によって生成される中間データは、平面Ｉ（φ）上に、偏角φで規定される方向の無限遠から被写体を見た場合の画像データとなっており、従って、各値の偏角φごとに存在するので、図４８Ａに示すような、偏角φの値で区切られるテーブル（以下、適宜、偏角テーブルという）で表現することができる。
【０４５７】
即ち、図４６の画像データ変換処理は、基本的には、図２７の画像データ変換処理における緯度を無視した処理と同様であり、その結果得られる中間データは、図２７の画像データ変換処理によって得られる図２９Ａの緯度経度テーブルにおける緯度を無視したものとなっている。即ち、図４６の画像データ変換処理により得られる図４８Ａの偏角テーブルは、図２９Ａの緯度経度テーブルにおける緯度方向の軸がなく、経度に相当する偏角方向の軸のみがあるものとなっている。
【０４５８】
ここで、図４８Ａの実施の形態では、偏角φが、最小値φminから最大値φmaxの範囲の１度刻みで変化する平面Ｉ（φ）ごとに、各偏角φで規定される方向の無限遠から被写体を見た場合の画像データが、偏角テーブルの各マス目に登録されている。なお、偏角φを、何度刻みとするかや、その刻み幅は、図２９Ａの緯度経度テーブルにおける場合と同様に特に限定されるものではない。また、偏角テーブルにおける偏角φの最小値φminおよび最大値φmaxは、列車に固定されたカメラの光軸の偏角、およびそのカメラの水平方向の画角に依存する。
【０４５９】
図４８Ａの偏角テーブルの各マス目には、そのマス目に対応する偏角φで規定される方向の無限遠から被写体を見た場合の画像データ、即ち、平面Ｉ（φ）上に（緯度を無視して）射影された原画像データの画素の画素値が、その平面Ｉ（φ）上に定義された２次元座標系の各ｘ座標ｘαと各ｙ座標ｙαごとに登録されている。即ち、図４８Ａの偏角テーブルの各マス目には、例えば、図４８Ｂに示すように、平面Ｉ（φ）上に定義された２次元座標系のｘ座標ｘαとｙ座標ｙαの値で区切られたテーブル（画素値テーブル）が登録されており、その画素値テーブルのマス目には、そのマス目に対応するｘ座標ｘαとｙ座標ｙαで規定される点に射影された原画像データの画素の画素値ｐ（ｘα，ｙα）が登録されている。
【０４６０】
なお、図４８Ｂにおいて、ｘ1とｙ1は、図２９Ｂにおける場合と同様に、原画像データの画素を平面Ｉ（φ）上に正射影した点の、最小のｘ座標とｙ座標を、それぞれ表す。また、ｘ2とｙ2も、図２９Ｂにおける場合と同様に、原画像データの画素を平面Ｉ（φ）上に正射影した点の、最大のｘ座標とｙ座標を、それぞれ表す。
【０４６１】
ところで、上述したように、列車に固定されたカメラで撮像された各フレームの原画像データから、ある偏角φの方向にある列の画素を、平面Ｉ（φ）に射影することにより、偏角φの方向の無限遠から見た画像データである中間データを生成した場合、その中間データとしての画像データにおいては、１フレームの間にカメラが移動する移動距離に対応する間隔だけ、画素が存在しないものとなること、即ち、画素値の欠落が生じることがある。
【０４６２】
そこで、図３８の画像処理装置１においても、図５の画像処理装置１における場合と同様に、画素値補間処理を行うようにすることができる。
【０４６３】
そこで、図４９のフローチャートを参照して、図３８の画像処理装置１で行われる画素値補間処理について説明する。なお、この画素値補間処理は、図３２における場合と同様に、画像データ変換部３１に行わせても良いし、中間データ変換部３２に行わせても良い。ここでは、例えば、画像データ変換部３１が行うものとして、画素値補間処理を説明する。
【０４６４】
図４９の画素値補間処理では、まず最初に、ステップＳ１２１において、画像データ変換部３１が、偏角を表す変数φに、初期値としての、例えば、その最小値であるφminをセットするとともに、平面Ｉ（φ）のｘ座標を表す変数ｘαに、初期値としての、例えば、その最小値であるｘ1をセットする。
【０４６５】
そして、ステップＳ１２２に進み、画像データ変換部３１は、中間データＩ（φ）（ｘα，ｙ1）に、画素値がセットされているかどうかを、図３２のステップＳ４２における場合と同様にして判定する。
【０４６６】
ここで、上述の場合には、ステップＳ１２２において画素値がセットされているかどうかを判定する対象（以下、適宜、画素値判定対象という）を、中間データＩ（φ）（ｘα，ｙ1）としたが、即ち、平面Ｉ（φ）上の座標（ｘα，ｙ1）の画素としたが、画素値判定対象としては、ｙ座標ｙαが、その最小値ｙ1から最大値ｙ2の範囲の任意の値の画素を採用することができる。
【０４６７】
即ち、図４６および図４７で説明した画像データ変換処理によって得られる中間データにおいては、平面Ｉ（φ）上の座標（ｘα，ｙ1）乃至（ｘα，ｙ2）で表される列には、図４６のステップＳ１１０において、一度に、原画像データの画素値がセットされる。従って、平面Ｉ（φ）上の座標（ｘα，ｙ1）乃至（ｘα，ｙ2）で表される列における１画素に画素値がセットされていない場合には、その列の他の画素にも画素値がセットされていないこととなるから、画素値判定対象としては、ｙ座標ｙαが、その最小値ｙ1から最大値ｙ2の範囲の任意の値の画素を採用することができる。
【０４６８】
ステップＳ１２２において、中間データＩ（φ）（ｘα，ｙ1）に、画素値がセットされていると判定された場合、即ち、画素値が欠落していない場合、ステップＳ１２３およびＳ１２４をスキップして、ステップＳ１２５に進む。
【０４６９】
また、ステップＳ１２２において、中間データＩ（φ）（ｘα，ｙ1）に、画素値がセットされていないと判定された場合、即ち、画素値が欠落している場合、ステップＳ１２３に進み、画像データ変換部３１は、φ−△φ＜φ’＜φ＋△φの範囲の偏角φ’で規定される平面Ｉ（φ’）上の点（ｘα，ｙ1）の中で、画素値がセットされているものを探索（検索）する。
【０４７０】
ここで、△φとしては、例えば、図３２における場合と同様に、小さい正の整数値が採用される。
【０４７１】
その後、ステップＳ１２４に進み、画像データ変換部３１は、ステップＳ１２３で探索された、画素値がセットされている中間データＩ（φ’）（ｘα，ｙ1）の列の各画素値Ｉ（φ’）（ｘα，ｙ1）乃至Ｉ（φ’）（ｘα，ｙ2）を、欠落している画素値である中間データＩ（φ）（ｘα，ｙα）の列の各画素値Ｉ（φ）（ｘα，ｙ1）乃至（ｘα，ｙ2）にセットして、ステップＳ１２５に進む。なお、原画像データのフレームの垂直方向の画素数が、上述したようにＮ画素であれば、ｙ2は、ｙ1＋（Ｎ−１）で表される。
【０４７２】
ここで、ステップＳ１２３において、φ−△φ＜φ’＜φ＋△φの範囲の偏角φ’で規定される平面Ｉ（φ’）上の点（ｘα，ｙ1）の中で、画素値がセットされているものが複数見つかった場合には、ステップＳ１２４では、画像データ変換部３１は、その中から、例えば、偏角の差の絶対値｜φ−φ’｜が最も小さいものを選択し、その選択したＩ（φ’）（ｘα，ｙ1）の列の各画素値Ｉ（φ’）（ｘα，ｙ1）乃至Ｉ（φ’）（ｘα，ｙ2）を、各画素値Ｉ（φ）（ｘα，ｙ1）乃至（ｘα，ｙ2）にセットする。
【０４７３】
また、ステップＳ１２３において、φ−△φ＜φ’＜φ＋△φの範囲の偏角φ’で規定される平面Ｉ（φ’）上の点（ｘα，ｙ1）の中で、画素値がセットされているものが見つからなかった場合には、ステップＳ１２４では、画像データ変換部３１は、平面Ｉ（φ）上の画素値がセットされている画素の中から、座標（ｘα，ｙ1）と最も近い画素を検索し、その画素の列の各画素の画素値を、各画素値Ｉ（φ）（ｘα，ｙ1）乃至（ｘα，ｙ2）にセットする。
【０４７４】
なお、図４９の画素値補間処理でも、図３２における場合と同様に、平面Ｉ（φ）上の、画素値がセットされていない点（ｘα，ｙα）に、画素値が補間されるから、その処理が進行していくと、画素値が補間された点における画素値によって、さらに、他の点における画素値が補間されることが生じうる。これを防止するためには、例えば、図３２における場合と同様に、画素値の補間がされた点に、補間がされたことを表す補間フラグを付加するようにし、補間フラグが付加されている点における画素値は、補間に用いないようにする（ステップＳ１２３における探索の対象外とする）必要がある。
【０４７５】
ステップＳ１２５では、画像データ変換部３１が、平面Ｉ（φ）上のｘ座標を表す変数ｘαが、その最大値であるｘ2に等しいかどうかを判定する。ステップＳ１２５において、ｘ座標ｘαが、最大値ｘ2に等しくないと判定された場合、ステップＳ１２６に進み、画像データ変換部３１は、ｘ座標ｘαを１だけインクリメントして、ステップＳ１２２に戻り、以下、同様の処理を繰り返す。
【０４７６】
また、ステップＳ１２５において、ｘ座標ｘαが、最大値ｘ2に等しいと判定された場合、ステップＳ１２７に進み、画像データ変換部３１は、ｘ座標ｘαを、その最小値であるｘ1にリセットして、ステップＳ１２８に進む。
【０４７７】
ステップＳ１２８では、画像データ変換部３１は、偏角を表す変数φが、その最大値であるφmaxに等しいかどうかを判定する。ステップＳ１２８において、偏角φが、最大値φmaxに等しくないと判定された場合、ステップＳ１２９に進み、画像データ変換部３１は、偏角φを１度だけインクリメントして、ステップＳ１２２に戻り、以下、同様の処理を繰り返す。
【０４７８】
また、ステップＳ１２８において、偏角φが、最大値φmaxに等しいと判定された場合、処理を終了する。
【０４７９】
図４９の画素値補間処理においても、図３２における場合と同様に、平面Ｉ（φ）のある列の画素値Ｉ（φ）（ｘα，ｙ1）乃至Ｉ（φ）（ｘα，ｙ2）が欠落している場合には、画素値がセットされている、偏角がより近い他の平面Ｉ（φ’）における同一列の画素値Ｉ（φ’）（ｘα，ｙ1）乃至Ｉ（φ’）（ｘα，ｙ2）によって、その欠落している画素値Ｉ（φ）（ｘα，ｙ1）乃至Ｉ（φ）（ｘα，ｙ2）が補間される。
【０４８０】
なお、図４９の画素値補間処理によれば、図４２で説明したように、各フレームの原画像データから、同一の偏角方向についての短冊画像を切り出し、その短冊画像を、フレーム順に、右から左方向に配置して得られるのと同一の中間データが得られる。従って、画像データ変換部３１において、図４２で説明したように、短冊画像によって中間データを生成する場合には、画素値の欠落は生じないから、図４９の画素値補間処理は、行う必要がない。
【０４８１】
また、図４９の画素値補間処理によって得られた中間データに対しては、上述したクラス分類適応処理、その他の画像処理を施すことが可能である。
【０４８２】
さらに、中間データのフォーマットとしては、図４８で説明したフォーマットの他、図３５における場合と同様のフォーマットを採用することが可能である。
【０４８３】
次に、図５０のフローチャートと、図５１を参照して、図３８の中間データ変換部３２が、図４０のステップＳ８５で行う中間データ変換処理、即ち、中間データを、ユーザの視点から見た第ｎフレームの画像データ（提示用画像データ）に変換する処理について説明する。
【０４８４】
図５０の中間データ変換処理においても、図３６における場合と同様に、ディスプレイ６（図２）に、ユーザの視点に応じた画像を表示するための３次元座標系としての表示時座標系が想定される。なお、表示時座標系としては、例えば、画像データベース２に記憶された原画像データを中間データに変換するときに用いられた撮像時座標系を、そのまま採用することができる。
【０４８５】
そして、まず最初に、ステップＳ１４１において、中間データ変換部３２は、図５１に示すように、表示時座標系における、第ｎフレームの撮像ポイントＰcについて、ユーザの視点Ｐc’を設定する。
【０４８６】
即ち、図５０の中間データ変換処理では、いま処理対象となっているフレームの撮像ポイントＰcを基準として処理が行われるようになっており、そのため、ステップＳ１４１では、いま再生対象となっているフレームの撮像ポイントＰcを基準として、ユーザの視点Ｐc’が設定される。
【０４８７】
具体的には、中間データ変換部３２には、センサ制御部３３から、現実世界におけるユーザの視点が供給されるが、中間データ変換部３２は、現実世界における所定の位置を、ユーザの視点の基準位置として、センサ制御部３３からのユーザの視点が、基準位置からどれだけ移動した位置にあるかを表す移動情報を求める。ここで、ユーザの視点の基準位置としては、ユーザが、ディスプレイ６に表示された画像を視聴する一般的な位置、即ち、例えば、ディスプレイ６の正面方向上の任意の点を採用することができる。
【０４８８】
中間データ変換部３２は、移動情報を求めると、図５１に示すように、表示時座標系において、第ｎフレームの撮像ポイントＰcから、その移動情報だけ移動した点を、撮像ポイントＰcについてのユーザの視点Ｐc’として設定する。
【０４８９】
なお、図５０の中間データ変換処理においても、図４６の画像データ変換処理における場合と同様に、緯度方向は無視される。従って、図５０の中間データ変換処理において、例えば、図５１に示すように、図４７の撮像時座標系と同様のｘ軸、ｙ軸、およびｚ軸をとった表示時座標系が想定されているとすると、移動情報における、緯度方向に影響するｙ軸方向およびｚ軸方向の成分は無視される（例えば０と扱われる）。このことは、ユーザが、表示時座標系のｙ軸方向またはｚ軸方向に移動しても、ユーザの視点が移動したとは認められないことを意味する。即ち、この場合、ユーザの視点が移動したと認められるには、ユーザが、少なくとも、表示時座標系のｘ軸方向に移動する必要がある。ここで、本実施の形態では、表示時座標系（撮像時座標系も同様）におけるｘ軸方向は、カメラの移動方向（カメラが固定された列車の走行方向）に一致している。
【０４９０】
中間データ変換部３２は、以上のようにして、表示時座標系における、撮像ポイントＰcについてのユーザの視点Ｐc’を設定すると、ステップＳ１４２に進み、図５１に示すように、撮像ポイントＰcにおけるカメラの光軸と、第ｎフレームに表示されている被写体との交点Ｐkを求める。
【０４９１】
なお、ここでは、説明を簡単にするために、カメラが固定された列車の走行軌跡と被写体との間の距離Ｄは、一定であるとし、さらに、中間データ変換部３２において、あらかじめ認識されているものとする。また、撮像ポイントＰcにおけるカメラの光軸の偏角φ0も、中間データ変換部３２において、あらかじめ認識されているものとする。この場合、撮像ポイントＰcにおけるカメラの光軸と、第ｎフレームに表示されている被写体との交点Ｐkは、撮像ポイントＰc、距離Ｄ、および撮像ポイントＰcにおけるカメラの光軸の偏角φ0から求めることができる。
【０４９２】
その後、ステップＳ１４３に進み、中間データ変換部３２は、図５１に示すように、ユーザの視点Ｐc’を始点とするとともに、交点Ｐkを終点とするベクトルｖ’を求め、ステップＳ１４４に進む。ステップＳ１４４では、中間データ変換部３２は、ユーザの視点Ｐc’に対して、ベクトルｖ’の方向を視線方向として、そのベクトルｖ’と直交し、ユーザの視点Ｐc’から距離Ｌだけ離れた位置に仮想スクリーンを設定し、ステップＳ１４５に進む。
【０４９３】
ステップＳ１４５では、中間データ変換部３２は、ユーザの視点Ｐc’について設定した仮想スクリーン上の垂直方向の画素の列のうち、まだ注目列として選択していない画素列を、注目列として選択する。
【０４９４】
ステップＳ１４５において注目列が選択された後は、ステップＳ１４６に進み、中間データ変換部３２は、例えば、図４６のステップＳ１０４における場合と同様に、注目列を構成する画素のうちの最上行の画素を注目画素Ｐsとして選択する。
【０４９５】
ここで、注目画素Ｐsは、注目列を構成する画素のうちの最上行の画素に限定されるものではなく、任意の行の画素を、注目画素として選択することが可能である。
【０４９６】
ステップＳ１４６において注目列が選択された後は、ステップＳ１４７に進み、中間データ変換部３２は、図５１に示すように、ユーザの視点Ｐc’を始点とし、注目画素Ｐsを終点とするベクトルｖを求め、ステップＳ１４８に進む。
【０４９７】
ステップＳ１４８では、中間データ変換部３２は、図５１に示すように、ステップＳ１４７で求められたベクトルｖと直交し、撮像時座標系と同一の表示時座標系上の所定の点Ｐfを通る平面αを求め、ステップＳ１４９に進む。
【０４９８】
ステップＳ１４９では、中間データ変換部３２は、ステップＳ１４７で求めたベクトルｖの、基線に対する偏角φ、即ち、ステップＳ１４８で求めた平面αの法線の、基線に対する偏角φを求め、ステップＳ１５０に進む。
【０４９９】
ステップＳ１５０では、中間データ変換部３２は、図５１に示すように、ユーザの視点Ｐc’と注目画素Ｐsとを結ぶ直線Ｌpを求める。さらに、ステップＳ１５０では、中間データ変換部３２は、直線Ｌpと、ステップＳ１５１で求めた平面α、即ち、法線の、基線に対する偏角が、ステップＳ１４８で求められたφである平面Ｉ（φ）との交点Ｐxを求め、ステップＳ１５１に進み、その点Ｐxの、平面Ｉ（φ）上における座標（ｘα，ｙα）を求める。
【０５００】
その後、ステップＳ１５２に進み、中間データ変換部３２は、仮想スクリーンの注目列の画素の各画素値として、平面Ｉ（φ）上の点Ｐxの列における各画素値をセットする。
【０５０１】
即ち、仮想スクリーン上の注目列が、Ｎ画素で構成されるものとすると、中間データ変換部３２は、仮想スクリーン上の注目列における第１行の画素の画素値として、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα）を、注目列における第２行の画素の画素値として、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα＋１）を、・・・、注目列における第Ｎ行の画素の画素値として、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα＋（Ｎ−１））を、それぞれセットする。
【０５０２】
そして、ステップＳ１５３進み、中間データ変換部３２は、ユーザの視点Ｐc’に対して設定された仮想スクリーン上のすべての画素列（垂直方向の画素の並び）を注目列としたかどうかを判定し、まだ、注目列としていないが画素列があると判定した場合、ステップＳ１４５に戻り、以下、同様の処理が繰り返される。
【０５０３】
また、ステップＳ１５３において、仮想スクリーン上のすべての画素列を注目列としたと判定された場合、即ち、仮想スクリーン上に、ユーザの視点から見た第ｎフレームの画像データ（提示用画像データ）が形成された場合、処理を終了する。
【０５０４】
以上のようにして得られた第ｎフレームの提示用画像データは、上述した図４０のステップＳ８６において、ディスプレイ６に表示される。
【０５０５】
従って、ディスプレイ６には、ユーザの視点から被写体を見た場合の画像データが表示されることになる。
【０５０６】
以上のように、図３８の画像処理装置１によれば、カメラをほぼ等速直線運動させながら撮像された原画像データから、図５の画像処理装置１における場合と同様に、容易に、ユーザの視点に応じた画像データを生成することができる。即ち、ユーザが、その視点を動かした場合に、ユーザが現実世界において被写体を観察している場合にユーザの視覚に映るのと同様の画像を、ディスプレイ６に表示することができる。
【０５０７】
ところで、図３８の画像処理装置１において、原画像データを、ユーザの視点から見た提示用画像データに変換するには、その原画像データがカメラによって撮像されたときの種々の撮像条件が必要となる。
【０５０８】
ここで、原画像データを、ユーザの視点から見た提示用画像データに変換するには、図４６で説明した画像データ変換処理、および図５０で説明した中間データ変換処理から、撮像条件として、少なくとも、原画像データを撮像するカメラが固定された列車の走行軌跡と被写体との間の距離（カメラと被写体との間の、カメラの移動方向と垂直な方向に沿っての距離）Ｄや、撮像ポイントＰcにおけるカメラの光軸の偏角（光軸の方向）φ0、各フレームの撮像ポイントＰcが必要である。
【０５０９】
但し、本実施の形態では、列車、ひいては、その列車に固定されているカメラは、等速直線運動するものとしているため、各フレームの撮像ポイントＰcは、あるフレームの撮像ポイントが分かっていれば、他のフレームの撮像ポイントは、カメラが等速直線運動する速さ（カメラの移動速度）から求めることができる。そこで、ここでは、各フレームの撮像ポイントの代わりに、カメラの移動速度を、撮像条件とすることとする。
【０５１０】
また、原画像データを、ユーザの視点から見た提示用画像データに変換するために少なくとも必要な、上述の撮像条件を、以下、適宜、最低撮像条件という。
【０５１１】
最低撮像条件が、あらかじめ分かっている場合には、図３８の画像処理装置１において、上述したように、原画像データを、ユーザの視点から見た提示用画像データに変換することができる。
【０５１２】
一方、最低撮像条件が分かっていない場合、原画像データを、ユーザの視点から見た提示用画像データに変換するには、まず、最低撮像条件を求める必要がある。
【０５１３】
そこで、図３のコンピュータ１には、画像データベース２に記憶された原画像データを、ユーザの視点から見た提示用画像データに変換するプログラムの他、その原画像データから、最低撮像条件を求める画像処理を行うプログラムも記憶させることができる。
【０５１４】
図５２は、図３のコンピュータ１が、最低撮像条件を求める画像処理を行うプログラムを実行することにより実現される画像処理装置の機能的構成例を示している。
【０５１５】
図５２の実施の形態では、画像処理装置としてのコンピュータ１は、撮像条件演算部９１から構成されている。
【０５１６】
撮像条件演算部９１は、画像データベース２から、等速直線運動する列車に固定されたカメラによって撮像された原画像データを読み出し、その原画像データから、最低撮像条件を含む撮像条件を求め、画像データベース２に供給して記憶させる。
【０５１７】
即ち、撮像条件演算部９１は、等速直線運動する列車に固定されたカメラの仮想スクリーン上における原画像データに表示された被写体の移動距離を求め、カメラの視点（撮像ポイント）から仮想スクリーンまでの距離（視点／仮想スクリーン間距離）と、仮想スクリーン上の被写体の移動距離とを用いて、最低撮像条件を含む撮像条件を求める。
【０５１８】
次に、図５３を参照して、撮像条件演算部９１による撮像条件の算出方法について説明する。
【０５１９】
なお、図５３において、Ｄは、カメラが固定された列車の走行軌跡と、注目している被写体である注目被写体との間の距離（カメラと注目被写体との間の、カメラの移動方向と垂直な方向に沿っての距離）Ｄを表し、ｈは、カメラと注目被写体との間の、カメラの移動方向に沿っての距離を表す。また、Ｌは、カメラの視点から仮想スクリーンまでの距離を表し、φ0は、カメラの光軸の偏角を表す。さらに、△ｄは、注目被写体が、カメラに対して単位時間あたりに移動する距離（カメラの移動距離）、即ち、カメラの移動速度を表し、△ｘは、カメラの仮想スクリーン上における原画像データに表示された注目被写体の単位時間あたりの移動距離、即ち、注目被写体の仮想スクリーン上の移動速度を表す。
【０５２０】
この場合、カメラの視点から注目被写体の方向の偏角φは、距離Ｄとｈとを用いて、次式で表すことができる。
【０５２１】
【数３１】
・・・（３１）
【０５２２】
また、仮想スクリーン上での注目被写体の移動距離△ｘは、例えば、次式で表すことができる。
【０５２３】
【数３２】
・・・（３２）
【０５２４】
但し、式（３２）において、φ+とφ-は、例えば、次式で与えられるものとする。
【０５２５】
【数３３】
・・・（３３）
【０５２６】
式（３２）に、式（３３）を代入すると、次式が得られる。
【０５２７】
【数３４】
・・・（３４）
【０５２８】
一方、変数ｔの関数ｆ（ｔ）を、その変数ｔで微分した関数（導関数）ｆ’（ｔ）は、次式で表される。
【０５２９】
【数３５】
・・・（３５）
【０５３０】
式（３５）を変形すると、次式が得られる。
【０５３１】
【数３６】
・・・（３６）
【０５３２】
そこで、いま、変数ｈ／Ｄの関数ｆ（ｈ／Ｄ）を、例えば、次式のように定義する。
【０５３３】
【数３７】
・・・（３７）
【０５３４】
式（３７）の関数ｆ（ｈ／Ｄ）を用いて、式（３４）を表すと、次式のようになる。
【０５３５】
【数３８】
・・・（３８）
【０５３６】
式（３８）は、式（３６）の関係を用いることによって、式（３９）のように変形することができる。
【０５３７】
【数３９】
・・・（３９）
【０５３８】
一方、変数ｔの関数ｇ1（ｔ）を引数とする関数ｇ2（ｇ1（ｔ））を、変数ｔで微分すると、次式のようになる。
【０５３９】
【数４０】
・・・（４０）
【０５４０】
また、関数ｔａｎ（ｔ）と、関数ｔａｎ-1（ｔ）の微分は、それぞれ、式（４１）と（４２）で表される。
【０５４１】
【数４１】
・・・（４１）
【０５４２】
【数４２】
・・・（４２）
【０５４３】
式（４０）乃至（４２）から、式（３７）の関数ｆ（ｈ／Ｄ）の導関数ｆ’（ｈ／Ｄ）は、次式で表される。
【０５４４】
【数４３】
・・・（４３）
【０５４５】
式（４３）から、式（３９）は、式（４４）で表される。
【０５４６】
【数４４】
・・・（４４）
【０５４７】
式（４４）において、未知の変数は、△ｄ，Ｄ，ｈ，φ0である。また、式（４４）において、△ｘは、仮想スクリーン上に表示された注目被写体の移動距離を表し、仮想スクリーン上の注目被写体を表示している画素から計算することができる。さらに、式（４４）において、Ｌは、カメラの視点から仮想スクリーンまでの距離を表し、任意の値を設定することができる。
【０５４８】
従って、式（４４）における４つの未知の変数△ｄ，Ｄ，ｈ，φ0は、原理的には、仮想スクリーン上の４つの画素について、その移動距離を求めれば、その移動距離と、カメラの視点から仮想スクリーンまでの距離Ｌを用い、式（４４）から推定することができる。
【０５４９】
ここで、図５３で説明した方法によれば、カメラと被写体との間の、カメラの移動方向と垂直な方向に沿っての距離Ｄ、撮像ポイントＰcにおけるカメラの光軸の偏角φ0、およびカメラの移動速度△ｄ、即ち、最低撮像条件の他、カメラと注目被写体との間の、カメラの移動方向に沿っての距離ｈも含む撮像条件が求められる。
【０５５０】
図５２の撮像条件演算部９１では、上述したようにして、撮像条件△ｄ，Ｄ，ｈ，φ0が求められる。
【０５５１】
そこで、図５４のフローチャートを参照して、図５２の撮像条件演算部９１が行う処理（撮像条件を推定する撮像条件演算処理）について説明する。
【０５５２】
まず最初に、ステップＳ１６１において、撮像条件演算部９１は、画像データベース２に記憶されたフレームの中から、撮像条件演算処理の対象とする４フレーム以上を、処理対象フレームとして選択し、ステップＳ１６２に進む。
【０５５３】
ステップＳ１６２では、撮像条件演算部９１は、原画像データを撮像したときの撮像ポイントからスクリーンまでの距離Ｌを、所定の値に設定し、ステップＳ１６３に進む。
【０５５４】
ステップＳ１６３では、撮像条件演算部９１は、ステップＳ１６１で処理対象フレームとして選択された４フレーム以上の原画像データの各フレームから、同一位置の画素を、撮像条件を演算するのに用いる演算対象画素として選択する。
【０５５５】
ここで、演算対象画素を、処理対象フレームとされた各フレームの同一位置の画素とするのは、図５３に示した、カメラと注目被写体との間の、カメラの移動方向に沿っての距離ｈを一定値にするためである。
【０５５６】
その後、ステップＳ１６４に進み、撮像条件演算部９１は、演算対象画素の中から、まだ注目画素としていないもののうちの１つを注目画素して選択し、ステップＳ１６５に進む。
【０５５７】
ステップＳ１６５では、撮像条件演算部９１は、注目画素の動きベクトルを検出し、ステップＳ１６６に進む。ステップＳ１６６では、撮像条件演算部９１は、注目画素の動きベクトルから、注目画素の移動距離△ｘを求め、ステップＳ１６７に進む。
【０５５８】
ステップＳ１６７では、撮像条件演算部９１は、すべての演算対象画素を注目画素として、その移動距離△ｘを求めたかどうかを判定し、まだ、注目画素としていない演算対象画素があると判定した場合、ステップＳ１６４に戻り、以下、同様の処理を繰り返す。
【０５５９】
また、ステップＳ１６７において、すべての演算対象画素を注目画素としたと判定された場合、ステップＳ１６８に、進み、撮像条件演算部９１は、演算対象画素とされた４以上の画素それぞれについて求められた移動距離△ｘと、原画像データを撮像したときの撮像ポイントからスクリーンまでの距離Ｌとを用い、式（４４）から、撮像条件△ｄ，Ｄ，ｈ，φ0を求め、画像データベース２に記憶させ、処理を終了する。
【０５６０】
なお、ステップＳ１６７では、演算対象画素とされた４以上の画素それぞれについて求められた移動距離△ｘと、原画像データを撮像したときの撮像ポイントからスクリーンまでの距離Ｌについて、式（４４）を満たす△ｄ，Ｄ，ｈ，φ0が演算されることとなるが、その演算方法としては、例えば、△ｄ，Ｄ，ｈ，φ0それぞれの値を順次変更し、式（４４）を満たすかどうかを検査（検算）する方法などがある。
【０５６１】
以上のように、カメラを移動しながら撮像が行われたときの、カメラの仮想スクリーン上における原画像データに表示された被写体の移動距離△ｘを求め、カメラにおいて原画像データが撮像されたときの視点から仮想スクリーンまでの距離Ｌと、移動距離△とを用いて、撮像条件△ｄ，Ｄ，ｈ，φ0を求めるようにしたので、カメラを移動しながら撮像を行うことにより得られた原画像データから、撮像条件を、容易に求めることができる。
【０５６２】
さらに、その撮像条件を用いて、原画像データを、ユーザの視点から見た提示用画像データに変換することが可能となる。
【０５６３】
なお、本実施の形態では、コンピュータ１にプログラムを実行させることにより、上述した各種の処理を行わせるようにしたが、上述の各種の処理は、その他、専用のハードウェアにより行うことも可能である。
【０５６４】
【発明の効果】
以上の如く、本発明によれば、例えば、実写の画像であっても、容易に、ユーザの視点に応じて変化させることが可能となる。
【図面の簡単な説明】
【図１】従来の画像の表示方法を説明する図である。
【図２】本発明を適用した画像表示装置の一実施の形態の構成例を示す図である。
【図３】コンピュータ１のハードウェア構成例を示すブロック図である。
【図４】画像表示装置による画像の表示方法を説明する図である。
【図５】画像処理装置としてのコンピュータの第１の機能的構成例を示すブロック図である。
【図６】画像処理装置による画像処理を説明するフローチャートである。
【図７】画像データベース２に記憶される画像データを撮像（生成）する画像生成装置の構成例を示すブロック図である。
【図８】画像生成装置による画像生成処理を説明するフローチャートである。
【図９】モーションベース方式を説明する図である。
【図１０】モーションベースの移動例を示す図である。
【図１１】ターンテーブル方式を説明する図である。
【図１２】カメラ４１の構成例を示す斜視図である。
【図１３】全方位画像データを示す図である。
【図１４】集光部５２を構成する双曲面を説明する図である。
【図１５】集光部５２と撮像部５３との位置関係を説明するための図である。
【図１６】全方位画像データを示す図である。
【図１７】全方位画像データからの切り出しを説明するための図である。
【図１８】円周方向の歪みを説明するための図である。
【図１９】半径方向の歪みを説明するための図である。
【図２０】半径方向の歪みを除去する方法を説明するための図である。
【図２１】半径方向の歪みを除去する方法を説明するための図である。
【図２２】半径方向の歪みを除去する全方位画像データの変換を説明するための図である。
【図２３】変換対象点における画素値の求め方を説明するための図である。
【図２４】原画像データを、ユーザから見た提示用画像データに変換する変換原理を説明する図である。
【図２５】原画像データを、ユーザから見た提示用画像データに変換する変換原理を説明する図である。
【図２６】原画像データを中間データに変換する方法を説明する図である。
【図２７】原画像データを中間データに変換する画像データ変換処理を説明するフローチャートである。
【図２８】原画像データを中間データに変換する画像データ変換処理を説明する図である。
【図２９】中間データのフォーマットを示す図である。
【図３０】中間データとしての画像データを示す図である。
【図３１】中間データとしての画像データの補間を説明する図である。
【図３２】中間データとしての画像データを補間する画素値補間処理を説明するフローチャートである。
【図３３】クラス分類適応処理を行うクラス分類適応処理装置の構成例を示すブロック図である。
【図３４】クラス分類適応処理に用いられるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図３５】中間データの他のフォーマットを示す図である。
【図３６】中間データを提示用画像データに変換する中間データ変換処理を説明するフローチャートである。
【図３７】中間データを提示用画像データに変換する中間データ変換処理を説明する図である。
【図３８】画像処理装置としてのコンピュータ１の第２の機能的構成例を示すブロック図である。
【図３９】原画像データを提示用画像データに変換する変換原理を説明する図である。
【図４０】画像処理装置による画像処理を説明するフローチャートである。
【図４１】画像データベース２に記憶された原画像データの撮像方法を説明する図である。
【図４２】カメラが移動しながら原画像データの撮像が行われている様子を示す図である。
【図４３】短冊画像により構成される中間データを示す図である。
【図４４】原画像データの例を示す図である。
【図４５】中間データとしての画像データの例を示す図である。
【図４６】原画像データを中間データに変換する画像データ変換処理を説明するフローチャートである。
【図４７】原画像データを中間データに変換する画像データ変換処理を説明する図である。
【図４８】中間データのフォーマットを示す図である。
【図４９】中間データとしての画像データを補間する画素値補間処理を説明するフローチャートである。
【図５０】中間データを提示用画像データに変換する中間データ変換処理を説明するフローチャートである。
【図５１】中間データを提示用画像データに変換する中間データ変換処理を説明する図である。
【図５２】画像処理装置としてのコンピュータ１の第３の機能的構成例を示すブロック図である。
【図５３】撮像条件を求める方法を説明する図である。
【図５４】撮像条件を推定する撮像条件演算処理を説明するフローチャートである。
【符号の説明】
１ コンピュータ（画像処理装置）， ２ 画像データベース， ３ 中間データベース３， ４ レシーバ（位置センサ）， ５ トランスミッタ（位置センサ）， ６ ディスプレイ， １１ バス， １２ CPU， １３ ROM， １４ RAM， １５ ハードディスク， １６ 出力部， １７ 入力部， １８通信部， １９ ドライブ， ２０ 入出力インタフェース， ２１ リムーバブル記録媒体， ３０ データ変換部， ３１ 画像データ変換部， ３２ 中間データ変換部， ３３ センサ制御部， ３４ 再生フレーム管理部， ４１ カメラ， ４２ バッファ， ４３ 全方位画像変換部， ４４ バッファ， ４５ 駆動機構， ４６ 駆動機構制御部， ４７ コントローラ， ４８ｍｕｘ， ５１ 支持体， ５２ 集光部， ５３ 撮像部， ６１ バッファ， ６２ 予測タップ抽出部， ６３ クラスタップ抽出部， ６４ クラス分類部， ６５ 係数記憶部， ６６ 積和演算部， ７１ 教師データメモリ， ７２ 生徒データ生成部， ７３ 生徒データメモリ， ７４ 予測タップ抽出部， ７５ クラスタップ抽出部， ７６ クラス分類部， ７７ 正規方程式加算部， ７８ タップ係数決定部， ７９ 係数メモリ， ９１ 撮像条件演算部
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体に関し、例えば、ユーザの視点に対応した画像を表示することができるようにする画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体に関する。
【０００２】
【従来の技術】
従来の、例えば、ＣＲＴ(Cathod Ray Tube)や液晶パネル、プロジェクタなどを利用したディスプレイにおいては、例えば、ビデオカメラ（以下、適宜、単に、カメラともいう）で撮像された画像が表示されるが、その画像は、図１に示すように、カメラの位置を視点として見たものにすぎなかった。
【０００３】
従って、ユーザが、例えば、頭部を移動して、ディスプレイに表示された画像を見るときの視点を変えても、ディスプレイに表示される画像は、カメラのレンズ中心（以下、適宜、カメラの視点ともいう）から見た画像のままであり、ユーザの視点の変化に応じて、ディスプレイに表示される画像が変化することはなかった。
【０００４】
【発明が解決しようとする課題】
そこで、ディスプレイに表示される画像が、ユーザの視点に応じて変化する画像の表示方法として、例えば、zebra imagingと呼ばれる方法がある。ここで、zebra imagingについては、例えば、zebra imaging社のwebページであるhttp://www.zebraimaging.com/に開示されている。
【０００５】
しかしながら、zebra imagingは、ホログラフィを利用した方法であり、表示される画像がホログラムであるため、その作成に多大の演算量と時間を要する。
【０００６】
また、ディスプレイに表示される画像が、ユーザの視点に応じて変化する画像の他の表示方法としては、例えば、イリノイ大学のCAVE（洞窟の意）方式などに代表される、IPT(Immersive Projection Technology)（没入型投射技術）またはIPD(Immersive Projection Display)（没入型投射ディスプレイ）を用いたVR(Virtual Reality)システムがある。ここで、CAVE方式については、例えば、EVL(Electronic Visualization Laboratory）のwebページであるhttp://www.evl.uic.edu/evl/vr/に開示されている。
【０００７】
しかしながら、かかるＶＲシステムでは、対象とする画像がCG(Computer Graphics)であり、ビデオカメラで撮像された、いわゆる実写の画像を対象とすることは困難である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、実写の画像であっても、容易に、ユーザの視点に応じて変化させることができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の第１の画像処理装置は、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データを変換する画像データ変換手段と、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理手段と、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである第１の仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、第１の仮想スクリーン上の画素の画素値とし、第１の仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データを第２の画像データに変換する中間データ変換手段とを備えることを特徴とする。
【００１０】
本発明の第１の画像処理方法は、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データを変換する画像データ変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、仮想スクリーン上の画素の画素値とし、仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データを第２の画像データに変換する中間データ変換ステップとを備えることを特徴とする。
【００１１】
本発明の第１のプログラムは、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データを変換する画像データ変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、仮想スクリーン上の画素の画素値とし、仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データを第２の画像データに変換する中間データ変換ステップとを備えることを特徴とする。
【００１２】
本発明の第１のプログラム記録媒体は、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データを変換する画像データ変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、仮想スクリーン上の画素の画素値とし、仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データを第２の画像データに変換する中間データ変換ステップとを備えるプログラムが記録されていることを特徴とする。
【００１３】
本発明の第２の画像処理装置は、画像データを、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換する変換手段と、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理手段と、補間処理が施された中間データを記録する中間データ記録手段とを備えることを特徴とする。
【００１４】
本発明の第２の画像処理方法は、画像データを、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換する変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データを記録手段に記録する中間データ記録ステップとを備えることを特徴とする。
【００１５】
本発明の第２のプログラムは、画像データを、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換する変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データを記録手段に記録する中間データ記録ステップとを備えることを特徴とする。
【００１６】
本発明の第２のプログラム記録媒体は、画像データを、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換する変換ステップと、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、補間処理が施された中間データを記録手段に記録する中間データ記録ステップとを備えるプログラムが記録されていることを特徴とする。
【００１９】
本発明の第１の画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体においては、第１の画像データを構成する画素に被写体から入射した光線に対応する画素値からなり、光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、被写体から第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに第１の画像データが変換され、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理が施され、補間処理が施された中間データにおける、ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する光線に対応する画素値を、仮想スクリーン上の画素の画素値とし、仮想スクリーン上の画素値でなる画像データを、第２の画像データとすることで、中間データが第２の画像データに変換される。
【００２０】
本発明の第２の画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体においては、画像データが、画像データを構成する所定の画素に被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データであって、光線の方向ごとに、交点の画素値を取得できる中間データに変換され、中間データに対して、所定の点を通る他の平面上の、他の平面に垂直な光線との交点における画素値によって、所定の点を通る平面上の、光線との交点以外の点における画素値を補間する補間処理が施され、補間処理が施された中間データが記録される。
【００２２】
ここで、画像データは、静止画であっても良いし、動画であっても良い。さらに、画像データは、例えば、実写の画像データであると、ＣＧであるとを問わない。
【００２３】
【発明の実施の形態】
図２は、本発明を適用した画像表示装置の一実施の形態の構成例を示している。
【００２４】
コンピュータ１は、例えば、ワークステーションであり、画像データベース２に記憶された原画像データを、後述する中間データに変換し、中間データベース３に記憶させる。また、コンピュータ１は、位置センサとしてのレシーバ４およびトランシーバ５を制御し、レシーバ４の出力に基づいて、ユーザの位置（さらには、必要に応じて姿勢）を検出する。さらに、コンピュータ１は、ユーザの位置を、ユーザの視点の位置として設定し、中間データベース３に記憶された中間データを、そのユーザの視点から見た画像データ（以下、適宜、提示用画像データという）に変換する。そして、コンピュータ１は、提示用画像データを、ディスプレイ６に供給して表示させる。
【００２５】
画像データベース２は、後述するように、カメラ等の撮像装置で撮像された実写の画像データとしての原画像データを記憶している。中間データベース３は、コンピュータ１から供給される、原画像データを変換した中間データを記憶する。
【００２６】
レシーバ４は、ユーザに装着されており、トランスミッタ５が発生する磁界を検知し、その磁界の強度を、コンピュータ１に供給する。トランスミッタ５は、コンピュータ１の制御にしたがい、磁界を発生する。即ち、図２の実施の形態では、レシーバ４およびトランスミッタ５は、位置センサとしての磁界センサを構成しており、レシーバ４が、トランスミッタが発生する磁界の強度を計測することにより、レシーバ４の位置、ひいては、ユーザの位置が検出されるようになっている。
【００２７】
ここで、レシーバ４は、例えば、ユーザの頭部に装着される。また、ユーザが、例えば、ネクタイピンを着用していたり、または眼鏡をかけている場合には、レシーバ４は、そのネクタイピンや眼鏡のフレームに装着することができる。
【００２８】
なお、位置センサである磁界センサとしては、例えば、ポヒマス(Polhemus)社の３次元位置センサなどを採用することができる。
【００２９】
また、位置センサとしては、磁界センサの他、例えば、機械リンク式の位置計測手段（例えば、３次元ディジタイザなど）を採用することが可能である。さらに、位置センサとしては、例えば、ジョイスティックやトラックボールなどの、ユーザの位置の変化を入力することのできる手段を採用することも可能である。即ち、ここでは、位置センサは、実際のユーザの位置を検知する手段である必要はなく、仮想的なユーザの位置を入力することができる手段であってもよい。
【００３０】
ディスプレイ６は、例えば、ＣＲＴや液晶パネルなどで構成され、コンピュータ１から供給される提示用画像データを表示する。なお、ディスプレイ６としては、ＣＲＴや液晶パネル以外に、例えば、プロジェクタやＨＭＤ(Head Mount Display)、その他の画像を表示することのできる手段を採用することが可能である。
【００３１】
次に、図３は、図１のコンピュータ１のハードウェア構成例を示している。
【００３２】
コンピュータ１には、後述する一連の処理を実行するプログラムがインストールされている。
【００３３】
プログラムは、コンピュータ１に内蔵されている記録媒体としてのハードディスク１５やＲＯＭ１３に予め記録しておくことができる。
【００３４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１は、いわゆるパッケージソフトウエアとして提供することができる。
【００３５】
なお、プログラムは、上述したようなリムーバブル記録媒体２１からコンピュータ１にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータ１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータ１に有線で転送し、コンピュータ１では、そのようにして転送されてくるプログラムを、通信部１８で受信し、内蔵するハードディスク１５にインストールすることができる。
【００３６】
コンピュータ１は、CPU(Central Processing Unit)１２を内蔵している。CPU１２には、バス１１を介して、入出力インタフェース２０が接続されており、CPU１２は、入出力インタフェース２０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１３に格納されているプログラムを実行する。あるいは、また、CPU１２は、ハードディスク１５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１８で受信されてハードディスク１５にインストールされたプログラム、またはドライブ１９に装着されたリムーバブル記録媒体２１から読み出されてハードディスク１５にインストールされたプログラムを、RAM(Random Access Memory)１４にロードして実行する。これにより、CPU１２は、後述するフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU１２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０を介して、スピーカ等で構成される出力部１６から出力、あるいは、通信部１８から送信、さらには、ハードディスク１５に記録等させる。
【００３７】
なお、図３の実施の形態では、入出力インタフェース２０に、画像データベース２、中間データベース３、レシーバ４、トランスミッタ５、およびディスプレイ６が接続されている。そして、CPU１２は、画像データベース２に記憶された原画像データを、入出力インタフェース２０を介して読み出し、中間データに変換する。さらに、CPU１２は、その中間データを、入出力インタフェース２０を介して、中間データベース３に記憶させる。また、CPU１２は、入出力インタフェース２０を介して、トランスミッタ５を制御するとともに、レシーバ４の出力を受信し、ユーザの位置を検出する。さらに、CPU１２は、検出したユーザの位置を、ユーザの視点として設定し、そのユーザの視点に対応して、中間データベース３に記憶された中間データを、提示用画像データに変換する。また、CPU１２は、提示用画像データを、入出力インタフェース２０を介して、ディスプレイ６に供給して表示させる。
【００３８】
ここで、本明細書において、コンピュータ１に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしも後述するフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【００３９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００４０】
以上のような図３のコンピュータ１をベースとして構成される図２の画像表示装置では、例えば、図４Ａに示すように、現実世界において、ユーザが、ある被写体を観察する場合と同様の提示用画像データが表示される。
【００４１】
即ち、現実世界において、ユーザが、ある被写体を観察する場合には、ユーザが、その視点を移動すると、ユーザは、その移動後の視点から見た被写体を観察することができる。具体的には、現実世界では、ユーザが、その視点を移動することによって、被写体の見える部分と見えない部分が変化する。
【００４２】
図２の画像表示装置においても、図４Ｂに示すように、ユーザが、その視点を移動した場合、その視点に応じて、ディスプレイ６に表示される提示用画像データが、現実世界においてユーザの視覚に映る被写体が表示されたものとなるようになっている。即ち、図２の画像表示装置においては、図４Ｃに示すように、ユーザが視点を移動した場合に、その視点から被写体を見た場合の提示用画像データが表示されるようになっている。
【００４３】
従って、図２の画像表示装置では、ユーザが視点を移動すると、例えば、移動前の視点からでは見えなかった被写体の部分が見える状態となった提示用画像データが表示される。即ち、ユーザが、ディスプレイ６における提示用画像データに表示された被写体をのぞき込むように、視点を移動すると、現実世界において、その移動後の視点から被写体を見た場合に視覚に映るのと同様の提示用画像データ、つまり、ユーザが覗き込んだ被写体の部分が見える状態となった提示用画像データが表示される。このことから、図２の画像表示装置は、いわば、のぞけるテレビ(Television)ということができる。
【００４４】
次に、図５は、図３のコンピュータ１がプログラムを実行することにより実現される画像処理装置の機能的構成例を示している。
【００４５】
コンピュータ１（のCPU１２）がプログラムを実行することにより実現される画像処理装置は、データ変換部３０およびセンサ制御部３３で構成される。
【００４６】
データ変換部３０は、画像データ変換部３１と中間データ変換部３２から構成され、画像データベース２に記憶された原画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、その原画像データを、センサ制御部３３から供給されるユーザの視点から見える提示用画像データに変換し、ディスプレイ６に供給して表示させる。
【００４７】
即ち、データ変換部３１は、画像データベース２から原画像データを読み出し、中間データに幾何変換する。さらに、データ変換部３１は、中間データを、中間データベース３に供給して記憶させる。
【００４８】
中間データ変換部３２は、センサ制御部３３から供給されるユーザの視点に基づいて、中間データを、提示用画像データに変換し、即ち、ユーザの視点から見た画像データを再構成し、ディスプレイ６に供給して表示させる。
【００４９】
センサ制御部３３は、位置センサとしてのレシーバ４およびトランスミッタ５を制御することにより、ユーザの視点を検出し、中間データ変換部３２に供給する。即ち、センサ制御部３３は、トランスミッタ５を制御することにより、磁界を発生させる。さらに、センサ制御部３３は、レシーバ４から供給される、トランスミッタ５が発生する磁界の検出結果に基づいて、ユーザの位置を検出して、その位置を、ユーザの視点として設定し、中間データ変換部３２に供給する。
【００５０】
次に、図６のフローチャートを参照して、図５の画像処理装置（コンピュータ）１による画像処理について説明する。
【００５１】
まず最初に、ステップＳ１において、データ変換部３１は、画像データベース２から原画像データを読み出し、中間データに変換する。さらに、ステップＳ１では、データ変換部３１は、中間データを、中間データベース３に供給して記憶させ、ステップＳ２に進む。
【００５２】
ステップＳ２では、センサ制御部３３が、レシーバ４の出力から、ユーザの位置を検出し、さらに、そのユーザの位置を、ユーザの視点に設定して、中間データ変換部３２に供給する。
【００５３】
そして、ステップＳ３に進み、中間データ変換部３２は、センサ制御部３３から供給されるユーザの視点に基づいて、中間データを、提示用画像データに変換し、ステップＳ４に進む。
【００５４】
ステップＳ４では、中間データ変換部３２は、提示用画像データを、ディスプレイ６に供給して表示させ、ステップＳ５に進む。
【００５５】
ステップＳ５では、例えば、ユーザが、画像処理を終了するように、入力部１７（図３）を操作したかどうかを、CPU１２（図３）が判定する。ステップＳ５において、画像処理を終了するように、入力部１７が操作されていないと判定された場合、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００５６】
また、ステップＳ５において、画像処理を終了するように、入力部１７が操作されたと判定された場合、処理を終了する。
【００５７】
なお、図６の画像処理が、過去に実行され、これにより、画像データベース２に記憶されている原画像データを変換した中間データが、中間データベース３に、既に記憶されている場合には、ステップＳ１の処理は、スキップすることができる。
【００５８】
次に、図７は、画像データベース２に記憶させる原画像データを生成（撮像）する画像生成装置の構成例を示している。
【００５９】
カメラ４１は、図７の実施の形態では、例えば、いわゆる全方位カメラで構成され、被写体を含む全方位の画像データ（全方位画像データ）を、コントローラ４７の制御にしたがって撮像し、バッファ４２に供給する。
【００６０】
バッファ４２は、カメラ４１から供給される全方位画像データを一時記憶する。
【００６１】
全方位画像変換部４３は、バッファ４２に記憶された全方位画像データを読み出し、後述する緯度経度表現の原画像データに変換して、バッファ４４に供給する。
【００６２】
バッファ４４は、全方位画像変換部４３から供給される原画像データを一時記憶する。
【００６３】
駆動機構４５は、駆動機構制御部４６の制御にしたがい、カメラ４１で撮像する撮像対象となっている被写体を移動する。ここで、駆動機構４５によって被写体が移動されることにより、相対的に、被写体に対するカメラ４１の視点（光学中心）が、複数の位置に変えられる。
【００６４】
駆動機構制御部４６は、コントローラ４７の制御にしたがい、駆動機構を駆動する。
【００６５】
コントローラ４７は、カメラ４１の撮像タイミングや、駆動機構制御部４６による駆動機構４５の駆動速度および駆動方向などを制御する。さらに、コントローラ４７は、カメラ４１の撮像タイミング（撮像時刻）や、駆動機構４５により移動される被写体の位置（必要に応じて、被写体の姿勢を含む）を表す情報などを、ｍｕｘ（マルチプレクサ）４８に供給する。
【００６６】
マルチプレクサ４８は、バッファ４４に記憶された原画像データの各フレームに、そのフレームについてコントローラ４７が出力する情報を付加し、画像データベース２に供給して記憶させる。
【００６７】
次に、図８のフローチャートを参照して、図７の画像生成装置による画像生成処理について説明する。
【００６８】
まず最初に、コントローラ４７は、被写体を所定の位置に移動させ、その撮像を行うように、カメラ４１および駆動機構制御部４６を制御するとともに、その所定の位置と被写体の撮像タイミングを表す情報を、ｍｕｘ４８に供給する。
【００６９】
ここで、コントローラ４７は、例えば、現実世界に、３次元座標系（以下、適宜、撮像時座標系という）をあらかじめ設定し、その撮像時座標系における被写体の座標を、被写体の位置を表す情報（以下、適宜、位置情報という）として出力する。また、コントローラ４７は、被写体のある姿勢（例えば、被写体の撮像開始時の姿勢）を基準姿勢として、その基準姿勢からの被写体の変化を表す角度も、位置情報に含めて出力する。さらに、コントローラ４７は、撮像時座標系における、カメラ４１の位置（例えば、レンズ中心の位置）を表す座標と、その光軸方向（視線の方向）を表す情報も、位置情報に含めて出力する。
【００７０】
なお、後述する図９で説明するモーションベース方式や、図１１で説明するターンテーブル方式によって、被写体を動かす場合には、カメラ４１のレンズ中心（光学中心）の位置および光軸方向は、変化せず、固定となるが、このカメラ４１のレンズ中心の位置および光軸方向は、コントローラ４７にあらかじめ設定されているものとする。
【００７１】
また、上述の被写体の座標や姿勢は、実際には、被写体を移動させる駆動機構４５の状態から把握される。ここで、駆動機構４５の状態は、駆動機構４５を、駆動機構制御部４６を介して制御するコントローラ４７によって認識される。
【００７２】
ステップＳ１１において、駆動機構制御部４６は、コントローラ４７の制御にしたがい、駆動機構４５を制御することにより、被写体の位置を変化させ、ステップＳ１２に進む。ステップＳ１２では、カメラ４１が、コントローラ４７の制御にしたがい、被写体を撮像し、その結果得られる全方位画像データを、バッファ４２に供給して記憶させる。
【００７３】
そして、ステップＳ１３に進み、全方位画像変換部４３は、バッファ４２に記憶された全方位画像データを読み出し、緯度経度表現の原画像データに変換して、バッファ４４に供給する。その後、ステップＳ１４に進み、ｍｕｘ４８は、バッファ４４に記憶された原画像データのフレームに、コントローラ４７から供給される情報を付加し、画像データベース２に供給して記憶させる。
【００７４】
ステップＳ１４の処理後は、ステップＳ１５に進み、コントローラ４７は、被写体を、あらかじめ設定したすべての位置に移動したかどうか（さらには、必要に応じて、あらかじめ設定したすべての姿勢をとらせたかどうか）を判定し、まだ、すべての位置に移動していないと判定した場合、被写体を、まだ移動させていない位置に移動させ、その撮像を行うように、カメラ４１および駆動機構制御部４６を制御するとともに、被写体の移動位置と被写体の撮像タイミングを表す情報その他を、ｍｕｘ４８に供給する。そして、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００７５】
また、ステップＳ１５において、被写体を、あらかじめ設定したすべての位置に移動したと判定された場合、即ち、あらかじめ設定したすべての位置において、被写体の撮像が行われた場合、処理を終了する。
【００７６】
次に、図７の画像生成装置において、被写体を移動させる被写体の移動方式について説明する。
【００７７】
図７の画像生成装置では、被写体を移動させながら、その撮像が行われるが、この場合、その被写体の位置を精度良く制御する必要がある。そのような被写体の移動方式としては、例えば、モーションベース方式やターンテーブル方式がある。
【００７８】
モーションベース方式では、図９に示すように、駆動機構４５として、モーションベースが用いられる。そして、駆動機構４５としてのモーションベース上に被写体を載せ、例えば、被写体が併進運動するように、モーションベースが（カメラ４１に向かって）上下左右に移動される。
【００７９】
即ち、モーションベース方式では、駆動機構４５としてのモーションベースを、例えば、図１０Ａに示すように、上下方向に移動しながら、徐々に、左から右方向に移動する。ここで、図１０Ｂは、実際のモーションベースの軌跡を表している。なお、図１０Ｂにおいて、モーションベースの軌跡とともに、TC:の後に続けて表示してある数字は、カメラ４１で撮像された画像のタイムコードを表す。従って、図１０Ｂでは、モーションベースの軌跡とタイムコードとが対応付けられているので、被写体の位置（姿勢）と、その位置にある被写体を撮像した画像データのフレームとの対応関係を認識することができる。
【００８０】
図９のモーションベース方式によれば、被写体とカメラ４１との間に想定することができる開曲面としての、例えば平面上の複数の点を視点として被写体を撮像したときの、被写体からの光線の軌跡とその光線に対応する画素値である光線情報を得ることができる。なお、被写体からの光線に対応する画素値は、カメラ４１が出力する画像データから得ることができ、被写体からの光線の軌跡は、カメラ４１と被写体の位置から得ることができる。
【００８１】
ターンテーブル方式では、図１１に示すように、駆動機構４５として、ターンテーブル（台車）が用いられる。そして、駆動機構４５としてのターンテーブル上に被写体を載せ、ターンテーブルを非常に低速で上または下方向に移動させながら一定の角速度で回転させる。
【００８２】
図１１のターンテーブル方式によれば、被写体を囲む開曲面としての、例えば円柱の側面上の複数の点を視点として被写体を撮像したときの光線情報を得ることができる。
【００８３】
なお、図７の画像生成装置においては、被写体を移動させることにより、その被写体を複数の視点それぞれから見た画像データの撮像を行うようにしたが、被写体を移動させるのではなく、カメラ４１を移動させることにより、被写体を複数の視点それぞれから見た画像データの撮像を行うようにすることも可能である。
【００８４】
また、図７の画像生成装置においては、１台のカメラ４１を用い、被写体を移動させることによって、被写体を複数の視点それぞれから見た画像データの撮像を行うようにしたが、その他、例えば、異なる位置に配置した複数台のカメラを用いて被写体を撮像することにより、被写体を複数の視点それぞれから見た画像データの撮像を行うことも可能である。
【００８５】
次に、図７の画像生成装置では、カメラ４１として、全方位カメラが採用されているが、この全方位カメラによる画像の撮像と、全方位画像変換部４３による全方位画像データの変換について説明する。
【００８６】
図１２は、図７のカメラ４１としての全方位カメラの光学系の構成例を示している。
【００８７】
図１２の実施の形態では、カメラ４１は、集光部５２が、撮像部５３の上部に配置された支持体５１によって支持されることによって構成されており、集光部５２の周囲３６０度の方向を撮像することができるようになっている。
【００８８】
支持体５１は、ガラスなどの反射率の低い透明材料からなり、ガラス面での光の屈折を最小化するために、入射光がガラス面と直交するように、集光部５２の後述する焦点を中心とした球面になっている。
【００８９】
集光部５２は、例えば、双曲面形状のミラー（双曲面ミラー）で構成され、支持体５１を介して入射する周囲の光を、撮像部５３の方向に反射する。
【００９０】
撮像部５３は、例えば、ＣＣＤ(Charge Coupled Device)等の光電変換素子で構成され、そこに入射する光を電気信号としての画像データに変換する。この撮像部５３で得られる画像データが、カメラ４１の出力として、図７のバッファ４２に供給される。
【００９１】
ここで、図１２に示した全方位カメラの構成や集光の原理については、例えば、「移動ロボット用全方位視覚センサの開発」、自動化技術第２９巻第６号（１９９７年）（以下、適宜、文献１という）に開示されているため、ここでは、簡単に説明する。
【００９２】
図１３は、図１２のカメラ４１によって撮像された全方位画像データの例を示している。
【００９３】
全方位画像データは、中心点Ｃ１を中心とする２つの円の円周Ｆ１とＦ２によって区分される。なお、図１３では、円周Ｆ１の方が、円周Ｆ２よりも半径が大きいものとなっている。
【００９４】
即ち、全方位画像データは、大きい円周Ｆ１の内側で、かつ小さい円周Ｆ２の外側になっている領域Ｒ１、大きい円周Ｆ１の外側の領域Ｒ２、小さい円周Ｒ２に囲まれた領域（内側の領域）Ｒ３から構成される。
【００９５】
以上の３つの領域Ｒ１乃至Ｒ３のうち、領域Ｒ１においては、集光部５２で反射された、周囲からの光に対応する画像データが撮像されており、領域Ｒ２においては、集光部５２の外側の部分が撮像されている。また、領域Ｒ３には、撮像部５３自身が撮像されている。
【００９６】
さらに、図１３の実施の形態では、領域Ｒ１には、複数の建物が撮像されているが、円周Ｆ１に近い方向に、建物の上部が撮像され、円周Ｆ２に近い方向に、建物の下部が撮像されている。
【００９７】
次に、図１４を参照して、図１２の集光部５２を構成する双曲面について説明する。
【００９８】
集光部５２は、双曲面の一部により構成されており、双曲面の軸に対する垂直面により、双曲面を切断して得られた双曲面の凸型先頭部の凸状面に、鏡面を形成したものとなっている。
【００９９】
集光部５２には、双曲面の１つである二葉双曲面を用いることができ、二葉双曲面は、図１４に示すように、双曲線を軸（図１４では、Ｚ軸）回りに回転して得られる曲面であり、Ｚ＞０の領域に存在する下に凸の双曲面Ｈ１と、Ｚ＜０の領域に存在する上に凸の双曲面Ｈ２から構成される。
【０１００】
集光部５２には、二葉の双曲面Ｈ１とＨ２のうち、Ｚ＞０の領域にある双曲面Ｈ１を利用する。なお、以下、適宜、Ｚ軸を、双曲線の中心軸または単に軸ともいう。
【０１０１】
図１４に示したＸ，Ｙ，Ｚの３次元直交座標系において、二葉双曲面Ｈ１とＨ２は、式（１）で示される。
【０１０２】
【数１】
【０１０３】
ここで、式（１）において、定数ａとｂは、双曲面Ｈ１およびＨ２の形状を定義する定数である。即ち、定数ｂは、原点Ｏから、双曲面Ｈ１（Ｈ２）とＺ軸との交点までの距離を表す。また、定数ａは、その交点を通る、ＸＹ平面と平行な平面と、双曲面Ｈ１（Ｈ２）の漸近面Ａ１との交線が描く円の半径を表す。
【０１０４】
さらに、式（１）において、定数ｃは、双曲面Ｈ１およびＨ２の焦点の位置を定義する定数である。即ち、Ｚ軸上の＋ｃの位置（０，０，＋ｃ）が、双曲面Ｈ２の焦点ｆ１となり、Ｚ軸上の−ｃの位置（０，０，−ｃ）が、双曲面Ｈ１の焦点ｆ２となる。
【０１０５】
なお、定数ａ，ｂ，ｃは、次式で示される関係を有する。
【０１０６】
【数２】
【０１０７】
集光部５２が、図１４で説明したような双曲面Ｈ１で構成されるとした場合、撮像部５３は、図１５に示すように、そのレンズの中心軸（光軸）がＺ軸に一致し、かつ、レンズ中心（カメラ４１のレンズ中心）が、双曲面Ｈ１の焦点ｆ２に一致するように配置される。
【０１０８】
次に、撮像部５３が出力する全方位画像データは、上述の図１３に示したようなものとなるが、いま、この全方位画像データについて、図１６に示すように、その左上の点を原点Ｏとするとともに、左から右方向にｘ軸をとり、上から下方向にｙ軸をとった２次元直交座標系を定義する。
【０１０９】
この場合、円周Ｆ１の円および円周Ｆ２の円の中心点Ｃ１の座標を（Ｘ0 、Ｙ0 ）とするとともに、円周Ｆ１の円の半径をｒF1とし、円周Ｆ２の円の半径をｒF2とすると、円周Ｆ１の外側の領域Ｒ２を構成する点（ｘ，ｙ）は、式（３）により表され、円周Ｆ２の内側の領域Ｒ３を構成する点（ｘ，ｙ）は、式（４）により表される。
【０１１０】
【数３】
【０１１１】
【数４】
【０１１２】
図７の全方位画像変換部４３は、全方位画像データを緯度経度表現の原画像データに変換する前に、式（３）で表される領域Ｒ２を構成する画素値と、式（４）で表される領域Ｒ３を構成する画素値を、画素値としては一般に取り得ない値（例えば、０）に変換する。
【０１１３】
ここで、この画素値の変換にあたっては、中心点Ｃ１の座標（Ｘ0，Ｙ0）、並びに半径ｒF1およびｒF2が必要となるが、これらの情報は、カメラ４１からバッファ４２を介して、全方位画像変換部４３に供給されるようになっている。
【０１１４】
なお、ここでは、説明を簡単にするため、露出時間や、絞り、ズームは、固定であるとする。
【０１１５】
また、図１３や図１６に示した領域Ｒ１の画像データである全方位画像データについては、所望の被写体が表示されている部分等の、全方位画像データの一部分だけが必要な場合があり、この場合、全方位画像データから、その必要な部分を切り出す必要があるが、この切り出しは、全方位画像変換部４３において行われるようになっている。即ち、全方位画像変換部４３は、図１７に示すように、所望の被写体を含む領域Ｒ１１であって、中心点Ｃ１を通る半径方向の２つの直線Ｌc1とＬc2に囲まれ、かつ中心点Ｃ１を中心とする２つの円の円周Ｆc1とＦc2に囲まれる略扇形の領域Ｒ１１の画像データを切り出す。
【０１１６】
次に、全方位画像データは、図１３や図１６に示したように、中心点Ｃ１に近づくほど狭まったものとなり、逆に、中心点Ｃ１から遠ざかるほど広がったものとなるような歪みを有する。このことは、全方位画像変換部４３が全方位画像データから切り出す略扇形の画像データについても同様であり、このようは歪みのある画像データは、図５の画像処理装置において処理等するにあたって、歪みのないものに変換する必要がある。
【０１１７】
全方位カメラであるカメラ４１が出力する、上述のような全方位画像データの歪みは、中心点Ｃ１を通る円の円周方向の歪みと、半径方向の歪みとに分けて考えることができる。
【０１１８】
そこで、まず円周方向の歪みを考えてみると、図１３や図１６の全方位画像データの、中心点Ｃ１を中心とするある円の円周上においては、スケールが一定であり、従って、歪みはない。
【０１１９】
即ち、図１８は、Ｚ軸方向から見た集光部５２としての双曲面Ｈ１を示している。
【０１２０】
図１８では、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、Ｚ軸に向かい、Ｘ軸（ＸＺ平面）と角度θをつくるように、光線ｒが入射している。この光線ｒは、双曲面Ｈ１で反射され、後述する図１９に図示してある撮像部５３の受光面（画像面）（仮想スクリーン）Ａ３上の点ｐ（ｘ，ｙ）に到達する。そして、この場合、点ｐ（ｘ，ｙ）は、Ｘ軸（ＸＺ平面）との間で、光線ｒがＸ軸との間でつくるのと同一の角度θをつくる。
【０１２１】
また、Ｚ軸に向かい、Ｘ軸と角度θ’をつくるように入射する光線ｒ’を考えた場合、この光線ｒ’も、双曲面Ｈ１で反射され、受光面（画像面）Ａ３上の点ｐ’（ｘ’，ｙ’）に到達する。そして、この場合も、点ｐ’（ｘ’，ｙ’）は、Ｘ軸との間で、光線ｒ’がＸ軸との間でつくるのと同一の角度θ’をつくる。
【０１２２】
また、光線ｒとｒ’の、Ｚ軸に対する仰角（後述する）が同一であれば、光線ｒおよびｒ’は、受光面Ａ３上の、位置は異なるが、Ｚ軸から同一の距離ｒpだけ離れた点で受光される。
【０１２３】
以上から、Ｚ軸に対する仰角が同一の複数の光線それぞれは、受光面Ａ３上の、Ｚ軸から同一の距離にある点であって、Ｘ軸との間で、光線とＸ軸とがつくるのと同一の角度をつくる点で受光される。
【０１２４】
従って、Ｚ軸に対する仰角が同一で、Ｘ軸との角度が等角度の複数の光線は、受光面Ａ３の、Ｚ軸を中心とする円周上に、等間隔で入射することになるから、全方位画像データにおいて、受光面Ａ３とＺ軸との交点にあたる中心点Ｃ１を中心とする円の円周方向には、歪みは生じない。
【０１２５】
一方、図１３や図１６の全方位画像データの、中心点Ｃ１を通る半径方向の直線上においては、中心点Ｃ１に近づくほど、スケールが小さくなり、中心点Ｃ１から離れるほど、スケールが大きくなることから、全方位画像データは、半径方向の歪みを有する。
【０１２６】
即ち、図１９は、Ｘ軸方向から見た集光部５２としての双曲面Ｈ１を示している。
【０１２７】
図１９において、Ｚ軸に対して仰角０度で、焦点ｆ１に向かって入射する光線ｒ１は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、撮像部５３の受光面（画像面）Ａ３で受光される。
【０１２８】
ここで、Ｚ軸に対する仰角とは、Ｚ軸上の焦点ｆ１を通り、ＸＹ面に平行な面と、焦点ｆ１に向かって入射する光線とがつくる角度を意味する。また、撮像部５３の受光面Ａ３は、カメラ４１の焦点距離をｆとすると、焦点ｆ２から、Ｚ軸に沿って、ｆだけ離れた原点Ｏ方向に位置する。
【０１２９】
Ｚ軸に対して仰角△ｄ度で、焦点ｆ１に向かって入射する光線ｒ２は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。Ｚ軸に対して仰角２△ｄ度で、焦点ｆ１に向かって入射する光線ｒ３は、双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。仰角が△ｄ度ずつ大きくなる光線ｒ４，ｒ５，ｒ６も、同様にして、受光面Ａ３で受光される。
【０１３０】
このように、仰角が△ｄ度ずつ異なる光線ｒ１乃至ｒ６それぞれが、受光面Ａ３で受光される点どうしの間隔は、図１９の拡大図に示すように、等間隔にはならず、Ｚ軸に近い点どうしの間隔ほど狭くなる（Ｚ軸から離れた点どうしの間隔ほど広くなる）。即ち、仰角が大きい光線どうしの間隔ほど狭くなる（仰角が小さい光線どうしの間隔ほど広くなる）。
【０１３１】
そして、仰角が等角度の光線について、受光面Ａ３上で受光される点どうしの間隔が、上述のように、等間隔にならないことから、全方位画像データには、半径方向の歪みが生じる。
【０１３２】
従って、全方位画像データの半径方向の歪みを除去するには、仰角が等角度の光線の、受光面Ａ３上での受光点どうしの間隔が、等間隔になるようにすれば良い。
【０１３３】
そこで、いま、図２０に示すように、被写体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、焦点ｆ１に向かって、仰角α度で入射する光線ｒを考える。
【０１３４】
この光線ｒは、図１９で説明した場合と同様に、集光部５２としての双曲面Ｈ１で反射され、焦点ｆ２に向かっていき、受光面Ａ３で受光される。
【０１３５】
この場合において、焦点ｆ２に向かう光線ｒが、焦点ｆ２を通り、ＸＹ平面に平行な平面とつくる角度をγ度とする。さらに、Ｘ軸とＹ軸とで定義される２次元直交座標系において、光線ｒが受光面Ａ３で受光された点（受光点）ｐの座標を（ｘ，ｙ）で表し、その点ｐ（ｘ，ｙ）とＺ軸との距離をＲと表す。
【０１３６】
図２０における角度αは、式（１）で表される双曲面Ｈ１において、光線ｒが反射される点の座標を求めることにより、次式で表すことができる。
【０１３７】
【数５】
【０１３８】
式（５）から、ｔａｎαは、次式で求めることができる。
【０１３９】
【数６】
【０１４０】
ここで、ｃｏｓγを、次式のようにおく。
【０１４１】
【数７】
【０１４２】
式（６）に、式（７）を代入すると、次式が求められる。
【０１４３】
【数８】
【０１４４】
式（８）を変形して、式（９）が得られる。
【０１４５】
【数９】
【０１４６】
一方、ＡとＢを、それぞれ式（１０）と（１１）に示すように定義する。
【０１４７】
【数１０】
【０１４８】
【数１１】
【０１４９】
式（９）に、式（１０）および（１１）を代入することにより、式（１２）が求められる。
【０１５０】
【数１２】
【０１５１】
式（１２）は、次のような、Ｘについての２次方程式とすることができる。
【０１５２】
【数１３】
【０１５３】
式（１３）の２次方程式を解くと、次式が得られる。
【０１５４】
【数１４】
【０１５５】
従って、式（７）より、角度γは、次式によって求めることができる。
【０１５６】
【数１５】
【０１５７】
但し、式（１５）において、Ｘは、式（１４）で定義されるものであり、また、式（１４）中のＡとＢは、それぞれ、式（１０）と（１１）で定義されるものである。
【０１５８】
また、図２０の点ｐの座標から、角度γは、次式で求めることができる。
【０１５９】
【数１６】
【０１６０】
一方、図２０におけるＺ軸と点ｐ（ｘ，ｙ）との距離Ｒは、√（ｘ2＋ｙ2）で表されるから、式（１６）は、次式のように変形することができる。
【０１６１】
【数１７】
【０１６２】
以上から、式（１５）によって、角度γを求め、その角度γを用いて、式（１７）を計算することにより、Ｚ軸に対して仰角α度で、焦点ｆ１に向かって入射する光線ｒが、受光面Ａ３において受光される点ｐ（ｘ，ｙ）のＺ軸からの距離Ｒを算出することができる。
【０１６３】
従って、Ｚ軸に対する仰角の所定の範囲（例えば、０度乃至８０度など）を等角度△ｄに分割し、各仰角△ｄ，２△ｄ，３△ｄ，・・・で入射する光線が、受光面Ａ３上で受光される各点ｐ１，ｐ２，ｐ３・・・について、Ｚ軸からの距離Ｒp1，Ｒp2，Ｐp3・・・を求めておき、隣接する点どうしの距離の差｜Ｒp1−Ｒp2｜，｜Ｒp2−Ｐp3｜，・・・が、一定値になるように、カメラ４１が出力する全方位画像データを変換することにより、その半径方向の歪みを除去した全方位画像データを得ることができることになる。
【０１６４】
なお、この歪み除去のための全方位画像データの変換は、図７の全方位画像変換部４３が行う。
【０１６５】
即ち、全方位画像変換部４３は、図２１に示すように、カメラ４１から、バッファ４２を介して、上述した半径方向の歪みがある全方位画像データとともに、中心点Ｃ１、円周Ｆ１の円の半径ｒF1、および円周Ｆ２の円の半径ｒF2を受信する。
【０１６６】
そして、全方位画像変換部４３は、中心点Ｃ１を中心とする半径ｒF1の円の円周Ｆ１と、中心点Ｃ１を中心とする半径ｒF2の円の円周Ｆ２とで囲まれる領域Ｒ１内において、中心点Ｃ１を中心とする、上述のＲp1，Ｒp2，Ｐp3・・・を半径とする複数の同心円を描く。さらに、全方位画像変換部４３は、その複数の同心円の円周を等分する、中心点Ｃ１を通る複数の直線を描く。これにより、全方位画像変換部４３は、領域Ｒ１において、複数の同心円と、複数の直線とで形成される多数の交点を得る。
【０１６７】
ここで、上述の複数の同心円と、複数の直線とで形成される多数の交点を、以下、適宜、変換対象点という。
【０１６８】
上述したことから、変換対象点を、その隣接するものどうしが等間隔になるように配置することで、歪みのある全方位画像データを、その歪みを除去した画像データに変換することができる。
【０１６９】
そこで、いま、図２１における、図１７に示したのと同一の略扇形の領域Ｒ１１の画像データを、歪みのないものに変換することを考える。
【０１７０】
この領域Ｒ１１内には、図２２Ａに示すように、中心点Ｃ１を中心とする複数の同心円の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれと、中心点Ｃ１を通る複数の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれとの交点である多数の変換対象点が存在する。
【０１７１】
全方位画像変換部４３は、領域Ｒ１１内に存在する多数の変換対象点を、図２２Ｂに示すように、隣接するものどうしが等間隔になるように配置する。
【０１７２】
即ち、全方位画像変換部４３は、図２２Ａの円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それぞれに対応する、等間隔に配置された横方向の直線Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４，Ｌ２５，Ｌ２６と、図２２Ａの直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６それぞれに対応する、等間隔に配置された縦方向の直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４，Ｌ１５，Ｌ１６を想定し、その横方向の直線Ｌ２１乃至Ｌ２６それぞれと、縦方向の直線Ｌ１１乃至Ｌ１６それぞれとの交点上に、対応する変換対象点を変換する（割り当てる）。
【０１７３】
これにより、例えば、図２２Ａにおいて、円弧Ｆ１４と、直線Ｌ５との交点である変換対象点ｐ１１は、図２２Ｂの、円弧Ｆ１４に対応する直線Ｌ２４と、直線Ｌ５に対応する直線Ｌ１５との交点ｐ１２に変換される。
【０１７４】
なお、カメラ４１を囲む、表面が鏡の球を考えると、全方位画像データには、その球面上に映る、球の外側の景色が表示される。従って、例えば、いま、そのカメラ４１を囲む球を地球に見立てると、全方位画像変換部４３において得られる画像データは、その縦軸と横軸が、それぞれ地球の緯度と経度に対応するものとなっている。そこで、本実施の形態では、全方位画像変換部４３が出力する、歪みが除去された全方位画像データを、緯度経度表現の画像データと呼んでいる。
【０１７５】
ところで、全方位画像変換部４３は、上述のように、変換対象点の位置を変換（変更）することによって、半径方向の歪みを有する画像データ（全方位画像データ）を、その歪みを除去した画像データ（緯度経度表現の画像データ）に変換するが、変換対象点は、上述したように、中心点Ｃ１を中心とする円と、中心点Ｃ１を通る直線との交点である。従って、変換対象点は、撮像部５３（図１２）の受光面Ａ３（図１９、図２０）を構成する画素の画素中心に一致するとは限らず、むしろ、一般には、一致しないことが多い。
【０１７６】
このように、変換対象点は、画素中心からずれているのが一般的であるから、全方位画像変換部４３において、変換対象点の位置を変換する前に、その変換対象点における画素値を求める必要がある。
【０１７７】
そこで、全方位画像変換部４３は、変換対象点における画素値を、例えば、次のようにして求めるようになっている。
【０１７８】
即ち、いま、図２２の変換対象点ｐ１１が、図２３に示すように、受光面Ａ３上の隣接する２×２の４画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素中心ＣP1，ＣP2，ＣP3，ＣP4を頂点とする長方形（正方形）の範囲内にあるとする。なお、図２３の実施の形態においては、上下、または左右方向に隣接する画素中心どうしの距離が１であるとしてある。
【０１７９】
そして、変換対象点ｐ１１が、画素中心ＣP1よりも距離αだけ右方向の、距離βだけ下方向の点である場合、全方位画像変換部４３は、例えば、次式で求められる画素値Ｓsを、変換対象点ｐ１１の画素値とする。
【０１８０】
【数１８】
【０１８１】
但し、式（１８）において、Ｓa，Ｓb，Ｓc，Ｓdは、画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素値を表す。また、式（１８）において、αおよびβは、０以上１以下の範囲の値で、変換対象点ｐ１１の位置に対応するものである。
【０１８２】
なお、図１２の実施の形態では、集光部５２を双曲面ミラーで構成するようにしたが、集光部５２には、その他、例えば、球面ミラーなどを採用することも可能である。
【０１８３】
また、図７の実施の形態では、カメラ４１として、全方位画像データを撮像することができる全方位カメラを採用したが、カメラ４１としては、その他、例えば、魚眼レンズを装着したビデオカメラや、一般的な（通常の）レンズのビデオカメラなどを採用することも可能である。
【０１８４】
ここで、一般的なレンズのビデオカメラでは、そのビデオカメラの光軸と直交し、その重心が光軸上にある長方形の平面であって、かつビデオカメラのレンズ中心と被写体との間にある平面を、仮想的なスクリーンである仮想スクリーンとすれば、被写体上の各点からレンズ中心に入射する光線が仮想スクリーン上に形成する画像データが撮像される。そして、その際、仮想スクリーンに入射する光線は、理想的には、何らの変換もされないから、２次元平面である仮想スクリーンには、３次元空間である現実世界の状況が、いわば忠実に映し出される。
【０１８５】
しかしながら、全方位カメラや魚眼レンズを装着したビデオカメラでは、全方位や広角の撮像が可能であるが、仮想スクリーンに入射する光線が、いわば非線形な変換を受けるため、即ち、例えば、全方位カメラについて言えば、図１９に示したように、光線が、双曲面ミラー（を表す双曲面Ｈ１）で反射されるため、仮想スクリーンには、現実世界の状況が歪んだ形で映し出された全方位画像データが形成される。
【０１８６】
そのため、図７の全方位画像変換部４３では、そのような歪んだ全方位画像データが、一般的なレンズのカメラで撮像した場合と同様の緯度経度表現の画像データに変換されるが、いま、この緯度経度表現の画像データを、一般的なレンズのカメラで撮像したものとすると、この緯度経度表現の画像データには、全方位カメラの光軸を中心とするすべての経度方向が表示されているから、一般的なレンズのカメラについての仮想スクリーンは、左右方向（経度方向）に無限の長さを有するものとなる。
【０１８７】
また、全方位カメラでは、緯度方向については、理想的には、０度から−９０度の方向（図１９において、ＸＹ平面から下側の任意の点から原点に向かう方向）が撮像されるから、緯度経度表現の画像データを、一般的なレンズのカメラで撮像したものとした場合には、その仮想スクリーンは、下方向（マイナスの緯度方向）に無限の長さを有するものとなる。
【０１８８】
ところで、全方位カメラにおいて撮像された全方位画像データを変換した緯度経度表現の画像データは、図２の画像表示装置において画像を表示するにあたって、そのすべてを必要としない。即ち、図２の画像表示装置において画像を表示するにあたっては、緯度経度表現の画像データのうち、注目している被写体が映っている部分を含むある程度の範囲の画像データがあれば、基本的には、十分である。
【０１８９】
そこで、以下においては、一般的なレンズのカメラで被写体を撮像した場合に、その仮想スクリーンに映る範囲の画像データを、緯度経度表現の画像データから切り出し、その切り出された画像データを対象に処理が行われるものとする。ここで、この切り出しは、例えば、図７の全方位画像変換部４３に行わせることが可能である。
【０１９０】
さらに、以下においては、カメラ４１の光軸やレンズ中心というときには、カメラ４１が一般的なレンズのカメラであるとして、その一般的なレンズのカメラの光軸やレンズ中心を意味するものとする。従って、上述したように、緯度経度表現の画像データから切り出された画像データについては、その画像データを、一般的なレンズのカメラで撮像したと仮定した場合の、そのカメラの光軸やレンズ中心が、カメラ４１の光軸やレンズ中心となる。
【０１９１】
次に、図５の画像処理装置によれば、データ変換部３０において、画像データベース２に記憶された画像データが変換されることにより、図４で説明したように、ユーザの視点から見た画像データ、即ち、現実世界においてユーザが見ることのできる被写体が表示された画像データが、ディスプレイ６に表示される。
【０１９２】
このように、データ変換部３０において、現実世界においてユーザが見ることのできる被写体が表示された画像データが得られるのは、次の原理による。
【０１９３】
即ち、画像データベース２には、図７の画像生成装置が出力する、複数の視点（カメラ４１の視点）から撮像された緯度経度表現の原画像データが記憶されている。このことは、図２４に示すように、ある曲面Ω上の複数の点を視点として、被写体を撮像した画像データが、画像データベース２に記憶されていると見ることができる。
【０１９４】
いま、曲面Ωの、被写体と反対側のある位置に視点Ｐを設定し、その視点Ｐから被写体を見た場合の視覚に映る画像を考えてみる。
【０１９５】
なお、視点Ｐは、その視点Ｐと、被写体上の任意の点とを結ぶ直線が、曲面Ωと交わる位置にとるものとする。
【０１９６】
また、ここでは、説明を簡単にするために、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが、画像データベース２に記憶されているものとするとともに、ユーザが被写体を観測しようとする空間（媒質）内において、光線は直進し、減衰しないものとする。
【０１９７】
視点Ｐから被写体を見たときの光線の軌跡（被写体から視点Ｐに入射する光線の軌跡）は、視点Ｐと被写体上の各点とを結ぶ直線によって表現することができる。この光線は、必ず、曲面Ωと交わるから、その光線と一致する軌跡の光線に対応する画素値（被写体Ｐから被写体を見た場合の光線情報と同一の光線情報）が、画像データベース２には、必ず存在する。
【０１９８】
即ち、いま、視点Ｐと被写体上のある点Ｒiとを結ぶ直線Ｌiに注目し、その直線Ｌiと曲面Ωとの交点をＱiと表す。いまの場合、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが、画像データベース２に記憶されているから、点Ｑiを視点として被写体を撮像した画像データは、画像データベース２に記憶されている。さらに、いまの場合、光線は直進し、かつ減衰しないから、被写体上の点Ｒiから、曲面Ω上の点Ｑiに入射する光線と、視点Ｐに入射する光線とは、同一である。従って、視点Ｐから被写体を見た場合、その被写体上の点Ｒiから視点Ｐに向かう光線に対応する画素値は、被写体上の点Ｒiから曲面Ω上の点Ｑiに向かう光線に対応する画素値に一致し、この点Ｒiから点Ｑiに向かう光線に対応する画素値は、画像データベース２に記憶されている。
【０１９９】
以上から、視点Ｐから、被写体上の点Ｒiを見たときの画素値は、曲面Ω上の点Ｑiを視点として撮像された画像データから得ることができる。
【０２００】
視点Ｐから、被写体上の他の点を見たときの画素値も、同様に、曲面Ω上の点を視点として撮像された画像データから得ることができるから、結果として、曲面Ω上の任意の点を視点として撮像された画像データが存在すれば、その画像データを構成する画素の画素値から、視点Ｐと被写体とを結ぶ光線情報と同一の光線情報の光線に対応する画素値を選択することにより、視点Ｐから被写体を見た画像データが得られることになる。
【０２０１】
ここで、図２４に示した曲面Ωの形状は、特に限定されるものではなく、任意の形状のものを採用することができる。従って、曲面Ωは、図２５に示すように、平面であってもかまわない。
【０２０２】
また、曲面Ωは、開曲面であっても、閉曲面であってもかまわない。但し、曲面Ωが開曲面である場合には、視点Ｐは、上述したように、その視点Ｐと、被写体上の任意の点とを結ぶ直線が、曲面Ωと交わる位置にとる必要がある。
【０２０３】
さらに、曲面Ωが、被写体を囲む閉曲面である場合には、上述した原理から、次のことが言える。
【０２０４】
即ち、被写体を囲む閉曲面上のすべての点において、すべての方向の光線の光線情報（光線の軌跡とその光線に対応する画素値）が得られている場合には、その閉曲面の外側の任意の位置から見た画像を再構成することができる。
【０２０５】
なお、上述の場合には、曲面Ω上の任意の点を視点として、被写体を撮像した画像データが得られているものとしたが、被写体を撮像するときの視点は、曲面Ω上にない点であってもかまわない。即ち、例えば、曲面Ωが、被写体を囲む閉曲面であるとした場合、その閉曲面の外側の任意の位置から見た画像を再構成するには、原理的には、閉曲面上の任意の点において、すべての方向の光線情報が存在すればよく、その光線情報は、閉曲面上の点を視点として撮像された画像のものであっても、また、閉曲面上の点以外の点を視点として撮像された画像のものであっても良い。このことは、曲面Ωが開曲面であっても同様である。
【０２０６】
図５のデータ変換部３０は、以上のように、画像データベース２に記憶された原画像データを撮像したときの、所定の曲面Ωを通る光線情報のうち、ユーザの視点に向かう光線情報を用いて、提示用画像データ（ユーザの視点から見た画像データ）を再構成することにより、原画像データを提示用画像データに変換する。
【０２０７】
即ち、図５のデータ変換部３０は、ユーザの視点から見た画像が表示される仮想的なスクリーン（仮想スクリーン）を、ユーザの視点と被写体との間に設定し、ユーザの視点と、仮想スクリーンの画素とを結ぶ直線と同一軌跡の光線を検出する。さらに、データ変換部３０は、検出した光線に対応する画素値を、仮想スクリーンの画素の画素値とし、以上の処理を、仮想スクリーン上のすべての画素値について行うことにより、仮想スクリーン上に、ユーザの視点から見た画像データ（提示用画像データ）を再構成する。
【０２０８】
従って、例えば、いま、被写体を囲む閉曲面の外側の任意の位置を視点とした提示用画像データを再構成するとした場合には、その閉曲面上のすべての点における、すべての方向の光線情報があれば良い。なお、理論上は、閉曲面上の点も、その点における方向も無限に存在するから、実際には、閉曲面上の点も、その点における方向も有限個に制限されることになる。
【０２０９】
ところで、閉曲面上のすべての点における、すべての方向の光線情報を用いて、その閉曲面の外側の任意の位置を視点とした提示用画像データを再構成する場合、視点が閉曲面上にある場合には、その視点と一致する閉曲面上の点を通る光線の光線情報を、そのまま用いて、提示用画像データを再構成することができる。
【０２１０】
しかしながら、視点が閉曲面上にない場合には、その視点と、その視点について設定された仮想スクリーン上の画素とを結ぶ直線が、閉曲面と交わる点を、仮想スクリーン上のすべての画素について求める必要があり、この場合、例えば、画像処理装置としてのコンピュータ１（図３）を構成するCPU１２の性能等によっては、提示用画像データを実時間で表示するのが困難となることがある。
【０２１１】
そこで、データ変換部３０は、画像データ変換部３１において、画像データベース２に記憶された原画像データを、その画素に入射した光線に対応する画素値からなる所定のフォーマットの画像データである中間データに変換しておき、中間データ変換部３２において、その中間データを、ユーザの視点から見た提示用画像データに変換するようにすることで、提示用画像データを実時間で表示することを可能としている。
【０２１２】
即ち、画像データ変換部３１は、原画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、原画像データの所定の画素の画素値とした画像データを、中間データとして生成する。
【０２１３】
従って、曲面Ωとして、例えば、図２６に示すように、閉曲面としての球面を考え、その球面上のある点Ｑにおける、ある方向の光線に注目した場合、画像データ変換部３１では、その注目光線ついて、所定の点としての、例えば、原点を通り、注目光線と直交する平面α上において、注目光線が通る点Ｐxが画素とされ、さらに、その画素値が、注目光線に対応する画素値に設定される。画像データ変換部３１では、球面上の点Ｑ以外の点における、同一方向の光線についても同様にして、平面α上に画素とその画素値が設定され、これにより、平面α上には、同一方向の光線に対応する画素値からなる画像データが形成される。
【０２１４】
ここで、いま、図２６において、球面の中心を原点とする３次元座標系を考えるとともに、球面上の点Ｑにおける、ある方向の光線と同一方向の、原点を通るベクトルを、ベクトルｖと表す。さらに、ベクトルｖを、３次元座標系におけるｘｙ平面に射影して得られるベクトルを、ベクトルｖ’と表すとともに、ベクトルｖとｖ’がつくる角度θを緯度と、ｘ軸とベクトルｖ’がつくる角度φを経度と、それぞれいうものとする。ベクトルｖの向きは、この緯度θと経度φで規定される。
【０２１５】
上述した平面αには、ベクトルｖと同一方向の光線に対応する画素値からなる画像データが形成されるが、この平面α上に形成される画像データは、ベクトルｖの方向の無限遠を視点として見た場合の画像データとなる。
【０２１６】
データ変換部３１は、各値の緯度θと経度φによって規定される向きのベクトルｖと直交し、原点を通る平面について、同様の画像データを構成し、中間データとして出力する。
【０２１７】
次に、図２７のフローチャートと、図２８を参照して、図５の画像データ変換部３１が、図６のステップＳ１で行う画像データ変換処理、即ち、原画像データを中間データに変換する処理について説明する。
【０２１８】
まず最初に、ステップＳ２１において、画像データ変換部３１は、画像データベース２に記憶された原画像データを撮像したときのカメラ４１の視点（以下、適宜、撮像ポイントともいう）から、注目撮像ポイントＰcとするものを選択する。
【０２１９】
即ち、図７で説明した画像生成装置においては、カメラ４１を固定し、被写体を移動しながら、原画像データの撮像が行われるが、これは、相対的には、被写体を固定し、カメラ４１を移動しながら、原画像データの撮像が行われていることと等価である。即ち、原画像データは、カメラ４１の視点（撮像ポイント）を変えながら、被写体の撮像を行ったものであり、多数の撮像ポイントが存在する。ステップＳ２１では、その多数の撮像ポイントの中から、まだ注目撮像ポイントとしていない任意の撮像ポイントが、注目撮像ポイントＰcとして選択される。
【０２２０】
ここで、画像データベース２には、上述したように、原画像データの各フレームとともに、その原画像データを撮像したときの、被写体の位置、並びにカメラ４１の位置および光軸方向を表す情報も記憶される。データ変換部３１は、これらの情報に基づき、各フレームの原画像データについて、例えば、撮像時座標系における、被写体の位置（姿勢を含む）を固定した場合のカメラ４１の位置としての撮像ポイントを求め、その中から、まだ注目撮像ポイントとしていない撮像ポイントを、注目撮像ポイントＰcとして選択する。
【０２２１】
その後、ステップＳ２２に進み、画像データ変換部３１は、注目撮像ポイントＰcについて、仮想スクリーンを設定し、仮想スクリーン上の画素のうち、まだ注目画素として選択していない画素を、注目画素Ｐsとして選択する。
【０２２２】
即ち、画像データ変換部３１は、図２８に示すように、注目撮像ポイントＰcについて、その注目撮像ポイントから、カメラ４１の光軸方向に向かって、所定の距離Ｌだけ離れた位置に、カメラ４１の光軸と直交する長方形状の平面を、仮想スクリーンとして設定する。そして、画像データ変換部３１は、仮想スクリーン上の画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素Ｐsとして選択する。
【０２２３】
ここで、画像データ変換部３１では、注目撮像ポイントにおけるカメラ４１の光軸方向は、画像データベース２に記憶されている情報から認識される。
【０２２４】
また、仮想スクリーンの横と縦の画素数は、注目撮像ポイントＰsから撮像された原画像データのフレームの横と縦の画素数にそれぞれ一致し、仮想スクリーン上には、注目撮像ポイントＰsから撮像された原画像データが表示されているものと考える。
【０２２５】
ステップＳ２２の処理後は、ステップＳ２３に進み、画像データ変換部３１は、注目画素Ｐsを始点とし、注目撮像ポイントＰcを終点とするベクトルｖを求め、ステップＳ２４に進む。
【０２２６】
ここで、図２８の実施の形態では、ベクトルｖは、撮像時座標系において、ｘｚ平面内のベクトルであって、ｘｙ平面からｚ軸方向に角度θの方向を有するものとなっている。即ち、図２８の実施の形態では、ベクトルｖは、緯度がθで、経度が０度の方向のベクトルになっている。
【０２２７】
また、図２８の実施の形態では、注目撮像ポイントＰcにおけるカメラ４１の光軸が、撮像時座標系の原点を通るものとなっているが、カメラ４１の光軸は、必ずしも、撮像時座標系の原点を通る必要はない。
【０２２８】
さらに、図２８では、被写体を囲む曲面Ωとして、閉曲面である、原点を中心とする球面を示してある。
【０２２９】
ステップＳ２４では、画像データ変換部３１は、ベクトルｖと直交し、撮像時座標系上の所定の点としての、例えば原点を通る平面αを求め、ステップＳ２５に進む。
【０２３０】
ここで、平面αは、必ずしも、原点を通るものである必要はない。
【０２３１】
ステップＳ２５では、画像データ変換部３１は、ステップＳ２３で求めたベクトルｖの緯度θおよび経度φを求め、即ち、ベクトルｖとｘｙ平面とがつくる角度である緯度θ、およびベクトルｖとｘｚ平面とがつくる角度である経度φを求め、ステップＳ２６に進む。
【０２３２】
ここで、ベクトルｖの緯度θおよび経度φは、ステップＳ２４で求められた平面αの法線方向の緯度θおよび経度φということもできる。従って、所定の点としての原点を通る平面αは、その緯度θと経度φによって特定することができるので、この緯度θと経度φによって特定される平面αを、以下、適宜、平面Ｉ（θ，φ）とも記述する。
【０２３３】
なお、緯度θの符号については、ｚ軸の正側と負側を、それぞれ正または負とする。また、経度φの符号についても、ｙ軸の正側と負側を、それぞれ正または負とする。
【０２３４】
ステップＳ２６では、画像データ変換部３１は、図２８に示すように、注目撮像ポイントＰcと注目画素Ｐsとを結ぶ直線Ｌpを求める。さらに、ステップＳ２６では、画像データ変換部３１は、直線Ｌpと、ステップＳ２４で求めた平面α（Ｉ（θ，φ））との交点Ｐxを求め、ステップＳ２７に進み、その点Ｐxの、平面α上における座標（ｘα，ｙα）を求める。
【０２３５】
ここで、平面α上における点Ｐxの座標（ｘα，ｙα）は、次のようにして求めることができる。
【０２３６】
即ち、いま、平面α上に、２次元座標系を考え、そのｘ軸方向とｙ軸方向の、撮像時座標系における単位ベクトルを、それぞれｖxとｖyと表す。
【０２３７】
この場合、点Ｐxのｘ座標ｘαとｙ座標ｙαは、それぞれ、ｖx・ＯＰs（またはｖx・ＯＰc）と、ｖy・ＯＰs（またはｖy・ＯＰc）を計算することによって求めることができる。但し、・は、内積を表し、ＯＰs（ＯＰc）は、撮像時座標系の原点を始点とし、注目画素Ｐs（注目撮像ポイントＰc）を終点とするベクトルを表す。
【０２３８】
なお、単位ベクトルｖxは、例えば、式ｖx・ｖ＝０を満たし、かつ式ｖx・Ｚv＝０を満たす、長さが１のベクトルである。また、単位ベクトルｖyは、例えば、式ｖy・ｖ＝０を満たし、かつ式ｖy・ｖx＝０を満たす、長さが１のベクトルである。但し、ベクトルＺvは、撮像時座標系におけるｚ軸方向の単位ベクトル（＝（０，０，１））を表す。
【０２３９】
ここで、注目撮像ポイントＰcからのカメラ４１の光軸が、撮像時座標系の原点を通らない場合は、例えば、その光軸と平面αとの交点の、平面α上の２次元座標系の座標の分だけ、点Ｐxの座標（ｘα，ｙα）をオフセットする必要がある。
【０２４０】
即ち、上述のようにして、平面α上における点Ｐxの座標（ｘα，ｙα）を求めた場合、その点Ｐxの座標（ｘα，ｙα）は、注目撮像ポイントＰcからのカメラ４１の光軸と平面αとの交点を原点とするものであり、このため、光軸が平面αと交わる点が異なる撮像ポイントを通る同一方向の光線については、同一平面α上に、原点が異なる位置にある２次元座標系が定義されてしまうことになる。
【０２４１】
そこで、ここでは、同一平面α上に定義される２次元座標系の原点を、所定の点としての、例えば、撮像時座標系の原点に固定するため、注目撮像ポイントＰcからのカメラ４１の光軸が、撮像時座標系の原点を通らない場合は、画像データ変換部３１は、ステップＳ２７において、その光軸と平面αとの交点の、平面α上の２次元座標系の座標の分だけ、点Ｐxの座標をオフセットする。
【０２４２】
具体的には、画像データ変換部３１は、上述したようにして求められた点Ｐxの座標を、（ｘα’，ｙα’）と表すとともに、注目撮像ポイントＰcからのカメラ４１の光軸と平面αとの交点の、平面α上の２次元座標系の座標を、（ｘα 0，ｙα 0）と表すと、座標（ｘα’，ｙα’）と（ｘα 0，ｙα 0）とを加算した座標（ｘα’＋ｘα 0，ｙα’＋ｙα 0）を、平面α上における点Ｐxの座標（ｘα，ｙα）として、最終的に求める。
【０２４３】
その後、ステップＳ２８に進み、画像データ変換部３１は、仮想スクリーン上の原画像データを構成する画素のうちの注目画素Ｐsの画素値を、平面α上の点Ｐxの位置の画素の画素値とする。即ち、いま、平面α上の点Ｐxの位置の画素の画素値を、平面αを表すＩ（θ，φ）と、平面α上の点Ｐxの座標を表す（ｘα，ｙα）とによって、Ｉ（θ，φ）（ｘα，ｙα）と表すこととすると、ステップＳ２８において、画像データ変換部３１は、平面α上の点Ｐxの位置の画素の画素値Ｉ（θ，φ）（ｘα，ｙα）に、注目画素Ｐsの画素値を設定する。これにより、注目画素Ｐsは、ベクトルｖと直交する平面Ｉ（θ，φ）に正射影され、その正射影された平面Ｉ（θ，φ）の点Ｐx（＝（ｘα，ｙα））の位置の画素の画素値Ｉ（θ，φ）（ｘα，ｙα）として、注目画素Ｐsの画素値が設定される。ここで、この注目画素Ｐsを平面Ｉ（θ，φ）に正射影した画素Ｐxの画素値Ｉ（θ，φ）（ｘα，ｙα）が、中間データである。
【０２４４】
そして、ステップＳ２９に進み、画像データ変換部３１は、注目撮像ポイントＰcに対して設定された仮想スクリーン上の（原画像データを構成する）すべての画素を注目画素としたかどうかを判定し、まだ、注目画素としていないものがあると判定した場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０２４５】
また、ステップＳ２９において、仮想スクリーン上のすべての画素を注目画素としたと判定された場合、ステップＳ３０に進み、画像データ変換部３１は、画像データベース２に記憶された原画像データのすべてのフレームの撮像ポイントを、注目撮像ポイントとしたかどうかを判定する。
【０２４６】
ステップＳ３０において、画像データベース２に記憶された原画像データの各のフレームの撮像ポイントのうち、まだ、注目撮像ポイントとしていないものがあると判定された場合、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０２４７】
また、ステップＳ３０において、画像データベース２に記憶された原画像データの各のフレームの撮像ポイントすべてを、注目撮像ポイントとしたと判定された場合、処理を終了する。
【０２４８】
以上の画像データ変換処理により、理想的には、各値の緯度θと経度φで定義される平面Ｉ（θ，φ）上に、その緯度θと経度φで規定される方向の無限遠から被写体を見た場合の画像データが生成され、この画像データが、中間データとして、中間データベース３に供給されて記憶される。
【０２４９】
図２９は、図２７の画像データ変換処理により生成される中間データのフォーマットを模式的に表している。
【０２５０】
図２７の画像データ変換処理によって生成される中間データは、平面Ｉ（θ，φ）上に、その緯度θと経度φで規定される方向の無限遠から見た被写体を映した画像データとなっており、従って、各値の緯度θおよび経度φごとに存在するので、図２９Ａに示すような、緯度θと経度φの値で区切られるテーブル（以下、適宜、緯度経度テーブルという）で表現することができる。
【０２５１】
ここで、図２９Ａの実施の形態では、緯度θが−９０度から９０度の範囲の１度刻みで、経度φが−１８０乃至１７９度の範囲の１度刻みで、それぞれ変化する平面Ｉ（θ，φ）ごとに、各緯度θと各経度φで規定される方向の無限遠から被写体を見た場合の画像データが、緯度経度テーブルの各マス目に登録されている。なお、緯度θや経度φを、何度刻みとするかは、特に限定されるものではない。また、緯度θや経度φの刻み幅は、一定であっても良いし、可変であっても良い。さらに、上述のように、緯度θと経度φが整数値のみを取り得る場合には、図２７の画像データ変換処理において緯度θと経度φを求める演算を行うにあたり、小数点以下は、例えば、切り上げ、切り捨て、または四捨五入される。
【０２５２】
図２９Ａの緯度経度テーブルの各マス目には、そのマス目に対応する緯度θと経度φで規定される方向の無限遠から被写体を見た場合の画像データ、即ち、平面Ｉ（θ，φ）上に正射影された原画像データの画素の画素値が、その平面Ｉ（θ，φ）上に定義された２次元座標系の各ｘ座標ｘαと各ｙ座標ｙαごとに登録されている。即ち、図２９Ａの緯度経度テーブルの各マス目には、例えば、図２９Ｂに示すように、平面Ｉ（θ，φ）上に定義された２次元座標系のｘ座標ｘαとｙ座標ｙαの値で区切られたテーブル（以下、適宜、画素値テーブルという）が登録されており、その画素値テーブルのマス目には、そのマス目に対応するｘ座標ｘαとｙ座標ｙαで規定される点に正射影された原画像データの画素の画素値ｐ（ｘα，ｙα）が登録されている。
【０２５３】
なお、図２９Ｂにおいて、ｘ1とｙ1は、原画像データの画素を平面Ｉ（θ，φ）上に正射影した点の、最小のｘ座標とｙ座標を、それぞれ表す。また、ｘ2とｙ2は、原画像データの画素を平面Ｉ（θ，φ）上に正射影した点の、最大のｘ座標とｙ座標を、それぞれ表す。さらに、図２９Ｂでは、ｘ座標およびｙ座標が１刻みになっているが、この刻み幅も、緯度θおよび経度φの刻み幅と同様に、特に限定されるものではない。
【０２５４】
ここで、図３０に、図２９Ａの緯度経度テーブルの各マス目に登録されている、無限遠から被写体を見た場合の画像データの模式図を示す。なお、図３０の実施の形態においては、被写体が、果物が入っている籠になっている。
【０２５５】
図２９Ａの緯度経度テーブルの各マス目に登録されている、無限遠から見た場合の画像データは、カメラで撮影された画像データそのものと同様の性質を有しており、従って、カメラで撮影された画像データに対して、その性質（例えば、相関性など）を利用して施される画像処理（例えば、エッジ強調やノイズ除去など）と同一の画像処理を施すことができる。
【０２５６】
ところで、図２９Ａの緯度経度テーブルの各マス目に登録されている画素値テーブル（図２９Ｂ）における画素値からなる画像データは、そのマス目に対応する緯度θと経度φで規定される平面Ｉ（θ，φ）上に正射影された原画像データの画素の画素値から構成されるため、画像データベース２に記憶される原画像データによっては、画素値が存在しない場合がある。
【０２５７】
即ち、平面Ｉ（θ，φ）上に原画像データの画素が正射影される範囲（以下、適宜、有効範囲という）は、図２９Ｂに示したように、ｘ座標がｘ1乃至ｘ2で、ｙ座標がｙ1乃至ｙ2で規定される範囲であり、この範囲における画素値が、画素値テーブルに登録されている。しかしながら、平面Ｉ（θ，φ）のすべての点（例えば、ｘ座標がｘ1乃至ｘ2の範囲の整数値で、ｙ座標がｙ1乃至ｙ2の範囲の整数値で、それぞれ表されるすべての点）に、原画像データの画素が正射影されるとは限らず、正射影される原画像データの画素が存在しない場合があり得る。
【０２５８】
従って、平面Ｉ（θ，φ）の有効範囲内の画素において、画素値が存在しない場合があり、この場合、その有効範囲の画像データ、即ち、平面Ｉ（θ，φ）に対応する画素値テーブル（図２９Ｂ）における画素値からなる画像データは、例えば、図３１Ａに示すように、その一部の画素の画素値が欠落したものとなる。
【０２５９】
ここで、図３１Ａの実施の形態においては、黒色で示す縞模様状に、画素値が欠落している。
【０２６０】
このように、平面Ｉ（θ，φ）の有効範囲、つまり画素値テーブルに、画素値の欠落が生じている場合には、その画素値を補間する画素値補間処理を行い、これにより、図３１Ａに示した画素値が欠落している画素値テーブル（に登録された画素値で構成される画像）を、図３１Ｂに示すような、画素値の欠落のない画素値テーブルに変換することができる。
【０２６１】
画素値テーブルについての画素値補間処理は、例えば、次のようにして行うことが可能である。
【０２６２】
即ち、例えば、いま、平面Ｉ（θ，φ）の有効範囲のある点（ｘα，ｙα）における画素値Ｉ（θ，φ）（ｘα，ｙα）が欠落している場合において、緯度または経度が僅かにずれた平面Ｉ（θ’，φ’）の有効範囲の、点（ｘα，ｙα）と同一座標の点における画素値Ｉ（θ’，φ’）（ｘα，ｙα）が存在するときには、欠落している画素値Ｉ（θ，φ）（ｘα，ｙα）は、平面Ｉ（θ’，φ’）上の画素値Ｉ（θ’，φ’）（ｘα，ｙα）で補間することができる。
【０２６３】
なお、θ’は、例えば、経度が整数値のみをとる場合には、θ±１やθ±２などとする。
【０２６４】
以上のような画素値補間処理は、図２７の画像データ変換処理が終了した後、例えば、画像データ変換部３１に行わせることができる。
【０２６５】
そこで、図３２のフローチャートを参照して、画像データ変換部３１が行う画素値補間処理について説明する。なお、ここでは、説明を簡単にするために、緯度θ、経度φ、平面Ｉ（θ，φ）の有効範囲のｘ座標ｘα、ｙ座標ｙαは、いずれも整数値のみをとるものとする。
【０２６６】
画素値補間処理では、まず最初に、ステップＳ４１において、画像データ変換部３１が、緯度を表す変数θと、経度を表す変数φに、初期値としての、例えば、その最小値である−９０度と−１８０度をそれぞれセットするとともに、平面Ｉ（θ，φ）のｘ座標を表す変数ｘαと、ｙ座標を表す変数ｙαに、初期値としての、例えば、その最小値であるｘ1とｙ1をそれぞれセットする。
【０２６７】
そして、ステップＳ４２に進み、画像データ変換部３１は、中間データＩ（θ，φ）（ｘα，ｙα）に、画素値がセットされているかどうかを判定する。
【０２６８】
ここで、中間データＩ（θ，φ）（ｘα，ｙα）に、画素値がセットされているかどうかの判定は、例えば、図２７の画像データ変換処理を行う前に、中間データとしての配列変数Ｉ（θ，φ）（ｘα，ｙα）に、画素値としては取り得ない値を、初期値として設定しておき、その値が、Ｉ（θ，φ）（ｘα，ｙα）にセットされているかどうかによって行う方法がある。
【０２６９】
ステップＳ４２において、中間データＩ（θ，φ）（ｘα，ｙα）に、画素値がセットされていると判定された場合、即ち、画素値が欠落していない場合、ステップＳ４３およびＳ４４をスキップして、ステップＳ４５に進む。
【０２７０】
また、ステップＳ４２において、中間データＩ（θ，φ）（ｘα，ｙα）に、画素値がセットされていないと判定された場合、即ち、画素値が欠落している場合、ステップＳ４３に進み、画像データ変換部３１は、θ−△θ＜θ’＜θ＋△θの範囲の緯度θ’と、φ−△φ＜φ’＜φ＋△φの範囲の経度φ’で規定される平面Ｉ（θ’，φ’）上の点（ｘα，ｙα）の中で、画素値がセットされているものを探索（検索）する。
【０２７１】
ここで、△θと△φとしては、例えば、いずれも、小さい正の整数値が採用される。
【０２７２】
その後、ステップＳ４４に進み、画像データ変換部３１は、ステップＳ４３で探索された画素値がセットされている中間データＩ（θ’，φ’）（ｘα，ｙα）の値（画素値）を、欠落している画素値である中間データＩ（θ，φ）（ｘα，ｙα）にセットして、ステップＳ４５に進む。
【０２７３】
ここで、ステップＳ４３において、θ−△θ＜θ’＜θ＋△θの範囲の緯度θ’と、φ−△φ＜φ’＜φ＋△φの範囲の経度φ’で規定される平面Ｉ（θ’，φ’）上の点（ｘα，ｙα）の中で、画素値がセットされているものが複数見つかった場合には、ステップＳ４４では、画像データ変換部３１は、その中から、例えば、緯度の差の絶対値｜θ−θ’｜と、経度の差の絶対値｜φ−φ’｜の自乗和が最も小さいものを選択し、その選択したＩ（θ’，φ’）（ｘα，ｙα）の値を、中間データＩ（θ，φ）（ｘα，ｙα）にセットする。
【０２７４】
また、ステップＳ４３において、θ−△θ＜θ’＜θ＋△θの範囲の緯度θ’と、φ−△φ＜φ’＜φ＋△φの範囲の経度φ’で規定される平面Ｉ（θ’，φ’）上の点（ｘα，ｙα）の中で、画素値がセットされているものが見つからなかった場合には、ステップＳ４４では、画像データ変換部３１は、Ｉ（θ，φ）上の画素値がセットされている点の中から、点（ｘα，ｙα）と最も近い点を検索し、その点にセットされている画素値を、点（ｘα，ｙα）にセットする。
【０２７５】
なお、画素値補間処理では、平面Ｉ（θ，φ）上の、画素値がセットされていない点（ｘα，ｙα）に、画素値が補間されるから、その処理が進行していくと、画素値が補間された点における画素値によって、さらに、他の点における画素値が補間されることが生じうる。これを防止するためには、画素値の補間がされた点に、例えば、補間がされたことを表す補間フラグを付加するようにし、補間フラグが付加されている点における画素値は、補間に用いないようにする（ステップＳ４３における探索の対象外とする）必要がある。
【０２７６】
ステップＳ４５では、画像データ変換部３１が、平面Ｉ（θ，φ）上のｙ座標を表す変数ｙαが、その最大値であるｙ2に等しいかどうかを判定する。ステップＳ４５において、ｙ座標ｙαが、最大値ｙ2に等しくないと判定された場合、ステップＳ４６に進み、画像データ変換部３１は、ｙ座標ｙαを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０２７７】
また、ステップＳ４５において、ｙ座標ｙαが、最大値ｙ2に等しいと判定された場合、ステップＳ４７に進み、画像データ変換部３１は、ｙ座標ｙαを、その最小値であるｙ1にリセットして、ステップＳ４８に進む。
【０２７８】
ステップＳ４８では、画像データ変換部３１が、平面Ｉ（θ，φ）上のｘ座標を表す変数ｘαが、その最大値であるｘ2に等しいかどうかを判定する。ステップＳ４８において、ｘ座標ｘαが、最大値ｘ2に等しくないと判定された場合、ステップＳ４９に進み、画像データ変換部３１は、ｘ座標ｘαを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０２７９】
また、ステップＳ４８において、ｘ座標ｘαが、最大値ｘ2に等しいと判定された場合、ステップＳ５０に進み、画像データ変換部３１は、ｘ座標ｘαを、その最小値であるｘ1にリセットして、ステップＳ５１に進む。
【０２８０】
ステップＳ５１では、画像データ変換部３１は、経度を表す変数φが、その最大値である１７９度に等しいかどうかを判定する。ステップＳ５１において、経度φが、最大値である１７９度に等しくないと判定された場合、ステップＳ５２に進み、画像データ変換部３１は、経度φを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０２８１】
また、ステップＳ５１において、経度φが、最大値である１７９度に等しいと判定された場合、ステップＳ５３に進み、画像データ変換部３１は、経度φを、その最小値である−１８０度にリセットし、ステップＳ５４に進む。
【０２８２】
ステップＳ５４では、画像データ変換部３１は、緯度を表す変数θが、その最大値である９０度に等しいかどうかを判定する。ステップＳ５４において、緯度θが、最大値である９０度に等しくないと判定された場合、ステップＳ５５に進み、画像データ変換部３１は、緯度θを１だけインクリメントして、ステップＳ４２に戻り、以下、同様の処理を繰り返す。
【０２８３】
また、ステップＳ５４において、緯度θが、最大値である９０度に等しいと判定された場合、処理を終了する。
【０２８４】
なお、ここでは、画素値補間処理を、画像データ変換部３１に行わせるようにしたが、画素値補間処理は、その他、例えば、図２７の画像データ変換処理が終了した後に、中間データ変換部３２（図５）に行わせるようにすることも可能である。
【０２８５】
ところで、図３２の画素値補間処理では、他の点にセットされている画素値を、画素値がセットされていない点の画素値として、そのまま用いて補間が行われることから、平面Ｉ（θ，φ）上に形成される画像データの真値が存在すると仮定すると、画素値補間処理によって得られる画像データは、基本的に、真値に一致しない。
【０２８６】
しかしながら、真値に一致しないまでも、真値に、より近い画像データが得られるのが望ましい。
【０２８７】
そこで、図３２の画素補間処理によって得られる画像データを、真値に、より近い画像データに変換する方法として、例えば、本件出願人が先に提案しているクラス分類適応処理がある。
【０２８８】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【０２８９】
ここで、適応処理について、低画質の画像（以下、適宜、低画質画像という）を、高画質の画像（以下、適宜、高画質画像という）に変換する場合を例に説明する。
【０２９０】
なお、図３２の画素補間処理によって得られる画像データは、真値と比較して低画質な低画質画像と考えることができ、真値は、図３２の画素補間処理によって得られる画像データと比較して高画質な高画質画像と考えることができる。
【０２９１】
適応処理では、低画質画像を構成する画素（以下、適宜、低画質画素という）と、所定のタップ係数との線形結合により、その低画質画像の画質を向上させた高画質画像の画素の予測値を求めることで、その低画質画像の画質を高くした画像が得られる。
【０２９２】
具体的には、例えば、いま、ある高画質画像を教師データとするとともに、その高画質画像の画質を劣化させた低画質画像を生徒データとして、高画質画像を構成する画素（以下、適宜、高画質画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低画質画素の画素値ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０２９３】
【数１９】
【０２９４】
式（１９）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、次式のように定義する。
【０２９５】
【数２０】
【０２９６】
この場合、次のような観測方程式が成立する。
【０２９７】
【数２１】
【０２９８】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１９）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１９）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０２９９】
式（２１）の観測方程式に最小自乗法を適用して、高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。そこで、まず、教師データとなる高画質画素の真の画素値ｙの集合でなる行列Ｙ、および高画質画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、次式で定義する。
【０３００】
【数２２】
【０３０１】
この場合、式（２１）から、次のような残差方程式が成立する。
【０３０２】
【数２３】
【０３０３】
最小自乗法では、高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjを評価する尺度として、例えば、次式で表される自乗誤差が採用される。
【０３０４】
【数２４】
【０３０５】
高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、式（２４）の自乗誤差を最小にすることで求めることができる。
【０３０６】
従って、式（２４）の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、高画質画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０３０７】
【数２５】
【０３０８】
そこで、まず、式（２３）を、タップ係数ｗjで微分することにより、次式が成立する。
【０３０９】
【数２６】
【０３１０】
式（２５）および（２６）より、式（２７）が得られる。
【０３１１】
【数２７】
【０３１２】
さらに、式（２３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差（誤差）ｅiの関係を考慮すると、式（２７）から、次のような正規方程式を得ることができる。
【０３１３】
【数２８】
【０３１４】
なお、いま、ベクトルＷを、式（２０）で示したように定義するとともに、行列（共分散行列）Ａおよびベクトルｖを、次式で定義する。
【０３１５】
【数２９】
【０３１６】
この場合、式（２８）に示した正規方程式は、次式で表される。
【０３１７】
【数３０】
【０３１８】
式（３０）と等価な式（２８）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（３０）を、ベクトルＷについて解くことで（但し、式（３０）を解くには、式（３０）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（３０）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０３１９】
以上のように、生徒データと教師データを用いて、最適なタップ係数ｗjを求める学習をしておき、さらに、そのタップ係数ｗjを用い、式（１９）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０３２０】
なお、適応処理は、低画質画像には含まれていないが、高画質画像に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（１９）だけを見る限りは、例えば、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、高画質画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０３２１】
次に、図３３は、上述のようなクラス分類適応処理を行うクラス分類適応処理装置の構成例を示している。
【０３２２】
なお、クラス分類適応処理装置は、例えば、図５の画像データ変換部３１または中間データ変換部３２に内蔵させ、図３２の画素値補間処理が施された中間データを対象に、クラス分類適応処理を行わせるようにすることができる。また、クラス分類適応処理装置は、図５の画像データ変換部３１および中間データ変換部３２とは別に設け、中間データベース３に記憶された、図３２の画素値補間処理が施された中間データを対象に、クラス分類適応処理を行わせるようにすることができる。
【０３２３】
バッファ６１には、低画質画像データとしての、画素値補間処理が施された中間データ（以下、適宜、補間中間データという）が供給され、バッファ６１は、そこに供給される低画質画像データを一時記憶する。
【０３２４】
予測タップ抽出部６２は、後述する積和演算部６６において求めようとする、中間データの真値としての高画質画像データの画素（高画質画素）を、順次、注目画素とし、さらに、その注目画素を予測するのに用いる低画質画像データの画素（低画質画素）を、バッファ６１から抽出し、予測タップとする。
【０３２５】
即ち、予測タップ抽出部６２は、例えば、注目画素に対応する位置に対して近い位置にある低画質画素の幾つかを、予測タップとして、バッファ６１から読み出す。
【０３２６】
そして、予測タップ抽出部６２は、注目画素について、予測タップを得ると、その注目画素についての予測タップを、積和演算部６６に供給する。
【０３２７】
ここで、予測タップ抽出部６２では、例えば、注目画素の平面に対応する低画質画像データとしての中間データの平面Ｉ（θ，φ）において、注目画素に対応する位置から近い位置にある低画質画素の幾つかを、予測タップとして抽出することができる。さらに、予測タップ抽出部６２では、平面Ｉ（θ，φ）から緯度θまたは経度φが僅かにずれた平面Ｉ（θ’，φ’）において、注目画素に対応する位置から近い位置にある低画質画素の幾つかも、予測タップとして抽出することが可能である。
【０３２８】
一方、クラスタップ抽出部６３は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる低画質画素を、バッファ６１から抽出し、クラスタップとする。
【０３２９】
なお、ここでは、説明を簡単にするために、例えば、予測タップ抽出部６２で得られる予測タップと、クラスタップ抽出部６３で得られるクラスタップとは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、独立（別）のタップ構造を有するものとすることが可能である。
【０３３０】
クラスタップ抽出部６３において得られる、注目画素についてのクラスタップは、クラス分類部６４に供給される。クラス分類部６４は、クラスタップ抽出部６３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【０３３１】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０３３２】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【０３３３】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０３３４】
なお、クラス分類部６４には、例えば、クラスタップを構成する画素のレベル分布（画素値分布）のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の画素で構成され、各画素に、Ｋビットが割り当てられているとすると、クラス分類部６４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素のビット数Ｋに指数的に比例した膨大な数となる。
【０３３５】
従って、クラス分類部６４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【０３３６】
クラス分類部６４が出力するクラスコードは、係数記憶部６５に、アドレスとして与えられる。
【０３３７】
係数記憶部６５は、後述する学習装置において学習処理が行われることにより得られるタップ係数を記憶しており、クラス分類部６４が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算部６６に出力する。
【０３３８】
積和演算部６６は、予測タップ抽出部６２が出力する予測タップと、係数記憶部６５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１９）に示した線形予測演算（積和演算）を行い、その演算結果を、注目画素となっている高画質画素の画素値として出力する。
【０３３９】
次に、図３４は、図３３の係数記憶部６５に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０３４０】
教師データメモリ７１には、学習に用いられる学習用データが供給される。ここで、学習用データとしては、中間データの真値としての高画質画像データが用いられる。即ち、例えば、多数の視点から撮像した画像データを対象に、図２７の画像データ変換処理を行うことで、画素値の欠落のない中間データを生成し、これが、学習用データとして用いられる。
【０３４１】
教師データメモリ７１は、そこに供給される、学習用データとしての高画質画像データを、学習の教師となる教師データとして記憶する。そして、生徒データ生成部７２は、教師データメモリ７１に記憶された教師データから、学習の生徒となる生徒データを生成する。
【０３４２】
即ち、生徒データ生成部７２は、教師データメモリ７１に記憶された教師データとしての画像データの画素値を欠落させ、その画素値を欠落させた画像データに、図３２の画素値補間処理を施す。そして、生徒データ生成部７２は、その画素値補間処理によって得られる低画質の画像データを、生徒データとして、生徒データメモリ７３に供給して記憶させる。
【０３４３】
教師データメモリ７１に記憶された教師データについて、生徒データが求められ、生徒データメモリ７３に記憶されると、予測タップ抽出部７４は、教師データメモリ７１に記憶された教師データを、順次、注目画素とし、さらに、その注目画素を予測するのに用いる生徒データを、生徒データメモリ７３から抽出し、これにより、図３３の予測タップ抽出部６２が構成する予測タップと同一のタップ構造の予測タップを構成する。
【０３４４】
以上のようにして、予測タップ抽出部７４で得られた予測タップは、正規方程式加算部７７に供給される。
【０３４５】
一方、クラスタップ抽出部７５は、注目画素のクラス分類に用いる生徒データを、生徒データメモリ７３から抽出し、これにより、図３３のクラスタップ抽出部６３における場合と同一構造のクラスタップを構成して、クラス分類部７６に供給する。
【０３４６】
クラス分類部７６は、クラスタップ抽出部７５から、注目画素についてのクラスタップが供給されると、そのクラスタップを用い、図３３のクラス分類部６４と同一のクラス分類を行い、注目画素のクラスを表すクラスコードを、正規方程式加算部７７に供給する。
【０３４７】
正規方程式加算部７７は、教師データメモリ７１から、注目画素となっている教師データを読み出し、予測タップ抽出部７４からの予測タップを構成する生徒データ、および注目画素としての教師データを対象とした足し込みを、クラス分類部７６から供給されるクラスごとに行う。
【０３４８】
即ち、正規方程式加算部７７は、クラス分類部７６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（２９）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０３４９】
さらに、正規方程式加算部７７は、やはり、クラス分類部７６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（２９）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０３５０】
正規方程式加算部７７は、以上の足し込みを、教師データメモリ７１に記憶された教師データすべてを注目画素として行い、これにより、各クラスについて、式（３０）に示した正規方程式をたてる。
【０３５１】
その後、タップ係数決定部７８は、正規方程式加算部７７においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ７９の、各クラスに対応するアドレスに供給する。これにより、係数メモリ７９では、タップ係数決定部７８から供給されるクラスごとのタップ係数が記憶される。
【０３５２】
なお、図２９の中間データのフォーマットは、原画像データを構成する画素に入射した光線の各方向（緯度θと経度φによって特定される各方向）について、その方向に垂直な平面の各点ごとに、その点に入射する、平面と垂直な方向の光線に対応する画素値を表したものであるが、中間データは、その他、例えば、図３５に示すフォーマットとすることも可能である。
【０３５３】
即ち、図２９のフォーマットでは、中間データが、緯度θと経度φの値で区切られる緯度経度テーブル（図２９Ａ）で表現され、さらに、その緯度経度テーブルの各マス目には、そのマス目に対応する緯度θと経度φで規定される平面Ｉ（θ，φ）上に正射影された原画像データの画素の画素値が、その平面Ｉ（θ，φ）上に定義された２次元座標系の各ｘ座標ｘαと各ｙ座標ｙαごとに配置された画素値テーブルが登録されている。
【０３５４】
これに対して、図３５の中間データのフォーマットは、原画像データを構成する画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値を表したものとなっている。
【０３５５】
即ち、図３５のフォーマットでは、中間データが、図３５Ａに示すように、原画像データの画素の画素値が正射影される平面Ｉ（θ，φ）上に定義された２次元座標系のｘ座標ｘαとｙ座標ｙαの値で区切られたテーブル（以下、適宜、座標テーブルという）で表現され、さらに、その座標テーブルの各マス目には、図３５Ｂに示すように、そのマス目に対応するｘ座標ｘαとｙ座標ｙαで規定される点に正射影された原画像データの画素値が、画素値が正射影される平面Ｉ（θ，φ）を規定する各緯度θと各経度φごとに配置されたテーブル（このテーブルも、以下、適宜、画素値テーブルという）が登録される。
【０３５６】
図３５のフォーマットでは、座標テーブルの１つのマス目に、緯度θと経度φが各値の平面における、同一座標の点に正射影された原画像データの画素値が配置されるため、図３２の画素値補間処理を行う場合に、図２９のフォーマットよりも有利である。
【０３５７】
即ち、図３２の画素値補間処理では、平面Ｉ（θ，φ）上のある点（ｘα，ｙα）における画素値Ｉ（θ，φ）（ｘα，ｙα）が欠落している場合には、緯度または経度が僅かにずれた平面Ｉ（θ’，φ’）上の、点（ｘα，ｙα）と同一座標の点における画素値Ｉ（θ’，φ’）（ｘα，ｙα）によって、欠落している画素値Ｉ（θ，φ）（ｘα，ｙα）が補間される。
【０３５８】
従って、図２９のフォーマットの中間データでは、画素値補間処理を行うのに、緯度経度テーブル（図２９Ａ）において、画素値の欠落がある平面Ｉ（θ，φ）に対応するマス目とは別のマス目である、平面Ｉ（θ’，φ’）に対応するマス目から、画素値Ｉ（θ’，φ’）（ｘα，ｙα）を読み出す必要がある。
【０３５９】
これに対して、図３５のフォーマットの中間データでは、座標テーブル（図３５Ａ）において、各緯度θと各経度φの平面Ｉ（θ，φ）上における同一座標（ｘα，ｙα）の点における画素値が、１つのマス目に登録されているから、画素値補間処理を行うにあたっては、画素値の欠落がある平面Ｉ（θ，φ）上の点（ｘα，ｙα）に対応するマス目と同一のマス目から、画素値Ｉ（θ’，φ’）（ｘα，ｙα）を読み出すことができる。即ち、この場合、座標テーブル（図３５Ａ）において、画素値の欠落がある平面Ｉ（θ，φ）上の点（ｘα，ｙα）に対応するマス目と別のマス目にアクセスする必要がない。
【０３６０】
次に、図３６のフローチャートと、図３７を参照して、図５の中間データ変換部３２が、図６のステップＳ３で行う中間データ変換処理、即ち、中間データを、ユーザの視点から見た画像データ（提示用画像データ）に変換する処理について説明する。
【０３６１】
まず最初に、ステップＳ６１において、中間データ変換部３２は、図６のステップＳ２で設定されたユーザの視点Ｐcについて、図３７に示すように、そのユーザの視点Ｐcから、その視線方向に向かって、所定の距離Ｌだけ離れた位置に、ユーザの視線と直交する長方形状の平面を、仮想スクリーンとして設定する。
【０３６２】
ここで、本実施の形態では、説明を簡単にするため、図２７で説明した画像データ変換処理では、被写体のある点（例えば、重心など）を原点とする撮像時座標系を用いて処理が行われるものとする。
【０３６３】
さらに、中間データ変換処理では、ディスプレイ６（図２）に、ユーザの視点に応じた画像を表示するための３次元座標系が想定される。いま、この３次元座標系を、表示時座標系というものとし、その原点は、例えば、ディスプレイ６の表示画面の中心点（表示画面の対角線の交点）にとられるものとする。そして、ユーザの視線は、視点Ｐcから、例えば、表示時座標系の原点に向かうものであるとする。
【０３６４】
その後、ステップＳ６２に進み、中間データ変換部３２は、ユーザの視点Ｐcについて設定した仮想スクリーン上の画素のうち、まだ注目画素として選択していない画素を、注目画素Ｐsとして選択する。
【０３６５】
ステップＳ６２の処理後は、ステップＳ６３に進み、中間データ変換部３２は、注目画素Ｐsを始点とし、ユーザの視点Ｐcを終点とするベクトルｖを求め、ステップＳ６４に進む。
【０３６６】
ここで、図３７の実施の形態では、ベクトルｖは、表示時座標系において、ｘｚ平面内のベクトルであって、ｘｙ平面からｚ軸方向に角度θの方向を有するものとなっている。即ち、図３７の実施の形態では、ベクトルｖは、緯度がθで、経度が０度の方向のベクトルになっている。
【０３６７】
また、図３７の実施の形態では、ユーザの視線方向が、上述したように、ユーザの視点Ｐcから表示時座標系の原点を通るものとなっているが、ユーザの視線方向は、必ずしも、表示時座標系の原点を通る必要はない。即ち、ユーザの視線方向は、何らかの方法で検出するようにすることができる。
【０３６８】
さらに、図３７では、図２８における場合と同様に、被写体を囲む曲面Ωとして、閉曲面である球面を示してある。
【０３６９】
ステップＳ６４では、中間データ変換部３２は、ベクトルｖと直交し、表示時座標系上の所定の点としての原点を通る平面αを求め、ステップＳ６５に進む。
【０３７０】
ここで、平面αは、必ずしも、原点を通るものである必要はない。
【０３７１】
ステップＳ６５では、中間データ変換部３２は、ステップＳ６３で求めたベクトルｖの緯度θおよび経度φを求め、即ち、ベクトルｖとｘｙ平面とがつくる角度である緯度θ、およびベクトルｖとｘｚ平面とがつくる角度である経度φを求め、ステップＳ６６に進む。
【０３７２】
ここで、ベクトルｖの緯度θおよび経度φは、ステップＳ６４で求められた平面αの法線方向の緯度θおよび経度φでもある。従って、所定の点としての原点を通る平面αは、その緯度θと経度φによって特定することができるので、この緯度θと経度φによって特定される平面αを、画像データ変換処理における場合と同様に、以下、適宜、平面Ｉ（θ，φ）とも記述する。
【０３７３】
ステップＳ６６では、中間データ変換部３２は、図３７に示すように、ユーザの視点Ｐcと注目画素Ｐsとを結ぶ直線Ｌpを求める。さらに、ステップＳ６６では、中間データ変換部３２は、直線Ｌpと、ステップＳ６４で求めた平面α（Ｉ（θ，φ））との交点Ｐxを求め、ステップＳ６７に進み、その点Ｐxの、平面α上の２次元座標系における座標（ｘα，ｙα）を求める。
【０３７４】
ここで、平面α上における点Ｐxの座標（ｘα，ｙα）は、図２７のステップＳ２７における場合と同様にして求めることができる。
【０３７５】
なお、ユーザの視点Ｐcからの視線方向が、表示時座標系の原点を通らない場合は、例えば、図２７のステップＳ２７で説明した場合と同様に、その視線方向の直線と平面αとの交点の、平面α上の２次元座標系の座標の分だけ、点Ｐxの座標（ｘα，ｙα）をオフセットする必要がある。
【０３７６】
その後、ステップＳ６８に進み、中間データ変換部３２は、仮想スクリーン上の注目画素Ｐsの画素値として、平面α上の点Ｐxの位置の画素の画素値をセットする。即ち、平面αが、緯度θと経度φで特定される平面Ｉ（θ，φ）であり、平面α上の点Ｐxの座標が、（ｘα，ｙα）である場合、中間データ変換部３２は、中間データベースから、画素値Ｉ（θ，φ）（ｘα，ｙα）を読み出し、その画素値（θ，φ）（ｘα，ｙα）を、注目画素Ｐsの画素値としてセットする。
【０３７７】
そして、ステップＳ６９に進み、中間データ変換部３２は、ユーザの視点Ｐcに対して設定された仮想スクリーン上のすべての画素を注目画素としたかどうかを判定し、まだ、注目画素としていないものがあると判定した場合、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０３７８】
また、ステップＳ６９において、仮想スクリーン上のすべての画素を注目画素としたと判定された場合、即ち、仮想スクリーン上に、ユーザの視点から見た画像データ（提示用画像データ）が形成された場合、処理を終了する。
【０３７９】
以上のようにして得られた提示用画像データは、上述した図６のステップＳ４において、ディスプレイ６に表示される。
【０３８０】
従って、ディスプレイ６には、ユーザの視点から被写体を見た場合の画像データが表示されることになる。
【０３８１】
以上のように、原画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、原画像データを、ユーザの視点から見える提示用画像データに変換するようにしたので、実写の画像であっても、容易に、ユーザの視点に応じて変化させることができる。即ち、ユーザが、その視点を動かすことにより、ディスプレイ６には、ユーザが現実世界において被写体を観察している場合にユーザの視覚に映るのと同様の画像が表示される。
【０３８２】
具体的には、例えば、ユーザが、ディスプレイ６に向かって、左または右方向に視点を移動した場合には、ディスプレイ６には、ユーザが視点を動かす前に表示されていた被写体の左側面側または右側面側が見える画像が表示される。また、例えば、ユーザが、ディスプレイ６に対して近づく方向または遠ざかる方向に視点を移動した場合には、ディスプレイ６には、ユーザが視点を動かす前に表示されていた被写体が大きくまたは小さくなった画像が表示される。
【０３８３】
その結果、ユーザは、被写体としての物体が、実際に、その場にあるかのような感覚を享受することができる。
【０３８４】
また、図５の画像処理装置１によれば、例えば、宇宙空間の画像データや、分子などのミクロの構造の画像データなどを、原画像データとして、図６の画像処理を行うようにすることにより、通常は視認することができない構造を、ユーザが直感的に把握することができるインタフェースの提供が可能となる。
【０３８５】
さらに、図５の画像処理装置１では、原画像データを、被写体を無限遠の各方向から観察した中間データに変換しておくようにしたので、その中間データから、ユーザの視点に応じた提示用画像データを、容易に生成することができる。
【０３８６】
なお、中間データは、別の被写体について、独立に生成しておき、図３６の中間データ変換処理において、提示用画像データを生成する過程で、その別々の被写体の画像を合成するようにすることも可能である。
【０３８７】
また、中間データについては、図３６の中間データ変換処理の対象とする前に、その一部を削除したり、その一部に、他の中間データ等の画像データを追加する等の編集を行うことが可能である。
【０３８８】
さらに、図５の画像処理装置１において処理の対象とする画像は、実写の画像に限定されるものではない。
【０３８９】
また、上述の場合には、ユーザの位置を検出し、その位置に、ユーザの視点を設定して（ユーザの視点があるものとして）、図３６の中間データ変換処理を行うようにしたが、ユーザの視点は、図５の画像処理装置１において、任意の位置に設定することが可能である。
【０３９０】
即ち、ユーザの視点は、例えば、表示時座標系の原点を中心とする、所定の平面上に描かれる所定の半径の円の円周上を、順次移動するように設定することが可能である。この場合、ディスプレイ６には、被写体の周囲をパン(pan)しながら撮像を行ったかのような画像が表示されることになる。
【０３９１】
また、ユーザの視点は、例えば、表示時座標系の原点を通る直線上を、一方向に移動するように設定することが可能である。この場合、ディスプレイ６には、被写体に近づきながら、または被写体から遠ざかりながら撮像を行ったかのような画像が表示されることになる。
【０３９２】
さらに、上述の場合には、静止している被写体を、その被写体をモーションベース方式やターンテーブル方式で動かしながら、カメラ４１で撮像することにより、多数の視点から撮像した被写体の原画像データを得るようにしたが、図５の画像処理装置１では、動きのある被写体の画像を対象に処理を行うことも可能である。但し、その場合、基本的には、例えば、複数のカメラによって、複数の視点から、動いている被写体の画像データを同時に撮像するとともに、その複数のカメラそれぞれによって撮像された各フレームの画像データについて、フレームごとに、中間データを生成し、さらに、表示時にも、フレームごとに、そのフレームの中間データを用いて、提示用画像データを生成する必要がある。
【０３９３】
次に、図３８は、図３のコンピュータ１がプログラムを実行することにより実現される画像処理装置の他の機能的構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３８の画像処理装置１は、再生フレーム管理部３４が新たに設けられている他は、基本的に、図５における場合と同様に構成されている。
【０３９４】
但し、図３８の実施の形態においては、画像データベース２には、カメラを、直線的に移動しながら撮像された画像データが記憶されている。即ち、画像データベース２には、例えば、カメラを等速直線運動させながら撮像を行った映画のシーンや、一定速度で走行する自動車や列車の車窓からカメラによる撮像を行った画像データなどが記憶されている。
【０３９５】
このため、図３８の実施の形態では、ディスプレイ６に表示される画像データのフレームを管理するため、再生フレーム管理部３４が設けられている。即ち、再生フレーム管理部３４は、中間データに変換された原画像データのフレーム（またはフィールド）数を、画像データ変換部３１から受信し、また、ディスプレイ６に表示させる提示用画像データのフレームを、中間データ変換部３２に指示する。
【０３９６】
ここで、図３８の実施の形態において、画像データベース２に記憶されている画像データは、等価的に、カメラを、直線的に移動しながら撮像されたものであれば良く、従って、例えば、カメラを固定して、被写体を直線的に移動しながら撮像を行うことにより得られたものであっても良い。
【０３９７】
図３８の画像処理装置１においても、図５の実施の形態における場合と同様の原理によって、画像データベース２に記憶された原画像データが、ユーザの視点から見た画像データ（提示用画像データ）に変換される。
【０３９８】
即ち、画像データベース２に記憶された原画像データは、カメラを、例えば、等速直線運動する列車に固定して撮像したもの、即ち、列車が走行する方向に、カメラの視点を移動しながら撮像したものであり、従って、原画像データは、図３９Ａに示すように、地球の経度の各方向の光線に対応する画素値を含む。ここで、図３９Ａでは、３つの方向＃１乃至＃３の光線を示している。
【０３９９】
一方、ある視点から被写体を見た場合の画像データは、被写体から視点に向かう光線に対応する画素値で構成される。従って、いま、光線は直進し、かつ減衰しないものとすると、列車が走行する軌跡と平行な直線上のある視点から被写体を見た場合の画像データである提示用画像データは、図３９Ｂに示すように、被写体から視点に向かう光線に対応する画素値でなる画像データを、図３９Ａに示した各方向の光線に対応する画素値を含む原画像データから再構成することで得ることができる。
【０４００】
図３８の画像処理装置１では、上述の原理にしたがい、原画像データが、列車の走行軌跡と平行な直線上のユーザの視点から見た画像データ（提示用画像データ）に変換される。
【０４０１】
なお、ここでは、画像データベース２に記憶された原画像データは、列車が走行する方向に、カメラの視点を移動しながら撮像したものであるため、図３８の画像処理装置１において得られる提示用画像データは、上述のような原画像データが撮像されたときの光線情報から構成することができるものに限られる。即ち、図３８の画像処理装置１において得られる提示用画像データには、列車が走行する平面と垂直な方向へのユーザの視点の移動は反映されない（反映することができない）。
【０４０２】
次に、図４０のフローチャートを参照して、図３８の画像処理装置（コンピュータ）１による画像処理について説明する。
【０４０３】
まず最初に、ステップＳ８１において、データ変換部３１は、画像データベース２から原画像データを読み出し、中間データに変換する。さらに、ステップＳ８１では、データ変換部３１は、中間データを、中間データベース３に供給して記憶させ、ステップＳ８２に進む。
【０４０４】
ステップＳ８２では、画像データ変換部３１は、ステップＳ８１において中間データに変換した原画像データのフレーム数Ｆnumを、再生フレーム管理部３４に供給し、再生フレーム管理部３４は、そのフレーム数Ｆnumを取得する。
【０４０５】
そして、ステップＳ８３に進み、再生フレーム管理部３４は、再生対象のフレームを表す変数ｎを、例えば、１に初期化し、処理対象のフレームを表すフレーム情報として、中間データ変換部３２に供給して、ステップＳ８４に進む。
【０４０６】
ステップＳ８４では、センサ制御部３３が、レシーバ４（図２）の出力から、ユーザの位置を検出し、さらに、そのユーザの位置を、ユーザの視点に設定して、中間データ変換部３２に供給する。
【０４０７】
そして、ステップＳ８５に進み、中間データ変換部３２は、再生フレーム管理部３４から供給されるフレーム情報に基づいて、処理対象が第ｎフレームであることを認識し、さらに、センサ制御部３３から供給されるユーザの視点に基づいて、中間データを、処理対象である第ｎフレームの提示用画像データに変換し、ステップＳ８６に進む。
【０４０８】
ステップＳ８６では、中間データ変換部３２は、第ｎフレームの提示用画像データを、ディスプレイ６に供給して表示させ、ステップＳ８７に進む。
【０４０９】
ステップＳ８７では、再生フレーム管理部３４は、変数ｎが、原画像データの全フレーム数Ｆnumに等しいかどうかを判定する。ステップＳ８７において、変数ｎが、全フレーム数Ｆnumに等しくないと判定された場合、ステップＳ８８に進み、例えば、ユーザが、画像処理を終了するように、入力部１７（図３）を操作したかどうかを、CPU１２（図３）が判定する。ステップＳ８８において、画像処理を終了するように、入力部１７が操作されていないと判定された場合、ステップＳ８９に進み、再生フレーム管理部３４は、変数ｎを１だけインクリメントし、対応するフレーム情報を、中間データ変換部３２に供給する。そして、ステップＳ８４に戻り、以下、同様の処理が繰り返される。
【０４１０】
一方、ステップＳ８７において、変数ｎが、全フレーム数Ｆnumに等しいと判定されるか、または、ステップＳ８８において、画像処理を終了するように、入力部１７が操作されたと判定された場合、処理を終了する。
【０４１１】
なお、図４０の画像処理が、過去に実行され、これにより、画像データベース２に記憶されている原画像データを変換した中間データが、中間データベース３に、既に記憶されている場合には、ステップＳ８１およびＳ８２の処理は、スキップすることができる。
【０４１２】
次に、図３８の実施の形態でのデータ変換部３０（を構成する画像データ変換部３１および中間データ変換部３２）の処理について説明する。
【０４１３】
なお、画像データベース２に記憶された原画像データは、例えば、図４１に示すように、ほぼ等速直線運動をしている列車の車窓に固定されたカメラによって撮像されたものとする。図４１に示した場合においては、カメラでは、近景（例えば、カメラから比較的近くにある樹木などの物体）と遠景（例えば、カメラから遠くにある空などの景色）が撮像されている。
【０４１４】
ここで、図４１においては、列車が走行する平面（あるいはその平面と平行な平面）上において、列車の走行方向に対して垂直な方向を基線とし、その基線に対して、反時計回り方向に角度φ0だけ傾いた方向が光軸方向となるように、カメラが固定されている。なお、列車が走行する平面上において、その列車に固定されたカメラのレンズ中心から反時計回り方向に、基線に対してつくられる角度を、以下、適宜、偏角という。この偏角は、上述の経度に相当する。
【０４１５】
即ち、ここでは、列車が、平面上を、直線的に移動することとしているため、その平面を、地球の赤道上の平面と考えると、列車に固定されたカメラの視点は、緯度方向には移動せず、経度方向にのみ移動する。従って、そのようなカメラによって撮像された原画像データについては、基本的には、上述の緯度と経度のうち、経度だけに注目すれば良く、緯度は無視できることになる。
【０４１６】
図４１では、列車の走行方向に向かって右側に、被写体となる複数の物体（例えば、樹木など）があり、さらに、その被写体となる複数の物体は、列車の走行方向に沿って存在している。従って、図４１の実施の形態では、被写体となる複数の物体は、列車の走行軌跡に対して等距離の位置に存在している。
【０４１７】
この場合、カメラの光学中心を通る基線上にある被写体の、カメラから見た速度をＶ0と表すこととすると、その基線から角度（偏角）φの方向にある被写体の、カメラから見た速度は、Ｖ0ｃｏｓφで表すことができる。
【０４１８】
従って、カメラによって撮像される画像データ、即ち、カメラの光軸と垂直な仮想スクリーン上に表示される画像データにおいては、右側に表示された被写体が、左側に表示された被写体よりも高速に移動する。
【０４１９】
図４１では、列車が、図中上方向に走行している。従って、その列車の車窓に固定されたカメラによれば、例えば、図４２に示すように、画像データが撮像される。
【０４２０】
即ち、いまの場合、列車は等速直線運動をしているから、その列車に固定されているカメラも等速直線運動をし、これにより、カメラでは、そのレンズ中心が、列車の走行方向に等間隔で移動しながら、各フレームの画像データが撮像される。
【０４２１】
いま、カメラで撮像された各フレームの画像データにおいて、ある偏角φ1の方向に注目すると、その偏角φ1の方向の光線に対応する画素値は、各フレームの画像データに存在する。従って、各フレームの画像データから、偏角φ1の方向の光線に対応する画素値を集めることで、その偏角φ1の方向の無限遠から見た画像データである中間データを生成することができる。
【０４２２】
即ち、カメラで撮像された各フレームの画像データから、偏角φ1の方向にある列の画素（偏角φ1の方向にある、垂直方向に並ぶ画素）の並びを切り出し、各フレームから切り出した１列の画素の画素値を、フレーム順に、右から左方向に並べることで、偏角φ1の方向の無限遠から見た画像データである中間データを生成することができる。
【０４２３】
ところで、上述のように、カメラで撮像された各フレームの画像データから、偏角θ1の方向にある列の画素を切り出して並べることにより、偏角φ1の方向の無限遠から見た画像データ（中間データ）を生成すると、その画像データは、１フレームの間にカメラが移動する移動距離に対応する間隔だけ、画素が存在しないものとなることがある。
【０４２４】
即ち、１フレームの間にカメラが移動する移動距離が、１画素の横の長さを越える場合、あるフレームの画像データにおける偏角φ1の方向にある列の画素と、その次のフレームの画像データにおける偏角φ1の方向にある画素との間には、１画素を越える間隔が生じ、中間データとしての画像データも、そのような間隔の空いたものとなる。
【０４２５】
そこで、そのような間隔が生じるのを防止するため、カメラで撮像された各フレームの画像データからの画素の切り出しは、行方向（水平方向）に、ある程度の幅のある形で行うことができる。
【０４２６】
即ち、カメラで撮像された各フレームの画像データからは、例えば、図４２に示すように、ある偏角φ1から、微小角度±δφの範囲の方向にある複数列の画素を切り出すようにすることができる。いま、この偏角φ1から、微小角度±δφの範囲の方向にある複数列の画素でなる短冊状の画像を、偏角θ1についての短冊画像というものとすると、偏角φ1の方向の無限遠から見た画像データである中間データの生成（再構成）は、図４３に示すように、カメラで撮像された各フレームの画像データから、偏角φ1についての短冊画像が切り出され、フレーム順に、右から左方向に配置されることで行われる。
【０４２７】
なお、図４３に示した中間データの列方向（垂直方向）の長さは、カメラで撮像された画像データのフレームの画素の行数（列方向の画素数）で決まるが、その行方向（水平方向）の長さは、カメラで撮像された画像データのフレーム数に依存する。
【０４２８】
図３８のデータ変換部３０における画像データ変換部３１では、上述のようにして、各偏角の方向の無限遠から見た中間データが生成される。
【０４２９】
即ち、いま、列車に固定されたカメラで撮像された画像データが、例えば、図４４に示すように、樹木がある風景が、画面上を左から右方向に移動していくものである場合には、例えば、図４５に示すような中間データが生成される。
【０４３０】
ここで、図４５は、図４５Ａに示すような４つの方向＃１乃至＃４の無限遠から見た画像データである中間データを示している。即ち、図４５Ｂ乃至図４５Ｅは、図４５Ａにおける方向＃１乃至＃４の無限遠それぞれから見た画像データである中間データを示している。
【０４３１】
次に、図４６のフローチャートと、図４７を参照して、図３８の画像データ変換部３１が、図４０のステップＳ８１で行う画像データ変換処理、即ち、原画像データを中間データに変換する処理について説明する。
【０４３２】
まず最初に、ステップＳ１０１において、画像データ変換部３１は、画像データベース２に記憶された原画像データのフレーム数をカウントする変数Ｆnumに、初期値としての、例えば１をセットして、ステップＳ１０２に進む。
【０４３３】
ステップＳ１０２では、画像データベース２に記憶された原画像データを撮像したときのカメラの視点（撮像ポイント）から、注目撮像ポイントＰcとするものを選択する。
【０４３４】
即ち、図３８の実施の形態においては、画像データベース２に記憶された原画像データは、図４１および図４２で説明したように、等速直線運動する列車に固定されたカメラによって撮像されたものであるから、図４７に示すように、列車の走行方向に沿った直線上には、多数の撮像ポイントが存在すする。ステップＳ１０２では、その多数の撮像ポイントの中から、第Ｆnumフレームの原画像データをカメラで撮像したときの撮像ポイントが、注目撮像ポイントＰcとして選択される。なお、図３８では、第ｎ−１フレーム、第ｎフレーム、および第ｎ＋１フレームの３つのフレームそれぞれについての撮像ポイントを示してある。
【０４３５】
ここで、図３８の実施の形態においては、画像データベース２には、列車に固定されたカメラによって撮像された原画像データの他、図７の画像生成装置で撮像された原画像データにおける場合と同様に、現実世界にあらかじめ設定された３次元座標系である撮像時座標系における、列車に固定されたカメラの撮像ポイントも記憶されているものとする。この場合、ステップＳ１０２において、画像データ変換部３１は、画像データベース２から、第Ｆnumフレームの画像データについての撮像ポイントを、注目撮像ポイントＰcとして読み出す。なお、図４７では、撮像時座標系として、左方向にｘ軸が、上方向にｙ軸が、紙面と垂直な手前方向にｚ軸が、それぞれとられている。
【０４３６】
その後、ステップＳ１０３に進み、画像データ変換部３１は、注目撮像ポイントＰcについて、仮想スクリーンを設定し、仮想スクリーン上の垂直方向の画素の列のうち、まだ注目列として選択していない画素列を、注目列として選択する。
【０４３７】
即ち、画像データ変換部３１は、図４７に示すように、注目撮像ポイントＰcについて、その注目撮像ポイントＰcから、カメラの光軸方向に向かって、所定の距離Ｌだけ離れた位置に、列車に固定されたカメラの光軸と直交する長方形状の平面を、仮想スクリーンとして設定する。そして、画像データ変換部３１は、仮想スクリーン上の画素のうち、例えば、左から右方向の順番で、まだ注目列として選択していない画素列を、注目列として選択する。
【０４３８】
ここで、図４７では、カメラの光軸と基線が一致しているが、即ち、カメラの光軸が、基線から０度の方向になっているが、カメラの光軸は、基線から任意の偏角θ0の方向にとることが可能である。なお、カメラの光軸の方向は、基線からの偏角θ0が何度の方向であっても良いが、その偏角θ0が何度であるかは、ここでは、データ変換部３０において、あらかじめ認識されているものとする。
【０４３９】
ステップＳ１０３において注目列が選択された後は、ステップＳ１０４に進み、画像データ変換部３１は、その注目列を構成する画素のうちの、例えば最上行の画素を注目画素Ｐsとして選択する。
【０４４０】
ここで、注目画素Ｐsは、注目列を構成する画素のうちの最上行の画素に限定されるものではなく、任意の行の画素を、注目画素として選択することが可能である。
【０４４１】
ステップＳ１０４において注目画素Ｐsが選択された後は、ステップＳ１０５に進み、画像データ変換部３１は、注目撮像ポイントＰcを始点とし、注目画素Ｐsを終点とするベクトルｖを求め、ステップＳ１０６に進む。
【０４４２】
ステップＳ１０６では、画像データ変換部３１は、図４７に示すように、ステップＳ１０５で求められたベクトルｖと直交し、撮像時座標系上の所定の点Ｐfを通る平面αを求め、ステップＳ１０７に進む。
【０４４３】
ステップＳ１０７では、画像データ変換部３１は、ステップＳ１０５で求めたベクトルｖの、基線に対する偏角φを求め、ステップＳ１０８に進む。即ち、本来ならば、図２７の実施の形態における場合と同様に、ベクトルｖの緯度と経度を求める必要があるが、ここでは、上述したように、経度方向にしか移動しないカメラによって原画像データが撮像されているので、緯度は無視することができ、経度のみを考慮すれば足りる。そこで、ステップＳ１０７では、ベクトルｖの経度に相当する、基線に対する偏角φが求められる。
【０４４４】
ここで、ベクトルｖの偏角φは、ステップＳ１０６で求められた平面αの法線の偏角φということもできる。また、平面αの法線の方向は、緯度と経度で特定されるが、ここでは、上述したように、緯度は無視することができる（緯度は、任意の固定の値とすることができる）。従って、所定の点Ｐfを通る平面αは、その法線の経度に相当する偏角φによって特定することができるので、この偏角φによって特定される平面αを、以下、適宜、平面Ｉ（φ）とも記述する。
【０４４５】
なお、偏角φの符号については、撮像ポイントを中心として、列車が走行する平面（図４７の実施の形態では、ｘｙ平面）内における、反時計回り方向を、正とする。
【０４４６】
ステップＳ１０８では、画像データ変換部３１は、図４７に示すように、注目撮像ポイントＰcと注目画素Ｐsとを結ぶ直線Ｌpを求める。さらに、ステップＳ１０８では、画像データ変換部３１は、直線Ｌpと、ステップＳ１０６で求めた平面α（Ｉ（φ））との交点Ｐxを求め、ステップＳ１０９に進み、その点Ｐxの、平面α上における座標（ｘα，ｙα）を求める。
【０４４７】
ここで、ステップＳ１０９では、平面Ｉ（φ）上において、例えば、その平面Ｉ（φ）が必ず通る所定の点Ｐfを原点とするとともに、撮像時座標系のｘ軸とｚ軸を平面Ｉ（φ）上に写像して得られる軸を、それぞれｘ軸とｙ軸とする２次元座標系が定義され、その２次元座標系における点Ｐxの座標（ｘα，ｙα）が求められる。なお、平面Ｉ（φ）上に定義される２次元座標系は、上述したものに限定されない。
【０４４８】
その後、ステップＳ１１０に進み、画像データ変換部３１は、仮想スクリーン上の第Ｆnumフレームの原画像データの注目列を、平面Ｉ（φ）上に射影する。
【０４４９】
即ち、いま、平面Ｉ（φ）上の点Ｐxの位置の画素の画素値を、平面Ｉ（φ）と、平面Ｉ（φ）上の点Ｐxの座標を表す（ｘα，ｙα）とによって、Ｉ（φ）（ｘα，ｙα）と表すこととするとともに、注目列が、Ｎ画素で構成されるものとする。この場合、画像データ変換部３１は、仮想スクリーン上の第Ｆnumフレームの原画像データの注目列における第１行の画素の画素値を、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα）に、注目列における第２行の画素の画素値を、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα＋１）に、・・・、注目列における第Ｎ行の画素の画素値を、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα＋（Ｎ−１））に、それぞれセットする。
【０４５０】
そして、ステップＳ１１１進み、画像データ変換部３１は、注目撮像ポイントＰcに対して設定された仮想スクリーン上の原画像データのすべての画素列を注目列としたかどうかを判定し、まだ、注目列としていないが画素列があると判定した場合、ステップＳ１０３に戻り、以下、同様の処理が繰り返される。
【０４５１】
また、ステップＳ１１１において、仮想スクリーン上のすべての画素列を注目列としたと判定された場合、ステップＳ１１２に進み、画像データ変換部３１は、第Ｆnumフレームの次のフレームの原画像データが存在するかどうかを、画像データベース２を参照することにより判定する。ステップＳ１１２において、第Ｆnumフレームの次のフレームの原画像データが存在すると判定された場合、ステップＳ１１３に進み、画像データ変換部３１は、変数Ｆnumを１だけインクリメントして、ステップＳ１０２に戻り、以下、同様の処理を繰り返す。
【０４５２】
また、ステップＳ１１２において、第Ｆnumフレームの次のフレームの原画像データが存在しないと判定された場合、即ち、画像データベース２に記憶されたすべてのフレームの画像データを、各偏角φの平面Ｉ（φ）に正射影した画像データとしての中間データが得られた場合、処理を終了する。
【０４５３】
なお、以上の画像データ変換処理により得られた中間データは、画像データ変換部３１から中間データベース３に供給されて記憶される。
【０４５４】
また、図４６の画像データ変換処理において最終的に得られた原画像データのフレーム数Ｆnumは、図４０で説明したように、ステップＳ８２において、画像データ変換部３１から再生フレーム管理部３４に供給される。
【０４５５】
次に、図４８は、図４６の画像データ変換処理により生成される中間データのフォーマットを模式的に表している。
【０４５６】
図４６の画像データ変換処理によって生成される中間データは、平面Ｉ（φ）上に、偏角φで規定される方向の無限遠から被写体を見た場合の画像データとなっており、従って、各値の偏角φごとに存在するので、図４８Ａに示すような、偏角φの値で区切られるテーブル（以下、適宜、偏角テーブルという）で表現することができる。
【０４５７】
即ち、図４６の画像データ変換処理は、基本的には、図２７の画像データ変換処理における緯度を無視した処理と同様であり、その結果得られる中間データは、図２７の画像データ変換処理によって得られる図２９Ａの緯度経度テーブルにおける緯度を無視したものとなっている。即ち、図４６の画像データ変換処理により得られる図４８Ａの偏角テーブルは、図２９Ａの緯度経度テーブルにおける緯度方向の軸がなく、経度に相当する偏角方向の軸のみがあるものとなっている。
【０４５８】
ここで、図４８Ａの実施の形態では、偏角φが、最小値φminから最大値φmaxの範囲の１度刻みで変化する平面Ｉ（φ）ごとに、各偏角φで規定される方向の無限遠から被写体を見た場合の画像データが、偏角テーブルの各マス目に登録されている。なお、偏角φを、何度刻みとするかや、その刻み幅は、図２９Ａの緯度経度テーブルにおける場合と同様に特に限定されるものではない。また、偏角テーブルにおける偏角φの最小値φminおよび最大値φmaxは、列車に固定されたカメラの光軸の偏角、およびそのカメラの水平方向の画角に依存する。
【０４５９】
図４８Ａの偏角テーブルの各マス目には、そのマス目に対応する偏角φで規定される方向の無限遠から被写体を見た場合の画像データ、即ち、平面Ｉ（φ）上に（緯度を無視して）射影された原画像データの画素の画素値が、その平面Ｉ（φ）上に定義された２次元座標系の各ｘ座標ｘαと各ｙ座標ｙαごとに登録されている。即ち、図４８Ａの偏角テーブルの各マス目には、例えば、図４８Ｂに示すように、平面Ｉ（φ）上に定義された２次元座標系のｘ座標ｘαとｙ座標ｙαの値で区切られたテーブル（画素値テーブル）が登録されており、その画素値テーブルのマス目には、そのマス目に対応するｘ座標ｘαとｙ座標ｙαで規定される点に射影された原画像データの画素の画素値ｐ（ｘα，ｙα）が登録されている。
【０４６０】
なお、図４８Ｂにおいて、ｘ1とｙ1は、図２９Ｂにおける場合と同様に、原画像データの画素を平面Ｉ（φ）上に正射影した点の、最小のｘ座標とｙ座標を、それぞれ表す。また、ｘ2とｙ2も、図２９Ｂにおける場合と同様に、原画像データの画素を平面Ｉ（φ）上に正射影した点の、最大のｘ座標とｙ座標を、それぞれ表す。
【０４６１】
ところで、上述したように、列車に固定されたカメラで撮像された各フレームの原画像データから、ある偏角φの方向にある列の画素を、平面Ｉ（φ）に射影することにより、偏角φの方向の無限遠から見た画像データである中間データを生成した場合、その中間データとしての画像データにおいては、１フレームの間にカメラが移動する移動距離に対応する間隔だけ、画素が存在しないものとなること、即ち、画素値の欠落が生じることがある。
【０４６２】
そこで、図３８の画像処理装置１においても、図５の画像処理装置１における場合と同様に、画素値補間処理を行うようにすることができる。
【０４６３】
そこで、図４９のフローチャートを参照して、図３８の画像処理装置１で行われる画素値補間処理について説明する。なお、この画素値補間処理は、図３２における場合と同様に、画像データ変換部３１に行わせても良いし、中間データ変換部３２に行わせても良い。ここでは、例えば、画像データ変換部３１が行うものとして、画素値補間処理を説明する。
【０４６４】
図４９の画素値補間処理では、まず最初に、ステップＳ１２１において、画像データ変換部３１が、偏角を表す変数φに、初期値としての、例えば、その最小値であるφminをセットするとともに、平面Ｉ（φ）のｘ座標を表す変数ｘαに、初期値としての、例えば、その最小値であるｘ1をセットする。
【０４６５】
そして、ステップＳ１２２に進み、画像データ変換部３１は、中間データＩ（φ）（ｘα，ｙ1）に、画素値がセットされているかどうかを、図３２のステップＳ４２における場合と同様にして判定する。
【０４６６】
ここで、上述の場合には、ステップＳ１２２において画素値がセットされているかどうかを判定する対象（以下、適宜、画素値判定対象という）を、中間データＩ（φ）（ｘα，ｙ1）としたが、即ち、平面Ｉ（φ）上の座標（ｘα，ｙ1）の画素としたが、画素値判定対象としては、ｙ座標ｙαが、その最小値ｙ1から最大値ｙ2の範囲の任意の値の画素を採用することができる。
【０４６７】
即ち、図４６および図４７で説明した画像データ変換処理によって得られる中間データにおいては、平面Ｉ（φ）上の座標（ｘα，ｙ1）乃至（ｘα，ｙ2）で表される列には、図４６のステップＳ１１０において、一度に、原画像データの画素値がセットされる。従って、平面Ｉ（φ）上の座標（ｘα，ｙ1）乃至（ｘα，ｙ2）で表される列における１画素に画素値がセットされていない場合には、その列の他の画素にも画素値がセットされていないこととなるから、画素値判定対象としては、ｙ座標ｙαが、その最小値ｙ1から最大値ｙ2の範囲の任意の値の画素を採用することができる。
【０４６８】
ステップＳ１２２において、中間データＩ（φ）（ｘα，ｙ1）に、画素値がセットされていると判定された場合、即ち、画素値が欠落していない場合、ステップＳ１２３およびＳ１２４をスキップして、ステップＳ１２５に進む。
【０４６９】
また、ステップＳ１２２において、中間データＩ（φ）（ｘα，ｙ1）に、画素値がセットされていないと判定された場合、即ち、画素値が欠落している場合、ステップＳ１２３に進み、画像データ変換部３１は、φ−△φ＜φ’＜φ＋△φの範囲の偏角φ’で規定される平面Ｉ（φ’）上の点（ｘα，ｙ1）の中で、画素値がセットされているものを探索（検索）する。
【０４７０】
ここで、△φとしては、例えば、図３２における場合と同様に、小さい正の整数値が採用される。
【０４７１】
その後、ステップＳ１２４に進み、画像データ変換部３１は、ステップＳ１２３で探索された、画素値がセットされている中間データＩ（φ’）（ｘα，ｙ1）の列の各画素値Ｉ（φ’）（ｘα，ｙ1）乃至Ｉ（φ’）（ｘα，ｙ2）を、欠落している画素値である中間データＩ（φ）（ｘα，ｙα）の列の各画素値Ｉ（φ）（ｘα，ｙ1）乃至（ｘα，ｙ2）にセットして、ステップＳ１２５に進む。なお、原画像データのフレームの垂直方向の画素数が、上述したようにＮ画素であれば、ｙ2は、ｙ1＋（Ｎ−１）で表される。
【０４７２】
ここで、ステップＳ１２３において、φ−△φ＜φ’＜φ＋△φの範囲の偏角φ’で規定される平面Ｉ（φ’）上の点（ｘα，ｙ1）の中で、画素値がセットされているものが複数見つかった場合には、ステップＳ１２４では、画像データ変換部３１は、その中から、例えば、偏角の差の絶対値｜φ−φ’｜が最も小さいものを選択し、その選択したＩ（φ’）（ｘα，ｙ1）の列の各画素値Ｉ（φ’）（ｘα，ｙ1）乃至Ｉ（φ’）（ｘα，ｙ2）を、各画素値Ｉ（φ）（ｘα，ｙ1）乃至（ｘα，ｙ2）にセットする。
【０４７３】
また、ステップＳ１２３において、φ−△φ＜φ’＜φ＋△φの範囲の偏角φ’で規定される平面Ｉ（φ’）上の点（ｘα，ｙ1）の中で、画素値がセットされているものが見つからなかった場合には、ステップＳ１２４では、画像データ変換部３１は、平面Ｉ（φ）上の画素値がセットされている画素の中から、座標（ｘα，ｙ1）と最も近い画素を検索し、その画素の列の各画素の画素値を、各画素値Ｉ（φ）（ｘα，ｙ1）乃至（ｘα，ｙ2）にセットする。
【０４７４】
なお、図４９の画素値補間処理でも、図３２における場合と同様に、平面Ｉ（φ）上の、画素値がセットされていない点（ｘα，ｙα）に、画素値が補間されるから、その処理が進行していくと、画素値が補間された点における画素値によって、さらに、他の点における画素値が補間されることが生じうる。これを防止するためには、例えば、図３２における場合と同様に、画素値の補間がされた点に、補間がされたことを表す補間フラグを付加するようにし、補間フラグが付加されている点における画素値は、補間に用いないようにする（ステップＳ１２３における探索の対象外とする）必要がある。
【０４７５】
ステップＳ１２５では、画像データ変換部３１が、平面Ｉ（φ）上のｘ座標を表す変数ｘαが、その最大値であるｘ2に等しいかどうかを判定する。ステップＳ１２５において、ｘ座標ｘαが、最大値ｘ2に等しくないと判定された場合、ステップＳ１２６に進み、画像データ変換部３１は、ｘ座標ｘαを１だけインクリメントして、ステップＳ１２２に戻り、以下、同様の処理を繰り返す。
【０４７６】
また、ステップＳ１２５において、ｘ座標ｘαが、最大値ｘ2に等しいと判定された場合、ステップＳ１２７に進み、画像データ変換部３１は、ｘ座標ｘαを、その最小値であるｘ1にリセットして、ステップＳ１２８に進む。
【０４７７】
ステップＳ１２８では、画像データ変換部３１は、偏角を表す変数φが、その最大値であるφmaxに等しいかどうかを判定する。ステップＳ１２８において、偏角φが、最大値φmaxに等しくないと判定された場合、ステップＳ１２９に進み、画像データ変換部３１は、偏角φを１度だけインクリメントして、ステップＳ１２２に戻り、以下、同様の処理を繰り返す。
【０４７８】
また、ステップＳ１２８において、偏角φが、最大値φmaxに等しいと判定された場合、処理を終了する。
【０４７９】
図４９の画素値補間処理においても、図３２における場合と同様に、平面Ｉ（φ）のある列の画素値Ｉ（φ）（ｘα，ｙ1）乃至Ｉ（φ）（ｘα，ｙ2）が欠落している場合には、画素値がセットされている、偏角がより近い他の平面Ｉ（φ’）における同一列の画素値Ｉ（φ’）（ｘα，ｙ1）乃至Ｉ（φ’）（ｘα，ｙ2）によって、その欠落している画素値Ｉ（φ）（ｘα，ｙ1）乃至Ｉ（φ）（ｘα，ｙ2）が補間される。
【０４８０】
なお、図４９の画素値補間処理によれば、図４２で説明したように、各フレームの原画像データから、同一の偏角方向についての短冊画像を切り出し、その短冊画像を、フレーム順に、右から左方向に配置して得られるのと同一の中間データが得られる。従って、画像データ変換部３１において、図４２で説明したように、短冊画像によって中間データを生成する場合には、画素値の欠落は生じないから、図４９の画素値補間処理は、行う必要がない。
【０４８１】
また、図４９の画素値補間処理によって得られた中間データに対しては、上述したクラス分類適応処理、その他の画像処理を施すことが可能である。
【０４８２】
さらに、中間データのフォーマットとしては、図４８で説明したフォーマットの他、図３５における場合と同様のフォーマットを採用することが可能である。
【０４８３】
次に、図５０のフローチャートと、図５１を参照して、図３８の中間データ変換部３２が、図４０のステップＳ８５で行う中間データ変換処理、即ち、中間データを、ユーザの視点から見た第ｎフレームの画像データ（提示用画像データ）に変換する処理について説明する。
【０４８４】
図５０の中間データ変換処理においても、図３６における場合と同様に、ディスプレイ６（図２）に、ユーザの視点に応じた画像を表示するための３次元座標系としての表示時座標系が想定される。なお、表示時座標系としては、例えば、画像データベース２に記憶された原画像データを中間データに変換するときに用いられた撮像時座標系を、そのまま採用することができる。
【０４８５】
そして、まず最初に、ステップＳ１４１において、中間データ変換部３２は、図５１に示すように、表示時座標系における、第ｎフレームの撮像ポイントＰcについて、ユーザの視点Ｐc’を設定する。
【０４８６】
即ち、図５０の中間データ変換処理では、いま処理対象となっているフレームの撮像ポイントＰcを基準として処理が行われるようになっており、そのため、ステップＳ１４１では、いま再生対象となっているフレームの撮像ポイントＰcを基準として、ユーザの視点Ｐc’が設定される。
【０４８７】
具体的には、中間データ変換部３２には、センサ制御部３３から、現実世界におけるユーザの視点が供給されるが、中間データ変換部３２は、現実世界における所定の位置を、ユーザの視点の基準位置として、センサ制御部３３からのユーザの視点が、基準位置からどれだけ移動した位置にあるかを表す移動情報を求める。ここで、ユーザの視点の基準位置としては、ユーザが、ディスプレイ６に表示された画像を視聴する一般的な位置、即ち、例えば、ディスプレイ６の正面方向上の任意の点を採用することができる。
【０４８８】
中間データ変換部３２は、移動情報を求めると、図５１に示すように、表示時座標系において、第ｎフレームの撮像ポイントＰcから、その移動情報だけ移動した点を、撮像ポイントＰcについてのユーザの視点Ｐc’として設定する。
【０４８９】
なお、図５０の中間データ変換処理においても、図４６の画像データ変換処理における場合と同様に、緯度方向は無視される。従って、図５０の中間データ変換処理において、例えば、図５１に示すように、図４７の撮像時座標系と同様のｘ軸、ｙ軸、およびｚ軸をとった表示時座標系が想定されているとすると、移動情報における、緯度方向に影響するｙ軸方向およびｚ軸方向の成分は無視される（例えば０と扱われる）。このことは、ユーザが、表示時座標系のｙ軸方向またはｚ軸方向に移動しても、ユーザの視点が移動したとは認められないことを意味する。即ち、この場合、ユーザの視点が移動したと認められるには、ユーザが、少なくとも、表示時座標系のｘ軸方向に移動する必要がある。ここで、本実施の形態では、表示時座標系（撮像時座標系も同様）におけるｘ軸方向は、カメラの移動方向（カメラが固定された列車の走行方向）に一致している。
【０４９０】
中間データ変換部３２は、以上のようにして、表示時座標系における、撮像ポイントＰcについてのユーザの視点Ｐc’を設定すると、ステップＳ１４２に進み、図５１に示すように、撮像ポイントＰcにおけるカメラの光軸と、第ｎフレームに表示されている被写体との交点Ｐkを求める。
【０４９１】
なお、ここでは、説明を簡単にするために、カメラが固定された列車の走行軌跡と被写体との間の距離Ｄは、一定であるとし、さらに、中間データ変換部３２において、あらかじめ認識されているものとする。また、撮像ポイントＰcにおけるカメラの光軸の偏角φ0も、中間データ変換部３２において、あらかじめ認識されているものとする。この場合、撮像ポイントＰcにおけるカメラの光軸と、第ｎフレームに表示されている被写体との交点Ｐkは、撮像ポイントＰc、距離Ｄ、および撮像ポイントＰcにおけるカメラの光軸の偏角φ0から求めることができる。
【０４９２】
その後、ステップＳ１４３に進み、中間データ変換部３２は、図５１に示すように、ユーザの視点Ｐc’を始点とするとともに、交点Ｐkを終点とするベクトルｖ’を求め、ステップＳ１４４に進む。ステップＳ１４４では、中間データ変換部３２は、ユーザの視点Ｐc’に対して、ベクトルｖ’の方向を視線方向として、そのベクトルｖ’と直交し、ユーザの視点Ｐc’から距離Ｌだけ離れた位置に仮想スクリーンを設定し、ステップＳ１４５に進む。
【０４９３】
ステップＳ１４５では、中間データ変換部３２は、ユーザの視点Ｐc’について設定した仮想スクリーン上の垂直方向の画素の列のうち、まだ注目列として選択していない画素列を、注目列として選択する。
【０４９４】
ステップＳ１４５において注目列が選択された後は、ステップＳ１４６に進み、中間データ変換部３２は、例えば、図４６のステップＳ１０４における場合と同様に、注目列を構成する画素のうちの最上行の画素を注目画素Ｐsとして選択する。
【０４９５】
ここで、注目画素Ｐsは、注目列を構成する画素のうちの最上行の画素に限定されるものではなく、任意の行の画素を、注目画素として選択することが可能である。
【０４９６】
ステップＳ１４６において注目列が選択された後は、ステップＳ１４７に進み、中間データ変換部３２は、図５１に示すように、ユーザの視点Ｐc’を始点とし、注目画素Ｐsを終点とするベクトルｖを求め、ステップＳ１４８に進む。
【０４９７】
ステップＳ１４８では、中間データ変換部３２は、図５１に示すように、ステップＳ１４７で求められたベクトルｖと直交し、撮像時座標系と同一の表示時座標系上の所定の点Ｐfを通る平面αを求め、ステップＳ１４９に進む。
【０４９８】
ステップＳ１４９では、中間データ変換部３２は、ステップＳ１４７で求めたベクトルｖの、基線に対する偏角φ、即ち、ステップＳ１４８で求めた平面αの法線の、基線に対する偏角φを求め、ステップＳ１５０に進む。
【０４９９】
ステップＳ１５０では、中間データ変換部３２は、図５１に示すように、ユーザの視点Ｐc’と注目画素Ｐsとを結ぶ直線Ｌpを求める。さらに、ステップＳ１５０では、中間データ変換部３２は、直線Ｌpと、ステップＳ１５１で求めた平面α、即ち、法線の、基線に対する偏角が、ステップＳ１４８で求められたφである平面Ｉ（φ）との交点Ｐxを求め、ステップＳ１５１に進み、その点Ｐxの、平面Ｉ（φ）上における座標（ｘα，ｙα）を求める。
【０５００】
その後、ステップＳ１５２に進み、中間データ変換部３２は、仮想スクリーンの注目列の画素の各画素値として、平面Ｉ（φ）上の点Ｐxの列における各画素値をセットする。
【０５０１】
即ち、仮想スクリーン上の注目列が、Ｎ画素で構成されるものとすると、中間データ変換部３２は、仮想スクリーン上の注目列における第１行の画素の画素値として、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα）を、注目列における第２行の画素の画素値として、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα＋１）を、・・・、注目列における第Ｎ行の画素の画素値として、平面Ｉ（φ）上の画素値Ｉ（φ）（ｘα，ｙα＋（Ｎ−１））を、それぞれセットする。
【０５０２】
そして、ステップＳ１５３進み、中間データ変換部３２は、ユーザの視点Ｐc’に対して設定された仮想スクリーン上のすべての画素列（垂直方向の画素の並び）を注目列としたかどうかを判定し、まだ、注目列としていないが画素列があると判定した場合、ステップＳ１４５に戻り、以下、同様の処理が繰り返される。
【０５０３】
また、ステップＳ１５３において、仮想スクリーン上のすべての画素列を注目列としたと判定された場合、即ち、仮想スクリーン上に、ユーザの視点から見た第ｎフレームの画像データ（提示用画像データ）が形成された場合、処理を終了する。
【０５０４】
以上のようにして得られた第ｎフレームの提示用画像データは、上述した図４０のステップＳ８６において、ディスプレイ６に表示される。
【０５０５】
従って、ディスプレイ６には、ユーザの視点から被写体を見た場合の画像データが表示されることになる。
【０５０６】
以上のように、図３８の画像処理装置１によれば、カメラをほぼ等速直線運動させながら撮像された原画像データから、図５の画像処理装置１における場合と同様に、容易に、ユーザの視点に応じた画像データを生成することができる。即ち、ユーザが、その視点を動かした場合に、ユーザが現実世界において被写体を観察している場合にユーザの視覚に映るのと同様の画像を、ディスプレイ６に表示することができる。
【０５０７】
ところで、図３８の画像処理装置１において、原画像データを、ユーザの視点から見た提示用画像データに変換するには、その原画像データがカメラによって撮像されたときの種々の撮像条件が必要となる。
【０５０８】
ここで、原画像データを、ユーザの視点から見た提示用画像データに変換するには、図４６で説明した画像データ変換処理、および図５０で説明した中間データ変換処理から、撮像条件として、少なくとも、原画像データを撮像するカメラが固定された列車の走行軌跡と被写体との間の距離（カメラと被写体との間の、カメラの移動方向と垂直な方向に沿っての距離）Ｄや、撮像ポイントＰcにおけるカメラの光軸の偏角（光軸の方向）φ0、各フレームの撮像ポイントＰcが必要である。
【０５０９】
但し、本実施の形態では、列車、ひいては、その列車に固定されているカメラは、等速直線運動するものとしているため、各フレームの撮像ポイントＰcは、あるフレームの撮像ポイントが分かっていれば、他のフレームの撮像ポイントは、カメラが等速直線運動する速さ（カメラの移動速度）から求めることができる。そこで、ここでは、各フレームの撮像ポイントの代わりに、カメラの移動速度を、撮像条件とすることとする。
【０５１０】
また、原画像データを、ユーザの視点から見た提示用画像データに変換するために少なくとも必要な、上述の撮像条件を、以下、適宜、最低撮像条件という。
【０５１１】
最低撮像条件が、あらかじめ分かっている場合には、図３８の画像処理装置１において、上述したように、原画像データを、ユーザの視点から見た提示用画像データに変換することができる。
【０５１２】
一方、最低撮像条件が分かっていない場合、原画像データを、ユーザの視点から見た提示用画像データに変換するには、まず、最低撮像条件を求める必要がある。
【０５１３】
そこで、図３のコンピュータ１には、画像データベース２に記憶された原画像データを、ユーザの視点から見た提示用画像データに変換するプログラムの他、その原画像データから、最低撮像条件を求める画像処理を行うプログラムも記憶させることができる。
【０５１４】
図５２は、図３のコンピュータ１が、最低撮像条件を求める画像処理を行うプログラムを実行することにより実現される画像処理装置の機能的構成例を示している。
【０５１５】
図５２の実施の形態では、画像処理装置としてのコンピュータ１は、撮像条件演算部９１から構成されている。
【０５１６】
撮像条件演算部９１は、画像データベース２から、等速直線運動する列車に固定されたカメラによって撮像された原画像データを読み出し、その原画像データから、最低撮像条件を含む撮像条件を求め、画像データベース２に供給して記憶させる。
【０５１７】
即ち、撮像条件演算部９１は、等速直線運動する列車に固定されたカメラの仮想スクリーン上における原画像データに表示された被写体の移動距離を求め、カメラの視点（撮像ポイント）から仮想スクリーンまでの距離（視点／仮想スクリーン間距離）と、仮想スクリーン上の被写体の移動距離とを用いて、最低撮像条件を含む撮像条件を求める。
【０５１８】
次に、図５３を参照して、撮像条件演算部９１による撮像条件の算出方法について説明する。
【０５１９】
なお、図５３において、Ｄは、カメラが固定された列車の走行軌跡と、注目している被写体である注目被写体との間の距離（カメラと注目被写体との間の、カメラの移動方向と垂直な方向に沿っての距離）Ｄを表し、ｈは、カメラと注目被写体との間の、カメラの移動方向に沿っての距離を表す。また、Ｌは、カメラの視点から仮想スクリーンまでの距離を表し、φ0は、カメラの光軸の偏角を表す。さらに、△ｄは、注目被写体が、カメラに対して単位時間あたりに移動する距離（カメラの移動距離）、即ち、カメラの移動速度を表し、△ｘは、カメラの仮想スクリーン上における原画像データに表示された注目被写体の単位時間あたりの移動距離、即ち、注目被写体の仮想スクリーン上の移動速度を表す。
【０５２０】
この場合、カメラの視点から注目被写体の方向の偏角φは、距離Ｄとｈとを用いて、次式で表すことができる。
【０５２１】
【数３１】
【０５２２】
また、仮想スクリーン上での注目被写体の移動距離△ｘは、例えば、次式で表すことができる。
【０５２３】
【数３２】
【０５２４】
但し、式（３２）において、φ+とφ-は、例えば、次式で与えられるものとする。
【０５２５】
【数３３】
【０５２６】
式（３２）に、式（３３）を代入すると、次式が得られる。
【０５２７】
【数３４】
【０５２８】
一方、変数ｔの関数ｆ（ｔ）を、その変数ｔで微分した関数（導関数）ｆ’（ｔ）は、次式で表される。
【０５２９】
【数３５】
【０５３０】
式（３５）を変形すると、次式が得られる。
【０５３１】
【数３６】
【０５３２】
そこで、いま、変数ｈ／Ｄの関数ｆ（ｈ／Ｄ）を、例えば、次式のように定義する。
【０５３３】
【数３７】
【０５３４】
式（３７）の関数ｆ（ｈ／Ｄ）を用いて、式（３４）を表すと、次式のようになる。
【０５３５】
【数３８】
【０５３６】
式（３８）は、式（３６）の関係を用いることによって、式（３９）のように変形することができる。
【０５３７】
【数３９】
【０５３８】
一方、変数ｔの関数ｇ1（ｔ）を引数とする関数ｇ2（ｇ1（ｔ））を、変数ｔで微分すると、次式のようになる。
【０５３９】
【数４０】
【０５４０】
また、関数ｔａｎ（ｔ）と、関数ｔａｎ-1（ｔ）の微分は、それぞれ、式（４１）と（４２）で表される。
【０５４１】
【数４１】
【０５４２】
【数４２】
【０５４３】
式（４０）乃至（４２）から、式（３７）の関数ｆ（ｈ／Ｄ）の導関数ｆ’（ｈ／Ｄ）は、次式で表される。
【０５４４】
【数４３】
【０５４５】
式（４３）から、式（３９）は、式（４４）で表される。
【０５４６】
【数４４】
【０５４７】
式（４４）において、未知の変数は、△ｄ，Ｄ，ｈ，φ0である。また、式（４４）において、△ｘは、仮想スクリーン上に表示された注目被写体の移動距離を表し、仮想スクリーン上の注目被写体を表示している画素から計算することができる。さらに、式（４４）において、Ｌは、カメラの視点から仮想スクリーンまでの距離を表し、任意の値を設定することができる。
【０５４８】
従って、式（４４）における４つの未知の変数△ｄ，Ｄ，ｈ，φ0は、原理的には、仮想スクリーン上の４つの画素について、その移動距離を求めれば、その移動距離と、カメラの視点から仮想スクリーンまでの距離Ｌを用い、式（４４）から推定することができる。
【０５４９】
ここで、図５３で説明した方法によれば、カメラと被写体との間の、カメラの移動方向と垂直な方向に沿っての距離Ｄ、撮像ポイントＰcにおけるカメラの光軸の偏角φ0、およびカメラの移動速度△ｄ、即ち、最低撮像条件の他、カメラと注目被写体との間の、カメラの移動方向に沿っての距離ｈも含む撮像条件が求められる。
【０５５０】
図５２の撮像条件演算部９１では、上述したようにして、撮像条件△ｄ，Ｄ，ｈ，φ0が求められる。
【０５５１】
そこで、図５４のフローチャートを参照して、図５２の撮像条件演算部９１が行う処理（撮像条件を推定する撮像条件演算処理）について説明する。
【０５５２】
まず最初に、ステップＳ１６１において、撮像条件演算部９１は、画像データベース２に記憶されたフレームの中から、撮像条件演算処理の対象とする４フレーム以上を、処理対象フレームとして選択し、ステップＳ１６２に進む。
【０５５３】
ステップＳ１６２では、撮像条件演算部９１は、原画像データを撮像したときの撮像ポイントからスクリーンまでの距離Ｌを、所定の値に設定し、ステップＳ１６３に進む。
【０５５４】
ステップＳ１６３では、撮像条件演算部９１は、ステップＳ１６１で処理対象フレームとして選択された４フレーム以上の原画像データの各フレームから、同一位置の画素を、撮像条件を演算するのに用いる演算対象画素として選択する。
【０５５５】
ここで、演算対象画素を、処理対象フレームとされた各フレームの同一位置の画素とするのは、図５３に示した、カメラと注目被写体との間の、カメラの移動方向に沿っての距離ｈを一定値にするためである。
【０５５６】
その後、ステップＳ１６４に進み、撮像条件演算部９１は、演算対象画素の中から、まだ注目画素としていないもののうちの１つを注目画素して選択し、ステップＳ１６５に進む。
【０５５７】
ステップＳ１６５では、撮像条件演算部９１は、注目画素の動きベクトルを検出し、ステップＳ１６６に進む。ステップＳ１６６では、撮像条件演算部９１は、注目画素の動きベクトルから、注目画素の移動距離△ｘを求め、ステップＳ１６７に進む。
【０５５８】
ステップＳ１６７では、撮像条件演算部９１は、すべての演算対象画素を注目画素として、その移動距離△ｘを求めたかどうかを判定し、まだ、注目画素としていない演算対象画素があると判定した場合、ステップＳ１６４に戻り、以下、同様の処理を繰り返す。
【０５５９】
また、ステップＳ１６７において、すべての演算対象画素を注目画素としたと判定された場合、ステップＳ１６８に、進み、撮像条件演算部９１は、演算対象画素とされた４以上の画素それぞれについて求められた移動距離△ｘと、原画像データを撮像したときの撮像ポイントからスクリーンまでの距離Ｌとを用い、式（４４）から、撮像条件△ｄ，Ｄ，ｈ，φ0を求め、画像データベース２に記憶させ、処理を終了する。
【０５６０】
なお、ステップＳ１６７では、演算対象画素とされた４以上の画素それぞれについて求められた移動距離△ｘと、原画像データを撮像したときの撮像ポイントからスクリーンまでの距離Ｌについて、式（４４）を満たす△ｄ，Ｄ，ｈ，φ0が演算されることとなるが、その演算方法としては、例えば、△ｄ，Ｄ，ｈ，φ0それぞれの値を順次変更し、式（４４）を満たすかどうかを検査（検算）する方法などがある。
【０５６１】
以上のように、カメラを移動しながら撮像が行われたときの、カメラの仮想スクリーン上における原画像データに表示された被写体の移動距離△ｘを求め、カメラにおいて原画像データが撮像されたときの視点から仮想スクリーンまでの距離Ｌと、移動距離△とを用いて、撮像条件△ｄ，Ｄ，ｈ，φ0を求めるようにしたので、カメラを移動しながら撮像を行うことにより得られた原画像データから、撮像条件を、容易に求めることができる。
【０５６２】
さらに、その撮像条件を用いて、原画像データを、ユーザの視点から見た提示用画像データに変換することが可能となる。
【０５６３】
なお、本実施の形態では、コンピュータ１にプログラムを実行させることにより、上述した各種の処理を行わせるようにしたが、上述の各種の処理は、その他、専用のハードウェアにより行うことも可能である。
【０５６４】
【発明の効果】
以上の如く、本発明によれば、例えば、実写の画像であっても、容易に、ユーザの視点に応じて変化させることが可能となる。
【図面の簡単な説明】
【図１】従来の画像の表示方法を説明する図である。
【図２】本発明を適用した画像表示装置の一実施の形態の構成例を示す図である。
【図３】コンピュータ１のハードウェア構成例を示すブロック図である。
【図４】画像表示装置による画像の表示方法を説明する図である。
【図５】画像処理装置としてのコンピュータの第１の機能的構成例を示すブロック図である。
【図６】画像処理装置による画像処理を説明するフローチャートである。
【図７】画像データベース２に記憶される画像データを撮像（生成）する画像生成装置の構成例を示すブロック図である。
【図８】画像生成装置による画像生成処理を説明するフローチャートである。
【図９】モーションベース方式を説明する図である。
【図１０】モーションベースの移動例を示す図である。
【図１１】ターンテーブル方式を説明する図である。
【図１２】カメラ４１の構成例を示す斜視図である。
【図１３】全方位画像データを示す図である。
【図１４】集光部５２を構成する双曲面を説明する図である。
【図１５】集光部５２と撮像部５３との位置関係を説明するための図である。
【図１６】全方位画像データを示す図である。
【図１７】全方位画像データからの切り出しを説明するための図である。
【図１８】円周方向の歪みを説明するための図である。
【図１９】半径方向の歪みを説明するための図である。
【図２０】半径方向の歪みを除去する方法を説明するための図である。
【図２１】半径方向の歪みを除去する方法を説明するための図である。
【図２２】半径方向の歪みを除去する全方位画像データの変換を説明するための図である。
【図２３】変換対象点における画素値の求め方を説明するための図である。
【図２４】原画像データを、ユーザから見た提示用画像データに変換する変換原理を説明する図である。
【図２５】原画像データを、ユーザから見た提示用画像データに変換する変換原理を説明する図である。
【図２６】原画像データを中間データに変換する方法を説明する図である。
【図２７】原画像データを中間データに変換する画像データ変換処理を説明するフローチャートである。
【図２８】原画像データを中間データに変換する画像データ変換処理を説明する図である。
【図２９】中間データのフォーマットを示す図である。
【図３０】中間データとしての画像データを示す図である。
【図３１】中間データとしての画像データの補間を説明する図である。
【図３２】中間データとしての画像データを補間する画素値補間処理を説明するフローチャートである。
【図３３】クラス分類適応処理を行うクラス分類適応処理装置の構成例を示すブロック図である。
【図３４】クラス分類適応処理に用いられるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図３５】中間データの他のフォーマットを示す図である。
【図３６】中間データを提示用画像データに変換する中間データ変換処理を説明するフローチャートである。
【図３７】中間データを提示用画像データに変換する中間データ変換処理を説明する図である。
【図３８】画像処理装置としてのコンピュータ１の第２の機能的構成例を示すブロック図である。
【図３９】原画像データを提示用画像データに変換する変換原理を説明する図である。
【図４０】画像処理装置による画像処理を説明するフローチャートである。
【図４１】画像データベース２に記憶された原画像データの撮像方法を説明する図である。
【図４２】カメラが移動しながら原画像データの撮像が行われている様子を示す図である。
【図４３】短冊画像により構成される中間データを示す図である。
【図４４】原画像データの例を示す図である。
【図４５】中間データとしての画像データの例を示す図である。
【図４６】原画像データを中間データに変換する画像データ変換処理を説明するフローチャートである。
【図４７】原画像データを中間データに変換する画像データ変換処理を説明する図である。
【図４８】中間データのフォーマットを示す図である。
【図４９】中間データとしての画像データを補間する画素値補間処理を説明するフローチャートである。
【図５０】中間データを提示用画像データに変換する中間データ変換処理を説明するフローチャートである。
【図５１】中間データを提示用画像データに変換する中間データ変換処理を説明する図である。
【図５２】画像処理装置としてのコンピュータ１の第３の機能的構成例を示すブロック図である。
【図５３】撮像条件を求める方法を説明する図である。
【図５４】撮像条件を推定する撮像条件演算処理を説明するフローチャートである。
【符号の説明】
１ コンピュータ（画像処理装置）， ２ 画像データベース， ３ 中間データベース３， ４ レシーバ（位置センサ）， ５ トランスミッタ（位置センサ）， ６ ディスプレイ， １１ バス， １２ CPU， １３ ROM， １４ RAM， １５ ハードディスク， １６ 出力部， １７ 入力部， １８通信部， １９ ドライブ， ２０ 入出力インタフェース， ２１ リムーバブル記録媒体， ３０ データ変換部， ３１ 画像データ変換部， ３２ 中間データ変換部， ３３ センサ制御部， ３４ 再生フレーム管理部， ４１ カメラ， ４２ バッファ， ４３ 全方位画像変換部， ４４ バッファ， ４５ 駆動機構， ４６ 駆動機構制御部， ４７ コントローラ， ４８ｍｕｘ， ５１ 支持体， ５２ 集光部， ５３ 撮像部， ６１ バッファ， ６２ 予測タップ抽出部， ６３ クラスタップ抽出部， ６４ クラス分類部， ６５ 係数記憶部， ６６ 積和演算部， ７１ 教師データメモリ， ７２ 生徒データ生成部， ７３ 生徒データメモリ， ７４ 予測タップ抽出部， ７５ クラスタップ抽出部， ７６ クラス分類部， ７７ 正規方程式加算部， ７８ タップ係数決定部， ７９ 係数メモリ， ９１ 撮像条件演算部
Claims (20)
- 所定の被写体を複数の視点から撮像した第１の画像データを、ユーザの視点から見える前記被写体の第２の画像データに変換する画像処理装置であって、
所定の位置に、前記ユーザの視点を設定する設定手段と、
前記第１の画像データを構成する画素に前記被写体から入射した光線に対応する画素値からなり、前記光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、前記被写体から前記第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データに前記第１の画像データを変換する画像データ変換手段と、
前記中間データに対して、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理手段と、
前記補間処理が施された前記中間データにおける、前記ユーザの視点と所定の仮想的なスクリーンである第１の仮想スクリーン上の各画素とを結ぶ直線と一致する前記光線に対応する画素値を、前記第１の仮想スクリーン上の画素の画素値とし、前記第１の仮想スクリーン上の画素値でなる画像データを、前記第２の画像データとすることで、前記中間データを前記第２の画像データに変換する中間データ変換手段と
を備え、
前記補間処理において、前記他の平面に垂直な光線との交点における画素値のうち、前記補間処理により補間されていない画素値が補間に用いられる
ことを特徴とする画像処理装置。 - 前記設定手段は、ユーザの位置を検出し、その位置に、前記ユーザの視点を設定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記第１の画像データは、その第１の画像データを撮像する撮像装置を直線的に移動しながら撮像されたものである
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像データ変換手段は、前記第１の画像データを、その画素に入射した光線の各方向について、その方向に垂直な平面の各点ごとに、その点に入射する前記平面と垂直な方向の光線に対応する画素値が表された画像データである前記中間データに変換する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像データ変換手段は、前記第１の画像データを、その画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値が表された画像データである前記中間データに変換する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像データ変換手段は、前記第１の画像データを撮像した視点と所定の仮想的なスクリーンである第２の仮想スクリーン上の前記第１の画像データの各画素とを結ぶ直線と一致する前記光線に対応する画素値を、その光線と、その光線に垂直な、前記所定の点を通る平面との交点の画素値とし、その平面上の交点における画素値でなる画像データを、前記中間データとする
ことを特徴とする請求項１に記載の画像処理装置。 - 前記中間データは、前記被写体としてのオブジェクトから前記第１の画像データの画素に入射する光線がほぼ平行になる程度に遠い位置から見た前記オブジェクトの画像データからなり、
前記中間データ処理手段は、前記オブジェクトの画像データを変換して得ようとする、前記オブジェクトの画像データよりも高画質な第３の画像データの注目している画素である注目画素のクラスであって、前記オブジェクトの画像データからクラスタップとして抽出された、前記注目画素周辺のいくつかの画素を用いて分類されたクラスについて予め求められている係数と、前記オブジェクトの画像データから予測タップとして抽出された、前記注目画素周辺のいくつかの画素との線形結合により前記注目画素を予測演算するクラス分類適応処理により、前記オブジェクトの画像データを前記第３の画像データに変換し、
前記注目画素は、前記クラスタップに基づいて、１以上のクラスのうちの何れかのクラスに分類され、
前記係数は、前記オブジェクトの画像データに対応する生徒データと、前記第３の画像データに対応する教師データとを用い、前記生徒データ、前記教師データ、および前記係数の関係を示す正規方程式を解くことにより得られ、
前記中間データ変換手段は、前記第３の画像データを前記第２の画像データに変換する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記中間データは、オブジェクトからの光線がほぼ平行になる程度に遠い位置から見た前記オブジェクトの画像データと、前記光線の方向とを有する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記第２の画像データを表示する表示手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。 - 所定の被写体を複数の視点から撮像した第１の画像データを、ユーザの視点から見える前記被写体の第２の画像データに変換する画像処理方法であって、
所定の位置に、前記ユーザの視点を設定する設定ステップと、
前記第１の画像データを構成する画素に前記被写体から入射した光線に対応する画素値からなり、前記光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、前記被写体から前記第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データに前記第１の画像データを変換する画像データ変換ステップと、
前記中間データに対して、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、
前記補間処理が施された前記中間データにおける、前記ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する前記光線に対応する画素値を、前記仮想スクリーン上の画素の画素値とし、前記仮想スクリーン上の画素値でなる画像データを、前記第２の画像データとすることで、前記中間データを前記第２の画像データに変換する中間データ変換ステップと
を含み、
前記補間処理において、前記他の平面に垂直な光線との交点における画素値のうち、前記補間処理により補間されていない画素値が補間に用いられる
ことを特徴とする画像処理方法。 - 所定の被写体を複数の視点から撮像した第１の画像データを、ユーザの視点から見える前記被写体の第２の画像データに変換する画像処理を、コンピュータに行わせるプログラムであって、
所定の位置に、前記ユーザの視点を設定する設定ステップと、
前記第１の画像データを構成する画素に前記被写体から入射した光線に対応する画素値からなり、前記光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、前記被写体から前記第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データに前記第１の画像データを変換する画像データ変換ステップと、
前記中間データに対して、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、
前記補間処理が施された前記中間データにおける、前記ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する前記光線に対応する画素値を、前記仮想スクリーン上の画素の画素値とし、前記仮想スクリーン上の画素値でなる画像データを、前記第２の画像データとすることで、前記中間データを前記第２の画像データに変換する中間データ変換ステップと
を含み、
前記補間処理において、前記他の平面に垂直な光線との交点における画素値のうち、前記補間処理により補間されていない画素値が補間に用いられる
ことを特徴とするプログラム。 - 所定の被写体を複数の視点から撮像した第１の画像データを、ユーザの視点から見える前記被写体の第２の画像データに変換する画像処理を、コンピュータに行わせるプログラムが記録されているプログラム記録媒体であって、
所定の位置に、前記ユーザの視点を設定する設定ステップと、
前記第１の画像データを構成する画素に前記被写体から入射した光線に対応する画素値からなり、前記光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、前記被写体から前記第１の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データに前記第１の画像データを変換する画像データ変換ステップと、
前記中間データに対して、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、
前記補間処理が施された前記中間データにおける、前記ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する前記光線に対応する画素値を、前記仮想スクリーン上の画素の画素値とし、前記仮想スクリーン上の画素値でなる画像データを、前記第２の画像データとすることで、前記中間データを前記第２の画像データに変換する中間データ変換ステップと
を含み、
前記補間処理において、前記他の平面に垂直な光線との交点における画素値のうち、前記補間処理により補間されていない画素値が補間に用いられる
プログラムが記録されていることを特徴とするプログラム記録媒体。 - 画像データを変換する画像処理装置であって、
所定の被写体が複数の視点から撮像された前記画像データを取得する取得手段と、
前記画像データを、前記画像データを構成する所定の画素に前記被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データであって、前記光線の方向ごとに、前記交点の画素値を取得できる中間データに変換する変換手段と、
前記中間データに対して、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理手段と、
前記補間処理が施された前記中間データを記録する中間データ記録手段と
を備え、
前記補間処理において、前記他の平面に垂直な光線との交点における画素値のうち、前記補間処理により補間されていない画素値が補間に用いられる
ことを特徴とする画像処理装置。 - 前記変換手段は、前記画像データを、その画素に入射した光線の各方向について、その方向に垂直な平面の各点ごとに、その点に入射する前記平面と垂直な方向の光線に対応する画素値が表された画像データである前記中間データに変換する
ことを特徴とする請求項１３に記載の画像処理装置。 - 前記変換手段は、前記画像データを、その画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値が表された画像データである前記中間データに変換する
ことを特徴とする請求項１３に記載の画像処理装置。 - 前記変換手段は、前記画像データを撮像した視点と所定の仮想的なスクリーンである仮想スクリーン上の前記画像データの各画素とを結ぶ直線と一致する前記光線に対応する画素値を、その光線と、その光線に垂直な、所定の点を通る平面との交点の画素値とし、その平面上の交点における画素値でなる画像データを、前記中間データとする
ことを特徴とする請求項１３に記載の画像処理装置。 - 前記中間データは、オブジェクトからの光線がほぼ平行になる程度に遠い位置から見た前記オブジェクトの画像データと、前記光線の方向とを有する
ことを特徴とする請求項１３に記載の画像処理装置。 - 画像データを変換する画像処理方法であって、
所定の被写体が複数の視点から撮像された前記画像データを取得する取得ステップと、
前記画像データを、前記画像データを構成する所定の画素に前記被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データであって、前記光線の方向ごとに、前記交点の画素値を取得できる中間データに変換する変換ステップと、
前記中間データに対して、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、
前記補間処理が施された前記中間データを記録手段に記録する中間データ記録ステップと
を含み、
前記補間処理において、前記他の平面に垂直な光線との交点における画素値のうち、前記補間処理により補間されていない画素値が補間に用いられる
ことを特徴とする画像処理方法。 - 画像データを変換する画像処理を、コンピュータに行わせるプログラムであって、
所定の被写体が複数の視点から撮像された前記画像データを取得する取得ステップと、
前記画像データを、前記画像データを構成する所定の画素に前記被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データであって、前記光線の方向ごとに、前記交点の画素値を取得できる中間データに変換する変換ステップと、
前記中間データに対して、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、
前記補間処理が施された前記中間データを記録手段に記録する中間データ記録ステップと
を含み、
前記補間処理において、前記他の平面に垂直な光線との交点における画素値のうち、前記補間処理により補間されていない画素値が補間に用いられる
ことを特徴とするプログラム。 - 画像データを変換する画像処理を、コンピュータに行わせるプログラムが記録されているプログラム記録媒体であって、
所定の被写体が複数の視点から撮像された前記画像データを取得する取得ステップと、
前記画像データを、前記画像データを構成する所定の画素に前記被写体から入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データであって、前記光線の方向ごとに、前記交点の画素値を取得できる中間データに変換する変換ステップと、
前記中間データに対して、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理ステップと、
前記補間処理が施された前記中間データを記録手段に記録する中間データ記録ステップと
を含み、
前記補間処理において、前記他の平面に垂直な光線との交点における画素値のうち、前記補間処理により補間されていない画素値が補間に用いられる
プログラムが記録されている
ことを特徴とするプログラム記録媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002161838A JP4211292B2 (ja) | 2002-06-03 | 2002-06-03 | 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体 |
| PCT/JP2003/006982 WO2003103278A1 (ja) | 2002-06-03 | 2003-06-03 | 画像処理装置および方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体 |
| KR1020047001647A KR100967826B1 (ko) | 2002-06-03 | 2003-06-03 | 화상처리장치 및 방법, 프로그램 및 프로그램 기록매체,및 데이터구조 및 데이터 기록매체 |
| EP03733258A EP1511300A4 (en) | 2002-06-03 | 2003-06-03 | IMAGE PROCESSING DEVICE AND METHOD, PROGRAM, PROGRAM RECORDING MEDIUM, DATA STRUCTURE, AND DATA RECORDING MEDIUM |
| US10/485,577 US7831086B2 (en) | 2002-06-03 | 2003-06-03 | Image processing device and method, program, program recording medium, data structure, and data recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002161838A JP4211292B2 (ja) | 2002-06-03 | 2002-06-03 | 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004015106A JP2004015106A (ja) | 2004-01-15 |
| JP2004015106A5 JP2004015106A5 (ja) | 2005-04-07 |
| JP4211292B2 true JP4211292B2 (ja) | 2009-01-21 |
Family
ID=29706591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002161838A Expired - Fee Related JP4211292B2 (ja) | 2002-06-03 | 2002-06-03 | 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7831086B2 (ja) |
| EP (1) | EP1511300A4 (ja) |
| JP (1) | JP4211292B2 (ja) |
| KR (1) | KR100967826B1 (ja) |
| WO (1) | WO2003103278A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9361660B2 (en) | 2011-05-23 | 2016-06-07 | Sony Corporation | Image processing device and method, supplement image generation device and method, program, and recording medium |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10110795B2 (en) | 2002-06-04 | 2018-10-23 | General Electric Company | Video system and method for data communication |
| US20110285842A1 (en) * | 2002-06-04 | 2011-11-24 | General Electric Company | Mobile device positioning system and method |
| US9873442B2 (en) | 2002-06-04 | 2018-01-23 | General Electric Company | Aerial camera system and method for identifying route-related hazards |
| US9919723B2 (en) | 2002-06-04 | 2018-03-20 | General Electric Company | Aerial camera system and method for determining size parameters of vehicle systems |
| US11124207B2 (en) | 2014-03-18 | 2021-09-21 | Transportation Ip Holdings, Llc | Optical route examination system and method |
| US20150235094A1 (en) | 2014-02-17 | 2015-08-20 | General Electric Company | Vehicle imaging system and method |
| US9875414B2 (en) | 2014-04-15 | 2018-01-23 | General Electric Company | Route damage prediction system and method |
| JP4517664B2 (ja) | 2004-02-12 | 2010-08-04 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| US20060190812A1 (en) * | 2005-02-22 | 2006-08-24 | Geovector Corporation | Imaging systems including hyperlink associations |
| US7676112B2 (en) * | 2006-05-01 | 2010-03-09 | University Corporation For Atmospheric Research | Optical device for correcting geostationary satellite imagery for earth curvature effects |
| RU2445007C2 (ru) * | 2006-05-24 | 2012-03-20 | Конинклейке Филипс Электроникс, Н.В. | Совмещение систем координат |
| US8224122B2 (en) * | 2006-12-15 | 2012-07-17 | Microsoft Corporation | Dynamic viewing of wide angle images |
| JP4926826B2 (ja) * | 2007-05-25 | 2012-05-09 | キヤノン株式会社 | 情報処理方法および情報処理装置 |
| CN101937563B (zh) * | 2009-07-03 | 2012-05-30 | 深圳泰山在线科技有限公司 | 一种目标检测方法和设备及其使用的图像采集装置 |
| JP5569329B2 (ja) * | 2010-10-15 | 2014-08-13 | 大日本印刷株式会社 | 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等 |
| JP5803184B2 (ja) * | 2010-11-19 | 2015-11-04 | 株式会社リコー | 画像投影装置、メモリアクセス方法 |
| JP2012134885A (ja) * | 2010-12-22 | 2012-07-12 | Sony Corp | 画像処理装置及び画像処理方法 |
| WO2013032955A1 (en) | 2011-08-26 | 2013-03-07 | Reincloud Corporation | Equipment, systems and methods for navigating through multiple reality models |
| JP5913934B2 (ja) * | 2011-11-30 | 2016-05-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置 |
| JP5966341B2 (ja) * | 2011-12-19 | 2016-08-10 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置 |
| WO2013130082A1 (en) * | 2012-03-01 | 2013-09-06 | Geo Semiconductor Inc. | Method and system for adaptive perspective correction of ultra wide-angle lens images |
| US9691241B1 (en) * | 2012-03-14 | 2017-06-27 | Google Inc. | Orientation of video based on the orientation of a display |
| US8525088B1 (en) * | 2012-03-21 | 2013-09-03 | Rosemont Aerospace, Inc. | View-point guided weapon system and target designation method |
| ITRM20130063U1 (it) * | 2013-04-04 | 2014-10-05 | Virtualmind Di Davide Angelelli | Sonda per riprese endoscopiche e videoispezioni, denominata realworld360 |
| KR20140147205A (ko) * | 2013-06-18 | 2014-12-30 | 삼성전자주식회사 | 휴대 가능한 의료 진단 장치의 주행 경로 제공 방법 및 장치 |
| US9411013B2 (en) * | 2014-02-14 | 2016-08-09 | Google, Inc. | Instrument for automated testing of displays |
| FR3018119B1 (fr) * | 2014-02-28 | 2017-07-07 | Thales Sa | Systeme de visualisation de casque comportant des moyens d'affichage et de gestion de documentation |
| US9414168B2 (en) * | 2014-03-27 | 2016-08-09 | Starkey Laboratories, Inc. | Magnetometer in hearing aid |
| JP5843033B1 (ja) * | 2014-05-15 | 2016-01-13 | 株式会社リコー | 撮像システム、撮像装置、プログラムおよびシステム |
| JP6446465B2 (ja) * | 2014-09-30 | 2018-12-26 | ミラマサービスインク | 入出力装置、入出力プログラム、および入出力方法 |
| US20160182822A1 (en) * | 2014-12-19 | 2016-06-23 | Sony Corporation | System, method, and computer program product for determiing a front facing view of and centering an omnidirectional image |
| CN104469167B (zh) * | 2014-12-26 | 2017-10-13 | 小米科技有限责任公司 | 自动对焦方法及装置 |
| KR102399686B1 (ko) * | 2015-07-28 | 2022-05-19 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
| US10275928B2 (en) * | 2016-04-05 | 2019-04-30 | Qualcomm Incorporated | Dual fisheye image stitching for spherical image content |
| US10102610B2 (en) | 2016-04-05 | 2018-10-16 | Qualcomm Incorporated | Dual fisheye images stitching for spherical video |
| CN106023692A (zh) * | 2016-05-13 | 2016-10-12 | 广东博士早教科技有限公司 | 一种基于娱乐交互的ar趣味学习系统及方法 |
| DE102016210312A1 (de) * | 2016-06-10 | 2017-12-14 | Siemens Healthcare Gmbh | Steuerobjekt zur Steuerung eines Transfers von Dual-Energy-CT-Bilddaten an ein Clientgerät |
| JP7071054B2 (ja) * | 2017-01-20 | 2022-05-18 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| TWI606421B (zh) * | 2017-03-13 | 2017-11-21 | 國立交通大學 | 魚眼相機全自動校正方法及其裝置 |
| KR102491939B1 (ko) | 2018-08-24 | 2023-01-26 | 삼성전자주식회사 | 전방향 이미지를 프로세싱하기 위한 방법 및 장치 |
| JP7392341B2 (ja) | 2019-09-17 | 2023-12-06 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及び情報処理プログラム |
| USD959477S1 (en) | 2019-12-20 | 2022-08-02 | Sap Se | Display system or portion thereof with a virtual three-dimensional animated graphical user interface |
| US11205296B2 (en) * | 2019-12-20 | 2021-12-21 | Sap Se | 3D data exploration using interactive cuboids |
| USD959476S1 (en) | 2019-12-20 | 2022-08-02 | Sap Se | Display system or portion thereof with a virtual three-dimensional animated graphical user interface |
| USD959447S1 (en) | 2019-12-20 | 2022-08-02 | Sap Se | Display system or portion thereof with a virtual three-dimensional animated graphical user interface |
Family Cites Families (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0858074B1 (en) * | 1989-07-13 | 2001-10-17 | Canon Kabushiki Kaisha | Encoding device and decoding device suitable for dubbing |
| US5185667A (en) * | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
| JPH07504285A (ja) * | 1992-11-24 | 1995-05-11 | フランク・データ・インターナショナル・ナムローゼ・フェンノートシャップ | パノラマ画像の形成方法及び装置並びにパノラマ画像探索方法及び装置 |
| JP3032414B2 (ja) | 1993-10-29 | 2000-04-17 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| JPH07200876A (ja) * | 1993-12-28 | 1995-08-04 | Matsushita Electric Ind Co Ltd | 三次元画像生成方法 |
| JP3026716B2 (ja) * | 1994-03-16 | 2000-03-27 | 株式会社日立製作所 | 立体型表示装置 |
| EP0684585B1 (en) * | 1994-04-22 | 2003-02-05 | Canon Kabushiki Kaisha | Image forming method and apparatus |
| JPH0877356A (ja) * | 1994-09-09 | 1996-03-22 | Fujitsu Ltd | 三次元多眼画像の処理方法及び処理装置 |
| JPH0896165A (ja) | 1994-09-29 | 1996-04-12 | Fujitsu Ltd | 画像生成方法及び画像生成装置 |
| JP3164481B2 (ja) * | 1994-12-20 | 2001-05-08 | シャープ株式会社 | 撮像装置 |
| US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
| US5793379A (en) * | 1995-04-03 | 1998-08-11 | Nvidia Corporation | Method and apparatus for scaling images having a plurality of scan lines of pixel data |
| US5963664A (en) * | 1995-06-22 | 1999-10-05 | Sarnoff Corporation | Method and system for image combination using a parallax-based technique |
| JPH0949714A (ja) | 1995-08-04 | 1997-02-18 | Canon Inc | ３次元形状抽出装置 |
| JP3457104B2 (ja) * | 1995-09-14 | 2003-10-14 | 三菱電機株式会社 | 画像合成装置 |
| US6111702A (en) * | 1995-11-30 | 2000-08-29 | Lucent Technologies Inc. | Panoramic viewing system with offset virtual optical centers |
| JPH09187038A (ja) | 1995-12-27 | 1997-07-15 | Canon Inc | ３次元形状抽出装置 |
| US6009188A (en) * | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
| DE69734747T2 (de) * | 1996-03-22 | 2006-07-27 | Canon K.K. | Verfahren und Gerät zur Bildverarbeitung |
| JPH09288735A (ja) * | 1996-04-23 | 1997-11-04 | Canon Inc | 画像処理装置 |
| AU718453B2 (en) * | 1996-07-17 | 2000-04-13 | Sony Corporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
| DE69827232T2 (de) * | 1997-01-30 | 2005-10-20 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Mosaikbildverarbeitungssystem |
| US6009190A (en) * | 1997-08-01 | 1999-12-28 | Microsoft Corporation | Texture map construction method and apparatus for displaying panoramic image mosaics |
| US5991464A (en) * | 1998-04-03 | 1999-11-23 | Odyssey Technologies | Method and system for adaptive video image resolution enhancement |
| US20010015751A1 (en) * | 1998-06-16 | 2001-08-23 | Genex Technologies, Inc. | Method and apparatus for omnidirectional imaging |
| JP2000113209A (ja) * | 1998-10-01 | 2000-04-21 | Dainippon Screen Mfg Co Ltd | 多視点画像生成表示方法、多視点画像生成表示装置、および多視点画像生成表示プログラムを記録した記録媒体 |
| US6750860B1 (en) * | 1998-12-28 | 2004-06-15 | Microsoft Corporation | Rendering with concentric mosaics |
| JP3054146B1 (ja) | 1999-01-06 | 2000-06-19 | 宜昇科技股▲分▼有限公司 | パノラマ像装置 |
| JP3420734B2 (ja) * | 1999-03-12 | 2003-06-30 | 東京都下水道サービス株式会社 | 管渠内面画像の処理方法 |
| JP2000276613A (ja) | 1999-03-29 | 2000-10-06 | Sony Corp | 情報処理装置および情報処理方法 |
| JP2000285259A (ja) | 1999-03-31 | 2000-10-13 | Toshiba Corp | 多視点画像からの任意視点画像再生方法 |
| JP2000339497A (ja) | 1999-05-25 | 2000-12-08 | Sony Computer Entertainment Inc | 画像生成装置、画像生成方法、エンタテインメント・システム及び記録媒体 |
| JP2001008232A (ja) | 1999-06-25 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 全方位映像出力方法と装置 |
| DE19953063A1 (de) * | 1999-11-03 | 2001-06-07 | Univ Magdeburg Tech | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen |
| GB2358980B (en) * | 2000-02-07 | 2004-09-01 | British Broadcasting Corp | Processing of images for 3D display |
| US6327325B1 (en) * | 2000-02-16 | 2001-12-04 | Ge Medical Systems Global Technology Company, Llc | Methods and apparatus for adaptive interpolation reduced view CT scan |
| JP2002064812A (ja) | 2000-08-17 | 2002-02-28 | Sharp Corp | 移動物体追尾装置 |
| US6959120B1 (en) * | 2000-10-27 | 2005-10-25 | Microsoft Corporation | Rebinning methods and arrangements for use in compressing image-based rendering (IBR) data |
| US7940299B2 (en) * | 2001-08-09 | 2011-05-10 | Technest Holdings, Inc. | Method and apparatus for an omni-directional video surveillance system |
| JP2003141562A (ja) * | 2001-10-29 | 2003-05-16 | Sony Corp | 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
-
2002
- 2002-06-03 JP JP2002161838A patent/JP4211292B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-03 WO PCT/JP2003/006982 patent/WO2003103278A1/ja active Application Filing
- 2003-06-03 KR KR1020047001647A patent/KR100967826B1/ko not_active IP Right Cessation
- 2003-06-03 EP EP03733258A patent/EP1511300A4/en not_active Withdrawn
- 2003-06-03 US US10/485,577 patent/US7831086B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9361660B2 (en) | 2011-05-23 | 2016-06-07 | Sony Corporation | Image processing device and method, supplement image generation device and method, program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004015106A (ja) | 2004-01-15 |
| US20050012745A1 (en) | 2005-01-20 |
| EP1511300A4 (en) | 2006-01-04 |
| EP1511300A1 (en) | 2005-03-02 |
| KR100967826B1 (ko) | 2010-07-05 |
| WO2003103278A1 (ja) | 2003-12-11 |
| KR20050002796A (ko) | 2005-01-10 |
| US7831086B2 (en) | 2010-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4211292B2 (ja) | 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体 | |
| JP3922543B2 (ja) | 撮像装置、および画像表示装置 | |
| CN112771539B (zh) | 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用 | |
| US5508734A (en) | Method and apparatus for hemispheric imaging which emphasizes peripheral content | |
| CN102595168B (zh) | 用于360度立体视频的无缝左/右视图 | |
| CN100485720C (zh) | 一种基于序列静态图像的360°环视全景生成方法 | |
| US11200752B1 (en) | Color correction for immersive content production systems | |
| US20080211737A1 (en) | Three-dimensional display apparatus using intermediate elemental images | |
| US20210312702A1 (en) | Damage detection from multi-view visual data | |
| JP2017528949A (ja) | 全方向視差光照射野圧縮のためのプリプロセッサ | |
| CN109076172A (zh) | 从中间视图生成有效画布视图 | |
| CN104980651A (zh) | 图像处理设备及控制方法 | |
| JPH05501184A (ja) | 連続画像の内容変更を行う方法および装置 | |
| JP2001086507A (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、媒体、並びに画像処理装置 | |
| JP2022523478A (ja) | マルチビュー視覚データからの損傷検出 | |
| US20210225038A1 (en) | Visual object history | |
| WO2009093136A2 (en) | Image capture and motion picture generation | |
| Gurrieri et al. | Acquisition of omnidirectional stereoscopic images and videos of dynamic scenes: a review | |
| JP2019509526A (ja) | 多数のカメラを用いた最適の球形映像獲得方法 | |
| US20240242337A1 (en) | Mobile multi-camera multi-view capture | |
| Zheng et al. | Scanning scene tunnel for city traversing | |
| JP4243931B2 (ja) | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 | |
| JP2001086387A (ja) | 動き検出装置および動き検出方法、並びに媒体 | |
| Bruckstein et al. | Multi-Image Search, Filtering, Reasoning and Visualization | |
| Bruckstein et al. | Multi-Image Search, Filtering, Reasoning and Visualisation (Dagstuhl Seminar 00111) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081020 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |