WO2003103278A1

WO2003103278A1 - 画像処理装置および方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体

Info

Publication number: WO2003103278A1
Application number: PCT/JP2003/006982
Authority: WO
Inventors: 近藤　哲二郎; 田中　健司; 芳賀　継彦
Original assignee: ソニー株式会社
Priority date: 2002-06-03
Filing date: 2003-06-03
Publication date: 2003-12-11
Also published as: EP1511300A4; US20050012745A1; JP2004015106A; US7831086B2; JP4211292B2; KR100967826B1; KR20050002796A; EP1511300A1

Abstract

画像を、容易に、ユーザの視点に応じて変化させる。曲面Ω上の任意の点を視点として、被写体を撮像した原画像データが記憶されている。視点Ｐと被写体上のある点Ｒ_iとを結ぶ直線Ｌ_iに注目し、その直線Ｌ_iと曲面Ωとの交点をＱ_iと表すと、視点Ｐから被写体を見た場合、その被写体上の点Ｒ_iから視点Ｐに向かう光線に対応する画素値は、被写体上の点Ｒ_iから曲面Ω上の点Ｑ_iに向かう光線に対応する画素値に一致し、この点Ｒ_iから点Ｑ_iに向かう光線に対応する画素値は、原画像データに存在する。即ち、視点Ｐから、被写体上の点Ｒ_iを見たときの画素値は、曲面Ω上の点Ｑ_iを視点として撮像された原画像データから得ることができる。本発明は、例えば、ユーザの視点に対応した画像を得る画像処理装置に適用できる。

Description

明細書

画像処理装置および方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体技術分野

本発明は、画像処理装置および方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体に関し、例えば、ユーザの視点に対応した画像を表示することができるようにする画像処理装置および方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体に関する。背景技術

従来の、例えば、 C R T (Cathod Ray Tube)や液晶パネル、プロジェクタなどを利用したディスプレイにおいては、例えば、ビデオカメラ（以下、適宜、単に、カメラともいう）で撮像された画像が表示されるが、その画像は、図 1に示すように、カメラの位置を視点として見たものにすぎなかった。

従って、ユーザが、例えば、頭部を移動して、ディスプレイに表示された画像を見るときの視点を変えても、ディスプレイに表示される画像は、カメラのレンズ中心（以下、適宜、カメラの視点ともいう）から見た画像のままであり、ユーザの視点の変化に応じて、ディスプレイに表示される画像が変化することはなかつた。

そこで、ディスプレイに表示される画像が、ユーザの視点に応じて変化する画像の表示方法として、例えば、 zebra imagingと呼ばれる方法がある。

しかしながら、 zebra imagingは、ホログラフィを利用した方法である。 zebr a imagingで表示される画像はホログラムであるため、その作成に多大の演算量と時間を要する。

また、ディスプレイに表示される画像が、ユーザの視点に応じて変化する画像の他の表示方法としては、例えば、イリノイ大学の CAVE 方式などに代表される、 IPT (Immers ive Proj ection Technology) (没入型投射技術）または IPD (Immersi ve Project ion Display) (没入型投射ディスプレイ）を用いた VR (Virtual Real ity)システムがある。

し力、しながら、かかる V Rシステムでは、対象とする画像が CG (Computer Gra phics)であり、ビデオカメラで撮像された、いわゆる実写の画像を対象とすることは困難である。発明の開示

本発明は、このような状況に鑑みてなされたものであり、実写の画像であっても、容易に、ユーザの視点に応じて変化させることができるようにするものである。

本発明の第 1の画像処理装置は、第 1の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、第 1の画像データを、ユーザの視点から見える第 2の画像データに変換する変換手段を備えることを特徴とする。

本発明の第 1の画像処理方法は、第 1の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、第 1の画像データを、ユーザの視点から見える第 2の画像データに変換する変換ステップを備えることを特徴とする。

本発明の第 1のプログラムは、第 1の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、第 1の画像データを、ュ一ザの視点から見える第 2の画像データに変換する変換ステップを備えることを特徴とする。

本発明の第 1のプログラム記録媒体は、第 1の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、第 1の画像データを、ユーザの視点から見える第 2の画像データに変換する変換ステップを備えるプログラムが記録されていることを特徴とする。本発明の第 2の画像処理装置は、画像データを、その所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに変換する変換手段を備えることを特徴とする。

本発明の第 2の画像処理方法は、画像データを、その所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間デ一タに変換する変換ステップを備えることを特徴とする。

本発明の第 2のプログラムは、画像データを、その所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに変換する変換ステップを備えることを特徴とする。

本発明の第 2のプログラム記録媒体は、画像データを、その所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに変換する変換ステップを備えるプログラムが記録されていることを特徴とする。

本発明のデータ構造は、原画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点を、画素とし、その画素の画素値が、所定の画素の画素値とされていることを特徴とする。

本発明のデータ記録媒体は、原画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点を、画素とし、その画素の画素値が、所定の画素の画素値とされている画像データが記録されていることを特徴とする。

本発明の第 3の画像処理装置は、オブジェクトからの光線に対応する画素値を有する所定のフォーマットの中間データを出力する中間データ出力手段と、ォブジェクトに対する視点の位置情報が出力される視点出力手段と、中間データを用いて、視点からのォブジヱクトの画像を作成する中間データ変換手段とを備えることを特徴とする。

本発明の第 3の画像処理方法は、オブジェクトからの光線に対応する画素値を有する所定のフォーマットの中間データを出力する中間データ出力ステップと、オブジェク卜に対する視点の位置情報が出力される視点出力ステップと、中間データを用いて、視点からのオブジェクトの画像を作成する中間データ変換ステツプとを備えることを特徴とする。

本発明の第 3のプログラムは、オブジェクトからの光線に対応する画素値を有する所定のフォーマツトの中間データを出力する中間データ出力ステップと、ォブジェクトに対する視点の位置情報が出力される視点出力ステップと、中間データを用いて、視点からのオブジェクトの画像を作成する中間データ変換ステップとを備えることを特徴とする。

本発明の第 3のプログラム記録媒体は、オブジェクトからの光線に対応する画素値を有する所定のフォーマットの中間データを出力する中間データ出カステツプと、オブジェクトに対する視点の位置情報が出力される視点出力ステップと、中間データを用いて、視点からのオブジェクトの画像を作成する中間データ変換ステップとを備えるプログラムが記録されていることを特徴とする。

本発明の第 1の画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体においては、第 1の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、第 1の画像データが、ユーザの視点からえる第 2の画像データに変換される。

本発明の第 2の画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体においては、画像データが、その所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、所定の画素の画素値とした画像データである中間データに変換される。

本発明のデータ構造およびデータ記録媒体においては、原画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点が、画素とされ、その画素の画素値が、所定の画素の画素値とされている。本発明の第 3の画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体においては、オブジェクトからの光線に対応する画素値を有する所定のフォーマツトの中間データが出力されるとともに、オブジェクトに対する視点の位置情報が出力され、中間データを用いて、視点からのオブジェクトの画像が作成される。

ここで、画像データは、静止画であっても良いし、動画であっても良い。さらに、画像データは、例えば、実写の画像データであると、 C Gであるとを問わなレ、。図面の簡単な説明

図 1は、従来の画像の表示方法を説明する図である。

図 2は、本発明を適用した画像表示装置の一実施の形態の構成例を示す図である。

図 3は、コンピュータ 1のハードウエア構成例を示すブロック図である。図 4 Aは、画像表示装置による画像の表示方法を説明する図である。

図 4 Bは、画像表示装置による画像の表示方法を説明する図である。

図 4。は、画像表示装置による画像の表示方法を説明する図である。

図 5は、画像処理装置としてのコンピュータの第 1の機能的構成例を示すプロック図である。

図 6は、画像処理装置による画像処理を説明するフローチャートである。図 7は、画像データベース 2に記憶される画像データを撮像（生成）する画像生成装置の構成例を示すプロック図である。

図 8は、画像生成装置による画像生成処理を説明するフローチャートである。図 9は、モーションベース方式を説明する図である。

図 1 0 Aは、モーションベースの移動例を示す図である。

図 1 0 Bは、モーションベースの移動例を示す図である。

図 1 1は、ターンテーブル方式を説明する図である。図 1 2は、カメラ 4 1の構成例を示す斜視図である。

図 1 3は、全方位画像データを示す図である。

図 1 4は、集光部 5 2を構成する双曲面を説明する図である。

図 1 5は、集光部 5 2と撮像部 5 3との位置関係を説明するための図である。図 1 6は、全方位画像データを示す図である。

図 1 7は、全方位画像データからの切り出しを説明するための図である。図 1 8は、円周方向の歪みを説明するための図である。

図 1 9は、半径方向の歪みを説明するための図である。

図 2 0は、半径方向の歪みを除去する方法を説明するための図である。

図 2 1は、半径方向の歪みを除去する方法を説明するための図である。

図 2 2 Aは、半径方向の歪みを除去する全方位画像データの変換を説明するための図である。

図 2 2 Bは、半径方向の歪みを除去する全方位画像データの変換を説明するための図である。

図 2 3は、変換対象点における画素値の求め方を説明するための図である。図 2 4は、原画像データを、ユーザから見た提示用画像データに変換する変換原理を説明する図である。

図 2 5は、原画像データを、ユーザから見た提示用画像データに変換する変換原理を説明する図である。

図 2 6は、原画像データを中間データに変換する方法を説明する図である。図 2 7は、原画像データを中間データに変換する画像データ変換処理を説明するフローチヤ一トである。

図 2 8は、原画像データを中間データに変換する画像データ変換処理を説明する図である。

図 2 9 Aは、中間データのフォーマットを示す図である。

図 2 9 Bは、中間データのフォーマツトを示す図である。

図 3 0は、中間データとしての画像データを示す図である。図 3 1 Aは、中間データとしての画像データの補間を説明する図である。図 3 1 Bは、中間データとしての画像データの補間を説明する図である。図 3 2は、中間データとしての画像データを補間する画素値補間処理を説明するフローチヤ一トである。

図 3 3は、クラス分類適応処理を行うクラス分類適応処理装置の構成例を示すプロック図である。

図 3 4は、クラス分類適応処理に用いられるタップ係数を学習する学習装置の構成例を示すプロック図である。

図 3 5 Aは、中間データの他のフォーマツトを示す図である。

図 3 5 Bは、中間データの他のフォーマットを示す図である。

図 3 6は、中間データを提示用画像データに変換する中間データ変換処理を説明するフローチヤ一トである。

図 3 7は、中間データを提示用画像データに変換する中間データ変換処理を説明する図である。

図 3 8は、画像処理装置としてのコンピュータ 1の第 2の機能的構成例を示すブロック図である。

図 3 9 Aは、原画像データを提示用画像データに変換する変換原理を説明する図である。

図 3 9 Bは、原画像データを提示用画像データに変換する変換原理を説明する図である。

図 4 0は、画像処理装置による画像処理を説明するフローチヤ一トである。図 4 1は、画像データベース 2に記憶された原画像データの撮像方法を説明する図である。

図 4 2は、カメラが移動しながら原画像データの撮像が行われている様子を示す図である。

図 4 3は、短冊画像により構成される中間データを示す図である。

図 4 4は、原画像データの例を示す図である。図 4 5 Aは、中間データとしての画像データの例を示す図である。

図 4 5 Bは、中間データとしての画像データの例を示す図である。

図 4 5 Cは、中間データとしての画像データの例を示す図である。

図 4 5 Dは、中間データとしての画像データの例を示す図である。

図 4 5 Eは、中間データとしての画像データの例を示す図である。

図 4 6は、原画像データを中間データに変換する画像データ変換処理を説明するフローチヤ一トである。

図 4 7は、原画像データを中間データに変換する画像データ変換処理を説明する図である。

図 4 8 Aは、中間データのフォーマットを示す図である。

図 4 8 Bは、中間データのフォーマツトを示す図である。

図 4 9は、中間データとしての画像データを補間する画素値補間処理を説明するフローチヤ一トである。

図 5 0は、中間データを提示用画像データに変換する中間データ変換処理を説明するフローチャートである。

図 5 1は、中間データを提示用画像データに変換する中間データ変換処理を説明する図である。

図 5 2は、画像処理装置としてのコンピュータ 1の第 3の機能的構成例を示すブロック図である。

図 5 3は、撮像条件を求める方法を説明する図である。

図 5 4は、撮像条件を推定する撮像条件演算処理を説明するフローチャートである。発明を実施するための最良の形態

図 2は、本発明を適用した画像表示装置の一実施の形態の構成例を示している _c コンピュータ 1は、例えば、ワークステーションであり、画像データベース 2 に記憶された原画像データを、後述する中間データに変換し、中間データベース 3に記憶させる。また、コンピュータ 1は、位置センサとしてのレシーバ 4およびトランシーバ 5を制御し、レシーバ 4の出力に基づいて、ユーザの位置（さらには、必要に応じて姿勢）を検出する。さらに、コンピュータ 1は、ユーザの位置を、ユーザの視点の位置として設定し、中間データベース 3に記憶された中間データを、そのユーザの視点から見た画像データ（以下、適宜、提示用画像データという）に変換する。そして、コンピュータ 1は、提示用画像データを、ディスプレイ 6に供給して表示させる。

画像データベース 2は、後述するように、カメラ等の撮像装置で撮像された実写の画像データとしての原画像データを記憶している。中間データベース 3は、コンピュータ 1から供給される、原画像データを変換した中間データを記憶する。レシーバ 4は、ユーザに装着されており、トランスミッタ 5が発生する磁界を検知し、その磁界の強度を、コンピュータ 1に供給する。トランスミッタ 5は、コンピュータ 1の制御にしたがい、磁界を発生する。即ち、図 2の実施の形態では、レシーバ 4およびトランスミッタ 5は、位置センサとしての磁界センサを構成しており、レシーバ 4が、トランスミッタが発生する磁界の強度を計測することにより、レシーバ 4の位置、ひいては、ユーザの位置が検出されるようになつている。

ここで、レシーバ 4は、例えば、ユーザの頭部に装着される。また、ユーザが、例えば、ネクタイピンを着用していたり、または眼鏡をかけている場合には、レシーバ 4は、そのネクタイピンや眼鏡のフレームに装着することができる。

なお、位置センサである磁界センサとしては、例えば、ポヒマス（Polhemus)社の 3次元位置センサなどを採用することができる。

また、位置センサとしては、磁界センサの他、例えば、機械リンク式の位置計測手段（例えば、 3次元ディジタイザなど）を採用することが可能である。さらに、位置センサとしては、例えば、ジョイスティックやトラックボールなどの、ユーザの位置の変化を入力することのできる手段を採用することも可能である。即ち、ここでは、位置センサは、実際のユーザの位置を検知する手段である必要はなく、仮想的なユーザの位置を入力することができる手段であってもよい。ディスプレイ 6は、例えば、 C R Tや液晶パネルなどで構成され、コンビユータ 1から供給される提示用画像データを表示する。なお、ディスプレイ 6としては、 C R Tや液晶パネル以外に、例えば、プロジェクタや HM D (Head Mount Di splay)、その他の画像を表示することのできる手段を採用することが可能である。次に、図 3は、図 1のコンピュータ 1のハードウェア構成例を示している。コンピュータ 1には、後述する一連の処理を実行するプログラムがインストーノレされている。

プログラムは、コンピュータ 1に内蔵されている記録媒体としてのハードディスク 1 5や R O M 1 3に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、 CD- ROM (Compact Disc Read Only Memory) , MO (Magneto Optical)ディスク， DVD (Digital Versat i l e Di sc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体 2 1に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体 2 1は、いわゆるパッケージソフトウェアとして提供することができる。なお、プログラムは、上述したようなリムーバブル記録媒体 2 1からコンビュータ 1にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータ 1に無線で転送したり、 LAN (Local Area Net work) , インターネットといったネットワークを介して、コンピュータ 1に有線で転送し、コンピュータ 1では、そのようにして転举されてくるプログラムを、通信部 1 8で受信し、内蔵するハードディスク 1 5にインストールすることがでさる。

コンピュータ 1は、 CPU (Central Process ing Unit) 1 2を内蔵している。 CPU 1 2には、バス 1 1を介して、入出力インタフェース 2 0が接続されており、 CP U 1 2は、入出力インタフェース 2 0を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部 1 7が操作等されることにより指令が入力されると、それにしたがって、 R0M (Read On ly Memory) 1 3に格納されているプログラムを実行する。あるいは、また、 CPU 1 2は、ハードディスク 1 5に格納されているプログラム、衛星若しくはネットワークから転送され、通信部 1 8で受信されてハードディスク 1 5にィンストールされたプログラム、またはドライプ 1 9に装着されたリムーバブル記録媒体 2 1から読み出されてハードディスク 1 5にインストーノレされたプログラムを、 RAM (Random Access Memory) 1 4に口ードして実行する。これにより、 CPU 1 2は、後述するフローチャートにしたがつた処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、 CPU 1 2は、その処理結果を、必要に応じて、例えば、入出力インタフエ一ス 2 0を介して、スピーカ等で構成される出力部 1 6から出力、あるいは、通信部 1 8から送信、さらには、ハードディスク 1 5に記録等させる。

なお、図 3の実施の形態では、入出力インタフェース 2 0に、画像データべ一ス 2、中間データベース 3、レシーバ 4、トランスミッタ 5、およびディスプレィ 6が接続されている。そして、 CPU 1 2は、画像データベース 2に記憶された原画像データを、入出力インタフェース 2 0を介して読み出し、中間データに変換する。さらに、 CPU 1 2は、その中間データを、入出力インタフェース 2 0を介して、中間データベース 3に記憶させる。また、 CPU 1 2は、入出力インタフエース 2 0を介して、トランスミッタ 5を制御するとともに、レシーバ 4の出力を受信し、ユーザの位置を検出する。さらに、 CPU 1 2は、検出したユーザの位置を、ユーザの視点として設定し、そのユーザの視点に対応して、中間データべース 3に記憶された中間データを、提示用画像データに変換する。また、 CPU 1 2は、提示用画像データ ¾、入出力インタフェース 2 0を介して、ディスプレイ 6に供給して表示させる。

ここで、本明細書において、コンピュータ 1に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしも後述するフローチヤ一トとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、 1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、ネットワークを介した遠方のコンピュータに転送されて実行されるものであっても良い。

以上のような図 3のコンピュータ 1をベースとして構成される図 2の画像表示装置では、例えば、図 4 Aに示すように、現実世界において、ユーザが、ある被写体を観察する場合と同様の提示用画像データが表示される。

即ち、現実世界において、ユーザが、ある被写体を観察する場合には、ユーザ力その視点を移動すると、ユーザは、その移動後の視点から見た被写体を観察することができる。具体的には、現実世界では、ユーザが、その視点を移動することによって、被写体の見える部分と見えない部分が変化する。

図 2の画像表示装置においても、図 4 Bに示すように、ユーザが、その視点を移動した場合、その視点に応じて、ディスプレイ 6に表示される提示用画像データが、現実世界においてユーザの視覚に映る被写体が表示されたものとなるようになっている。即ち、図 2の画像表示装置においては、図 4 Cに示すように、ュ一ザが視点を移動した場合に、その視点から被写体を見た場合の提示用画像データが表示されるようになつている。

従って、図 2の画像表示装置では、ユーザが視点を移動すると、例えば、移動前の視点からでは見えなかった被写体の部分が見える状態となった提示用画像データが表示される。即ち、ユーザが、ディスプレイ 6における提示用画像データに表示された被写体をのぞき込むように、視点を移動すると、現実世界において、その移動後の視点から被写体を ¾た場合に視覚に映るのと同様の提示用画像データ、つまり、ユーザが司見き込んだ被写体の部分が見える状態となった提示用画像データが表示される。このことから、図 2の画像表示装置は、いわば、「のぞけるテレビ（Televi sion)」（多視点画像表示テレビ）ということができる。

次に、図 5は、図 3のコンピュータ 1がプログラムを実行することにより実現される処理と同じ処理を行う画像処理装置の機能的構成例を示している。コンピュータ 1 (の CPU 1 2 ) がプログラムを実行することにより実現される処理と同じ処理を行う画像処理装置は、データ変換部 3 0およびセンサ制御部 3 3で構成される。

データ変換部 3 0は、画像データ変換部 3 1と中間データ変換部 3 2から構成され、画像データベース 2に記憶された原画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、その原画像データを、センサ制御部 3 3から供給されるユーザの視点から見える提示用画像データに変換し、ディスプレイ 6に供給して表示させる。

即ち、データ変換部 3 1は、画像データベース 2から原画像データを読み出し、中間データに幾何変換する。さらに、データ変換部 3 1は、中間データを、中間データベース ₃に供給して記憶させる。

中間データ変換部 3 2は、センサ制御部 3 3から供給されるユーザの視点に基づいて、中間データを、提示用画像データに変換し、即ち、ユーザの視点から見た画像データを再構成し、ディスプレイ 6に供給して表示させる。

センサ制御部 3 3は、位置センサとしてのレシーバ 4およびトランスミッタ 5 を制御することにより、ユーザの視点を検出し、中間データ変換部 3 2に供給する。即ち、センサ制御部 3 3は、トランスミッタ 5を制御することにより、磁界を発生させる。さらに、センサ制御部 3 3は、レシーバ 4から供給される、トランスミッタ 5が発生する磁界の検出結果に基づいて、ユーザの位置を検出して、その位置を、ユーザの視点として設定し、中間データ変換部 3 2に供給する。次に、図 6のフローチャートを参照して、図 5の画像処理装置（コンビユータ） 1による画像処理について説明する。

まず最初に、ステップ S 1において、データ変換部 3 1は、画像データベース 2から原画像データを読み出し、中間データに変換する。さらに、ステップ S 1 では、データ変換部 3 1は、中間データを、中間データベース 3に供給して記憶させ、ステップ S 2に進む。

ステップ S 2では、センサ制御部 3 3が、レシーバ 4の出力から、ユーザの位置を検出し、さらに、そのユーザの位置を、ユーザの視点に設定して、中間データ変換部 3 2に供給する。

そして、ステップ S 3に進み、中間データ変換部 3 2は、センサ制御部 3 3から供給されるユーザの視点に基づいて、中間データを、提示用画像データに変換し、ステップ S 4に進む。

ステップ S 4では、中間データ変換部 3 2は、提示用画像データを、ディスプレイ 6に供給して表示させ、ステップ S 5に進む。

ステップ S 5では、例えば、ユーザが、画像処理を終了するように、入力部 1 7 (図 3 ) を操作したかどうかを、 CPU 1 2 (図 3 ) が判定する。ステップ S 5 において、画像処理を終了するように、入力部 1 7が操作されていないと判定された場合、ステップ S 2に戻り、以下、同様の処理が繰り返される。

また、ステップ S 5において、画像処理を終了するように、入力部 1 7が操作されたと判定された場合、処理を終了する。

' なお、図 6の画像処理が、過去に実行され、画像データベース 2に記憶されている原画像データを変換した中間データが、中間データベース 3に、既に記憶されている場合には、ステップ S 1の処理は、スキップすることができる。

次に、図 7は、画像データベース 2に記憶させる原画像データを生成（撮像）する画像生成装置の構成例を示している。

カメラ 4 1は、図 7の実施の形態では、例えば、いわゆる全方位カメラで構成され、被写体を含む全方位の画像データ（全方位画像データ）を、コントローラ 4 7の制御にしたがって撮像し、バッファ 4 2に供給する。

バッファ 4 2は、カメラ 4 1から供給される全方位画像データを一時記憶する。全方位画像変換部 4 3は、バッファ 4 2に記憶された全方位画像データを読み出し、後述する緯度経度表現の原画像データに変換して、バッファ 4 4に供給する。

バッファ 4 4は、全方位画像変換部 4 3から供給される原画像データを一時記憶する。駆動機構 4 5は、駆動機構制御部 4 6の制御にしたがい、カメラ 4 1で撮像する撮像対象となっている被写体を移動する。ここで、駆動機構 4 5によって被写体が移動されることにより、相対的に、被写体に対するカメラ 4 1の視点（光学中心） 1S 複数の位置に変えられる。

駆動機構制御部 4 6は、コントローラ 4 7の制御にしたがい、駆動機構を駆動する。

コントローラ 4 7は、カメラ 4 1の撮像タイミングや、駆動機構制御部 4 6による駆動機構 4 5の駆動速度および駆動方向などを制御する。さらに、コント口ーラ 4 7は、カメラ 4 1の撮像タイミング（撮像時刻）や、駆動機構 4 5により移動される被写体の位置（必要に応じて、被写体の姿勢を含む）を表す情報などを、 m u x (マルチプレクサ） 4 8に供給する。

マルチプレクサ 4 8は、バッファ 4 4に記憶された原画像データの各フレームに、そのフレームについてコントローラ 4 7が出力する情報を付加し、画像データベース 2に供給して記憶させる。

次に、図 8のフローチャートを参照して、図 7の画像生成装置による画像生成処理について説明する。

まず最初に、コントローラ 4 7は、被写体を所定の位置に移動させ、その撮像を行うように、カメラ 4 1および駆動機構制御部 4 6を制御するとともに、その所定の位置と被写体の撮像タイミングを表す情報を、 m u X 4 8に供給する。ここで、コントローラ 4 7は、例えば、現実世界に、 3次元座標系（以下、適宜、撮像時座標系という）をあらかじめ設定し、その撮像時座標系における被写体の座標を、被写体の位置を表す情報（以下、適宜、位置情報という）として出力する。また、コントローラ 4 7は、被写体のある姿勢（例えば、被写体の撮像開始時の姿勢）を基準姿勢として、その基準姿勢からの被写体の変化を表す角度も、位置情報に含めて出力する。さらに、コントローラ 4 7は、撮像時座標系における、カメラ 4 1の位置（例えば、レンズ中心の位置）を表す座標と、その光軸方向（視線の方向）を表す情報も、位置情報に含めて出力する。なお、後述する図 9で説明するモーションベース方式や、図 1 1で説明するターンテーブル方式によって、被写体を動かす場合には、カメラ 4 1のレンズ中心 (光学中心）の位置および光軸方向は、変化せず、固定となるが、このカメラ 4 1のレンズ中心の位置および光軸方向は、コントローラ 4 7にあらかじめ設定されているものとする。

また、上述の被写体の座標や姿勢は、実際には、被写体を移動させる駆動機構 4 5の状態から把握される。ここで、駆動機構 4 5の状態は、駆動機構 4 5を、駆動機構制御部 4 6を介して制御するコントローラ 4 7によって認識される。ステップ S 1 1において、駆動機構制御部 4 6は、コントローラ 4 7の制御にしたがい、駆動機構 4 5を制御することにより、被写体の位置を変化させ、ステップ S 1 2に進む。ステップ S 1 2では、カメラ 4 1力 S、コントローラ 4 7の制御にしたがい、被写体を撮像し、その結果得られる全方位画像データを、バッファ 4 2に供給して記憶させる。

そして、ステップ S 1 3に進み、全方位画像変換部 4 3は、バッファ 4 2に記憶された全方位画像データを読み出し、緯度経度表現の原画像データに変換して、ノッファ 4 4に供給する。その後、ステップ S 1 4に進み、 m u x 4 8は、ノッファ 4 4に記憶された原画像データのフレームに、コントローラ 4 7から供給される情報を付加し、画像データベース 2に供給して記憶させる。

ステップ S 1 4の処理後は、ステップ S 1 5に進み、コントローラ 4 7は、被写体を、あらかじめ設定したすべての位置に移動したかどうカゝ（さらには、必要に応じて、あらかじめ設定したすべての姿勢をとらせたかどう力）を判定し、まだ、すべての位置に移動していないと判定した場合、被写体を、まだ移動させていない位置に移動させ、その撮像を行うように、カメラ 4 1および駆動機構制御部 4 6を制御するとともに、被写体の移動位置と被写体の撮像タイミングを表す情報その他を、 m u X 4 8に供給する。そして、ステップ S 1 1に戻り、以下、同様の処理が繰り返される。

また、ステップ S 1 5において、被写体を、あらかじめ設定したすべての位置に移動したと判定された場合、即ち、あらかじめ設定したすべての位置において、被写体の撮像が行われた場合、処理を終了する。

次に、図 7の画像生成装置において、被写体の全方位画像を撮像する際に被写体を移動させる場合の被写体の移動方式について説明する。

図 7の画像生成装置では、被写体を移動させながら、その撮像が行われるが、この場合、その被写体の位置を精度良く制御する必要がある。そのような被写体の移動方式としては、例えば、モーションベース方式やターンテーブル方式がある。

モーションベース方式では、図 9に示すように、駆動機構 4 5として、モーシヨンベースが用いられる。そして、駆動機構 4 5としてのモーションベース上に被写体を載せ、例えば、被写体が併進運動するように、モーションベースが（力メラ 4 1に向かって）上下左右に移動される。

即ち、モーションベース方式では、駆動機構 4 5としてのモーションベースを、例えば、図 1 0 Aに示すように、上下方向に移動しながら、徐々に、左から右方向に移動する。ここで、図 1 0 Bは、実際のモーションベースの軌跡を表している。なお、図 1 0 Bにおいて、モーションベースの軌跡とともに、 TC :の後に続けて表示してある数字は、カメラ 4 1で撮像された画像のタイムコードを表す。従って、図 1 0 Bでは、モーションベースの軌跡とタイムコードとが対応付けられているので、被写体の位置（姿勢）と、その位置にある被写体を撮像した画像データのフレームとの対応関係を認識することができる。

図 9のモーションベース方式によれば、被写体とカメラ 4 1との間に想定することができる開曲面としての、例えば平面上の複数の点を視点として被写体を撮像したときの、被写体からの光線の軌跡とその光線に対応する画素値である光線情報を得ることができる。なお、被写体からの光線に対応する画素値は、カメラ 4 1が出力する画像データから得ることができ、被写体からの光線の軌跡は、力メラ 4 1と被写体の位置から得ることができる。

ターンテーブル方式では、図 1 1に示すように、駆動機構 4 5として、ターンテーブル（台車）が用いられる。そして、駆動機構 4 5としてのターンテーブル上に被写体を載せ、ターンテーブルを非常に低速で上または下方向に移動させながら一定の角速度で回転させる。

図 1 1のターンテーブル方式によれば、被写体を囲む開曲面として円柱を想定すると、想定された円柱の側面上の複数の点を視点として被写体を撮像したときの光線情報を得ることができる。

なお、図 7の画像生成装置においては、被写体を移動させることにより、その被写体を複数の視点それぞれから見た画像データの撮像を行うようにしたが、被写体を移動させるのではなく、カメラ 4 1を移動させることにより、被写体を複数の視点それぞれから見た画像データの撮像を行うようにすることも可能である。被写体の全方位画像データを取得できれば、上記以外の方法でも良い。

また、図 7の画像生成装置においては、 1台のカメラ 4 1を用い、被写体を移動させることによって、被写体を複数の視点それぞれから見た画像データの撮像を行うようにした。この方法以外にも、例えば、異なる位置に配置した複数台のカメラを用いて被写体を撮像することにより、被写体を複数の視点それぞれから見た画像データの撮像を行うことも可能である。

次に、図 7の画像生成装置では、カメラ 4 1として、全方位カメラが採用されているが、この全方位カメラによる画像の撮像と、全方位画像変換部 4 3による全方位画像データの変換について説明する。

図 1 2は、図 7のカメラ 4 1としての全方位カメラの光学系の構成例を示している。

図 1 2の実施の形態では、カメラ 4 1は、集光部 5 2力 S、撮像部 5 3の上部に配置された支持体 5 1によって支持されることによって構成されており、集光部 5 2の周囲 3 6 0度の方向を撮像することができるようになつている。

支持体 5 1は、ガラスなどの反射率の低い透明材料からなり、ガラス面での光の屈折を最小化するために、入射光がガラス面と直交するように、集光部 5 2の後述する焦点を中心とした球面になっている。集光部 5 2は、例えば、双曲面形状のミラー（双曲面ミラー）で構成され、支持体 5 1を介して入射する周囲の光を、撮像部 5 3の方向に反射する。

撮像部 5 3は、例えば、 C C D (Charge Coupled Device)等の光電変換素子で構成され、そこに入射する光を電気信号としての画像データに変換する。この撮像部 5 3で得られる画像データが、カメラ 4 1の出力として、図 7のバッファ 4 2に供給される。

ここで、図 1 2に示した全方位カメラの構成や集光の原理については、例えば、「移動ロボット用全方位視覚センサの開発」、自動化技術第 2 9巻第 6号（ 1 9 9 7年）（以下、適宜、文献 1という）に開示されているため、ここでは、簡単に説明する。 - 図 1 3は、図 1 2のカメラ 4 1によって撮像された全方位画像データの例を示している。

全方位画像データは、中心点 C 1を中心とする 2つの円の円周 F 1と F 2によつて区分される。なお、図 1 3では、円周 F 1の方が、円周 F 2よりも半径が大きいものとなっている。

即ち、全方位画像データは、大きい円周 F 1の内側で、かつ小さい円周 F 2の外側になっている領域 R 1、大きい円周 F 1の外側の領域 R 2、小さい円周 R 2 に囲まれた領域（内側の領域） R 3から構成される。 ·

以上の 3つの領域 R 1乃至 R 3のうち、領域 R 1においては、集光部 5 2で反射された、周囲からの光に対応する画像データが撮像されており、領域 R 2においては、集光部 5 2の外側の部分が撮像されている。また、領域 R 3には、撮像部 5 3自身が撮像されている。

さらに、図 1 3の実施の形態では、領域 R 1には、複数の建物が撮像されているが、円周 F 1に近い方向に、建物の上部が撮像され、円周 F 2に近い方向に、建物の下部が撮像されている。

次に、図 1 4を参照して、図 1 2の集光部 5 2を構成する双曲面について説明する。集光部 5 2は、双曲面の一部により構成されており、双曲面の軸に対する垂直面により、双曲面を切断して得られた双曲面の凸型先頭部の凸状面に、鏡面を形成したものとなっている。

集光部 5 2には、双曲面の 1つである二葉双曲面を用いることができ、二葉双曲面は、図 14に示すように、双曲線を軸（図 1 4では、 Z軸）回りに回転して得られる曲面であり、 Z > 0の領域に存在する下に凸の双曲面 H 1と、 Zく 0の領域に存在する上に凸の双曲面 H 2から構成される。

集光部 5 2には、二葉の双曲面 H 1と H 2のうち、 Z〉 0の領域にある双曲面 H Iを利用する。なお、以下、適宜、 Z軸を、双曲線の中心軸または単に軸ともいう。

図 1 4に示した X, Υ, Zの 3次元直交座標系において、二葉双曲面 H 1 と H 2は、式（ 1) で示される。

,つ一 I

a² b²

• · · (1) ここで、式（ 1 ) において、定数 a と bは、双曲面 H 1および H 2の形状を定義する定数である。即ち、定数 bは、原点 Oから、双曲面 H I (H 2) と Z軸との交点までの距離を表す。また、定数 aは、その交点を通る、 XY平面と平行な平面と、双曲面 H I (H 2) の漸近面 A 1との交線が描く円の半径を表す。さらに、式（ 1) において、定数 cは、双曲面 H 1および H 2の焦点の位置を定義する定数である。即ち、 Z軸上の + cの位置（0， 0， + c) 、双曲面 H 2の焦点 f 1となり、 Z軸上の一 cの位置（0, 0, — c) 力双曲面 H 1の焦点 f 2となる。

なお、定数 a , b cは、次式で示される関係を有する。

• · · (2) 集光部 5 2が、図 4で説明したような双曲面 H 1で構成されるとした場合、撮像部 5 3は、図 1 5に示すように、そのレンズの中心軸（光軸）が Z軸に一致し、かつ、レンズ中心（カメラ 4 1のレンズ中心）力双曲面 H Iの焦点 f 2に一致するように配置される。

次に、撮像部 53が出力する全方位画像データは、上述の図 13に示したようなものとなるが、いま、この全方位画像データについて、図 1 6に示すように、その左上の点を原点 Oとするとともに、左から右方向に X軸をとり、上から下方向に y軸をとつた 2次元直交座標系を定義する。

この場合、円周 F 1の円および円周 F 2の円の中心点 C 1の座標を（X。、 Y₀ ) とするとともに、円周 F 1の円の半径を r_F1とし、円周 F 2の円の半径を r_F2とすると、円周 F 1の外側の領域 R 2を構成する点（x， y ) は、式

(3) により表され、円周 F 2の内側の領域 R 3を構成する点（X , y) は、式

(4) により表される。

(x-Xo)²+(y-Yo)²>rn²

• · · (3)

(x-Xo)²+(y-Yo)²<r_F2 ²

• · · (4) 図 7の全方位画像変換部 43は、全方位画像データを緯度経度表現の原画像データに変換する前に、式（3) で表される領域 R 2を構成する画素値と、式 (4) で表される領域 R 3を構成する画素値を、画素値としては一般に取り得ない値（例えば、 0) に変換する。

ここで、この画素値の変換にあたっては、中心点 C 1の座標（X。， Y。）、並びに半径 r_F1および r_F2が必要となるが、これらの情報は、カメラ 4 1からバッファ 42を介して、全方位画像変換部 43に供給されるようになっている。なお、ここでは、説明を簡単にするため、露出時間や、絞り、ズームは、固定であるとする。

また、図 1 3や図 1 6に示した領域 R 1の画像データである全方位画像データについては、所望の被写体が表示されている部分等の、全方位画像データの一部分だけが必要な場合があり、この場合、全方位画像データから、その必要な部分を切り出す必要があるが、この切り出しは、全方位画像変換部 43において行われるようになっている。即ち、全方位画像変換部 43は、図 1 7に示すように、所望の被写体を含む領域 R 1 1であって、中心点 C 1を通る半径方向の 2つの直線 L_clと L_c2に囲まれ、かつ中心点 C 1を中心とする 2つの円の円周 F_clと F_c2 に囲まれる略扇形の領域 R 1 1の画像データを切り出す。

次に、全方位画像データは、図 1 3や図 1 6に示したように、中心点 C 1に近づくほど狭まったものとなり、逆に、中心点 C 1から遠ざかるほど広がったものとなるような歪みを有する。このことは、全方位画像変換部 43が全方位画像データから切り出す略扇形の画像データについても同様であり、このようは歪みのある画像データは、図 5の画像処理装置において処理等するにあたって、歪みのないものに変換する必要がある。

全方位カメラであるカメラ 4 1が出力する、上述のような全方位画像データの歪みは、中心点 C 1を通る円の円周方向の歪みと、半径方向の歪みとに分けて考えることができる。

そこで、まず円周方向の歪みを考えてみると、図 1 3や図 1 6の全方位画像データの、中心点 C 1を中心とするある円の円周上においては、スケールが一定であり、従って、歪みはない。

即ち、図 1 8は、 Z軸方向から見た集光部 52としての双曲面 H 1を示している。

図 1 8では、被写体上のある点 P (X, Υ, Z) から、 Z軸に向かい、 X軸 (XZ平面）と角度 0をつくるように、光線 rが入射している。この光線 rは、双曲面 H Iで反射され、後述する図 1 9に図示してある撮像部 53の受光面（画像面）（仮想スクリーン） A 3上の点 p (x, y ) に到達する。そして、この場合、点 p (x， y) は、 X軸（XZ平面）との間で、光線 rが X軸との間でつくるのと同一の角度 Θをつくる。

また、 Z軸に向かい、 X軸と角度 θ ' をつくるように入射する光線 r ' を考えた場合、この光線 r ' も、双曲面 H Iで反射され、受光面（画像面） A 3上の点 P ' ( χ ' , y ' ) に到達する。そして、この場合も、点 p ' ( x，， y ' ) は、 X軸との間で、光線 r ' が X軸との間でつくるのと同一の角度 0 ' をつくる。また、光線 r と r ' の、 Z軸に対する仰角（後述する）が同一であれば、光線 rおよび r ' は、受光面 A 3上の、位置は異なるが、 Z軸から同一の距離だけ離れた点で受光される。

以上から、 Z軸に対する仰角が同一の複数の光線それぞれは、受光面 A 3上の、 Z軸から同一の距離にある点であって、 X軸との間で、光線と X軸とがっくるのと同一の角度をつくる点で受光される。

従って、 Z軸に対する仰角が同一で、 X軸との角度が等角度の複数の光線は、受光面 A 3の、 Z軸を中心とする円周上に、等間隔で入射することになるから、全方位画像データにおいて、受光面 A 3と Z軸との交点にあたる中心点 C 1を中心とする円の円周方向には、歪みは生じない。

一方、図 1 3や図 1 6の全方位画像データの、中心点 C 1を通る半径方向の直線上においては、中心点 C 1に近づくほど、スケールが小さくなり、中心点 C 1 から離れるほど、スケールが大きくなることから、全方位画像データは、半径方向の歪みを有する。

即ち、図 1 9は、 X軸方向から見た集光部 5 2としての双曲面 H 1を示している。

図 1 9において、 Z軸に対して仰角 0度で、焦点 f 1に向かって入射する光線 r lは、双曲面 H Iで反射され、焦点 f 2に向かっていき、撮像部 5 3の受光面 (画像面） A 3で受光される。

ここで、 Z軸に対する仰角とは、 Z軸上の焦点 i lを通り、 Χ Υ面に平行な面と、焦点 f 1に向かって入射する光線とがっくる角度を意味する。また、撮像部 5 3の受光面 A 3は、カメラ 4 1の焦点距離を f とすると、焦点 f 2から、 Z軸に沿って、 f だけ離れた原点 O方向に位置する。

Z軸に対して仰角 A d度で、焦点 f 1に向かって入射する光線 r 2は、双曲面 H Iで反射され、焦点 f 2に向かっていき、受光面 A 3で受光される。 Z軸に対して仰角 2 A d度で、焦点 f 1に向かって入射する光線 r 3は、双曲面 H Iで反射され、焦点 ί 2に向かっていき、受光面 A 3で受光される。仰角が A d度ずつ大きくなる光線 r 4 , r 5 , r 6も、同様にして、受光面 A 3で受光される。このように、仰角が△ d度ずつ異なる光線 r 1乃至 r 6それぞれが、受光面 A 3で受光される点どうしの間隔は、図 1 9の拡大図に示すように、等間隔にはならず、 Z軸に近い点どうしの間隔ほど狭くなる（Z軸から離れた点どうしの間隔ほど広くなる）。即ち、仰角が大きい光線どうしの間隔ほど狭くなる（仰角が小さい光線どうしの間隔ほど広くなる）。

そして、仰角が等角度の光線について、受光面 A 3上で受光される点どうしの間隔が、上述のように、等間隔にならないことから、全方位画像データには、半径方向の歪みが生じる。

従って、全方位画像データの半径方向の歪みを除去するには、仰角が等角度の光線の、受光面 A 3上での受光点どうしの間隔が、等間隔になるようにすれば良い。

そこで、いま、図 2 0に示すように、被写体上のある点 P ( X , Υ , Z ) から、焦点 f 1に向かって、仰角 α度で入射する光線 rを考える。

この光線 rは、図 1 9で説明した場合と同様に、集光部 5 2としての双曲面 H 1で反射され、焦点 f 2に向かっていき、受光面 A 3で受光される。

この場合において、焦点 f 2に向かう光線 r力焦点 f 2を通り、 X Y平面に平行な平面とつくる角度を γ度とする。さらに、 X軸と Υ軸とで定義される 2次元直交座標系において、光線 rが受光面 A 3で受光された点（受光点） pの座標を（x， y ) で表し、その点 p ( X , y ) と Z軸との距離を Rと表す。

図 2 0における角度ひは、式（1 ) で表される双曲面 H 1において、光線 rが反射される点の座標を求めることにより、次式で表すことができる。

(b²+c²) s i nr -2bc

=tan

(b²-c²) cos (5) 式（ 5) 力ら、 t a ηひは、次式で求めることができる。

(b²+c²)sinr-2bc

tanひ =

(b²-c²) cos

(6) ここで、 c o s γを、次式のようにおく。

cos γ =Χ

(7) 式（6) に、式（7) を代入すると、次式が求められる,

Kb²— c²) tan } ·

(8) 式（8) を変形して、式（9) が得られる。

(D²— Gつ tanひ 2bc

X+

b²+c² b²+ = Vi-x²

(9) 一方、 Aと Bを、それぞれ式（ 1 0) と（1 1 ) に示すように定義する。

(b²-c²) tanひ

A=

b² + C²

( 1 0)

2bc

B=

b²+c²

- - - ( 1 1 ) 式（9) に、式（1 0) および（1 1 ) を代入することにより、式（1 2) が求められる。

AX+B=V1-X²

• · · ( 1 2) 式（ 1 2) は、次のような、 Xについての 2次方程式とすることができる。 (A²+1)X²+2ABX+B²-1=0

(1 3 式（1 3) の 2次方程式を解くと、次式が得られる。

■ · ■ (14) 従って、式（7) より、角度 γは、次式によって求めることができる。

r=cos^_1 (X)

• · · (1 5) 但し、式（1 5) において、 Xは、式（14) で定義されるものであり、また. 式（ 1 4) 中の Aと Bは、それぞれ、式（ 1 0) と（ 1 1) で定義されるものである。

また、図 20の点 pの座標から、角度 γは、次式で求めることができる。

• · · (1 6) 一方、図 20における Z軸と点 p ( X , y) との距離 Rは、 f (x²+ y²) で表されるから、式（ 1 6) は、次式のように変形することができる。

• · · (1 7) 以上から、式（1 5) によって、角度 γを求め、その角度 γを用いて、式（1 7) を計算することにより、 Ζ軸に対して仰角ひ度で、焦点 f 1に向かって入射する光線 r力受光面 A 3において受光される点 p ( X , y) の Z軸からの距離 Rを算出することができる。

従って、 Z軸に対する仰角の所定の範囲（例えば、 0度乃至 80度など）を等角度 Adに分割し、各仰角 Ad, 2 Ad, 3 d, · · · で入射する光線が、受光面 A 3上で受光される各点 p 1， p 2, p 3 ■ ■ ' について、 Z軸からの距離 R_pl> R_p2， Ρ_ρ3 · · ' を求めておき、隣接する点どうしの距離の差 I R_pl_R_p2 I , | R_p2— P_p3 | ， ■ · ·力一定値になるように、カメラ 4 1が出力する全方位画像データを変換することにより、その半径方向の歪みを除去した全方位画像データを得ることができることになる。

なお、この歪み除去のための全方位画像データの変換は、図 7の全方位画像変換部 4 3が行う。

即ち、全方位画像変換部 43は、図 2 1に示すように、カメラ 4 1から、バッファ 4 2を介して、上述した半径方向の歪みがある全方位画像データとともに、中心点 C l、円周 F 1の円の半径 r_F1、および円周 F 2の円の半径 r_F2を受信する。

そして、全方位画像変換部 43は、中心点 C 1を中心とする半径 r_F1の円の円周 F 1 と、中心点 C 1を中心とする半径 r_F2の円の円周 F 2とで囲まれる領域 R 1内において、中心点 C 1を中心とする、上述の R_pl, R_p2， Ρ_ρ3 · · ' を半径とする複数の同心円を描く。さらに、全方位画像変換部 43は、その複数の同心円の円周を等分する、中心点 C 1を通る複数の直線を描く。これにより、全方位画像変換部 43は、領域 R 1において、複数の同心円と、複数の直線とで形成される多数の交点を得る。

ここで、上述の複数の同心円と、複数の直線とで形成される多数の交点を、以下、適宜、変換対象点という。

上述したことから、変換対象点を、その隣接するものどうしが等間隔になるように配置することで、歪みのある全方位画像データを、その歪みを除去した画像データに変換することができる。

そこで、いま、図 2 1における、図 1 7に示したのと同一の略扇形の領域 R 1 1の画像データを、歪みのないものに変換することを考える。

この領域 R l 1内には、図 22 Αに示すように、中心点 C 1を中心とする複数の同心円の円弧 F 1 1 , F 1 2 , F 1 3 , F 14 , F 1 5 , F 1 6それぞれと、中心点 C 1を通る複数の直線 L 1， L 2 , L 3 , L 4 , L 5 , L 6それぞれとの交点である多数の変換対象点が存在する。

全方位画像変換部 4 3は、領域 R l 1内に存在する多数の変換対象点を、図 2 2 Bに示すように、隣接するものどうしが等間隔になるように配置する。

即ち、全方位画像変換部 4 3は、図 2 2 Aの円弧 F 1 1， F 1 2 , F 1 3 , F 1 4， F 1 5 , F 1 6それぞれに対応する、等間隔に配置された横方向の直線 L 2 1， L 2 2 , L 2 3 , L 2 4 , L 2 5 , L 2 6と、図 2 2 Aの直線 L 1， L 2 , L 3 , L 4， L 5 , L 6それぞれに対応する、等間隔に配置された縦方向の直線 L 1 1 , L 1 2 , L 1 3 , L 1 4 , L 1 5 , L 1 6を想定し、その横方向の直線 L 2 1乃至 L 2 6それぞれと、縦方向の直線 L 1 1乃至 L 1 6それぞれとの交点上に、対応する変換対象点を変換する（割り当てる）。

これにより、例えば、図 2 2 Aにおいて、円弧 F 1 4と、直線し 5との交点である変換対象点 P 1 1は、図 2 2 Bの、円弧 F 1 4に対応する直線 L 2 4と、直線し 5に対応する直線 L 1 5との交点 p 1 2に変換される。

なお、カメラ 4 1を囲む、表面が鏡の球を考えると、全方位画像データには、その球面上に映る、球の外側の景色が表示される。従って、例えば、いま、そのカメラ 4 1を囲む球を地球に見立てると、全方位画像変換部 4 3において得られる画像データは、その縦軸と横軸が、それぞれ地球の緯度と経度に対応するものとなっている。そこで、本実施の形態では、全方位画像変換部 4 3が出力する、歪みが除去された全方位画像データを、緯度経度表現の画像データと呼んでいる。ところで、全方位画像変換部 4 3は、上述のように、変換対象点の位置を変換 (変更）することによって、半径方向の歪みを有する画像データ（全方位画像データ）を、その歪みを除去した画像データ（緯度経度表現の画像データ）に変換するが、変換対象点は、上述したように、中心点 C 1を中心とする円と、中心点 C 1を通る直線との交点である。従って、変換対象点は、撮像部 5 3 (図 1 2 ) の受光面 A 3 (図 1 9、図 2 0 ) を構成する画素の画素中心に一致するとは限らず、むしろ、一般には、一致しないことが多い。このように、変換対象点は、画素中心からずれているのが一般的であるから、全方位画像変換部 4 3において、変換対象点の位置を変換する前に、その変換対象点における画素値を求める必要がある。

そこで、全方位画像変換部 43は、変換対象点における画素値を、例えば、次のようにして求めるようになつている。

即ち、いま、図 22 Aおよび図 22 Bの変換対象点 p 1 1力 S、図 23に示すように、受光面 A 3上の隣接する 2 X 2の 4画素 P 1， P 2 , P 3， P 4それぞれの画素中心 C_P1, C_P2， C_P3, C_P4を頂点とする長方形（正方形）の範囲内にあるとする。なお、図 23の実施の形態においては、上下、または左右方向に隣接する画素中心どうしの距離が 1であるとしてある。

そして、変換対象点 P 1 1力画素中心 C_P1よりも距離ひだけ右方向の、距離 /3だけ下方向の点である場合、全方位画像変換部 43は、例えば、次式で求められる画素値 S_sを、変換対象点 p 1 1の画素値とする。

· · · (1 8) 但し、式（1 8) において、 S_a， S_b, S_c, S_dは、画素 P I , P 2 , P 3， P 4それぞれの画素値を表す。また、式（1 8) において、ひおよび /3は、 0以上 1以下の範囲の値で、変換対象点 p 1 1の位置に対応するものである。

なお、図 1 2の実施の形態では、集光部 5 2を双曲面ミラーで構成するようにしたが、集光部 5 2には、その他、例えば、球面ミラーなどを採用することも可能である。

また、図 7の実施の形態では、カメラ 4 1として、全方位画像データを撮像することができる全方位カメラを採用したが、カメラ 4 1としては、その他、例えば、魚眼レンズを装着したビデオカメラや、一般的な（通常の）レンズのビデオカメラなどを採用することも可能である。

ここで、一般的なレンズのビデオカメラでは、そのビデオカメラの光軸と直交し、その重心が光軸上にある長方形の平面であって、かつビデオカメラのレンズ中心と被写体との間にある平面を、仮想的なスクリーンである仮想スクリーンとすれば、被写体上の各点からレンズ中心に入射する光線が仮想スクリーン上に形成する画像データが撮像される。そして、その際、仮想スクリーンに入射する光線は、理想的には、何らの変換もされないから、 2次元平面である仮想スクリーンには、 3次元空間である現実世界の状況が、いわば忠実に映し出される。しかしながら、全方位カメラや魚眼レンズを装着したビデオカメラでは、全方位や広角の撮像が可能であるが、仮想スクリーンに入射する光線が、いわば非線形な変換を受けるため、即ち、例えば、全方位カメラについて言えば、図 1 9に示したように、光線が、双曲面ミラー（を表す双曲面 H I ) で反射されるため、仮想スクリーンには、現実世界の状況が歪んだ形で映し出された全方位画像データが形成される。

そのため、図 7の全方位画像変換部 4 3では、そのような歪んだ全方位画像データが、一般的なレンズのカメラで撮像した場合と同様の緯度経度表現の画像データに変換されるが、いま、この緯度経度表現の画像データを、一般的なレンズのカメラで撮像したものとすると、この緯度経度表現の画像データには、全方位カメラの光軸を中心とするすべての経度方向が表示されているから、一般的なレンズのカメラについての仮想スクリーンは、左右方向（経度方向）に無限の長さを有するものとなる。

また、全方位カメラでは、緯度方向については、理想的には、 0度から一 9 0 度の方向（図 1 9において、 X Y平面から下側の任意の点から原点に向かう方向）が撮像されるから、緯度経度表現の画像データを、一般的なレンズのカメラで撮像したものとした場合には、その仮想スクリーンは、下方向（マイナスの緯度方向）に無限の長さを有するものとなる。

ところで、全方位カメラにおいて撮像された全方位画像データを変換した緯度経度表現の画像データは、図 2の画像表示装置において画像を表示するにあたつて、そのすベてを必要としない。即ち、図 2の画像表示装置において画像を表示するにあたっては、緯度経度表現の画像データのうち、注目している被写体が映つている部分を含むある程度の範囲の画像データがあれば、基本的には、十分である。

そこで、以下においては、一般的なレンズのカメラで被写体を撮像した場合に、その仮想スクリーンに映る範囲の画像データを、緯度経度表現の画像データから切り出し、その切り出された画像データを対象に処理が行われるものとする。ここで、この切り出しは、例えば、図 7の全方位画像変換部 4 3に行わせることが可能である。

さらに、以下においては、カメラ 4 1の光軸やレンズ中心というときには、力メラ 4 1が一般的なレンズのカメラであるとして、その一般的なレンズのカメラの光軸やレンズ中心を意味するものとする。従って、上述したように、緯度経度表現の画像データから切り出された画像データについては、その画像データを、一般的なレンズのカメラで撮像したと仮定した場合の、そのカメラの光軸やレンズ中心が、カメラ 4 1の光軸やレンズ中心となる。

次に、図 5の画像処理装置によれば、データ変換部 3 0において、画像データベース 2に記憶された画像データが変換されることにより、図 4 A乃至図 4じで説明したように、ユーザの視点から見た画像データ、即ち、現実世界においてュ一ザが見ることのできる被写体が表示された画像データが、ディスプレイ 6に表示される。

このように、データ変換部 3 0において、現実世界においてユーザが見ることのできる被写体が表示された画像データが得られるのは、次の原理による。

即ち、画像データベース 2には、図 7の画像生成装置が出力する、複数の視点 (カメラ 4 1の視点）から撮像された緯度経度表現の原画像データが記憶されている。このことは、図 2 4に示すように、ある曲面 Ω上の複数の点を視点として、被写体を撮像した画像データが、画像データベース 2に記憶されていると見ることができる。

いま、曲面 Ωの、被写体と反対側のある位置に視点 Pを設定し、その視点 Pから被写体を見た場合の視覚に映る画像を考えてみる。

なお、視点 Pは、その視点 Pと、被写体上の任意の点とを結ぶ直線が、曲面 Ω と交わる位置にとるものとする。

また、ここでは、説明を簡単にするために、曲面 Ω上の任意の点を視点として、被写体を撮像した画像データが、画像データベース 2に記憶されているものとするとともに、ユーザが被写体を観測しょうとする空間（媒質）内において、光線は直進し、減衰しないものとする。

視点 Pから被写体を見たときの光線の軌跡（被写体から視点 Pに入射する光線の軌跡）は、視点 Pと被写体上の各点とを結ぶ直線によって表現することができる。この光線は、必ず、曲面 Ωと交わるから、その光線と一致する軌跡の光線に対応する画素値（被写体 Pから被写体を見た場合の光線情報と同一の光線情報） 1 画像データベース 2には、必ず存在する。

即ち、いま、視点 Pと被写体上のある点 R iとを結ぶ直線 1^に注目し、その直線と曲面 Ωとの交点をと表す。いまの場合、曲面 Ω上の任意の点を視点として、被写体を撮像した画像データが、画像データベース 2に記憶されているから、点 Q iを視点として被写体を撮像した画像データは、画像データべ一ス 2に記憶されている。さらに、いまの場合、光線は直進し、かつ減衰しないから、被写体上の点 R iから、曲面 Ω上の点に入射する光線と、視点 Pに入射する光線とは、同一である。従って、視点 Pから被写体を見た場合、その被写体上の点 R iから視点 Pに向かう光線に対応する画素値は、被写体上の点 R iから曲面 Ω上の点 Q iに向かう光線に対応する画素値に一致し、この点から点 Q iに向かう光線に対応する画素値は、画像データベース 2に記憶されている。

以上から、視点 Pから、被写体上の点 R iを見たときの画素値は、曲面 Ω上の点 Q iを視点として撮像された画像データから得ることができる。

視点 Pから、被写体上の他の点を見たときの画素値も、同様に、曲面 Ω上の点を視点として撮像された画像データから得ることができるから、結果として、曲面 Ω上の任意の点を視点として撮像された画像データが存在すれば、その画像データを構成する画素の画素値から、視点 Pと被写体とを結ぶ光線情報と同一の光線情報の光線に対応する画素値を選択することにより、視点 Pから被写体を見た画像データが得られることになる。

ここで、図 2 4に示した曲面 Ωの形状は、特に限定されるものではなく、任意の形状のものを採用することができる。従って、曲面 Ωは、図 2 5に示すように、平面であってもかまわない。

また、曲面 Ωは、開曲面であっても、閉曲面であってもかまわない。但し、曲面 Ωが開曲面である場合には、視点 Pは、上述したように、その視点 Pと、被写体上の任意の点とを結ぶ直線が、曲面 Ωと交わる位置にとる必要がある。

さらに、曲面 Ωが、被写体を囲む閉曲面である場合には、上述した原理から、次のことが言える。

即ち、被写体を囲む閉曲面上のすべての点において、すべての方向の光線の光線情報（光線の軌跡とその光線に対応する画素値）が得られている場合には、その閉曲面の外側の任意の位置から見た画像を再構成することができる。

なお、上述の場合には、曲面 Ω上の任意の点を視点として、被写体を撮像した画像データが得られているものとしたが、被写体を撮像するときの視点は、曲面 Ω上にない点であってもかまわない。即ち、例えば、曲面 Ωが、被写体を囲む閉曲面であるとした場合、その閉曲面の外側の任意の位置から見た画像を再構成するには、原理的には、閉曲面上の任意の点において、すべての方向の光線情報が存在すればよく、その光線情報は、閉曲面上の点を視点として撮像された画像のものであっても、また、閉曲面上の点以外の点を視点として撮像された画像のものであっても良い。このことは、曲面 Ωが開曲面であっても同様である。

図 5のデータ変換部 3 0は、以上のように、画像データベース 2に記憶された原画像データを撮像したときの、所定の曲面 Ωを通る光線情報のうち、ユーザの視点に向かう光線情報を用いて、提示用画像データ（ユーザの視点から見た画像データ）を再構成することにより、原画像データを提示用画像データに変換する。即ち、図 5のデータ変換部 3 0は、ユーザの視点から見た画像が表示される仮想的なスクリーン（仮想スクリーン）を、ユーザの視点と被写体との間に設定し、ユーザの視点と、仮想スクリーンの画素とを結ぶ直線と同一軌跡の光線を検出する。さらに、データ変換部 3 0は、検出した光線に対応する画素値を、仮想スクリーンの画素の画素値とし、以上の処理を、仮想スクリーン上のすべての画素値について行うことにより、仮想スクリーン上に、ユーザの視点から見た画像データ（提示用画像データ）を再構成する。

従って、例えば、いま、被写体を囲む閉曲面の外側の任意の位置を視点とした提示用画像データを再構成するとした場合には、その閉曲面上のすべての点における、すべての方向の光線情報があれば良い。なお、理論上は、閉曲面上の点も、その点における方向も無限に存在するから、実際には、閉曲面上の点も、その点における方向も有限個に制限されることになる。

ところで、閉曲面上のすべての点における、すべての方向の光線情報を用いて、その閉曲面の外側の任意の位置を視点とした提示用画像データを再構成する場合、視点が閉曲面上にある場合には、その視点と一致する閉曲面上の点を通る光線の光線情報を、そのまま用いて、提示用画像データを再構成することができる。

しかしながら、視点が閉曲面上にない場合には、その視点と、その視点について設定された仮想スクリーン上の画素とを結ぶ直線が、閉曲面と交わる点を、仮想スクリーン上のすべての画素について求める必要があり、この場合、例えば、画像処理装置としてのコンピュータ 1 (図 3 ) を構成する CPU 1 2の性能等によつては、提示用画像データを実時間で表示するのが困難となることがある。

そこで、データ変換部 3 0は、画像データ変換部 3 1において、画像データべース 2に記憶された原画像データを、その画素に入射した光線に対応する画素値からなる所定のフォーマツトの画像データである中間データに変換しておき、中間データ変換部 3 2において、その中間データを、ユーザの視点から見た提示用画像データに変換するようにすることで、提示用画像データを実時間で表示することを可能としている。

即ち、画像データ変換部 3 1は、原画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、原画像データの所定の画素の画素値とした画像データを、中間データとして生成する。

従って、曲面 Ωとして、例えば、図 2 6に示すように、閉曲面としての球面を考え、その球面上のある点 Qにおける、ある方向の光線に注目した場合、画像データ変換部 3 1では、その注目光線について、所定の点としての、例えば、原点を通り、注目光線と直交する平面 α上において、注目光線が通る点 Ρ _χが画素とされ、さらに、その画素値が、注目光線に対応する画素値に設定される。画像データ変換部 3 1では、球面上の点 Q以外の点における、同一方向の光線についても同様にして、平面ひ上に画素とその画素値が設定され、これにより、平面ひ上には、同一方向の光線に対応する画素値からなる画像データが形成される。

ここで、いま、図 2 6において、球面の中心を原点とする 3次元座標系を考えるとともに、球面上の点 Qにおける、ある方向の光線と同一方向の、原点を通るベタトルを、ベタトル Vと表す。さらに、ベタトル Vを、 3次元座標系における X y平面に射影して得られるべクトルを、べクトノレ v ' と表すとともに、べクトノレ Vと V ' がっくる角度 Θを緯度と、 X軸とベクトノレ V ' がっくる角度 φを経度と、それぞれいうものとする。ベクトル Vの向きは、この緯度 Θと経度 φで規定される。

上述した平面 αには、ベタトル Vと同一方向の光線に対応する位置の画素値からなる画像データが形成されるが、この平面 α上に形成される画像データは、ベクトル Vの方向の無限遠を視点として見た場合の画像データとなる。

データ変換部 3 1は、各値の緯度 Θ と経度 φによって規定される向きのべクトル Vと直交し、原点を通る平面について、同様の画像データを構成し、中間データとして出力する。

次に、図 2 7のフローチャートと、図 2 8を参照して、図 5の画像データ変換部 3 1が、図 6のステップ S 1で行う画像データ変換処理、即ち、原画像データを中間データに変換する処理について説明する。まず最初に、ステップ S 2 1において、画像データ変換部 3 1は、画像データベース 2に記憶された原画像データを撮像したときのカメラ 4 1の視点（以下、適宜、撮像ポイントともいう）から、注目撮像ポイント P。とするものを選択する。

即ち、図 7で説明した画像生成装置においては、カメラ 4 1を固定し、被写体を移動しながら、原画像データの撮像が行われるが、これは、相対的には、被写体を固定し、カメラ 4 1を移動しながら、原画像データの撮像が行われていることと等価である。即ち、原画像データは、カメラ 4 1の視点（撮像ポイント）を変えながら、被写体の撮像を行ったものであり、多数の撮像ポイントが存在する _c ステップ S 2 1では、その多数の撮像ポイントの中から、まだ注目撮像ポイントとしていない任意の撮像ボイントが、注目撮像ポイント P _cとして選択される。ここで、画像データベース 2には、上述したように、原画像データの各フレームとともに、その原画像データを撮像したときの、被写体の位置、並びにカメラ 4 1の位置および光軸方向を表す情報も記憶される。データ変換部 3 1は、これらの情報に基づき、各フレームの原画像データについて、例えば、撮像時座標系における、被写体の位置（姿勢を含む）を固定した場合のカメラ 4 1の位置としての撮像ポイントを求め、その中から、まだ注目撮像ポイントとしていない撮像ポイントを、注目撮像ポイント P。として選択する。

その後、ステップ S 2 2に進み、画像データ変換部 3 1は、注目撮像ポイント P _cについて、仮想スクリーンを設定し、仮想スクリーン上の画素のうち、まだ注目画素として選択していない画素を、注目画素 P _sとして選択する。

即ち、画像データ変換部 3 1は、図 2 8に示すように、注目撮像ポイント P _c について、その注目撮像ポイントから、カメラ 4 1の光軸方向に向かって、所定の距離 Lだけ離れた位置に、カメラ 4 1の光軸と直交する長方形状の平面を、仮想スクリーンとして設定する。そして、画像データ変換部 3 1は、仮想スクリーン上の画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素 P _sとして選択する。ここで、画像データ変換部 3 1では、注目撮像ポイントにおけるカメラ 4 1の光軸方向は、画像データベース 2に記憶されている情報から認識される。

また、仮想スクリーンの横と縦の画素数は、注目撮像ポイント P _sから撮像された原画像データのフレームの横と縦の画素数にそれぞれ一致し、仮想スクリーン上には、注目撮像ポイント P _sから撮像された原画像データが表示されているものと考える。

ステップ S 2 2の処理後は、ステップ S 2 3に進み、画像データ変換部 3 1は、注目画素 P _sを始点とし、注目撮像ボイント P _cを終点とするべクトル Vを求め、ステップ S 2 4に進む。

ここで、図 2 8の実施の形態では、ベクトル Vは、撮像時座標系において、 X z平面内のべクトルであって、 X y平面から z軸方向に角度 Θの方向を有するものとなつている。即ち、図 2 8の実施の形態では、ベクトル Vは、緯度が 0で、経度が 0度の方向のべクトルになっている。

また、図 2 8の実施の形態では、注目撮像ポイント P _cにおけるカメラ 4 1の光軸が、撮像時座標系の原点を通るものとなっているが、カメラ 4 1の光軸は、必ずしも、撮像時座標系の原点を通る必要はない。

さらに、図 2 8では、被写体を囲む曲面 Ωとして、閉曲面である、原点を中心とする球面を示してある。

ステップ S 2 4では、画像データ変換部 3 1は、ベクトル Vと直交し、撮像時座標系上の所定の点としての、例えば原点を通る平面 αを求め、ステップ S 2 5 に進む。

ここで、平面 αは、必ずしも、原点を通るものである必要はない。

ステップ S 2 5では、画像データ変換部 3 1は、ステップ S 2 3で求めたベタトル Vの緯度 Θおよび経度 φを求め、即ち、ベクトル Vと X y平面とがっくる角度である緯度 0、およびベクトル Vと X z平面とがっくる角度である経度 φを求め、ステップ S 2 6に進む。

ここで、ベクトル Vの緯度 0および経度 φは、ステップ S 2 4で求められた平面ひの法線方向の緯度 0および経度 Φということもできる。従って、所定の点としての原点を通る平面 αは、その緯度 0と経度 φによって特定することができるので、この緯度 Θ と経度 φによって特定される平面 αを、以下、適宜、平面 I (θ , φ) とも記述する。

なお、緯度 0の符号については、 ζ軸の正側と負側を、それぞれ正または負とする。また、経度 Φの符号についても、 y軸の正側と負側を、それぞれ正または負とする。

ステップ S 26では、画像データ変換部 3 1は、図 28に示すように、注目撮像ポイント P_cと注目画素 P_sとを結ぶ直線 L_pを求める。さらに、ステップ S 2 6では、画像データ変換部 3 1は、直線 L_pと、ステップ S 24で求めた平面 _α ( I ( θ , φ) ) との交点 Ρ,を求め、ステップ S 2 7に進み、その点 Ρ_χの、平面 α上における座標（x。， y J を求める。

ここで、平面 α上における点 P_xの座標（x_a， y J は、次のようにして求めることができる。

即ち、いま、平面 α上に、 2次元座標系を考え、その X軸方向と y軸方向の、撮像時座標系における単位べクトルを、それぞれ V ,と v _yと表す。

この場合、点 P_xの X座標 X _αと y座標 y _αは、それぞれ、 v_x ' OP_s (または v_x · O P₀) と、 v_y■ OP_s (または v_y · OPJ を計算することによって求めることができる。伹し、 'は、内積を表し、 OP_s (OP_c) は、撮像時座標系の原点を始点とし、注目画素 P_s (注目撮像ポイント P_c) を終点とするベクトルを表す。

なお、単位べクトノレ v_xは、例えば、式 ν_χ · ν = 0を満たし、かつ式 ν_χ · Ζ_ν =0を満たす、長さが 1のべクトルである。また、単位べクトノレ v_yは、例えば、式 v_y■ V = 0を満たし、かつ式 v_y · ν_χ= 0を満たす、長さが 1のべクトルである。但し、べクトル Ζ_νは、撮像時座標系における ζ軸方向の単位べクトル（= (0， 0， 1) ) を表す。

ここで、注目撮像ポイント Ρ„からのカメラ 4 1の光軸が、撮像時座標系の原点を通らない場合は、例えば、その光軸と平面 αとの交点の、平面 α上の 2次元座標系の座標の分だけ、点 Ρ_χの座標（χ_α, y J をオフセットする必要がある。即ち、上述のようにして、平面 α上における点 P_xの座標（x _a， y J を求めた場合、その点 P_xの座標（χ _α， y J は、注目撮像ポイント P_cからのカメラ 41の光軸と平面 αとの交点を原点とするものであり、このため、光軸が平面 α と交わる点が異なる撮像ボイントを通る同一方向の光線については、同一平面ひ上に、原点が異なる位置にある 2次元座標系が定義されてしまうことになる。そこで、ここでは、同一平面 α上に定義される 2次元座標系の原点を、所定の点としての、例えば、撮像時座標系の原点に固定するため、注目撮像ポイント Ρ 。からのカメラ 4 1の光軸が、撮像時座標系の原点を通らない場合は、画像データ変換部 3 1は、ステップ S 2 7において、その光軸と平面 c との交点の、平面 α上の 2次元座標系の座標の分だけ、点 Ρ_χの座標をオフセットする。

具体的には、画像データ変換部 3 1は、上述したようにして求められた点 Ρ_χ の座標を、（χ _α' ， y„' ) と表すとともに、注目撮像ポイント P。からのカメラ 4 1の光軸と平面 αとの交点の、平面 α上の 2次元座標系の座標を、（χ„₀， y _α0) と表すと、座標（Xノ， y ）と（χ «。， y _α0) とを加算した座標（χ _α ' + X _α0, y _α ' + y _o0) を、平面 α上における点 P_xの座標（x _a , y J として、最終的に求める。

その後、ステップ S 28に進み、画像データ変換部 3 1は、仮想スクリーン上の原画像データを構成する画素のうちの注目画素 P_sの画素値を、平面 α上の点 Ρ_χの位置の画素の画素値とする。即ち、いま、平面 α上の点 Ρ_χの位置の画素の画素値を、平面 c を表す I ( θ , φ) と、平面 α上の点 P_xの座標を表す（χ _α, y J とによって、 I (Θ， φ) (x _a, y J と表すこととすると、ステップ S 28において、画像データ変換部 3 1は、平面 α上の点 P の位置の画素の画素値 I (0， φ) (χ _α， y J に、注目画素 P_sの画素値を設定する。これにより、注目画素 P_sは、ベクトル Vと直交する平面 I (0， φ ) に正射影され、その正射影された平面 I ( θ , φ) の点 (= ( x _a， y J ) の位置の画素の画素値 I (θ , φ) (x _α, y J として、注目画素 P_sの画素値が設定される。ここで、この注目画素 P_sを平面 I (Θ ' φ) に正射影した画素 P_xの画素値 I (θ , ) (x _a， y J 1S 中間データである。

そして、ステップ S 2 9に進み、画像データ変換部 3 1は、注目撮像ポイント P_cに対して設定された仮想スクリーン上の（原画像データを構成する）すべての画素を注目画素としたかどうかを判定し、まだ、注目画素としていないものがあると判定した場合、ステップ S 22に戻り、以下、同様の処理が繰り返される。また、ステップ S 29において、仮想スクリーン上のすべての画素を注目画素としたと判定された場合、ステップ S 30に進み、画像データ変換部 3 1は、画像データベース 2に記憶された原画像データのすべてのフレームの撮像ボイントを、注目撮像ポイントとしたかどうかを判定する。

ステップ S 30において、画像データベース 2に記憶された原画像データの各のフレームの撮像ポイントのうち、まだ、注目撮像ポイントとしていないものがあると判定された場合、ステップ S 2 1に戻り、以下、同様の処理が繰り返される。

また、ステップ S 30において、画像データベース 2に記憶された原画像データの各のフレームの撮像ボイントすべてを、注目撮像ボイントとしたと判定された場合、処理を終了する。

以上の画像データ変換処理により、理想的には、各値の緯度 0と経度 ψで定義される平面 I (θ , φ) 上に、その緯度 0と経度 φで規定される方向の無限遠から被写体を見た場合の画像データが生成され、この画像データが、中間データとして、中間データベース 3に供給されて記憶される。

図 2 9 Aおよび図 29 Bは、図 27の画像データ変換処理により生成される中間データのフォーマツトを模式的に表している。

図 2 7の画像データ変換処理によって生成される中間データは、平面 I (θ , ) 上に、その緯度 Θ と経度 φで規定される方向の無限遠から見た被写体を映した画像データとなっており、従って、各値の緯度 Θおよび経度 Φごとに存在するので、図 2 9 Aに示すような、緯度 Θ と経度 φの値で区切られるテーブル（以下、適宜、緯度経度テ一ブルという）で表現することができる。

ここで、図 2 9 Aの実施の形態では、緯度 Θが— 9 0度から 9 0度の範囲の 1 度刻みで、経度 φがー 1 8 0乃至 1 7 9度の範囲の 1度刻みで、それぞれ変化する平面 I ( θ , φ ) ごとに、各緯度 0 と各経度 φで規定される方向の無限遠から被写体を見た場合の画像データが、緯度経度テーブルの各マス目に登録されている。なお、緯度 Θや経度 φを、何度刻みとするかは、特に限定されるものではなレ、。また、緯度 0や経度 ψの刻み幅は、一定であっても良いし、可変であっても良い。さらに、上述のように、緯度 0 と経度 φが整数値のみを取り得る場合には、図 2 7の画像データ変換処理において緯度 Θと経度 ψを求める演算を行うにあたり、小数点以下は、例えば、切り上げ、切り捨て、または四捨五入される。

図 2 9 Aの緯度経度テーブルの各マス目には、そのマス目に対応する緯度 Θと経度 Φで規定される方向の無限遠から被写体を見た場合の画像データ、即ち、平面 I ( θ， φ ) 上に正射影された原画像データの画素の画素値が、その平面 I ( θ , φ ) 上に定義された 2次元座標系の各 X座標 X _αと各 y座標 y _αごとに登録されている。即ち、図 2 9 Αの緯度経度テーブルの各マス目には、例えば、図 2 9 Bに示すように、平面 I ( θ， ψ ) 上に定義された 2次元座標系の X座標 X _αと y座標 y _αの値で区切られたテーブル（以下、適宜、画素値テーブルという）が登録されており、その画素値テーブルのマス目には、そのマス目に対応する X座標 X _αと y座標 y„で規定される点に正射影された原画像データの画素の画素値 p ( x « , y J が登録されている。

なお、図 2 9 Bにおいて、 _{X l}と _{y i}は、原画像データの画素を平面 I ( Θ ， Φ ) 上に正射影した点の、最小の X座標と y座標を、それぞれ表す。また、 x ₂ と y ₂は、原画像データの画素を平面 I ( θ , ψ ) 上に正射影した点の、最大の X座標と y座標を、それぞれ表す。さらに、図 2 9 Bでは、 x座標および y座標が 1刻みになっているが、この刻み幅も、緯度 0および経度 φの刻み幅と同様に、特に限定されるものではない。ここで、図 30に、図 29 Aの緯度経度テーブルの各マス目に登録されている、無限遠から被写体を見た場合の画像データの模式図を示す。なお、図 30の実施の形態においては、被写体が、果物が入っている籠になっている。

図 29 Aの緯度経度テーブルの各マス目に登録されている、無限遠から見た場合の画像データは、無限遠に位置するカメラで撮影された画像データそのものと同様の性質を有しており、従って、カメラで撮影された画像データに対して、その性質（例えば、相関性など）を利用して施される画像処理（例えば、エッジ強調やノイズ除去など）と同一の画像処理を施すことができる。

ところで、図 29 Aの緯度経度テーブルの各マス目に登録されている画素値テ一ブル（図 29 B) における画素値からなる画像データは、そのマス目に対応する緯度 0と経度 Φで規定される平面 I (θ , φ) 上に正射影された原画像データの画素の画素値から構成されるため、画像データベース 2に記憶される原画像データによっては、画素値が存在しない場合がある。

即ち、平面 I ( θ , φ) 上に原画像データの画素が正射影される範囲（以下、適宜、有効範囲という）は、図 29 Bに示したように、 X座標が _{X l}乃至 x ₂で、 y座標が _yi乃至 y ₂で規定される範囲である。そして、この範囲における画素値ヽ画素値テーブルに登録されている。しかしながら、平面 I (θ , φ) のすベての点（例えば、 X座標が _Xl乃至 X ₂の範囲の整数値で、 y座標が _{y i}乃至 y ₂の範囲の整数値で、それぞれ表されるすべての点）に、原画像データの画素が正射影されるとは限らず、正射影される原画像データの画素が存在しない場合があり得る。

従って、平面 I (θ， ) の有効範囲内の画素において、画素値が存在しない場合があり、この場合、その有効範囲の画像データ、即ち、平面 I (θ , φ) に対応する画素値テーブル（図 29 B) における画素値からなる画像データは、例えば、図 3 1 Aに示すように、その一部の画素の画素値が欠落したものとなる。ここで、図 3 1 Aの実施の形態においては、黒色で示す縞模様状に、画素値が欠落している。このように、平面 I ( 0 , Φ) の有効範囲、つまり画素値テーブルに、画素値の欠落が生じている場合には、その画素値を補間する画素値補間処理を行う。この画素値補間処理により、図 3 1 Αに示した画素値が欠落している画素値テープノレ（に登録された画素値で構成される画像）を、図 3 1 Bに示すような、画素値の欠落のない画素値テーブルに変換することができる。

画素値テーブルについての画素値補間処理は、例えば、次のようにして行うことが可能である。

即ち、例えば、いま、平面 I ( θ , φ) の有効範囲のある点（x _a, y J における画素値 I (θ， ) (x„, y J が欠落している場合において、緯度または経度が僅かにずれた平面 I ( Θ，， φ ' ) の有効範囲の、点（x。， y J と同一座標の点における画素値 I (θ ' ， φ ' ) (x„, y j が存在するときには、欠落している画素値 I ( 6 , φ) (x _a, y _α) は、平面 I ( 0 ' ， φ ' ) 上の画素値 I ( θ ' ， φ ' ) (x _a, y j で補間することができる。

なお、 θ , は、例えば、経度が整数値のみをとる場合には、 0 ± 1ゃ0 ± 2などとする。

以上のような画素値補間処理は、図 2 7の画像データ変換処理が終了した後、例えば、画像データ変換部 3 1に行わせることができる。

そこで、図 3 2のフローチャートを参照して、画像データ変換部 3 1が行う画素値補間処理について説明する。なお、ここでは、説明を簡単にするために、緯度 Θ、経度 φ、平面 I ( θ , φ) の有効範囲の X座標 X „、 y座標 y _aは、いずれも整数値のみをとるものとする。

画素値補間処理では、まず最初に、ステップ S 4 1において、画像データ変換部 3 1力緯度を表す変数 0 と、経度を表す変数 φに、初期値をセットするとともに、平面 I ( θ , φ) の X座標を表す変数 X。と、 y座標を表す変数 y。に、初期値をセットする。例えば初期値として、 0に一 9 0度、 ψに一 1 8 0度、 X _aに _{X l}、 y _aに y をそれぞれセットする。

そして、ステップ S 4 2に進み、画像データ変換部 3 1は、中間データ I (θ , ) (x _α( y J に、画素値がセットされているかどうかを判定する。

ここで、中間データ I (Θ， φ) (x _a， y J に、画素値がセットされているかどうかの判定は、例えば、図 27の画像データ変換処理を行う前に、中間データとしての配列変数 I (θ , φ) (x_a， y J に、画素値としては取り得ない値を、初期値として設定しておき、その値が、 I (0 , ψ) (x _a， y _a) にセットされているかどうかによって行う方法がある。

ステップ S 4 2において、中間データ I (θ , φ) (x _a, y_a) に、画素値がセットされていると判定された場合、即ち、画素値が欠落していない場合、ステツプ S 43および S 44をスキップして、ステップ S 45に進む。

また、ステップ S 42において、中間データ I (0 , φ) (x_a, y _α) に、画素値がセットされていないと判定された場合、即ち、画素値が欠落している場合、ステップ S 43に進み、画像データ変換部 3 1は、 Θ—厶 Θく θ ' < θ +Δ 0の範囲の緯度 θ，と、 φ—厶 φく φ ' く ^ +△ φの範囲の経度 φ ' で規定される平面 I (θ，， φ ' ) 上の点（χ_α， y J の中で、画素値がセットされているものを探索（検索）する。

ここで、 ΔΘと Δφとしては、例えば、いずれも、小さい正の整数値が採用される。

その後、ステップ S 44に進み、画像データ変換部 3 1は、ステップ S 43で探索された画素値がセットされている中間データ I (θ ' , φ ' ) (x _a, y J の値（画素値）を、欠落している画素値である中間データ I (θ , φ) ( X _a, y J にセットして、ステップ S 45に進む。

ここで、ステップ S 4 3において、 θ— θぐ Θ ' くの範囲の緯度 0

，と、 φ— φく φ ' く φ +△0の範囲の経度 ψ，で規定される平面 I (θ，， φ ' ) 上の点（χ _α, y J の中で、画素値がセットされているものが複数見つかった場合には、ステップ S 44では、画像データ変換部 3 1は、その中から、例えば、緯度の差の絶対値 I 0 _ Θ， Iと、経度の差の絶対値 I φ— φ ' Iの自乗和が最も小さいものを選択し、その選択した I (0 ' , φ ' ) (χ _α) y J の値を、中間データ I (0， Φ) (x «， y J にセットする。つまり、平面 I (θ , φ) に近い平面 I (0 ' ， ' ) 上のデータを欠落している画素の値にセットする。

また、ステップ S 43において、 Θ—Δ Θく 0 ' く 0 +△ 0の範囲の緯度 Θ ' と、 φ— Δφく ψ ' く ψ +△ φの範囲の経度 φ，で規定される平面 I (θ，， φ ' ) 上の点（χ_α, y J の中で、画素値がセットされているものが見つからなかった場合には、ステップ S 44では、画像データ変換部 3 1は、 I ( θ , φ) 上の画素値がセットされている点の中から、点（x «， y J と最も近い点を検索し、その点にセットされている画素値を、点（x _a， y J にセットする。

なお、画素値補間処理では、平面 I (0， φ) 上の、画素値がセットされていない点（x„, y J に、画素値が補間されるから、その処理が進行していくと、画素値が補間された点における画素値によって、さらに、他の点における画素値が補間されることが生じうる。これを防止するためには、画素値の補間がされた点に、例えば、補間がされたことを表す補間フラグを付加するようにし、補間フラグが付加されている点における画素値は、補間に用いないようにする（ステツプ S 4 3における探索の対象外とする）必要がある。

ステップ S 45では、画像データ変換部 3 1が、平面 I ( θ , φ) 上の y座標を表す変数 y _aが、その最大値である y₂に等しいかどうかを判定する。ステツプ S 4 5において、 y座標 y_aが、最大値 y ₂に等しくないと判定された場合、ステップ S 46に進み、画像データ変換部 3 1は、 y座標 y _aを 1だけインクリメントして、ステップ S 42に戻り、以下、同様の処理を繰り返す。

また、ステップ S 45において、 y座標 y_aが、最大値 y₂に等しいと判定された場合、ステップ S 47に進み、画像データ変換部 3 1は、 y座標 y_aを、その最小値である _{y i}にリセットして、ステップ S 48に進む。

ステップ S 48では、画像データ変換部 3 1が、平面 I (θ , ) 上の X座標を表す変数 x _aが、その最大値である x₂に等しいかどうかを判定する。ステツプ S 48において、 X座標 x。が、最大値 x₂に等しくないと判定された場合、ステップ S 4 9に進み、画像データ変換部 3 1は、 X座標 X _Qを 1だけインクリメントして、ステップ S 4 2に戻り、以下、同様の処理を繰り返す。

また、ステップ S 4 8において、 X座標 χ _αが、最大値 X ₂に等しいと判定された場合、ステップ S 5 0に進み、画像データ変換部 3 1は、 X座標 χ _αを、その最小値である _{X l}にリセットして、ステップ S 5 1に進む。

ステップ S 5 1では、画像データ変換部 3 1は、経度を表す変数が、その最大値である 1 7 9度に等しいかどうかを判定する。ステップ S 5 1において、経度 φが、最大値である 1 7 9度に等しくないと判定された場合、ステップ S 5 2 に進み、画像データ変換部 3 1は、経度 φを 1だけインクリメントして、ステツプ S 4 2に戻り、以下、同様の処理を繰り返す。

また、ステップ S 5 1において、経度が、最大値である 1 7 9度に等しいと判定された場合、ステップ S 5 3に進み、画像データ変換部 3 1は、経度 φを、その最小値である— 1 8 0度にリセットし、ステップ S 5 4に進む。

ステップ S 5 4では、画像データ変換部 3 1は、緯度を表す変数 0が、その最大値である 9 0度に等しいかどうかを判定する。ステップ S 5 4において、緯度 & ヽ最大値である 9 0度に等しくないと判定された場合、ステップ S 5 5に進み、画像データ変換部 3 1は、献 Θを 1だけィンクリメントして、ステップ S 4 2に戻り、以下、同様の処理を繰り返す。

また、ステップ S 5 4において、緯度 0力最大値である 9 0度に等しいと判定された場合、処理を終了する。

なお、ここでは、画素値補間処理を、画像データ変換部 3 1に行わせるようにしたが、画素値補間処理は、その他、例えば、図 2 7の画像データ変換処理が終了した後に、中間データ変換部 3 2 (図 5 ) に行わせるようにすることも可能である。

ところで、図 3 2の画素値補間処理では、他の点にセットされている画素値を、画素値がセットされていない点の画素値として、そのまま用いて補間が行われることから、平面 I ( 0， Φ ) 上に形成される画像データの真値が存在すると仮定すると、画素値補間処理によって得られる画像データは、基本的に、真値に一致しない。

しかしながら、真値に一致しないまでも、真値に、より近い画像データが得られるのが望ましい。

そこで、図 3 2の画素補間処理によって得られる画像データを、真値に、より近い画像データに変換する方法として、例えば、本件出願人が先に提案しているクラス分類適応処理がある。

クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。

ここで、適応処理について、低画質の画像（以下、適宜、低画質画像という）を、高画質の画像（以下、適宜、高画質画像という）に変換する場合を例に説明する。

なお、図 3 2の画素補間処理によって得られる画像データは、真値と比較して低画質な低画質画像と考えることができ、真値は、図 3 2の画素補間処理によつて得られる画像データと比較して高画質な高画質画像と考えることができる。適応処理では、低画質画像を構成する画素（以下、適宜、低画質画素という）と、所定のタップ係数との線形結合により、その低画質画像の画質を向上させた高画質画像の画素の予測値を求めることで、その低画質画像の画質を高くした画像が得られる。

具体的には、例えば、いま、ある高画質画像を教師データとするとともに、その高画質画像の画質を劣化させた低画質画像を生徒データとして、高画質画像を構成する画素（以下、適宜、高画質画素という）の画素値 yの予測値 E [ y ] を、幾つかの低画質画素の画素値 χ χ _{2 >} · · 'の集合と、所定のタップ係数 w w₂, · · ·の線形結合により規定される線形 1次結合モデルにより求めることを考える。この場合、予測値 E [ y ] は、次式で表すことができる。

E[y] =wixi +W2X2+ · · · • · · (1 9) 式（ 1 9) を一般化するために、タップ係数 _Wjの集合でなる行列 W、生徒データ _{X ij}の集合でなる行列 X、および予測値 E [_{Y j}] の集合でなる行列 Y' を. 次式のように定義する。

Wi E[_yi]，

w= W2 E[y₂]

, Y'=

Wj . E [yi] .

• · · (20) この場合、次のような観測方程式が成立する。

XVI=Y'

• · · (2 1) ここで、行列 Xの成分 _Xijは、 i件目の生徒データの集合（ i件目の教師データ _{y i}の予測に用いる生徒データの集合）の中の j番目の生徒データを意味し、行列 Wの成分 _Wjは、生徒データの集合の中の j番目の生徒データとの積が演算されるタップ係数を表す。また、 _{y i}は、 i件目の教師データを表し、従って、 E [y は、 i件目の教師データの予測値を表す。なお、式（ 1 9) の左辺における yは、行列 Yの成分 yiのサフィックス iを省略したものであり、また、式（1 9) の右辺における Xい x₂, · · · も、行列 Xの成分のサフィックス iを省略したものである。

式（2 1) の観測方程式に最小自乗法を適用して、高画質画素の画素値 yに近い予測値 E [y] を求めることを考える。そこで、まず、教師データとなる高画質画素の真の画素値 yの集合でなる行列 Y、および高画質画素の画素値 yに対する予測値 E [y] の残差 eの集合でなる行列 Eを、次式で定義する。 ■

メ

• · · (2 2) この場合、式（2 1) から、次のような残差方程式が成立する。

XW=Y+E

• · · (23) 最小自乗法では、高画質画素の画素値 yに近い予測値 E [y] を求めるためのタップ係数 Wjを評価する尺度として、例えば、次式で表される自乗誤差が採用される。

• · · (24) 高画質画素の画素値 yに近い予測値 E [y ] を求めるためのタップ係数 Wjは, 式（24) の自乗誤差を最小にすることで求めることができる。

従って、式（24) の自乗誤差をタップ係数 Wjで微分したものが 0になる場合、即ち、次式を満たすタップ係数 Wjが、高画質画素の画素値 yに近い予測値 E [y ] を求めるため最適値ということになる。

• · · (2 5) そこで、まず、式（2 3) を、タップ係数 Wjで微分することにより、次式が成立する。

(26) 式（25) および（26) より、式（27) が得られる,

• · · (2 7) さらに、式（23) の残差方程式における生徒データ _{X ij}、タップ係数 Wj、教師データ _{y i}、および残差（誤差） _{e i}の関係を考慮すると、式（27) から、次のような正規方程式を得ることができる。

(

(

• · · (28) なお、いま、べクトル Wを、式（20) で示したように定義するとともに、行列（共分散行列） Aおよびベクトル Vを、次式で定義する。

I I I

∑XMXi1 ∑XMXi2 ··· ∑XilXiJ

i=l i=1 i=1

I I I

A= ∑Xi2Xi1 ∑Xi2Xi2 ■■■ ∑Xi2XiJ

i=1 i=1 i=1

I I I

∑XiJXi1 ∑XiJXi2 '… ∑XiJXiJ

i=1 i=1 i=l

I

∑Χ«ΐΥί

i=1

I

V = ∑Xi2Yi

i=1

I

∑XiJYi

i=1

• · · (2 9) この場合、式（2 8) に示した正規方程式は、次式で表される。

AW=v

• · · (3 0) 式（3 0) と等価な式（2 8) における各正規方程式は、生徒データおよび教師データ _{y i}のセットを、ある程度の数だけ用意することで、求めるべきタップ係数 Wjの数 J と同じ数だけたてることができ、従って、式（3 0) を、ベクトル Wについて解くことで（但し、式（3 0) を解くには、式（3 0) における行列 Aが正則である必要がある）、最適なタップ係数 _Wjを求めることができる。なお、式（3 0) を解くにあたっては、例えば、掃き出し法（Gauss- Jordan の消去法）などを用いることが可能である。

以上のように、生徒データと教師データを用いて、最適なタップ係数 Wjを求める学習をしておき、さらに、そのタップ係数 Wjを用い、式（1 9) により、教師データ yに近い予測値 E [y ] を求めるのが適応処理である。なお、適応処理は、低画質画像には含まれていないが、高画質画像に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（ 1 9 ) だけを見る限りは、例えば、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数 wが、教師データ yを用いての、いわば学習により求められるため、高画質画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。

次に、図 3 3は、上述のようなクラス分類適応処理を行うクラス分類適応処理装置の構成例を示している。

なお、クラス分類適応処理装置は、例えば、図 5の画像データ変換部 3 1または中間データ変換部 3 2に内蔵させ、図 3 2の画素値補間処理が施された中間データを対象に、クラス分類適応処理を行わせるようにすることができる。また、クラス分類適応処理装置は、図 5の画像データ変換部 3 1および中間データ変換部 3 2とは別に設け、中間データベース 3に記憶された、図 3 2の画素値補間処理が施された中間データを対象に、クラス分類適応処理を行わせるようにすることができる。

バッファ 6 1には、低画質画像データとしての、画素値補間処理が施された中間データ（以下、適宜、補間中間データという）が供給され、バッファ 6 1は、そこに供給される低画質画像データを一時記憶する。

予測タップ抽出部 6 2は、後述する積和演算部 6 6において求めようとする、中間データの真値としての高画質画像データの画素（高画質画素）を、順次、注目画素とし、さらに、その注目画素を予測するのに用いる低画質画像データの画素（低画質画素）を、バッファ 6 1から抽出し、予測タップとする。

即ち、予測タップ抽出部 6 2は、例えば、注目画素に対応する位置に対して近い位置にある低画質画素の幾つかを、予測タップとして、バッファ 6 1から読み出す。

そして、予測タップ抽出部 6 2は、注目画素について、予測タップを得ると、その注目画素についての予測タップを、積和演算部 6 6に供給する。

ここで、予測タップ抽出部 6 2では、例えば、注目画素の平面に対応する低画質画像データとしての中間データの平面 I ( θ， ) において、注目画素に対応する位置から近い位置にある低画質画素の幾つかを、予測タップとして抽出することができる。さらに、予測タップ抽出部 6 2では、平面 I ( 6， ) から緯度 Θまたは経度 Φが僅かにずれた平面 I ( θ ，， φ ' ) において、注目画素に対応する位置から近い位置にある低画質画素の幾つかも、予測タップとして抽出することが可能である。

一方、クラスタップ抽出部 6 3は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる低画質画素を、バッファ 6 1から抽出し、クラスタップとする。

なお、ここでは、説明を簡単にするために、例えば、予測タップ抽出部 6 2で得られる予測タップと、クラスタップ抽出部 6 3で得られるクラスタップとは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、独立（別）のタップ構造を有するものとすることが可能である。

クラスタップ抽出部 6 3において得られる、注目画素についてのクラスタップは、クラス分類部 6 4に供給される。クラス分類部 6 4は、クラスタップ抽出部 6 3からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。

ここで、クラス分類を行う方法としては、例えば、 ADRC (Adaptive Dynamic Ra nge Coding)等を採用することができる。

ADRCを用いる方法では、クラスタップを構成する画素の画素値が、 ADRC処理され、その結果得られる ADRCコードにしたがって、注目画素のクラスが決定される。

なお、 Kビット ADRCにおいては、例えば、クラスタップを構成する画素値の最大値 MAXと最小値 MINが検出され、 DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジ DRに基づいて、クラスタップを構成する画素が Kビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値 ΜΙΝが減算され、その減算値が DR/2^Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する K ビットの各画素の画素値を、所定の順番で並べたビット列が、 ADRC コードとして出力される。従って、クラスタップが、例えば、 1ビット ADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値 MINが減算された後に、最大値 MAXと最小値 MINとの平均値で除算され、これにより、各画素の画素値が 1 ビットとされる（2値化される）。そして、その 1 ビットの画素値を所定の順番で並べたビット列が、 ADRCコードとして出力される。

なお、クラス分類部 6 4には、例えば、クラスタップを構成する画素のレベル分布（画素値分布）のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、 N個の画素で構成され、各画素に、 Kビットが割り当てられているとすると、クラス分類部 6 4が出力するクラスコードの場合の数は、（2 ^N) ^κ通りとなり、画素のビット数 Kに指数的に比例した膨大な数となる。

従って、クラス分類部 6 4においては、クラスタップの情報量を、上述の ADR C処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。

クラス分類部 6 4が出力するクラスコードは、係数記憶部 6 5に、アドレスとして与えられる。

係数記憶部 6 5は、後述する学習装置において学習処理が行われることにより得られるタップ係数を記憶しており、クラス分類部 6 4が出力するクラスコードに対応するァドレスに記憶されているタップ係数を、積和演算部 6 6に出力する _c 積和演算部 6 6は、予測タップ抽出部 6 2が出力する予測タップと、係数記憶部 6 5が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（1 9 ) に示した線形予測演算（積和演算）を行い、その演算結果を、注目画素となっている高画質画素の画素値として出力する。次に、図 3 4は、図 3 3の係数記憶部 6 5に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。

教師データメモリ 7 1には、学習に用いられる学習用データが供給される。ここで、学習用データとしては、中間データの真値としての高画質画像データが用いられる。即ち、例えば、多数の視点から撮像した画像データを対象に、図 2 7 の画像データ変換処理を行うことで、画素値の欠落のない中間データを生成し、これが、学習用データとして用いられる。

教師データメモリ 7 1は、そこに供給される、学習用データとしての高画質画像データを、学習の教師となる教師データとして記憶する。そして、生徒データ生成部 7 2は、教師データメモリ 7 1に記憶された教師データから、学習の生徒となる生徒データを生成する。

即ち、生徒データ生成部 7 2は、教師データメモリ 7 1に記憶された教師データとしての画像データの画素値を欠落させ、その画素値を欠落させた画像データに、図 3 2の画素値補間処理を施す。そして、生徒データ生成部 7 2は、その画素値補間処理によって得られる低画質の画像データを、生徒データとして、生徒データメモリ 7 3に供給して記憶させる。

教師データメモリ 7 1に記憶された教師データについて、生徒データが求められ、生徒データメモリ 7 3に記憶されると、予測タップ抽出部 7 4は、教師データメモリ 7 1に記憶された教師データを、順次、注目画素とし、さらに、その注目画素を予測するのに用いる生徒データを、生徒データメモリ 7 3から抽出し、これにより、図 3 3の予測タップ抽出部 6 2が構成する予測タップと同一のタップ構造の予測タップを構成する。

以上のようにして、予測タップ抽出部 7 4で得られた予測タップは、正規方程式加算部 7 7に供給される。

一方、クラスタップ抽出部 7 5は、注目画素のクラス分類に用いる生徒データを、生徒データメモリ 7 3から抽出し、これにより、図 3 3のクラスタップ抽出部 6 3における場合と同一構造のクラスタップを構成して、クラス分類部 7 6に供給する。

クラス分類部 7 6は、クラスタップ抽出部 7 5から、注目画素についてのクラスタップが供給されると、そのクラスタップを用い、図 3 3のクラス分類部 6 4 と同一のクラス分類を行い、注目画素のクラスを表すクラスコードを、正規方程式加算部 7 7に供給する。

正規方程式加算部 7 7は、教師データメモリ 7 1から、注目画素となっている教師データを読み出し、予測タップ抽出部 7 4からの予測タップを構成する生徒データ、および注目画素としての教師データを対象とした足し込みを、クラス分類部 7 6から供給されるクラスごとに行う。

即ち、正規方程式加算部 7 7は、クラス分類部 7 6から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（2 9 ) の行列 Aにおける各コンポーネントとなっている、生徒データどうしの乗算（x _{i n} X i J と、サメーシヨン（∑) に相当する演算を行う。

さらに、正規方程式加算部 7 7は、やはり、クラス分類部 7 6から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（2 9 ) のベクトル Vにおける各コンポーネントとなっている、生徒データと教師データの乗算（x _in y i) と、サメーシヨン（∑) に相当する演算を行う。

正規方程式加算部 7 7は、以上の足し込みを、教師データメモリ 7 1に記憶された教師データすベてを注目画素として行い、これにより、各クラスについて、式（3 0 ) に示した正規方程式をたてる。

その後、タップ係数決定部 7 8は、正規方程式加算部 7 7においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求め、係数メモリ 7 9の、各クラスに対応するアドレスに供給する。これにより、係数メモリ 7 9では、タップ係数決定部 7 8から供給されるクラスごとのタップ係数が記憶される。

なお、図 2 9 Aおよび図 2 9 Bの中間データのフォーマットは、原画像データを構成する画素に入射した光線の各方向（緯度 0 と経度 Ψによって特定される各方向）について、その方向に垂直な平面の各点ごとに、その点に入射する、平面と垂直な方向の光線に対応する画素値を表したものであるが、中間データは、その他、例えば、図 3 5 Aおよび図 3 5 Bに示すフォーマットとすることも可能である。

即ち、図 2 9 Aおよび図 2 9 Bのフォーマットでは、中間データが、緯度 0と経度 Φの値で区切られる緯度経度テーブル（図 2 9 A ) で表現され、さらに、その緯度経度テーブルの各マス目には、そのマス目に対応する緯度 0 と経度 ψで規定される平面 I ( 0 , ) 上に正射影された原画像データの画素の画素値が、その平面 I ( θ， φ ) 上に定義された 2次元座標系の各 X座標 χ _αと各 y座標 y _a ごとに配置された画素値テーブルが登録されている。

これに対して、図 3 5 Aおよび図 3 5 Bの中間データのフォーマットは、原画像データを構成する画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値を表したものとなつている。

即ち、図 3 5 Aおよび図 3 5 Bのフォーマットでは、中間データが、図 3 5 A に示すように、原画像データの画素の画素値が正射影される平面 I ( θ , φ ) 上に定義された 2次元座標系の X座標。と座標 y _αの値で区切られたテーブル (以下、適宜、座標テーブルという）で表現され、さらに、その座標テーブルの各マス目には、図 3 5 Βに示すように、そのマス目に対応する X座標 χ _αと y座標 y _αで規定される点に正射影された原画像データの画素値が、画素値が正射影される平面 I ( θ , ) を規定する各緯度 Θ と各経度 ψごとに配置されたテープノレ（このテーブルも、以下、適宜、画素値テーブルという）が登録される。

図 3 5 Αおよび図 3 5 Bのフォーマットでは、座標テーブルの 1つのマス目に、緯度 Θ と経度 ψが各値の平面における、同一座標の点に正射影された原画像データの画素値が配置されるため、図 3 2の画素値補間処理を行う場合に、図 2 9 A および図 2 9 Bのフォーマツトよりも有利である。即ち、図 32の画素値補間処理では、平面 I (θ， φ) 上のある点（x„， y J における画素値 I (θ , φ) (χ _α, yj が欠落している場合には、緯度または経度が僅かにずれた平面 I (0 ' ， φ ' ) 上の、点（χ_α, y J と同一座標の点における画素値 I (0 ' ， φ ' ) (χ_α, y j によって、欠落している画素値 I ( θ , φ) (χ_α1 yj が補間される。

従って、図 2 9 Aおよび図 29 Bのフォーマットの中間データでは、画素値補間処理を行うのに、緯度経度テーブル（図 29A) において、画素値の欠落がある平面 I (θ , φ) に対応するマス目とは別のマス目である、平面 I (Θ ' , φ ' ) に対応するマス目から、画素値 I (θ , , φ ' ) (x„, y J を読み出す必要がある。

これに対して、図 3 5 Aおよび図 3 5 Bのフォーマツトの中間データでは、座標テーブル（図 3 5A) において、各緯度 0と各経度 φの平面 I (θ， φ) 上における同一座標（x„， y J の点における画素値が、 1つのマス目に登録されているから、画素値補間処理を行うにあたっては、画素値の欠落がある平面 I (θ , ) 上の点（x _a, y„) に対応するマス目と同一のマス目から、画素値 I (θ ' , φ' ) (x _a, y J を読み出すことができる。即ち、この場合、座標テーブル（図 3 5A) において、画素値の欠落がある平面 I (θ， ) 上の点 (x„, y„) に対応するマス目と別のマス目にアクセスする必要がない。

次に、図 36のフローチャートと、図 3 7を参照して、図 5の中間データ変換部 32が、図 6のステップ S 3で行う中間データ変換処理、即ち、中間データを、ユーザの視点から見た画像データ（提示用画像データ）に変換する処理について説明する。

まず最初に、ステップ S 6 1において、中間データ変換部 3 2は、図 6のステップ S 2で設定されたユーザの視点 P。について、図 3 7に示すように、そのュ一ザの視点 P_eから、その視線方向に向かって、所定の距離 Lだけ離れた位置に、ユーザの視線と直交する長方形状の平面を、仮想スクリーンとして設定する。ここで、本実施の形態では、説明を簡単にするため、図 27で説明した画像データ変換処理では、被写体のある点（例えば、重心など）を原点とする撮像時座標系を用いて処理が行われるものとする。

さらに、中間データ変換処理では、ディスプレイ 6 (図 2 ) に、ユーザの視点に応じた画像を表示するための 3次元座標系が想定される。いま、この 3次元座標系を、表示時座標系というものとし、その原点は、例えば、ディスプレイ 6の表示画面の中心点（表示画面の対角線の交点）にとられるものとする。そして、ユーザの視線は、視点 P _eから、例えば、表示時座標系の原点に向かうものであるとする。

その後、ステップ S 6 2に進み、中間データ変換部 3 2は、ユーザの視点 P _c について設定した仮想スクリーン上の画素のうち、まだ注目画素として犟択していない画素を、注目画素 P _sとして選択する。

ステップ S 6 2の処理後は、ステップ S 6 3に進み、中間データ変換部 3 2は、注目画素 P _sを始点とし、ユーザの視点 P _cを終点とするベクトル Vを求め、ステップ S 6 4に進む。

ここで、図 3 7の実施の形態では、べクトノレ Vは、表示時座標系において、 X z平面内のべクトルであって、 X y平面から z軸方向に角度 Θの方向を有するものとなつている。即ち、図 3 7の実施の形態では、ベクトノレ Vは、緯度が 0で、経度が 0度の方向のベタトルになっている。

また、図 3 7の実施の形態では、ユーザの視線方向が、上述したように、ユーザの視点 P _eから表示時座標系の原点を通るものとなっているが、ユーザの視線方向は、必ずしも、表示時座標系の原点を通る必要はない。即ち、ユーザの視線方向は、何らかの方法で検出するようにすることができる。

さらに、図 3 7では、図 2 8における場合と同様に、被写体を囲む曲面 Ωとして、閉曲面である球面を示してある。

ステップ S 6 4では、中間データ変換部 3 2は、ベクトル Vと直交し、表示時座標系上の所定の点としての原点を通る平面 αを求め、ステップ S 6 5に進む。ここで、平面 αは、必ずしも、原点を通るものである必要はない。ステップ S 6 5では、中間データ変換部 3 2は、ステップ S 6 3で求めたベタトル Vの緯度 0および経度 φを求め、即ち、ベタトル Vと X y平面とがっくる角度である緯度 Θ、およびべクトル Vと X z平面とがっくる角度である経度 ψを求め、ステップ S 6 6に進む。

ここで、ベクトル Vの緯度 Θおよび経度 φは、ステップ S 6 4で求められた平面 αの法線方向の緯度 Θおよび経度 φでもある。従って、所定の点としての原点を通る平面 αは、その緯度 0 と経度 φによって特定することができるので、この緯度 Θ と経度 φによって特定される平面 αを、画像データ変換処理における場合と同様に、以下、適宜、平面 I ( θ , φ) とも記述する。

ステップ S 6 6では、中間データ変換部 3 2は、図 3 7に示すように、ユーザの視点 P_eと注目画素 P_sとを結ぶ直線 L_pを求める。さらに、ステップ S 6 6では、中間データ変換部 3 2は、直線 L_pと、ステップ S 6 4で求めた平面 α ( I

( θ , φ) ) との交点 Ρ_χを求め、ステップ S 6 7に進み、その点 Ρ_χの、平面 α 上の 2次元座標系における座標（χ _α， y J を求める。

ここで、平面 α上における点 P_xの座標（x _a, y J は、図 2 7のステップ S 2 7における場合と同様にして求めることができる。

なお、ユーザの視点 P_cからの視線方向が、表示時座標系の原点を通らない場合は、例えば、図 2 7のステップ S 2 7で説明した場合と同様に、その視線方向の直線と平面 αとの交点の、平面 α上の 2次元座標系の座標の分だけ、点 Ρ_χの座標（χ _α， y J をオフセットする必要がある。

その後、ステップ S 6 8に進み、中間データ変換部 3 2は、仮想スクリーン上の注目画素 P_sの画素値として、平面 α上の点 P_xの位置の画素の画素値をセットする。即ち、平面 αが、緯度 6と経度 ψで特定される平面 I ( θ , φ) であり、平面 α上の点 Ρ_χの座標が、（χ _α， y _α) である場合、中間データ変換部 3 2は、中間データベースから、画素値 I (θ , φ) (x _a, y j を読み出し、その画素値（0 , φ) (x «, y J を、注目画素 P_sの画素値としてセットする。

そして、ステップ S 6 9に進み、中間データ変換部 3 2は、ユーザの視点 P„ に対して設定された仮想スクリーン上のすべての画素を注目画素としたかどう力を判定し、まだ、注目画素としていないものがあると判定した場合、ステップ S 6 2に戻り、以下、同様の処理が繰り返される。

また、ステップ S 6 9において、仮想スクリーン上のすべての画素を注目画素としたと判定された場合、即ち、仮想スクリーン上に、ユーザの視点から見た画像データ（提示用画像データ）が形成された場合、処理を終了する。

以上のようにして得られた提示用画像データは、上述した図 6のステップ S 4 において、ディスプレイ 6に表示される。

従って、ディスプレイ 6には、ユーザの視点から被写体を見た場合の画像データが表示されることになる。

以上のように、原画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、原画像データを、ユーザの視点から見える提示用画像データに変換するようにしたので、実写の画像であっても、容易に、ュ一ザの視点に応じて変化させることができる。即ち、ユーザが、その視点を動かすことにより、ディスプレイ 6には、ユーザが現実世界において被写体を観察している場合にユーザの視覚に映るのと同様の画像が表示される。

具体的には、例えば、ユーザが、ディスプレイ 6に向かって、左または右方向に視点を移動した場合には、ディスプレイ 6には、ユーザが視点を動かす前に表示されていた被写体の左側面側または右側面側が見える画像が表示される。また、例えば、ユーザが、ディスプレイ 6に対して近づく方向または遠ざかる方向に視点を移動した場合には、ディスプレイ 6には、ユーザが視点を動かす前に表示されていた被写体が大きくまたは小さくなった画像が表示される。

その結果、ユーザは、被写体としての物体が、実際に、その場にあるかのような感覚を享受することができる。

また、図 5の画像処理装置 1によれば、例えば、宇宙空間の画像データや、分子などのミクロの構造の画像データなどを、原画像データとして、図 6の画像処理を行うようにすることにより、通常は視認することができない構造を、ユーザが直感的に把握することができるインタフェースの提供が可能となる。

さらに、図 5の画像処理装置 1では、原画像データを、被写体を無限遠の各方向から観察した中間データに変換しておくようにしたので、その中間データから、ユーザの視点に応じた提示用画像データを、容易に生成することができる。

なお、中間データは、別の被写体について、独立に生成しておき、図 3 6の中間データ変換処理において、提示用画像データを生成する過程で、その別々の被写体の画像を合成するようにすることも可能である。

また、中間データについては、図 3 6の中間データ変換処理の対象とする前に、その一部を削除したり、その一部に、他の中間データ等の画像データを追加する等の編集を行うことが可能である。

さらに、図 5の画像処理装置 1において処理の対象とする画像は、実写の画像に限定されるものではない。

また、上述の場合には、ユーザの位置を検出し、その位置に、ユーザの視点を設定して（ユーザの視点があるものとして）、図 3 6の中間データ変換処理を行うようにしたが、ユーザの視点は、図 5の画像処理装置 1において、仮想的に任意の位置に設定することが可能である。

仮想的なユーザの視点の設定方法としては、例えば、表示時座標系の原点を中心とする、所定の平面上に描かれる所定の半径の円の円周上を、順次移動するように設定することが挙げられる。この場合、ディスプレイ 6には、被写体の周囲をパン（pan)しながら撮像を行ったかのような画像が表示されることになる。

また、ユーザの視点は、例えば、表示時座標系の原点を通る直線上を、一方向に移動するように設定することが可能である。この場合、ディスプレイ 6には、被写体に近づきながら、または被写体から遠ざかりながら撮像を行ったかのような画像が表示されることになる。

さらに、上述の場合には、静止している被写体を、その被写体をモーションべ —ス方式やターンテーブル方式で動かしながら、カメラ 4 1で撮像することにより、多数の視点から撮像した被写体の原画像データを得るようにしたが、図 5の画像処理装置 1では、動きのある被写体の画像を対象に処理を行うことも可能である。これは、例えば、複数のカメラによって、複数の視点から、動いている被写体の画像データを同時に撮像するとともに、その複数のカメラそれぞれによつて撮像された各フレームの画像データについて、フレームごとに、中間データを生成し、さらに、表示時にも、フレームごとに、そのフレームの中間データを用いて、提示用画像データを生成することで実現することができる。但し、この方法以外の方法でも良い。

次に、図 3 8は、図 3のコンピュータ 1がプログラムを実行することにより実現される画像処理装置の他の機能的構成例を示している。なお、図中、図 5における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図 3 8の画像処理装置 1は、再生フレーム管理部 3 4が新たに設けられている他は、図 5における場合とほぼ同様に構成されている。

伹し、図 3 8の実施の形態においては、画像データベース 2には、カメラを、直線的に移動しながら撮像された画像データが記憶されている。即ち、画像データベース 2には、例えば、カメラを等速直線運動させながら撮像を行った映画のシーンや、一定速度で走行する自動車や列車の車窓からカメラによる撮像を行つた画像データなどが記憶されている。

このため、図 3 8の実施の形態では、ディスプレイ 6に表示される画像データのフレームを管理するため、再生フレーム管理部 3 4が設けられている。即ち、再生フレーム管理部 3 4は、中間データに変換された原画像データのフレーム (またはフィールド）数を、画像データ変換部 3 1から受信し、また、ディスプレイ 6に表示させる提示用画像データのフレームを、中間データ変換部 3 2に指示する。

ここで、図 3 8の実施の形態において、画像データベース 2に記憶されている画像データは、等価的に、カメラを、直線的に移動しながら撮像されたものであれば良く、従って、例えば、カメラを固定して、被写体を直線的に移動しながら撮像を行うことにより得られたものであっても良い。

図 3 8の画像処理装置 1においても、図 5の実施の形態における場合と同様の原理によって、画像データベース 2に記憶された原画像データが、ユーザの視点から見た画像データ（提示用画像データ）に変換される。

即ち、画像データベース 2に記憶された原画像データは、カメラを、例えば、等速直線運動する列車に固定して撮像したもの、即ち、列車が走行する方向に、カメラの視点を移動しながら撮像したものであり、従って、原画像データは、図 3 9 Aに示すように、地球の経度の各方向の光線に対応する画素値を含む。ここで、図 3 9 Aでは、 3つの方向 # 1乃至 # 3の光線を示している。

一方、ある視点から被写体を見た場合の画像データは、被写体から視点に向かう光線に対応する画素値で構成される。従って、いま、光線は直進し、かつ減衰しないものとすると、列車が走行する軌跡と平行な直線上のある視点から被写体を見た場合の画像データである提示用画像データは、図 3 9 Bに示すように、被写体から視点に向かう光線に対応する画素値でなる画像データを、図 3 9 Aに示した各方向の光線に対応する画素値を含む原画像データから再構成することで得ることができる。

図 3 8の画像処理装置 1では、上述の原理にしたがい、原画像データが、列車の走行軌跡と平行な直線上のユーザの視点から見た画像データ（提示用画像データ）に変換される。

なお、ここでは、画像データベース 2に記憶された原画像データは、列車が走行する方向に、カメラの視点を移動しながら撮像したものであるため、図 3 8の画像処理装置 1において得られる提示用画像データは、上述のような原画像データが撮像されたときの光線情報から構成することができるものに限られる。即ち、図 3 8の画像処理装置 1において得られる提示用画像データには、列車が走行する平面と垂直な方向へのユーザの視点の移動は反映されない（反映することができない）。

次に、図 4 0のフローチャートを参照して、図 3 8の画像処理装置（コンビュータ） 1による画像処理について説明する。

まず最初に、ステップ S 8 1において、データ変換部 3 1は、画像データべ一ス 2から原画像データを読み出し、中間データに変換する。さらに、ステップ S 8 1では、データ変換部 3 1は、中間データを、中間データベース 3に供給して記憶させ、ステップ S 8 2に進む。

ステップ S 8 2では、画像データ変換部 3 1は、ステップ S 8 1において中間データに変換した原画像データのフレーム数 F _numを、再生フレーム管理部 3 4 に供給し、再生フレーム管理部 3 4は、そのフレーム数 F _numを取得する。

そして、ステップ S 8 3に進み、再生フレーム管理部 3 4は、再生対象のフレームを表す変数 nを、例えば、 1に初期化し、処理対象のフレームを表すフレーム情報として、中間データ変換部 3 2に供給して、ステップ S 8 4に進む。

ステップ S 8 4では、センサ制御部 3 3が、レシーバ 4 (図 2 ) の出力から、ユーザの位置を検出し、さらに、そのユーザの位置を、ユーザの視点に設定して、中間データ変換部 3 2に供給する。

そして、ステップ S 8 5に進み、中間データ変換部 3 2は、再生フレーム管理部 3 4から供給されるフレーム情報に基づいて、処理対象が第 nフレームであることを認識し、さらに、センサ制御部 3 3から供給されるユーザの視点に基づいて、中間データを、処理対象である第 nフレームの提示用画像データに変換し、ステップ S 8 6に進む。

ステップ S 8 6では、中間データ変換部 3 2は、第 nフレームの提示用画像データを、ディスプレイ 6に供給して表示させ、ステップ S 8 7に進む。

ステップ S 8 7では、再生フレーム管理部 3 4は、変数 nが、原画像データの全フレーム数 F _numに等しいかどうかを判定する。ステップ S 8 7において、変数 nが、全フレーム数 F _nuraに等しくないと判定された場合、ステップ S 8 8に進み、例えば、ユーザが、画像処理を終了するように、入力部 1 7 (図 3 ) を操作したかどうかを、 CPU 1 2 (図 3 ) が判定する。ステップ S 8 8において、画像処理を終了するように、入力部 1 7が操作されていないと判定された場合、ステツプ S 8 9に進み、再生フレーム管理部 3 4は、変数 nを 1だけインクリメントし、対応するフレーム情報を、中間データ変換部 3 2に供給する。そして、ステツプ S 8 4に戻り、以下、同様の処理が繰り返される。

一方、ステップ S 8 7において、変数 nが、全フレーム数 F _numに等しいと判定されるカまたは、ステップ S 8 8において、画像処理を終了するように、入力部 1 7が操作されたと判定された場合、処理を終了する。

なお、図 4 0の画像処理が、過去に実行され、これにより、画像データベース 2に記憶されている原画像データを変換した中間データが、中間データベース 3 に、既に記憶されている場合には、ステップ S 8 1および S 8 2の処理は、スキップすることができる。

次に、図 3 8の実施の形態でのデータ変換部 3 0 (を構成する画像データ変換部 3 1および中間データ変換部 3 2 ) の処理について説明する。

なお、画像データベース 2に記憶された原画像データは、例えば、図 4 1に示すように、ほぼ等速直線運動をしている列車の車窓に固定されたカメラによって撮像されたものとする。図 4 1に示した場合においては、カメラでは、近景（例えば、カメラから比較的近くにある樹木などの物体）と遠景（例えば、カメラから遠くにある空などの景色）が撮像されている。

ここで、図 4 1においては、列車が走行する平面（あるいはその平面と平行な平面）上において、列車の走行方向に対して垂直な方向を基線とし、その基線に対して、反時計回り方向に角度 φ。だけ傾いた方向が光軸方向となるように、力メラが固定されている。なお、列車が走行する平面上において、その列車に固定されたカメラのレンズ中心から反時計回り方向に、基線に対してつくられる角度を、以下、適宜、偏角という。この偏角は、上述の経度に相当する。

即ち、ここでは、列車が、平面上を、直線的に移動することとしているため、その平面を、地球の赤道上の平面と考えると、列車に固定されたカメラの視点は、緯度方向には移動せず、経度方向にのみ移動する。従って、そのようなカメラによって撮像された原画像データについては、基本的には、上述の緯度と経度のうち、経度だけに注目すれば良く、緯度は無視できることになる。

図 4 1では、列車の走行方向に向かって右側に、被写体となる複数の物体（例えば、樹木など）があり、さらに、その被写体となる複数の物体は、列車の走行方向に沿って存在している。従って、図 4 1の実施の形態では、被写体となる複数の物体は、列車の走行軌跡に対して等距離の位置に存在している。

この場合、カメラの光学中心を通る基線上にある被写体の、カメラから見た速度を V。と表すこととすると、その基線から角度（偏角） φの方向にある被写体の、カメラから見た速度は、 V。c o s で表すことができる。

従って、カメラによって撮像される画像データ、即ち、カメラの光軸と垂直な仮想スクリーン上に表示される画像データにおいては、右側に表示された被写体力左側に表示された被写体よりも高速に移動する。

図 4 1では、列車が、図中上方向に走行している。従って、その列車の車窓に固定されたカメラによれば、例えば、図 4 2に示すように、画像データが撮像される。

即ち、いまの場合、列車は等速直線運動をしているから、その列車に固定されているカメラも等速直線運動をし、これにより、カメラでは、そのレンズ中心が、列車の走行方向に等間隔で移動しながら、各フレームの画像データが撮像される。いま、カメラで撮像された各フレームの画像データにおいて、ある偏角 ci^の方向に注目すると、その偏角 <^の方向の光線に対応する画素値は、各フレームの画像データに存在する。従って、各フレームの画像データから、偏角の方向の光線に対応する画素値を集めることで、その偏角の方向の無限遠から見た画像デ一タである中間データを生成することができる。

即ち、カメラで撮像された各フレームの画像データから、偏角の方向にある列の画素（偏角の方向にある、垂直方向に並ぶ画素）の並びを切り出し、各フレームから切り出した 1列の画素の画素値を、フレーム順に、右から左方向に並べることで、偏角の方向の無限遠から見た画像データである中間データを生成することができる。ところで、上述のように、カメラで撮像された各フレームの画像データから、偏角 Θ iの方向にある列の画素を切り出して並べることにより、偏角の方向の無限遠から見た画像データ（中間データ）を生成すると、その画像データは、 1 フレームの間にカメラが移動する移動距離に対応する間隔だけ、画素が存在しないものとなることがある。

即ち、 1フレームの間にカメラが移動する移動距離が、 1画素の横の長さを越える場合、あるフレームの画像データにおける偏角の方向にある列の画素と、その次のフレームの画像データにおける偏角（ί^の方向にある画素との間には、 1画素を越える間隔が生じ、中間データとしての画像データも、そのような間隔の空いたものとなる。

そこで、そのような間隔が生じるのを防止するため、カメラで撮像された各フレームの画像データからの画素の切り出しは、行方向（水平方向）に、ある程度の幅のある形で行うことができる。

即ち、カメラで撮像された各フレームの画像データからは、例えば、図 4 2に示すように、ある偏角から、微小角度土 δ φの範囲の方向にある複数列の画素を切り出すようにすることができる。いま、この偏角から、微小角度土 δ φの範囲の方向にある複数列の画素でなる短冊状の画像を、偏角 0 iについての短冊画像というものとすると、偏角の方向の無限遠から見た画像データである中間データの生成（再構成）は、図 4 3に示すように、カメラで撮像された各フレームの画像データから、偏角についての短冊画像が切り出され、フレーム順に、右から左方向に配置されることで行われる。

なお、図 4 3に示した中間データの列方向（垂直方向）の長さは、カメラで撮像された画像データのフレームの画素の行数（列方向の画素数）で決まるが、その行方向（水平方向）の長さは、カメラで撮像された画像データのフレーム数に依存する。

図 3 8のデータ変換部 3 0における画像データ変換部 3 1では、上述のようにして、各偏角の方向の無限遠から見た中間データが生成される。即ち、いま、列車に固定されたカメラで撮像された画像データが、例えば、図 4 4に示すように、樹木がある風景が、画面上を左から右方向に移動していくものである場合には、例えば、図 4 5 A乃至図 4 5 Eに示すような中間データが生成される。

ここで、図 4 5 A乃至図 4 5 Eは、図 4 5 Aに示すような 4つの方向 # 1乃至 # 4の無限遠から見た画像データである中間データを示している。即ち、図 4 5 B乃至図 4 5 Eは、図 4 5 Aにおける方向 # 1乃至 # 4の無限遠それぞれから見た画像データである中間データを示している。

次に、図 4 6のフローチャートと、図 4 7を参照して、図 3 8の画像データ変換部 3 1が、図 4 0のステップ S 8 1で行う画像データ変換処理、即ち、原画像データを中間データに変換する処理について説明する。

まず最初に、ステップ S 1 0 1において、画像データ変換部 3 1は、画像データベース 2に記憶された原画像データのフレーム数をカウントする変数 F _numに、初期値としての、例えば 1をセットして、ステップ S 1 0 2に進む。

ステップ S 1 0 2では、画像データベース 2に記憶された原画像データを撮像したときのカメラの視点（撮像ポイント）から、注目撮像ポイント P _cとするものを選択する。

即ち、図 3 8の実施の形態においては、画像データベース 2に記憶された原画像データは、図 4 1および図 4 2で説明したように、等速直線運動する列車に固定されたカメラによって撮像されたものであるから、図 4 7に示すように、列車の走行方向に沿った直線上には、多数の撮像ポイントが存在すする。ステップ S 1 0 2では、その多数の撮像ポイントの中から、第 F フレームの原画像データをカメラで撮像したときの撮像ボイントが、注目撮像ボイント P _eとして選択される。なお、図 3 8では、第 n— 1 フレーム、第 nフレーム、および第 n + 1 フレームの 3つのフレームそれぞれについての撮像ポィントを示してある。

ここで、図 3 8の実施の形態においては、画像データベース 2には、列車に固定されたカメラによって撮像された原画像データの他、図 7の画像生成装置で撮像された原画像データにおける場合と同様に、現実世界にあらかじめ設定された 3次元座標系である撮像時座標系における、列車に固定されたカメラの撮像ボイントも記憶されているものとする。この場合、ステップ S 1 0 2において、画像データ変換部 3 1は、画像データベース 2から、第 F _numフレームの画像データについての撮像ポイントを、注目撮像ポイント P _eとして読み出す。なお、図 4 7では、撮像時座標系として、左方向に X軸が、上方向に y軸が、紙面と垂直な手前方向に z軸が、それぞれとられている。

その後、ステップ S 1 0 3に進み、画像データ変換部 3 1は、注目撮像ポイント P _cについて、仮想スクリーンを設定し、仮想スクリーン上の垂直方向の画素の列のうち、まだ注目列として選択していない画素列を、注目列として選択する。即ち、画像データ変換部 3 1は、図 4 7に示すように、注目撮像ポイント P _c について、その注目撮像ポイント P _cから、カメラの光軸方向に向かって、所定の距離 Lだけ離れた位置に、列車に固定されたカメラの光軸と直交する長方形状の平面を、仮想スクリーンとして設定する。そして、画像データ変換部 3 1は、仮想スクリーン上の画素のうち、例えば、左から右方向の順番で、まだ注目列として選択していない画素列を、注目列として選択する。

ここで、図 4 7では、カメラの光軸と基線が一致しているが、即ち、カメラの光軸が、基線から 0度の方向になっているが、カメラの光軸は、基線から任意の偏角 0。の方向にとることが可能である。なお、カメラの光軸の方向は、基線からの偏角 Θ。が何度の方向であっても良いが、その偏角 Θ。が何度であるかは、ここでは、データ変換部 3 0において、あらかじめ認識されているものとする。ステップ S 1 0 3において注目列が選択された後は、ステップ S 1 0 4に進み、画像データ変換部 3 1は、その注目列を構成する画素のうちの、例えば最上行の画素を注目画素 P _sとして選択する。

ここで、注目画素 P _sは、注目列を構成する画素のうちの最上行の画素に限定されるものではなく、任意の行の画素を、注目画素として選択することが可能である。ステップ S 1 04において注目画素 P_sが選択された後は、ステップ S 105 に進み、画像データ変換部 3 1は、注目撮像ポイント P。を始点とし、注目画素 P_sを終点とするベタトル Vを求め、ステップ S 1 06に進む。

ステップ S 106では、画像データ変換部 3 1は、図 4 7に示すように、ステップ S 105で求められたベタトル Vと直交し、撮像時座標系上の所定の点 P_f を通る平面 αを求め、ステップ S 10 7に進む。

ステップ S 1 07では、画像データ変換部 3 1は、ステップ S 1 05で求めたべクトノレ Vの、基線に対する偏角 φを求め、ステップ S 1 08に進む。即ち、本来ならば、図 2 7の実施の形態における場合と同様に、ベクトル Vの緯度と経度を求める必要がある。ここでは、上述したように、経度方向にしか移動しない力メラによって原画像データが撮像されているので、緯度は無視することができ、経度のみを考慮すれば足りる。そこで、ステップ S 1 07では、ベクトル Vの経度に相当する、基線に対する偏角 Φが求められる。

ここで、べクトル Vの偏角 φは、ステップ S 1 06で求められた平面 αの法線の偏角 φということもできる。また、平面 ctの法線の方向は、緯度と経度で特定されるが、ここでは、上述したように、緯度は無視することができる（緯度は、任意の固定の値とすることができる）。従って、所定の点 P_f を通る平面 αは、その法線の経度に相当する偏角 φによって特定することができるので、この偏角 φによって特定される平面 αを、以下、適宜、平面 I (Φ) とも記述する。

なお、偏角 ψの符号については、撮像ポイントを中心として、列車が走行する平面（図 47の実施の形態では、 x y平面）内における、左回り方向を、正とする。

ステップ S 1 08では、画像データ変換部 3 1は、図 4 7に示すように、注目撮像ポイントと注目画素 P_sとを結ぶ直線 L_pを求める。さらに、ステップ S 1 08では、画像データ変換部 3 1は、直線 L_pと、ステップ S 106で求めた平面 α ( I (φ) ) との交点 Ρ_χを求め、ステップ S 10 9に進み、その点 Ρ_χの、平面 α上における座標（x„， y J を求める。ここで、ステップ S I 0 9では、平面 I (φ) 上において、例えば、その平面 I (Φ) が必ず通る所定の点 P_fを原点とするとともに、撮像時座標系の X軸と z軸を平面 I (φ) 上に写像して得られる軸を、それぞれ X軸と y軸とする 2次元座標系が定義され、その 2次元座標系における点 P_xの座標（x _a， y J が求められる。なお、平面 I (φ) 上に定義される 2次元座標系は、上述したものに限定されない。

その後、ステップ S 1 1 0に進み、画像データ変換部 3 1は、仮想スクリーン上の第 F_numフレームの原画像データの注目列を、平面 I (φ) 上に射影する。即ち、いま、平面 I (Φ) 上の点 P_xの位置の画素の画素値を、平面 I (Φ) と、平面 I (φ) 上の点 P_xの座標を表す（x _a， y J とによって、 I ίφ)

(χ _α， y J と表すこととするとともに、注目列が、 N画素で構成されるものとする。この場合、画像データ変換部 3 1は、仮想スクリーン上の第 F瞧フレームの原画像データの注目列における第 1行の画素の画素値を、平面 I (φ) 上の画素値 I (Φ) (x _a, y _a) に、注目列における第 2行の画素の画素値を、平面 I (φ) 上の画素値 I (Φ) (x _a, y _a+ l ) に、 · · ·、注目列における第 N行の画素の画素値を、平面 I ( φ) 上の画素値 I ( φ) (x _a， y _a + (N— 1) ) に、それぞれセットする。

そして、ステップ S 1 1 1進み、画像データ変換部 3 1は、注目撮像ポイント P_eに対して設定された仮想スクリーン上の原画像データのすべての画素列を注目列としたかどうかを判定し、まだ、注目列としていないが画素列があると判定した場合、ステップ S 1 0 3に戻り、以下、同様の処理が繰り返される。

また、ステップ S 1 1 1において、仮想スクリーン上のすべての画素列を注目列としたと判定された場合、ステップ S 1 1 2に進み、画像データ変換部 3 1は、第 F_nuraフレームの次のフレームの原画像データが存在するかどうかを、画像デ —タベース 2を参照することにより判定する。ステップ S 1 1 2において、第 F _numフレームの次のフレームの原画像データが存在すると判定された場合、ステップ S 1 1 3に進み、画像データ変換部 3 1は、変数 F瞧を 1だけインクリメントして、ステップ S I 0 2に戻り、以下、同様の処理を繰り返す。

また、ステップ S 1 1 2において、第 F _numフレームの次のフレームの原画像デーダが存在しないと判定された場合、即ち、画像データベース 2に記憶されたすべてのフレームの画像データを、各偏角 φの平面 I ( Φ ) に正射影した画像データとしての中間データが得られた場合、処理を終了する。

なお、以上の画像データ変換処理により得られた中間データは、画像データ変換部 3 1から中間データベース 3に供給されて記憶される。

また、図 4 6の画像データ変換処理において最終的に得られた原画像データのフレーム数 F瞧は、図 4 0で説明したように、ステップ S 8 2において、画像データ変換部 3 1から再生フレーム管理部 3 4に供給される。

次に、図 4 8 Aおよび図 4 8 Bは、図 4 6の画像データ変換処理により生成される中間データのフォーマツトを模式的に表している。

図 4 6の画像データ変換処理によって生成される中間データは、平面 I ( 上に、偏角 Φで規定される方向の無限遠から被写体を見た場合の画像データとなつており、従って、各値の偏角 φごとに存在するので、図 4 8 Aに示すような、偏角 φの値で区切られるテーブル（以下、適宜、偏角テーブルという）で表現することができる。

即ち、図 4 6の画像データ変換処理は、基本的には、図 2 7の画像データ変換処理における緯度を無視した処理と同様であり、その結果得られる中間データは、図 2 7の画像データ変換処理によって得られる図 2 9 Aの緯度経度テーブルにおける緯度を無視したものとなっている。即ち、図 4 6の画像データ変換処理により得られる図 4 8 Aの偏角テーブルは、図 2 9 Aの緯度経度テーブルにおける緯度方向の軸がなく、経度に相当する偏角方向の軸のみがあるものとなっている。ここで、図 4 8 Aの実施の形態では、偏角 ψが、最小値 < _inから最大値 c _ax の範囲の 1度刻みで変化する平面 I ( Φ ) ごとに、各偏角 φで規定される方向の無限遠から被写体を見た場合の画像データが、偏角テーブルの各マス目に登録されている。なお、偏角 Φを、何度刻みとするかや、その刻み幅は、図 2 9 Aの緯度経度テーブルにおける場合と同様に特に限定されるものではない。また、偏角テ一ブルにおける偏角 φの最小値 φ _minおよび最大値 φ ^は、列車に固定されたカメラの光軸の偏角、およびそのカメラの水平方向の画角に依存する。

図 4 8 Aの偏角テーブルの各マス目には、そのマス目に対応する偏角 φで規定される方向の無限遠から被写体を見た場合の画像データ、即ち、平面 I ( Φ ) 上に（緯度を無視して）射影された原画像データの画素の画素値が、その平面 I.

( Φ ) 上に定義された 2次元座標系の各 X座標 X。と各 y座標 y _αごとに登録されている。即ち、図 4 8 Αの偏角テーブルの各マス目には、例えば、図 4 8 Bに示すように、平面 I ( φ ) 上に定義された 2次元座標系の X座標 X _αと y座標 y _αの値で区切られたテーブル（画素値テーブル）が登録されており、その画素値テーブルのマス目には、そのマス目に対応する X座標 χ _αと y座標 y _αで規定される点に射影された原画像データの画素の画素値 P ( x _a， y J が登録されている。

なお、図 4 8 Bにおいて、 _{X l}と _{y i}は、図 2 9 Bにおける場合と同様に、原画像データの画素を平面 I ( ψ ) 上に正射影した点の、最小の X座標と y座標を、それぞれ表す。また、 χ ₂と y ₂も、図 2 9 Bにおける場合と同様に、原画像データの画素を平面 I ( Φ ) 上に正射影した点の、最大の X座標と y座標を、それぞれ表す。

ところで、上述したように、列車に固定されたカメラで撮像された各フレームの原画像データから、ある偏角 φの方向にある列の画素を、平面 I ( Φ ) に射影することにより、偏角 <ί>の方向の無限遠から見た画像データである中間データを生成した場合、その中間データとしての画像データにおいては、 1フレームの間にカメラが移動する移動距離に対応する間隔だけ、画素が存在しないものとなること、即ち、画素値の欠落が生じることがある。

そこで、図 3 8の画像処理装置 1においても、図 5の画像処理装置 1における場合と同様に、画素値補間処理を行うようにすることができる。

そこで、図 4 9のフローチャートを参照して、図 3 8の画像処理装置 1で行われる画素値補間処理について説明する。なお、この画素値補間処理は、図 3 2における場合と同様に、画像データ変換部 3 1に行わせても良いし、中間データ変換部 3 2に行わせても良い。ここでは、例えば、画像データ変換部 3 1が行うものとして、画素値補間処理を説明する。

図 4 9の画素値補間処理では、まず最初に、ステップ S 1 2 1において、画像データ変換部 3 1が、偏角を表す変数に、初期値としての、例えば、その最小値である <i>_minをセットするとともに、平面 I (Φ) の X座標を表す変数 X。に、初期値としての、例えば、その最小値である _{X l}をセットする。

そして、ステップ S 1 2 2に進み、画像データ変換部 3 1は、中間データ I (φ) (x _a， _{y i}) に、画素値がセットされているかどうかを、図 3 2のステツプ S 4 2における場合と同様にして判定する。

ここで、上述の場合には、ステップ S 1 2 2において画素値がセットされているかどうかを判定する対象（以下、適宜、画素値判定対象という）を、中間データ I (φ) (x„， _{Y l}) としたが、即ち、平面 I ( Φ ) 上の座標（χ _α， y の画素としたが、画素値判定対象としては、 y座標 y _aが、その最小値 _{y i}から最大値 y₂の範囲の任意の値の画素を採用することができる。

即ち、図 4 6および図 4 7で説明した画像データ変換処理によって得られる中間データにおいては、平面 I (Φ) 上の座標（x _a, y ,) 乃至（x。， y₂) で表される列には、図 4 6のステップ S 1 1 0において、一度に、原画像データの画素値がセットされる。従って、平面 I (Ψ ) 上の座標（x _a， y _t) 乃至（x _a, y₂) で表される列における、ある 1画素に画素値がセットされていない場合には、その列の他の画素にも画素ィ直がセットされていないこととなるから、画素ィ直判定対象としては、 y座標 y。が、その最小値 _yiから最大値 y₂の範囲の任意の値の画素を採用することができる。

ステップ S 1 2 2において、中間データ I ) (x _a, _{y i}) に、画素値がセットされていると判定された場合、即ち、画素値が欠落していない場合、ステツプ S 1 2 3および S 1 2 4をスキップして、ステップ S 1 2 5に進む。また、ステップ S 1 2 2において、中間データ I ( φ ) ( x _{0 ) Y l}) に、画素値がセットされていないと判定された場合、即ち、画素値が欠落している場合、ステップ S 1 2 3に進み、画像データ変換部 3 1は、 φ -Α φ < φ ' < φ +Δ φ の範囲の偏角 Ψ ' で規定される平面 I ( Φ ' ) 上の点（χ _α , y ₁) の中で、画素値がセットされているものを探索（検索）する。

ここで、 Δ φとしては、例えば、図 3 2における場合と同様に、小さい正の整数値が採用される。

その後、ステップ S 1 2 4に進み、画像データ変換部 3 1は、ステップ S 1 2 3で探索された、画素値がセットされている中間データ I ( Φ , ) ( x _a, _{V l}) の列の各画素値 I ( φ ' ) ( χ _α， _{y i}) 乃至 I ( φ ' ) ( χ _α， y₂) を、欠落している画素値である中間データ I ( Φ ) ( χ «, y j の列の各画素値 I ( Φ )

( X „ , _{Y l}) 乃至（X _α, y ₂) にセットして、ステップ S 1 2 5に進む。なお、原画像データのフレームの垂直方向の画素数が、上述したように N画素であれば、 y₂は、 y !+ (N- 1 ) で表される。

ここで、ステップ S 1 2 3において、 φ — Δ φく φ ' く ψ +△ ψの範囲の偏角 Φ ' で規定される平面 I ( Φ ' ) 上の点（χ _α, y の中で、画素値がセットされているものが複数見つかった場合には、ステップ S 1 2 4では、画像データ変換部 3 1は、その中から、例えば、偏角の差の絶対値 I φ — φ， Iが最も小さいものを選択し、その選択した I ( φ ' ) ( χ _α, _Yl) の列の各画素値 I ( Φ ' ) ( χ _α, _Υι) 乃至 I ( φ， ) ( χ _{0 )} y₂) を、各画素値 I ( Φ ) ( χ _α, ' y ₁) 乃至（ _a , y ₂) にッする。

また、ステップ S 1 2 3において、 φ —^ φく φ ' く ψ +△ ψの範囲の偏角 Φ ' で規定される平面 I ( Φ ' ) 上の点（χ _α, y _t) の中で、画素値がセットされているものが見つからなかった場合には、ステップ S 1 2 4では、画像データ変換部 3 1は、平面 I ( φ ) 上の画素値がセットされている画素の中から、座標 ( x „, _{Y l}) と最も近い画素を検索し、その画素の列の各画素の画素値を、各画素値 I ( φ ) ( χ _α, _{Υ ι}) 乃至（χ _α, y₂) にセットする。なお、図 4 9の画素値補間処理でも、図 3 2における場合と同様に、平面 I ( ) 上の、画素値がセットされていない点（x _a, y J に、画素値が補間されるから、その処理が進行していくと、画素値が補間された点における画素値によって、さらに、他の点における画素値が補間されることが生じうる。これを防止するためには、例えば、図 3 2における場合と同様に、画素値の補間がされた点に、補間がされたことを表す補間フラグを付加するようにし、補間フラグが付加されている点における画素値は、補間に用いないようにする（ステップ S 1 2 3における探索の対象外とする）必要がある。

ステップ S 1 2 5では、画像データ変換部 3 1が、平面 I (φ) 上の X座標を表す変数 χ _αが、その最大値である x₂に等しいかどうかを判定する。ステップ S 1 2 5において、 X座標 χ _αが、最大値 χ ₂に等しくないと判定された場合、ステップ S 1 2 6に進み、画像データ変換部 3 1は、 X座標 χ _αを 1だけインクリメントして、ステップ S 1 2 2に戻り、以下、同様の処理を繰り返す。

また、ステップ S 1 2 5において、 X座標 χ _αが、最大値 χ₂に等しいと判定された場合、ステップ S 1 2 7に進み、画像データ変換部 3 1は、 X座標 χ。を、その最小値であるにリセットして、ステップ S 1 2 8に進む。

ステップ S 1 2 8では、画像データ変換部 3 1は、偏角を表す変数が、その最大値である < _axに等しいかどうかを判定する。ステップ S 1 28において、偏角 Ψ力最大値 φ に等しくないと判定された場合、ステップ S 1 2 9に進み、画像データ変換部 3 1は、偏角 ψを 1度だけインクリメントして、ステップ S 1 2 2に戻り、以下、同様の処理を繰り返す。

また、ステップ S 1 2 8において、偏角 φが、最大値 φ _Χに等しいと判定された場合、処理を終了する。

図 4 9の画素値補間処理においても、図 3 2における場合と同様に、平面 I ( ) のある列の画素値 I (φ) (χ _α， _{y i}) 乃至 I (φ) (χ _α, y ₂) が欠落している場合には、画素値がセットされている、偏角がより近い他の平面 I (φ ' ) における同一列の画素値 I (Φ , ) (x _a， _{y i}) 乃至 I (< ' ) (χ _α, y ₂) によって、その欠落している画素値 I ( φ ) ( χ _α , y ,) 乃至 I ( Φ ) ( χ _{α >} y ₂) が補間される。

なお、図 4 9の画素値補間処理によれば、図 4 2で説明したように、各フレームの原画像データから、同一の偏角方向についての短冊画像を切り出し、その短冊画像を、フレーム順に、右から左方向に配置して得られるのと同一の中間データが得られる。従って、画像データ変換部 3 1において、図 4 2で説明したように、短冊画像によって中間データを生成する場合には、画素値の欠落は生じないから、図 4 9の画素値補間処理は、行う必要がない。

また、図 4 9の画素値補間処理によって得られた中間データに対しては、上述したクラス分類適応処理、その他の画像処理を施すことが可能である。

さらに、中間データのフォーマットとしては、図 4 8 Aおよび図 4 8 Bで説明したフォーマツ卜の他、図 3 5 Aおよび図 3 5 Bにおける場合と同様のフォーマットを採用することが可能である。

次に、図 5 0のフローチャートと、図 5 1を参照して、図 3 8の中間データ変換部 3 2が、図 4 0のステップ S 8 5で行う中間データ変換処理、即ち、中間デ —タを、ユーザの視点から見た第 nフレームの画像データ（提示用画像データ）に変換する処理について説明する。

図 5 0の中間データ変換処理においても、図 3 6における場合と同様に、ディスプレイ 6 (図 2 ) に、ユーザの視点に応じた画像を表示するための 3次元座標系としての表示時座標系が想定される。なお、表示時座標系としては、例えば、画像データベース 2に記憶された原画像データを中間データに変換するときに用いられた撮像時座標系を、そのまま採用することができる。

そして、まず最初に、ステップ S 1 4 1において、中間データ変換部 3 2は、図 5 1に示すように、表示時座標系における、第 nフレームの撮像ポイント P _c について、ユーザの視点 P _c' を設定する。

即ち、図 5 0の中間データ変換処理では、いま処理対象となっているフレームの撮像ボイント P _cを基準として処理が行われるようになっており、そのため、ステップ S 1 4 1では、いま再生対象となっているフレームの撮像ポイント P _c を基準として、ユーザの視点 P _c' が設定される。

具体的には、中間データ変換部 3 2には、センサ制御部 3 3から、現実世界におけるユーザの視点が供給される。中間データ変換部 3 2は、現実世界における所定の位置を、ユーザの視点の基準位置として、センサ制御部 3 3からのユーザの視点が、基準位置からどれだけ移動した位置にあるかを表す移動情報を求める。ここで、ユーザの視点の基準位置としては、ユーザが、ディスプレイ 6に表示された画像を視聴する一般的な位置、即ち、例えば、ディスプレイ 6の正面方向上の任意の点を採用することができる。

中間データ変換部 3 2は、移動情報を求めると、図 5 1に示すように、表示時座標系において、第 nフレームの撮像ポイント P _eから、その移動情報だけ移動した点を、撮像ポイント P。についてのユーザの視点 P _c ' として設定する。

なお、図 5 0の中間データ変換処理においても、図 4 6の画像データ変換処理における場合と同様に、緯度方向は無効とされる。従って、図 5 0の中間データ変換処理において、例えば、図 5 1に示すように、図 4 7の撮像時座標系と同様の X軸、 y軸、および z軸をとつた表示時座標系が想定されているとすると、移動情報における、緯度方向に影響する y軸方向および z軸方向の成分は無効とされる（例えば 0と扱われる）。このことは、ユーザが、表示時座標系の y軸方向または z軸方向に移動しても、ユーザの視点が移動したとは認められないことを意味する。これは、ユーザの視点移動に対応するデータが作成されていないためである（作成されているならば、 z軸、 y軸方向の移動成分は、有効と扱われても良い）。即ち、この場合、ユーザの視点が移動したと認められるには、ユーザ力少なくとも、表示時座標系の X軸方向に移動する必要がある。ここで、本実施の形態では、表示時座標系（撮像時座標系も同様）における X軸方向は、カメラの移動方向（カメラが固定された列車の走行方向）に一致している。

中間データ変換部 3 2は、以上のようにして、表示時座標系における、撮像ポイント P _eについてのユーザの視点 P _c' を設定すると、ステップ S 1 4 2に進み、図 5 1に示すように、撮像ボイント P。におけるカメラの光軸と、第 nフレームに表示されている被写体との交点 P_kを求める。

なお、ここでは、説明を簡単にするために、カメラが固定された列車の走行軌跡と被写体との間の距離 Dは、一定であるとし、さらに、中間データ変換部 32 において、あらかじめ認識されているものとする。また、撮像ポイント P_eにおけるカメラの光軸の偏角 Φ。も、中間データ変換部 32において、あらかじめ認識されているものとする。この場合、撮像ポイント P_eにおけるカメラの光軸と、第 nフレームに表示されている被写体との交点 P_kは、撮像ポイント P_c、距離 D、および撮像ボイント P。におけるカメラの光軸の偏角 φ。から求めることができる。その後、ステップ S 1 43に進み、中間データ変換部 3 2は、図 5 1に示すように、ユーザの視点 p_c' を始点とするとともに、交点 P_kを終点とするベクトル V ' を求め、ステップ S 144に進む。ステップ S 144では、中間データ変換部 3 2は、ユーザの視点 P_c' に対して、ベクトル V ' の方向を視線方向として、そのベクトル v ' と直交し、ユーザの視点 P_c' から距離 Lだけ離れた位置に仮想スクリーンを設定し、ステップ S 145に進む。

ステップ S 145では、中間データ変換部 32は、ユーザの視点 P_c' について設定した仮想スクリーン上の垂直方向の画素の列のうち、まだ注目列として選択していない画素列を、注目列として選択する。

ステップ S 1 45において注目列が選択された後は、ステップ S 146に進み、中間データ変換部 3 2は、例えば、図 46のステップ S 1 04における場合と同様に、注目列を構成する画素のうちの最上行の画素を注目画素 P_sとして選択する。

ここで、注目画素 P_sは、注目列を構成する画素のうちの最上行の画素に限定されるものではなく、任意の行の画素を、注目画素として選択することが可能である。

ステップ S 1 46において注目列が選択された後は、ステップ S 14 7に進み、中間データ変換部 3 2は、図 5 1に示すように、ユーザの視点 P_c' を始点とし、注目画素 P_sを終点とするべクトル Vを求め、ステップ S 1 48に進む。

ステップ S 1 48では、中間データ変換部 32は、図 5 1に示すように、ステップ S 147で求められたべクトル Vと直交し、撮像時座標系と同一の表示時座標系上の所定の点 P_f を通る平面 αを求め、ステップ S 149に進む。

ステップ S 1 49では、中間データ変換部 32は、ステップ S 1 47で求めたベタトル Vの、基線に対する偏角め、即ち、ステップ S 1 48で求めた平面 αの法線の、基線に対する偏角 Φを求め、ステップ S 1 50に進む。

ステップ S 1 50では、中間データ変換部 32は、図 5 1に示すように、ユーザの視点 P_c' と注目画素 P_sとを結ぶ直線 L_pを求める。さらに、ステップ S 1 50では、中間データ変換部 3 2は、直線 L_pと、ステップ S 1 5 1で求めた平面 α、即ち、法線の、基線に対する偏角が、ステップ S 148で求められたである平面 I (φ) との交点 Ρ を求め、ステップ S 1 5 1に進み、その点 Ρ_χの、平面 I ( ) 上における座標（χ_α， y J を求める。

その後、ステップ S 1 52に進み、中間データ変換部 32は、仮想スクリーンの注目列の画素の各画素ィ直として、平面 I (Φ) 上の点 P_xの列における各画素値をセットする。

即ち、仮想スクリーン上の注目列が、 N画素で構成されるものとすると、中間データ変換部 3 2は、仮想スクリーン上の注目列における第 1行の画素の画素値として、平面 I (Φ) 上の画素値 I ( ）（x„, y J を、注目列における第 2行の画素の画素値として、平面 I (Φ) 上の画素値 I (Ψ) (x _K, y„ +

1) を、 · · ·、注目列における第 N行の画素の画素値として、平面 I (φ) 上の画素値 I (φ) (x„, y _a+ (N- 1 ) ) を、それぞれセットする。

そして、ステップ S 1 53進み、中間データ変換部 32は、ユーザの視点 P_c ' に対して設定された仮想スクリーン上のすべての画素列（垂直方向の画素の並び）を注目列としたかどうかを判定し、まだ、注目列としていないが画素列があると判定した場合、ステップ S 145に戻り、以下、同様の処理が繰り返される _c また、ステップ S 1 5 3において、仮想スクリーン上のすべての画素列を注目列としたと判定された場合、即ち、仮想スクリーン上に、ユーザの視点から見た第 nフレームの画像データ（提示用画像データ）が形成された場合、処理を終了する。

以上のようにして得られた第 nフレームの提示用画像データは、上述した図 4 0のステップ S 8 6において、ディスプレイ 6に表示される。

以上のように、図 3 8の画像処理装置 1によれば、カメラをほぼ等速直線運動させながら撮像された原画像データから、図 5の画像処理装置 1における場合と同様に、容易に、ユーザの視点に応じた画像データを生成することができる。即ち、ユーザが、その視点を動かした場合に、ユーザが現実世界において被写体を観察している場合にユーザの視覚に映るのと同様の画像を、ディスプレイ 6に表示することができる。

ところで、図 3 8の画像処理装置 1において、原画像データを、ユーザの視点から見た提示用画像データに変換するには、その原画像データがカメラによって撮像されたときの種々の撮像条件が必要となる。

ここで、原画像データを、ユーザの視点から見た提示用画像データに変換するには、図 4 6で説明した画像データ変換処理、および図 5 0で説明した中間データ変換処理から、撮像条件として、少なくとも、原画像データを撮像するカメラが固定された列車の走行軌跡と被写体との間の距離（カメラと被写体との間の、カメラの移動方向と垂直な方向に沿っての距離） Dや、撮像ポイント P _cにおけるカメラの光軸の偏角（光軸の方向） Φ。、各フレームの撮像ポイント P _cが必要である。

但し、本実施の形態では、列車、ひいては、その列車に固定されているカメラは、等速直線運動するものとしているため、各フレームの撮像ポイント P _cは、あるフレームの撮像ポイントが分かっていれば、他のフレームの撮像ポイントは、カメラが等速直線運動する速さ（カメラの移動速度）から求めることができる。そこで、ここでは、各フレームの撮像ポイントの代わりに、カメラの移動速度を、撮像条件とすることとする。

また、原画像データを、ユーザの視点から見た提示用画像データに変換するために少なくとも必要な、上述の撮像条件を、以下、適宜、最低撮像条件という。最低撮像条件は、原画像データの撮像時にセンサ等により取得すればよい。最低撮像条件が、あらかじめ分かっている場合には、図 3 8の画像処理装置 1 において、上述したように、原画像データを、ユーザの視点から見た提示用画像データに変換することができる。

一方、最低撮像条件が分かっていない場合、原画像データを、ユーザの視点から見た提示用画像データに変換するには、まず、最低撮像条件を求める必要がある。

そこで、図 3のコンピュータ 1には、画像データベース 2に記憶された原画像データを、ユーザの視点から見た提示用画像データに変換するプログラムの他、その原画像データから、最低撮像条件を求める画像処理を行うプログラムも記憶させることができる。

図 5 2は、図 3のコンピュータ 1が、最低撮像条件を求める画像処理を行うプ口グラムを実行することにより実現される画像処理装置の機能的構成例を示している。

図 5 2の実施の形態では、画像処理装置としてのコンピュータ 1は、撮像条件演算部 9 1から構成されている。

撮像条件演算部 9 1は、画像データベース 2から、等速直線運動する列車に固定されたカメラによって撮像された原画像データを読み出し、その原画像データから、最低撮像条件を含む撮像条件を求め、画像データベース 2に供給して記憶させる。

即ち、撮像条件演算部 9 1は、等速直線運動する列車に固定されたカメラの仮想スクリーン上における原画像データに表示された被写体の移動距離を求め、力メラの視点（撮像ポイント）から仮想スクリーンまでの距離（視点 /仮想スクリーン間距離）と、仮想スクリーン上の被写体の移動距離とを用いて、最低撮像条件を含む撮像条件を求める。

次に、図 5 3を参照して、撮像条件演算部 9 1による撮像条件の算出方法について説明する。

なお、図 5 3において、 Dは、カメラが固定された列車の走行軌跡と、注目している被写体である注目被写体との間の距離（カメラと注目被写体との間の、力メラの移動方向と垂直な方向に沿っての距離） Dを表し、 hは、カメラと注目被写体との間の、カメラの移動方向に沿っての距離を表す。また、 Lは、カメラの視点から仮想スクリーンまでの距離を表し、 Φ。は、カメラの光軸の偏角を表す。さらに、 A dは、注目被写体が、カメラに対して単位時間あたりに移動する距離 (カメラの移動距離）、即ち、カメラの移動速度を表し、 Δ χは、カメラの仮想スクリーン上における原画像データに表示された注目被写体の単位時間あたりの移動距離、即ち、注目被写体の仮想スクリーン上の移動速度を表す。

この場合、カメラの視点から注目被写体の方向の偏角 Φは、距離 Dと hとを用いて、次式で表すことができる。 φ =tan -1

り

• · · ( 3 1 ) また、仮想スクリーン上での注目被写体の移動距離 Δ χは、.例えば、次式で表すことができる。

厶 x=L (tan ( ø+— φο) -tan ( ø—— 0o) )

• · · ( 3 2 ) 但し、式（3 2 ) において、 +と -は、例えば、次式で与えられるものとする。 ' h-

0+=tan一 1

D

Ad

h- " 2

0-=tan"

D

(3 3 式（3 2) に、式（3 3) を代入すると、次式が得られる,

■ · · (34) 一方、変数 tの関数 f (t) を、その変数 tで微分した関数（導関数） f ( t ) は、次式で表される。 f (t+At)-f (t)

:，(t)

At

(3 5 式（3 5) を変形すると、次式が得られる。

厶 tf'(t) =f (t+At)-f (t)

• · · (3 6) そこで、いま、変数 h/Dの関数 ί (h/D) を、例えば、次式のように定義する。 h -i h

-^-J =tan (tan -Φοノ

(3 7 式（3 7) の関数 f (h/D) を用いて、式（34) を表すと、次式のようなる。

(3 8) 式（38) は、式（36) の関係を用いることによって、式（39) のよう変形することができる。

Ax Ad_r, h \

し D ' Dノ

• · · (39) 一方、変数 tの関数 _{g l} (t) を引数とする関数 g₂ (_{g l} ( t) ) を、変数で微分すると、次式のようになる。 dgi (g₂ (t) ) dgi (g₂(t)) dg₂ (t)

dt " dg₂(t) dt

• · · (40) また、関数 t a n (t) と、関数 t a ¹ (t) の微分は、それぞれ、式（4 1 ) と（42) で表される。

(tan t) '

cos^zt

• · ■ (41)

(tan— ¹t)

1+t²

• · · (42) 式（40) 乃至（42) から、式（37) の関数 f (h/D) の導関数 f ， (h/D) は、次式で表される。

h、― 1 _χ 1

。_0S2it_an—l — 00) 1+( )²

• · · (43 式（43) から、式（39) は、式（44) で表される。

• ■ · (44 式（4 4 ) において、未知の変数は、 △(!， D , h , φ。である。また、式 ( 4 4 ) において、 Δ χは、仮想スクリーン上に表示された注目被写体の移動距離を表し、仮想スクリーン上の注目被写体を表示している画素から計算することができる。さらに、式（4 4 ) において、 Lは、カメラの視点から仮想スクリーンまでの距離を表し、任意の値を設定することができる。

従って、式（4 4 ) における 4つの未知の変数△ d , D , h , φ ₀は、原理的には、仮想スクリーン上の 4つの画素について、その移動距離を求めれば、その移動距離と、カメラの視点から仮想スクリーンまでの距離 Lを用い、式（4 4 ) から推定することができる。

ここで、図 5 3で説明した方法によれば、カメラと被写体との間の、カメラの移動方向と垂直な方向に沿っての距離 D、撮像ポイント P _cにおけるカメラの光軸の偏角 Φ。、およびカメラの移動速度 A d、即ち、最低撮像条件の他、カメラと注目被写体との間の、カメラの移動方向に沿っての距離 hも含む撮像条件が求められる。

図 5 2の撮像条件演算部 9 1では、上述したようにして、撮像条件 A d， D , h , φ。が求められる。

そこで、図 5 4のフローチャートを参照して、図 5 2の撮像条件演算部 9 1が行う処理（撮像条件を推定する撮像条件演算処理）について説明する。

まず最初に、ステップ S 1 6 1において、撮像条件演算部 9 1は、画像データベース 2に記憶されたフレームの中から、撮像条件演算処理の対象とする 4フレーム以上を、処理対象フレームとして選択し、ステップ S 1 6 2に進む。

ステップ S 1 6 2では、撮像条件演算部 9 1は、原画像データを撮像したときの撮像ポイントからスクリーンまでの距離 Lを、所定の値に設定し、ステップ S 1 6 3に進む。

ステップ S 1 6 3では、撮像条件演算部 9 1は、ステップ S 1 6 1で処理対象フレームとして選択された 4フレーム以上の原画像データの各フレームから、同一位置の画素を、撮像条件を演算するのに用いる演算対象画素として選択する。ここで、演算対象画素を、処理対象フレームとされた各フレームの同一位置の画素とするのは、図 5 3に示した、カメラと注目被写体との間の、カメラの移動方向に沿っての距離 hを一定値にするためである。

その後、ステップ S 1 64に進み、撮像条件演算部 9 1は、演算対象画素の中から、まだ注目画素としていないもののうちの 1つを注目画素して選択し、ステップ S 16 5に進む。

ステップ S 1 65では、撮像条件演算部 9 1は、注目画素の動きベクトルを検出し、ステップ S 1 6 6に進む。ステップ S 1 66では、撮像条件演算部 9 1は、注目画素の動きベクトルから、注目画素の移動距離△ Xを求め、ステップ S 1 6 7に進む。

ステップ S 1 6 7では、撮像条件演算部 9 1は、すべての演算対象画素を注目画素として、その移動距離 Δχを求めたかどうかを判定し、まだ、注目画素としていない演算対象画素があると判定した場合、ステップ S 1 64に戻り、以下、同様の処理を繰り返す。

また、ステップ S 1 6 7において、すべての演算対象画素を注目画素としたと判定された場合、ステップ S 1 68に、進み、撮像条件演算部 9 1は、演算対象画素とされた 4以上の画素それぞれについて求められた移動距離 Δχと、原画像データを撮像したときの撮像ポイン卜からスクリーンまでの距離 Lとを用い、式 (44) から、撮像条件 Ad, D， h， φ。を求め、画像データベース 2に記憶させ、処理を終了する。

なお、ステップ S 1 6 7では、演算対象画素とされた 4以上の画素それぞれについて求められた移動距離 Δχと、原画像データを撮像したときの撮像ポイントからスクリーンまでの距離 Lについて、式（44) を満たす厶 d， D， h , φ。が演算されることとなる。その演算方法としては、例えば、 Ad, D, h， φ₀ それぞれの値を順次変更し、式（44) を満たすかどうかを検査（検算）する方法などがある。

以上のように、カメラを移動しながら撮像が行われたときの、カメラの仮想スクリーン上における原画像データに表示された被写体の移動距離△ Xを求め、力メラにおいて原画像データが撮像されたときの視点から仮想スクリーンまでの距離 Lと、移動距離△とを用いて、撮像条件 A d , D , h , φ。を求めるようにしたので、カメラを移動しながら撮像を行うことにより得られた原画像データから、撮像条件を、容易に求めることができる。

さらに、その撮像条件を用いて、原画像データを、ユーザの視点から見た提示用画像データに変換することが可能となる。

なお、本実施の形態では、コンピュータ 1にプログラムを実行させることにより、上述した各種の処理を行わせるようにしたが、上述の各種の処理は、その他、専用のハードウエアにより行うことも可能である。

また、画像データの取得については、テレセントリック（te lecentri c)系レンズを使用したカメラで、オブジェクトの全方位画像を撮像することで、中間データに相当するデータを取得することができる。この場合、複雑な変換作業が不要になるため、簡単に中間データを取得できる。

産業上の利用可能性

以上の如く、本発明によれば、例えば、実写の画像であっても、容易に、ユーザの視点に応じて変化させることが可能となる。

Claims

請求の範囲

1 . 第 1の画像データを第 2の画像データに変換する画像処理装置であって、所定の位置に、ユーザの視点を設定する設定手段と、

前記第 1の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、前記第 1の画像データを、前記ユーザの視点から見える前記第 2の画像データに変換する変換手段と

を備えることを特徴とする画像処理装置。

2 . 前記設定手段は、ユーザの位置を検出し、その位置に、前記ユーザの視点を設定する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 第 1の画像データは、所定の被写体を、複数の視点から撮像した画像データである

4 . 前記第 1の画像データは、その第 1の画像データを撮像する撮像装置を直線的に移動しながら撮像されたものである

5 . 前記変換手段は、前記第 1の画像データを撮像したときの、所定の曲面を通る光線情報のうち、前記ユーザの視点から前記所定の曲面に向かう光線情報と同一の光線情報を用いて、前記第 1の画像データを前記第 2の画像データに変換する

6 . 前記所定の曲面は、開曲面、または所定の被写体を囲む閉曲面であることを特徴とする請求の範囲第 5項に記載の画像処理装置。

7 . 前記変換手段は、前記第 1の画像データを構成する画素に入射した光線に対応する画素値からなる所定フォーマットの画像データである中間データを、前記第 2の画像データに変換する中間データ変換手段を有する

8 . 前記中間データは、前記第 1の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである

ことを特徴とする請求の範囲第 7項に記載の画像処理装置。

9 . 前記中間データは、前記第 1の画像データを構成する画素に入射した光線の各方向について、その方向に垂直な平面の各点ごとに、その点に入射する前記平面と垂直な方向の前記光線に対応する画素値が表された画像データであることを特徴とする請求の範囲第 7項に記載の画像処理装置。

1 0 . 前記中間データは、前記第 1の画像データを構成する画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の前記光線に対応する画素値が表された画像データである

1 1 . 前記中間データ変換手段は、前記中間データにおける、前記ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する前記光線に対応する画素値を、前記仮想スクリーン上の画素の画素値とし、前記仮想スクリーン上の画素値でなる画像データを、前記第 2の画像データとする

1 2 . 前記変換手段は、前記第 1の画像データを、前記中間データに変換する第 1の画像データ変換手段をさらに有し、

前記中間データ変換手段は、前記第 1の画像データ変換手段が出力する前記中間データを、前記第 2の画像データに変換する

1 3 . 前記第 1の画像データ変換手段は、前記第 1の画像データを、その所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである前記中間データに変換することを特徴とする請求の範囲第 1 2項に記載の画像処理装置。

1 4 . 前記第 1の画像データ変換手段は、前記第 1の画像データを、その画素に入射した光線の各方向について、その方向に垂直な平面の各点ごとに、その点に入射する前記平面と垂直な方向の光線に対応する画素値が表された画像データである前記中間データに変換する

ことを特徴とする請求の範囲第 1 2項に記載の画像処理装置。

1 5 . 前記第 1の画像データ変換手段は、前記第 1の画像データを、その画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値が表された画像データである前記中間データに変換する

1 6 . 前記第 1の画像データ変換手段は、前記第 1の画像データを撮像した視点と所定の仮想的なスクリーンである仮想スクリーン上の前記第 1の画像データの各画素とを結ぶ直線と一致する前記光線に対応する画素値を、その光線と、その光線に垂直な、所定の点を通る平面との交点の画素値とし、その平面上の交点における画素値でなる画像データを、前記中間データとす ό

1 7 . 前記中間データは、前記第 1の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データであり、

前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間手段をさらに備える

1 8 . 前記補間手段は、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する

ことを特徴とする請求の範囲第 1 7項に記載の画像処理装置。

1 9 . 前記中間データは、オブジェクトからの光線がほぼ平行になる程度に遠い位置から見た前記オブジェクトの画像データと、前記光線の方向とを有することを特徴とする請求の範囲第 7項に記載の画像処理装置。

2 0 . 前記第 2の画像データを表示する表示手段をさらに備える

2 1 . 第 1の画像データを第 2の画像データに変換する画像処理方法であって、所定の位置に、ユーザの視点を設定する設定ステップと、

前記第 1の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、前記第 1の画像データを、前記ユーザの視点から見える前記第 2の画像データに変換する変換ステツプと

を備えることを特徴とする画像処理方法。

2 2 . 前記設定ステップにおいて、ユーザの位置を検出し、その位置に、前記ユーザの視点を設定する

ことを特徴とする請求の範囲第 2 1項に記載の画像処理方法。

2 3 . 第 1の画像データは、所定の被写体を、複数の視点から撮像した画像データである

2 4 . 前記第 1の画像データは、その第 1の画像データを撮像する撮像装置を直線的に移動しながら撮像されたものである

2 5 . 前記変換ステップにおいて、前記第 1の画像データを撮像したときの、所定の曲面を通る光線情報のうち、前記ユーザの視点から前記所定の曲面に向かう光線情報と同一の光線情報を用いて、前記第 1の画像データを前記第 2の画像データに変換する

2 6 . 前記所定の曲面は、開曲面、または所定の被写体を囲む閉曲面であることを特徴とする請求の範囲第 2 5項に記載の画像処理方法。

2 7 . 前記変換ステップは、前記第 1の画像データを構成する画素に入射した光線に対応する画素値からなる所定フォーマットの画像データである中間データを、前記第 2の画像データに変換する中間データ変換ステップを有する

2 8 . 前記中間データは、前記第 1の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである

ことを特徴とする請求の範囲第 2 7項に記載の画像処理方法。

2 9 . 前記中間データは、前記第 1の画像データを構成する画素に入射した光線の各方向について、その方向に垂直な平面の各点ごとに、その点に入射する前記平面と垂直な方向の前記光線に対応する画素値が表された画像データであることを特徴とする請求の範囲第 2 7項に記載の画像処理方法。

3 0 . 前記中間データは、前記第 1の画像データを構成する画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の前記光線に対応する画素値が表された画像データである

3 1 . 前記中間データ変換ステップにおいて、前記中間データにおける、前記ユーザの視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する前記光線に対応する画素値を、前記仮想スクリーン上の画素の画素値とし、前記仮想スクリーン上の画素値でなる画像データを、前記第 2の画像データとする

3 2 . 前記変換ステップは、前記第 1の画像データを、前記中間データに変換する第 1の画像データ変換ステップをさらに有し、

前記中間データ変換ステップにおいて、前記第 1の画像データ変換ステップにおいて出力される前記中間データを、前記第 2の画像データに変換する

3 3 . 前記第 1の画像データ変換ステップにおいて、前記第 1の画像データを、その所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである前記中間データに変換する

ことを特徴とする請求の範囲第 3 2項に記載の画像処理方法。

3 4 . 前記第 1の画像データ変換ステップにおいて、前記第 1の画像データを、その画素に入射した光線の各方向について、その方向に垂直な平面の各点ごとに、その点に入射する前記平面と垂直な方向の光線に対応する画素値が表された画像データである前記中間データに変換する

3 5 . 前記第 1の画像データ変換ステップにおいて、前記第 1の画像データを、その画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値が表された画像データである前記中間データに変換する

3 6 . 前記第 1の画像データ変換ステップにおいて、前記第 1の画像データを撮像した視点と所定の仮想的なスクリーンである仮想スクリーン上の前記第 1の画像データの各画素とを結ぶ直線と一致する前記光線に対応する画素値を、その光線と、その光線に垂直な、所定の点を通る平面との交点の画素値とし、その平面上の交点における画素値でなる画像データを、前記中間データとする

3 7 . 前記中間データは、前記第 1の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データであり、

前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間ステップをさらに備える

3 8 . 前記補間ステップにおいて、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する

ことを特徴とする請求の範囲第 3 7項に記載の画像処理方法。

3 9 . 前記中間データは、オブジェクトからの光線がほぼ平行になる程度に遠い位置から見た前記オブジェクトの画像データと、前記光線の方向とを有することを特徴とする請求の範囲第 2 7項に記載の画像処理方法。

4 0 . 前記第 2の画像データを表示する表示ステップをさらに備える

4 1 . 第 1の画像データを第 2の画像データに変換する画像処理を、コンビュータに行わせるプログラムであって、

所定の位置に、ユーザの視点を設定する設定ステップと、

前記第 1の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、前記第 1の画像データを、前記ユーザの視点から見える前記第 2の画像データに変換する変換ステップと

を備えることを特徴とするプログラム。

4 2 . 第 1の画像データを第 2の画像データに変換する画像処理を、コンビュータに行わせるプログラムが記録されているプログラム記録媒体であって、所定の位置に、ユーザの視点を設定する設定ステップと、

を備えるプログラムが記録されている

ことを特徴とするプログラム記録媒体。

4 3 . 画像データを変換する画像処理装置であって、

複数の視点から撮像された前記画像データを取得する取得手段と、

前記画像データを、その所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データに変換する変換手段と

を備えることを特徴とする画像処理装置。

4 4 . 前記変換手段は、前記画像データを、その画素に入射した光線の各方向について、その方向に垂直な平面の各点ごとに、その点に入射する前記平面と垂直な方向の光線に対応する画素値が表された画像データである前記中間データに変換する

ことを特徴とする請求の範囲第 4 3項に記載の画像処理装置。

4 5 . 前記変換手段は、前記画像データを、その画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値が表された画像データである前記中間データに変換する

4 6 . 前記変換手段は、前記画像データを撮像した視点と所定の仮想的なスクリーンである仮想スクリーン上の前記画像データの各画素とを結ぶ直線と一致する前記光線に対応する画素値を、その光線と、その光線に垂直な、所定の点を通る平面との交点の画素値とし、その平面上の交点における画素値でなる画像データを、前記中間データとする

4 7 . 前記中間データは、前記画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データであり、

4 8 . 前記補間手段は、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間することを特徴とする請求の範囲第 4 7項に記載の画像処理装置。

4 9 . 前記中間データは、オブジェクトからの光線がほぼ平行になる程度に遠い位置から見た前記ォブジェクトの画像データと、前記光線の方向とを有することを特徴とする請求の範囲第 4 3項に記載の画像処理装置。

5 0 . 画像データを変換する画像処理方法であって、

複数の視点から撮像された前記画像データを取得する取得ステップと、前記画像データを、その所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データに変換する変換ステップと

を備えることを特徴とする画像処理方法。

5 1 . 前記変換ステップにおいて、前記画像データを、その画素に入射した光線の各方向について、その方向に垂直な平面の各点ごとに、その点に入射する前記平面と垂直な方向の光線に対応する画素値が表された画像データである前記中間データに変換する

ことを特徴とする請求の範囲第 5 0項に記載の画像処理方法。

5 2 . 前記変換ステップにおいて、前記画像データを、その画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の光線に対応する画素値が表された画像データである前記中間データに変換することを特徴とする請求の範囲第 5 0項に記載の画像処理方法。

5 3 . 前記変換ステップにおいて、前記画像データを撮像した視点と所定の仮想的なスクリーンである仮想スクリーン上の前記画像データの各画素とを結ぶ直線と一致する前記光線に対応する画素値を、その光線と、その光線に垂直な、所定の点を通る平面との交点の画素値とし、その平面上の交点における画素値でなる画像データを、前記中間データとする

5 4 . 前記中間データは、前記画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データであり、

前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を捕間する補間ステップをさらに備える

5 5 . 前記補間ステップにおいて、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する

ことを特徴とする請求の範囲第 5 4項に記載の画像処理方法。

5 6 . 前記中間データは、オブジェクトからの光線がほぼ平行になる程度に遠い位置から見た前記オブジェクトの画像データと、前記光線の方向とを有することを特徴とする請求の範囲第 5 0項に記載の画像処理方法。

5 7 . 画像データを変換する画像処理を、コンピュータに行わせるプログラムであって、

を備えることを特徴とするプログラム。

5 8 . 画像データを変換する画像処理を、コンピュータに行わせるプログラムが記録されているプログラム記録媒体であって、

を備えるプログラムが記録されている

ことを特徴とするプログラム記録媒体。

5 9 . 画像データのデータ構造であって、原画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点を、画素とし、

その画素の画素値が、前記所定の画素の画素値とされている

ことを特徴とするデータ構造。

6 0 . 前記原画像データを構成する画素に入射した光線の各方向について、その方向に垂直な平面の各点ごとに、その点に入射する前記平面と垂直な方向の前記光線に対応する画素値が配置されていることを特徴とする請求の範囲第 5 9 項に記載のデータ構造。

6 1 . 前記原画像データを構成する画素に入射した光線の方向と垂直な平面の各点について、その平面と垂直な方向ごとに、その方向の前記光線に対応する画素値が配置されている

ことを特徴とする請求の範囲第 5 9項に記載のデータ構造。

6 2 . 前記所定の点を通る平面上の、前記光線との交点以外の点における画素値が補間されている

ことを特徴とする請求の範囲第 5 9項に記載のデータ構造。

6 3 . 前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値が補間されている

ことを特徴とする請求の範囲第 6 2項に記載のデータ構造。

6 4 . 画像データが記録されているデータ記録媒体であって、

原画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点を、画素とし、

画像データが記録されている

ことを特徴とするデータ記録媒体。

6 5 . オブジェクトからの光線に対応する画素値を有する所定のフォーマツトの中間データを出力する中間データ出力手段と、前記オブジェクトに対する視点の位置情報が出力される視点出力手段と、前記中間データを用いて、前記視点からの前記オブジェクトの画像を作成する中間データ変換手段と

を備えることを特徴とする画像処理装置。

6 6 . 前記中間データは、前記オブジェクトからの光線に対応する画素値と、前記光線の方向とを対応付けた所定のフォーマットのデータである

ことを特徴とする請求の範囲第 6 5項に記載の画像処理装置。

6 7 . 前記中間データは、前記オブジェクトからの光線の方向と、前記光線の方向と垂直であり、所定の点を通る平面上の各点ごとの位置と、前記各点に入射される前記平面と垂直な方向の前記光線に対応する画素値とを対応付けたデータである

6 8 . 前記中間データは、前記光線の方向について、前記各点の位置ごとに、前記画素値が表された画像データである

ことを特徴とする請求の範囲第 6 7項に記載の画像処理装置。

6 9 . 前記中間データは、前記平面上の各点について、前記光線の方向ごとに、前記画素値が表された画像データである

7 0 . 前記中間データは、前記オブジェクトからの光線がほぼ平行になる程度に遠い位置から見た前記オブジェクトの画像データと、前記光線の方向とを有する

7 1 . 前記中間データ変換手段は、前記中間データにおける、前記視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する前記光線に対応する画素値を、前記仮想スクリーン上の画素の画素値とし、前記仮想スクリーン上の画素値でなる画像データを、前記視点からの前記オブジェクトの画像とすることを特徴とする請求の範囲第 6 6項に記載の画像処理装置。

7 2 . 前記所定の点を通る平面上で、欠落した画素値を補間する補間手段をさらに備える

7 3 . 前記視点からの前記オブジェクトの画像を表示する表示手段をさらに備える

7 4 . ォブジェクトからの光線に対応する画素値を有する所定のフォーマットの中間データを出力する中間データ出力ステップと、

前記ォブジェクトに対する視点の位置情報が出力される視点出力ステップと、前記中間データを用いて、前記視点からの前記オブジェクトの画像を作成する中間データ変換ステップと

を備えることを特徴とする画像処理方法。

7 5 . 前記中間データは、前記オブジェクトからの光線に対応する画素値と、前記光線の方向とを対応付けた所定のフォーマツトのデータである

ことを特徴とする請求の範囲第 7 4項に記載の画像処理方法。

7 6 . 前記中間データは、前記オブジェクトからの光線の方向と、前記光線の方向と垂直であり、所定の点を通る平面上の各点ごとの位置と、前記各点に入射される前記平面と垂直な方向の前記光線に対応する画素値とを対応付けたデータである

7 7 . 前記中間データは、前記光線の方向について、前記各点の位置ごとに、前記画素値が表された画像データである

ことを特徴とする請求の範囲第 7 6項に記載の画像処理方法。

7 8 . 前記中間データは、前記平面上の各点について、前記光線の方向ごとに、前記画素値が表された画像データである

7 9 . 前記中間データは、前記オブジェクトからの光線がほぼ平行になる程度に遠い位置から見た前記オブジェクトの画像データと、前記光線の方向とを有する

8 0 . 前記中間データ変換ステップにおいて、前記中間データにおける、前記視点と所定の仮想的なスクリーンである仮想スクリーン上の各画素とを結ぶ直線と一致する前記光線に対応する画素値を、前記仮想スクリーン上の画素の画素値とし、前記仮想スクリーン上の画素値でなる画像データを、前記視点からの前記オブジェクトの画像とする

ことを特徴とする請求の範囲第 7 5項に記載の画像処理方法。

8 1 . 前記所定の点を通る平面上で、欠落した画素値を補間する補間ステップをさらに備える

8 2 . 前記視点からの前記オブジェクトの画像を表示する表示ステップをさらに備える

8 3 . コンピュータに実行させるプログラムであって、

オブジェクトからの光線に対応する画素値を有する所定のフォーマツトの中間データを出力する中間データ出力ステップと、

前記オブジェクトに対する視点の位置情報が出力される視点出力ステップと、前記中間データを用いて、前記視点からの前記オブジェクトの画像を作成する中間データ変換ステップと

を備えることを特徴とするプログラム。

8 4 . コンピュータに実行させるプログラムが記録されているプログラム記録媒体であって、

ォブジェクトからの光線に対応する画素値を有する所定のフォーマツ卜の中間データを出力する中間データ出力ステップと、前記ォブジェタトに対する視点の位置情報が出力される視点出力ステップと、前記中間データを用いて、前記視点からの前記オブジェク卜の画像を作成する中間データ変換ステップと

を備えるプログラムが記録されている

ことを特徴とするプログラム記録媒体。