JP4631878B2 - 映像信号処理装置、仮想現実感生成システム - Google Patents

Description

本発明は、平面映像信号を任意形状のスクリーンに投射しても、歪みなく映し出すことができるように、入力映像信号に予め歪み補正を施す映像信号処理装置、それを用いて構成される仮想現実感生成システムに関する。

任意形状のスクリーンへ歪み無く映像を投射する技術は、仮想現実感生成装置で既に実用化されている。例えば、その先行技術としては、特許文献1等が挙げられる。これらの仮想現実感生成装置では、入力映像信号が、当該仮想現実感生成装置用に生成したＣＧの信号であったり、ＤＶ信号であった。また、歪み無く映像を投影するための歪み補正の関係式（歪み補正の前後の映像同士の関連の記述、歪み補正テーブル）の生成は、当該システムの内部で行っていた。
特許第３３８７４８７号

しかしながら、上述した技術では、入力可能な映像信号が限定されていたり、歪み補正の関係式の生成を同一システム内で行うため、３次元の計算処理を行うことが必要となり、システムが複雑になったり、高スペックの機器が必要となったりする。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、歪み補正のための処理を外部で行った結果を利用することによって、複雑な３次元処理などを行うことなく簡単な歪み補正処理を行うことができる映像信号処理装置、仮想現実感生成システムを提供することを目的とする。

本発明は、任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置であって、平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、前記映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを外部から入力する外部入力手段と、前記外部入力手段により入力した歪み補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、前記歪み補正手段により作成された出力映像信号を前記投影手段に出力する出力手段とを備え、上述の課題を解決するために、前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素を記述してなり、前記歪み補正手段は、前記歪み補正テーブルによる変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成し、前記外部入力手段は、前記映像信号入力手段により入力した平面映像信号に輝度補正処理を施すための輝度補正テーブルを外部から入力し、前記外部入力手段により入力した輝度補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに輝度補正処理を施して、前記任意形状の投影面に投影させるための出力映像信号を作成する輝度補正手段を更に備える。

また、本発明に係る仮想現実感生成システムは、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、上記の映像信号処理装置と、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを作成する外部処理装置と、映像信号処理装置から出力された映像信号に基づいた映像をスクリーンに投影する投影手段とを備え、上述の課題を解決するために、映像信号処理装置は、平面映像信号を入力する映像信号入力手段と、映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを外部処理装置から入力する外部入力手段と、外部入力手段により入力した歪み補正テーブルを参照して、映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、任意形状の投影面に映像光を投影させるための映像信号を作成する歪み補正手段と、歪み補正手段により作成された映像信号を投影手段に出力する出力手段とを備えることを特徴とする。

本発明によれば、予め歪み補正テーブルを外部から映像信号処理装置に記憶しておいて、投影手段からスクリーンに映像光を出射させるに際して平面映像信号に歪み補正処理を施す場合に、２次元における座標変換を行うのみで、３次元処理を行うことなく出力映像信号を作成できる。したがって、本発明によれば、観察者に視認させる映像の歪みを抑制する処理を簡単な構成でリアルタイムに実現できる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明を適用した仮想現実感生成システムは、図１に示すように、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーン１に３次元の映像光を投影するために、投影手段である２台のプロジェクタ２ａ、２ｂからなる映像投影機器２によって右眼用映像光と左眼用映像光とからなる出力映像を出射して、観察者に仮想現実感を与えるものである。

この仮想現実感生成システムは、映像信号処理装置である歪み補正ユニット３に、プロジェクタ２ａ、２ｂと映像生成機器４とパラメータ調整用パーソナルコンピュータ５とが接続されている。歪み補正ユニット３は、任意形状の投影面のスクリーン１に映像光が投影されたときの映像歪みを補正して出力映像信号を作成する映像信号処理を行う。なお、パラメータ調整用パーソナルコンピュータ５は、歪み補正ユニット３に常時接続されている必要はなく、後述するように歪み補正テーブル、輝度補正テーブル、制御信号等を歪み補正ユニット３に出力するときのみ接続されていれば良いものである。

スクリーン１は、プロジェクタ２ａ、２ｂからの右眼用映像光と左眼用映像光とを鏡面反射する。なお、このスクリーン１の投影面形状としては、球体の一部を利用した半球状、円筒状などが挙げられ、複数の平面を接続した形状であっても良い。

プロジェクタ２ａ、２ｂは、右眼用映像光と左眼用映像光とを出射するために、歪み補正ユニット３から右眼用映像信号と左眼用映像信号とからなる出力映像信号を受信する。これらプロジェクタ２ａ、２ｂは、歪み補正ユニット３の２チャンネルの映像出力端子３ｅ，３ｆのそれぞれに接続されている。

なお、観察者に立体視をさせる場合、例えばプロジェクタ２ａに右眼用偏光フィルター、プロジェクタ２ｂに左眼用偏光フィルターを装着させ、スクリーン１としては鏡面反射スクリーンを使用し、観察者には偏光フィルターに対応した偏光メガネを装着させることになる。また、プロジェクタとしては、２台である必要はなく、１台のプロジェクタから時分割で右眼用映像光と左眼用映像光とを交互に出射するものであっても良い。

映像生成機器４は、平面映像光を出射するための映像信号を記憶する記憶媒体を備えている。この映像生成機器４としては、パーソナルコンピュータ、ビデオデッキやＤＶＤデッキ等の映像再生装置、ビデオカメラ、立体カメラなどが挙げられる。なお、映像生成機器４は、４チャンネル分の出力端子を有し、歪み補正ユニット３の１チャンネル〜４チャンネルの映像入力端子３ａ，３ｂ，３ｃ，３ｄに接続されている。なお、図１乃至図３に示した例では、４チャンネル入力、２チャンネル出力の構成を示しているが、入出力ともに１チャンネルのみであっても良い。

パラメータ調整用パーソナルコンピュータ５は、スクリーン１の曲面形状に合わせて歪み補正ユニット３で平面映像信号に歪み補正を施すための歪み補正テーブル、平面映像信号に輝度補正を施すための輝度補正テーブルを作成して、歪み補正ユニット３に供給する。

この歪み補正テーブルは、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである。この歪み補正テーブルは、歪み補正後の出力画像の画素に対応する、歪み補正前の入力画像の画素と、その画素からのずれ量を記述することで、入力画像の複数の画素の色情報を適切な割合で混合して出力画像の画素の色情報とすることも可能としたテーブルであっても良い。また、輝度補正テーブルは、歪み補正処理前の平面映像信号又は歪み補正処理後の出力映像信号の各画素を何倍の輝度にするかを記述したテーブルである。

平面の投影面と任意形状の投影面のメッシュモデルとの対応マップのみを記述した歪み補正テーブルは、例えば、入力画像の画素座標（５，７）と出力画像の画素座標（６，８）とを対応させて記述している。また、入力画像の複数の画素の色情報から出力画像の画素の色情報を作成できる歪み補正テーブルは、例えば、ｘ方向に０．５５，ｙ方向に０．３のずれ量がある場合に、入力画像の画素座標（５．５５，７．３）と出力画像の画素座標（６，８）とを対応させて記述している。

歪み補正ユニット３は、パラメータ調整用パーソナルコンピュータ５と接続された外部入力端子３ｇを備え、歪み補正テーブル、輝度補正テーブルを入力する。なお、このパラメータ調整用パーソナルコンピュータ５による歪み補正テーブルの作成処理については後述する。

パラメータ調整用パーソナルコンピュータ５は、プロジェクタ２ａ、２ｂの動作を制御する制御信号を歪み補正ユニット３に出力する。この制御信号は、プロジェクタ２ａ、２ｂの映像光の出力開始及び停止をはじめとして、プロジェクタ２ａ、２ｂの映像投影位置や映像サイズ、ズーム倍率、色調整などのあらゆるプロジェクタ２ａ、２ｂの制御コマンドを含む。この制御信号は、歪み補正ユニット３によって入力されて、歪み補正ユニット３の外部出力端子３ｈを介してプロジェクタ２ａ、２ｂのそれぞれに供給される。

歪み補正ユニット３は、そのハードウェア構成を図２に示すように、映像入力側の信号方式変換回路１１と、映像信号処理回路１２と、外部機器制御回路１３と、デジタルシグナルプロセッサ（ＤＳＰ）１４と、計算用メモリ１５と、テーブル用メモリ１６と、映像出力側の信号方式変換回路１７と、制御信号用メモリ１８とを備える。このようなハードウェア構成を有する歪み補正ユニット３は、その機能的なソフトウェア構成を図３に示すように、入力映像処理部２１と、映像切替／分配部２２と、映像合成部２３と、歪み補正部２４と、出力映像処理部２５と、同期処理部２６と、変換テーブル読み込み／保存部２７と、外部機器制御部２８と、制御信号読み込み／保存部２９とを有する。

信号方式変換回路１１は、映像入力端子３ａ，３ｂ，３ｃ，３ｄを介して映像生成機器４からの映像を入力する入力映像処理部２１として機能する。この信号方式変換回路１１は、映像生成機器４からの平面映像信号として、コンポジット信号、セパレート信号、コンポーネント信号、ディジタルビデオ信号等を入力する。なお、このように複数種類の平面映像信号を入力可能な構成である場合、映像入力端子３ａ，３ｂ，３ｃ，３ｄは、それぞれの方式に準じた端子形状であるＤＶＩ−Ｉ端子、ＲＧＢ端子、Ｓ端子、コンポジット端子、Ｄ端子などとなっている。このように、あらゆる種類の平面映像信号を入力可能とすることによって、入力する平面映像信号の種類幅を広げている。信号方式変換回路１１は、映像入力端子３ａ，３ｂ，３ｃ，３ｄを介して平面映像信号を入力したことに応じて、当該平面映像信号の方式を、後段の映像信号処理回路１２等で処理可能な方式にデコードして、映像信号処理回路１２に出力する。

映像信号処理回路１２は、図３における映像切替／分配部２２となる映像切替／分配回路、映像合成部２３となる映像合成回路、歪み補正部２４となる映像補正回路、同期処理部２６となる同期処理回路を有している。この映像信号処理回路１２は、映像切替／分配部２２によって入力映像処理部２１からの平面映像信号の切替又は分配を行い、複数の平面映像信号を合成する場合には映像合成部２３で映像合成を行って、歪み補正部２４に供給する。

歪み補正部２４は、変換テーブル読み込み／保存部２７に予め記憶された歪み補正テーブルを参照して、画素毎の座標変換処理を行うことによって平面映像信号を出力映像信号に変換する歪み補正処理を行う。また、歪み補正部２４は、変換テーブル読み込み／保存部２７に記憶された輝度補正テーブルを参照して、画素ごとの輝度値を変換することによって平面映像信号を出力映像信号に変換する輝度補正処理を行う。更に、歪み補正部２４は、歪み補正処理の座標変換の際に、歪み補正テーブル内部に記述されたずれ量を参照することで、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成することもできる。この歪み補正処理、輝度補正処理を行うに際して、映像信号処理回路１２（歪み補正部２４）は、計算用メモリ１５を作業領域として利用する。

この歪み補正部２４による歪み補正処理は、図４（ａ）に示す平面映像信号１００の画素ａ，ｂ，ｃを、図４（ｂ）に示す出力映像信号１００’の画素ａ’，ｂ’，ｃ’に変換することによって、歪み補正を行う。この出力映像信号１００’は、任意形状の投影面となっているスクリーン１のメッシュモデルに従って、座標変換が施された結果である。

歪み補正部２４による輝度補正処理は、変換テーブル読み込み／保存部２７に歪み補正処理後の出力映像信号に対応した輝度補正テーブルが記憶されている場合には、図５に示す処理となる。すなわち、先ず図５（ａ）に示す平面映像信号１００に対して輝度補正処理を施し、図５（ｂ）の平面映像信号１００’を作成し、その後に、当該平面映像信号１００’に歪み補正処理が施される。

また、輝度補正処理は、変換テーブル読み込み／保存部２７に歪み補正処理前の平面映像信号に対応した輝度補正テーブルが記憶されている場合には、図６に示す処理となる。すなわち、図６（ａ）に示す平面映像信号１００が歪み補正処理された結果である図６（ｂ）の出力映像信号１００’に対して、当該歪み補正後の画素ａ’，ｂ’，ｃ’の輝度を変換して、図６（ｃ）に示す新たな輝度補正後の画素ａ’’，ｂ’’，ｃ’’とする。なお、歪み補正部２４の歪み補正処理では、歪み補正処理の座標変換の際に、歪み補正テーブル内部に記述されたずれ量を参照することで、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成することも可能であるが、この出力画像の画素の色情報を補間して作成する処理を含む歪み補正処理の詳細については、後述する。

この歪み補正部２４によって歪み補正処理及び輝度補正処理が施された出力映像信号は、出力映像処理部２５（信号方式変換回路１７）に渡されて、当該出力映像処理部２５からプロジェクタ２ａ、２ｂに供給される。このとき、出力映像処理部２５（信号方式変換回路１７）は、出力映像信号をプロジェクタ２ａ、２ｂで映像投影可能な信号方式に変換して出力する。なお、映像出力端子３ｅ，３ｄは、出力映像信号の方式に準じた端子形状であるＤＶＩ−Ｉ端子、ＲＧＢ端子などとなっている。

また、この歪み補正ユニット３において、同期処理部２６は、リアルタイムで入力映像処理部２１、映像切替／分配部２２、映像合成部２３、歪み補正部２４及び出力映像処理部２５を動作させるために同期処理部２６によって、各部間の映像信号の処理タイミング、映像信号転送タイミングを制御している。この歪み補正ユニット３は、デジタルシグナルプロセッサ１４によって、映像信号処理回路１２のソフトウェア的な処理が制御されている。

更に、歪み補正ユニット３は、パラメータ調整用パーソナルコンピュータ５から供給された制御信号を制御信号読み込み／保存部２９で受信・保存し、外部機器制御回路１３（外部機器制御部２８）が、適宜、制御信号を制御信号読み込み／保存部２９から選択し、当該制御信号を外部出力端子３ｈを通じてプロジェクタ２ａ，２ｂに転送する。なお、歪み補正ユニット３からプロジェクタ２ａ，２ｂに送信する制御信号は、図３に示すように、ユーザに操作される押しボタンやリモコンなどの操作入力部６からの操作入力信号に応じて、外部機器制御部２８から出力しても良い。これによって、制御信号読み込み／保存部２９に保存されている制御信号をユーザが自由に切り換えながらプロジェクタ２ａ，２ｂを制御させることができる。

このように、歪み補正ユニット３によれば、事前に変換テーブル読み込み／保存部２７に歪み補正テーブル、輝度補正テーブルを記憶させておき、プロジェクタ２ａ、２ｂからスクリーン１に映像光を出射させるに際して平面映像信号に歪み補正処理、輝度補正処理を施す場合に、２次元における座標変換、輝度変換を行うのみで、３次元処理を行うことなく出力映像信号を作成できる。すなわち、歪み補正の関係式の生成を外部のパラメータ調整用パーソナルコンピュータ５で行い、当該パラメータ調整用パーソナルコンピュータ５の処理結果を歪み補正テーブルとして入力できるので、歪み補正ユニット３内部において、３次元の計算処理を必要とせず、２次元の計算処理のみで歪み補正が可能である。したがって、歪み補正ユニット３によれば、観察者に視認させる映像の歪みを抑制する処理を簡単な構成でリアルタイムに実現できる。

また、この歪み補正ユニット３によれば、様々な種類の映像信号に対して上述の処理を施すことができ、入力映像の種類に対する制限を軽減できる。

更に、歪み補正ユニット３は、複数の平面映像信号を同時に入力すると共に、映像信号を複数同時に出力する構成となっている。映像信号処理回路１２は、同時に複数の平面映像信号を入力した場合に、当該複数の平面映像信号を選択して、歪み補正をした出力映像信号を信号方式変換回路１７に出力することができ、当該複数の平面映像信号を合成して信号方式変換回路１７から出力させることができる。この複数の平面映像信号のうち信号方式変換回路１７に出力する出力映像信号を選択する条件は、パラメータ調整用パーソナルコンピュータ５によって設定できる。また、複数の平面映像信号を合成する前に、当該複数の平面映像信号の映像サイズを統一するように映像の拡大、縮小処理を施すことが望ましい。

また、複数の平面映像信号を同時に入力した場合、ＤＳＰ１４で構成される同期処理部２６によって、複数の平面映像信号の処理タイミングの同期を取ることができる。これによって、２台のプロジェクタ２ａ，２ｂを使用して立体視をさせることもできる。

更に、上述した映像信号処理回路１２は、複数の平面映像信号を用いて、当該複数の平面映像信号間で視差を与えて合成した視差付き平面映像信号を作成しても良い。例えば、３チャンネル入力の場合、チャンネル３の平面映像信号をチャンネル１の平面映像信号とチャンネル２の平面映像信号に対して視差を付けて合成して、視差付き平面映像信号を作成してもよく、４チャンネル入力の場合、チャンネル３、チャンネル４の平面映像信号をそれぞれチャンネル１、チャンネル２の平面映像信号に視差を付けて合成して、視差付き平面映像信号を作成してもよい。このような視差付き平面映像信号の作成処理の条件は、パラメータ調整用パーソナルコンピュータ５によって設定でき、当該設定によって、スクリーン１に歪みがない立体映像を表示させることができる。

つぎに、上述したように構成された仮想現実感生成システムにおいて、パラメータ調整用パーソナルコンピュータ５による歪み補正テーブルの作成処理について説明する。

パラメータ調整用パーソナルコンピュータ５は、歪み補正テーブルに関するテーブル・作成出力部の機能として、スクリーンモデル創造部、プロジェクタ配置・セットアップ部、ユーザ位置設定部を主として有する。スクリーンモデル創造部は、図７に示すように、スクリーン１のメッシュモデルを創造するものである。このスクリーンモデル創造部は、先ず、基本的な３つのモデルが記憶されている。すなわち、球形のみのモデル３１と、円筒のみのモデル３２と、混合モデル３３とである。混合モデル３３は、球形を主とし他の平面又は曲面を混合した球面混合モデル３４と、円筒を主として他の平面又は曲面を混合した円筒混合モデル３５と、平面を主として他の平面又は曲面を混合した平面混合モデル３６とから構成されている。そして、各モデル３１、３２、３４〜３６の内容は、何れか１つを設定し、更に、入力パラメータ３１ａ，３２ａ，３４ａ〜３６ａを入力することで、実際のスクリーン１に適応したメッシュモデル３１ｂ、３２ｂ、３４ｂ〜３６ｂを作成することができる。なお、スクリーンモデル創造部に記憶しておく基本的なモデルとしては、図７に示したモデル３１〜３３に限らず、当該モデル３１〜３３と並列して、楕円形のモデル、長方形のモデルなども設定しておき、入力パラメータの入力、メッシュモデルの作成を行うことができる。これによって、楕円形や長方形、当該楕円形や長方形を複数組み合わせたスクリーン１であっても、当該スクリーン１に投影した映像に歪みを発生させない歪み補正テーブルを作成できる。

基本モデルと入力パラメータとしては、以下のとおりである。

スクリーン１が球面（真球の一部）の場合、入力パラメータとしては、図８で示すように、球形モデルの半径Ｒと球形モデルの中心から切断面までの距離Ａとである。

ここで、球形モデルは、式１のように表される。

ｘ^２＋ｙ^２＋ｚ^２＝Ｒ^２ （式１）
ここで、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１である。ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入することによって求められ、ｚ１は、式１において、ｚ＝Ａ、ｙ＝０を代入することによって求められ、ｙ１＝ｚ１となる。従って、上述のようにスクリーン１が球面の場合、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、球形モデルの半径Ｒと、球形モデルの中心から切断面までの距離Ａとを入力すればよい。

また、スクリーン１の正面から見た形状が、図１０のように、球面スクリーンの一部を上下左右のある端から切り欠いた形状の球面スクリーンであった場合に対応した球面モデルは、以下のように表される。例えば、スクリーン１が図１０（ａ）のように正面から見た際に下端から切断された球面スクリーンであった場合は、対応した球面モデルは、図９で示すように、式１とＡ≦ｘ≦Ｒ、−Ｂ≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１と表される。ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入することによって求められ、ｚ１は、式１において、ｘ＝Ａ、ｙ＝０を代入することによって求められ、ｘ１は、式１において、ｙ＝−Ｂ、ｚ＝０を代入することによって求められる。従って、上述のスクリーン１の場合、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、球面モデルの半径Ｒと、球面モデルの中心から切断面までの距離Ａと共に、球面モデルの中心から切り欠く位置までの距離Ｂを入力すればよい。

同様に、スクリーン１が図１０（ｂ）、図１０（ｃ）、図１０（ｄ）のように、正面から見た際にそれぞれ上端、左端、右端から切断された球面スクリーンであった場合は、それぞれに対応した球面モデルは以下のように表される。図１０（ｂ）のように、上端から切断された球面スクリーンであった場合は、球面モデルは、式１とＡ≦ｘ≦Ｒ、−ｙ１≦ｙ≦Ｂ、−ｚ１≦ｚ≦ｚ１である。図１０（ｃ）のように、スクリーン１が右端から切断された球面スクリーンであった場合は、球面モデルは、式１とＡ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦Ｂである。図１０（ｄ）のように、スクリーン１が左端から切断された球面スクリーンであった場合は、球面モデルは、式１とＡ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−Ｂ≦ｚ≦ｚ１である。なお、パラメータ調整用パーソナルコンピュータ５への入力パラメータを増やせば、２箇所以上の切断を組み合わせたような形状をしたスクリーン１にも対応ができる。

一方、スクリーン１が円筒を切断したような形状のアーチスクリーンであった場合、対応するスクリーンモデルは図１１のような円筒モデルで表される。

図１１の円筒モデルのｘｚ平面の断面上の円は、式２のように表される。

ｘ^２＋ｚ^２＝Ｒ^２ （式２）
ここで、Ａ≦ｘ≦Ｒ、０＜ｙ≦Ｈ、−ｚ１≦ｚ≦ｚ１の制限を加えることで、円筒モデルの表面の式となる。ｚ１は、式２において、ｘ＝Ａを代入することによって求められる。従って、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、円の半径Ｒ（アーチスクリーンの半径Ｒ）と、円の中心から切断面までの距離Ａと、（アーチスクリーンの）高さＨとである。

さらにまた、図１２（ａ）は、複数平面（長方形の面が複数存在）からなるスクリーン１の投影面の場合を示し、この場合、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、図１２（ｂ）で示すような上面から見たときの面の配置と、面の高さＨとである。図１２（ｂ）の場合、
ｚ＝−ｘ＋１（０≦ｘ＜１） （式３−１）
ｚ＝０（１≦ｘ＜３） （式３−２）
ｚ＝ｘ−３（３≦ｘ≦４） （式３−３）
０＜ｙ≦Ｈ （式３−４）
である。

また、複数の球面を連結したような形状球面を真横に並べた形状をしたスクリーン１の場合には、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、図８または図９、１０で示す例と同様に、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの切り欠く位置までの距離Ｂと、横に並べる球の個数とを入力すればよい。すなわち、例えば、上下に２つの球面スクリーンを並べてスクリーン１とした場合、図１０（ａ）と図１０（ｂ）とを組み合わせることで実現することができ、同様に左右に２つの球面スクリーンを並べるスクリーン１とした場合、図１０（ｃ）と図１０（ｄ）とを組み合わせることで実現することができ、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、前述のように、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの切り欠く位置までの距離Ｂと、横に並べる球の個数とを入力すればよいことが理解される。

複数の円筒面のスクリーン１の場合には、上面から見た配置図に、面の高さＨと、各スクリーン１の半径Ｒ及び距離Ａと、個数とを入力すればよい。このようにして、スクリーン１の投影面の関数式が決まるので、ｘ、ｙ、ｚに適当な値を代入することで、或る一定個数以上のスクリーン１上の点をサンプリング点として記録することで、スクリーン１の投影面形状を特定することができる。各スクリーン１の投影面の関数式は、スクリーンモデル創造部において、予め各モデル３１，３２，３４〜３６内に格納されて、歪み補正テーブルの設定時に呼び出すことができる。そして、入力パラメータ３１ａ，３２ａ，３４ａ〜３６ａとして上記のパラメータを入力するだけで、パラメータ調整用パーソナルコンピュータ５により、実際のスクリーン１に適応したメッシュモデル３１ｂ、３２ｂ、３４ｂ〜３６ｂを作成することができる。

なお、上記のようなスクリーン１の投影面上のサンプリング点は、ｘ軸周り、ｙ軸周り、ｚ軸周りに回転可能（傾いたスクリーン１を定義可能）である。

すなわち、ｘ軸周りのα度の回転は、式４で表すことができる。

また、ｙ軸周りのβ度の回転は、式５で表すことができる。

さらにまた、ｚ軸周りのγ度の回転は、式６で表すことができる。

パラメータ調整用パーソナルコンピュータ５は、このようにして得たスクリーン１の投影面上のサンプリング点に、歪み補正ユニット３に入力される平面映像信号の各サンプリング点をマッピングさせる対応マップを歪み補正テーブルとして作成することで、歪み補正ユニット３で歪み補正処理を行わせることができ、平面映像信号の各画素を歪み補正テーブルで対応した画素に割り付けてゆくことで、歪み補正処理が施された出力映像信号を作成させることができる。

この歪み補正テーブルは、使用するスクリーン１の投影面形状が決定し、パラメータ調整用パーソナルコンピュータ５に各パラメータを入力し、一旦作成すれば、パラメータ等の変更がない限り変更する必要なくパラメータ調整用パーソナルコンピュータ５から歪み補正ユニット３に供給されて、歪み補正ユニット３内に記憶される。

以上の図８〜図１２を用いた説明は、図１３に示すようなスクリーン１の投影面形状に対する歪み補正処理を歪み補正ユニット３によって実行させるものである。すなわち、平面の投影面に対する平面映像信号を、そのまま球形のスクリーン１に投影すると、図１３（ａ）に示すように歪んだ映像となり、このため球形のスクリーン１に投影された映像の歪みが無くなるように、図１３（ｂ）に示すように予め歪ませた出力映像信号を作成するものである。しかしながら、プロジェクタ２ａ、２ｂのスクリーン１に対する配置位置の違い及び観察者のスクリーン１に対する位置の違いなどから、さらなる歪み補正が必要になる。従って、上述のようにして求めた歪み補正テーブルには、さらにそのような補正を施すことができるようになる。

以下に、投影面が球面のスクリーン１に対するプロジェクタ２ａ、２ｂ及び観察者の位置の違いに対する歪み補正テーブルの作成処理について説明する。この処理は、プロジェクタ配置・セットアップ部及びユーザ位置設定部からの入力に応答してパラメータ調整用パーソナルコンピュータ５によって行われる。

図１４は、上述した球面補正に、プロジェクタ２ａ、２ｂ及び観察者の位置補正を含めた歪み補正の手法を説明するための図である。先ず補正にあたり、図１４に示すように、観察者の視点位置よりビューフラスタム及びプロジェクタ２ａ、２ｂの投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をＰ０、底面をＰ０，０、Ｐｍ，ｎ、Ｐ０，ｎ、Ｐｍ，０とする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をＱ０、底面をＱ０，０、Ｑｍ，０、Ｑｍ，ｎ、Ｑ０，ｎとして表現される。ここで、ｍ，ｎは映像解像度を表すものとし、映像信号が、例えばＳＸＧＡの場合は、ｍ＝１２７９，ｎ＝１０２３である。なお、底面は仮想スクリーン面とも呼ばれる。

ここで、簡易表現のため、ｍ＝ｉにおけるｙ−ｚ二次元断面から見たイメージを図１５に示す。先ず、仮想スクリーン面１ａ内に点Ｐｉ，ｊを想定し、ベクトルＰ０Ｐｉ，ｊとドーム型のスクリーン１（メッシュモデル３１ｂ，３２ｂ，３４ｂ〜３６ｂ）との交点Ｒｉ，ｊを求める。ｉ，ｊを、０≦ｉ≦ｍ，０≦ｊ≦ｎで変化してゆくと、Ｐｉ，ｊ→Ｑｉ，ｊ対応マップを作成することができ、この対応マップが映像の歪みに対する逆補正となる。

すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取り出し、このイメージにＰｉ，ｊ→Ｑｉ，ｊ対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行わせることで、歪み補正を実現させる。グリッド映像にＰｉ，ｊ→Ｑｉ，ｊ対応マップを適用したイメージを図１６に示す（すなわち図１３（ｂ）とは逆になる）。この歪み補正処理は、スクリーン１の投影面形状を制限しない。従って、上述のようにして求めた球面のメッシュモデル３１ｂだけでなく、他のメッシュモデル３２ｂ、３４ｂ〜３６ｂ等へも適用可能である。

このように、パラメータ調整用パーソナルコンピュータ５によって歪み補正処理を行わせるための歪み補正テーブルを使用させることにより、平面の表示面に対する平面映像信号に対して逐次歪み補正処理をさせて、映像光をプロジェクタ２ａ、２ｂから出射させることができ、任意形状のスクリーン１に歪みの無い映像を表示させることができる。

つぎに、上述した、歪み補正テーブル内部に記述されたずれ量を参照することで、歪み補正処理の座標変換の際に、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成する処理（色情報補間式歪み補正処理）について説明する。この色情報補間式歪み補正処理は、必ずしも行わなければならない処理ではない。ただし、この色情報補間式歪み補正処理を行うことにより、単に歪み補正処理をした場合と比べて、出力画像のジャギーを軽減することが可能となる。

歪み補正部２４は、歪み補正テーブルによって平面映像信号を出力映像信号に変換する歪み補正処理をする際に、歪み補正テーブルによる変換前の平面映像信号の画素の代表点が、変換後の出力映像信号の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、変換後の画素の色情報にして、出力映像信号を作成する。具体的には、歪み補正部２４は、変換前のｘ方向で隣り合う２画素内における変換後の画素の代表点の位置に応じて、平面映像信号の２画素内の色情報を混合して出力映像信号を作成する。又は、歪み補正部２４は、変換前のｙ方向で隣り合う２画素内における変換後の画素の代表点の位置に応じて、平面映像信号の２画素内の色情報を混合して、出力映像信号を作成する。

ここで、スクリーン１の投影面上のサンプリング点に平面映像信号のサンプリング点をマッピングさせる対応マップを歪み補正テーブルとして変換テーブル読み込み／保存部２７に記憶しておき、平面映像信号の各画素を歪み補正テーブルで対応した画素に割り付けてゆく際に、平面映像信号の１画素を出力映像信号の１画素に対応させるとすると、画素が映像解像度によって規定される有限の大きさを有していることにより、座標位置の丸めに相当する誤差が生じて、変換後の出力画像で階段状の色むら、いわゆるジャギーが目立つ場合がある。丸めによる誤差は変換前の画素の代表点、例えば画素の中心位置が変換後の画素の代表点から離れた位置に対応することによって生じるので、当該ずれ量に相当する割合で、平面映像信号において隣接する画素の色情報を利用して出力映像信号の色情報を補間する。これによって、出力映像信号に発生するジャギーを低減する。

例えばｘ方向においてずれがある場合、図１７に示すように、ｘ方向において隣接する平面映像信号（以下、入力画像１００と呼ぶ。）の画素Ｐ１，Ｐ２を出力映像信号（以下、出力画像１００’と呼ぶ。）の画素Ｐ１’に変換し、ｘ方向において隣接する入力画像１００の画素Ｐ３，Ｐ４を出力画像１００’の画素Ｐ２’に変換するに際して、入力画像１００のｘ方向にて隣接する画素Ｐ１，Ｐ２の色情報を用いて出力画像１００’の画素Ｐ１’の色情報を作成し、入力画像１００のｘ方向にて隣接する画素Ｐ３，Ｐ４の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成する。

ｘ方向のずれ量Δｘは、０以上１未満で表現でき、０又は１のときは隣接する何れかの画素の代表点に一致するものとして表現できる。すなわち、入力画像１００のｘ方向で隣接する２画素が出力画像１００’において１画素に変換されるに際して、ずれ量Δｘが入力画像１００と出力画像１００’との間で存在する場合、図１８（ａ）に示すように、入力画像１００における画素Ｐ１（ｘ，ｙ）の色情報と隣接する画素Ｐ２（ｘ＋１，ｙ）の色情報とを、１−Δｘ：Δｘの割合で平均化した仮想画素Ｐ（ｘ＋Δｘ，ｙ）の色情報Ｃ_{ｘ＋Δｘ，ｙ}＝Ｃ_ｘ，ｙ（１−Δｘ）＋Ｃ_{ｘ＋１，ｙ}Δｘを出力画像１００’の画素の色情報とすることができ、図１８（ｂ）に示すように、仮想の入力画素（ｘ＋Δｘ，ｙ）に対応する出力画像１００’の変換後画素Ｐ’（ｕ，ｖ）の色情報を
Ｃ_{ｘ＋Δｘ，ｙ}＝Ｃ_ｘ，ｙ（１−Δｘ）＋Ｃ_{ｘ＋１，ｙ}Δｘ
とすることができる。

このように歪み補正ユニット３は、入力画像１００と出力画像１００’との間でｘ方向のずれがあり、ｘ方向の２画素を用いて色情報補間式歪み補正処理を行って出力画像１００’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶しておく。そして、図１７に示したように、歪み補正部２４は、出力画像１００’の画素Ｐ１’，Ｐ２’を、それぞれ入力画像１００のｘ方向の２画素から生成する。従って、入力画像１００の２画素と出力画像１００’の１画素は、入力画像１００の２画素の色情報がそれぞれどの程度の割合で、出力画像１００’の画素の色情報に影響を及ぼしているかに応じて、色情報が算出される。

ここで、出力画像１００’の画素（ｕ，ｖ）が対応する入力画像１００の画素が、画素（ｘ，ｙ）からΔｘだけずれているとすると、出力画像１００’の画素（ｕ，ｖ）を、入力画像１００の仮想画素（ｘ＋Δｘ，ｙ）と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正部２４は、出力画像１００’の画素（ｕ，ｖ）の色情報を、画素（ｘ，ｙ）と画素（ｘ＋１，ｙ）との色情報を（１−Δｘ）：Δｘの割合で含むように混合して、出力画像１００’の画素（ｕ，ｖ）の色情報Ｃ_ｕ，ｖを、
Ｃ_ｕ，ｖ＝Ｃ_ｘ，ｙ（１−Δｘ）＋Ｃ_{ｘ＋１，ｙ}Δｘ
という式で演算することができる。

また、ｙ方向にずれがある場合、図１９に示すように、ｙ方向において隣接する入力画像１００の画素Ｐ１，Ｐ２を出力画像１００’の画素Ｐ１’に変換し、ｙ方向において隣接する入力画像１００の画素Ｐ３，Ｐ４を出力画像１００’の画素Ｐ２’に変換するに際して、入力画像１００のｙ方向にて隣接する画素Ｐ１，Ｐ２の色情報を用いて出力画像１００’の画素Ｐ１’の色情報を作成し、入力画像１００のｙ方向にて隣接する画素Ｐ３，Ｐ４の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成する。

ｙ方向のずれ量Δｙは、０以上１未満で表現でき、０又は１のときは隣接する何れかの画素の代表点に一致するものとして表現できる。すなわち、入力画像１００のｙ方向で隣接する２画素が出力画像１００’において１画素に変換されるに際して、ずれ量Δｙが入力画像１００と出力画像１００’との間で存在する場合、図２０（ａ）に示すように、入力画像１００における画素Ｐ１（ｘ，ｙ）の色情報と隣接する画素Ｐ２（ｘ，ｙ＋１）の色情報とを、１−Δｙ：Δｙの割合で平均化した仮想画素Ｐ（ｘ，ｙ＋Δｙ）の色情報Ｃ_{ｘ，ｙ＋Δｙ}＝Ｃ_ｘ，ｙ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}Δｙを出力画像１００’の画素の色情報とすることができ、図２０（ｂ）に示すように、仮想の入力画素（ｘ，ｙ＋Δｙ）に対応する出力画像１００’の変換後画素Ｐ’（ｕ，ｖ）の色情報を
Ｃ_{ｘ，ｙ＋Δｙ}＝Ｃ_ｘ，ｙ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}Δｙ
とすることができる。

このように歪み補正ユニット３は、入力画像１００と出力画像１００’との間でｙ方向のずれがあり、ｙ方向の２画素を用いて色情報補間式歪み補正処理を行って出力画像１００’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶する。そして、図１９に示したように、歪み補正部２４は、出力画像１００’の画素Ｐ１’，Ｐ２’を、それぞれ入力画像１００のｙ方向の２画素から生成する。従って、入力画像１００の２画素と出力画像１００’の１画素は、入力画像１００の２画素の色情報がそれぞれどの程度の割合で、出力画像１００’の画素の色情報に影響を及ぼしているかに応じて、出力画像１００’の色情報を算出する。

ここで、出力画像１００’の画素（ｕ，ｖ）が対応する入力画像１００の画素が、画素（ｘ，ｙ）からΔｙだけずれているとすると、出力画像１００’の画素（ｕ，ｖ）を、入力画像１００の仮想画素（ｘ，ｙ＋Δｙ）と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正部２４は、出力画像１００’の画素（ｕ，ｖ）の色情報を、画素（ｘ，ｙ）と画素（ｘ，ｙ＋１）との色情報を（１−Δｙ）：Δｙの割合で含むように混合して、出力画像１００’の画素（ｕ，ｖ）の色情報Ｃｕ，ｖを、
Ｃ_ｕ，ｖ＝Ｃ_ｘ，ｙ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}Δｙ
という式で演算することができる。

更に、ｘ方向及びｙ方向においてずれがある場合、図２１に示すように、ｘ方向及びｙ方向において隣接する入力画像１００の画素Ｐ１〜Ｐ４を出力画像１００’の画素Ｐ１’に変換し、ｘ方向及びｙ方向において隣接する入力画像１００の画素Ｐ５〜Ｐ８を出力画像１００’の画素Ｐ２’に変換するに際して、入力画像１００のｘ方向及びｙ方向にて隣接する画素Ｐ１〜Ｐ４の色情報を用いて出力画像１００’の画素Ｐ１’の色情報を作成し、入力画像１００のｘ方向及びｙ方向にて隣接する画素Ｐ５〜Ｐ８の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成する。

ｘ方向にΔｘ、ｙ方向にΔｙのずれがある場合には、入力画像１００のｘ方向及びｙ方向で隣接する４画素が出力画像１００’において１画素に変換されるに際して、図２２（ａ）に示すように、入力画像１００における画素Ｐ１（ｘ，ｙ）の色情報と画素Ｐ２（ｘ＋１，ｙ）の色情報と画素Ｐ３（ｘ，ｙ＋１）の色情報と画素Ｐ４（ｘ＋１，ｙ＋１）の色情報とを用いて、（１−Δｘ）（１−Δｙ）：Δｘ（１−Δｙ）：（１−Δｘ）Δｙ：ΔｘΔｙの割合で平均化する。これにより、４画素を混合した色情報Ｃ_{ｘ＋Δｘ，ｙ＋Δｙ}＝Ｃ_ｘ，ｙ（１−Δｘ）（１−Δｙ）＋Ｃ_{ｘ＋１，ｙ}Δｘ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}（１−Δｘ）Δｙ＋Ｃ_{ｘ＋１，ｙ＋１}ΔｘΔｙを得ることができ、図２２（ｂ）に示すように、仮想の入力画素（ｘ＋Δｘ，ｙ＋Δｙ）に対応する出力画像１００’の変換後画素Ｐ’（ｕ，ｖ）の色情報を
Ｃ_{ｘ＋Δｘ，ｙ＋Δｙ}＝Ｃ_ｘ，ｙ（１−Δｘ）（１−Δｙ）＋Ｃ_{ｘ＋１，ｙ}Δｘ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}（１−Δｘ）Δｙ＋Ｃ_{ｘ＋１，ｙ＋１}ΔｘΔｙ
とすることができる。

このように仮想現実感生成システムは、入力画像１００と出力画像１００’との間でｘ方向及びｙ方向のずれがあり、ｘ方向及びｙ方向の２画素を用いて色情報補間式歪み補正処理を行って出力画像１００’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶する。そして、図２１に示したように、歪み補正部２４は、出力画像１００’の画素Ｐ１’，Ｐ２’を、それぞれ入力画像１００のｘ方向及びｙ方向の４画素から生成する。従って、入力画像１００の４画素と出力画像１００’の１画素は、入力画像１００の４画素の色情報がそれぞれどの程度の割合で、出力画像１００’の画素の色情報に影響を及ぼしているかに応じて、出力画像１００’の色情報を算出する。

ここで、出力画像１００’の画素（ｕ，ｖ）が対応する入力画像１００の画素が、画素（ｘ，ｙ）からΔｘ、Δｙだけずれているとすると、出力画像１００’の画素（ｕ，ｖ）を、入力画像１００の仮想画素（ｘ＋Δｘ，ｙ＋Δｙ）と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正部２４は、出力画像１００’の画素（ｕ，ｖ）の色情報を、画素（ｘ，ｙ）と画素（ｘ＋１，ｙ）と画素（ｘ，ｙ＋１）と画素（ｘ＋１，ｙ＋１）との色情報を（１−Δｘ）（１−Δｙ）：Δｘ（１−Δｙ）：（１−Δｘ）Δｙ：ΔｘΔｙの割合で含むように混合して、出力画像１００’の画素（ｕ，ｖ）の色情報Ｃ_ｕ，ｖを、
Ｃ_ｕ，ｖ＝Ｃ_ｘ，ｙ（１−Δｘ）（１−Δｙ）＋Ｃ_{ｘ＋１，ｙ}Δｘ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}（１−Δｘ）Δｙ＋Ｃ_{ｘ＋１，ｙ＋１}ΔｘΔｙ
という式で演算することができる。

このような色情報補間式歪み補正処理を行うための歪み補正テーブルは、出力画像の画素ごとに、補間対象となる入力画像の画素（２個以上）、ずれ量を記憶しておくことによって構成できる。このずれ量は、歪み補正テーブルによる座標変換によって得られた画素位置のｘ座標、ｙ座標における小数部分である。通常、出力画像１００’のある画素（ｕ，ｖ）が入力画像１００（１０，５）という整数値の画素に対応していることとなるが、本発明を適用した仮想現実感生成システムにおいては、出力画像１００’のある画素（ｕ，ｖ）が入力画像１００の２〜４個の画素に跨っていることを考慮して、出力画像１００’のある画素が、入力画像１００の（１０．３，５．５５）の画素に対応するといったように、ｘ方向は０．３画素分、ｙ方向は０．５５画素分という小数点分のずれがあるとする。なお、ｘ方向のみ又はｙ方向のみに隣接した２画素を用いて出力画像１００’の色情報を作成する場合には、歪み補正テーブルは、ｘ方向又はｙ方向のずれ量のみを登録しておけばよい。

また、この歪み補正テーブルにおけるずれ量は、上記の（１０．３，５．５５）といった表記、又は、（０．３，０．５５）といった小数分のみを記憶するといった表記の何れであっても良い。更に、歪み補正テーブル中のずれ量は、小数第１位までの表記を１０倍して０〜９の整数値で記述しておいても良く、小数第２位までの表記を１００倍して０〜１００の整数値で記述しておいても良い。この場合、色情報補間式歪み補正処理を行う際に、ずれ量を１０又は１００で除算して用いる。こうすることで、歪み補正テーブル中に小数値で表される情報をなくし、整数値で表される情報のみを持つことが可能となる。更にまた、色情報補間式歪み補正処理等を行う歪み補正ユニット３の処理がｎ進数で行われる場合、ずれ量を０〜ｎのｒ乗−１の値で記述しておき、色情報補間式歪み補正処理に際して、当該ずれ量をｎのｒ乗で除算して用いても良い。この場合、色情報補間式歪み補正処理を行う際に、０〜ｎのｒ乗−１の値で記述されたずれ量（ｎ進数）をｒ個右にシフトするだけでよい。例えば、歪み補正ユニット３の処理が２進数で行われる場合、ずれ量を０〜１５（２^４−１）の整数値で記述しておき、色情報補間式歪み補正処理を行う際に、ずれ量を１６で除算して用いる。１６で除算する処理は、ビット列を４つ右にシフトするだけである。なお、ずれ量は８（２の３乗），３２（２の５乗）等であっても良い。

ずれ量を整数値の０〜９、０〜１００、又は歪み補正ユニット３が２進数で処理するために０〜１６とした場合には、それぞれ、精度が０．１、０．０１又は１／１６となる。しかし、整数値でずれ量を表記するために使用するビット数は、小数でずれ量を表記するために使用するビット数よりも格段に少なくすることができ、歪み補正テーブルのデータ量の削減ができる。また、歪み補正ユニット３が処理するｎ進数に応じたずれ量の表記とすることにより、歪み補正テーブル中に小数値で表される情報をなくして整数値で表される情報のみを持つことが可能となるだけでなく、整数値のずれ量を１０又は１００で除算するよりも処理量を減らすことが可能となる。

以上のように、本発明を適用した仮想現実感生成システムによれば、歪み補正テーブルによって歪み補正処理を行うと共に、変換後の出力画像１００’の各画素の画素情報（色情報）を計算するために、各画素に対応する入力画像１００の少なくともｘ方向、または、ｙ方向の２画素を用いるので、出力画像１００’内で隣り合う画素間での色情報の変化を滑らかにすることができ、ジャギーを軽減することができる。

なお、色情報補間式歪み補正処理は、基本的にはｘ方向及びｙ方向において隣接する４画素の入力画像１００によって行うことが望ましいが、スクリーン１に表示させる映像の絵柄に応じてｘ方向又はｙ方向のみにて隣接する２画素で出力画像１００’の色情報を求めても、ジャギーの発生を抑制できる。例えば、映像内上下方向に向いた柱が立ち並んでいるような画像をスクリーン１に投影する場合には、ｙ方向に隣接する２画素で出力画像１００’の色情報を作成する必要が薄く、逆に、映像内左右方向に向いた棒が多く存在するような画像をスクリーン１に投影する場合には、ｘ方向に隣接する２画素で出力画像１００’の色情報を作成する必要が薄く、また、スクリーン１に投影する映像が格子状の絵柄である場合には、ｘ方向又はｙ方向のみにて隣接する画素の色情報を用いて出力画像１００’の色情報を作成しても周期的なジャギーが発生する可能性がある。

また、上述したずれ量の記述が含まれる歪み補正テーブルを用いる色情報補間式歪み補正処理において、入力画像１００及び出力画像１００’の色情報としてＲＧＢ（red-green-blue）やＣＭＹ（cyan-magenta-yellow）といった複数の原色信号を用いても良い。この場合、歪み補正部２４は、Ｒ（赤色成分）信号、Ｇ（緑色成分）信号、Ｂ（青色成分）信号、あるいはＣ（シアン）信号、Ｍ（マゼンタ）信号、Ｙ（イエロー）信号の各原色ごとに独立に同一の処理方法で、入力画像１００における隣接画素の色情報を混合して出力画像１００’の色情報を作成する。３原色、特にＲＧＢで色情報を表現した場合は、コンピュータグラフィック画像やプロジェクタ２ａ、２ｂへの出力画像１００’の色表現方式に適合するという利点があり、ジャギーの少ない出力画像１００’を得ることができる。また、各原色ごとに並列化して出力画像１００’の色情報を作成することができるために、色情報補間式歪み補正処理の高速化が可能となる。更に、ＲＧＢの３原色に加えて、透明度のα値についても、ＲＧＢの３原色と同様に並列して色情報補間式歪み補正処理を行って出力画像１００’の色情報を作成しても良い。

更に、上述したずれ量の記述が含まれる歪み補正テーブルを用いる色情報補間式歪み補正処理において、入力画像１００及び出力画像１００’の色情報としてＹＵＶ（ＹＣｂＣｒ）などの輝度情報（Ｙ）と色差情報（Ｕ（輝度信号と青色成分の差），Ｖ（輝度信号と赤色成分の差））とからなる信号を用いても良い。この場合、歪み補正部２４は、輝度情報と色差情報ごとに独立に同一の処理方法で、入力画像１００における隣接画素の色情報を混合して出力画像１００’の色情報を作成する。これにより、出力画像１００’の色表現方式に適合した色情報によって色情報補間式歪み補正処理を行うことができる。また、輝度情報に敏感で、色差情報には敏感でないという人間の視覚特性を利用して、入力画像１００の輝度情報のみを用いて色情報補間式歪み補正処理を行って出力画像１００’の輝度情報を求め、色差情報を用いた色情報補間式歪み補正処理は複数の画素ごとに間引いて行うことができ、色情報補間式歪み補正処理の高速化が可能となる。例えば、輝度情報については、ｘ方向及びｙ方向の４画素から出力画像１００’の輝度情報を作成することに対し、色差情報については当該４画素のうちの斜め方向の２画素のみを用いて出力画像１００’の色差情報を作成しても良い。

つぎに、上述した色情報補間式歪み補正処理を行うためのずれ量の記述が含まれる歪み補正テーブルを、入力画像１００の入力順に記述した場合の仮想現実感生成システムの動作について説明する。

色情報補間式歪み補正処理の処理対象となる入力画像１００は、映像入力端子３ａ，３ｂ，３ｃ，３ｄに入力されて、入力映像処理部２１、映像切替／分配部２２及び映像合成部２３を経由して歪み補正部２４に供給される。一般的に、入力画像１００の走査線に沿って、画素ごとに順次データが歪み補正部２４に供給される。

入力画像１００の入力画素順に従って色情報補間式歪み補正処理を行う場合、歪み補正ユニット３は、入力順に記述された入力画像１００の画素座標に対応させて、当該画素の変換後の出力画像１００’における画素座標を記述した歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶させておく。この歪み補正テーブルは、パラメータ調整用パーソナルコンピュータ５によって作成される。また、この歪み補正テーブルには、色情報補間式歪み補正処理のためのずれ量も記述されている。

歪み補正部２４は、図２３（ａ）、（ｂ）の入力画像に示すように、入力画像１００の画素がＰ１，Ｐ２，Ｐ３・・・といった順序で入力される場合であって、ｘ方向に隣接する入力画像１００の２画素の色情報を混合して、出力画像１００’の画素の色情報を作成する場合には、先ず、最初の２画素Ｐ１，Ｐ２を読み込んだ時点で、当該２画素Ｐ１，Ｐ２を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、２画素Ｐ１，Ｐ２の色情報を混合して、図２３（ａ）に示す出力画像１００’の画素Ｐ１’，Ｐ２’，Ｐ３’の色情報を作成する。この場合、歪み補正テーブルには、入力画像１００の画素Ｐ１と画素Ｐ２が、出力画像１００’の画素Ｐ１’，Ｐ２’，Ｐ３’に対応し、それぞれの色情報は、それぞれ入力画像１００の画素Ｐ１，Ｐ２をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。なお、出力画像１００’の画素Ｐ１’，Ｐ２’，Ｐ３’それぞれを作成するに際しての入力画像１００の画素Ｐ１，Ｐ２の混合度合いはそれぞれ異なるものとなっている。

次に、図２３（ｂ）に示すように、歪み補正部２４に画素Ｐ１，Ｐ２に続く画素Ｐ３が入力されると、歪み補正部２４は、当該画素Ｐ２，Ｐ３の色情報を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像１００の画素Ｐ２、Ｐ３が、出力画像１００’の画素Ｐ４’、Ｐ５’に対応し、出力画像１００’の画素Ｐ４’、Ｐ５’の画素の色情報は、それぞれ入力画像１００の画素Ｐ２、Ｐ３をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。

このように、入力画像１００のｘ方向の２画素を最初から順に一つずつ最後の２画素になるまでずらしていき、入力画像１００のそれぞれの２画素から計算可能な出力画像１００’の画素の色情報のすべてを求めていくことで、出力画像１００’のすべての画素の色情報を求める。これにより、歪み補正部２４は、常に少なくとも入力画像１００のｘ方向における２画素を読み込んでおけばよく、１画素分の読み込みに必要な時間遅れで、色情報補間式歪み補正処理を行うことができ、歪み補正部２４におけるデータ待ち時間を最小にでき、歪み補正部２４における処理遅れを少なくできる。

また、歪み補正部２４は、図２４（ａ）、（ｂ）の入力画像に示すように、入力画像１００の画素が第１ライン（走査線）の先頭からＰ１，Ｐ３，・・・と入力され、第２ラインの先頭からＰ２，Ｐ４・・・といった順序で入力される場合であって、ｙ方向に隣接する入力画像１００の２画素の色情報を混合して、出力画像１００’の画素の色情報を作成する場合には、第１ラインの先頭画素Ｐ１及び第２ラインの先頭画素Ｐ２を読み込んだ時点で、当該２画素Ｐ１，Ｐ２を用いて計算可能な出力画像１００’の色情報の全てを算出する。なお、歪み補正部２４は、画素Ｐ２が入力されるまで第１ラインの画素を記憶しておく。この例においては、２画素Ｐ１，Ｐ２の色情報を混合して、図２４（ａ）に示す出力画像１００’の画素Ｐ１’，Ｐ２’の色情報を作成する。この場合、歪み補正テーブルには、入力画像１００の画素Ｐ１と画素Ｐ２が、出力画像１００’の画素Ｐ１’、Ｐ２’に対応し、それぞれの色情報は入力画像１００の画素Ｐ１、Ｐ２をそれぞれのずれ量に合わせた割合で混合した色情報になることが記述されている。なお、出力画像１００’の画素Ｐ１’，Ｐ２’それぞれを作成するに際しての入力画像１００の画素Ｐ１，Ｐ２の混合度合いはそれぞれ異なるものとなっている。

次に、図２４（ｂ）に示すように、歪み補正部２４に画素Ｐ２に続く画素Ｐ４が入力されると、歪み補正部２４は、当該画素Ｐ３，Ｐ４の色情報を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像１００の画素Ｐ３、Ｐ４が、出力画像１００’の画素Ｐ３’に対応し、出力画像１００’の画素Ｐ３’の画素の色情報は、入力画像１００の画素Ｐ３、Ｐ４をずれ量に合わせた割合で混合した色情報になるように処理する。

このように、入力画像１００のｙ方向に隣接する２画素を歪み補正部２４で入力した時点で色情報補間式歪み補正処理を行うことで、出力画像１００’のすべての画素の色情報を求める。なお、歪み補正部２４は、常に少なくとも計算用メモリ１５にｘ方向の１ライン＋１画素を読み込んでおけばよい。これにより、歪み補正部２４は、ｘ方向１ライン分の遅れで色情報補間式歪み補正処理を行うことによってデータ待ち時間を少なくでき、歪み補正部２４における処理遅れを少なくできる。

更に、歪み補正部２４は、図２５（ａ）、（ｂ）の入力画像に示すように、入力画像１００の画素が第１ラインの先頭からＰ１，Ｐ２，・・・と入力され、第２ラインの先頭からＰ３，Ｐ４・・・といった順序で入力される場合であって、ｘ方向及びｙ方向に隣接する入力画像１００の４画素の色情報を混合して、出力画像１００’の画素の色情報を作成する場合には、第１ラインの先頭２画素Ｐ１，Ｐ２を読み込み且つ第２ラインの先頭２画素Ｐ３，Ｐ４を読み込んだ時点で、当該４画素Ｐ１〜Ｐ４を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、４画素Ｐ１〜Ｐ４の色情報を混合して、図２５（ａ）に示す出力画像１００’の画素Ｐ１’の色情報を作成する。この場合、歪み補正テーブルには、入力画像１００の画素Ｐ１〜Ｐ４が、出力画像１００’の画素Ｐ１’に対応し、その色情報は入力画像１００の画素Ｐ１〜Ｐ４をずれ量に合わせた割合で混合した色情報になることが記述されている。

次に、図２５（ｂ）に示すように、歪み補正部２４に画素Ｐ４に続く画素Ｐ６が入力されると、歪み補正部２４は、第１ラインの入力時に記憶しておいた画素Ｐ２，Ｐ５及び画素Ｐ４，Ｐ６の色情報を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像１００の画素Ｐ２、Ｐ５、Ｐ４、Ｐ６が、出力画像１００’の画素Ｐ２’、Ｐ３’、Ｐ４’に対応し、出力画像１００’の画素Ｐ２’、Ｐ３’、Ｐ４’の画素の色情報は、それぞれ入力画像１００の画素Ｐ２、Ｐ５、Ｐ４、Ｐ６をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。

このように、入力画像１００のｘ方向及びｙ方向に隣接する４画素を歪み補正部２４で入力した時点で色情報補間式歪み補正処理を行うことで、出力画像１００’のすべての画素の色情報を求める。なお、歪み補正部２４は、常に少なくとも計算用メモリ１５にｘ方向の１ライン＋２画素を読み込んでおけばよい。これにより、歪み補正部２４は、ｘ方向及びｙ方向の双方にずれがある場合であっても、ｘ方向１ライン分＋１画素分の遅れで色情報補間式歪み補正処理を行うことによってデータ待ち時間を少なくでき、歪み補正部２４における処理遅れを少なくできる。

つぎに、上述した色情報補間式歪み補正処理を行うための歪み補正テーブルを、出力画像１００’の出力順に記述した場合の仮想現実感生成システムの動作について説明する。

色情報補間式歪み補正処理の処理後の出力画像１００’は、歪み補正部２４から出力映像処理部２５に出力される。一般的に、入力画像１００の走査線に沿って、画素ごとに順次データが歪み補正部２４から出力映像処理部２５に出力される。一般的な出力画像１００’が走査線に沿って画素ごとに順次データを読み飛ばし無く出力することを考慮すると、出力側の画素の順に歪み補正テーブルを表現した場合、歪み補正処理における出力側の画素座標が自明であるため、歪み補正テーブルの先頭から入力側の画素座標のみを記述した対応マップとできる。これにより、歪み補正テーブルの大きさが小さくできて、変換テーブル読み込み／保存部２７の記憶領域が節約できる。また、この歪み補正テーブルには、色情報補間式歪み補正処理のためのずれ量も記述されている。ずれ量の記述を含む歪み補正テーブルは、パラメータ調整用パーソナルコンピュータ５によって作成される。

このような歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶した場合であって、ｘ方向に隣接する入力画像１００の２画素の色情報を混合して、出力画像１００’の画素の色情報を作成する場合には、歪み補正部２４は、図２６（ａ）に示すように、先ず、入力画像１００の先頭から歪み補正テーブルの先頭に記述された入力画像１００のｘ方向に隣接した２画素Ｐ１，Ｐ２を読み込んだ時点で、当該ｘ方向に隣接した２画素Ｐ１，Ｐ２を用いて出力画像１００’の先頭画素Ｐ１’の色情報を作成して、当該画素Ｐ１’のデータを出力映像処理部２５に出力する。次に、図２６（ｂ）に示すように、出力画像１００’の画素Ｐ１’に続く画素Ｐ２’を作成するために、歪み補正部２４は、歪み補正テーブルを参照して入力画像１００のｘ方向に隣接した２画素Ｐ３，Ｐ４を読み込むと、当該ｘ方向に隣接した２画素Ｐ３，Ｐ４の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成して、当該画素Ｐ２’のデータを出力映像処理部２５に出力する。

また、ｙ方向に隣接する入力画像１００の２画素の色情報を混合して、出力画像１００’の画素の色情報を作成する場合には、歪み補正部２４は、図２７（ａ）に示すように、先ず、入力画像１００の先頭から歪み補正テーブルの先頭に記述された入力画像１００のｙ方向に隣接した２画素Ｐ１，Ｐ２を読み込んだ時点で、当該ｙ方向に隣接した２画素Ｐ１，Ｐ２を用いて出力画像１００’の先頭画素Ｐ１’の色情報を作成して、当該画素Ｐ１’のデータを出力映像処理部２５に出力する。次に、図２７（ｂ）に示すように、出力画像１００’の画素Ｐ１’に続く画素Ｐ２’を作成するために、歪み補正部２４は、歪み補正テーブルを参照して入力画像１００のｙ方向に隣接した２画素Ｐ３，Ｐ４を読み込むと、当該ｙ方向に隣接した２画素Ｐ３，Ｐ４の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成して、当該画素Ｐ２’のデータを出力映像処理部２５に出力する。

更に、ｘ方向及びｙ方向に隣接する入力画像１００の４画素の色情報を混合して、出力画像１００’の画素の色情報を作成する場合には、歪み補正部２４は、図２８（ａ）に示すように、先ず、入力画像１００の先頭から歪み補正テーブルの先頭に記述された入力画像１００のｘ方向及びｙ方向に隣接した４画素Ｐ１〜Ｐ４を読み込んだ時点で、当該ｘ方向及びｙ方向に隣接した４画素Ｐ１〜Ｐ４を用いて出力画像１００’の先頭画素Ｐ１’の色情報を作成して、当該画素Ｐ１’のデータを出力映像処理部２５に出力する。次に、図２８（ｂ）に示すように、出力画像１００’の画素Ｐ１’に続く画素Ｐ２’を作成するために、歪み補正部２４は、歪み補正テーブルを参照して入力画像１００のｘ方向及びｙ方向に隣接した４画素Ｐ５〜Ｐ８を読み込むと、当該ｘ方向及びｙ方向に隣接した４画素Ｐ５〜Ｐ８の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成して、当該画素Ｐ２’のデータを出力映像処理部２５に出力する。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

例えば、上述した実施の形態では、２軸直交座標における方形画素を用いて、ｘ方向又はｙ方向に隣接する２画素を用いた色補間、又は、ｘ方向及びｙ方向に隣接する４画素を用いた色補間を行うことについて説明したが、三角形画素からなる３軸座標系の映像信号の場合には、三角形画素の隣接する６個の６角形形状の画素群を用いて色補間をすることもできる。

本発明を適用した仮想現実感生成システムの構成を示すブロック図である。 本発明を適用した歪み補正ユニットのハードウェア的な構成を示すブロック図である。 本発明を適用した歪み補正ユニットのソフトウェア的な構成を示すブロック図である。 歪み補正テーブルを利用した歪み補正処理を説明するための図であり、（ａ）は歪み補正処理前の平面映像、（ｂ）は歪み補正処理後の出力映像である。 輝度補正テーブルを利用した輝度補正処理を説明するための図であり、（ａ）は補正処理前の平面映像、（ｂ）は輝度補正処理後の出力映像、（ｃ）は輝度補正及び歪み補正後の出力映像である。 輝度補正テーブルを利用した輝度補正処理を説明するための図であり、（ａ）は補正処理前の平面映像、（ｂ）は歪み補正処理後の出力映像、（ｃ）は輝度補正及び歪み補正後の出力映像である。 パラメータ調整用パーソナルコンピュータのスクリーンモデル創造部のブロック図である。 球面モデルと、それに対応した入力パラメータを示す図である。 球面の一部を切り欠いたモデルと、それに対応した入力パラメータを示す図である。 球面スクリーンの一部を切り欠いた際の正面形状を示す図である。 円筒モデルと、それに対応した入力パラメータを示す図である。 複数平面モデルと、それに対応した入力パラメータを示す図である。 スクリーンの球面形状に対する歪み補正処理を説明するための図である。 歪み補正処理の内容を示す図である。 半球状のスクリーンの中央部で切断した図４の二次元断面図である。 グリッド映像の歪み補正のイメージ図である。 出力画像の各画素の色情報を、入力画像の対応するｘ方向に隣接する２画素から生成する場合のイメージ図である。 入力画像のｘ方向において隣接する２画素の色情報を混合して、出力画像の色情報を計算する説明図である。 出力画像の各画素の色情報を、入力画像の対応するｙ方向に隣接する２画素から生成する場合のイメージ図である。 入力画像のｙ方向において隣接する２画素の色情報を混合して、出力画像の色情報を計算する説明図である。 出力画像の各画素の色情報を、入力画像の対応するｘ方向及びｙ方向に隣接する４画素から生成する場合のイメージ図である。 入力画像のｘ方向及びｙ方向において隣接する４画素の色情報を混合して、出力画像の色情報を計算する説明図である。 出力画像の各画素の色情報を入力画像の対応するｘ方向に隣接する２画素から生成する場合において入力画像の入力順に出力画像に変換する処理の説明図であり、（ａ）は入力画像の先頭の画素Ｐ１，Ｐ２を入力した時点での処理の説明図であり、（ｂ）は画素Ｐ２に続く画素Ｐ３を入力した時点での処理の説明図である。 出力画像の各画素の色情報を入力画像の対応するｙ方向に隣接する２画素から生成する場合において入力画像の入力順に出力画像に変換する処理の説明図であり、（ａ）は入力画像の画素Ｐ１，Ｐ２を入力した時点での処理の説明図であり、（ｂ）は画素Ｐ２に続く画素Ｐ４を入力した時点での処理の説明図である。 出力画像の各画素の色情報を入力画像の対応するｘ方向及びｙ方向に隣接する４画素から生成する場合において入力画像の入力順に出力画像に変換する処理の説明図であり、（ａ）は入力画像の先頭の画素Ｐ１〜Ｐ４を入力した時点での処理の説明図であり、（ｂ）は画素Ｐ４に続く画素Ｐ６を入力した時点での処理の説明図である。 出力画像の各画素の色情報を入力画像の対応するｘ方向に隣接する２画素から生成する場合において出力画像の出力順に変換する処理の説明図であり、（ａ）は出力画像の先頭画素Ｐ１’を生成する説明図であり、（ｂ）は先頭画素Ｐ１’に続く画素Ｐ２’を生成する説明図である。 出力画像の各画素の色情報を入力画像の対応するｙ方向に隣接する２画素から生成する場合において出力画像の出力順に変換する処理の説明図であり、（ａ）は出力画像の先頭画素Ｐ１’を生成する説明図であり、（ｂ）は先頭画素Ｐ１’に続く画素Ｐ２’を生成する説明図である。 出力画像の各画素の色情報を入力画像の対応するｘ方向及びｙ方向に隣接する４画素から生成する場合において出力画像の出力順に変換する処理の説明図であり、（ａ）は出力画像の先頭画素Ｐ１’を生成する説明図であり、（ｂ）は先頭画素Ｐ１’に続く画素Ｐ２’を生成する説明図である。

符号の説明

１ スクリーン
２ 映像投影機器
２ａ，２ｂ プロジェクタ
３ 歪み補正ユニット
３ａ，３ｂ，３ｃ，３ｄ 映像入力端子
３ｅ，３ｄ 映像出力端子
３ｇ 外部入力端子
３ｈ 外部出力端子
４ 映像生成機器
５ パラメータ調整用パーソナルコンピュータ
６ 操作入力部
１１ 信号方式変換回路
１２ 映像信号処理回路
１３ 外部機器制御回路
１４ デジタルシグナルプロセッサ
１５ 計算用メモリ
１６ テーブル用メモリ
１７ 信号方式変換回路
１８ 制御信号用メモリ
２１ 入力映像処理部
２２ 映像切替／分配部
２３ 映像合成部
２４ 歪み補正部
２５ 出力映像処理部
２６ 同期処理部
２７ 変換テーブル読み込み／保存部
２８ 外部機器制御部
２９ 制御信号読み込み／保存部
３１ モデル
３１，３２，３４〜３６ モデル
３１ａ，３２ａ，３４ａ〜３６ａ 入力パラメータ
３１ｂ，３２ｂ，３４ｂ〜３６ｂ メッシュモデル
３３ 混合モデル
３４ 球面混合モデル
３５ 円筒混合モデル
３６ 平面混合モデル

Claims (9)

1. 任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置であって、
   平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、
   平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、前記映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを外部から入力する外部入力手段と、
   前記外部入力手段により入力した歪み補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、
   前記歪み補正手段により作成された出力映像信号を前記投影手段に出力する出力手段とを備え、
   前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素を記述してなり、
   前記歪み補正手段は、前記歪み補正テーブルによる変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成し、
   前記外部入力手段は、前記映像信号入力手段により入力した平面映像信号に輝度補正処理を施すための輝度補正テーブルを外部から入力し、
   前記外部入力手段により入力した輝度補正テーブルを参照して、前記映像信号入力手段により入力した平面映像信号の画素ごとに輝度補正処理を施して、前記任意形状の投影面に投影させるための出力映像信号を作成する輝度補正手段を更に備えることを特徴とする映像信号処理装置。
2. 前記歪み補正テーブルは、前記対応マップとして、前記出力映像の画素に対応する、歪み補正前の前記平面映像の画素及び当該画素からのずれ量を記述してなり、
   前記歪み補正手段は、前記歪み補正テーブルに記述されたずれ量を参照し、変換前の画素の代表点が変換後の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、前記変換後の画素の色情報にして、前記出力映像信号を作成することを特徴とする請求項１に記載の映像信号処理装置。
3. 前記歪み補正テーブルには、前記平面映像信号の入力画素順に平面の投影面と前記任意形状の投影面のメッシュモデルとの対応が記述され、
   前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行うことを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
4. 前記歪み補正テーブルには、前記出力映像信号の出力画素順に平面の投影面と前記任意形状の投影面のメッシュモデルとの対応が記述され、
   前記歪み補正手段は、前記歪み補正テーブルに記述された入力画素を入力した時点で、当該入力した画素を用いた歪み補正処理を行い、前記歪み補正テーブルに記述された出力画素の順で出力映像信号を作成することを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
5. 前記外部入力手段は、外部から前記投影手段の動作を制御する制御信号を入力し、
   前記出力手段は、前記出力映像信号と共に、前記外部入力手段により入力した制御信号を前記投影手段に出力すること
   を特徴とする請求項１乃至請求項４の何れか一項に記載の映像信号処理装置。
6. 前記映像信号入力手段は、複数の平面映像信号を同時に入力する構成であり、
   前記出力手段は、前記出力映像信号を複数同時に出力する構成であり、
   前記映像信号入力手段によって同時に複数の平面映像信号を入力した場合に、当該複数の平面映像信号を選択して出力映像信号を前記出力手段から出力させる処理、又は、当該複数の平面映像信号を合成した出力映像信号を前記出力手段から出力させる処理を行う信号処理手段を更に備えること
   を特徴とする請求項１乃至請求項５の何れか一項に記載の映像信号処理装置。
7. 前記信号処理手段による複数の平面映像信号の処理タイミングの同期を取る同期処理手段を更に備えることを特徴とする請求項６に記載の映像信号処理装置。
8. 前記映像信号入力手段によって入力された複数の平面映像信号を用いて、当該複数の平面映像信号間で視差を与えて合成した視差付き映像信号を作成する立体映像用視差付き平面映像信号作成手段を更に備え、
   前記歪み補正手段は、前記立体映像用視差付き平面映像信号作成手段で作成された視差付き平面映像信号を歪み補正処理して出力映像信号を作成することを特徴とする請求項１乃至請求項７の何れか一項に記載の映像信号処理装置。
9. 観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、
   請求項１乃至請求項８の何れか一項に記載の映像信号処理装置と、
   平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを作成する外部処理装置と、
   前記映像信号処理装置から出力された出力映像信号に基づいた映像を前記スクリーンに投影する投影手段と
   を備えたことを特徴とする仮想現実感生成システム。