JP4507307B2 - 映像投影装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、プロジェクタによりスクリーンに映像を投影する映像投影装置, 映像投影方法,および映像投影プログラムを記録した記録媒体に関し、特にテスト画像をカメラで撮影し、歪みを自動的に補正する機能を有する映像投影装置, 映像投影方法, および記録媒体に関するものである。
【０００２】
【従来の技術】
近年、プロジェクタによる映像を提示する映像投影装置の利用が増加している。
例えば、モバイル用途のノートＰＣとプロジェクタを使ったプレゼンテーション装置をはじめ、広視野スクリーンに、単数または複数のプロジェクタを用いた高臨場感装置や、イリノイ大学のＣＡＶＥに代表されるような、多面スクリーンとプロジェクタを使ったＶＲ環境の提供装置などがある。
モバイル用途のプレゼンテーション装置では、使用時のみにスクリーン,およびプロジェクタを設置し、使用後に撤収する形態が多く、その用途から設置作業の簡便さが求められている。しかし、このような環境で使用される仮設型のスクリーンは弛みが発生しやすく、歪みのない映像を映すためには、細かい設置調整作業が必要である。
【０００３】
また、広視野スクリーンや多面スクリーンを用いた装置では、常設のスクリーンを用いることが多い。この場合、スクリーンの形状が、球面や円筒形などの曲面，あるいは箱型などであることが多く、設計通りの形状や位置に、スクリーンを初期設置する作業が必要となる。また、特に複数のプロジェクタを使った映像提示装置では、各プロジェクタの映像がスクリーン上でうまくつながるように、プロジェクタやスクリーンの設置位置等を調整する設置作業が必要となる。また、経時変化によるスクリーンの垂みや、プロジェクタの特性変化や、位置ずれ等を調整する定期的なメンテナンス作業が必要となる。これらの作業は、専門家でも手間がかかるものであり、これら設置作業の簡便化が求められている。
従来、スクリーンに投影する映像の歪みを軽減することにより、設置作業の簡便化をはかる例として、カメラを使ってテスト画像を撮影することにより、歪みを自動的に補正する機能を有する装置、「画像投影装置」（特開平１０−２００８３６号）がある。
【０００４】
以下、図面を参照しながら、上記第１の従来例について説明する。
図２は、第１の従来例である画像投影装置のブロック図である。
図２において、１０１は映像を投影するスクリーン、１０２はテスト画像、１０３はテスト画像１０２を発生するパターン発生回路、１０４は映像信号をデジタル信号からアナログ信号に変換するＤ／Ａ変換回路、１０５はスクリーン１０１に映像を投影するプロジェクタ、１０６はテスト画像１０２を撮影するカメラ、１０７はカメラ１０６の映像信号と外部からのビデオ信号とを切替える切替スイッチ、１０８は映像信号をアナログ信号からデジタル信号に変換するＡ／Ｄ変換回路、１０９はテスト画像１０２のみの画像データを抽出するパターン抽出回路、１１０は歪み補正量を計算するＣＰＵ、１１１は歪み補正量を記憶するメモリ、１１２は映像信号を切替える切替スイッチ、１１３は映像信号を補正する歪み補正回路である。
【０００５】
上記第１の従来例ではその詳細動作について、実施例で以下のことが開示されている。
第１の従来例では、テスト画像としては、上下または左右に並べられた同一の長さを有する２本の線分であればよく、例えば正方形や長方形などの矩形がある。
第１の従来例では、各装置の配置条件として、スクリーンの法線と、プロジェクタのレンズの光軸とは、平行である必要はないが、スクリーンの法線と、カメラの光軸とは、平行にする必要がある。
また、該第１の従来例の実施例では、プロジェクタの光軸とスクリーンの法線とのなす角が、カメラの光軸とスクリーンの法線とのなす角より小さければ、一定の補正効果が得られる、と述べられている。
【０００６】
図３は、第１の従来例の全体のフローチャートである。
図４は、第１の従来例の、補正前後におけるテスト画像を説明する図である。
【０００７】
まず、パターン発生回路１０３は、正方形のテスト画像１０２を発生し、該テスト画像は、切り替えスイッチ１１２、及び無処理で歪み補正回路１１３を通過し、Ｄ／Ａ変換回路１０４を経由して、プロジェクタ１０５によってスクリーン１０１に投影される(図３のステップS101)。このとき、プロジェクタ１０５の光軸と、スクリーン１０１の法線とがずれていると、図４(a)に示すように、上記テスト画像１０２のスクリーン１０１上への投影像は、台形形状に変形する。
次に、スクリーン１０１に向けられたカメラ１０６で、上記変形したテスト画像１０２を撮影し、Ａ／Ｄ変換回路１０８を経由して、パターン抽出回路１０９に入力される（図３のステップS102)。
パターン抽出回路１０９では、テスト画像１０２のみの画像データを抽出し、テスト画像１０２の歪量と、歪みを補正するための補正量とを、ＣＰＵ１１０で計算し、補正データをメモリ１１１に記憶する (図3のステップS103)。
【０００８】
次に、このステップS103の、歪量の計算と補正データの生成の手順について説明する。
図５は、第１の歪量の計算と補正データの生成を含む処理の流れを示すフローチャートである。
抽出された、テスト画像１０２の上辺と下辺の長さの差と、この上辺と下辺の間隔との比から、上記テスト画像１０２の上記スクリーン１０１上での、上下方向における単位間隔当たりの変化量を求め、上下方向の歪量とする(図５のステップS103-1)。
同様に、抽出されたテスト画像１０２の左辺と右辺の長さの差と、この左辺と右辺の間隔との比から、左右方向における単位間隔当たりの変化量を求め、左右方向の歪量とする(図5のステップS103-2)。
上記、上下方向と左右方向の歪量から、直線補間法などで、あらかじめ歪ませておくための補正データを求める(図５のステップS103-3)。
【０００９】
次に、歪みなくスクリーンに投影したい外部ビデオ信号は、切替えスイッチ１０７、Ａ／Ｄ変換回路１０８，切替えスイッチ１１２を経由して、歪み補正回路１１３に入力される。
歪み補正回路１１３では、メモリ１１１に記憶されている歪み補正データに従って、映像信号を補正し（図４(b),図５のステップS104)、該補正された映像信号は、Ｄ／Ａ変換回路１０４を経由してプロジェクタ１０５に入力される。プロジェクタ１０５は、スクリーン１０１に投影し、歪みのない映像（図４(c)に示す）が得られる(図5のステップS105)。
また、別の従来例として、複数台のプロジェクタで投影した映像を１つの連続した映像として表示するために、投影する映像の一部を重ねるとともに、映像にあらかじめ歪みを与える機能を有する装置、「高臨場映像表示方法とその装置」（特開平６−１７８３２７号）がある。
以下、図面を参照しながら、上記第２の従来例について説明する。
図６は、第２の従来例である高臨場映像表示方法と、その装置のブロック図を示す。
図６において、２０１ａ，２０１ｂ，２０１ｃは映像信号を投影する投影手段、２０２ａ，２０２ｂ，２０２ｃは画像の歪みを補正する射影変換手段、２０３ａ，２０３ｂ，２０３ｃは投影された画像が連続するように変換する連続画像変換手段、２０４は画像が投影されるスクリーンである。
【００１０】
図７は、投影された画像の形状を示す図である。
図７において、２０５ａ，２０５ｂ，２０５ｃは投影変換を行なわずに投射した画像、２０６ａ，２０６ｂ，２０６ｃは投影変換を行なった後に投射した画像、２０７ｍ，２０７ｎは画像の重なり部分である。
【００１１】
次に、上記第２の従来例の高臨場映像表示方法とその装置の処理概要について説明する。
入力された映像信号は、あらかじめ想定しておいた画像の重なり部分２０７ｍ，２０７ｎについて、連続画像変換手段２０３によって２つの画像が滑らかに重なるように輝度等を調整し、射影変換手段２０２は斜め投影による歪みをあらかじめ想定し、逆の歪みを画像信号に付加することにより、画像の歪みをキャンセルし、図７の２０６ａ，２０６ｂ，２０６ｃに示す長方形になるように、投影変換を行なった画像を投射することにより、スクリーンに対して斜めに投射した複数の映像が歪みなく滑らかに連続してなる画像を得ることができる。
【００１２】
【発明が解決しようとする課題】
しかしながら、第１の従来例に示す上記のような構成では、スクリーンが平面ならばある程度の補正効果を期待することができるが、弛んだスクリーンのように平面とは限らないスクリーンに対しては、歪みを正確に補正することはできない、という課題があった。
【００１３】
また、第１の従来例に示す上記のような構成では、観察者の視点位置と、カメラの位置と、プロジェクタの位置とを一致させておかなければならず、視点位置やプロジェクタの位置を自由に設定して、歪みのない映像を提供するようにすることはできない、という課題があった。
また、第１の従来例に示す上記のような構成では、歪みの補正を行うことはある程度の範囲でできるものの、補正した映像のスクリーン上の大きさや位置を希望通りに投影するためには、プロジェクタの位置や向きを変更して、または光学レンズ系を調整して、再度補正データを作成しなければならず、設置作業に手間と時間がかかる、という課題があった。
また、第１の従来例に示す上記のような構成では、補正データを一度生成した後に、スクリーンの形状が変化する場合には、再度歪み補正を行なう必要があり、風や振動などの外的要因で頻繁にスクリーン形状が変化する環境ではこれを使うことができない、という課題があった。
【００１４】
また、第２の従来例に示す上記のような構成では、スクリーン形状やプロジェクタ特性を細かく調べた上で、設置位置を設計する際に歪み補正データを算出しておき、該歪み補正データを装置にあらかじめ組み込んでおく必要があった。このため、装置の設置作業時に、スクリーン形状やプロジェクタ位置や向きを、設計時の仕様通りに厳密に設定することができないと、十分な効果を得ることができず、この設置作業に手間と時間がかかるという課題があった。
また、第２の従来例に示す上記のような構成では、複数のプロジェクタによる映像をスクリーン上で連続した１つの映像として見せるために、映像の一部を重ねてその部分の輝度を調整することにより、継目を目立たせないように処理を行なっている。このため、設置時には、輝度調整のパラメータ決定作業が、投影時には映像の重複部分でのリアルタイムな輝度調整処理が、それぞれ必要となるという課題があった。
【００１５】
本発明は上記課題を解決するためになされたもので、自由曲面のスクリーンに対して、あらかじめスクリーン形状を調べることなく、またプロジェクタの配置を厳密に調整することなく、簡単に歪みのない映像を得ることのできる、映像投影装置，映像投影方法，及び映像投影プログラムを記録した記録媒体を提供することを目的としている。
また、観察者の視点位置と、テスト画像を撮影するカメラの位置と、プロジェクタの位置とを自由に設定しても、観察者の視点位置から見て歪みのない映像を得ることのできる、映像投影装置，映像投影方法，および映像投影プログラムを記録した記録媒体を提供することを目的としている。
また、歪み補正を行うのと同時に、プロジェクタやスクリーンの位置や向きを変更することなく、スクリーン上の所望の位置に所望の大きさの映像を提示することのできる、映像投影方法，映像投影装置，および映像投影プログラムを記録した記録媒体を提供することを目的としている。
また、スクリーン形状が頻繁に変化する状態において、歪みのない映像を提供することのできる、映像投影方法，映像投影装置，および映像投影プログラムを記録した記録媒体を提供することを目的としている。
また、複数のプロジェクタによる映像を、プロジェクタの配置を厳密に調整することなく、連続した１つの映像として得ることのできる、映像投影方法，映像投影装置，および映像投影プログラムを記録した記録媒体を提供することを目的としている。
【００１６】
【課題を解決するための手段】
上記問題点を解決するために、本発明にかかる映像投影装置は、テスト画像を生成するテスト画像生成手段と、画像をスクリーンに投影する映像投影手段と、投影されたテスト画像の投射映像を撮影し、撮影画像として出力する撮影手段と、生成した前記テスト画像と前記撮影画像とを比較して、投射映像の歪量を算出する歪量計算手段と、前記歪量から画像を歪みなく投影できるよう、画像に事前に逆の歪みを与える補正データを生成する補正データ生成手段と、前記補正データを保持しておく補正データ記憶手段と、視点、映像投影手段、撮影手段、及びスクリーンの各位置と各向き、スクリーン形状、及び補正処理後の画像を投影したいスクリーン上の領域である投影指定領域のうち少なくとも１つを設置条件として入力する入力手段とを備え、前記歪量補正手段は、前記入力手段の設置条件をも加味して、投射映像の歪量を算出し、前記入力手段は、スクリーンを表す図形とテスト画像の投射映像を表す図形とを重ねて表示した画面においてユーザが投影指定領域を指定することを特徴とする。
【００１９】
本発明にかかる映像投影装置は、前記映像投影装置において、前記映像投影手段は、映像補正手段で補正処理をした画像をスクリーンに投影するとともに、テスト画像生成手段のテスト画像を可視光域以外のある波長域でスクリーンに投影し、前記撮影手段は、投影されたテスト画像の投射映像を、前記波長域で撮影することを特徴とする。
【００２５】
本発明にかかる映像投影方法は、テスト画像を生成するテスト画像生成工程と、画像をスクリーンに投影する映像投影工程と、投影されたテスト画像の投射映像を撮影し、撮影画像として出力する撮影工程と、生成した前記テスト画像と、前記撮影画像とを比較して、投射映像の歪量を算出する歪量計算工程と、前記歪量から画像を歪みなく投影できるよう、画像に事前に逆の歪みを与える補正データを生成する補正データ生成工程と、前記補正データを保持しておく補正データ記憶工程と、を含み、前記歪量補正工程は、前記入力工程の設置条件をも加味して、投射映像の歪量を算出し、前記入力工程は、スクリーンを表す図形と、テスト画像の投射映像を表す図形とを重ねて表示した画面において、ユーザが投影指定領域を指定することを特徴とする。
【００２９】
本発明にかかる映像投影方法は、前記映像投影方法において、前記映像投影工程は、映像補正工程で補正処理をした画像をスクリーンに投影するとともに、テスト画像生成工程で生成したテスト画像を可視光域以外のある波長域でスクリーンに投影し、前記撮影工程は、投影されたテスト画像の投射映像を前記波長域で撮影することを特徴とする。
【００３５】
本発明にかかる映像投影プログラムを記録した記録媒体は、コンピュータに実行させる手順として、テスト画像を生成するテスト画像生成手順と、スクリーンに投影したテスト画像の投射映像を撮影した撮影画像と、生成した前記テスト画像とを比較し、投射映像の歪量を算出する歪量計算手順と、前記歪量から画像を歪みなく投影するために画像に事前に逆の歪みを与える補正データを生成する補正データ生成手順と、前記補正データを保持する補正データ記憶手順とを含み、入力手順により、視点、映像投影手段、撮影手段、及びスクリーンの各位置と各向き、スクリーン形状、及び補正処理後の画像を投影したいスクリーン上の領域である投影指定領域のうち少なくとも１つを、設置条件として入力し、前記歪量補正手順は、前記設置条件をも加味して投射映像の歪量を算出し、前記入力手順は、スクリーンを表す図形と、テスト画像の投射映像を表す図形とを重ねて表示した画面において、ユーザが投影指定領域を指定することを特徴とする。
【００４６】
【発明の実施の形態】
（実施の形態１）
以下は、本発明の実施の形態1による映像投影装置について、図面を参照しながら説明する。
図１は、本発明の実施の形態１による映像投影装置の装置構成を示す図である。
図１において、１は映像を写すスクリーン、２はスクリーン１に投影するプロジェクタ（映像投影手段）、３はプロジェクタ２によってスクリーン１に投影された投射映像、４はスクリーン１や投射映像３を撮影するカメラ（撮影手段）、５は映像信号を出力する映像ソース（映像入力手段）、６はカメラ４からのデータより補正データを生成すると共に、生成した補正データに基づき映像ソース５からの映像信号に対して補正処理を施す映像補正装置、７は観察者の視点位置である。
【００４７】
ここで、上記プロジェクタ２は、具体例には液晶式プロジェクタ、ＣＲＴ式プロジェクタ、ＤＬＰ(Digital Light Processing) 式プロジェクタ、オーバヘッドプロジェクタなどがあり、上記映像補正装置６は、具体例にはパーソナルコンピュータ、またはＣＰＵやＤＳＰ(Digital Signal Processor)を組込んだワンボードマイコンなどの形態と、それに組み込まれたプログラムがある。また上記カメラ４の具体例には、ビデオカメラ、デジタルスチルカメラなどがあり、上記映像ソース５の具体例には、ビデオレコーダ、映像ディスクプレーヤ、放送チューナ、ビデオカメラ、パーソナルコンピュータなどがある。
なお、上記映像ソース５および上記カメラ４は、上記映像補正装置６に内包された構成としてもよい。
また本実施の形態１では、上記スクリーン１の表面は必ずしも平面である必要はなく、自由曲面であるものとする。
また、上記視点位置７と、上記カメラ４の位置と、方向とは一致するものとする。また上記スクリーン１は、上記投射映像３を全て表示するに足りる十分な大きさであるものとする。
【００４８】
また図８は、本実施の形態１による映像投影装置のハードウエア構成を示す図であり、本実施の形態１による映像投影装置では、上記映像補正装置６を、本実施の形態１の映像投影装置による映像投影処理プログラムを格納した記録媒体を有するコンピュータシステムとすることにより、映像投影処理が行われる。
図において、３０１はユーザから数値情報や文字情報などを受け付けるキーボード、３０２はユーザから情報を選択したり、画面上の位置情報を受け付けるマウス、３０３はプログラムやデータなどを記憶した記憶媒体、３０４は記憶媒体３０３からプログラムやデータを読み込んで一時的に保持したり、キーボード３０１やマウス３０２から読み込んだデータを一時的に保持する主記憶装置、３０５は主記憶装置３０４に保持されているプログラムを構成する個々の命令によって、データに対して四則演算や論理演算などの処理を施したり、コンピュータ全体の動作を制御する中央処理装置、３０６は映像信号を一時的に保持しておき、必要に応じて画素単位にデータをアクセスできる映像入力メモリ、３０７は外部に対して出力する映像信号を一時的に保持しておき、必要に応じて画素単位にデータをアクセスできる映像出力メモリ、３０８はキーボード３０１、マウス３０２、記憶媒体３０３、主記憶装置３０４、中央処理装置３０５、映像入力メモリ３０６、映像出力メモリ３０７を接続するバスであり、中央処理装置３０５からの制御により、このバスを通して、各装置間のデータやプログラムを送受信することができる。
なお、映像入力メモリ３０６、および映像出力メモリ３０７は、その機能を主記憶装置３０４で兼用し、映像入力メモリ３０６、および映像出力メモリ３０７を、映像補正装置６には有しない構成としてもよい。
【００４９】
次に、本実施の形態１による映像投影装置の動作概要について説明する。
図１に示すように、スクリーン１の正面方向に対して斜めの方向に、プロジェクタ２を配置する。まず、映像補正装置６において、補正データ作成プログラムが記録媒体３０３より主記憶装置３０４に読み込まれ、中央処理装置３０５で実行される。ユーザがキーボード３０１やマウス３０２から入力した条件によってテスト画像が生成され、映像出力メモリ３０７から映像信号としてプロジェクタ２へ出力される。ここで、テスト画像はあらかじめ記憶媒体３０３に用意されている複数のテスト画像から、プログラムによって最適なものを選択して出力してもよい。
【００５０】
プロジェクタ２は入力した映像信号を投影光に変換して出力し、テスト画像の投射映像３がスクリーン１上に形成される。このとき、投射映像３は、スクリーン１とプロジェクタ２が正対設置されていないことと、視点位置７がスクリーン1の正面にないことと、スクリーン１の表面形状とにより、歪んだ図形となっている。
視点位置７と同じ位置において、カメラ４でテスト画像の投射映像３を撮影し、映像補正装置６の映像入力メモリ３０６に入力する。この時点で、テスト画像の投影を停止する。
生成したテスト画像と、映像入力メモリ３０６に入力された撮影画像とを比較して歪みを算出し、投影時に歪がないように事前に逆の歪みを与えるための補正データを算出し、主記憶装置３０４、または記憶媒体３０３に記憶しておく。
【００５１】
次に、映像補正プログラムが、記録媒体３０３より主記憶装置３０４に読み込まれ、中央処理装置３０５で実行される。映像ソース５より出力された映像信号は、画像フレームごとに映像入力メモリ３０６に逐次的に取り込まれ、補正データに従って、映像入力メモリ３０６から映像出力メモリ３０７に逐次的に変換して格納される。
映像出力メモリ３０７の内容は、映像信号として逐次出力され、プロジェクタ２によってスクリーン１に投影され、視点位置７から見て歪みのない正しい映像が形成される。
【００５２】
次に、本実施の形態1による映像投影装置のブロック構成を説明する。
図９は、本実施の形態１による映像投影装置の構成を説明するためのブロック図である。
図において、７０１はテスト画像を生成するテスト画像生成手段、７０２は映像信号を入力し、スクリーンに投影する映像投影手段、７０３はスクリーンに投影したテスト画像を撮影し、撮影画像として出力する撮影手段、７０４は撮影手段７０３の撮影画像を入力しテスト画像に関する情報を取り出すテスト画像抽出手段、７０５はテスト画像抽出手段７０４のテスト画像に関する情報と、テスト画像生成手段７０１のテスト画像とを比較して、歪量を算出する歪量計算手段、７０６は歪量計算手段７０５の歪量を入力し、スクリーンに歪みのない所望の映像が得られるように映像信号を補正するための補正データ（補正テーブル）を算出する補正データ（補正テーブル）生成手段、７０７は補正データ（補正テーブル）を保持する補正データ（補正テーブル）記憶手段、７０８は投影したい映像信号を受け付ける映像入力手段、７０９は映像入力手段７０８で受けた映像信号を補正データ記憶手段７０７に保持している補正データ（補正テーブル）を用いて補正処理し、映像投影手段７０２に出力する映像補正手段である。
本実施の形態１では、撮影手段７０３の具体的装置例としてカメラ４を用い、映像投影手段７０２の具体的装置例としてプロジェクタ２を用いるものとする。
【００５３】
また図１０は、上記映像補正手段７０９の構成を示すブロック図である。
図１０において、４０１は映像信号を画像フレーム単位に順次取り込み記憶し、指定されたアドレスの画素値を出力する入力フレームメモリ、４０２は指定されたアドレスに画素値を書込むことにより補正した画像をフレーム単位に生成し、映像信号として順次出力する出力フレームメモリ、４０３は出力フレームメモリ４０２のアドレスを発生するアドレス発生手段、４０４は補正データ（補正テーブル）記憶手段７０７にある補正データ（補正テーブル）を参照して、アドレス発生手段４０３が出力したアドレスに対応する入力フレームメモリ４０１の複数のアドレスを出力するアドレス変換手段、４０５は補正データ（補正テーブル）記憶手段７０７にある補正データを参照して、画素毎の重みを出力する重み決定手段、４０６は入力フレームメモリ４０１から取り出した複数の画素値と、重み決定手段４０５の重みとから、目的の画素値を補間計算する画素補間手段、４０７は補正データ（補正テーブル）記憶手段７０７にある補正データ（補正テーブル）を参照して、アドレス発生手段４０３が出力したアドレスに対応する画素にマスク処理を行なうか否かを判定するマスク処理判定手段、４０８はマスク処理判定手段４０７の判定結果に従って画素にマスク処理を行ない出力するマスク処理手段である。
【００５４】
次に、本実施の形態１におけるテスト画像の構成について説明する。
図１１は、本実施の形態１におけるテスト画像の構成図である。
図１１に示すように、テスト画像は、背景および複数の特徴点で構成される。ここで、複数の特徴点は、横方向へ等間隔にＵ個、縦方向へ等間隔にＶ個、並んでいる。この縦方向と横方向の間隔は、同じであっても良いし、異なっていても良い。各特徴点は、１つまたは複数の画素で構成される。各特徴点を構成する画素は、背景を構成する画素と、異なる画素値をとる。
図１１において、特徴点を囲む矩形は、テスト画像の輪郭を説明するための図形であり、実在するものではない。また、図１１に示すテスト画像は、特徴点が格子上に並んでいるが、必ずしもこの形態である必要はない。ここで、各特徴点が投影後にどこに移動したか（この移動量が歪量となる）が重要であるので、テスト画像の要件は、生成した特徴点の位置が既知であることと、投影後の特徴点と対応づけるための情報である識別子を備えていること、とである。
【００５５】
図１１に示すテスト画像は、複数の特徴点を等間隔に配置し、かつ格子状に並べることにより、該複数の特徴点間の相対的な位置関係を識別子としている、例である。
スクリーン１の自由曲面の状況に応じて、テスト画像のある領域に特徴点を密度高く配置したり、識別子として、特徴点毎に色を変えたり、特徴点毎に点滅周期を変えたり、することも考えられる。
【００５６】
次に、本実施の形態１におけるテーブルの構成について説明する。
図１２は、本実施の形態１におけるテーブル（補正テーブル）の構成図である。
図１２において、テーブルは２つのインデックスを持つ２次元テーブルで、インデックスを決めれば、テーブル要素を一意に指定することができる。また、各テーブル要素はテーブルにより異なり、詳細は後述する。
【００５７】
次に、本実施の形態１による映像投影装置で使用する座標系を、図を用いて説明する。
図１３は、本実施の形態１における、画像フレームにおける座標系の説明図である。
図１３に示すように、画像フレームの左上の画素を、座標値(0,0)の原点Ｏとし、Ｘ軸，Ｙ軸をそれぞれ設ける。
本実施の形態１における映像投影装置では、撮影手段７０３が出力する撮影画像として、画像フレームＣを使用する。画像フレームＣは、CX×CY個の画素で構成する。また、映像補正手段７０９の入力フレームメモリ４０１は画像フレームＳを、出力フレームメモリ４０２は画像フレームＢをそれぞれ使用する。画像フレームＳは、SX×SY個の画素で、画像フレームＢは、BX×BY個の画素でそれぞれ構成する。
本実施の形態１における映像投影装置では、BX×BY個のテーブル要素で構成されるテーブルを、補正テーブルThとして使用する。
【００５８】
図１４は、補正テーブルThのテーブル要素の構成を示す図である。
図１４に示すように、補正テーブルThのテーブル要素は、1組の座標値ｘ,ｙと、重みw0,w1,w2,w3で構成する。
本実施の形態１における映像投影装置では、CX×CY個のテーブル要素で構成されるテーブルT0と、BX×BY個のテーブル要素で構成するテーブルT1およびT2を使用する。
図１５は、テーブルT0,T1,T2のテーブル要素の構成を示す図である。
図１５に示すように、これらのテーブル要素は、1組の座標値ｘ,ｙで構成する。ここで、実施の形態１で使用する変数、およびテーブルは、主記憶装置３０４に格納される。
【００５９】
以下、本願明細書における、主要な記号の命名則について説明する。
ある画像フレームＡを構成する任意の画素Pを、 P(A) と表記し、特に、座標(x, y)に位置する画素Pを、P(A)[x, y]と表記する。
また、 ある画像フレームＡ上においてテスト画像を構成する任意の特徴点Qを Q(A) と表記し、特に、(i, j)番めの特徴点Qを、 Q(A)[i, j]と表記する。
テーブルＴを構成する(i, j)番めのテーブル要素を、 T[i, j] と表記する。
また、画像フレームＣ，画像フレームＳ，画像フレームＢは、単にC,S,Bと表記することがある。同様に、テーブルＴ０，テーブルＴ１，テーブルＴ２，テーブルＴｈは、単にT0, T1, T2, Thと表記することがある。
【００６０】
本実施の形態1における動作原理を、簡単に説明する。
図１６は、本実施の形態1の動作原理を説明する図である。
図１６において、５０１は画像フレームＳ上に生成したテスト画像、５０２はテスト画像５０１を画像フレームＢ上に無処理のまま複写したテスト画像、５０３は投影したテスト画像をカメラ撮影して得られた画像フレームＣ１上のテスト画像、５０４はテスト画像を補正処理後に投影し、カメラ撮影して画像フレームＣ０上に得られるべき理想のテスト画像、５０５は画像フレームＳ上の補正処理前の入力画像、５０６は入力画像５０５を補正処理した補正後画像、５０７は投影した画像５０６をカメラ撮影して得られた画像フレームＣ２上の投射映像、である。
【００６１】
まず、補正テーブル生成の動作原理について説明する。
図１６では、入力画像５０５はテスト画像５０１と同じとして説明する。
テスト画像５０１は、無変換でテスト画像５０２に複写するので、特徴点Q(S)はそのまま特徴点Q(B)に写像される。
テスト画像５０２の特徴点Q(Ｂ)は、ある変換Tbc1によりテスト画像５０３の特徴点Q(C1)に写像されたと考え、これを数１で表現する。
【数１】

同様に、テスト画像５０２の特徴点Q(Ｂ)は、変換Tbc0によりテスト画像５０４の特徴点Q(C0)に写像されたと考え、これを数２で表現する。
【数２】

入力画像５０５の特徴点Q(S)は、変換 Tsbにより補正後画像５０６の特徴点Q(B)に写像され、さらに補正後画像５０６の特徴点Q(B)は、変換Tbc2により画像５０７の特徴点Q(C2)に写像されたと考え、これを数３で表現する。
【数３】

投影機器の設置状態は変更していないので、変換Tbc1と変換Tbc2は一致し、テスト画像５０４と、投射映像５０７の、各特徴点が一致するように、変換 Tsbを決めることができ、数４で表すことができる。
【数４】

数１〜数４はテスト画像の特徴点Qについての変換であるが、各画像フレーム上の任意の画素Pについて、周りを囲む特徴点で補間することにより、画素に拡張した変換を計算することができ、数４と同じ形で表現できる。こうしてできた変換 Tbsが、求める補正テーブルとなる。
【００６２】
次に、映像補正実行時の動作原理について説明する。
入力画像５０５は、各画素について数５に示す変換により補正後画像５０６を生成し、投影する（Tbs2で変換する）ことにより、歪みのない投影画像５０７を得ることができる。
【数５】

以上が、動作原理である。
【００６３】
続いて、本実施の形態1における映像投影装置の詳細な動作について、フローチャートを用いて説明する。
図１７から図２７は、本実施の形態1による映像投影装置の詳細動作のフローチャートである。
図１７は、本実施の形態1の全体フローチャートであり、図１８は、図１７のステップS1の詳細なステップS1-1〜6を示すフローチャートである。
まず、テスト画像の投影と抽出の手順から説明する(図１７，１８のステップS1,S1-1〜6)。
テスト画像生成手段７０１は、図１１に示すようなＵ×Ｖ個の特徴点を有するテスト画像を生成する(図１８のステップS1-1)。
撮影手段７０３は、テスト画像を投影していない状態でスクリーン１を撮影し、撮影画像Z0とする(図１８のステップS1-2)。
映像投影手段７０２は、テスト画像をスクリーン１に投影する。スクリーンの表面は自由曲面であるため、テスト画像の投射映像３は歪んだものとなる。
この状態で、撮影手段７０３は先ほどと同じ撮影条件で、テスト画像の全体を含むように撮影し、撮影画像Z1とする(図１８のステップS1-3)。
【００６４】
図２８は、歪んだテスト画像の投射映像３を撮影した画像Z1の一例である。
ただし、歪み方はスクリーン１と撮影手段７０３との位置関係、およびスクリーン１の表面の状態などによって変化する。また図２８は、特徴点がＵ×Ｖ＝５×５の場合である。テスト画像抽出手段７０４は、撮影画像Z0とZ1との差分から、特徴点の領域を抽出した特徴点画像Z10を生成する(図１８のステップS1-4)。
【００６５】
図２９は、特徴点画像Z10の一例を示す図である。ただし、図２９は特徴点がＵ×Ｖ＝５×５の場合である。
テスト画像抽出手段７０４は、特徴点画像Z10において、画素値がある閾値SVより大きい画素の集まりを特徴点候補として抽出し、その位置（画素の集まりの重心位置）を算出する。ここで、特徴点候補の数がＵ×Ｖ個より少ない場合は、閾値SVを下げて再抽出する。
また、特徴点候補の数がＵ×Ｖ個より多い場合は、画素の集まりが大きい順に、Ｕ×Ｖ個を選出し、Ｕ×Ｖ個の特徴点候補を決定する(図１８のステップS1-5)。
続いて、生成したテスト画像の特徴点と特徴点候補とを、１対１に対応づけするラベリング処理を行なう(図18のステップS1-6)。
【００６６】
ここではその一例として、各特徴点の座標値と、その相対位置関係から行なうラベリング手順を、図１９に示す。
まず、図２９に示す特徴点画像Z10において、特徴点Q(C)[0,0]を決定する(図19のステップS1-61)。同様に、特徴点Q(C)[1,0]〜Q(C)[U-1,0]を、順に決定する(図１９のステップS1-62)。さらに、特徴点Q(C)[0,1]〜Q(C)[U-1,V-1]を、順に決定する(図１９のステップS1-63,64)。
【００６７】
次に、投影指定領域の決定手順について説明する(図１７,図２０のステップS2,S2-1〜5)。
図３０は、投影指定領域の決定処理を説明する図である。
図３０において、歪量計算手段７０５は、4つの特徴点Q(C)[0,0], Q(C)[0,V-1], Q(C)[U-1,V-1], Q(C)[U-1,0]で囲まれる領域を決定し、テスト画像領域RTとする。
テスト画像の左辺を構成する特徴点で最も大きいＸ座標値（つまり、最も右に位置する特徴点のＸ座標値）を、変数x0に格納する(図２０のステップS2-1)。ここで、左辺を構成する特徴点とは、図３０から明らかなように、Q(C)[0,0]〜Q(C)[0,V-1]である。
同様にして、変数x1,y0,y1を求める(図２０のステップS2-2〜4)。
テスト画像領域RTに内接する矩形領域を求め、投影指定領域RDとする(図２０のステップS2-5)。
【００６８】
続いて、補正テーブルThの生成手順について、図２１を用いて説明する。
補正テーブルの生成では、補正データ生成手段７０６は、幾つかの中間テーブルの作成を経て、目的の補正テーブルThを生成する(図２１のステップS3-1〜4)。
【００６９】
図３１は、画像フレームＣ０の説明図である。
図３１に示すように、投影指定領域RDにテスト画像を配置した状態の画像フレームＣ０を考える(図２２のステップS3-11)。
画像フレームＣ０は、テスト画像を作成しようとする補正データで補正処理をした後に投影し、カメラで撮影した場合に得られるべき画像フレームである。
図２２のステップS3-12〜15を、画像フレームＣ０上の全ての画素P(C0)[k, l] (k=0〜CX-1, l=0〜CY-1)について繰り返すことにより、テーブルT0を作成する。
【００７０】
図３２、図３３は、テーブルT0の生成処理を説明する図である。
図３２において、着目しているP(C0)[k, l] が投影指定領域RDの内部にある場合は、P(C0)を囲む４つの特徴点Q(C0)[i, j], Q(C0)[i+1,j], Q(C0)[i+1,j+1], Q(C0)[i,j+1]を決定し、内分比率を、数６から求める。
【数６】

図３３に示すように、これら４つの特徴点がそれぞれ対応するＢ上の特徴点Q(B)[i, j], Q(B)[i+1,j], Q(B)[i+1,j+1], Q(B)[i,j+1]からP(B)の座標値を数７で計算し、T0[k, l]に格納する。
【数７】

ここで、P(C0)が投影指定領域RDの外部にある場合は、T0[k, l]に”外部フラグ”を立てる(図２２のステップS3-11〜16)。
ここで、”外部フラグ”を立てるとは、一つの具体例としては、テーブル要素の座標値に通常使用しない座標値（例えば負の数）を代入することで、実現することができる。
以上の手順で、テーブルT0を生成することができる。
【００７１】
図２３のステップS3-21〜24を、画像フレームＢ上の全ての画素P(B)[k, l] (k=0〜BX-1, l=0〜BY-1)について繰り返すことにより、テーブルT1を作成する。
図３４、図３５は、テーブルT1の生成処理を説明する図である。
図３４において、着目している画素P(B)[k, l] を囲む特徴点Q(B)[i, j], Q(B)[i+1,j], Q(B)[i+1,j+1], Q(B)[i,j+1]を求め、内分比率を数８から求める。
【数８】

図３５に示すように、これら４つの特徴点がそれぞれ対応する画像フレームＣ１上の特徴点Q(C1)[i, j], Q(C1)[i+1,j], Q(C1)[i+1,j+1], Q(C1)[i,j+1]、の座標値と、内分比率とから、各辺上の点A,B,C,Dを求める。次に、線分ＡＣと線分ＢＤの交点であるP(C1)の座標値を求め、テーブルT1[k, l]に格納する(図23のステップS3-21〜24)。
以上の手順で、テーブルT1を生成することができる。
【００７２】
図２４のステップS3-31〜34を、画像フレームＢ上の全ての画素P(B)[k, l] (k=0〜BX-1, l=0〜BY-1)について繰り返すことにより、テーブルT2を作成する。
図３６はテーブルT2の生成処理を説明する図である。
図３６において、着目しているP(B)[k, l] が対応する画像フレームＣ上の座標E(cx, cy)を、数９に示すようにテーブルT1から求める。
【数９】

ここで、座標値cx, cyは整数になるとは限らず一般に実数となるため、このままでは対応するPN(C)は定まらない。
そこで、この座標E(cx, cy)を囲む４つの実在する画素P(C)[i, j], P(C)[i+1,j], P(C)[i+1,j+1], P(C)[i,j+1]を、数１０で求め、点Eに最も近い画素をPN(C)とする。図３６では、左下のP(C)[i,j+1]がPN(C)に対応している。PN(C)が対応する画像フレームＳ上の点PN(S)の座標値を、数１１から求め、テーブルT2[k, l]に格納する。
【数１０】

【数１１】

このとき、数１１でT0[k1,l1]に”外部フラグ”が立っている場合は、そのフラグをそのままT2[k, l]に立てる(ステップS3-31〜34)。
以上の手順で、テーブルT2を生成することができる。
【００７３】
図２５のステップS3-41〜44を、画像フレームＢ上の全ての画素P(B)[k, l] (k=0〜BX-1, l=0〜BY-1)について繰り返すことにより、テーブルThを作成する。
図３７は、テーブルThの生成処理を説明する図である。
図３７において、着目しているP(B)[k, l] が対応する画像フレームＳ上の座標F(cx, cy)を数１２から求める。
【数１２】

点Fを囲む４つの画素P(S)[i, j],P(S)[i+1,j],P(S)[i+1,j+1],P(S)[i,j+1]を、数１３から求める。
【数１３】

点Fと上記各４画素との距離の逆数e0, e1, e2, e3を求め、それぞれに比例する重みを、数１４で正規化し、さらに1024倍して小数部の切捨て処理等で整数化したものを、重みw0, w1, w2, w3とする。各重みと、４画素のうち,左上の画素P(S)[i, j]の座標値(x, y) = (i, j)を、１つのテーブル要素として、Th[k, l]に格納する(図25のステップS3-41〜44)。
【数１４】

ここで、重みを1024倍して整数化しているのは、小数点形式より整数形式の方が一般に記憶領域が小さくてすみ、結果として補正テーブルのサイズを小さくすることができるからである。その時に1024倍しているのは、単なる整数倍よりも２の指数乗倍の方が一般のコンピュータでは高速に演算できるためであり、この1024倍している点は、特にこれに限定されることなく、重みの有効桁数を考慮して最適な２の指数乗倍を使用するようにすれば良い。
以上の手順で、補正テーブルThを生成することができる。
この補正テーブルThは、補正データ記憶手段７０７に記憶しておく。
ここで、図２８から図３７において、外周の矩形は、画像または画像フレームの領域を説明するための図形であり、実在するものではない。同様に、破線は各種領域を説明するための図形であり、実在するものではない。
【００７４】
次に、映像の補正処理の手順について説明する(図１７,図２６,図２７のステップS4,S4-1〜5,S4-31〜34)。
映像入力手段７０８は、投影したい映像信号を受け付ける。
映像補正手段７０９は、入力フレームメモリ４０１に映像信号を１フレーム取り込み、画像フレームＳとする(図２６のステップS4-1)。
図２６のステップS4-2〜4を、画像フレームＢ上の全ての画素P(B)[k, l] (k=0〜BX-1, l=0〜BY-1)について繰り返すことにより、補正した画像を生成する。
つまり、画素P(B)の画像フレームＢ上のアドレスを、アドレス発生手段４０３が順次出力し、以下の処理を繰り返す。
アドレス変換手段４０４は、補正データ記憶手段７０７から座標値x, yを読み込み、処理対象の４つの画素を求め、画像フレームＳ上の、４つの画素のアドレスに変換する。
重み決定手段４０５は、補正データ記憶手段７０７から重みw0, w1, w2, w3を読み込み、画素補間手段４０６は、アドレス変換手段４０４により変換されたアドレスが示す入力フレーム４０１の画素値に数１５の演算を行ない、画素値を出力する。
【数１５】

マスク処理判定手段４０７は、補正データ記憶手段７０７から重みw0, w1, w2, w3を読み込み、その全てが０ならばマスク処理を実行する。
そして、アドレス発生手段４０３から出力されたアドレスが示す出力フレームメモリ７０９上の画素に画素値が格納される(図２６,２７のステップS4-2〜5, S4-31〜34)。
ここで、マスク処理とは、目的の画素に０（最低輝度つまり消灯）の画素値を格納することである。
【００７５】
最後に、画像補正手段７０９は、出力フレームメモリ４０２の内容を映像信号として、順次出力する。
映像信号は、映像投影手段７０２でスクリーン１に投影され、視点位置７から見て歪のない正しい投射映像が得られる(図２６のステップS4-5)。
なお、本発明の実施の形態１では、テスト画像の投影と、抽出の手順(図18のステップS1-1〜S1-6)の代わりに、次に示す第２のテスト画像の投影と、抽出の手順(図３８のステップS1-101〜S1-105)を行うものとしても良い。
この第２のテスト画像の投影と、抽出の詳細手順では、特徴点を１個のみ順次点灯することにより、特徴点を順次特定して行く。
【００７６】
図３８は、第２のテスト画像の投影と、抽出のフローチャートである(ステップS1-101〜105)。
撮影手段７０３は、テスト画像を投影していない状態でスクリーン１を撮影し、撮影画像Z0とする(図38のステップS1-101)。
図３８のステップS-102〜105を全ての特徴点Q(C)[x, y] (x=0〜U-1, y=0〜V-1)について繰り返すことにより、特徴点を特定する。
テスト画像生成手段７０１は、着目している特徴点Q(C)[x, y]のみを点灯したテスト画像を生成し、映像投影手段７０２でスクリーン１に投影する(ステップS1-102)。
この状態で、撮影手段７０３は先ほどと同じ撮影条件でテスト画像の投射映像全体を含むように撮影し、撮影画像Z1とする(図38のステップS1-103)。
【００７７】
テスト画像抽出手段７０４は、撮影画像Z0とZ1との差分から、特徴点の領域を抽出した特徴点画像Z10を生成する(ステップS1-104)。
テスト画像抽出手段７０４は、特徴点画像Z10において画素値がある閾値SVより大きい画素の集まりを特徴点候補として抽出し、その位置（画素の集まりの重心位置）を算出する。ここで、特徴点候補が皆無の場合は、閾値SVを下げて再抽出する。また特徴点候補の数が複数個ある場合は、最も画素の集まりが大きいものを特徴点候補として、決定する。この特徴点候補をそのまま着目している特徴点Q(C)[x, y]とする(図３８のステップS1-105)。
また、テスト画像として、特徴点を１個ずつ増やしながら追加点灯し、図38のステップS1-104において、テスト画像抽出手段７０４は、撮影画像Z1と直前の撮影画像Z1（ループの初回のみ撮影画像Z0）との差分から、特徴点の領域を抽出した特徴点画像Z10を生成することにより、特徴点を順次特定して行く手順もある。
以上が、第２のテスト画像の投影と、抽出の手順である。
【００７８】
なお、本発明の実施の形態1では、テスト画像の投影と、抽出の手順(図１８のステップS1-1〜S1-6)の代わりに、次に示す第３のテスト画像の投影と、抽出の手順(図３９のステップS1-201〜S1-206)を行うようにしても良い。
第３のテスト画像の投影と、抽出の手順では、特徴点毎に異なる色を持つテスト画像を用いて特徴点を特定する。
【００７９】
図３９は、第３のテスト画像の投影と、抽出のフローチャートである(ステップS1-201〜206)。
テスト画像生成手段７０１は、特徴点毎に異なる色を設定したテスト画像を生成する(図３９のステップS1-201)。
撮影手段７０３は、テスト画像を投影していない状態でスクリーン１を撮影し、撮影画像Z0とする(図３９のステップS1-202)。
次に、映像投影手段７０２は、テスト画像をスクリーン１に投影する。
この状態で、撮影手段７０３は、先ほどと同じ撮影条件で、テスト画像の全体を含むように撮影し、撮影画像Z1とする(図３９のステップS1-203)。
テスト画像抽出手段７０４は、撮影画像Z0とZ1との差分から、特徴点の領域を抽出した特徴点画像Z10を生成する(図３９のステップS1-204)。
テスト画像抽出手段７０４は、特徴点画像Z10において画素値がある閾値SVより大きい画素の集まりを特徴点候補として抽出し、その位置（画素の集まりの重心位置）を算出する。ここで、特徴点候補の数が、Ｕ×Ｖ個より少ない場合は、閾値SVを下げて再抽出する。また、特徴点候補の数が、Ｕ×Ｖ個より多い場合は、画素の集まりが大きい順に、Ｕ×Ｖ個を選出し、Ｕ×Ｖ個の特徴点候補を決定する(図３９のステップS1-205)。
図３９のステップS-206を、全ての特徴点Q(C)[x, y] (x=0〜U-1, y=0〜V-1)について繰り返すことにより、特徴点を特定する。
テスト画像生成手段７０１が、[x, y]番めの特徴点に設定していた色に最も近い色を持つ特徴点候補を、特徴点Q(C)[x, y]とし、特徴点候補から除く(図39のステップS1-206)。
以上が、第３のテスト画像の投影と、抽出の手順である。
なお、本発明の実施の形態1では、テスト画像の投影と、抽出の手順(図18のステップS1-1〜S1-6)の代わりに、次に示す第４のテスト画像の投影と、抽出の手順(図４０のステップS1-301〜S1-306)を行うようにしても良い。
【００８０】
第４のテスト画像の投影と、抽出の手順では、特徴点毎に異なる周期で点滅するテスト画像を使って、特徴点を特定する。
図４０は、第４のテスト画像の投影と、抽出のフローチャートである(ステップS1-301〜306)。
テスト画像生成手段７０１は、特徴点毎に異なる周期で点滅するテスト画像を生成する(図４０のステップS1-301)。
【００８１】
映像投影手段７０２は、特徴点毎に異なる周期で点滅するテスト画像をスクリーン１に連続投影する。
この状態で、撮影手段７０３は、先ほどと同じ撮影条件でテスト画像の全体を含むように最も遅い点滅周期の2倍以上の時間ほど連続撮影し、一連の撮影画像Z1とする(図40のステップS1-302)。
テスト画像抽出手段７０４は、一連の撮影画像Z1から点滅する領域とその周期を関連付けて特徴点候補として抽出する(図４０のステップS1-303)。
図４０のステップS-304を、全ての特徴点Q(C)[x, y] (x=0〜U-1, y=0〜V-1)について繰り返すことにより、特徴点を特定する。
テスト画像生成手段７０１が、[x, y]番めの特徴点に設定していた点滅周期に最も近い特徴点候補を、特徴点Q(C)[x, y]とし、特徴点候補から除く(ステップS1-304)。
以上が、第４のテスト画像の投影と、抽出の手順である。
なお、テスト画像の投影と抽出の手順では、特徴点の識別子として、点滅周期や色情報の両方を使うなど、識別子を組み合わせることも考えられる。
【００８２】
以上のように、本実施の形態1では、自由曲面の表面のスクリーン１に対して斜めに配置したプロジェクタ２で投影した映像を、ある視点位置７で観察する状況で、補正無しのテスト画像を投影し、視点位置７にてカメラ４でテスト画像を撮影し、あらかじめ逆の歪みを与えるための補正データを生成し、この補正データで投影したい映像を補正処理し、プロジェクタ２で投影することにより、視点位置７から見て歪みなく正しい映像を得ることが可能となる。このことにより、従来手間のかかっていたスクリーンの設置調整や、プロジェクタの配置調整といった作業の省力化を行うことが可能となる。
なお、重みテーブルの各重みを、２の指数乗倍し整数化してテーブルに保存することにより、補正テーブルのサイズを小さくでき、補正テーブル記憶手段７０７を効率よく使うことができるだけでなく、補正テーブル生成の処理、および画像の補正処理の演算を、高速に行うことが可能となるのは、上記で説明した通りである。
なお、カメラ４の位置と視点位置７とは、厳密に一致しなくとも、そのずれが小さければ、上記手順を行うことにより、一定の歪み補正効果を得ることができる。
【００８３】
（実施の形態２）
以下、本発明の実施の形態2による映像投影装置について、図面を参照しながら説明する。
本実施の形態2は、実施の形態1と共通部分が多いため、相違点を中心に説明する。
図４１は本発明の実施の形態2による映像投影装置の装置構成の図である。
図４１において、１は映像を写すスクリーン、２ａ，２ｂはスクリーン１に映像を投影するプロジェクタ、３ａ，３ｂはそれぞれプロジェクタ２ａ，２ｂによってスクリーン１に投影された投射映像、４はスクリーン１や投射映像３を撮影するカメラ、５は映像信号を出力する映像ソース、６はカメラ４からのデータから補正データを生成し、映像ソース５からの映像信号を補正処理して、プロジェクタ２ａ，２ｂに出力する映像補正装置、７は観察者の視点位置である。
ここで、上記映像ソース５、および上記カメラ４は、上記映像補正装置６に内包された構成としてもよい。
【００８４】
本実施の形態２では、実施の形態１と同様に、上記スクリーン１の形状は必ずしも平面である必要はなく、自由曲面であるものとする。また、上記視点位置７と上記カメラ４の、位置と方向は一致するものとする。
また本発明の実施の形態２による映像投影装置のハードウエア構成は、図８に示す実施の形態１によるものと同一であり、説明を省略する。
次に、本発明の実施の形態２による映像投影装置の動作概要について、図４１及び図８を用いて説明する。
図４１に示すように、スクリーン１の正面方向に対して斜めの方向にプロジェクタ２ａ，２ｂを配置する。映像補正装置６において、補正データ作成プログラムでテスト画像が生成され、プロジェクタ２ａ，２ｂに出力される。
まず、プロジェクタ２ｂが映像を投影していない状態で、プロジェクタ２ａに入力されたテスト画像を投影すると、テスト画像の投射映像３ａのみがスクリーン１上に形成される。このとき、投射映像３はスクリーン１とプロジェクタ２が正対設置されていないことと、視点位置７がスクリーン1の正面にないことと、スクリーン１の表面形状により、歪んだ図形となっている。
視点位置７と同じ位置において、カメラ４でテスト画像の投射映像３ａを撮影し、映像補正手段６の映像入力メモリ３０６に入力する。
同様に、プロジェクタ２ａが映像を投影していない状態で、プロジェクタ２ｂに入力されたテスト画像を投影すると、テスト画像の投射映像３ｂのみがスクリーン１上に形成される。テスト画像の投射映像３ｂもやはり歪んだ図形となっている。
【００８５】
先ほどと同じ位置において、カメラ４でテスト画像の投射映像３ｂを撮影し、映像補正手段６の映像入力メモリ３０６に入力する。
この時点で、テスト画像の投影を停止する。
生成したテスト画像と、映像入力メモリ３０６に保存された撮影画像とを比較して、歪みを算出し、投影時に歪みがないように、かつ、２つの投射映像３ａ，３ｂが連続して１つの映像となるように、事前に逆の歪みを与えるための補正データを算出し、記録媒体３０３、または主記憶装置３０４に記憶しておく。
次に、映像補正プログラムにより、映像ソース５より出力された映像信号は、画像フレームごとに映像入力メモリ３０６に逐次的に取り込まれ、補正データに従って、映像入力メモリ３０６から映像出力メモリ３０７に逐次的に変換して格納される。
映像出力メモリ３０７の内容は映像信号として逐次出力され、プロジェクタ２ａ，２ｂによってスクリーン１に投影され、視点位置７から見て、連続した歪みのない正しい映像が形成される。
また、本実施の形態２における映像投影装置のブロック構成は、上記実施の形態１の映像投影装置の詳細な構成と同一であり、説明を省略する。
【００８６】
次に、本実施の形態２による映像投影装置の詳細な動作について、フローチャートを用いて説明する。
図４２と図４３は、本実施の形態２による映像投影装置の詳細動作のフローチャートである。
図４２において、プロジェクタ２ａにおいて、テスト画像の投影と、抽出を行う(図42のステップS21)。
続いて、プロジェクタ２ｂにおいて、テスト画像の投影と抽出を行う(図４２のステップS22)。
ここで、ステップS21,S22の詳細手順は、上記実施の形態１のステップS1-1〜6と同じであり、説明を省略する。
次に、投影指定領域の決定手順について説明する(図４２,図４３のステップS23,S23-1〜5)。
【００８７】
図４４は、投影指定領域の決定処理を説明する図である。
図４４において、１０ａ，１０ｂはプロジェクタ２ａ，２ｂに対応する仮の投影指定領域RDa0, RDb0で、それぞれの左上と右下の座標を、(a0x0, a0y0), (a0x1, a0y1)、および(b0x0, b0y0), (b0x1, b0y1)とする。
11a，11bは、プロジェクタ２ａ，２ｂに対応する投影指定領域RDa, RDbで、それぞれの左上と右下の座標を、(ax0, ay0), (ax1, ay1)、および(bx0, by0), (bx1, by1)とする。
プロジェクタ２ａ，２ｂの仮の投影指定領域RDa0, RDb0を決定する(図４３のステップS23-1，S23-2)。
ここで、ステップS23-1,S23-2の詳細手順は、上記実施の形態1のステップS2-1〜5と同じであり、説明を省略する。
仮の投影指定領域RDa0, RDb0から投影指定領域RDa, RDbを決定する(図４３のステップS23-3)。
図４４(a)において、仮の投影指定領域RDa0, RDb0は一部重複しながら垂直方向にずれている。
これを、図４４(b)に示すように、同じ高さで重ならずに１つの連続した長方形領域となるように、数１６を使って投影指定領域RDa, RDbを決定する(図４３のステップS23-3〜5)。
【数１６】

以降の手順は、上記実施の形態1におけると同じである。すなわち、プロジェクタ２ａ，２ｂに対応する２つの補正テーブルを作成し、映像入力手段７０８で入力した映像についての、それぞれの補正テーブルで補正処理を行い、スクリーン１に対してプロジェクタ２ａ，２ｂで同時に投影することにより、視点位置７から見て１つの連続した歪のない正しい映像が得られる。
以上のように、本実施の形態２では、自由曲面の表面のスクリーン１に対して斜めに配置した２台のプロジェクタで投影した映像を、ある視点位置７で観察する状況で、それぞれのプロジェクタで補正無しのテスト画像を投影し、視点位置７でカメラ４でテスト画像を撮影し、あらかじめ逆の歪みを与えるための補正情報と、２つの映像が連続して見えるようにする補正情報で、補正データを生成し、この補正データで投影したい映像を補正処理し、各プロジェクタで投影することにより、視点位置７から見て２つの投射映像を隙間なく重なりなく配置することができ、連続した歪みのない正しい映像を得ることが可能となる。このことにより、従来手間のかかっていたスクリーンの設置調整や、複数台のプロジェクタの配置調整といった作業の省力化が可能となる。また、２つの映像の重なり部分がないため、その領域に対する輝度調整などの特別な処理も不要となる。
なお、本発明の実施の形態２は、プロジェクタが２台の場合であるが、３台以上の場合でも、テスト画像の投射映像が一部重複するようにして、大きな投影指定領域を構成するように、各プロジェクタに対応した複数の投影指定領域を決定するようにすれば、同様の効果を得ることができる。
【００８８】
（実施の形態３）
以下、本発明の実施の形態３による映像投影装置について、図面を参照しながら説明する。
本実施の形態３においては、実施の形態１と共通部分が多いため、相違点を中心に説明する。
図４５は、本発明の実施の形態３による映像投影装置の装置構成を示す図である。
図４５において、１は映像を写すスクリーン、２はスクリーン１に映像を投影するプロジェクタ、３はプロジェクタ２によってスクリーン１に投影された投射映像、４はスクリーン１や投射映像３を撮影するカメラ、５は映像信号を出力する映像ソース、６はカメラ４からのデータに基づき補正データを生成すると共に、生成した補正データに基づき映像ソース５からの映像信号に対して補正処理を施してプロジェクタ２へ出力する映像補正装置、７ａ，７ｂは観察者の視点位置、８はスクリーン1の法線である。
本実施の形態３では、上記スクリーン１は長方形の平面で、上記視点位置７ａは上記スクリーン１の法線上に位置し、上記視点位置７ｂと上記スクリーン１の中心とを結ぶ直線は、上記スクリーン１の法線と角度θをなすものとする。
また本発明の実施の形態３による映像投影装置のハードウエア構成は、図８に示す実施の形態１によるものと同一であり、説明を省略する。
【００８９】
次に、本発明の実施の形態３による映像投影装置の動作概要について説明する。
図４５に示すように、スクリーン１の正面方向に対して斜めの方向にプロジェクタ２を配置する。
映像補正装置６において、補正データ作成プログラムでテスト画像が生成され、プロジェクタ２に出力される。
プロジェクタ２に入力されたテスト画像を投影し、テスト画像の投射映像３がスクリーン１上に形成される。このとき、投射映像３はスクリーン１とプロジェクタ２が正対設置されていないため、歪んだ図形となっている。また、歪み具合は視点位置７の角度θにより異なる。
カメラ４でテスト画像の投射映像３を含むスクリーン１の全体を撮影し、映像補正装置６の映像入力メモリ３０６に入力する。
映像補正装置６では、テスト画像、およびスクリーンの外形に関する情報を抽出する。
抽出したテスト画像と、映像入力メモリ３０６に保存された撮影画像とを比較して、歪量を算出する。この歪量と、スクリーンの外形に関する情報と、必要に応じてキーボード３０１やマウス３０２で入力した投影条件から、視点位置７から見て投影した結果がスクリーンの外形と相似形になるように事前に歪みを与えるための補正データを算出し、記録媒体３０３、または主記憶装置３０４に記憶しておく。
この補正方法は、任意のカメラ位置で観察して投射映像３の外形がスクリーンの外形と相似形になれば、スクリーン１の正面である視点位置７ａから見て、投射映像３は歪みのない長方形になることに基づいている。
後は、上記実施の形態１と同様に、映像補正プログラムで映像ソース５より出力された映像信号は、画像フレームごとに補正処理されて、プロジェクタ２によってスクリーン１に歪みのない正しい映像が形成される。
【００９０】
次に、本実施の形態３による映像投影装置のブロック構成を説明する。
図４６は、本実施の形態３による映像投影装置のブロック図である。
図４６において、７０１はテスト画像を生成するテスト画像生成手段、７０２は映像信号を入力しスクリーンに投影する映像投影手段、７０３はスクリーンに投影したテスト画像とスクリーンを撮影し撮影画像として出力する撮影手段、７０４は撮影手段７０３の撮影画像を入力しテスト画像に関する情報を取り出すテスト画像抽出手段、７１０は撮影手段７０３の撮影画像を入力しスクリーン１の外形に関する情報を取り出すスクリーン抽出手段、７１１はユーザが投影条件を入力する入力手段、７０５はテスト画像抽出手段７０４のテスト画像に関する情報と、テスト画像生成手段７０１のテスト画像とを比較するとともに、スクリーンの外形に関する情報と、投影条件とを加味して歪量を算出する歪量計算手段、７０６は歪量計算手段７０５の歪量を入力し、スクリーンに歪みのない所望の映像が得られるように映像信号を補正するための補正データを計算する補正データ生成手段、７０７は補正データを保持する補正データ記録手段、７０８は投影したい映像信号を受け付ける映像入力手段、７０９は映像入力手段７０８で受けた映像信号を補正データ記録手段７０７に保持している補正データで補正処理し、映像投影手段７０２に出力する映像補正手段である。
【００９１】
本実施の形態３では、入力手段３１１の具体的装置例として、キーボード３０１、およびマウス３０２を用いる。
本実施の形態３による映像投影装置の詳細な動作について、フローチャートを用いて説明する。
図４７、図４８、図４９は、本実施の形態３の詳細動作のフローチャートである。
本実施の形態３においては、テスト画像の投射と、抽出の手順は、上記実施の形態１と同じであり、説明を省略する。
【００９２】
次に、テスト画像を投影せずにスクリーンをカメラで撮影し、その撮影画像Z0からスクリーンの輪郭を抽出し、その領域をスクリーン領域RSとする(図４７,図４８のステップS11,S11-1,2)。スクリーンの輪郭を抽出する方法の具体例としては、撮影画像Z0において、近傍の画素との輝度変化からエッヂを抽出処理する方法や、あらかじめスクリーンの四隅、または輪郭部に色のついたマーカをセットしておき、撮影画像Z0の画素から、マーカと同じ色情報を持つ画素のみを抽出する方法により、これを実現することができる。
【００９３】
次に、投影指定領域の決定手順について説明する(図４７,図４９のステップS12,S12-1〜7)。
図５０は、投影指定領域の決定処理の説明図である。
図５０において、スクリーン領域RSと相似形で小さい領域RRを、テスト画像領域RTの中に想定する。この領域RRに対して、徐々に拡大と平行移動とを組み合わせながら、テスト画像領域RTに内接する最大の領域を決定し、この時の領域RRを、投影指定領域RDとする(図４９のステップS12-1〜7)。
補正テーブル作成以降の処理は、上記実施の形態１における処理と同じであり、説明を省略する。
以上で、任意のカメラ位置でテスト画像を撮影しても、スクリーン１の正面にいる観察者に対して、投射映像３が長方形となり、歪みのない正しい映像を提供することができる。
なお、投影指定領域の決定手順を、図５１に示す第２の投影指定領域の決定手順としてもよい。
【００９４】
図５２は、第２の投影指定領域の決定処理で使用する入力手段３１１の画面構成である。
図５２において、６０１はスクリーン領域RSを示す図形、６０２はテスト領域RTを示す図形、６０３は投影指定領域RDを示す図形、６０４はユーザがマウス３０２を使って操作するマウスカーソルである。入力手段３１１の画面には、あらかじめスクリーン領域RSと、テスト画像領域RTとを示す図形６０１および６０２が、重ねて表示してある(図５１のステップS12-10)。ユーザはマウスカーソル６０４を操作し、図形６０１と図形６０２の位置と大きさを参考しながら、図形６０３を指定し、所望の投影指定領域RDを投影条件として入力する(図５１のステップS12-11)。
このとき、入力手段３１１は、投影指定領域RDがテスト画像指定領域ＲＴの内部から出ないようにユーザの入力作業を支援することもある。また、入力手段３１１は、投影指定領域RDがスクリーン領域RSと相似な関係を保つように、ユーザの入力作業を支援することもある。
以上で、第２の投影指定領域の決定を終了する。
また、投影指定領域の決定手順を、図５３に示す第３の投影指定領域の決定手順としてもよい。
【００９５】
図５４は、第３の投影指定領域の決定方法で使用する入力手段３１１の画面構成である。
図５４に示すように、ユーザは入力手段３１１でキーボード３０１を使って２つの角度θｃと角度θｖを投影条件として入力する（図５３のステップS12-21,22）。次に、角度θｃとθｖとの関係から、投影指定領域RDを決定する(図５３のステップS12-23)。
【００９６】
以下、ステップS12-23の具体的な処理手法について、説明する。
図５５は、スクリーン１と、各視点位置７ａ〜７ｅと、カメラ４との位置関係を説明する図である。図５５において、８はスクリーン１の法線、９はカメラ４の光軸、視線位置７ａ〜７ｄとスクリーンの中心を結ぶ直線と、法線８のなす角をθｖ、カメラの光軸９と法線８のなす角をθｃ、とする。視点位置７ａは法線８上に位置し、視点位置７ｃはカメラ４の同じ位置とする。
図５６は視点位置と投影指定領域RDの形状の関係を示す図である。
図５６において、各視点方向における角度θｖと、各視点方向で歪なく正しい映像が得られるための投影指定領域RD（カメラ２で観察した形状）をそれぞれ図示している。
つまり、投影指定領域RDは、θｖ＝θｃではカメラ位置と視点位置が一致するため長方形となり、θｖ＝０では、スクリーン領域RSの形状と相似形となり、０＜θｖ＜θｃでは、長方形からスクリーン領域RSへ連続して滑らかに変化させた内補図形となり、θｖ＞θｃや、θｖ＜０では、外補図形となる。
このような、θｖと、投影指定領域RD（つまり領域を構成する４つの頂点の座標）との間の内外補の関係を使うことにより、θｃとθｖが決まれば、長方形(θｖ＝θｃ)と、スクリーン領域RS(θｖ＝０)を、基準図形として、テスト画像領域RTに内接する投影指定領域RDを決定することができる。
以上で、第３の投影指定領域の決定を終了する。
【００９７】
以上のように、本発明の実施の形態３では、スクリーンの外形と相似形の投影指定領域RDを決定することにより、カメラ４を任意の位置に設置しても、スクリーン３の正面の視点位置７ａから見て歪のない正しい映像を提示することが可能となる。
また、入力手段３１１を設け、入力画面にスクリーン領域RSとテスト画像領域RTとを重ねて表示した状態で、ユーザが最適な投影指定領域RDを自由に設定することが可能となり、任意の視点位置から見て歪のない正しい映像を提示することが可能となる。
また、視点位置とカメラとスクリーンの相対位置関係を入力することにより、投影指定領域RDを算出でき、任意の視点位置から見て歪のない正しい映像を提示することが可能となる。
なお、本実施の形態３では、１つのプロジェクタのシステム構成について説明したが、上記実施の形態２に示すような、２台またはそれ以上の台数のプロジェクタで構成したシステムにおいても適用することができ、同様の効果を得ることができる。
【００９８】
（実施の形態４）
以下、本発明の実施の形態４による映像投影装置について、図面を参照しながら説明する。
本実施の形態４では、上記実施の形態２と共通部分が多いため、相違点を中心に説明する。
図５７は本発明の実施の形態４による映像投影装置の装置構成の図である。
図５７において、１は映像を写すスクリーン、２はスクリーン1に可視光および赤外光で映像を投影するプロジェクタ、３はプロジェクタ２によってスクリーン１に投影された投射映像、４は投射映像３を赤外光で撮影するカメラ、５は映像信号を出力する映像ソース、６はカメラ４からのデータから補正データを生成し、映像ソース５からの映像信号を補正処理してプロジェクタ２に出力する映像補正装置、７は観察者の視点位置である。ここで、上記映像ソース５および上記カメラ４は、上記映像補正装置６に内包された構成としてもよい。
本実施の形態４では、上記スクリーン１の表面は必ずしも平面である必要はなく、自由曲面であるものとする。さらに上記スクリーン１の表面は、時間とともに変化するものとする。また、上記視点位置７と上記カメラ４の位置は、一致するものとする。
本発明の実施の形態２による映像投影装置のハードウエア構成は、図８に示す実施の形態１によるものと同一であり、説明を省略する。
【００９９】
本発明の実施の形態４による映像投影装置の動作概要について、図５７及び図８を用いて説明する。
図５７に示すように、スクリーン１の正面方向に対して斜めの方向にプロジェクタ２を配置する。映像補正装置６において、補正データ作成プログラムでテスト画像が生成され、プロジェクタ２に出力される。プロジェクタ２に入力されたテスト画像は赤外光で投射され投射映像３がスクリーン１上に形成される。このとき、投射映像３はスクリーン１とプロジェクタ２が正対設置されていないことと、スクリーン１の表面形状により、視点位置７から見ると歪んだ図形となっている。視点位置７と同じ位置において、カメラ４でテスト画像の投射映像３を赤外光で撮影し映像補正手段６の映像入力メモリ３０６に入力する。生成したテスト画像と、映像入力メモリ３０６に入力された撮影画像とを比較して、投射映像の歪みを算出し、投影時に歪がないように事前に逆の歪みを与えるための補正データを算出し、記録媒体３０３、または主記憶装置３０４に記憶しておく。
【０１００】
次に、映像補正プログラムにより、映像ソース５より出力された映像信号は、画像フレームごとに映像入力メモリ３０６に逐次的に取り込まれ、補正データに従って、映像入力メモリ３０６から映像出力メモリ３０７に逐次的に変換して格納される。
映像出力メモリ３０７の内容は、映像信号として逐次出力され、プロジェクタ２に出力される。このとき、補正データ作成プログラムと映像補正プログラムは、並行して実行され、プロジェクタ２はテスト画像を赤外光で、補正した映像は可視光で、同時に重ねて投影する。つまり、補正データ作成プログラムは、リアルタイムに補正データを更新し、映像補正プログラムは最新の補正データを使って映像を補正し、２つの映像を同時にスクリーン１に投影する。
このようにして、時間とともに変化する表面を持つスクリーン１に、補正した映像のみが常に歪みのない正しい映像として形成される。
次に、本発明の実施の形態４による映像投影装置のブロック構成は、上記実施の形態１の詳細な構成と同じであり、説明を省略する。
【０１０１】
本実施の形態４による映像投影装置の詳細な動作について、フローチャートを用いて説明する。
図５８から図６１は、本実施の形態４による映像投影装置の詳細動作のフローチャートである。
図５８は本実施の形態４の全体フローチャートである。
まず、テスト画像を生成し、プロジェクタ２から赤外光でスクリーン１に投影を行う(図５８,図５９のステップS41, S41-1,2)。
次に、テスト画像の抽出の手順を説明する(図５８,図６０のステップS42,S42-1〜6)。
すなわち、スクリーン１に赤外光で投影したテスト画像の投射映像３を、赤外光のカメラ４で撮影する。撮影した画像には、テスト画像の特徴点のみが写っており、この画像を特徴点画像Ｚ１０とする(図６０のステップS42-1)。
ステップS42-2,3〜6のラベリング作業は、上記実施の形態1におけるステップS1-5,6と同じあり、説明を省略する。
【０１０２】
続いて、上記実施の形態1のステップS2,S3,S4と同じ手順で、投影指定領域の決定(図５８のステップS43)、補正テーブルの生成(図５８のステップS44)、及び、画像の補正(図５８ステップS45)を行う。
テスト画像を生成し、赤外光のテスト画像と、可視光の補正画像とを重ねて、プロジェクタ２によりスクリーン１に投影する(図５８,図６１ののステップS46,S46-1,2)。
視点７にいる観察者は、肉眼では赤外光のテスト画像は見えず、可視光で投影されている補正映像のみを、歪なく正しく見ることができる。
【０１０３】
赤外光で投影したテスト画像は、ステップS42に戻って、再度カメラで撮影され、補正テーブルが更新される。
【０１０４】
以下、上記図５８のステップS42〜S46が繰り返される。
以上のように、本実施の形態4では、時々刻々と変化する自由曲面の表面のスクリーン１に対して斜めに配置したプロジェクタ２で投影した映像を、ある視点位置７で観察する状況において、プロジェクタ２により補正無しのテスト画像を投影し、視点位置７にてカメラ４でテスト画像を撮影し、あらかじめ逆の歪みを与えるための補正データを連続して生成,更新し、最新の補正データで投影したい映像を補正処理し、プロジェクタ２で投影することにより、視点位置７から見て常に歪みなしに正しい映像を得ることが可能となる。このことにより、屋外で風にたなびくスクリーンのように、時間により刻々と変化するスクリーンに対しても、常に歪のない正しい映像を得ることができる。
なお、上記実施の形態４においては、テスト画像の投影に赤外線を用いたものについて述べたが、このテスト画像の投影に用いる光線は、観察者の見えない波長域、つまり可視光以外の領域のものであればよく、たとえば紫外光などでも同様の効果が得られる。
また、カメラ４の位置と視点位置７とは厳密に一致しなくとも、そのずれが小さいものであれば、一定の効果を得ることができる。
また、上記実施の形態４では、１つのプロジェクタのシステム構成について説明したが、上記実施の形態２に示すような、２台またはそれ以上の台数のプロジェクタで構成したシステムにおいても適用することができ、同様の効果を得ることができる。
【０１０５】
（実施の形態５）
次に、映像投影を実行するためのプログラム（以下、映像投影プログラムという）を記録した記録媒体について説明する。
図８において、中央処理装置３０５でプログラムの動作を制御する。
主記憶装置３０４では、プログラムや各種のデータが記憶される。
映像投影プログラムは、記録媒体３０３に記録される。
記録媒体３０３は、フロッピィディスクや、ＭＯや、CD-ROMなど、少なくとも１回の書き込みと読み出しが可能な記録媒体ならば、何でもよい。
また、ハードディスクなど予めシステムに組み込まれ、可搬性のないものでもよい。
映像投影プログラムは、中央処理装置３０５によってバス３０８を経由して主記憶装置３０４に読み込まれ、所定の動作を行なう。
映像投影プログラムの具体的な動作は、上述した通りであるので、説明を省略する。
【０１０６】
【発明の効果】
以上のように本発明にかかる映像投影装置によれば、テスト画像を生成するテスト画像生成手段と、画像をスクリーンに投影する映像投影手段と、投影されたテスト画像の投射映像を撮影し、撮影画像として出力する撮影手段と、生成した前記テスト画像と前記撮影画像とを比較して、投射映像の歪量を算出する歪量計算手段と、前記歪量から画像を歪みなく投影できるよう、画像に事前に逆の歪みを与える補正データを生成する補正データ生成手段と、前記補正データを保持しておく補正データ記憶手段と、視点、映像投影手段、撮影手段、及びスクリーンの各位置と各向き、スクリーン形状、及び補正処理後の画像を投影したいスクリーン上の領域である投影指定領域のうち少なくとも１つを設置条件として入力する入力手段とを備え、前記歪量補正手段は、前記入力手段の設置条件をも加味して、投射映像の歪量を算出し、前記入力手段は、スクリーンを表す図形とテスト画像の投射映像を表す図形とを重ねて表示した画面においてユーザが投影指定領域を指定することを特徴とするので、視点位置から見て歪みなく正しい映像を得ることが可能となり、従来手間のかかっていたスクリーンの設置調整や、プロジェクタの配置調整といった作業の省力化を図ることができるという効果を有するとともに、視点位置とカメラとスクリーンの相対位置関係を入力することにより、投影指定領域を算出することができ、任意の視点位置から見て歪のない正しい映像を提示することができ、入力画面にスクリーン領域とテスト画像領域とを重ねて表示した状態で、ユーザが最適な投影指定領域を自由に設定することが可能となり、任意の視点位置から見て歪のない正しい映像を提示することができるという効果を有する。
【０１１２】
本発明にかかる映像投影装置によれば、前記映像投影装置において、前記映像投影手段は、映像補正手段で補正処理をした画像をスクリーンに投影するとともに、テスト画像生成手段のテスト画像を可視光域以外のある波長域でスクリーンに投影し、前記撮影手段は、投影されたテスト画像の投射映像を、前記波長域で撮影することを特徴とするので、視点位置から見て常に歪のない正しい映像を得ることができ、屋外で風にたなびくスクリーンのように、時間により刻々と変化するスクリーンに対しても、常に正しい映像を得ることができるという効果を有する。
【０１１８】
本発明にかかる映像投影方法によれば、テスト画像を生成するテスト画像生成工程と、 画像をスクリーンに投影する映像投影工程と、投影されたテスト画像の投射映像を撮影し、撮影画像として出力する撮影工程と、生成した前記テスト画像と、前記撮影画像とを比較して、投射映像の歪量を算出する歪量計算工程と、前記歪量から画像を歪みなく投影できるよう、画像に事前に逆の歪みを与える補正データを生成する補正データ生成工程と、前記補正データを保持しておく補正データ記憶工程と、視点、映像投影手段、撮影手段、及びスクリーンの各位置と各向き、スクリーン形状、及び補正処理後の画像を投影したいスクリーン上の領域である投影指定領域のうち少なくとも１つを、設置条件として入力する入力工程とを含み、前記歪量補正工程は、前記入力工程の設置条件をも加味して、投射映像の歪量を算出し、前記入力工程は、スクリーンを表す図形と、テスト画像の投射映像を表す図形とを重ねて表示した画面において、ユーザが投影指定領域を指定することを特徴とするので、視点位置から見て歪みなく正しい映像を得ることが可能となり、従来手間のかかっていたスクリーンの設置調整や、プロジェクタの配置調整といった作業の省力化を図ることができるとともに、重みテーブルを２の指数乗倍し整数化してテーブルに保存することにより、補正テーブルのサイズを小さくし、補正テーブル記憶手段を効率よく使うことができると共に、補正テーブルの生成の処理、および画像の補正処理の演算を、高速に行うことができるという効果を有する。
【０１２４】
本発明にかかる映像投影方法によれば、前記映像投影工程は、映像補正工程で補正処理をした画像をスクリーンに投影するとともに、テスト画像生成工程で生成したテスト画像を可視光域以外のある波長域でスクリーンに投影し、前記撮影工程は、投影されたテスト画像の投射映像を前記波長域で撮影することを特徴とするので、視点位置から見て常に歪のない正しい映像を得ることができ、屋外で風にたなびくスクリーンのように、時間により刻々と変化するスクリーンに対しても、常に正しい映像を得ることができるという効果を有する。
【０１３０】
本発明にかかる映像投影プログラムを記録した記録媒体によれば、コンピュータに実行させる手順として、テスト画像を生成するテスト画像生成手順と、スクリーンに投影したテスト画像の投射映像を撮影した撮影画像と、生成した前記テスト画像とを比較し、投射映像の歪量を算出する歪量計算手順と、前記歪量から画像を歪みなく投影するために画像に事前に逆の歪みを与える補正データを生成する補正データ生成手順と、前記補正データを保持する補正データ記憶手順とを含み、入力手順により、視点、映像投影手段、撮影手段、及びスクリーンの各位置と各向き、スクリーン形状、及び補正処理後の画像を投影したいスクリーン上の領域である投影指定領域のうち少なくとも１つを、設置条件として入力し、前記歪量補正手順は、前記設置条件をも加味して投射映像の歪量を算出し、前記入力手順は、スクリーンを表す図形と、テスト画像の投射映像を表す図形とを重ねて表示した画面において、ユーザが投影指定領域を指定することを特徴とするので、視点位置から見て歪みなく正しい映像を得ることが可能となり、従来手間のかかっていたスクリーンの設置調整や、プロジェクタの配置調整といった作業の省力化を図ることができるとともに、視点位置とカメラとスクリーンの相対位置関係を入力することにより、投影指定領域を算出することができ、任意の視点位置から見て歪のない正しい映像を提示することができ、入力画面にスクリーン領域とテスト画像領域とを重ねて表示した状態で、ユーザが最適な投影指定領域を自由に設定することが可能となり、任意の視点位置から見て歪のない正しい映像を提示することができるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態1による映像投影装置の装置構成を示す図
【図２】第１の従来例による映像投影装置のブロック図
【図３】第１の従来例の全体のフローチャート
【図４】第１の従来例の補正前後のテスト画像の説明図
【図５】第１の従来例の歪量の計算と、補正データの生成のフローチャート
【図６】第２の従来例による映像投影装置のブロック図
【図７】第２の従来例における投影された画像の形状を示す図
【図８】本発明の実施の形態１による映像投影装置のハードウエア構成を示す図
【図９】本発明の実施の形態１による映像投影装置のブロック図
【図１０】本発明の実施の形態１による映像補正手段の詳細な構成を示す図
【図１１】本発明の実施の形態１におけるテスト画像の構成を示す図
【図１２】本発明の実施の形態１におけるテーブルの構成を示す図
【図１３】本発明の実施の形態１における画像フレームの座標系の説明図
【図１４】本発明の実施の形態１における補正テーブルThのテーブル要素の構成を示す図
【図１５】本発明の実施の形態１におけるテーブルT0, T1, T2のテーブル要素の構成を示す図
【図１６】本発明の実施の形態１における動作原理の説明図
【図１７】本発明の実施の形態1における全体のフローチャート
【図１８】本発明の実施の形態1におけるテスト画像の投影と抽出処理のフローチャート
【図１９】本発明の実施の形態1における特徴点のラベリング処理のフローチャート
【図２０】本発明の実施の形態1における投影指定領域の決定処理のフローチャート
【図２１】本発明の実施の形態1における補正テーブル生成処理のフローチャート
【図２２】本発明の実施の形態1におけるテーブルT0生成処理のフローチャート
【図２３】本発明の実施の形態1におけるテーブルT1生成処理のフローチャート
【図２４】本発明の実施の形態1におけるテーブルT2生成処理のフローチャート
【図２５】本発明の実施の形態1における補正テーブルTh生成処理のフローチャート
【図２６】本発明の実施の形態1における画像の補正処理のフローチャート
【図２７】本発明の実施の形態1における画素値計算処理のフローチャート
【図２８】本発明の実施の形態1における、歪んだテスト画像の投射映像の撮影画像Z1の説明図
【図２９】本発明の実施の形態1における、特徴点画像Z10の説明図
【図３０】本発明の実施の形態1における投影指定領域の決定処理の説明図
【図３１】本発明の実施の形態1における画像フレームＣ０の説明図
【図３２】本発明の実施の形態1におけるテーブルT0生成処理の説明図
【図３３】本発明の実施の形態１におけるテーブルT0生成処理の説明図
【図３４】本発明の実施の形態１におけるテーブルT1生成処理の説明図
【図３５】本発明の実施の形態１におけるテーブルT1生成処理の説明図
【図３６】本発明の実施の形態１におけるテーブルT2生成処理の説明図
【図３７】本発明の実施の形態１におけるテーブルTh生成処理の説明図
【図３８】本発明の実施の形態１における第２のテスト画像の投影と抽出処理のフローチャート
【図３９】本発明の実施の形態１における第３のテスト画像の投影と抽出処理のフローチャート
【図４０】本発明の実施の形態１における第４のテスト画像の投影と抽出処理のフローチャート
【図４１】本発明の実施の形態２における映像投影装置の装置構成を示す図
【図４２】本発明の実施の形態２における全体のフローチャート
【図４３】本発明の実施の形態２における投影指定領域の決定処理のフローチャート
【図４４】本発明の実施の形態２における投影指定領域の決定処理の説明図
【図４５】本発明の実施の形態３における映像投影装置の装置構成を示す図
【図４６】本発明の実施の形態３における映像投影装置のブロック図
【図４７】本発明の実施の形態３における全体のフローチャート
【図４８】本発明の実施の形態３におけるスクリーン形状の抽出処理のフローチャート
【図４９】本発明の実施の形態３における投影指定領域の決定処理のフローチャート
【図５０】本発明の実施の形態３における投影指定領域の決定処理の説明図
【図５１】本発明の実施の形態３における第２の投影指定領域の決定処理のフローチャート
【図５２】本発明の実施の形態３における第２の投影指定領域の決定処理で使用する入力手段の画面構成を示す図
【図５３】本発明の実施の形態３における第３の投影指定領域の決定処理のフローチャート
【図５４】本発明の実施の形態３における第３の投影指定領域の決定処理で使用する入力手段の画面構成を示す図
【図５５】本発明の実施の形態３におけるスクリーンと各視点位置とカメラの位置関係の説明図
【図５６】本発明の実施の形態３における各視点位置と投影指定領域の形状の関係を示す図
【図５７】本発明の実施の形態４における映像投影装置の装置構成を示す図
【図５８】本発明の実施の形態４における全体のフローチャート
【図５９】本発明の実施の形態４におけるテスト画像の投影処理のフローチャート
【図６０】本発明の実施の形態４におけるテスト画像の抽出処理のフローチャート
【図６１】本発明の実施の形態４におけるテスト画像と補正画像の投影処理のフローチャート
【符号の説明】
１ スクリーン
２ プロジェクタ
３ 投射映像
４ カメラ
５ 映像ソース
６ 映像補正装置
７ 観察者の視線位置
８ スクリーンの法線
９ カメラの光軸
１０ 仮の投影指定領域
１１ 投影指定領域
１０１ スクリーン
１０２ テスト画像
１０３ パターン発生回路
１０４ Ｄ／Ａ変換回路
１０５ プロジェクタ
１０６ カメラ
１０７ 切替スイッチ
１０８ Ａ／Ｄ変換回路
１０９ パターン抽出回路
１１０ ＣＰＵ
１１１ メモリ
１１２ 切替スイッチ
１１３ 歪み補正回路
２０１ 投影手段
２０２ 射影変換手段
２０３ 連続画像変換手段
２０４ スクリーン
２０５ 投影変換を行なわずに投射した画像
２０６ 投影変換を行なった後に投射した画像、
２０７ 画像の重なり部分
３０１ キーボード
３０２ マウス
３０３ 記憶媒体
３０４ 主記憶装置
３０５ 中央処理装置
３０６ 映像入力メモリ
３０７ 映像出力メモリ
３０８ バス
４０１ 入力フレームメモリ
４０２ 出力フレームメモリ
４０３ アドレス発生手段
４０４ アドレス変換手段
４０５ 重み決定手段
４０６ 画素補間手段
４０７ マスク処理判定手段
４０８ マスク処理手段
５０１ テスト画像
５０２ 画像フレームＢ上のテスト画像
５０３ 画像フレームＣ１上のテスト画像
５０４ 画像フレームＣ０上に得られるべき理想のテスト画像
５０５ 画像フレームＳ上の補正処理前のテスト画像
５０６ 画像フレームＢ上の補正処理後のテスト画像
５０７ 画像フレームＣ２上の投射したテスト画像
６０１ スクリーン領域を示す図形
６０２ テスト領域を示す図形
６０３ 投影指定領域を示す図形
６０４ マウスカーソル
７０１ テスト画像生成手段
７０２ 映像投影手段
７０３ 撮影手段
７０４ テスト画像抽出手段
７０５ 歪量計算手段
７０６ 補正データ生成手段
７０７ 補正データ記憶手段
７０８ 映像入力手段
７０９ 映像補正手段
７１０ スクリーン抽出手段
７１１ 入力手段

Claims (5)

1. テスト画像を生成するテスト画像生成手段と、
   画像をスクリーンに投影する映像投影手段と、
   投影されたテスト画像の投射映像を撮影し、撮影画像として出力する撮影手段と、
   生成した前記テスト画像と前記撮影画像とを比較して、投射映像の歪量を算出する歪量計算手段と、
   前記歪量から画像を歪みなく投影できるよう、画像に事前に逆の歪みを与える補正データを生成する補正データ生成手段と、
   前記補正データを保持しておく補正データ記憶手段と、
   視点、映像投影手段、撮影手段、及びスクリーンの各位置と各向き、スクリーン形状、及び補正処理後の画像を投影したいスクリーン上の領域である投影指定領域のうち少なくとも１つを設置条件として入力する入力手段とを備え、
   前記歪量補正手段は、前記入力手段の設置条件をも加味して、投射映像の歪量を算出し、
   前記入力手段は、スクリーンを表す図形とテスト画像の投射映像を表す図形とを重ねて表示した画面においてユーザが投影指定領域を指定する、
   ことを特徴とする映像投影装置。
2. 請求項１記載の映像投影装置において、
   前記映像投影手段は、映像補正手段で補正処理をした画像をスクリーンに投影するとともに、テスト画像生成手段のテスト画像を可視光域以外のある波長域でスクリーンに投影し、
   前記撮影手段は、投影されたテスト画像の投射映像を、前記波長域で撮影する、
   ことを特徴とする映像投影装置。
3. テスト画像を生成するテスト画像生成工程と、
   画像をスクリーンに投影する映像投影工程と、
   投影されたテスト画像の投射映像を撮影し、撮影画像として出力する撮影工程と、
   生成した前記テスト画像と、前記撮影画像とを比較して、投射映像の歪量を算出する歪量計算工程と、
   前記歪量から画像を歪みなく投影できるよう、画像に事前に逆の歪みを与える補正データを生成する補正データ生成工程と、
   前記補正データを保持しておく補正データ記憶工程と、
   視点、映像投影手段、撮影手段、及びスクリーンの各位置と各向き、スクリーン形状、及び補正処理後の画像を投影したいスクリーン上の領域である投影指定領域のうち少なくとも１つを、設置条件として入力する入力工程とを含み、
   前記歪量補正工程は、前記入力工程の設置条件をも加味して、投射映像の歪量を算出し、
   前記入力工程は、スクリーンを表す図形と、テスト画像の投射映像を表す図形とを重ねて表示した画面において、ユーザが投影指定領域を指定する、
   ことを特徴とする映像投影方法。
4. 請求項３記載の映像投影方法において、
   前記映像投影工程は、映像補正工程で補正処理をした画像をスクリーンに投影するとともに、テスト画像生成工程で生成したテスト画像を可視光域以外のある波長域でスクリーンに投影し、
   前記撮影工程は、投影されたテスト画像の投射映像を前記波長域で撮影する、
   ことを特徴とする映像投影方法。
5. コンピュータに実行させる手順として、
   テスト画像を生成するテスト画像生成手順と、
   スクリーンに投影したテスト画像の投射映像を撮影した撮影画像と、生成した前記テスト画像とを比較し、投射映像の歪量を算出する歪量計算手順と、
   前記歪量から画像を歪みなく投影するために画像に事前に逆の歪みを与える補正データを生成する補正データ生成手順と、
   前記補正データを保持する補正データ記憶手順とを含み、
   入力手順により、視点、映像投影手段、撮影手段、及びスクリーンの各位置と各向き、スクリーン形状、及び補正処理後の画像を投影したいスクリーン上の領域である投影指定領域のうち少なくとも１つを、設置条件として入力し、
   前記歪量補正手順は、前記設置条件をも加味して投射映像の歪量を算出し、
   前記入力手順は、スクリーンを表す図形と、テスト画像の投射映像を表す図形とを重ねて表示した画面において、ユーザが投影指定領域を指定する、
   ことを特徴とする映像投影プログラムを記録した記録媒体。

Images