JP5590668B2 - プロジェクタ装置、映像信号補正装置、映像信号補正方法及びプログラム - Google Patents

Description

本発明は、映像を投影するプロジェクタ装置、及びそのプロジェクタ装置に供給する映像信号を補正する映像信号補正装置及び映像信号補正方法、並びに映像信号補正方法を実行するプログラムに関する。

映像をスクリーンなどに投影するプロジェクタ装置は、高性能化や小型化などの進展により、会議用、ホームシアター用、娯楽用などとして、利用されるケースが増大している。
特に、スクリーンや壁などの任意の場所に、その投影位置の前面側から投影させる、いわゆるフロントプロジェクタ装置は、そのプロジェクタ装置を用意すれば、投影用スクリーン以外であっても、ユーザが所望の任意の位置に映像を投影できるため、今後も普及が見込まれている。

プロジェクタ装置がスクリーンなどに投影する映像の輝度を補正する技術として、特許文献１に記載のものが提案されている。
図１５は、この特許文献１に記載のプロジェクタ装置の輝度補正処理構成を示したブロック図である。図１５に従って説明すると、映像信号源３０から供給された映像信号をプロジェクタ装置１０に入力させ、そのプロジェクタ装置１０内の信号処理部２０に供給する。信号処理部２０内では、入力映像信号を輝度変換部２１に供給し、入力した映像信号から輝度データを得る。輝度変換部２１で得られた輝度データは、輝度過不足分補正部２２に供給する。輝度過不足分補正部２２では、スクリーンの応答特性を記憶したルックアップテーブル（ＬＵＴ）２３に記憶された応答特性のデータを使用して、輝度の補正処理を行う。
輝度過不足分補正部２２で補正された輝度データは、映像信号変換部２４で表示用の映像信号に変換し、変換された映像信号を映像投影部１２に供給して、スクリーン４０に対して投影させる。

スクリーン４０に投影した映像は、投影面輝度計測部１３で、画面上の輝度が計測される。その計測された輝度値は、プロジェクタ装置１０内の輝度むら算出部１１に供給され、輝度むらが算出される。この計測された輝度むらに基づいて、ルックアップテーブル２３に記憶させる応答特性が設定される。

この図１５に記載の構成によると、例えばスクリーン４０上の映像に、スクリーンの不良などによる輝度むらがある場合に、その輝度むらが補正されて、良好な映像が表示されるようになる。

特開２００４−３０４４７９号公報

図１５に示した特許文献１の技術は、ルックアップテーブルに一度設定した応答関数で、投影中の補正を行うものであり、スクリーンが定常的に持つ輝度むらの補正は可能である。しかしながら、この従来技術では、画面の輝度むらを補正するものであり、例えば縞模様のあるスクリーンに投影したときの補正は困難である。また、例えばスクリーンの前を人が横切った場合のようや、スクリーンの前に何らかの障害物（人）がある場合の補正のような、動的な補正も困難である。
さらに、プロジェクタ装置そのものが、固定されていない状況で投影させた場合での補正も困難である。

本発明の目的は、例えば本発明の目的は、例えばプロジェクタ装置を用いて撮像面に映像を投影する際に、投影面の反射特性や投影面の動的な変化に対応できるような映像補正をして、どのような投影面であっても良好な画像を提供できるようにすることにある。

本発明は、入力又は生成した映像信号をプロジェクタ装置から投影する際の投影状態に応じて補正するものである。
その補正のための処理構成としては、投影された映像を撮像して得られた撮像映像の画素ごとの各色成分の輝度値を計測する投影面輝度計測部と、全画素の輝度値が同一となる基準となる映像を投影させた際の投影面輝度計測部で計測された画素ごとの各色成分の輝度に基づいて、映像中の基準点の輝度に対する画素ごとの輝度の変化率を示す配光マップを算出し、１フレーム毎に更新する配光特性算出部と、入力又は生成した映像信号の１フレーム目の各画素の輝度値及び配光マップに基づいて基準応答関数を算出する基準応答関数算出部と、更新された配光マップと基準応答関数に基づいて各画素ごとの応答関数を算出する応答関数算出部とを備える。
そして、入力又は生成した映像信号の画素ごとの各色成分の輝度値を、応答関数及び配光マップを利用して補正し、補正された映像信号を得、その補正された映像信号による映像を投影させる。
この場合、１フレーム目以降の映像を投影する際に、投影面輝度計測部で計測されたリアルタイムの輝度値と、応答関数によって補正処理部で補正された映像の輝度値との差を検出し、配光マップを更新するようにした。

本発明によると、投影映像のごとの各色成分の輝度値から応答関数を求めると共に、基準点からの輝度の変化率を示す配光マップを使用して、画素毎のリアルタイムでの各色ごとの補正を行うようにしたので、例えば縞模様のあるスクリーンなどの、一面が白色でないスクリーンに投影させても、良好な映像を表示できるようになる。
また、リアルタイムに適切な補正が行われるので、例えば映像を投影しているスクリーンの前を人などが横切ることがあっても、その影響を極力排除した映像の投影が行える。

本発明の一実施の形態によるプロジェクタ装置の構成例を示すブロック図である。 本発明の一実施の形態による投影処理例を示すフローチャートである。 本発明の一実施の形態による投影面輝度の計測状態の例を示す説明図である。 本発明の一実施の形態による測定輝度の例を示す説明図である。 本発明の一実施の形態による配光特性算出処理例を示す説明図である。 本発明の一実施の形態による基準応答特性算出処理例（１）を示す説明図である。 本発明の一実施の形態による基準応答特性算出処理例（２）を示す説明図である。 本発明の一実施の形態による応答特性の例を示す説明図である。 本発明の一実施の形態による投影画像の例を示す説明図である。 図９例の画像を各色ごとに分解して示す説明図である。 図９例の画像の場合の応答関数の例を示す特性図である。 本発明の他の実施の形態による構成例（プロジェクタ装置と補正装置が別体の例）を示すブロック図である。 本発明のさらに他の実施の形態による構成例（プロジェクタ装置と補正装置とカメラ装置が別体の例）を示すブロック図である。 本発明のさらに他の実施の形態による構成例（手振れ補正を行う例）を示すブロック図である。 従来の輝度補正を行うプロジェクタ装置の構成例を示すブロック図である。

本発明の実施の形態を、以下の順序で説明する。
１．一実施の形態の全体構成例の説明（図１）
２．一実施の形態の全体の処理例の説明（図２）
３．一実施の形態の投射面輝度計測処理例の説明（図３，図４）
４．一実施の形態の配光特性算出処理例の説明（図５）
５．一実施の形態の基準応答特性算出処理例の説明（図６−図８）
６．一実施の形態の例の具体的処理例の説明（図９−図１１）
７．他の実施の形態の例（プロジェクタ装置と補正装置が別体の例）の説明（図１２，図１３）
８．他の実施の形態の例（手振れ補正を行う例）の説明（図１４）
９．その他の変形例

［１．一実施の形態の全体構成例の説明］
図１を参照して、一実施の形態の装置の全体構成例について説明する。
図１に示すように映像信号源１０１からプロジェクタ装置１００に映像信号が供給され、この映像信号による映像を、プロジェクタ装置１００でスクリーン１０２に投影させるものである。プロジェクタ装置１００は、スクリーン１０２の前面に配置する、いわゆるフロント型のプロジェクタ装置である。
なお、スクリーン１０２は、映像投影用として構成された専用のスクリーンを使用する場合と、部屋の壁面などの任意の位置をスクリーンとして使用する場合とのいずれでもよく、以下の説明でスクリーンと述べた場合には、単に投影面のことを示し、必ずしもプロジェクタ専用のスクリーンが配置されているとは限らない。

映像信号源１０１は、例えばディスクやメモリなどの媒体から映像信号を再生する再生装置、放送波の受信や各種伝送系を経由したダウンロードなどで映像信号を取得する受信装置、情報処理に応じて映像信号を生成させるコンピュータ装置などの、映像信号を得る各種装置が適用可能である。また、図１の例では、映像信号源１０１をプロジェクタ装置１００と別体とした構成としてあるが、プロジェクタ装置１００が映像信号源を備えて、プロジェクタ装置内で映像信号を生成させてもよい。

映像信号源１０１が出力した映像信号は、プロジェクタ装置１００の信号処理部１１０に入力させる。信号処理部１１０は、輝度変換部１１１と、輝度補正処理部１１２と、映像変換部１１３とを備える。
輝度変換部１１１は、入力した映像信号の輝度成分を、補正できるデータに変換する。具体的には、例えば１フレームの映像信号について、その１フレーム内のそれぞれの画素ごとに、赤色信号の輝度値と緑色信号の輝度値と青色信号の輝度値のデータとする。

輝度変換部１１１で得られた各画素の各色ごとの輝度値のデータは、輝度補正処理部１１２に供給する。輝度補正処理部１１２では、後述する配光特性算出部１４０から供給される配光マップのデータと、基準応答特性算出部１５０から供給される基準応答関数のデータとを利用して、各画素の各色の輝度値を補正する処理を行う。補正処理の詳細については後述するが、スクリーン１０２上で正しく映像が表示されるようにするための補正である。
補正された各画素の各色の輝度値は、映像変換部１１３に供給して、投影用の所定の方式の映像信号に変換し、変換された映像信号を、信号処理部１１０の出力として映像投影部１２０に供給する。

映像投影部１２０は、プロジェクタ装置が備える一般的な投影処理構成部であり、例えば入力した映像信号により、光源からの光を変調して、投影光を生成させ、その生成された投影光を投射光学系でスクリーン１０２に投影させる。光源からの光の変調手段としては、例えば光源からの光を透過させる液晶画像表示パネルなどが使用される。あるいはその他の方式の投影処理構成を適用してもよい。なお、映像投影部１２０は、初期モードの際に全面が白色の白色映像をスクリーン１０２に投影させることができる構成としてある。

また、プロジェクタ装置１００は、投影面輝度計測部１３０を備える。投影面輝度計測部１３０は、カメラなどによりスクリーン１０２に投影された映像を撮像して、投影面の各色成分の輝度を、投影映像の画素ごとに計測する。計測されたデータは、配光特性算出部１４０及び基準応答特性算出部１５０に供給する。

配光特性算出部１４０は、投影面輝度計測部１３０で計測された画素ごとの各色成分の輝度値に基づいて、映像中の基準点の輝度に対する輝度の変化率を示す変化特性の図表である配光マップを算出して、配光マップ記憶部１４１が記憶する。
基準応答特性算出部１５０は、投影面輝度計測部１３０で計測された画素ごとの各色成分の輝度値を、配光マップ記憶部１４１が記憶した配光マップを用いて正規化して、応答関数を算出する。特に、初期状態で得た応答関数を、基準応答関数として基準応答関数記憶部１５１が記憶する。

そして、配光マップ記憶部１４１に記憶された配光マップと、基準応答関数記憶部１５１に記憶された応答関数とを、信号処理部１１０の輝度補正処理部１１２に供給し、各データを利用して補正処理を行う。

［２．一実施の形態の全体の処理例の説明］
次に、図２のフローチャートを参照して、一実施の形態のプロジェクタ装置１００内での処理状態の例について説明する。
まず、初期状態の処理として、映像内の全面（つまり全画素）が白色の白色映像を映像投影部１２０からスクリーン１０２に投影させる（ステップＳ１１）。ここでの白色映像は、輝度値が最大の１００％白映像とする。あるいは、全画素値が同一となる単色映像であり、各画素間の輝度比が算出可能であれば、１００％白映像以外の基準となる映像でもよい。
この状態で、投影面輝度計測部１３０で投影された白色映像の計測を行い、配光特性算出部１４０で、配光特性の傾向を示すデータである配光マップを算出する（ステップＳ１２）。そして、映像信号源１０１から入力した映像信号による映像の１フレーム目の投影を開始させ（ステップＳ１３）、基準応答特性算出部１５０で基準応答関数を算出する（ステップＳ１４）。ステップＳ１３での１フレーム目の投影映像は、信号処理部１１０で補正処理が行われていない映像である。

以後は、配光マップの算出（ステップＳ１５）と、応答特性の算出（ステップＳ１６）とを行い、その算出された配光マップ及び応答特性を使用して映像補正を行い（ステップＳ１７）、補正された映像を映像投影部１２０から投影させる（ステップＳ１８）。その上で、投影中の映像を投影面輝度計測部１３０で計測し、ステップＳ１５の配光特性算出に戻り、１フレームの映像が投影されるごとに、ステップＳ１５からステップＳ１８の処理が繰り返される。ステップＳ１５からステップＳ１７までの処理は、次のフレームの映像が投影されるまでの１フレーム期間内で行う。このように１フレーム期間内で行うことで、１フレーム前の投影状態を反映した補正が、現在の映像信号に対して行われ、リアルタイムで逐次補正処理が行われる。

［３．一実施の形態の投射面輝度計測処理例の説明］
次に、図３及び図４を参照して、投影面輝度計測部１３０での輝度計測処理の詳細について説明する。
本実施の形態においては、図３に示すように、投影面輝度計測部１３０を構成するカメラが備えるレンズ１３１で、スクリーン１０２上の投影映像を撮像するように設定する。投影面輝度計測部１３０を構成するカメラ内には撮像素子１３２を備え、その撮像素子１３２で投影映像を撮像する。撮像信号は、補正用の画素単位の信号として、その画素単位の各色の輝度値を計測して出力する。

図４は、投影面輝度計測部１３０で計測される輝度値の例を示したものである。この図４の例は、ある特定の１つの色（例えば赤色）の輝度値を示し、説明を簡単にするために１フレームを７×７の４９画素で示してあり、１画素を８ビットの階調（即ち０から２５５の値）で示してある。これらの画素数や階調数、及び図上の輝度値はあくまでも原理を説明するための一例である。図４で空欄になっている画素についても、輝度値が計測される。本実施の形態の例の場合は、中央の画素を基準点ｘとしてある。

［４．一実施の形態の配光特性算出処理例の説明］
次に、図５を参照して、図４に示すように計測された輝度値から、配光特性算出部１４０で配光特性である配光マップを得る処理について説明する。
図５の左側に示した画素ごとの輝度値については、図４に示した計測された輝度値である。そして、配光特性算出部１４０では、中央の基準点ｘの輝度値を１．０とし、その基準点との輝度の比（つまり配光特性）を算出して、その比の値を、図５の右側に示すように各画素に設定する。この図５の右側に示した比の値を各画素で示したものを、配光マップと称し、配光マップ記憶部１４１に記憶させる。なお、図４の例では、中央の画素を基準点（基準画素）としたが、中央以外の特定位置の画素を基準点としてもよい。

［５．一実施の形態の基準応答特性算出処理例の説明］
次に、基準応答特性算出部１５０での応答関数を算出する処理例について、図６〜図８を参照して説明する。
まず、図６に示すように、入力映像信号の１フレーム目の映像を、そのまま補正をせずに映像投影部１２０から投影させる。図６（ａ）は、その投影させる映像信号の３つの画素位置の１つの色の輝度値を示す。ここでは、入力映像信号で示される輝度値として、中央の基準点ｘの輝度値１００と、画素Ａの輝度値８０と、画素Ｂの輝度値１２０とを得たとする（実際には全ての画素の輝度値を得る）。

そして、実際に投影させた映像から投影面輝度計測部１３０で計測し、配光特性算出部１４０で得た配光マップで補正した輝度値として、図６（ｂ）に示すものが検出されたとする。この図６（ｂ）に示す輝度値は、基準点ｘが輝度値１０となり、画素Ａの値が輝度値６となり、画素Ｂの値が輝度値１８となった例としてある。従って、図６（ｃ）に示した入力と出力の関係が得られる。

次に、図７（ａ）に示すように、各画素位置の計測値に、配光マップ上の同じ画素位置の値を乗算し、入出力関係を基準点での入出力関係に置き換える処理を行う。
即ち、図７（ａ）の左端に示すように、投影面輝度計測部１３０で計測された各画素の計測値（観測値）に、図７（ａ）の中央に示す配光マップ上の各画素の特性値を乗算して、図７（ａ）の右端に示すように、各画素の輝度値を基準点ｘでの出力値で正規化した結果を得る。

即ち、図７（ｂ）の左側に示した正規化前の入出力関係（図６（ｃ）と同じ）が、図７（ｂ）の右側に示した正規化後の入出力関係に変換される。
このようにして、１つの映像投影結果より、基準点における全画素分の大量の入出力関係が得られる。その得られた大量の入出力関係を、最小二乗化により、応答関数を算出する。

図８は、最小二乗法により応答関数を算出（推定）する状態を示したものである。この図８に示すように、入力画素値を横軸とし、測定画素値を縦軸として、それらの値から応答関数ＦＸを得る。

このようにして算出された応答関数を使用して、入力映像信号の補正を信号処理部１１０内の輝度補正部１１２で行う。即ち、輝度補正部１１２では、輝度変換部１１１から供給される、画素ごとの本来表示すべき輝度値αを得る。
その上で、基準応答特性算出部１５０から供給される基準応答関数及び配光特性算出部１４０から供給される配光マップより、映像信号をそのままスクリーン１０２に投影させた際に得られると予測される輝度情報βを画素毎に求める。
そして、輝度補正量（α）−（β）を、「基準応答関数」及び「配光マップ」を用いて補正する。この各画素での補正は、映像信号の色成分ごとに個別に行われる。このようにして補正が行われることで、スクリーン１０２の状態がどのような状態であっても、全面白のスクリーンに投影した場合と同様に見える投影が行える。

ここで、応答関数の推定について、より詳しく説明する。
まず、基準応答関数と配光マップから、各画素毎の応答関数を算出する処理は、次の（式１）で示される。
Ｏ（ｓ，ｔ）＝Ｈ（ｉ）×Ｍａｐ（ｓ，ｔ）・・・（式１）

（式１）中の各値の定義は、以下の通りである。
ｓ，ｔ：画素の２次元座標
ｉ：画素（ｓ，ｔ）に対する入力信号
Ｏ（ｓ，ｔ）：画素（ｓ，ｔ）で予想される出力輝度
Ｈ（ｉ）：基準応答関数
Ｍａｐ（ｓ，ｔ）：配光マップの値

ここで、（式１）中の基準応答関数Ｈ（ｉ）は、一般的に指数関数で近似され、Ｍａｐ（ｓ，ｔ）は定数であることから、逆関数Ｈ^‐１が存在し、（式２）及び（式３）に示すように、簡単に求める事が可能である。基準応答関数と同時に、最小二乗法による算出も可能である。
Ｏ（ｓ，ｔ）／Ｍａｐ（ｓ，ｔ）＝Ｈ（ｉ）・・・（式２）
ｉ＝Ｈ^‐１（Ｏ（ｓ，ｔ）／Ｍａｐ（ｓ，ｔ））・・・（式３）

信号処理部１１０の輝度変換部１１１にて求めた理想的な出力輝度をＯ’（ｓ，ｔ）とすると、このＯ’（ｓ，ｔ）を実現するために必要な入力信号ｉ’は（式３）より、
ｉ’＝Ｈ^‐１（Ｏ’（ｓ，ｔ）／Ｍａｐ（ｓ，ｔ））・・・（式４）
として求める事ができる。
（式４）の補正後信号ｉ’が、入力信号ｉに対する補正後の信号値となる。この演算処理が、図２のフローチャートに示した映像補正処理時に実行される。

本実施の形態での応答関数の推定処理による補正は、次のように考えることができる。
プロジェクタ装置によってスクリーンに投影された映像の明るさ（輝度）は、投影面上の座標（ｓ，ｔ）と画素値ｉにおいて、（式５）ように表現される。
輝度（ｓ，ｔ，ｉ）＝応答関数Ｆ（ｉ）×配光特性Ｌ（ｓ，ｔ）・・・（式５）

そして、本実施の形態では、まず映像投影を行う最初の１フレーム目の画像として、全面白の映像を投影し、そのときの投影面からの反射光を、投影面輝度計測部１３０を構成するカメラによって撮影する。この処理は、同一の明るさの光に対する投影面の応答を調べることとなり、（式５）中の配光特性とに相当する。

次に、出力対象映像をプロジェクタから出力し、その投影結果を同じくカメラによって撮影する。このとき，各画素毎における「入力値」と「出力（観測）値」の関係を得ることができるが，これはスクリーンの応答特性が各画素毎に異なっているため、全ての関係を同一に扱うことができない。すなわち、各画素で得られた応答から、スクリーン全体の応答特性を求めることができない。そこで本実施の形態では、１フレーム目に獲得した配光特性を利用し、各画素間の応答を正規化し、同じ次元で扱えるように補正を行う。これにより、投影面に対して大量の応答情報が得られるため、画素位置に依存しないプロジェクタと投影面間の応答関数を推定することが可能になる。

以上から、（式５）に示した各要素が得られることになる。投影映像の内容に応じて実現したい輝度が定まるため、それに必要な入力画素値ｉを、（式５）より求めることが可能になる。

そして、ここで推定した応答関数は、現実的には推定誤差などを含む場合があり、それによって補正結果画像が安定しない場合がある。具体的には、スクリーン上の映像を見る観察者に対して違和感を与える場合が考えられる。そこで、推定した応答関数によって補正された映像と、投影画像の理想的な輝度差を観測し、その誤差が最小になるように応答関数の補正処理を行うものである。

［６．一実施の形態の例の具体的処理例の説明］
次に、図９〜図１１を参照して、具体的な処理状態の概要について説明する。
まず、図９に示すような、全面白の背景中に、赤い丸の模様ｙが配置されたスクリーンを使用して投影する場合を想定する。この映像の中央の基準点ｘは、白色の箇所である。

この図９のスクリーンを撮像して得た映像信号を、３原色信号成分に分解して示したのが、図１０である。
図１０（ａ）は、赤色信号（Ｒ）の輝度を示したものである。赤色成分は、この図１０（ａ）に示すように、全ての画素が同じ輝度レベルである。
図１０（ｂ）は、緑色信号（Ｇ）の輝度を示したものであり、図１０（ｃ）は、青色信号（Ｂ）の輝度を示したものである。緑色成分と青色成分は、白色の画素が高い輝度値となり、丸い模様ｙの部分の画素は、低い輝度値となる。

このような映像状態である場合に、基準点ｘでの各色の基準応答関数は、図１１（ａ）に示す状態となり、赤い模様ｙの部分での各色の応答関数は、図１１（ｂ）に示すようになる。図１１の各グラフは、横軸が入力信号で縦軸が出力輝度値である。
この図１１に示すように、赤い模様ｙ上の各色の信号を出力する場合、色ごとに目標輝度が定まる。
その“目標輝度”を実現するための入力補正値は、図１１（ｂ）に示した各画素毎の応答関数よりわかる。
この赤い模様ｙの範囲の応答関数より、赤色信号Ｒと比べて緑色信号Ｇ及青色信号Ｂは、より大きな入力値を必要とする傾向となる。つまり、赤い模様ｙの範囲内の画素については、補正後の緑色信号Ｇ及青色信号Ｂは、元々の値よりも大きな値となる補正が行われる。
従って、例えばこの図９の赤い模様があるスクリーンに、映像を投影させたとき、赤い模様を隠すような補正が行われて投影が行われることになり、実質的に全面白のスクリーンに投影させた場合とほぼ同様の映像投影が行える。しかも、リアルタイム補正であるので、例えば赤い模様の位置が時間で変化するような場合でも、追随して補正されることになる。但し、図２のフローチャートから判るように、スクリーン上の観測結果の反映は、原理的に１フレームだけ遅れるので、１フレームだけずれで補正されることになるが、実用上はスクリーン状態の変化に追随した補正が行える。従って、例えばスクリーンそのものは全面白であっても、そのスクリーンの前を赤い服を着た人が横切るようなことがあっても、その赤い服の色を消すような補正がされることになり、良好な投影が行える。

以上説明した本実施の形態の輝度補正処理がリアルタイムで行われることで、プロジェクタ装置１００を使用して、プロジェクタ用スクリーン以外の場所への映像投影が可能になる。従って、映像投影用のスクリーンを用意する必要がなくなる。また、室内の壁面を利用して、簡易なホームシアターを実現可能できる。
また、十分な投影光量または適度な暗室状態があれば、どのような場所であってもプロジェクタ装置による情報提示が可能となる。例えば、イベント会場や自動車内でのインフォメーション提示等が簡単に行える。
また、例えば全周囲に映像を投影するような、ＶＲ（バーチャルリアリティ）装置やシミュレータ、トレーニング装置などを、専用のスクリーンを用意することなく、簡易に構築可能となる。
さらに、様々な場所を広告用ディスプレイとして利用可能となる。

また、小型化したプロジェクタ装置に本実施の形態の構成を組み込むことで、プロジェクタ装置の利用促進につながる。即ち、机の上等、場所を選ばずに映像投影ができるため、現状では、スクリーンを用意しないと使用し難い携帯用の小型のプロジェクタ装置の利用を促進することができる。
また、電車内などでも、膝の上や鞄の後ろに映像投影することで映像コンテンツを視聴可能となる効果を有する。

また、本実施の形態のプロジェクタ装置を利用することで、壁面の模様を利用したアート表現が可能となる。即ち、投影面に存在する実物体を輝度補正によって消失させることによるアート表現が可能となる。

［７．他の実施の形態の例（プロジェクタ装置と補正装置が別体の例）の説明］
なお、図１の構成では、プロジェクタ装置に補正処理部を内蔵させた構成としたが、プロジェクタ装置とは別の補正装置で補正処理を行う構成としてもよい。
図１２は、この場合の構成例を示したものである。この図１２の例では、映像信号源１０１が出力する映像信号を、映像信号補正装置３００に供給し、その映像信号補正装置３００で補正した映像信号を、プロジェクタ装置２００に供給して、スクリーン１０２に投影させる。プロジェクタ装置２００は、既存のプロジェクタ装置が使用可能である。

映像信号補正装置３００は、図１に示したプロジェクタ装置１００の補正のための構成と同じである。即ち、映像信号源１０１からの映像信号を信号処理部３１０に入力させる。信号処理部３１０は、輝度変換部３１１と、輝度補正処理部３１２と、映像変換部３１３とを備える。
輝度変換部３１１は、入力した映像信号の輝度成分を、補正できるデータに変換する。具体的には、例えば１フレームの映像信号について、その１フレーム内のそれぞれの画素ごとに、赤色信号の輝度値と緑色信号の輝度値と青色信号の輝度値のデータとする。

輝度変換部３１１で得られた各画素の各色ごとの輝度値のデータは、輝度補正処理部３１２に供給する。輝度補正処理部３１２では、配光特性算出部３４０から供給される配光マップのデータと、基準応答特性算出部３５０から供給される基準応答関数のデータとを利用して、各画素の各色の輝度値を補正する処理を行う。配光特性算出部３４０は、配光マップ記憶部３４１を備え、基準応答特性算出部３５０は、基準応答関数記憶部３５１を備える。
補正された各画素の各色の輝度値は、映像変換部３１３に供給して、投影用の所定の方式の映像信号に変換し、変換された映像信号を、プロジェクタ装置２００内の映像投影部２０１に供給する。

また、映像信号補正装置３００は、投影面輝度計測部３３０を備え、投影面輝度の計測を行い、計測結果を配光特性算出部３４０と基準応答特性算出部３５０に供給する。
これらの各部での処理は、既に説明した図１例のプロジェクタ装置１００での処理と同じである。
この図１２に示すように、別体の補正装置を設けることで、既存のプロジェクタ装置で投影させる場合にも適用が可能となる。

図１３の例は、さらに映像信号補正装置から投影面輝度計測のための構成を分けた例である。
即ち、図１３に示した映像信号補正装置３００′は、図１２に示した映像信号補正装置３００から投影面輝度計測部３３０を除いた構成としてあり、その他の構成は映像信号補正装置３００と同じである。そして、映像信号補正装置３００′とは別に、カメラ装置４００を用意し、そのカメラ装置４００が備える投影面輝度計測部４０１で、投影面を撮影してその投影面の輝度を計測する。計測した輝度の値は、映像信号補正装置３００′内の配光特性算出部３４０及び基準応答特性算出部３５０に供給する。
このように映像信号補正装置３００′とカメラ装置４００を個別の装置として構成させることで、既存のカメラ装置を適用することができ、よりシステム構成の柔軟性が向上する。特に、カメラ装置４００を他の装置と個別の装置としてあることで、カメラ装置の設置位置に自由度が増し、例えばカメラ装置４００を観察者の位置に近い位置として、より良好な補正を行えるようにすることが可能になる。

なお、図１２及び図１３では、補正装置は専用の装置として構成させてあるが、例えば補正装置はパーソナルコンピュータ装置に補正処理を行うプログラム（ソフトウェア）を実装させて、そのプログラムの実行で同様の補正処理を行うようにしてもよい。

［８．他の実施の形態の例（手振れ補正を行う例）の説明］
図１４の例は、プロジェクタ装置１００′を小型で手持ちできる携帯用に構成した場合の例である。プロジェクタ装置１００′内の基本的な構成は図１で説明した構成であり、その装置１００′の振動状態である手振れ検出部１６１を設けた点が異なる。手振れ検出部１６１は、例えば、角速度センサなどの振動検出手段を使用して、スクリーンに対する垂直方向の動き及び水平方向の動きを検出する。
そして、その手振れ検出部１６１で検出した信号を、画素位置補正部１６２に供給して、補正を行う。図１４の例では、投影面輝度計測部１３０で検出された画素位置を、画素位置補正部１６２で動きに応じて補正してから、配光特性算出部１４０及び基準応答特性算出部１５０に供給する構成としてあるが、その他の位置で補正してもよい。投影用の映像信号そのものの画素位置を補正してもよい。
この図１４に示す構成とすることで、小型のプロジェクタ装置を手持ちで投影させる場合にも、映像補正を正しい位置で同期させて行うことが可能になる。

［９．その他の変形例］
なお、本発明の処理は、以下の各例にも適用可能である。
例えば、映像投影中に環境光が変化した場合（例：照明の点灯，窓の開閉，プロジェクタランプの消耗）にも適用できる。

また、反射率の差の大きな投影面上での補正を行う場合には、複数台のプロジェクタ装置によって重畳投影を行って、補正するようにしてもよい。
即ち、複数（Ｎ台）のプロジェクタ装置の出力を、一つのプロジェクタ装置であるかのように見立てて応答関数を計測し、Ｎ台のプロジェクタ装置により、Ｎ倍のダイナミックレンジをもつプロジェクタとして輝度補正を行う。
このようにすることで、反射率差の大きな模様などに対しても補正可能となる。

また、各実施の形態の例では、プロジェクタ装置は、スクリーンの前面に配置する、いわゆるフロント型のプロジェクタ装置としたが、スクリーンの背面にプロジェクタ装置を配置する、いわゆるリアー型のプロジェクタ装置で投影させる場合にも、同様の構成で補正処理を行うようにしてもよい。

１０…プロジェクタ装置、１１…輝度むら算出部、１２…映像投影部、１３…投影面輝度計測部、２０…信号処理部、２１…輝度変換部、２２…輝度過不足分補正部、２３…ルックアップテーブル、２４…映像信号変換部、３０…映像信号源、４０…スクリーン、１００，１００′…プロジェクタ装置、１０１…映像信号源、１０２…スクリーン、１１０…信号処理部、１１１…輝度変換部、１１２…輝度補正処理部、１１３…映像変換部、１２０…映像投影部、１３０…投影面輝度計測部、１３１…レンズ、１３２…撮像素子、１４０…配光特性算出部、１４１…配光マップ、１５０…基準応答特性算出部、１５１…基準応答関数記憶部、１６１…手振れ検出部、１６２…画素位置補正部、２００…プロジェクタ装置、２０１…映像投影部、３００，３００′…映像信号補正装置、３１０…信号処理部、３１１…輝度変換部、３１２…輝度補正処理部、３１３…映像変換部、３３０…投影面輝度計測部、３４０…配光特性算出部、３４１…配光マップ、３５０…基準応答特性算出部、３５１…基準応答関数記憶部、４００…カメラ装置、４０１…投影面輝度計測部

Claims (6)

1. 入力又は生成した映像信号による映像を投影するプロジェクタ装置であって、
   投影された映像を撮像して得られた撮像映像の画素ごとの各色成分の輝度値を計測する投影面輝度計測部と、
   全画素の輝度値が同一となる基準となる映像を投影させた際の前記投影面輝度計測部で計測された画素ごとの各色成分の輝度に基づいて、映像中の基準点の輝度に対する画素ごとの輝度の変化率を示す配光マップを算出し、１フレーム毎に更新する配光特性算出部と、
   入力又は生成した映像信号の１フレーム目の各画素の輝度値及び前記配光マップに基づいて基準応答関数を算出する基準応答関数算出部と、
   更新された前記配光マップと前記基準応答関数に基づいて各画素ごとの応答関数を算出する応答関数算出部と、
   前記入力又は生成した映像信号の画素ごとの各色成分の輝度値を、前記応答関数及び前記配光マップを利用して補正し、補正された映像信号を得る補正処理部と、
   前記補正処理部で補正された映像信号による映像を投影する投影部と、を備え、
   前記１フレーム目以降の映像を投影する際に、前記投影面輝度計測部で計測されたリアルタイムの輝度値と、前記応答関数によって前記補正処理部で補正された映像の輝度値との差を検出し、前記配光マップを更新するようにしたプロジェクタ装置。
2. 前記基準となる映像は、白色の映像である
   請求項１記載のプロジェクタ装置。
3. 前記投影部で投影される映像のぶれを検出する投影ぶれ検出部を設け、
   前記投影ぶれ検出部で検出した投影ぶれにより、前記補正処理部で補正する画素位置を補正する
   請求項１〜２のいずれか１項に記載のプロジェクタ装置。
4. 入力又は生成した映像信号を投影状態に応じて補正してプロジェクタ装置に供給する映像信号補正装置であって、
   投影された映像を撮像して得られた撮像映像の画素ごとの各色成分の輝度値を計測する投影面輝度計測部と、
   全画素の輝度値が同一となる基準となる映像を投影させた際の前記投影面輝度計測部で計測された画素ごとの各色成分の輝度に基づいて、映像中の基準点の輝度に対する画素ごとの輝度の変化率を示す配光マップを算出し、１フレーム毎に更新する配光特性算出部と、
   入力又は生成した映像信号の１フレーム目の各画素の輝度値及び前記配光マップに基づいて基準応答関数を算出する基準応答関数算出部と、
   更新された前記配光マップと前記基準応答関数に基づいて各画素ごとの応答関数を算出する応答関数算出部と、
   前記入力又は生成した映像信号の画素ごとの各色成分の輝度値を、前記応答関数及び前記配光マップを利用して補正し、補正された映像信号を得る補正処理部と、
   前記補正処理部で補正された映像信号を出力して前記プロジェクタ装置に供給する出力部とを備え、
   前記１フレーム目以降の映像を投影する際に、前記投影面輝度計測部で計測されたリアルタイムの輝度値と、前記応答関数によって前記補正処理部で補正された映像の輝度値との差を検出し、前記配光マップを更新するようにした映像信号補正装置。
5. 入力又は生成した映像信号による映像をプロジェクタ装置から投影する際の投影状態に応じて補正する映像信号補正方法であって、
   投影された映像を撮像して得られた撮像映像の画素ごとの各色成分の輝度値を計測する投影面輝度計測処理と、
   全画素の輝度値が同一となる基準となる映像を投影させた際の前記投影面輝度計測処理で計測された画素ごとの各色成分の輝度に基づいて、映像中の基準点の輝度に対する画素ごとの輝度の変化率を示す配光マップを算出し、１フレーム毎に更新する配光特性算出処理と、
   入力又は生成した映像信号の１フレーム目の各画素の輝度値及び前記配光マップに基づいて基準応答関数を算出する基準応答関数算出処理と、
   更新された前記配光マップと前記基準応答関数に基づいて各画素ごとの応答関数を算出する応答関数算出処理と、
   前記入力又は生成した映像信号の画素ごとの各色成分の輝度値を、前記応答関数及び前記配光マップを利用して補正し、補正された映像信号を得、補正された映像信号を投影用の映像信号とする補正処理とを実行する映像信号補正方法であり、
   前記１フレーム目以降の映像を投影する際に、前記投影面輝度計測処理で計測されたリアルタイムの輝度値と、前記応答関数によって前記補正処理で補正された映像の輝度値との差を検出し、前記配光マップを更新するようにした映像信号補正方法。
6. 入力又は生成した映像信号による映像をプロジェクタ装置から投影する際に、投影状態に応じて補正する処理をコンピュータに実行させるプログラムであり、
   投影された映像を撮像して得られた撮像映像の画素ごとの各色成分の輝度値を計測する投影面輝度計測処理手順と、
   全画素の輝度値が同一となる基準となる映像を投影させた際の前記投影面輝度計測処理手順で計測された画素ごとの各色成分の輝度に基づいて、映像中の基準点の輝度に対する画素ごとの輝度の変化率を示す配光マップを算出し、１フレーム毎に更新する配光特性算出処理手順と、
   入力又は生成した映像信号の１フレーム目の各画素の輝度値及び前記配光マップに基づいて基準応答関数を算出する基準応答関数算出処理手順と、
   更新された前記配光マップと前記基準応答関数に基づいて各画素ごとの応答関数を算出する応答関数算出処理手順と、
   前記入力又は生成した映像信号の画素ごとの各色成分の輝度値を、前記応答関数及び前記配光マップを利用して補正し、補正された映像信号を得、補正された映像信号を投影用の映像信号とする補正処理手順とを実行するプログラムであり、
   前記１フレーム目以降の映像を投影する際に、前記投影面輝度計測処理手順で計測されたリアルタイムの輝度値と、前記応答関数によって前記補正処理手順で補正された映像の輝度値との差を検出し、前記配光マップを更新するようにしたプログラム。

Images