JP6080529B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。具体的には、本発明は、複数の画像投影装置によりシームレスな高精細画像を投影する画像投影システムを構成する画像処理装置並びにこの装置において使用される方法およびプログラムに関する。

従来、複数のプロジェクタから互いに異なる投影領域に画像を投影し、これらの投影画像をつなぎ合わせることでシームレスな高精細画像を表示する方法が提案されている（例えば、特許文献１を参照）。

特許文献１に記載された方法では、投影領域が一部重複するように配置した複数のプロジェクタからテスト画像を投影する。次いで、投影したテスト画像を撮影した画像を基に全投影領域の輝度が均一になるような補正係数あるいは全投影領域の輝度が連続的に変化するような補正係数を算出することで輝度の補正を行っている。

プロジェクタはその特性上、入力信号が０レベルの黒画像を入力したとしても、投影画像は完全な黒にはならず、明るさ（所謂オフセット）を持っている。このため、重複領域の輝度は、概略この各プロジェクタのオフセットを足し合わせた輝度となる。これに対して、特許文献１に記載された方法では、重複領域以外の部分の輝度を重複領域の輝度まで持ち上げることで全投影領域に渡って均一な輝度を実現している。

また、重複領域を遮光する遮光板をプロジェクタと、スクリーンとの間に配置することにより、重複領域の輝度を低下させた状態でプロジェクタ間の輝度を連続的に補正する方法も開示されている。

特開２００２−１１６５００号公報

特許文献１に記載された方法では、各プロジェクタによって投影される領域に関し重複領域以外の部分の輝度を重複領域と同じ輝度まで持ち上げることで全投影領域に渡って均一な輝度を実現する。ところが、これに起因して、画像の黒色部分が正しく「黒」として表示されずに、何か幕をはったように明るくなってしまう（所謂、「黒浮き」が発生した状態になる）。このため、投影画像のコントラストが低下してしまうという課題がある。

一方、遮光板を用いる方法では、プロジェクタの設置姿勢、重複領域の形状、および重複領域の大きさ等にあった遮光板を別途用意する必要が生じてしまう。

本発明は、上記の課題を鑑みてなされたものである。本発明は、複数のプロジェクタを用いてシームレスな高精細画像を表示するシステムにおいて、遮光板等の光学部品を用いることなく、簡易に且つ違和感がないように投影画像のコントラストをできる限り高くした画像を表示することを目的とする。

本発明は、少なくとも２台のプロジェクタから投影画像の一部が重複するように投影することで１つの画像を構成する画像処理装置であって、表示用画像の中の高輝度領域または低輝度領域の何れかが重複投影領域に入っているかどうかを判定し、入っている場合は表示用画像データに対して輝度を均一にする色補正処理を行い、入っていない場合は該色補正処理を行わない色補正手段と、前記表示用画像の中の高輝度領域または低輝度領域の何れかと、前記少なくとも２台のプロジェクタによる重複投影領域との関係に基づき、コントラストを制御するための色補正モードを設定する色補正モード設定手段とを備え、前記色補正手段は、前記色補正モードに対応する色補正パラメータに基づき、前記表示用画像データに対して色補正処理を行い、前記表示用画像データは、１つ以上のシーンから構成される動画データであり、前記色補正モード設定手段は、シーンごとに色補正モードを決定することを特徴とする。

本発明により、複数のプロジェクタを用いてシームレスな高精細画像を表示する際に、違和感がなく且つコントラストの高い画像を表示することができる。

実施例１に係る画像処理装置の構成要素を示すブロック図である。 実施例１に係る装置を用いて画像を投影する様子を示す概略説明図である。 実施例１に係る画像処理装置の機能を示す概要機能構成図である。 実施例１に係る画像処理装置における画像投影処理の動作手順を示すフローチャートである。 実施例１に係る画像処理装置における色補正パラメータ算出処理の動作手順を示すフローチャートである。 実施例１に係る画像処理装置における領域分割画像生成処理の動作手順を示すフローチャートである。 実施例１に係る画像処理装置における領域分割画像生成処理の前後の様子を示す説明図である。 実施例１に係る画像処理装置における色補正モード設定処理の動作手順を示すフローチャートである。 実施例１に係る画像処理装置における色補正モード設定処理の説明図であり、投影領域および領域分割画像の座標を示す図である。 実施例１に係る画像処理装置における色補正モード設定処理の説明図であり、黒色領域と、重複投影領域との関係を示す図である。 実施例１に係る画像処理装置における色補正処理の動作手順を示すフローチャートである。 実施例１に係る画像処理装置における色補正処理の説明図であり、各プロジェクタの表示対象領域を示す図である。 実施例２に係る画像処理装置における画像投影処理の動作手順を示すフローチャートである。 実施例２に係る画像処理装置における画像投影処理の説明図であり、動画のシーン毎に異なる色補正モードが適用される例を示す図である。 実施例４に係る画像処理装置における色補正モード設定処理の動作手順を示すフローチャートである。 実施例４に係る画像処理装置における色補正モード設定処理の説明図であり、画像シフトの例を示す図である。 実施例４に係る画像処理装置における色補正処理の動作手順を示すフローチャートである。 実施例４に係る画像処理装置における各プロジェクタの表示対象領域を示す図である。 実施例４に係る画像処理装置におけるオーバースキャン表示と、画像シフトとの例を示す図である。 実施例５に係る画像処理装置における画像投影処理の動作手順を示すフローチャートである。 実施例５に係る画像処理装置における画像投影処理の説明図であり、動画のシーン毎に異なる色補正モードが適用される例を示す図である。 実施例５に係る画像処理装置における色補正モード設定処理の動作手順を示すフローチャートである。

（実施例１）
以下、本発明の第１の実施例（実施例１）について説明する。図２は、実施例１に係る装置を用いて画像を投影する様子を示す概略説明図である。なお、本明細書では、同一の参照番号は、同一の要素を指し示すので留意されたい。

図２に示すように、本実施例では、複数のプロジェクタ１１０、１１１の投影領域をつなぎ合わせることで表示領域を構成し、つなぎ合わせ部分においてシームレスな高精細画像の表示を行う。なお、本実施例におけるプロジェクタとは、フロントプロジェクタ、リアプロジェクタ等の形態にはよらず、投影面で画像が構成される表示装置全てを指す。

このシームレスな表示を行うためには、一般的に全投影領域に渡って輝度を均一にする方法がとられることは前述したとおりである。しかし、この方法では、前述したように黒色を入力した際に黒浮きが発生してしまうため、黒色を含む画像を表示したときに、１台のプロジェクタで表示する場合に比べてコントラストが低下してしまう。

これに対して本発明では、黒色を含む画像を表示しようとするときに、重複投影領域以外の領域の輝度を重複投影領域の輝度に合わせるように任意の表示画像を補正することはない。本発明では、コントラストを優先する第１の色補正モード（色補正モードＡ）と、従来技術のようにコントラストは低下してしまうが黒色の表示輝度を上げることで輝度を均一にする第２の色補正モード（色補正モードＢ）との２種類の色補正モードを用意する。そして、２種類の色補正モードを表示用画像データに応じて切り替える。これによって、違和感がなく且つできる限りコントラストが高い画像を表示することができる。

なお、本実施例では説明を簡単にするため、プロジェクタ１１０、１１１はスクリーン１１３に正対（正対とは即ち、プロジェクタ１１０、１１１の各光軸がスクリーン１１３の面法線方向と平行な状態である）している。また、プロジェクタ１１０、１１１による２つの投影領域は、スクリーン１１３の上下方向にはずれがないものとする。さらに、重複投影領域の位置や大きさも既知であることを前提として説明を行う。ただし、プロジェクタ１１０、１１１がスクリーン１１３に正対していない場合であっても、公知のカメラを用いたプロジェクタの幾何学的キャリブレーション技術を用いて重複投影領域の算出や投影画像の幾何補正を行うことにより、本発明を適用することができる。

次に、本発明に係る画像処理装置の構成例について説明する。図１は、実施例１に係る画像処理装置の構成要素を示すブロック図である。ただし、本発明に係る画像処理装置は、図１に示す構成に限定されない。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３およびハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。

ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、ＨＤＤ１０５や光ディスクドライブ等の二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＨＤＤＩ／Ｆ１０４を介して、ＣＰＵ１０１は、ＨＤＤ１０５からのデータ読み出しおよびＨＤＤ１０５へのデータ書き込みが可能である。さらに、ＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。

入力インタフェイス（Ｉ／Ｆ）１０６は、キーボードやマウス等の入力デバイス１０９を接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。入力Ｉ／Ｆ１０６を介して、ＣＰＵ１０１は、入力デバイス１０９からデータを受け取ることが可能である。出力インタフェイス（Ｉ／Ｆ）１０７、１０８は、画像を表示するためのプロジェクタ１１０、１１１を接続する、例えばＤＶＩやＨＤＭＩ等の映像出力インタフェイスである。出力Ｉ／Ｆ１０７、１０８を介して、ＣＰＵ１０１は、プロジェクタ１１０、１１１にデータを送り、表示を実行させることができる。

次に、本発明に係る一連の処理を行う際の概要機能構成について説明する。図３は、実施例１に係る画像処理装置の機能を示す概要機能構成図である。ただし、本発明に係る画像処理装置は、図３に示す構成に限定されない。

パラメータ入力部３０１は、表示用画像データ３０６と、色補正パラメータ３０９と、投影領域情報３１１とを、入力デバイス１０９またはＲＯＭ１０３もしくはＨＤＤ１０５等の記憶装置から取得する。投影領域情報３１１は、各プロジェクタの投影領域の位置および大きさと、複数のプロジェクタによる重複投影領域の位置および大きさとを含む。パラメータ入力部３０１は、表示用画像データ３０６を領域分割画像生成部３０３および色補正処理部３０５に出力し、色補正パラメータ３０９を色補正処理部３０５に出力し、投影領域情報３１１を色補正モード設定部３０４に出力する。

画像出力部３０２は、補正画像データ３１０をプロジェクタ１１０、１１１へ出力する。プロジェクタ１１０、１１１は、補正画像を投影する。

領域分割画像生成部３０３は、表示用画像データ３０６に対して領域分割処理を行い、領域分割画像データ３０７を生成し、生成した領域分割画像データ３０７を色補正モード設定部３０４に出力する。

色補正モード設定部３０４は、領域分割画像データ３０７と、投影領域情報３１１とに基づいて色補正モードの決定を行い、色補正モード情報３０８を色補正処理部３０５に出力する。

色補正処理部３０５は、色補正モード情報３０８に従って色補正パラメータ３０９を選択し、選択した色補正パラメータに基づき表示用画像データ３０６に対して色補正を行うことで補正画像データ３１０を生成し、画像出力部３０２に出力する。

本実施例では、表示用画像データは静止画データであることを前提に説明を行う。図４は、実施例１に係る画像処理装置における画像投影処理の動作手順を示すフローチャートである。詳細には、図４のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３またはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって当該プログラムを実行することによって当該画像投影処理が実行される。以下、図４に示す各処理について説明する。

ステップＳ４０１において、パラメータ入力部３０１は、表示用画像データ３０６と、あらかじめ算出しておいた色補正パラメータ３０９と、投影領域情報３１１とをＲＯＭ１０３やＨＤＤ１０５等の記録装置等から読み込むことで取得する。なお、色補正パラメータ３０９の算出方法の詳細は後述する（＜色補正パラメータ算出処理＞の項目を参照）。

ステップＳ４０２において、領域分割画像生成部３０３は、表示用画像データ３０６に対して領域分割処理を行い、領域分割画像データ３０７を生成する。

ステップＳ４０３において、色補正モード設定部３０４は、投影領域情報３１１と、ステップＳ４０２で生成した領域分割画像データ３０７とに基づき、色補正モード設定処理を行う。本実施例では、色補正モードは、輝度の均一性よりもコントラストを優先した色補正モードＡと、低コントラストではあるが輝度が均一な色補正モードＢとの２種類からなる。従って、ステップＳ４０３ではこのどちらかが選択され、色補正モード情報３０８として出力される。

ステップＳ４０４において、色補正処理部３０５は、ステップＳ４０３で算出した色補正モード情報３０８に従い色補正パラメータ３０９を選択し、この色補正パラメータに基づき表示用画像データ３０６に対し色補正処理を行い補正画像データ３１０を生成する。

ステップＳ４０５において、画像出力部３０２は、ステップＳ４０４で生成した補正画像データ３１０を受け取り、補正画像をプロジェクタ１１０、１１１を用いてスクリーンに投影する。

以上の処理により、表示する画像データの特徴に応じて色補正モードを切り替えることで、黒色を含む画像のコントラストをできる限り高い状態で表示することが可能となる。

＜色補正パラメータ算出処理＞
図５は、実施例１に係る画像処理装置における色補正パラメータ算出処理の動作手順を示すフローチャートである。この色補正パラメータ算出処理によって算出された色補正パラメータを使用して、図４のステップＳ４０４として示した色補正処理が行われる。なお、色補正パラメータ算出処理は、図４のフローチャートで説明した画像投影処理の前処理として１度行えばよい処理であり、一般的には色変換のための３Ｄ−ＬＵＴを生成する処理として説明することができる。本実施例では、黒色の目標色を変えて色補正パラメータＡ、色補正パラメータＢという２種類の３Ｄ−ＬＵＴを生成する。以下、図５に示す各処理について説明する。

ステップＳ５０１において、ＣＰＵ１０１は、全てのプロジェクタに対して色の測定が終了したかどうかを判定する。全てのプロジェクタに対して色の測定が終了している場合、ステップＳ５０５へ進み、全てのプロジェクタに対して色の測定が終了していない場合、ステップＳ５０２へ進む。

ステップＳ５０２において、ＣＰＵ１０１は、色の測定対象となるプロジェクタをまだ測定を行っていないプロジェクタへと変更する。

ステップＳ５０３において、ＣＰＵ１０１は、色補正パラメータ算出用画像データを出力し、色補正パラメータ算出用画像を測定対象のプロジェクタで投影する。ここで色補正パラメータ算出用画像データとは、例えばＲ、Ｇ、Ｂ夫々の色に対して０、３２、６４、９６、１２８、１６０、１９２、２２４、２５５の９色の組み合わせで構成される合計７２９（＝９×９×９）色のカラーパッチ画像データである。このカラーパッチ画像データは一般的に、色変換用のための３Ｄ−ＬＵＴを作成する際に使用される画像データである。従って色数は７２９色には限定されないが、どのような色数であっても（Ｒ、Ｇ、Ｂ）＝（０、０、０）の黒色を含んだ画像データである必要がある。

ステップＳ５０４において、ＣＰＵ１０１は、直前のステップＳ５０３で投影された色補正パラメータ算出用画像の色を測色器等により測定する。ここでは、直前のステップＳ５０３で投影された全ての色に対して、例えば三刺激値ＸＹＺ値を測定する。これにより、デバイス（即ちプロジェクタ）におけるＲＧＢ値と、三刺激値ＸＹＺ値との関係が得られる。

ステップＳ５０５において、ＣＰＵ１０１は、色補正モードＡの目標色を設定する。色補正モードＡは上述のとおり黒色の輝度は補正せずコントラストを優先するモードであるため、黒色の目標色は各プロジェクタのデバイス特性そのものであるプロジェクタ固有の色を使用する。つまり、色補正モードＡでは、黒色に関しては色を補正しないということになる。黒色を除いた他の色に関しては、黒色同様夫々のプロジェクタの色域を目標色として設定するか、あるいは２台のプロジェクタの色域の重複した領域等を目標色として定めてもよい。

ステップＳ５０６において、ＣＰＵ１０１は、ステップＳ５０４で得た夫々のプロジェクタの測色値と、ステップＳ５０５で設定された目標色とから、該目標色を再現するための３Ｄ−ＬＵＴを生成する。この３Ｄ−ＬＵＴは、夫々のプロジェクタに対して公知の色域圧縮アルゴリズムを用いることにより生成される。この処理によって生成された３Ｄ−ＬＵＴを色補正パラメータＡとする。色補正パラメータＡは、各プロジェクタに対して１対１で生成されるので、プロジェクタ台数と等しい数の色補正パラメータＡが生成されることになる。

ステップＳ５０７において、ＣＰＵ１０１は、色補正モードＢの目標色を設定する。色補正モードＢは上述のとおり黒色の輝度を重複投影領域の輝度まで持ち上げるように補正するモードである。このモードにおける目標色は、例えば２台のプロジェクタの色域の重複した領域とし、黒色の目標色が重複投影領域の黒色となるように目標とする色域全体あるいは色域の一部を圧縮しておく。この際、色相ごとに圧縮率を変化させながら圧縮を行ってもよい。こうすることで、黒色以外の色に対しても複数のプロジェクタに渡って均一な色の再現が可能となる。

ステップＳ５０８において、ＣＰＵ１０１は、ステップＳ５０４で得た夫々のプロジェクタの測色値と、ステップＳ５０７で設定された目標色とから、該目標色を再現するための３Ｄ−ＬＵＴを生成する。この３Ｄ−ＬＵＴは、夫々のプロジェクタに対して公知の色域圧縮アルゴリズムを用いることにより生成される。この処理によって生成された３Ｄ−ＬＵＴを色補正パラメータＢとする。この色補正パラメータＢは、色補正パラメータＡと同様に、各プロジェクタに対して１対１で生成されるので、プロジェクタ台数と等しい数の色補正パラメータＢが生成されることになる。

以上の処理により、色補正モードＡ、色補正モードＢに対応した色補正パラメータＡ、色補正パラメータＢを生成することができる。

＜領域分割画像生成処理＞
ここでは、図４のステップＳ４０２で行う領域分割画像生成処理について詳しく説明する。図４を再度参照されたい。領域分割画像生成処理（ステップＳ４０２）では、ステップＳ４０１で入力された表示用画像データ３０６に対して領域分割処理を行い、領域分割画像データ３０７を生成することは上述のとおりである。

図６は、実施例１に係る画像処理装置における領域分割画像生成処理の動作手順を示すフローチャートである。以下、図６に示すフローチャートを用いて領域分割画像生成処理の流れを説明する。

ステップＳ６０１において、領域分割画像生成部３０３は、ステップＳ４０１で入力された表示用画像データ３０６を取得する。

ステップＳ６０２において、領域分割画像生成部３０３は、表示用画像データ３０６に対して、例えば平均値シフト法等の公知の領域分割アルゴリズムによって領域分割処理を行う。平均値シフト法とは、ある円内の画素の平均を取って、その平均となる画素をとり、これをあらたな中心として、この操作を逐次的に行い、同じ収束先を持つような画素によって一つのエリアを生成するという手法である。

ステップＳ６０３において、領域分割画像生成部３０３は、ステップＳ６０２で得られた領域分割処理結果に対してラベリング処理を行い、領域分割画像データ３０７を生成する。ここでは、領域ごとの色（ＲＧＢ値）を使用してラベリング処理を行う（例えば、領域Ａ（０，０，０）や領域Ｂ（２００，０，０）等）。

以上の処理により、表示用画像データ３０６に対して、ＲＧＢ値でラベリングされた領域分割画像データ３０７を生成することができる。

図７は、実施例１に係る画像処理装置における領域分割画像生成処理の前後の様子を示す説明図であり、図７（ａ）は表示用画像の一例であり、図７（ｂ）は領域分割画像の一例である。図７（ａ）に示すような表示用画像に対して領域分割画像生成処理を行った結果が図７（ｂ）となる。図７（ｂ）に示す例では、画像が領域Ａ〜領域Ｄという４つの領域に分割されている。夫々の領域のＲＧＢ値によって領域Ａ〜領域Ｄの各々に固有のラベルが、領域Ａ〜領域Ｄの夫々に対して付与されている。

＜色補正モード設定処理＞
ここでは、図４のステップＳ４０３で行う色補正モード設定処理について詳しく説明する。図４を再度参照されたい。色補正モード設定処理（ステップＳ４０３）では、領域分割画像生成処理（ステップＳ４０２）で生成された領域分割画像データ３０７と、パラメータ入力部３０１からの投影領域情報３１１とに従って色補正モードの設定を行う。設定された色補正モードを色補正モード情報３０８として色補正処理部３０５に出力する。

図８は、実施例１に係る画像処理装置における色補正モード設定処理の動作手順を示すフローチャートである。以下、図８に示すフローチャートを用いて色補正モード設定処理の流れを説明する。

ステップＳ８０１において、色補正モード設定部３０４は、領域分割画像生成処理において生成された領域分割画像データ３０７について判定を行い、領域分割画像の中にＲＧＢ値が全て０となる黒色領域（０，０，０）が含まれているかどうかを判定する。具体的には、領域分割画像データ３０７の全てのラベルのＲＧＢ値を順にチェックすることでこの処理を行う。領域分割画像に黒色領域が含まれる場合、ステップＳ８０２へ進み、領域分割画像に黒色領域が含まれない場合、ステップＳ８０６へ進む。

ステップＳ８０２において、色補正モード設定部３０４は、投影領域情報３１１を取得する。投影領域情報３１１は、個々のプロジェクタの投影領域の位置および大きさと、複数のプロジェクタによる重複投影領域の位置および大きさとを含む。図９は、スクリーン上のある点を原点とする座標系における投影領域と、重複投影領域とに対する、領域分割画像の位置関係を示している。プロジェクタ１１０の投影領域の形状は矩形であり、プロジェクタ１１０の投影領域の左上のコーナーの座標は（Ｘ１，Ｙ１）であり、プロジェクタ１１０の投影領域の大きさは幅Ｗ１、高さＨ１である。プロジェクタ１１１の投影領域の形状は矩形であり、プロジェクタ１１１の投影領域の左上のコーナーの座標は（Ｘ２，Ｙ２）であり、投影領域の大きさは幅Ｗ２、高さＨ２である。本実施例では２つの投影領域は上下にずれがないものとしているためＹ２＝Ｙ１となる。また、重複投影領域の左上のコーナーの座標はプロジェクタ１１１の投影領域の左上のコーナーの座標と等しく（Ｘ２，Ｙ２）であり、重複投影領域の大きさは幅Ｗｘ、高さＨｘである。このモデルから重複投影領域の各画素の座標が一意に求まることになる。

ステップＳ８０３において、色補正モード設定部３０４は、ステップＳ８０２で取得した投影領域情報３１１に基づいて、投影領域に内接する大きさに領域分割画像を変倍し、投影領域の中央と、領域分割画像の中央とが合うように領域分割画像を配置する。図９は、処理結果の一例を示している。変倍後の領域分割画像の幅はＷｉ、高さはＨｉであり、領域分割画像の左上のコーナーの座標が（Ｘｉ、Ｙｉ）の位置に配置されている。領域分割画像は投影領域に内接するので、Ｈ１≧Ｈｉの関係が常に成立する。

ステップＳ８０４において、色補正モード設定部３０４は、黒色領域を構成する画素の座標を算出し、これらが重複投影領域に入っているかどうかを判定する。具体的には、ステップＳ８０３で配置した領域分割画像に対して、ラベリングされた領域の内、黒色のＲＧＢ値を持つ領域に注目し、黒色のＲＧＢ値を持つ領域を選択して、その領域に含まれる各画素の座標が重複投影領域に入っているかどうかを判定する。例えば、黒色領域のある画素の座標を（Ｘｂ，Ｙｂ）とすると、この判定は以下の条件式に基づいて行うこととなる。
Ｘｂ≧Ｘ２ 式（１）
Ｘｂ＜（Ｘ２＋Ｗｘ） 式（２）
Ｙｂ≧Ｙ２ 式（３）
Ｙｂ＜（Ｙ２＋Ｈｘ） 式（４）

式（１）から式（４）までの４つの条件式を同時に満たす画素が１画素でもある場合、黒色領域が重複投影領域に入っているという判定が、色補正モード設定部３０４において、なされる。この結果、黒色領域が重複投影領域に入っていない場合、ステップＳ８０５へ進み、黒色領域が重複投影領域に入っている場合、ステップＳ８０６へ進む。

ステップＳ８０５において、色補正モード設定部３０４は、色補正モードを色補正モードＡに設定する。設定された結果は、色補正モード情報３０８として色補正処理部３０５に出力される。

ステップＳ８０６において、色補正モード設定部３０４は、色補正モードを色補正モードＢに設定する。設定された結果は、色補正モード情報３０８として色補正処理部３０５に出力される。

以上の処理により、表示用画像データに含まれる黒色領域の情報に応じて色補正モードの設定を行うことができる。図１０に、黒色領域と、重複投影領域との関係の一例を示す。この例では、黒色領域である領域Ａが重複投影領域に入っていないため、結果として色補正モードは、色補正モードＡに設定される。

＜色補正処理＞
ここでは、図４のステップＳ４０４で行う色補正処理の詳細について説明する。図４を再度参照されたい。色補正処理（ステップＳ４０４）では、色補正モード設定処理(ステップＳ４０３）で設定された色補正モード情報３０８と、色補正モード情報３０８に対応する色補正パラメータ３０９とを使用して、表示用画像データ３０６に対して色補正処理を行う。表示用画像データ３０６に対して色補正処理を行った結果、補正画像データ３１０が生成される。

図１１は、実施例１に係る画像処理装置における色補正処理の動作手順を示すフローチャートである。以下、図１１に示すフローチャートを用いて色補正処理の流れを説明する。

ステップＳ１１０１において、色補正処理部３０５は、色補正モード情報３０８に含まれる色補正モードが色補正モードＡかどうかを判定する。色補正モード情報３０８に含まれる色補正モードが色補正モードＡである場合、ステップＳ１１０２へ進み、色補正モード情報３０８に含まれる色補正モードが色補正モードＡではない場合、ステップＳ１１０３へと進む。

ステップＳ１１０２では、色補正処理部３０５は、ＨＤＤ１０５あるいはＲＡＭ１０２から色補正パラメータ算出処理により算出された色補正パラメータのうち、各々のプロジェクタに対応する色補正パラメータＡを取得する。

ステップＳ１１０３では、色補正処理部３０５は、ＨＤＤ１０５あるいはＲＡＭ１０２から色補正パラメータ算出処理により算出された色補正パラメータのうち、各々のプロジェクタに対応する色補正パラメータＢを取得する。

ステップＳ１１０４では、色補正処理部３０５は、ＨＤＤ１０５あるいはＲＡＭ１０２から表示用画像データを取得する。

ステップＳ１１０５では、色補正処理部３０５は、表示用画像データに対して、各々のプロジェクタの表示対象領域を算出する。この算出は、色補正モード設定処理のステップＳ８０３で説明した領域分割画像を投影領域に内接するように配置する方法と同様の方法で行う。ステップＳ８０３では、領域分割画像を配置する対象としていたが、ここでは領域分割画像の代わりに表示用画像データを配置する対象として同様の処理を行う。これにより、各プロジェクタが表示用画像データのどの領域を投影すればよいかが決まる。図１２に、プロジェクタ１１０と、プロジェクタ１１１との表示対象領域の一例を示す。

ステップＳ１１０６では、色補正処理部３０５は、ステップＳ１１０５で算出された各プロジェクタの表示対象領域に対して、ステップＳ１１０２あるいはステップＳ１１０３で取得した各プロジェクタの色補正パラメータを使用して色補正処理を行う。具体的には、表示対象領域の画像データのＲＧＢ値に対して、色補正パラメータである３Ｄ−ＬＵＴによる色変換処理を行うことで色補正を行う。さらに、ここで各プロジェクタの表示対象領域の中で重複投影領域となる部分に関しては、公知のエッジブレンド処理によりつなぎ目を目立たなくするような処理をしてもよい。もちろん、コントラストを優先する色補正モードＡの場合は、各プロジェクタの黒色はこれ以上暗くならないような色となっているため、黒色に関してはエッジブレンド処理により明るさを抑えるような処理は不可能である。よって、色補正モードＡでは、黒色に対するエッジブレンド処理は行われない。

以上の処理により、黒色を含む画像に対して、違和感がなく且つできる限りコントラストが高くなるように処理された補正画像データを生成することが可能となる。

なお、本実施例では黒色に着目して説明を行ったが、デバイスの表示輝度の下限値となるような他の色相の低輝度な色に対しても適用可能なことは言うまでもない。この場合、色補正パラメータ算出処理にて黒色同様に輝度を均一にするような目標色と、コントラストを高くするような目標色とを設定することで色補正パラメータを算出する。さらに、色補正モード設定処理にて該当色を用いることで色補正モードを設定すればよい。

また、本実施例では、あらかじめ準備された色補正モードを切り替えることで表示コントラストを制御したが、モードを設けずにコントラストを制御することも可能であることは言うまでもない。例えば、表示用画像データ中のデバイスの表示輝度の下限値となるような低輝度な領域が、重複投影領域に含まれるかどうかを判定し、これに応じて色補正モード設定部が色補正パラメータを算出して色補正を行うことでも同様の効果を得ることができる。

（実施例２）
以下、本発明の第２の実施例（実施例２）について説明する。実施例１では、補正された静止画を表示する方法について説明したが、本実施例では、表示用画像データが動画データである場合の処理について説明する。

動画は連続した複数の静止画の集合であると考えることができる。よって、動画の各フレームに対して実施例１で説明した方法により色補正を行うことで、各フレームに関してはできる限りコントラストの高い表示を実現することが可能である。しかしながら、例えば前述の処理によりフレームごとにコントラストが大きく変わるような結果となった場合、これを動画として再生してみると、大きな違和感を覚えることになることは言うまでもない。そこで、本実施例では、動画のシーンチェンジを検出してシーンごとに色補正モードを設定し、１つのシーンの中では同一の色補正モードを適用して同一の色補正を行うことで、違和感のない高コントラストな表示を実現する方法について説明する。

図１３は、実施例２に係る画像処理装置における画像投影処理の動作手順を示すフローチャートである。詳細には、図１３のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３またはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって当該プログラムを実行することによって当該画像投影処理が実行される。以下、図１３に示す各処理について説明する。

ステップＳ１３０１において、パラメータ入力部３０１は、表示用画像データ３０６と、あらかじめ算出しておいた色補正パラメータ３０９と、投影領域情報３１１とをＲＯＭ１０３やＨＤＤ１０５等の記録装置から読み込むことで取得する。ここで表示用画像データ３０６は、１つ以上のシーンで構成される動画データとする。また、色補正パラメータ３０９および投影領域情報３１１の算出方法に関しては、実施例１と同様であるため詳細な説明は省略する。

ステップＳ１３０２において、公知の動画のシーンチェンジ検出処理により表示用画像データ３０６を複数のシーンに分割する。図１４にこの一例を示す。図１４に示す例では、動画データである表示用画像データ３０６が１０フレームで構成されているとし、シーンチェンジ検出処理により最初の５フレームがシーン１、後の５フレームがシーン２として２つのシーンに分割された場合を示している。なお、もしシーンチェンジが検出されなかった場合は、表示用画像データ３０６を１つのシーンから成るデータであるとみなし、以降の処理を行う。

ステップＳ１３０３において、全てのシーンに対して色補正モード設定処理が終了したかどうかを判定する。全てのシーンに対して色補正モード設定処理が終了している場合、ステップＳ１３１０へ進み、全てのシーンに対して色補正モード設定処理が終了していない場合、ステップＳ１３０４へ進む。

ステップＳ１３０４において、処理対象のシーンを未処理のシーンへと更新する。

ステップＳ１３０５において、色補正モードが設定されていないシーン内の全てのフレーム画像に対して色補正モード設定処理が終了したかどうかを判定する。全てのフレーム画像に対して色補正モード設定処理が終了している場合、ステップＳ１３０６へ進み、全てのフレーム画像に対して色補正モード設定処理が終了していない場合、ステップＳ１３０７へ進む。

ステップＳ１３０６において、処理対象のシーンに対する色補正モードの決定を行う。具体的には、シーン内の各フレーム画像に対して色補正モードが設定されているため、これに対して多数決をとること（即ち、色補正モードＡのフレーム数と、色補正モードＢのフレーム数とを比較すること）でそのシーンの色補正モードを決定する。図１４に示す例では、シーン１に対しては、色補正モードＡが４フレーム、色補正モードＢが１フレームであるため、色補正モードＡのフレーム数が色補正モードＢのフレーム数より多い。よって、シーン１の色補正モードは色補正モードＡとなる。同様に、シーン２に対しては、色補正モードＡが２フレーム、色補正モードＢが３フレームであるため、色補正モードＢのフレーム数が色補正モードＡのフレーム数より多い。よって、シーン２の色補正モードは色補正モードＢとなる。

ステップＳ１３０７において、処理対象のフレーム画像を未処理のフレーム画像へと更新する。

ステップＳ１３０８において、領域分割画像生成部３０３は、処理対象のフレーム画像を静止画とみなし、これに対して領域分割画像生成処理を行う。領域分割画像生成処理は実施例１と同様であるため、詳細な説明は省略する。

ステップＳ１３０９において、色補正モード設定部３０４は、処理対象のフレーム画像を静止画とみなし、これに対して色補正モード設定処理を行う。次いで、処理は、ステップＳ１３０５へ移行する。色補正モード設定処理は実施例１と同様であるため、詳細な説明は省略する。

ステップＳ１３１０において、色補正処理部３０５は、ステップＳ１３０６で決定された各シーンの色補正モード情報３０８と、各シーンの色補正モード情報３０８に対応する色補正パラメータ３０９とを使用して、表示用画像データ３０６に対し色補正処理を行う。表示用画像データ３０６に対して色補正処理を行った結果、補正画像データ３１０が生成される。ここで色補正処理は、シーンごとに実施例１で説明した処理を行えばよいため、処理の詳細な説明は省略する。

ステップＳ１３１１において、画像出力部３０２は直前のステップＳ１３１０で生成した補正画像データ３１０を受け取り、プロジェクタ１１０、１１１を用いて補正画像をスクリーンに投影する。

以上説明した処理により、１つ以上のシーンを含む動画データに対して、シーンごとに画像データの特徴に応じた色補正モードを設定することで、黒色を含む動画を、違和感がなく且つコントラストができる限り高い状態で表示することが可能となる。

（実施例３）
実施例１および実施例２では、表示用画像データの黒色領域のようなデバイスの表示輝度の下限値となるような低輝度領域に着目して色補正モードを色補正モードＡと、色補正モードＢとの間で切り替える処理について説明した。しかし、本発明により、例えば白色領域のようなデバイスの表示輝度の上限値となるような高輝度領域に着目して同様の処理を行うことによっても高コントラストな表示を実現することができる。

この場合、色補正パラメータ算出処理では、色補正パラメータＡおよび色補正パラメータＢが生成される。色補正パラメータＡは、白色に代表されるようなデバイスの表示輝度の上限値となるような高輝度な色の目標色として、各プロジェクタのデバイス特性そのものであるプロジェクタ固有の色を使用した色補正パラメータである。また、色補正パラメータＢは、全プロジェクタの中で最も輝度の低い同色相の色を目標色として使用した色補正パラメータである。

色補正パラメータＡおよび色補正パラメータＢが生成された後、デバイスの表示輝度の上限値となるような高輝度な色をもつ領域が重複投影領域に入っているかどうかを判定する。該当色を持つ領域が重複投影領域に入っている場合、色補正パラメータＢを使用して色補正処理を行い、該当色を持つ領域が重複投影領域に入っていない場合、色補正パラメータＡを使用して色補正処理を行う。これにより、デバイスの表示輝度の上限値となるような高輝度な色を含む画像に対して、違和感がなく且つコントラストができる限り高い状態で画像を表示することが可能となる。もちろん、黒色領域のようなデバイスの表示輝度の下限値となるような低輝度な色に対する処理と、白色領域のようなデバイスの表示輝度の上限値となるような高輝度な色に対する処理とを組み合わせて行ってもよいことは言うまでもない。また、これらの処理は並列に実行可能である。

（実施例４）
以下、本発明の第４の実施例（実施例４）について説明する。実施例１では、表示用画像データ中のデバイスの表示輝度の下限値となるような低輝度な領域が、重複投影領域に含まれるかどうかを判定し、判定結果に応じて２種類の色補正モードを切り替える方法について説明した。この方法により、違和感がなく且つできる限りコントラストが高い画像を表示することが可能となる。

これに対し、本実施例では、表示用画像データ中のデバイスの表示輝度の下限値となるような低輝度な領域が重複投影領域に含まれる場合に、前記低輝度な領域が重複投影領域に入らないように画像の表示位置をシフトさせる。これにより、高コントラストな画像表示を実現する。

図１５は、実施例４に係る画像処理装置における色補正モード設定処理の動作手順を示すフローチャートである。図１５のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３またはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって当該プログラムを実行することによって当該色補正モード設定処理が実行される。以下、図１５に示す各処理について説明する。

ステップＳ１５０１において、色補正モード設定部３０４は、領域分割画像生成処理において生成された領域分割画像データ３０７について判定を行い、領域分割画像の中にＲＧＢ値が全て０となる黒色領域（０，０，０）が含まれているかどうかを判定する。処理の詳細は、実施例１と同様であるため説明は省略する。

ステップＳ１５０２において、色補正モード設定部３０４は、投影領域情報３１１を取得する。処理の詳細は、実施例１と同様であるため説明は省略する。

ステップＳ１５０３において、色補正モード設定部３０４は、ステップＳ１５０２で取得した投影領域情報３１１に基づいて、投影領域に内接する大きさに領域分割画像を変倍し、投影領域の中央と、領域分割画像の中央とが合うように領域分割画像を配置する。

ステップＳ１５０４において、画像シフトパラメータ設定部は、領域分割画像を投影領域に対して２次元的にシフトさせるための画像シフトパラメータを初期化する。この画像シフトパラメータは、シフト方向と、シフト量とから成る。本実施例では、シフト方向は左右の２方向とし、シフト量は重複投影領域の幅Ｗｘとする。本ステップでは、シフト方向を左方向、シフト量を０として設定する。

ステップＳ１５０５において、黒色領域を構成する画素の座標を算出し、これらが重複投影領域に入っているかどうかを判定する。この結果、黒色領域が重複投影領域に入っていない場合、ステップＳ１５０６へ進み、黒色領域が重複投影領域に入っている場合、ステップＳ１５０８へ進む。なお、判定処理の詳細は、実施例１と同様であるため説明は省略する。ステップＳ１５０５の判定処理は、実施例１と同様に色補正モード設定部３０４が行っても良いし、あるいは、画像シフトパラメータ設定部が行っても良い。

ステップＳ１５０６において、画像シフトパラメータ設定部は、シフト方向と、シフト量とから成る画像シフトパラメータをＨＤＤ１０５あるいはＲＡＭ１０２に出力する。ＨＤＤ１０５あるいはＲＡＭ１０２は、画像シフトパラメータを記憶する。

ステップＳ１５０７において、色補正モード設定部３０４は、色補正モードを色補正モードＡに設定する。設定された結果は、色補正モード情報３０８として色補正処理部３０５に出力される。

ステップＳ１５０８において、画像シフトパラメータ設定部は、シフト方向と、シフト量との全ての組み合わせに対して領域分割画像をシフトさせたかどうかを判定する。本実施例では、シフト方向は左右方向の２パターンで、シフト量は重複投影領域の幅Ｗｘの１パターンとしているため、これらの組み合わせとなる２パターンに対して、領域分割画像のシフト処理が終了しているかどうかを判定すればよい。

ステップＳ１５０９において、画像シフトパラメータ設定部は、画像シフトパラメータを、ステップＳ１５０８でまだシフト処理が終了していないと判定されたシフト方向と、シフト量との組み合わせに設定する。次いで、画像シフト部は、設定された画像シフトパラメータ（シフト方向と、シフト量との組み合わせ）に基づいて、領域分割画像をシフトさせる。図１６は、画像シフトの一例を示す図である。図１６（ａ）は、画像シフトパラメータが初期値の場合の各プロジェクタの投影領域と、領域分割画画像と、黒色領域と、重複投影領域との関係を示した図であり、黒色領域が重複投影領域に含まれている。図１６（ｂ）は、画像シフトパラメータとして、シフト方向が左方向であり、シフト量がＷｘ（重複投影領域の幅）の場合の画像シフト結果を示している。図１６（ｂ）に示す例では、黒色領域は重複投影領域に含まれていない。図１６（ｃ）は、画像シフトパラメータとしてシフト方向が右方向であり、シフト量がＷｘ（重複投影領域の幅）の場合の画像シフト結果を示している。図１６（ｃ）に示す例では、黒色領域は重複投影領域に入っている。

ステップＳ１５１０では、色補正モード設定部３０４は、色補正モードを色補正モードＢに設定する。設定された結果は、色補正モード情報３０８として色補正処理部３０５に出力される。

以上の処理により、表示用画像データに含まれる黒色領域の情報と、画像シフトパラメータとに応じて色補正モードの設定を行うことができる。図１６に示した例では、左方向にシフトした場合に黒色領域が重複投影領域に入っていないため、結果として、画像シフトパラメータのシフト方向は左方向、シフト量は重複投影領域の幅Ｗｘとして出力される。また、色補正モードは色補正モードＡに設定される。

次に、本実施例における色補正処理ついて詳細に説明する。前述した色補正モード設定処理で設定された色補正モード情報および画像シフトパラメータと、色補正モード情報に対応する色補正パラメータとを使用して、表示用画像データに対して色補正処理を行う。

図１７は、実施例４に係る画像処理装置における色補正処理の動作手順を示すフローチャートである。詳細には、図１７のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３またはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって当該プログラムを実行することによって当該色補正処理が実行される。以下、図１７に示す各処理について説明する。

ステップＳ１７０１において、色補正処理部３０５は、色補正モード情報３０８に含まれる色補正モードが色補正モードＡかどうかを判定する。色補正モードが色補正モードＡである場合、ステップＳ１７０２へ進み、色補正モードが色補正モードＡではない場合、ステップＳ１７０３へと進む。

ステップＳ１７０２において、色補正処理部３０５は、ＨＤＤ１０５あるいはＲＡＭ１０２から色補正パラメータ算出処理により算出された色補正パラメータのうち、各々のプロジェクタに対応する色補正パラメータＡを取得する。

ステップＳ１７０３において、色補正処理部３０５は、ＨＤＤ１０５あるいはＲＡＭ１０２から色補正パラメータ算出処理により算出された色補正パラメータのうち、各々のプロジェクタに対応する色補正パラメータＢを取得する。

ステップＳ１７０４において、色補正処理部３０５は、ＨＤＤ１０５あるいはＲＡＭ１０２から表示用画像データ３０６を取得する。

ステップＳ１７０５において、色補正処理部３０５は、画像のシフト方向と、シフト量とから成る画像シフトパラメータをＨＤＤ１０５あるいはＲＡＭ１０２から取得する。

ステップＳ１７０６において、色補正処理部３０５は、表示用画像データ３０６に対して、各々のプロジェクタの表示対象領域を算出する。まず、色補正モード設定処理のステップＳ１５０３で説明した領域分割画像を投影領域に内接するように配置する方法と同様の方法を用いて表示用画像データを配置する。ステップＳ１５０３では、領域分割画像を配置する対象としていたが、ステップＳ１７０６では領域分割画像の代わりに表示用画像を配置する対象としてステップＳ１５０３同様の処理を行う。次に、ステップＳ１７０５で取得した画像シフトパラメータに基づき、配置された表示用画像をシフトさせる。これにより、各プロジェクタが表示用画像のどの領域を投影すればよいかが決まる。図１８に、プロジェクタ１１０と、プロジェクタ１１１との表示対象領域の一例を示す。図１８では、画像シフトパラメータとして、シフト方向が左方向、シフト量が重複投影領域の幅Ｗｘの場合の例を示している。

ステップＳ１７０７において、色補正処理部３０５は、ステップＳ１７０６で算出された各プロジェクタの表示対象領域に対して、ステップＳ１７０２あるいはステップＳ１７０３で取得した各プロジェクタの色補正パラメータを使用して色補正処理を行う。処理の詳細は、実施例１と同様であるため説明は省略する。

以上の処理により、黒色を含む画像に対して、違和感がなく且つできる限りコントラストが高くなるように処理された補正画像データを生成することが可能となる。

本実施例では、これまで説明したように、画像シフトパラメータに基づいて表示用画像をシフトさせることによって、高コントラストな表示を実現することが可能となるが、一方で投影領域に余白が生じてしまうという問題もある。そこで、表示用画像をあらかじめ拡大処理し、これをオーバースキャン表示しておくことで余白が生じる問題を解決する方法について、図１９を用いて説明する。

図１９（ａ）は、画像シフトおよびオーバースキャン表示が無い場合の、各プロジェクタの投影領域と、重複投影領域と、表示用画像との関係を示す図である。

図１９（ｂ）は、表示用画像を左方向にシフトさせてオーバースキャンなしで表示した場合の、各プロジェクタの投影領域と、重複投影領域と、表示用画像との関係を示す図である。この場合、図１９（ｂ）に示すように、プロジェクタ１１３の投影領域において余白部分が生じてしまう。

図１９（ｃ）は、シフト量に応じて表示用画像をあらかじめ拡大処理しておいて、拡大された表示用画像をオーバースキャン表示した場合の、各プロジェクタの投影領域と、重複投影領域と、表示用画像との関係を示す図である。

図１９（ｄ）は、シフト量に応じて表示用画像をあらかじめ拡大処理した上で、拡大された表示用画像を左方向にシフトさせてオーバースキャン表示した場合の、各プロジェクタの投影領域と、重複投影領域と、表示用画像データとの関係を示す図である。この場合、図１９（ｄ）に示すように、図１９（ｂ）では生じていた余白がなくなることがわかる。以上説明したように、表示用画像をあらかじめシフト量に応じて拡大処理した上でオーバースキャン表示することによって、投影領域に余白が生じることなく高コントラストな表示を実現することが可能となる。

なお、本実施例では、画像シフトパラメータのシフト方向は左右の２方向として説明したが、これに限らず、例えば、シフト補正を投影面上の３６０度方向に拡張してもよいことは言うまでもない。また、画像シフトパラメータのシフト量は重複投影領域の幅Ｗｘとして説明したが、これに限らず、例えば、重複投影領域の幅を最大値として１ピクセルずつ順にシフトさせるようにしてもよい。あるいは、表示用画像中の低輝度領域を重複投影領域に入らない位置へシフトする際に必要なシフト量そのものを、画像シフトパラメータのシフト量として設定するようにしてもよい。

（実施例５）
以下、本発明の第５の実施例（実施例５）について説明する。実施例４では、補正された静止画を表示する方法について説明したが、本実施例では、表示用画像データが動画データである場合の処理について説明する。本実施例では、実施例２と同様に、動画のシーンチェンジを検出してシーンごとに色補正モードと、画像シフトパラメータとを設定し、１つのシーンの中では同一の色補正モードと、同一の画像シフトパラメータとを適用して同一の色補正を行う。これにより、違和感のない高コントラストな表示を実現する。

図２０は、実施例５に係る画像処理装置における画像投影処理の動作手順を示すフローチャートである。詳細には、図２０のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３またはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって当該プログラムを実行することによって当該画像投影処理が実行される。以下、図２０に示す各処理について説明する。

ステップＳ２００１において、パラメータ入力部３０１は、表示用画像データ３０６と、あらかじめ算出しておいた色補正パラメータ３０９と、投影領域情報３１１とをＲＯＭ１０３やＨＤＤ１０５等の記録装置から読み込むことで取得する。ここで表示用画像データ３０６は、１つ以上のシーンで構成される動画データとする。また、色補正パラメータ３０９および投影領域情報３１１の算出方法に関しては、実施例１と同様であるため詳細な説明は省略する。

ステップＳ２００２において、公知の動画のシーンチェンジ検出処理により表示用画像データ３０６を１つ以上のシーンに分割する。

ステップＳ２００３において、領域分割画像を投影領域に対して２次元的にシフトさせるための画像シフトパラメータを初期化する。実施例４と同様に、この画像シフトパラメータは、シフト方向と、シフト量とから成り、シフト方向は左右の２方向とし、シフト量は重複投影領域の幅Ｗｘとする。本ステップでは、シフト方向を左方向、シフト量を０として設定する。

ステップＳ２００４において、全てのシーンに対して色補正モードの設定処理および画像シフトパラメータの設定処理が終了したかどうかを判定する。全てのシーンに対してこれらの処理が終了している場合、ステップＳ２０１５へ進み、全てのシーンに対してこれらの処理が終了していない場合、ステップＳ２００５へ進む。

ステップＳ２００５において、処理対象のシーンを未処理のシーンへと更新する。

ステップＳ２００６において、画像シフトパラメータのシフト方向と、シフト量との全ての組み合わせ（初期値を含む）に対して、現在処理対象となっているシーン内の全てのフレームを処理したかどうかを判定する。本実施例では、シフト方向は左右方向の２パターンとし、シフト量は重複投影領域の幅Ｗｘの１パターンとしている。従って、これらの組み合わせとなる２パターンの画像シフトパラメータと、ステップＳ２００３で設定した初期値とに対して処理が終了しているかどうかを判定すればよい。

ステップＳ２００７において、画像シフトパラメータを、ステップＳ２００６でまだシフト処理が終了していないと判定されたシフト方向と、シフト量との組み合わせに設定する。

ステップＳ２００８において、色補正モードが設定されていないシーン内の全てのフレーム画像に対して色補正モード設定処理が終了したかどうかを判定する。全てのフレーム画像に対して色補正モード設定処理が終了している場合、ステップＳ２０１２へ進み、全てのフレーム画像に対して色補正モード設定処理が終了していない場合、ステップＳ２００９へ進む。

ステップＳ２００９において、処理対象のフレーム画像を未処理のフレーム画像へと更新する。

ステップＳ２０１０において、領域分割画像生成部３０３は、処理対象のフレーム画像を静止画とみなし、これに対して領域分割画像生成処理を行う。領域分割画像生成処理は実施例１と同様であるため、詳細な説明は省略する。

ステップＳ２０１１において、色補正モード設定部３０４は、処理対象のフレーム画像を静止画とみなし、これに対して色補正モード設定処理を行う。次いで、処理は、ステップＳ２００８へ移行する。本実施例における色補正モード設定処理は後述する。

ステップＳ２０１２において、現在設定されている画像シフトパラメータに対する色補正モードの評価値を算出する。次いで、処理は、ステップＳ２００６へ移行する。この色補正モードの評価値は、シーン内の全フレーム画像に対して、色補正モード設定処理において色補正モードＡに設定されたフレームの割合とする。図２１は、本実施例におけるシーン内の色補正モード設定処理の一例を示した図である。図２１は、５フレームの画像から成る１つのシーンを示している。シフト方向が左方向、シフト量がＷｘの場合の色補正モードの評価値は、色補正モードＡに設定されたフレームが４枚、色補正モードＢに設定されたフレームが１枚であるため、４／５＝０．８となる。同様に、シフト方向が右方向、シフト量がＷｘの場合の色補正モードの評価値は、２／５＝０．４となる。なお、ここで算出された色補正モードの評価値は、画像シフトパラメータと対応づけた状態で記憶される。

ステップＳ２０１３において、ステップＳ２０１２で算出した色補正モードの評価値に基づき、シーン内の色補正モードを決定する。具体的には、各画像シフトパラメータに対して算出された色補正モードの評価値を比較することでこれを決定する。まず、色補正モードの評価値が最も高くなるものを算出し、色補正モードの評価値が０．５以上であった場合は、シーン内の色補正モードを色補正モードＡに設定する。色補正モードの評価値が０．５よりも小さかった場合は、シーン内の色補正モードを色補正モードＢに設定する。

ステップＳ２０１４において、現在処理対象となっているシーンに対する画像シフトパラメータが、ＨＤＤ１０５またはＲＡＭ１０２に記憶される。具体的には、ステップＳ２０１３において最も高い値として評価された色補正モードの評価値に対応する画像シフトパラメータを、本ステップにおける出力対象とする。次いで、処理は、ステップＳ２００３へ移行する。

ステップＳ２０１５において、色補正処理部３０５は、表示用画像データ３０６に対し色補正処理を行う。この際、色補正処理部３０５は、ステップＳ２０１４で決定された各シーンの色補正モード情報と、各シーンの色補正モード情報に対応する色補正パラメータと、各シーンの画像シフトパラメータとを使用する。色補正処理の詳細は、実施例４と同様であるため説明は省略する。

ステップＳ２０１６において、画像出力部３０２は、直前のステップＳ２０１５で生成した補正画像データ３１０をプロジェクタ１１０、１１１を用いてスクリーンに投影する。

次に、本実施例における色補正モード設定処理について詳細に説明する。図２２は、実施例５に係る画像処理装置における色補正モード設定処理の動作手順を示すフローチャートである。図２２のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３またはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって当該プログラムを実行することによって当該色補正モード設定処理が実行される。以下、図２２に示す各処理について説明する。

ステップＳ２２０１において、色補正モード設定部３０４は、領域分割画像生成処理において生成された領域分割画像データ３０７について判定を行い、領域分割画像の中にＲＧＢ値が全て０となる黒色領域（０，０，０）が含まれているかどうかを判定する。処理の詳細は実施例１と同様であるため説明は省略する。領域分割画像に黒色領域が含まれる場合、ステップＳ２２０２へ進み、領域分割画像に黒色領域が含まれない場合、ステップＳ２２０７へ進む。

ステップＳ２２０２において、色補正モード設定部３０４は、投影領域情報３１１を取得する。処理の詳細は実施例１と同様であるため説明は省略する。

ステップＳ２２０３において、色補正モード設定部３０４は、ステップＳ２２０２で取得した投影領域情報３１１に基づいて、投影領域に内接する大きさに領域分割画像を変倍し、投影領域の中央と、領域分割画像の中央とが合うように領域分割画像を配置する。

ステップＳ２２０４において、色補正モード設定部３０４は、ステップＳ２００７で設定された画像シフトパラメータに基づき、領域分割画像をシフトさせる。

ステップＳ２２０５において、色補正モード設定部３０４は、黒色領域を構成する画素の座標を算出し、これらが重複投影領域に入っているかどうかを判定する。処理の詳細は実施例１と同様であるため説明は省略する。

ステップＳ２２０６において、色補正モード設定部３０４は、色補正モードを色補正モードＡに設定する。設定された結果は、色補正モード情報３０８として色補正処理部３０５に出力される。

ステップＳ２２０７において、色補正モード設定部３０４は、色補正モードを色補正モードＢに設定する。設定された結果は、色補正モード情報３０８として色補正処理部３０５に出力される。

以上説明した処理により、１つ以上のシーンを含む動画データに対して、シーンごとに画像データの特徴に応じた色補正モードを設定することで、黒色を含む動画を、違和感がなく且つコントラストができる限り高い状態で表示することが可能となる。

（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (9)

1. 少なくとも２台のプロジェクタから投影画像の一部が重複するように投影することで１つの画像を構成する画像処理装置であって、
   表示用画像の中の高輝度領域または低輝度領域の何れかが重複投影領域に入っているかどうかを判定し、入っている場合は表示用画像データに対して輝度を均一にする色補正処理を行い、入っていない場合は該色補正処理を行わない色補正手段と、
   前記表示用画像の中の高輝度領域または低輝度領域の何れかと、前記少なくとも２台のプロジェクタによる重複投影領域との関係に基づき、コントラストを制御するための色補正モードを設定する色補正モード設定手段と
   を備え、
   前記色補正手段は、前記色補正モードに対応する色補正パラメータに基づき、前記表示用画像データに対して前記色補正処理を行い、
   前記表示用画像データは、１つ以上のシーンから構成される動画データであり、
   前記色補正モード設定手段は、シーンごとに色補正モードを決定することを特徴とする画像処理装置。
2. 前記色補正モード設定手段は、コントラストを優先する色補正パラメータを用いる第１の色補正モードと、輝度の均一性を優先する色補正パラメータを用いる第２の色補正モードとの何れかを選択することを特徴とする請求項１記載の画像処理装置。
3. 前記色補正モード設定手段は、動画のシーンチェンジを検出することにより、前記表示用画像データをシーンごとに分割し、
   前記色補正モード設定手段が、シーンごとに色補正モードを決定することは、
   当該シーン内のフレームごとに、第１の色補正モードと、第２の色補正モードとの何れかを決定することと、
   当該シーン内のフレームごとに決定された、第１の色補正モードの数と、第２の色補正モードの数とを比較し、より多い色補正モードを当該シーンの色補正モードに決定することと
   を含むことを特徴とする請求項１記載の画像処理装置。
4. 前記表示用画像を投影面に対して２次元的にシフトするための画像シフトパラメータを設定する画像シフトパラメータ設定手段と、
   前記画像シフトパラメータに基づき前記表示用画像をシフトする画像シフト手段と
   をさらに備え、
   前記色補正モード設定手段は、前記画像シフト手段によってシフトされた前記表示用画像の中の高輝度領域または低輝度領域の何れかと、前記少なくとも２台のプロジェクタによる重複投影領域との関係に基づき、コントラストを制御するための色補正モードを設定することを特徴とする請求項１記載の画像処理装置。
5. 前記画像シフトパラメータは、シフト方向と、シフト量との２つのパラメータから成ることを特徴とする請求項４記載の画像処理装置。
6. 前記画像シフトパラメータは、前記表示用画像の中の高輝度領域または低輝度領域の何れかが前記重複投影領域に入らない位置までシフトするためのパラメータであることを特徴とする請求項４記載の画像処理装置。
7. 前記シフト量の上限値は、前記重複投影領域の大きさに基づくことを特徴とする請求項５記載の画像処理装置。
8. 少なくとも２台のプロジェクタから投影画像の一部が重複するように投影することで１つの画像を構成する画像処理方法であって、
   表示用画像の中の高輝度領域または低輝度領域の何れかが重複投影領域に入っているかどうかを判定し、入っている場合は表示用画像データに対して輝度を均一にする色補正処理を行い、入っていない場合は該色補正処理を行わない色補正手段が、前記色補正処理を行うステップと、
   色補正モード設定手段が、前記表示用画像の中の高輝度領域または低輝度領域の何れかと、前記少なくとも２台のプロジェクタによる重複投影領域との関係に基づき、コントラストを制御するための色補正モードを設定するステップと
   を備え、
   前記色補正手段は、前記色補正モードに対応する色補正パラメータに基づき、前記表示用画像データに対して前記色補正処理を行い、
   前記表示用画像データは、１つ以上のシーンから構成される動画データであり、
   前記色補正モード設定手段は、シーンごとに色補正モードを決定することを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７の何れかに記載の画像処理装置として機能させるための、プログラム。

Images