JP5239326B2 - 画像信号処理装置、画像信号処理方法、画像投影システム、画像投影方法及びプログラム - Google Patents

Description

本発明は、プロジェクタを使用してスクリーン上に画像を投影させるための画像信号を生成させる画像信号処理装置及び画像信号処理方法、並びにその処理方法を実行するプログラムと、生成された画像信号による投影を行う画像投影システム及び画像投影方法、並びにその処理方法を実行するプログラムに関する。

従来、異なる視点で異なる画像を観察するために開発された技術として、立体視ディスプレイがある。例えば、音響光学素子の光変調で、リアルタイムに３次元のコンピュータ生成ホログラムを作成して、立体視させる技術が知られている。
或いは、強誘電性液晶を利用した裸眼立体ディスプレイなどが開発されている。

また、液晶画像表示パネルを利用して、そのパネルをある視点から観察した場合と、別の視点から観察した場合とで、それぞれ別の画像を表示させる技術が開発され、実用化されている。例えば、自動車内のディスプレイとして、運転席側から見た場合に、ナビゲーション用の画像が表示されるようにし、助手席側から見た場合に、テレビジョン放送などの画像が表示されるものが実用化されている。この場合には、表示パネル上の画素を２つの群に分けて、一方の視点から見える画素の群と、他方の視点から見える画素の群とに分けて、それぞれの画素群が、特定の視点方向からだけ見えるようにパネルを構成させている。

特許文献１には、複数の視点方向から複数の画像を表示させる技術の例が記載されている。
特開２００５−２８４５９２号公報

しかしながら、従来の複数の視点で異なる画像を表示させる技術は、いずれも表示パネルやスクリーンなどに特殊な機構や材料を必要とするものであり、構成が複雑かつ高価であり、また、表示される画像の解像度も、高くないという問題があった。

本発明はこれらの点に鑑みてなされたものであり、複数の視点から観察した場合に異なる画像を表示させることが、簡単な構成で解像度高く行えるようにすることを目的とする。

本発明は、第１の入力画像信号と第２の入力画像信号とが入力されて、第１及び第２のプロジェクタからスクリーンに投影範囲を重ねて投影させるための第１及び第２の投射用画像信号を生成させる構成であり、その構成として、記憶部と、強度補正部とを備える。
記憶部は、スクリーン上の各投影位置における、第１の観察位置から観察した際の、２つのプロジェクタからの投影光の強度比と、第１の観察位置とは異なる第２の観察位置から観察した際の、２つのプロジェクタからの投影光の強度比とを記憶する。
強度補正部は、第１の入力画像信号と第２の入力画像信号とを加算して、第１の投射用画像信号を生成させる際の加算する比率を、ぞれぞれの投影位置ごとに記憶部が記憶した強度比により設定して加算する。さらに強度補正部は、第１の入力画像信号と第２の入力画像信号とを加算して、第２の投射用画像信号を生成させる際の加算する比率を、ぞれぞれの投影位置ごとに記憶部が記憶した強度比により設定して加算する。
そして、強度補正部で加算して生成された第１の投射用画像信号を第１のプロジェクタに供給し、強度補正部で加算して生成された第２の投射用画像信号を第２のプロジェクタに供給する。

第１のプロジェクタに供給された第１の投射用画像信号による投影と、第２のプロジェクタに供給された第２の投射用画像信号による投影とを、投射範囲を重ねて同一スクリーン上に行うことで、それぞれの観察位置で観察されるスクリーン上の投影画像は、２つの投射用画像が重なった状態となる。ここで、２つのプロジェクタからの投影光の強度比に基いて、第１の入力画像信号と第２の入力画像信号とを、それぞれのプロジェクタに供給する投射用画像信号に分配して加算させてあることで、一方の観察位置で一方の入力画像信号による画像を観察でき、他方の観察位置で他方の入力画像信号による画像を観察できるようになる。

本発明によると、２つのプロジェクタに供給する投射用画像信号の作成処理を適正に行うことで、２つの観察位置からスクリーンを観察した場合に、それぞれ別の画像が表示されるようになる。この場合、２つの画像を生成させるための処理は、２つのプロジェクタからの投影光の各観察位置での強度比に基いた演算処理で行われ、スクリーンなどには２つの画像を表示させるための特別な構成を設ける必要が全くなく、比較的簡単な構成で実現できると共に、表示画像の解像度についても通常の画像と同じ解像度とすることができ、良好な２画像表示が可能となる。

以下、本発明の一実施の形態を、添付図面を参照して説明する。
まず、本実施の形態において画像を表示するシステム構成について、図２を参照して説明する。本実施の形態においては、図２に示すように、第１プロジェクタ２０ａと第２プロジェクタ２０ｂの２台のプロジェクタを用意する。その２台のプロジェクタ２０ａ，２０ｂの投射レンズ２１ａ，２１ｂから１つのスクリーン１９の背面に画像を投射し、スクリーン１９の表面側からユーザが投射画像を見るようにして、いわゆるリアプロジェクション方式のプロジェクタとして構成してある。スクリーン１９に投射する範囲は、同じ位置となるようにしてある。このため、第１プロジェクタ２０ａからスクリーン１９に投射する角度位置と、第２プロジェクタ２０ｂからスクリーン１９に投射する角度位置は、異なる位置としてあり、スクリーン１９と直交する方向からずれた角度位置から投射する構成としてある。このため、それぞれのプロジェクタ２０ａ，２０ｂから投射される画像は、補正をしない場合には、図２にスクリーン上に破線で示した範囲１９ａ，１９ｂのように台形に歪んだ画像となるが、本例においてはこの歪みを補正して、スクリーン上に２台のプロジェクタ２０ａ，２０ｂからの投射光が正しく重なって表示されるようにしてある。

本実施の形態においては、このスクリーン１９上に投射表示される画像を、スクリーン１９を観察する方向に応じて異なる画像となるようにしたものである。
次に、このように２台のプロジェクタを使用してスクリーンに投影させて、２つの異なる画像を表示させることができる原理について、図３〜図１０を参照して順に説明する。

図３は、２台のプロジェクタ１，２を用意して、スクリーン３に重ねて投影させた例を示す。この例では、プロジェクタ１は赤色の光を投射させ、プロジェクタ２は青色の光を投射させる構成としてある。リアプロジェクション方式のプロジェクタ用のスクリーン３は、完全拡散面（即ち方向によって輝度が変化しないような面）ではなく、輝度の方向依存性が存在するものを使用する。図３（ａ）は、２台のプロジェクタ１，２からスクリーン３に、角度を持って投射させた場合であり、図３（ｂ）は、２台のプロジェクタ１，２からスクリーン３に、平行に投射させた場合である。

例えば図３（ａ）に示すように２方向から角度を持ってスクリーン３に投射させた場合には、２台のプロジェクタ１，２からの光が重畳されたスクリーン３上の領域のある点を見ると、ある方向からは青が強く見え、別の方向からは赤が強く見えるになる。
スクリーン上のある点が、どのような輝度と色で観察されるかは、その点とプロジェクタの射出瞳との位置関係、及び、その点と観察者の視点との位置関係によって決まるため、図３（ｂ）に示すように、２台のプロジェクタ１，２の光軸が平行に配置されている場合でも、図３（ａ）の場合と同様に、方向によって同一の点（又は領域）が異なる輝度で観察される。なお、スクリーン上の各点や領域は、輝度と色が観察されるが、色は光の各帯域ごとの輝度の総和として観察され、以後は色を含めて輝度と表現する。

ここで、経度をθ、緯度をφとしたとき、（θ，φ）によって任意の方向を指定できるものとする。リアプロジェクション方式のプロジェクタが備えるスクリーンの光学特性は、スクリーン上のある点Ｐが指定され、さらにこの点Ｐに入射する光線の到来方向（θ，φ）が指定されたとき、点Ｐから観察者に到達する光線の輝度が、その観察方向（β，δ）に対して定義される。これを、次の（１）式に示す。なお、ここでは簡単のために、スクリーンの中の拡散層の厚みは無視し、点Ｐはこの拡散層に含まれているものとする。

〔数１〕
ｄＩ＝ｄθｄφｆ（θ，φ）ｇ（θ，φ，β，δ） ・・・（１）

この（１）式において、ｄθｄφｆ（θ，φ）は、方向（θ，φ）の単位立体角から入射する光線の輝度である。ｇ（θ，φ，β，δ）は、方向（θ，φ）から入射した光線を、方向（β，δ）の単位立体角から観察した場合のゲインで、スクリーンに固有の関数である。
このとき、方向（β，δ）から観察したときのスクリーン上の輝度は、次の（２）式に示すようになる。

〔数２〕
Ｉ＝∫ｄθｄφｆ（θ，φ）ｇ（θ，φ，β，δ） ・・・（２）

以降では簡単のために、方向の経度成分は０とし、光線の入射方向θと、観察方向βのみを考慮する。図４は、スクリーンへの光線の入射方向θと、観察方向βの関係を示した図である。

図５は、典型的なリアプロジェクション方式のプロジェクタのスクリーンの光学特性を示したものである。この例では、プロジェクタ１からの光の光軸が、スクリーン３と直交するように配置した例である。図５中の各グラフ（特性図）は、それぞれ別の入射方向について、観察方向と強度（又はゲイン）との関係とを示したものである。図５では、入射角が３０度、１５度、０度、−１５度、−３０度の５つの例を示してあり、それぞれの入射角の光を、観察角度を変化させることで強度が変化するが、その観察角度による強度変化状態が大きく異なっていることが判る。
図６は、実際の見え方の例を示したものである。この図６の例は、入射角０度の場合の例を示してあり、この入射角０度の光は、観察角度が０度のときが光の強度が最大になっている。

図７は、図５に示した光学特性を持つスクリーンに、図３（ｂ）に示した配置、即ち２台のプロジェクタ１，２を平行に配置した光を入射させた場合の、両プロジェクタ１，２からの光が重なる範囲での観察方向による見え方を、図５と同様にそれぞれ別の角度で示している。図７では、プロジェクタ１からの光をＬ１、プロジェクタ２からの光をＬ２として示す。なお、図７での入射角度は、プロジェクタ１からの光Ｌ１の入射角度で示してある。
例えばプロジェクタ１からの入射角度０度の光Ｌ１を、観察角度０度で観察した場合、その光Ｌ１の強度は最も高くなるが、プロジェクタ２からの光Ｌ２については、別の観察角度のときの方が、強度が高くなる。その変化特性は、図７に示すように入射角度ごとにそれぞれ異なる。なお、図５及び図７に示されているグラフは、方向の経度成分は０度としてあるので、上述した（１）式，（２）式のｇ（θ，φ，β，δ）はｇ（θ，０，β，０）となる。

このように、複数のプロジェクタによって同一の領域が投影されているときの、観察方向による見え方は、図７のグラフに示したような観察方向―強度曲線であるｇ（θ，φ，β，δ）が求められている限り、かなり正確に計算することができる。これを利用して、ある観察方向から見たときに、正確に所望の見え方になるように、予め各プロジェクタ１，２の出力画像を調整可能である。
図７の例では、水平方向に２台のプロジェクタ１，２を並べた例であるが、スクリーンへの入射方向を垂直方向に変えた構成としても、同様なことが言える。

次に、このような観察方向―強度曲線を利用して、スクリーン上に２つの画像を表示させるための補正処理について説明する。
まず、座標系と各点とを図８に示すように定義する。図８に示すように、スクリーンの水平方向をｘ軸、垂直方向をｙ方向とした場合、観察対象点はＰ（ｘ、ｙ）とし、プロジェクタの射出瞳はＳ（Ｘ，Ｙ，−Ｌ）とする。また、プロジェクタの射出瞳の面積をｄＳ_Ｓとし、観察者の視点位置（観察眼）をＤ（ｕ，ｖ，ｗ）とし、観察眼の瞳面積をｄＳ_Ｄとする。Ｌはプロジェクタとスクリーンとの距離である。
このように定義した場合に、点Ｓに位置するプロジェクタによる観察対象点の輝度の内、観察者に届く光の強度は次の（３）式に示すようになる。

ここで、θ（ＰＳ）は、点Ｐから点Ｓの方向に見た場合のθであり、Ｉ_ｓは点Ｓに位置するプロジェクタによる観察対象点の輝度とする。
他方、点Ｔに位置するプロジェクタによる観察対象点の輝度は、次のようになる。

ここで、点Ｓ，Ｔに配置したプロジェクタの射出瞳の大きさが等しく、プロジェクタとスクリーンとの距離Ｌに比べて（Ｘ−ｘ）や（Ｙ−ｙ）が十分に小さい値であるとすると、Ｉ（Ｔ，Ｄ，Ｐ）とＩ（Ｓ，Ｄ，Ｐ）との比は、次の（５）式として示される。

この（５）式の比αは、ある領域において、一方のプロジェクタによる画像の輝度が、他方のプロジェクタの画像の輝度の何倍であるかを表す値である。
ここでは簡単のために、輝度の比αが、注目している領域の全ての箇所に亘って同じ値であるとして、２台のプロジェクタによって重畳された状態で所望の画像が観察できる条件を考える。入射方向と観察方向は、それぞれの和が１８０°となるようにしておく。和が１８０°と言うことは、スクリーンの法線を含む面に対して、プロジェクタや観察方向が線対称の関係である。

２つの投影の合計が所望の出力になっているという条件は、ある画素について、次の（６）式の方程式を解くことによって求められる。ここで前述の比をα、一方の入力画像の画素値をＢ、一方のプロジェクタによる観察対象点の輝度をａ^γ、他方のプロジェクタによる観察対象点の輝度をｂ^γ、ｐ及びｑを定数とする。定数ｐはオフセット量を示し、定数ｑは輝度のダイナミックレンジである。オフセット量ｐは、実際に観察される画像のグレーレベルである。一般に観察される画像は、画像間の加減算を行うために、最初からグレースケールがオフセットとして上乗せされていることになる。ダイナミックレンジｑは、画像の輝度方向のスケールである。この値が小さい方が、Ａ，Ｂの値の組の存在範囲が大きくなる。γ（ガンマ）はガンマ特性である。

この（６）式を解くことで、（７）式が得られる。

従って、一方のプロジェクタの輝度ａと、他方のプロジェクタの輝度ｂは、次の（８）式及び（９）式で求められる。この輝度ａ，ｂの計算を、画像の各画素ごとに行うことで、２台のプロジェクタから出力すべき画像が求められる。

（６）式から（９）式までは、スクリーン上の各点の状態を近似した例である。
なお、実際にスクリーンに２台のプロジェクタから重ねて投影する場合には、画像の重畳は物理的に足し算になり、引き算は不可能である。つまり、（８）式及び（９）式における輝度ａ，ｂは、プロジェクタの出力値であるから正の値（負でない値）であることが求められる。この条件を満たすためには、（１０）式、または（１１）式であることが必要である。なお、それぞれの存在範囲の例については後述する（図１０）。

ここで、２台のプロジェクタ１，２からの出力値ａ，ｂと、各視点Ａ，Ｂとの関係が図９に示す状態であるとき、一般化した式としては、（１２）式のようになる。この（１２）式は（６）式を一般化したものであり、画素毎に逆行列を計算して、精度の高い結果を得ることができる。

次に、ここまで説明した原理を適用した本実施の形態による処理構成を、図１を参照して説明する。
図１の構成は、画像処理装置１０を用意し、その画像処理装置１０で生成された第１プロジェクタ２０ａ用の画像信号と、第２プロジェクタ２０ｂ用の画像信号とを、それぞれのプロジェクタ２０ａ，２０ｂに供給し、両プロジェクタ２０ａ，２０ｂから１つのスクリーン１９に投射範囲を重ねて投射させるものである。

画像処理装置１０は、２つの画像信号入力端子１１，１２を備え、それぞれ別の画像信号が入力される。入力端子１１に得られる画像信号は、観察点Ａから観察するユーザに表示させる画像の信号であり、入力端子１２に得られる画像信号は、観察点Ｂから観察するユーザに表示させる画像の信号である。

両入力端子１１，１２に得られる画像信号は、画像入力部１３から射影変換調整部１４に供給する。射影変換調整部１４は、既に図２を参照して説明したスクリーン上での投射画像の歪み、即ち補正しない場合には、図２に破線で示した範囲１９ａ，１９ｂのように台形に歪んだ画像となるのを補正して、スクリーン上で正しい四角形の画像となるようにする補正処理が行われる。ここでは、入力端子１１に得られる画像信号（第１の画像信号）について、第１プロジェクタ２０ａから投射して歪まないようにする補正と、第２プロジェクタ２０ｂから投射して歪まないようにする補正が行われる。同様に、入力端子１２に得られる画像信号（第２の画像信号）について、第１プロジェクタ２０ａから投射して歪まないようにする補正と、第２プロジェクタ２０ｂから投射して歪まないようにする補正が行われる。

射影変換された第１の画像信号と第２の画像信号は、それぞれｐ・ｑ調整部１５に供給して、定数ｐ及びｑの調整が行われる。ここでの定数ｐ及びｑは、先に（６）式で説明したように、定数ｐはオフセット量であり、定数ｑは輝度のダイナミックレンジである。オフセット量ｐは、画像信号のグレーレベルに対応した値である。ダイナミックレンジｑは、輝度方向のスケールである。
ｐ・ｑ調整部１５でそれぞれの調整が行われた両画像信号を、強度補正部１６に供給し、演算処理で、それぞれのプロジェクタ２０ａ，２０ｂに供給する画像信号を生成させる。この強度補正部１６での演算処理が、上述した数式での演算処理である。強度補正部１６での補正演算時に必要な、それぞれの表示位置での２つのプロジェクタの強度比αは、α設定部１７に予め記憶させてあり、そのα設定部１７に記憶された比αを使用して、強度補正部１６での演算処理を行う。この演算処理が、それぞれの表示位置（画素位置）ごとに行われ、視点Ａから観察する画像と視点Ｂから観察する画像を生成させるための、各プロジェクタに供給する画像信号が生成される。

強度補正部１６が出力する第１プロジェクタ用の画像信号を、分配出力部１８から出力させて、第１プロジェクタ２０ａに供給する。また、強度補正部１６が出力する第２プロジェクタ用の画像信号を、分配出力部１８から出力させて、第２プロジェクタ２０ｂに供給する。
第１プロジェクタ２０ａでは、供給された画像信号により投射させる像光を生成させ、その像光を投射レンズ２１ａからスクリーン１９の背面に投射させる。第２プロジェクタ２０ｂでは、供給された画像信号により投射させる像光を生成させ、その像光を投射レンズ２１ｂからスクリーン１９の背面に投射させる。スクリーン１９に投射させる位置は、両プロジェクタ２０ａ，２０ｂで一致させてある。

強度補正部１６での演算処理を、フローチャートで示したのが図１１である。
この図１１のフローチャートは１フレーム（１枚）の画像の処理を示したものである。まず、垂直方向の画素位置を始点に設定し（ステップＳ１１）、水平方向の画素位置についても始点に設定する（ステップＳ１２）。
そして、その水平・垂直の位置の画素について、上述した数式に基づいた演算処理を行う（ステップＳ１３）。具体的には、第１プロジェクタの出力が、観察点Ｏ１と観察点Ｏ２のそれぞれの位置で、どれだけのゲインを持って観察されるかを、それぞれｉ，ｊとしたとき、次式の演算を行う。

この式に基づいて、ａ，ｂを解き、この値ａ，ｂを各プロジェクタのこの画素の出力値とする。この画素値を求める処理は、例えば画像信号の各画素が赤色信号Ｒ，青色信号Ｂ，緑色信号Ｇで構成される場合、それぞれの色信号ごとに個別に実行される。
そして、水平方向の画素位置を示す画素値を１つ加算して、その加算値が水平方向の画素数を越えたか否か判断し（ステップＳ１４）、越えていない場合に、新たに設定された画素位置の信号に対して、ステップＳ１３の処理を行う。
ステップＳ１４で、水平方向の画素位置を示す加算値が、このとき処理する画像信号の水平方向の画素数を越えた場合には、ステップＳ１５に移って、垂直方向の画素位置を示す画素値を１つ加算して、別の水平ラインの処理に移る。このときには、その加算値が垂直方向の画素数（水平ライン数）を越えたか否か判断し、越えていない場合に、ステップＳ１２に移って、水平方向の画素位置を初期化し、新たに設定された水平ラインの画素位置の信号に対して、ステップＳ１３の処理を行う。

そして、ステップＳ１５で水平ライン位置を示す加算値が、このとき処理する画像信号の水平ライン数を越えた場合には、このときのフレームの全ての画素について処理が完了したので終了し、次のフレームの画像が入力されるのを待機する。

図１２，図１３，図１４は、本実施の形態の処理で、２枚の画像を実際に同時に表示させた例を示したものである。
図１２（ａ），（ｂ）は、図１の入力端子１１，１２に得られる２つの画像信号による２枚の画像の例を示したものである。即ち、例えば、図１２（ａ）に示す画像を表示させる画像信号（映像信号）が、入力端子１１に得られ、図１２（ｂ）に示す画像を表示させる画像信号（映像信号）が、入力端子１２に得られるとする。
このとき、強度補正部１６での補正処理で生成される、第１プロジェクタ２０ａに供給する画像信号は、図１３（ａ）に示す画像を表示させる信号となり、第２プロジェクタ２０ｂに供給する画像信号は、図１３（ｂ）に示す画像を表示させる信号となり、それぞれの画像が投射光としてスクリーン１９に投影される。

図１３に示す２つの投影画像は、それぞれの図１２（ａ），（ｂ）に示す２つの画像が合成された画像であるが、各画素位置での合成状態は、それぞれの観察位置での強度比に基づいて演算されたものである。
この図１３（ａ）に示す画像と、図１３（ｂ）に示す画像を、投射範囲を重ねた状態でスクリーンに投射することで、図１４に示すように、例えば、斜め右からスクリーンを見た場合には、図１２（ａ）に示す画像が観察され、斜め左からスクリーンを見た場合には、図１２（ｂ）に示す画像が観察され、それぞれの観察位置で、２つの画像の内の一方だけが見えるようになる。但し、ステップＳ１３の処理を行う際には、予め、一方の観察位置が斜め右に設定してあり、他方の観察位置が斜め左に設定してある必要がある。それぞれの視点位置を変える場合には、α設定部１７に対応した視点位置の比αを設定する必要がある。

なお、上述した（１０）式及び（１１）式で説明したように、２つのプロジェクタ２０ａ，２０ｂから投影する信号の各画素の輝度値Ａ，Ｂについては、ａ，ｂいずれも負にしない値とする必要があり、各画素の輝度値Ａ，Ｂの存在範囲（即ち許容できる値）が決定される。
算出する上で必要な既に説明した各パラメータｐ，ｑ，γ，αの値が決まることで、２つのプロジェクタ２０ａ，２０ｂの投射光の許容できる画素の輝度値Ａ，Ｂが決まる。

図１０（ａ），（ｂ）は、この許容できる範囲の例を示した図であり、例えば輝度値（画素値）Ａ，Ｂとして、０から２５５までの値であるとし、横軸を一方のプロジェクタの輝度値Ａ、縦軸を他方のプロジェクタの輝度値Ｂとしてある。各図において、最大値Ｂmaxと最小値Ｂminの間の範囲から画素値（輝度値）を選択することで、数式を用いて説明した２画像の同時表示が可能となる。
図１０（ａ）は、オフセット量ｐが１２８、輝度のダイナミックレンジｑが１、γが２．５の例である。この値が設定されて、強度比αが０．１の場合には、図示のように、最大値Ｂmaxと最小値Ｂminの間の範囲が比較的広く設定可能となる。これに対して、強度比αが１に近づくに従って（図１０（ａ）では比α＝０．９まで示す）、最大値Ｂmaxと最小値Ｂminの間の許容可能な範囲が順に狭くなっていく。

図１０（ｂ）は、オフセット量ｐが１２８、輝度のダイナミックレンジｑが０．５、γが２．５の例である。この値が設定されて、強度比αが０．１の場合には、図示のように、最大値Ｂmaxと最小値Ｂminの間の範囲に制限がなくなる。これに対して、強度比αが１に近づくに従って（図１０（ｂ）では比α＝０．９まで示す）、最大値Ｂmaxと最小値Ｂminの間の許容可能な範囲が順に狭くなっていく。

このように、強度比αに応じて、許容可能な画素値の存在範囲が変化するが、許容可能な範囲内であれば、合成された２つの画像は、２つの観察位置の一方と他方で、それぞれ一方の画像と他方の画像のいずれか１つだけが観察されることになる。従って、観察位置ごとに異なる画像を提示することが可能となる。
本実施の形態の場合、プロジェクタからスクリーンまでの機構としては、２台のプロジェクタ２０ａ，２０ｂを用意する点だけが、従来のリアープロジェクタの構成と異なるだけであり、それぞれのプロジェクタ２０ａ，２０ｂそのものは、既存のリアープロジェクタと全く同じものでよい。２台のプロジェクタに供給する画像信号を生成処理する画像処理装置１０を設ける点が構成的に新規なものであり、画像処理装置１０を用意すれば、それ以外は既存の構成を適用して比較的簡単に実現可能である。
また、スクリーンに表示される画像は、画素数などに制限がなく、２画像の同時表示を行うために解像度が犠牲になることがない。但し図１０で説明したように、２つの画像の強度比に応じて、取り得る輝度範囲に若干の制限が加わるため、画像の画素位置によっては色再現性が合成しない場合に比べて若干劣ることになるが、２つの画像をそれぞれの位置から観察する上ではそれ程問題にはならない。

なお、ここまで説明した実施の形態では、１つのスクリーンに２台のプロジェクタを配置した構成としたが、例えば、複数のスクリーンを縦又は横（或いは縦横にマトリクス状）に連続して配置したマルチスクリーン構成として、それぞれのスクリーンの背後に２台ずつのプロジェクタを配置して、それぞれのスクリーンと２台のプロジェクタとの組で、ここまで説明した処理構成で合成画像を表示させるようにして、大きなサイズの画像を表示させるようにしてもよい。

また、ここまで説明した実施の形態では、２つの観察位置は、予め決められた位置として、それぞれの画像を見ることが可能な位置を決めて、処理を行うようにしたが、例えばスクリーンの前にいる観察者（視聴者）の視点の位置を検出して、その検出した位置を観察位置として、その観察位置での２つのプロジェクタからの光の強度比に応じた画像処理を行うようにしてもよい。

図１５はこの場合のシステム構成例を示した図である。２台のプロジェクタ２０ａ，２０ｂで投射されるスクリーン１９の前に、人物の位置を検出するセンサ３０を設けて、そのセンサ３０で、二人までの観察者ｍ１，ｍ２の位置（角度位置）を検出する。センサ３０としては、例えばカメラで撮像して、撮像された画像から位置検出を行う。そのセンサ３０の検出情報は、画像処理装置１０′に送る。画像処理装置１０′の構成としては、図１に示した画像処理装置１０のα設定部１７での強度比の設定を、検出した観察者ｍ１，ｍ２に応じて適応的に行うようにしたことが、図１に示した画像処理装置１０と異なる点である。

このように構成したことで、観察者の位置に応じて適応的に画像の合成状態を変えることができ、観察者の動きに対応が可能となる。
なお、図１５の構成で、例えば観察者が一人だけ検出された場合には、その観察者に提示する映像だけを表示させ（即ち合成処理を行わず）、観察者として二人検出された場合に、実施の形態で説明した合成処理を行って、それぞれの観察者に個別の画像を提示させるようにしてもよい。

図１５の観察者の検出構成は一例であり、他の構成でよい。即ち、例えば、観察者が位置情報を送信する送信装置を所持するようにして、その送信装置からの信号を画像処理装置側で受信して、スクリーンからの角度位置を判断するようにしてもよい。

また、ここまで説明した実施の形態では、水平方向の異なる２つの観察する角度位置を設定して、それぞれの観察角から画像が異なる画像が表示されるようにしたが、垂直方向に観察する角度位置を異なる２つの位置に設定してもよい。水平と垂直を組み合わせた角度でもよい。

さらに、角度ではなく、観察位置のスクリーンからの距離を変えて、それぞれの位置で異なる画像が表示されるようにしてもよい。具体的には、スクリーンから近い特定位置で観察した場合に表示される画像と、スクリーンから遠い特定位置で観察した場合に表示される画像とを設定するようにしてもよい。この場合でも、それぞれの観察位置からスクリーンの各表示点（画素位置）を見る角度が、２つの観察位置で異なるため、上述した実施の形態での補正処理と同様の演算処理での補正で実現可能である。

また、上述した実施の形態では、スクリーンの背面にプロジェクタを配置したいわゆるリアープロジェクション型に適用した例としたが、スクリーンの前面側（観察する側）に２台のプロジェクタを配置した構成として、その２台のプロジェクタからスクリーンに投影範囲を重ねて投影させて、合成するようにしてもよい。

また、ここまで説明した実施の形態では、画像信号を処理する専用の画像処理装置として構成した例について説明したが、例えば、各種データ処理を行うパーソナルコンピュータ装置に、本例の画像処理装置内の画像信号の入力部や出力部に相当するボードやカードなどを装着させた上で、コンピュータ装置内の演算処理手段でのソフトウェア処理で、同様に処理する構成としてもよい。コンピュータ装置に実装するソフトウェアについては、ディスクや半導体メモリなどの各種メディアで配布してインストールさせる他に、インターネットなどの伝送媒体を介してダウンロードさせるようにしてもよい。

本発明の一実施の形態による装置構成例を示すブロック図である。 本発明の一実施の形態による投射構成例を示す説明図である。 本発明の一実施の形態による原理を示すための説明図である。 スクリーンへの入射方向と観察方向を示す説明図である。 リアープロジェクタのスクリーンの光学特性例を示す説明図である。 リアープロジェクタのスクリーンの光学特性例を示す説明図である。 同じ領域が視点方向によって異なる色に見える原理を示す説明図である。 座標系と各点の定義を示す説明図である。 本発明の一実施の形態による処理例を定式化して示す説明図である。 本発明の一実施の形態による値の組み合わせの例を示す説明図である。 本発明の一実施の形態による処理例を示すフローチャートである。 本発明の一実施の形態による２つの原画像の例を示す説明図である。 本発明の一実施の形態による２つの投影画像の例を示す説明図である。 本発明の一実施の形態による２つの方向から見た例を示す説明図である。 本発明の他の実施の形態による構成例を示す説明図である。

符号の説明

１，２…プロジェクタ、３…スクリーン、１０，１０′…画像処理装置、１１，１２…画像信号入力端子、１３…画像入力部、１４…射影変換部、１５…ｐ・ｑ調整部、１６…強度補正部、１７…α設定部、１８…分配出力部、１９…スクリーン、２０ａ…第１プロジェクタ、２０ｂ…第２プロジェクタ、２１ａ，２１ｂ…投影レンズ、３０…センサ

Claims (11)

1. 第１の入力画像信号と第２の入力画像信号とが入力されて、第１及び第２のプロジェクタからスクリーンに投影範囲を重ねて投影させるための第１及び第２の投射用画像信号を生成させる画像信号処理装置であって、
   前記スクリーン上の各投影位置における、第１の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比と、前記第１の観察位置とは異なる第２の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比とを記憶する記憶部と、
   前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第１の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶部が記憶した強度比により設定して加算すると共に、前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第２の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶部が記憶した強度比により設定して加算する強度補正部と、
   前記強度補正部で加算して生成された前記第１の投射用画像信号を前記第１のプロジェクタに供給し、前記強度補正部で加算して生成された前記第２の投射用画像信号を前記第２のプロジェクタに供給する出力部とを備えたことを特徴とする
   画像信号処理装置。
2. 請求項１記載の画像信号処理装置において、
   前記第１及び第２の入力画像信号に対して、それぞれの入力画像信号のグレーレベルに対応した定数を加算すると共に、それぞれの入力画像信号の輝度方向のスケールに対応した値を乗算する調整部を備えたことを特徴とする
   画像信号処理装置。
3. 請求項１記載の画像信号処理装置において、
   前記第１及び第２の入力画像信号に対して、前記第１及び第２のプロジェクタが前記スクリーンに投影する射影形状の歪みを補正する射影変換処理部を備えたことを特徴とする
   画像信号処理装置。
4. 請求項１〜３のいずれか１項記載の画像信号処理装置において、
   前記出力部が出力する第１の投射用画像信号を前記スクリーンに投射する第１のプロジェクタと、前記出力部が出力する第２の投射用画像信号を前記スクリーンに投射する第２のプロジェクタとを備えたことを特徴とする
   画像信号処理装置。
5. 入力した第１の入力画像信号と第２の入力画像信号とから、第１及び第２のプロジェクタからスクリーンに投影範囲を重ねて投影させるための第１及び第２の投射用画像信号を生成させる画像信号処理方法であって、
   前記スクリーン上の各投影位置における、第１の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比と、前記第１の観察位置とは異なる第２の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比とを記憶し、
   前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第１の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶した強度比により設定して加算し、
   前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第２の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶した強度比により設定して加算し、
   前記加算で生成された前記第１の投射用画像信号を前記第１のプロジェクタに供給し、前記加算で生成された前記第２の投射用画像信号を前記第２のプロジェクタに供給することを特徴とする
   画像信号処理方法。
6. 入力した第１の入力画像信号と第２の入力画像信号とから、第１及び第２のプロジェクタからスクリーンに投影範囲を重ねて投影させるための第１及び第２の投射用画像信号を生成させる画像信号処理を演算処理装置に実装して実行させるプログラムであって、
   前記スクリーン上の各投影位置における、第１の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比と、前記第１の観察位置とは異なる第２の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比とを記憶する処理と、
   前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第１の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶した強度比により設定して加算し、前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第２の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶した強度比により設定して加算する強度補正処理と、
   前記強度補正処理での加算で生成された前記第１の投射用画像信号を前記第１のプロジェクタに供給し、前記加算で生成された前記第２の投射用画像信号を前記第２のプロジェクタに供給する出力処理とを実行することを特徴とする
   プログラム。
7. 第１の入力画像信号と第２の入力画像信号とが入力されて、第１及び第２のプロジェクタからスクリーンに投影範囲を重ねて投影させるための第１及び第２の投射用画像信号を生成させ、前記第１及び第２のプロジェクタに供給して、前記スクリーンに投影させる画像投影システムであって、
   前記スクリーン上の各投影位置における、第１の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比と、前記第１の観察位置とは異なる第２の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比とを記憶する記憶部と、
   前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第１の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶部が記憶した強度比により設定して加算すると共に、前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第２の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶部が記憶した強度比により設定して加算する強度補正部と、
   前記強度補正部で加算して生成された前記第１の投射用画像信号による投影光を、前記スクリーンに出力させる前記第１のプロジェクタと、
   前記強度補正部で加算して生成された第２の投影用画像信号による投影光を、前記スクリーンに出力させる前記第２のプロジェクタとを備えたことを特徴とする
   画像投影システム。
8. 請求項７記載の画像投影システムにおいて、
   前記第１及び第２の入力画像信号に対して、それぞれの入力画像信号のグレーレベルに対応した定数を加算すると共に、それぞれの入力画像信号の輝度方向のスケールに対応した値を乗算する調整部を備えたことを特徴とする
   画像投影システム。
9. 請求項７記載の画像投影システムにおいて、
   前記第１及び第２の入力画像信号に対して、前記第１及び第２のプロジェクタが前記スクリーンに投影する射影形状の歪みを補正する射影変換処理部を備えたことを特徴とする
   画像投影システム。
10. 第１の入力画像信号と第２の入力画像信号とが入力されて、第１及び第２のプロジェクタからスクリーンに投影範囲を重ねて投影させるための第１及び第２の投射用画像信号を生成させ、前記第１及び第２のプロジェクタに供給して、前記スクリーンに投影させる画像投影方法であって、
    前記スクリーン上の各投影位置における、第１の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比と、前記第１の観察位置とは異なる第２の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比とを記憶し、
    前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第１の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶した強度比により設定して加算し、
    前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第２の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶した強度比により設定して加算し、
    前記加算で生成された前記第１の投射用画像信号による投影光を、前記第１のプロジェクタから前記スクリーンに出力させ、前記加算で生成された第２の投影用画像信号による投影光を、前記第２のプロジェクタから前記スクリーンに出力させることを特徴とする
    画像投影方法。
11. 第１の入力画像信号と第２の入力画像信号とが入力されて、第１及び第２のプロジェクタからスクリーンに投影範囲を重ねて投影させるための第１及び第２の投射用画像信号を生成させ、前記第１及び第２のプロジェクタに供給して、前記スクリーンに投影させる処理を演算処理装置に実装して実行させるプログラムであって、
    前記スクリーン上の各投影位置における、第１の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比と、前記第１の観察位置とは異なる第２の観察位置から観察した際の、前記２つのプロジェクタからの投影光の強度比とを記憶し、
    前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第１の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶した強度比により設定して加算し、
    前記第１の入力画像信号と前記第２の入力画像信号とを加算して、前記第２の投射用画像信号を生成させる際の加算する比率を、スクリーン上のぞれぞれの投影位置ごとに前記記憶した強度比により設定して加算し、
    前記加算で生成された前記第１の投射用画像信号による投影光を、前記第１のプロジェクタから前記スクリーンに出力させ、前記加算で生成された第２の投影用画像信号による投影光を、前記第２のプロジェクタから前記スクリーンに出力させることを特徴とする
    プログラム。