上記に示した従来のマルチプロジェクションシステムのうち、特許文献1に開示される技術は、平面的な大画面のスクリーン上に複数のプロジェクタによって画像を投影するものであり、特許文献2に開示される技術は、円筒状に配置されるスクリーンに投影される画像の補正に係るものであり、特許文献3は、マルチスクリーン上に作用する反射光を補正するための技術であった。これらの技術は、いずれも予め定められたスクリーン形状に対して投影画像を補正するための技術であった。
しかしながら、これらは、画像投影用の専用スクリーンに対して画像を投影するものであって、このような専用スクリーンを備えていない場所における任意の面に対して投影されるものではなかった。そして、近年では、披露宴会場などの冠婚葬祭における式典会場や、広面積の会議場等において、当該会場の壁面をスクリーンとして画像を投影することが切望されている。このような会場にあっては、当該会場を構成する壁面の全周に連続した(シームレスな)画像を投影し得る投影装置についても、切望されているところである。ところが、映像を投影するための専用スクリーンではない会場の壁面は、当然のことながら全てが平面ではなく、建造物としての柱等が存在するため、スクリーンとしての機能を十分に果たすことができないものであった。すなわち、プロジェクタの設置場所を一定にすることができず、プロジェクタから投影される映像の明るさが異なること、または、会場の形状(柱等の存在)により、投影される画像に歪みを生じさせることなどの問題点を有するものであった。
本発明は、上記諸点にかんがみてなされたものであって、その目的とするところは、室内における壁面のように任意の形状または角度に形成される面を、スクリーンとして使用できる画像投影装置および画像処理方法を提供し、さらに、当該室内における壁面の全周にシームレスな画像をも投影し得る画像投影装置および画像処理方法を提供することである。
そこで、画像投影装置にかかる発明は、任意の形状または角度に形成される面をスクリーンとする画像投影装置であって、前記スクリーンに画像を投影する複数の投影手段と、この投影手段により前記スクリーンに投影された投影画像を撮影する撮影手段と、この撮影手段により取得された画像に基づき投影画像を補正する画像処理装置とを備え、前記画像処理装置は、前記投影画像を幾何変形して所望形状に補正する幾何補正手段と、前記複数の投影手段ごとに投影される投影画像を単位として輝度の高低を調整する輝度補正手段と、隣接する投影領域間で投影画像が重複する重複領域についての輝度を調整する重複領域補正手段とを備えたことを特徴とするものである。
上記構成によれば、任意の形状または角度に形成される面で構成される任意のスクリーン(例えば、室内の壁面等)に対し、複数の投影手段(例えば、プロジェクタ等の投影光学ユニット)によって投影される個々の画像について、個別に幾何補正および輝度補正を可能にし、これらの補正とともに、複数の投影手段によって形成される重複領域における輝度補正をも可能にすることができる。また、上記幾何補正においては、撮影手段により撮影された画像に基づく補正を行うことから、例えば、投影形状を矩形に変換する狭義の幾何補正のほかに、投影画像の位置(これを投影領域と称する場合がある)を調整(これを「領域補正」と称する場合がある)することも可能となる。
また、画像投影装置にかかる発明は、前記構成において、前記撮影手段が、円筒画像を取得することができる撮影手段であり、前記画像処理装置が、前記撮影手段により取得された円筒画像を球画像に変換する球画像変換手段と、この球画像変換手段により変換された球画像に基づき平面状の透視画像に変換する透視画像変換手段とを備える構成としてもよい。
上記構成によれば、スクリーンに投影された画像を広角レンズ等により円筒画像として取得することができ、この円筒画像を平面画像に変換することにより、スクリーンに投影される状態を平面画像として取得することができることから、投影手段から投影される画像と、スクリーンに投影されている画像とを、比較することが可能となる。また、広角レンズ等を使用することにより、広い範囲の画像を取得することができる。
また、画像投影装置にかかる発明は、前記構成において、前記撮影手段を、円筒画像を取得することができる全方位カメラにより構成してもよい。このような構成によれば、投影手段から投影される画像を一度に単一のキャリブレーション画像として得ることができ、個別に用意された複数のカメラで撮影される場合と比較すれば、各撮影画像間の整合をとる必要がなく、また、投影される画像の全体を一体として処理することができる。
さらに、画像投影装置にかかる発明は、前記構成において、前記輝度補正手段が、前記複数の投影手段ごとに画像を投影させるとき、前記撮影手段によって撮影される投影手段ごとの個別の画像を取得する個別画像取得手段と、この個別画像取得手段により取得された画像から輝度を検出する輝度検出手段と、この輝度検出手段により検出された輝度の情報に基づいて、前記投影手段ごとの輝度分布を二次曲面として算出する輝度分布算出手段と、前記輝度分布算出手段により算出された輝度分布に基づき画像の画素単位における輝度の補正値を算出する補正値算出手段とを備えた構成としてもよい。
上記構成によれば、複数の投影手段ごとにおける輝度分布を二次曲面として算出し、当該投影手段ごとに発生し得る輝度ムラを補正できる。このように、投影手段ごとの輝度ムラを補正することにより、スクリーンに対して斜状に照射される際の投影画像の明るさを統一させることができる。また、二次曲面を算出する場合は、複数の限られた画素に着目することにより、全体にわたる輝度分布を概ね検出することができることとなり、当該二次曲面の算出によって、当該プロジェクタによる画像の全体における輝度ムラを容易に補正できることとなる。
また、画像投影装置にかかる発明は、前記構成において、前記輝度補正手段が、前記複数の投影手段ごとに白色画像を投影させるときの投影光の強度を補正する輝度補正手段であってもよい。輝度補正には、個々のプロジェクタごとの投影画像を撮影手段により撮影することから、他の補正に使用する場合とは異なる撮影画像を必要とするため、敢えて白色画像を投影し、輝度の状態を特化して撮影することにより、輝度補正の精度を向上させることができる。なお、白色画像とは、画像が白色となるように特別な加工を施したものではなく、全体が三原色(RBG)によって特定の色彩を有しない状態とした画像を意味し、その代替画像として、画像情報を有しないプロジェクタによる投影光のみとする場合もあり得る。
さらに、画像投影装置にかかる発明は、前記構成において、前記輝度補正手段が、前記複数の投影手段ごとに色彩を有するパターン画像を投影させるとき、投影画像におけるRBGごとの輝度を補正する輝度補正手段であってもよい。このような構成の場合、単純な投影光の輝度のみならず、投影される画像の色調を調整することができる。色彩を有するパターン画像は、赤色(R)、青色(B)、緑色(G)が適宜パターン化された画像を投影し、または、それぞれ単色のパターン画像を各色の補正ごとに投影することによる場合があり得る。
また、画像投影装置にかかる発明は、前記構成において、前記重複領域補正手段が、前記撮影手段によって撮影される隣接する2以上の画像を取得する隣接画像取得手段と、この隣接画像取得手段により取得された画像から輝度を検出する輝度検出手段と、この輝度検出手段により取得された輝度の差により重複領域を特定する重複領域特定手段と、前記重複領域特定手段により特定された重複領域内の任意の複数点における輝度値と重複領域外における輝度値との輝度比率を算出するとともに、該輝度比率を参照しつつ重複領域を構成する隣接画像の双方に対する輝度補正値を算出する補正値算出手段とを備えた構成としてもよい。
上記構成によれば、重複領域における輝度を輝度比率に応じて、隣接画像の双方に対して輝度を補正することができることから、重複領域の自然な補正を可能にする。すなわち、重複領域外における輝度値を目標とする輝度値とすれば、当該重複領域外の輝度値と重複領域内の輝度値との比較により、重複領域内の輝度値を重複領域外の輝度値に近似させることができる。
さらに、画像投影装置にかかる発明は、前記構成において、前記重複領域補正手段が、前記複数の投影手段から白色画像を投影させるときの前記重複領域における投影光の強度を補正する重複領域補正手段であってもよい。このような構成の場合、重複領域を構成する隣接画像の輝度の状態のみを撮影画像手段により取得することができることから、重複領域における輝度のみに着目した補正が可能となり、当該補正の精度を向上させることができる。
また、画像投影装置にかかる発明は、前記構成において、前記重複領域補正手段が、前記複数の投影手段から色彩を有するパターン画像を投影させるとき、前記重複領域におけるRBGごとの輝度を補正する重複領域補正手段であってもよい。上記構成によれば、重複領域における単純な投影光の輝度のみならず、当該重複領域における色彩を補正することができる。
また、画像投影装置にかかる発明は、前記構成において、前記幾何補正手段が、前記投影手段によりパターン画像を投影させるとき、前記撮影手段によって撮影される該投影手段ごとの該パターン画像を取得するパターン画像取得手段と、このパターン画像取得手段により取得された画像に基づいて幾何学関数を算出する幾何学関数算出手段と、この幾何学関数算出手段により算出された幾何学補正関数に基づいて投影画像の補正値を算出する補正値算出手段とを備えた構成としてもよい。
上記構成によれば、複数のプロジェクタにより個別に投影される個々の画像について幾何補正を容易にし、しかも、この幾何補正された映像を基準として領域補正および重複領域補正を行うことにより、複数の映像の整合性をとることが容易となる。また、パターン画像を撮影した撮影画像に基づき、領域補正をも同時に行うことができるものである。
画像処理方法にかかる本発明は、任意の形状または角度に形成される面をスクリーンとし、該スクリーンに対し複数の投影手段から投影される画像を補正するための画像処理方法であって、前記スクリーンに投影された投影画像を撮影し、撮影画像を平面画像に変換して透視投影画像を作成し、透視投影画像に基づき、前記各投影手段の幾何補正のための幾何学関数を算出し、該幾何学関数に基づき前記投影画像を幾何補正するとともに、投影画像の投影領域を設定し、前記各投影手段について、個々の投影画像を撮影し、輝度分布を二次曲面として算出し、該輝度分布における輝度ムラを補正する補正値を算出して、前記投影画像を補正し、前記複数の投影手段による投影画像を撮影し、重複領域を検出するとともに、該重複領域における任意の点における輝度を検出し、該任意点における輝度と所望輝度とに基づき、重複領域を形成する各画素の輝度を補正することを特徴とするものである。
上記構成によれば、スクリーンに投影される個々のプロジェクタについての幾何補正および輝度補正を可能にするとともに、隣接する投影画像の間における重複領域の補正を可能にすることから、複雑な形状の面をスクリーンとする場合、または角度を有して接する複数の面をスクリーンとする場合においても、当該スクリーンに投影される画像を統一的に補正することができる。また、連続する壁面によって包囲された室内の全周に投影される画像であっても、個々のプロジェクタの各補正および隣接画像における重複領域の補正を可能にすることから、室内の壁面にシームレスな画像を投影することができる。
また、画像処理方法にかかる発明は、前記構成において、前記重複領域における輝度が、重複領域内の輝度値を検出し、重複領域を形成する投影画像ごとに所定割合の輝度値となる第1段階の補正値を算出し、前記第1段階の補正値により補正された画像を投影し、該投影された画像を撮影手段により撮影し、重複領域内の輝度値と重複領域外の輝度値とを比較し、輝度割合に応じた第2段階の補正値を算出し、前記第1段階および第2段階の補正値によって補正されるように構成してもよい。
上記構成によれば、重複領域における輝度補正は、第1段階の補正値により補正された画像を撮影し、さらに周辺との輝度の相違を補正できることとなり、複数の投影手段により投影される画像の継ぎ目を可能な限り目立たなくすることができる。
さらに、画像処理方法にかかる発明は、前記構成において、前記撮影画像が、円筒画像であり、前記透視投影画像は、前記円筒画像を球画像に変換した後、さらに平面画像に変換して作成されるように構成してもよい。
上記構成によれば、撮影画像を円筒画像として取得することから、例えば、広角レンズを使用することによって、スクリーンに投影された画像を広域に取得することができ、この画像を現実に投影された画像として、補正の基準画像とすることができる。さらに、例えば、撮影画像を取得するために全方位カメラを使用する場合には、撮影される画像は単一の画像となることから、複数のプロジェクタによる複数の画像を単一画像により取得でき、複数の画像の整合性を取ることが容易となる。
本発明の画像投影装置によれば、複数の投影手段(プロジェクタ等の投影光学ユニット)によって画像を投影する際に、各投影手段における個々の画像について幾何補正し、さらに、輝度ムラを調整することができることから、複雑な形状を有する面、または角度を有して接する面などをスクリーンとして、画像を投影することができる。また、スクリーンに投影される画像を撮影し、当該撮影画像に基づいて、隣接して投影される画像の重複領域における輝度を補正することができることから、複数の投影手段により投影される画像の継ぎ目が目立たず、マルチプロジェクションシステムにおける映像を良好な状態で連続させることができ、さらに、室内における壁面の全周に対しても連続した(シームレスな)画像を投影することが可能となる。
特に、撮影手段として全方位カメラを使用することにより、複数のキャリブレーション用カメラを必要とせず、また、単一の画像に基づいて補正することができることから、画像の補正に要する時間を短縮することができる。また、単一画像により複数の投影画像を一度に取得することにより、画像全体の投影位置(投影領域)を容易に補正することができる。そして、画像ごとに位置のズレや輝度ムラを抑えることにより、違和感のないシームレス画像を投影することができる。なお、「違和感のない」とは、例えば、画像を投影する領域が仮想的な窓のように見える状態を意味するものである。
また、本発明の処理方法によれば、複数の投影手段ごとに幾何補正を行い、その補正後の画像について、さらに輝度補正を行うものであることから、各プロジェクタによる投影画像を所望の状態に補正することにより、スクリーンの形状に左右されることなく、連続した画像を投影することができる。例えば、室内の壁面をスクリーンとして投影するとき、当該壁面の途中に柱が存在するなどの凹凸を有する場合であっても、当該柱が存在しないように投影させることができる。また、同様に、室内の壁面をスクリーンとする場合であって、接する二つの壁面が角度を有している状態にあっては、両壁面が当該角度に従って異なる向きの画像となるように投影する場合のほか、角度を無視して同じ向きとなるような画像として投影させることも可能となる。
従って、本発明によれば、室内の環境(壁面の形状)に応じて投影画像を任意な状態に補正でき、特定の設備を有する施設内に限らず、冠婚葬祭等の式典会場などにおいても短時間の調整(補正)により、違和感のない連続した(シームレスな)画像を投影させることができる。そして、上記のような画像を壁面の全体(全周)に投影させることにより、冠婚葬祭等の式典において特別な演出効果を発揮させることが可能となる。
以下、本発明の実施の形態を図面に基づいて説明する。まず、画像投影装置にかかる本発明の実施形態について説明する。本実施形態では、スクリーンとすべき面の形状や角度が複雑な場合の例として、室内の壁面に対して画像を投影する場合を説明し、特に、当該室内の壁面全周に対する投影装置を例示する。図1は、本実施形態が使用されるべき部屋の状態を示す外観図である。この図に示すように、本実施形態の画像投影装置は、連続する壁面W1,W2,W3,W4によって包囲された部屋RMにおいて、これらの壁面W1〜W4をスクリーン(マルチスクリーン)とする投影装置であり、各壁面W1〜W4に対し、複数台(図では6台)のプロジェクタ等の投影手段1a,1b,1c,1d,1e,1fによって、継ぎ目のない(シームレスな)映像が投影されるものである。また、本実施形態の画像投影装置は、冠婚葬祭等の式典会場や広面積の会議場等における使用に供され得るものであることから、図示のように、例えば、壁面W1の一部に柱PLが露出している状態のように、スクリーンとなり得る面に凹凸を有する場合をも想定している。このような凹凸は柱PLに限られるものではなくまた、その凹凸を生じさせる位置も部屋の形状等によって異なるものである。さらに、本実施形態では、隣接する画像を部分的に重複することができるように複数の投影手段1a〜1fを配置し、壁面W1〜W4の全体にシームレスな映像を投影するものである。そのため、壁面W1〜W4の大きさによって、適宜必要な数の投影手段1a〜1fが配置されるものである。
本実施形態の画像投影装置が設置される部屋RMの状況は千差万別であるため、設置すべき部屋RMの形状や大きさ、または会場等における備品等の設置状況などに応じ、投影手段1a〜1fは当該部屋RMの状況によって異なることとなる。そのため、投影手段1a〜1fから壁面W1〜W4までの距離や、壁面W1〜W4に対する投射方向などが一定でない(予め定めることができない)ことから、当該設置場所に応じて後述する各種補正が必要となるのである。また、壁面W1〜W4に対して投影される現実の画像状態を把握(撮影)するための撮影手段2が設置される。撮影手段2により撮影された映像は、後述の処理装置に出力され、投影画像を補正する際に使用されるものである。そして、補正された画像をプロジェクタ1a〜1fによって投影することによって、壁面W1〜W4に違和感なく連続した画像を投影させるのである。ここで、違和感なくとは、例えば、画像を投影する領域が仮想的な窓のように見える状態を意味するものである。
なお、図1においては、撮影手段2を部屋RMの中央に設置し、その周辺に放射状に投影手段1a〜1fを設置した状態を示しているが、前述のように、各投影手段1a〜1fおよび撮影手段2の設置位置は特に定まっているものではなく、部屋RMの内部の任意の場所であればよいものとされる。また、投影手段1a〜1fとしては、プロジェクタ等の投影光学ユニットが使用されるものであり、本実施形態ではプロジェクタを使用することとする。さらに、撮影手段2としては、投影画像を撮影することができれば、その種類は問わないが、本実施形態では、一度に全周の画像を撮影することができる全方位カメラを使用することとし、その全方位カメラは、複数の広角レンズ等を使用し、円筒画像として画像を取得できるものが使用される。広角レンズは、レンズ焦点距離24mm未満の超広角レンズを使用することにより少ないカメラによって全方位を撮影することができる。個々のカメラは、デジタルデータとして取得するためにデジタルカメラが使用される。例えば、レンズ焦点距離2.5mmの超広角レンズを使用した6個のデジタルカメラを60度の角度を有して配置したLadybug(登録商標)2を使用することができる。
次に、上記のような部屋RMの壁面W1〜W4に投影する画像を補正するための画像処理装置について説明する。この画像処理装置の概略を図2に示す。この図に示すように、画像処理装置3には、各種画像データおよび補正値等を記憶する記憶部と、各種データから補正値等と算出する処理部を有している。また、画像処理装置3には、投影制御装置4および撮影制御装置5が接続可能になっており、画像処理装置3から出力される情報に基づいて画像を投影できるとともに、全方位カメラ2によって撮影される画像の入力を可能にしている。この画像処理装置3としては、パーソナルコンピュータ(PC)が使用され、当該PCのCPUを処理部として機能させ、また、当該PCに内蔵されるHDDおよび各種メモリを記憶部とすることができる。
そこで、画像制御装置3は、記憶部に記憶されるデータのうち、パターン画像データD1または投影すべき画像(投影画像)データD2を投影制御装置4に出力させ、各プロジェクタ1a〜1fによって画像を投影させることができる。また、全方位カメラ2によって撮影される壁面W1〜W4(スクリーン1〜4)の画像(撮影画像)は、撮影制御装置5を介して画像処理装置3に入力されることにより、記憶部によって記憶することができるようになっている。
従って、投影画像を処理する場合には、予め用意したパターン画像D1または投影画像D2をスクリーン1〜4(壁面W1〜4)に投影させ、この状態を撮影した撮影画像の入力を受けることにより、両画像を比較することが可能となり、後述の補正値を算出するのである。そこで、撮影画像制御装置5から入力される全方位カメラ2の画像は、広角レンズ等によって円筒画像として取得されるものであり、この円筒画像を撮影画像D3として記憶した後、画像処理部31によって円筒画像から球画像に変換され、さらに平面画像に変換される。変換された画像データは、それぞれ球面画像D4および処理画像D5として記憶される。また、平面画像に変換された処理画像D5に基づいて、幾何補正値、輝度補正値および重複領域補正値が、幾何補正値算出部(幾何補正手段)32、輝度補正値算出部(輝度補正手段)33および重複領域補正値算出部(重複領域補正手段)34によってそれぞれ算出され、これらの補正値D6が蓄積され、画像処理に反映される。すなわち、処理装置35により、当初画像D7およびパターン画像D1などに対し、補正値D6による補正処理が行われ、投影画像D2に変換されたうえ、投影制御装置4を介してプロジェクタ1a〜1fに出力されるのである。
なお、本実施形態における画像処理部31は、円筒画像を球画像に変換する球画像変換部(球画像変換手段)と、この球画像変換部によって変換された球画像を平面状の透視画像に変換する透視画像変換部(透視画像変換手段)とを備えており、後述の変換方法により円筒画像を平面画像に変換するものである。また、幾何補正値算出部32は、パターン画像D1を投影した状態の撮影画像D3(さらに平面画像に変換された画像D4)を取得するパターン画像取得部(パターン画像取得手段)と、取得されたパターン画像から幾何学補正関数を算出する幾何学関数算出部(幾何学関数算出手段)と、算出された関数から補正値を算出する補正値算出部(補正値算出手段)とを備えており、後述の処理方法により補正値が算出されるものである。
さらに、本実施形態における輝度補正値算出部33は、複数の投影手段から投影される画像の中から、処理すべき個別の画像を取得する個別画像取得部(個別画像取得手段)と、取得された画像の任意の点の輝度を検出する輝度検出部(輝度検出手段)と、検出された複数点の輝度値から輝度分布を二次曲面として算出する輝度分布算出部(輝度分布算出手段)と、算出された輝度分布(二次曲面)に基づき、輝度ムラを修正する補正値算出部(補正値算出手段)とを備えており、個々の投影手段を単位とする輝度ムラを補正するための補正値を算出するものである。
また、本実施形態における重複領域補正値算出部34は、隣接する複数の(例えば二つの)投影手段によって投影される画像を撮影した撮影画像から、重複領域が形成される画像(隣接画像)を取得する隣接画像取得部(隣接画像取得手段)と、これらの隣接画像における輝度値を検出する輝度検出部(輝度検出手段)と、当該輝度値の差から重複領域を特定する重複領域特定部(重複領域特定手段)と、前記重複領域内の輝度を補正するために、当該重複領域を形成する画像についての補正値を算出する補正値算出部(補正値算出手段)とを備えており、複数の投影手段により投影される画像が重複する領域における輝度値の補正値を算出するものである。
このように、プロジェクタ1a〜1fによって投影される画像を全方位カメラ2で撮影し、この撮影画像に基づいて画像処理を行うことにより、スクリーン1〜4(壁面W1〜W4)に現実に投影される画像の状態をフィードバックさせることができることとなる。そして、撮影画像に基づいて幾何補正手段32、輝度補正手段33および重複領域補正手段34による各補正値が算出されるのである。
そこで、それぞれの補正手段32,33,34における補正の処理態様(補正原理)とともに、画像の処理方法に係る実施形態について以下に説明する。投影画像の補正には、上述のように、プロジェクタ1a〜1fによってスクリーン1〜4(壁面W1〜W4)に投影された映像(以下、「スクリーン画像」または単に「映像」と略称する場合がある。)を全方位カメラ2により撮影された画像(以下、「撮影画像」と称する場合がある。)が使用される。すなわち、スクリーン画像を撮影して得た撮影画像に基づき、スクリーン画像に必要な補正値を算出し、当該補正値によって補正された投影画像がプロジェクタ1a〜1fから照射されることによって、スクリーン1〜4(壁面W1〜W4)に投影される映像を所望の状態とするのである。
まず、全方位カメラ2によって撮影される画像の処理について説明する。スクリーン画像は、投影すべきスクリーン1〜4(壁面W1〜W4)ごとに個別に撮影してもよいが、本実施形態では、単一の撮影画像により全てのスクリーン1〜4(壁面W1〜W4)を撮影できる全方位カメラ2を使用している。本実施形態で使用する全方位カメラ2は、前述のとおり複数の広角レンズ等を有して円筒画像を取得するものであり、具体的には、複数の広角レンズ等により上下左右に広域な画像を撮影し、撮影された複数の画像をメルカトル図法により展開した円筒状の画像として得ることができる。そして、この円筒画像について、任意の母線で分割することにより一枚の画像となり得るものである。この状態を図3に示す。この図に示すように、上記円筒画像は、画像の上下端が引き伸ばされた状態となっており、スクリーン画像を正確に反映させるものではない。そのため、撮影された画像を球状の画像に変換した後、さらに平面画像に処理することによって、スクリーン画像の平面画像(透視投影画像)を得るのである。
球状画像への変換原理は、次のとおりである。すなわち、図4(a)に示すように、半径rの球面をスクリーンとするとき、球面上の点sにおける3次元上の座標(x,y,z)と球座標(r,φ,θ)との関係は次式で表すことができる。
そこで、角度φ,θの分解能をそれぞれM,Nとするとき、球面上の任意の点sijにおける双方の角度φi,θjを次式のようにすれば、当該任意の点si,jは(r,φi,θj)で定義できることとなる。
他方、図4(b)に示すように円筒画像上の点P(u,v)は次式によって得ることができる。
従って、φi,θjを用いれば、円筒面上のpi,jと対応する球面上の点si,jを求めることができる。そこで、図5に示すように、円筒面上の4つの点による組P1(pi,j),P2(pi+1,j),P3(pi+1,j+1),P4(pi,j+1)と球面上の4つの点による組S1(si,j),S2(si+1,j),S3(si+1,j+1),S4(si,j+1)とが対応することとなるから、これらをテクスチャマッピング等のマッピング手法を用いることにより、円筒画像を球面画像に変換することができることとなるのである。
このように球面画像に変換された画像は、さらに平面画像に変換され、画像の補正に供されることとなる。すなわち、球面画像を透視変換することにより平面状の透視投影画像を得るのである。ここでは、図6に示すように、球面の中心を視点とすることにより、視線方向は、y−z平面上の視線方向とz軸との角度ψと、y軸を回転軸としたときの球面の回転角ωによって定まる。これを縦幅height、横幅width、視野角ξとする平面状の透視投影像に透視変換することにより、平面画像とすることができる。なお、このようにして変換した平面画像を図7に示す。この図に示すように、各スクリーン1〜4(壁面W1〜W4)に投影される映像を撮影した画像は、いずれも平面画像に変換されている。
上記のように平面状の透視投影像に変換された画像は、撮影画像を変換した処理画像データとして記憶部に記憶され、補正値算出のために使用されるのである。画像の補正としては、第1に幾何補正が行われる。幾何補正は、大別すると、スクリーン画像の矩形の補正と、投影領域の補正である。矩形の補正は、スクリーン(壁面)に対して垂直方向ではなく角度を有した状態でプロジェクタから照射されるとき、投影される画像は矩形とならないことから、この画像を所望の矩形に修正するものである。また、投影領域の補正は、複数のプロジェクタから投影される各画像の相互の位置(特に高さ方向の領域)を調整するものである。
矩形の補正は、例えば、図8(a)に示すように、スクリーン1(壁面W1)に投影された画像が矩形とならない場合、その射影変換行列を求め、当該射影変換行列を用いて映像を矩形の正しい像にするものである。射影変換行列は、プロジェクタに送られる画像(投影されるべき画像、これを「投影画像」と略称する場合がある。)と、スクリーン(壁面)に投影される現実の映像(これを「スクリーン画像」と略称する場合がある。)との間における投影変換関係、および、スクリーン画像と、全方位カメラによる撮影画像を修正した平面画像(この平面画像を「カメラ映像」と略称する場合がある。)との間における投影変換関係により、投影画像からカメラ映像への変換行列を求め、さらにその逆行列を用いることにより補正のための変換行列が求められる。なお、スクリーン(壁面)の広さは限界があるため、上記変換行列の算出には、投影画像の大きさが考慮されることとなる。
すなわち、プロジェクタに送られる投影画像と、平面スクリーン(壁面)に投影される現実の画像との間には平面投影変換の関係にあることから、プロジェクタに送られる投影画像の画素(xp,yp)を次式(4)で示す同次ベクトルとし、その点のスクリーン上の投影位置(xs,ys)を次式(5)で示す同次ベクトルとすると、両ベクトルの関係は次式(6)で表すことができる。
なお、上記同次ベクトルの成分中、fは任意の実数であり、数値計算を安定化させるために、通常は各位置(x,y)と同程度の実数とする(以下、同じ)。
また、全方位カメラにより取得されるカメラ画像における投影位置(xc,yc)を次式(7)で示す同次ベクトルとすると、前記スクリーン画像における投影位置(xs,ys)を示す同次ベクトルとの関係は次式(8)で表すことができる。
ここで、プロジェクタに送られる投影画像とカメラにより取得されたカメラ画像との平面射影変換行列をHcpとする場合、Hcp=HcsHspとすると、Hcpもまた次式(9)に示すように、射影変換行列で表すことができ、結果的に、プロジェクタに送られる投影画像xpとカメラにより取得されるカメラ画像xcとの関係をこの式によって表すことができる。
そして、プロジェクタに送られる投影画像と、カメラにより取得されるカメラ画像との関係を示す投射変換行列Hcpの逆行列Hcp −1を用いることにより、次式(10)に示すように、カメラ画像から投影画像の変換を可能にするものである。
上記のように、カメラ画像に基づいて投影画像を変換することができることにより、平面状のスクリーンに投影された四辺形状の画像を所望の矩形の画像に変換する場合、スクリーン上で投影したい矩形領域の4点(四隅の点)をカメラで撮影した画像での観測点とし、プロジェクタに送られる投影画像の4点(四隅の点)を当該観測点に変換することによって、スクリーン上の画像を矩形に変換することができる。なお、この場合、実際のプロジェクタには、投影できる画像のサイズに限界があるため、所望の矩形は、プロジェクタにより投影できる範囲(投影可能範囲)内とし、また、変換すべき投影画像のアスペクト比は変更しないものとする。
例えば、図8(a)に示すように、スクリーン1(壁面W1)に対してプロジェクタ1aから投影される画像が、四つの頂点(ξs 1,ηs 1)、(ξs 2,ηs 2)、(ξs 3,ηs 3)および(ξs 4,ηs 4)で示される四辺形状に投影される状態を想定するとき、このスクリーン1(壁面W1)における投影画像の所望形状を四つの点(ξ1,η1)、(ξ2,η2)、(ξ3,η3)および(ξ4,η4)で示す矩形領域(図中斜線を伏した領域)に変換する場合には、プロジェクタに送られる画像に対し、逆行列Hcp −1を用いて変換することにより、次式(11)に示すように、変換後の四つの頂点(ξo 1,ηo 1)、(ξo 2,ηo 2)、(ξo 3,ηo 3)および(ξo 4,ηo 4)を求めることができる。
上記の変換は、カメラにより取得されるカメラ画像において、所望の矩形を形成する四つの頂点(ξ1,η1)、(ξ2,η2)、(ξ3,η3)および(ξ4,η4)を測定点とする場合であるが、スクリーン画像の四つの頂点(ξs 1,ηs 1)、(ξs 2,ηs 2)、(ξs 3,ηs 3)および(ξs 4,ηs 4)を測定点とする場合には、次式(12)に示す射影変換行列Hppを求めることにより、スクリーンに投影されたスクリーン画像の四隅の観測点から投影すべき画像(プロジェクタに送られる画像)を変換することができる。なお、所望の矩形は、投影可能領域と同一として、当初画像と同じアスペクト比の最大矩形として定義することができる。
この場合、図8(b)に示すように、プロジェクタに送られる変換後の画像は、四つの頂点(ξo 1,ηo 1)、(ξo 2,ηo 2)、(ξo 3,ηo 3)および(ξo 4,ηo 4)で示される領域となり、スクリーン上に投影される画像は、四つの頂点(ξs 1,ηs 1)、(ξs 2,ηs 2)、(ξs 3,ηs 3)および(ξs 4,ηs 4)で示される矩形となる。従って、当初スクリーンに投影された四辺形(図8(a)中の一点鎖線で示す領域)は、所望の矩形(図8(b)中の外側の領域)に変形された状態でスクリーンに投影されることとなるのである。
なお、上記の例は、一つのプロジェクタに送られる画像が一つのスクリーンに投影された場合を示しており、一つのプロジェクタに送られる画像が二つの平面上に投影される場合は異なる処理が必要となる。例えば、図9に示すように、隣接する2平面に跨がって画像が投影される場合である。この場合、二種類の投影が考えられる。すなわち、投影される平面上において、異なる平面を無視すべき場合(図9(a)参照)と、異なる平面ごとに投影面を形成する場合(図9(b)参照)である。前者は柱などの凹凸に対応するものであり、後者は異なる壁面に対する映像の分割に対応するものである。いずれの場合においても、異なる平面に投影される画像の形状は二つの四辺形で構成されることとなるから、両平面ごとに分割して処理される。
そこで、前者(図9(a)参照)の場合には、投影したい映像は、平面の凹凸に関係なく一つの領域(所望の矩形)であることから、平面の境界に関係なく所望の矩形(投影可能領域)を前記と同様に定めることができる。この所望の矩形(投影可能領域)に対し、平面上に投影される画像は、二つの異なる四辺形を形成することから、投影される画像を両平面に分割し、各平面について、個々の投射変換行列Hppを求めることとなる。なお、所望の矩形(投影可能領域)は、前記と同様に単一の領域となるが、画像変換に必要となる四つの頂点(四隅の点)は二つの平面ごとに定められることとなり、それぞれに分割された二つの領域において四つの頂点が測定され、射影変換行列の算出に用いられることとなる。
他方、後者(図9(b)参照)の場合には、異なる平面ごとに異なるスクリーン上の画像として投影させることとなることから、各平面について所望の矩形(投影可能領域)を設定し、それぞれについて射影変換行列Hppを求めることとなる。そして、それぞれの変換画像を合成して投影することにより、異なるスクリーン上における所望の矩形の画像として投影させることができる。
なお、上記いずれの場合においても、境界Bdの位置は、投影された画像の水平線の傾斜角度が変化する位置となることから、その位置をカメラにより取得されるカメラ画像によって測定され、この境界Bdを中心として二つの異なる画像に分割されることとなる。
次に、図10に示すように、一つのスクリーン(壁面W)に対して複数のプロジェクタ1a,1bによる画像が投影される場合を想定する。この場合は、個々のプロジェクタ1a,1bについて、それぞれの画像が所望の矩形(投影可能領域)となるように、前記投射変換行列Hppを求め、個々の画像を変換すればよい。なお、画像が連続して投影されるためには重複領域を設ける必要があるため、予め複数のプロジェクタ1a,1bにより投影される画像が一部において重複させるように当該プロジェクタ1a,1bを配置するものとする。
ところで、前記のような矩形(投影可能領域)への変換は、各プロジェクタ1a〜1fについて、投影すべきスクリーン1〜4(壁面W1〜W4)に対する投影画像を参照して実施されることとなるが、変換後の各画像が連続して投影されるように、各プロジェクタ1a〜1fによって投影される画像の高さ方向に位置を一定に揃える必要がある。そこで、前記のように矩形に変換された画像のうち、高さ方向に最も小さい矩形(投影可能領域)を選択し、この投影画像の高さ方向を揃えるように、他の画像について相似変換するのである。この相似変換についても、矩形(投影可能領域)への変換において、所望の矩形として設定することができれば、射影変換行列Hppを算出することにより、射影変換することができる。
このようにして、各プロジェクタに送られる画像の幾何補正を行うことにより、図11に示すように、複数のプロジェクタにより投影される複数のスクリーン(壁面)の画像は、同じ高さの帯状に連続する画像として、壁面全体(全周)に投影されることとなるのである。
ここで、上記射影変換には、プロジェクタに送られる画像としてパターン画像が使用される。パターン画像は、図12(a)に示すように、格子状のパターン画像を用いることができる。この種のパターン画像を使用する場合には、格子点検出法または輪郭検出法などにより、四辺形の頂点や画像の輪郭、さらに、異なる平面に分割される画像の境界線を検出することができる。また、格子状のパターン画像のほかに、図12(b)に示すように、縦または横に分割された白黒の2値画像によるパターン画像を用いることもできる。この場合、直線検出法などにより、スクリーン上に投影された画像から得られる直線パラメータを用いることにより、画像の投影状態および分割される境界を検出することができる。なお、上記2値画像のパターン画像を使用する場合は、格子点と同様に4本以上の直線が必要となる。これら4本以上の直線は、図12(b)に示されているような4種類のパターン画像を個別に投影し、検出される直線パラメータを合成することによることができる。
以上が幾何補正に関する説明である。本実施形態では、上記幾何補正のほかに、映像のシームレス化のための輝度補正を行っている。輝度補正には、プロジェクタごとの輝度ムラを補正するための個別の輝度補正(これを、単に「輝度補正」と称する。)と、隣接する画像が重複する領域における輝度補正(これを「重複領域補正」と称する。)がある。これらの輝度の補正は、幾何補正とは別に行うものであるが、幾何補正された画像を撮影し、これを平面画像に変換された(正規化された)画像を使用して輝度補正および重複領域補正をすることが全ての補正終了後のシームレス化の状態が好適となる。従って、本実施形態では正規化された画像を用いて輝度補正および重複領域補正を行うこととする。
まず、輝度ムラを補正するための輝度補正について説明する。輝度ムラとは、投影される領域内において明るさが異なる状態をいい、一般的なプロジェクタの場合は、レンズ等の影響により投影領域の中心部分と周辺部との間で輝度ムラを生じさせることとなる。複数のプロジェクタによって連続した画像を投影するとき、周辺部分の輝度が不足することにより、明らかに複数のプロジェクタが使用されていることが目立つこととなり、画像全体が不自然な状態となってしまう。そこで、この輝度ムラを補正するためには、輝度分布を算出し、当該輝度分布に応じて全体を近似の輝度に補正するものである。
輝度分布は、プロジェクタから投影されたスクリーン上の画像をカメラで撮影し、適宜間隔を有する複数の輝度を検出する。撮影画像から輝度を検出する輝度検出部は、カメラで撮影された撮影画像の画像信号に基づき、スクリーン上の映像の明るさを検出する。スクリーン上の映像の明るさの検出は、例えば、撮影画像に含まれる画素領域の平均値を求めるなどによって数値化された情報として検出することができる。そして、複数個所で検出された輝度値に基づき、全体の輝度分布の近似値を算出し、当該近似値に対して輝度補正値を算出するのである。
具体的には、スクリーン上に投影された画像をカメラで撮影し、これを前記正規化した後の画像に対し、縦横に適宜間隔を有するN個の格子点(xi,yi)を定め、その各点における輝度値を求める。前記格子点(xi,yi)をX−Yの二次平面とし、輝度値ziを高さとすると、次式(13)に示すような2次曲面に近似することができ、これを整理すると次式(14)に示すように表すことができる。
ここで、N個の観測点に対するモーメント行列Mは、次式(15)で表すことができ、全ての観測点における輝度値(zi)の重み付き和ベクトル(bベクトル)と、モーメント行列Mの逆行列M−1を用いることにより変換のパラメータ(pベクトル)を算出することができる。
そして、上記パラメータ(pベクトル)を用いて、次式(16)により各観測点における輝度値の近似値zi fを算出することができる。
上記のように各観測点における近似値zi fのうち、近似値が最も小さい値zi f min求め、補正係数αi fを次式(17)により計算し、ここで算出される補正係数αi fをプロジェクタに送られる画像の全体に対して適用することにより、全体の輝度を補正し、輝度ムラを解消させることができる。
なお、現実の補正においては、投影しているプロジェクタの画像の濃淡値とカメラで観測された画像の濃淡値とが、プロジェクタのγ補正およびカメラのγ補正の影響により線形ではないことから、これらのγ補正を行った後に輝度補正を行うこととなる。また、輝度補正の際に投影される画像は白色画像とし、この白色画像としては、RBGの三原色を使用して色彩を有しない状態の画像とするか、または各画素に対する画像情報を出力せずプロジェクタの投影光のみを投影することにより、輝度に特化した補正を行うようにすることができる。さらに、色彩の濃淡等を補正する場合は、RBGの単色画像(単色のパターン画像等)をプロジェクタから照射させ、個々の輝度値について同様の補正値を求めることにより、色彩のムラを補正することも可能である。
次に、重複領域補正について説明する。重複領域とは、図13に示すように、隣接する複数(図は二つ)のプロジェクタ1a,1bから照射される投影画像I1,I2が重なる領域I12である。この重複領域I12では、隣接する投影画像I1,I2の光が重複するため、単独で照射されている領域よりも明るく投影されることから、その輝度補正が必要となるものである。重複領域I12を把握するためには、前述のパターン画像の投影により、その画像をカメラ2によって撮影することにより、隣接する画像I1,I2のうち、現実に画像が重複する領域を確定させることができる。
輝度補正には、第1段階として、両画像I1,I2によって形成される重複領域内の各画素の輝度値Z1,Z2に対し、次式(18)に示すように、補正値αrを用いて補正することができる。
上記のような輝度補正の場合、補正された重複領域内の各画素の輝度値Zr12は、次式(19)に示すとおりとなる。なお、重複領域内に存在する点(u,v)については、所定の重みが求められ、当該重みに応じて各画素の輝度値が個別に補正されるものである。
しかしながら、上記による輝度補正は、現実に投影される重複領域の輝度を十分に補正できていない。すなわち、上記輝度補正により補正された重複領域内における輝度値は、両プロジェクタ1a,1bによる個別の輝度値に対して補正するものであるが、両プロジェクタ1a,1bの輝度値が同一であるとは限らず、輝度値に際を生じる場合には、個別に補正された両プロジェクタ1a,1bの輝度が重複する場合、両プロジェクタ1a,1bの輝度値よりも大きく(重複領域外よりも明るく)なる傾向となっていた。
そこで、本実施形態では、上記補正後の重複領域の映像をカメラ2により撮影し、さらに補正値を修正する(第2段階の補正を行う)ものである。ここでは、カメラにより撮影された画像から、現実に投影される映像における重複領域の輝度を検出し、その輝度値と、目的とする輝度値との割合を計算し、その割合に応じて補正値を算出するものである。具体的には、目標輝度値Zrrとし、現実輝度値Zr12とするとき、両輝度値の割合を次式(20)に示すように、補正割合を計算する。そして、この目標輝度値Zrrに対する現実輝度値Zr12の割合から、次式(21)のように、補正後の輝度値Zrr12を計算することができる。
このように、補正後の輝度値Zrr12は輝度割合βにより目標輝度値Zrrに補正されることとなる。そして、各プロジェクタ1a,1bにより輝度値は、前記のとおり、第1段階の補正による輝度値Zr12は、式(18)および式(19)に示されているとおりであることから、第2段階による補正値Zrr12は次式(22)のとおりとなる。
よって、両プロジェクタ1a,1bにおける補正値は、一方のプロジェクタ1aについてはαr/βとし、他方のプロジェクタ1bについては(1−αr)/βとすることにより、補正後の両プロジェクタ1a,1bの輝度値Zrr1およびZrr2は、次式(23)に示すようになり、重複領域における目標輝度値Zrr12とすることができるのである。なお、目標輝度値と現実の輝度値の割合は、β=1である場合もあり得る。この場合、結果的には、第1段階での輝度補正のみによって所望の輝度値を算出できたことになっているが、これは偶然そのような結果となるものであり、確認の意味においても第2段階の輝度補正は必要である。また、計算上は生じ難いものではあるが、β<1となる現象がある場合においても、上記第2段階の補正により、このときの輝度補正も可能となる。
上記による輝度補正の結果を図14に示す。図14(a)は補正前の映像であり、(b)は第1段階の補正の状態であり、(c)は第2段階の補正を行った状態を示す。この図に示されているように、第1段階では、重複領域が周辺領域よりも明るくなっており、十分な輝度補正ができていないが、第2段階の補正により、重複領域の存在が確認できない程度に補正されていることがわかる。
このように、重複領域の輝度値を補正するためには、輝度補正の場合と同様に、重複領域の輝度検出を容易にするため白色画像の映像をプロジェクタから照射することが好ましい。また、同様にして色補正を行うことも可能である。この場合、プロジェクタからRBGの個別の色彩画像を順次それぞれ照射し、各色彩画像の輝度についてそれぞれ補正値を算出することとなる。
以上のとおり、画像処理のための各補正値が算出されることから、幾何補正、輝度補正および重複領域補正を順次行うことにより、部屋全体の壁面(全周)W1〜W4に対して予定される画像をシームレスな投影させることが可能となる。そこで、画像の処理手順について説明する。
まず、処理装置による投影画像の幾何補正が処理される。図15は、幾何補正の処理手順の概略を示す図である。この図に示すように、幾何補正が開始されると、パターン画像が読み出され(S101)、このパターン画像がプロジェクタによって投影されるように処理される(S102,S103)。プロジェクタからパターン画像が投影されると、その画像はスクリーン(壁面)に投影されることとなり、その投影画像が全方位カメラで撮影され(S104,S105)、撮影された画像を取得し一時保存される(S106,S107)。撮影された画像は、円筒画像であるため、これを球画像および平面画像に変形し(S108)、その画像を保存する(S109)。この平面画像に基づいて、幾何補正のための補正関数が算出され(S110)、各画素に対する補正値が計算され(S111)、その補正値が保存される(S112)。これにより、幾何補正処理を終了する。なお、幾何補正の具体的な内容は前述のとおりである。
次に、プロジェクタごとの輝度補正が処理される。図16は、輝度補正の処理の概略を示す図である。プロジェクタごとの輝度補正は、前述の幾何補正した状態の画像により処理される。そのため、幾何補正された補正値を取得し(S201)、この補正値が反映された投影画像が作成される(S202)。この処理は輝度ムラを解消するためのものであることから、投影画像としては白色画像とすることができるが、パターン画像を用いることによって測定点を定めてもよく、色彩ムラを解消する場合には、所定の色彩を有する画像が使用される。次に、輝度補正すべきプロジェクタを順次選択し(S203)、選択されたプロジェクタから幾何補正により修正された画像が投影される(S204,205)。スクリーン(壁面)に投影された白色画像等の投影画像は全方位カメラによって撮影され、これを取得して、前記と同様に平面画像に変換される(S206〜S209)。
平面画像に変換された画像に基づき、任意の点における輝度値が検出され(S210)、二次曲面による輝度分布が算出される(S211)。さらに、算出された輝度分布に基づいて、輝度ムラを解消するための補正値が画素ごとに算出され(S212)、これの補正値が保存される(S213)。以上により一つのプロジェクタに対する輝度ムラを修正するための処理が終了し、全てのプロジェクタに対して補正値が算出されるまで、上記処理は他のプロジェクタに対して実行される(S214)。そして、全てのプロジェクタについて補正値が算出されると処理を終了する。なお、色彩のムラを解消するための補正を処理する場合には、上記と同様の処理手順により、RBGの各画像についてプロジェクタごとに処理される。
次に、重複領域の輝度補正が処理される。図17は、重複領域における輝度補正の処理の概略を示す図である。この図に示すように、前述により算出された幾何補正値および輝度補正値を取得し(S301)、各補正が反映されたパターン画像が作成され(S302)、これをスクリーン(壁面)に投影する(S303,S304)。このときの投影画像は全方位カメラで撮影されて取得され(S305〜S307)、この撮影画像は、前述と同様に平面画像に変換され、保存される(図省略)。取得されたパターン画像から、輝度値が検出され、輝度値の大きい領域を重複領域として補正対象とされる(S308)。重複領域を形成する複数の(例えば隣接する二つの)投影画像について、第1段階の輝度補正値が算出され(S309)、この補正値は一時保存される(S310)。
引き続き、第1段階の補正値を反映した投影画像が作成され(S311)、この投影画像は、パターン画像または白色画像としてプロジェクタから投影され(S312,S313)、再び全方位カメラで撮影した画像が取得される(S314〜S316)。このように第1段階の補正が反映された状態の画像について、重複領域(補正対象)の輝度値が検出され(S317)、第2段階の補正として、目標輝度値との比較により、最終的な補正値が算出される(S318)。目標輝度値は、重複領域外の輝度を参照することも可能であり、この場合、前記全方位カメラによって取得される画像から重複領域外の輝度値を検出して得ることができる。第2段階の補正値は、第1段階の補正値に加算されて最終的な補正値となり、これが重複領域補正における補正値として保存される(S319)。
なお、重複領域の補正は、重複領域ごとに撮影から順次処理することも可能であるが、全方位カメラによって同時に全ての重複領域を撮影し、それぞれの領域ごとに補正値を算出するように処理することも可能である。また、色彩ごとについても重複領域の補正をおこなうことができる。この場合には、プロジェクタに送られる画像データとしてRBGごとの色彩画像が使用される。
以上のように、処理装置による処理が実行されることにより、複数のプロジェクタ1a〜1fにより投影される画像について、幾何補正、プロジェクタごとの輝度補正、および、重複領域における輝度補正が処理され、室内における壁面をスクリーンとするシームレスな画像を投影することが可能となる。そして、上記処理を室内の全ての壁面について実施することにより、当該室内の全周に対してシームレスな画像を投影することができるものである。このときのシームレス画像は、壁面の凹凸(柱など)による画像の変形を補正し、違和感のない連続画像とすることができる。また、複数のプロジェクタによる継ぎ目を目立たなくすることができる。そして、上述のような各補正が終了した状態において、通常の投影すべき画像について各補正値を反映させた当該画像をプロジェクタから照射させることにより、シームレス画像を投影させることができるのである。
本発明の実施形態は上記のとおりであるが、これらは本発明の例示であって、本発明が上記実施形態に限定されるものではない。従って、本発明の趣旨を逸脱しない範囲において種々の態様とすることができるものである。例えば、上記実施形態では、スクリーン画像を撮影するための手段として、全方位カメラを使用したが、これは、360°の方向に投影される全周画像を一度に取得することができること目的とするものであって、複数回に分けてスクリーン画像を入手し、これらの画像の相互間の整合をとりながら処理する場合には、複数台のカメラにより撮影手段を構成してもよい。また、撮影画像として取得される円筒画像は、広角レンズを有するカメラにより取得するものを前提としたが、スクリーンに投影される画像を円筒画像として取得できれば、広角レンズを使用したものに限定されることはない。さらに、上記実施形態は、室内を例として、その壁面をスクリーンとして使用する場合を例示したが、このような室内の壁面に限定されず、他の種類の面をスクリーンとして使用する形態もあり得る。また、室内の壁面をスクリーンとする場合であっても、全周に対する画像の投影に限らず、壁面の一部に対する画像の投影もあり得るものであり、このような場合に、全方位カメラで撮影される周辺の画像は、スクリーンとすべき壁面の輝度値の調整において、スクリーンとして使用する範囲外の輝度を参照させることに利用することも可能である。