JP5869819B2 - プロジェクタおよびその制御方法、並びにプログラム - Google Patents

Description

本発明は、複数のプロジェクタが同時投射することによって同一の投射面上への表示を行うプロジェクションシステムを構成するプロジェクタおよびその制御方法、並びにプログラムに関する。

近年、複数のプロジェクタによる同時投射を行うことによって同一のスクリーン上への画像表示を行うプロジェクションシステムが普及している。例えば、同一の画像について複数のプロジェクタの表示を重畳することで高輝度の画像を表示するスタック投射や、複数のプロジェクタの表示を連結してプロジェクタの解像度以上の高解像度表示を実現する際などに用いられる。また、各プロジェクタ間で異なる偏光フィルタを介して左右の画像に視差を持たせてスタック投射し、立体画像を表示する際にも用いられる。

プロジェクタによるスクリーンへの表示を行う場合、光学的な補正のみでは表示画像の形状を正しく再現できないことがある。このような場合、プロジェクタと投射面との位置関係に起因する画像の歪みを補正するために、入力画像に対して幾何補正を行い、補正画像を投射する。例えば、複数のプロジェクタを用いるプロジェクションシステムでは、キーストーン補正(台形歪み補正)やエッジブレンド(連結画像端補正)等、各プロジェクタにおける表示画像の位置合わせを行うために、幾何補正が実施される。各プロジェクタで適切に幾何補正処理が行われることで、スクリーンに歪みの無い画像を表示することが可能となる。

一般に幾何補正処理としては入力画像を縮小変形するため、幾何補正処理後の画像では、表示画像の周辺部に該縮小変形の結果生じた空白領域が生成される。この空白領域は通常は画素を黒埋めして形成されるが、実際には黒以外の情報を表示することも可能である。そこで、この空白領域を用い、表示画像の周辺部に文字情報を提示する技術が提案されている(例えば、特許文献１参照)。該技術によれば、現在時刻などの文字情報をプロジェクタの表示画像を邪魔することなく表示するために、キーストーン補正後に生じる空白領域を利用する。また、文字情報を表示する空白領域が確保できない場合、表示画像を縮小することで十分な空白領域を確保し、文字情報を描画する。

特開2008-268624号公報

しかしながら、複数のプロジェクタを用いて画像を表示するシステムにおいて、上述したように表示画像周辺の空白領域に文字情報を描画する技術を適用した場合、以下のような問題があった。すなわち、あるプロジェクタで文字情報を表示する空白領域を確保するために画像を縮小した場合、スクリーン上における表示画像にずれが発生しないよう、文字情報を表示しない他プロジェクタについても同様の縮小処理を行う必要がある。このように、全てのプロジェクタにおいて同様の縮小処理を行うことは煩雑であり、さらに表示画像の画質も縮小により劣化してしまう。

本発明は上述した問題を解決するためになされたものであり、複数のプロジェクタが同時投射することによって同一の投射面上への表示を行うプロジェクションシステムにおいて、以下の機能を実現することを目的とする。
すなわち、表示画像周辺に対する付加情報の表示を、表示画像の画質劣化を抑制しつつ可能とする。

本発明は、複数プロジェクタの同時投射によって同一の投射面上への表示を行うプロジェクションシステムにおいて、表示画像周辺に対する付加情報の表示を、表示画像の画質劣化を抑制しつつ可能とすることを目的とする。

上記目的を達成するための一手段として、本発明のプロジェクションシステムは以下の構成を備える。

他のプロジェクタとマルチプロジェクションを実行するプロジェクタであって、
画像データを入力する入力手段と、
前記画像データに対して歪み補正を行う補正手段と、
前記補正手段による歪み補正の補正量に関するパラメータと、前記他のプロジェクタにおける歪み補正の補正量に関するパラメータとに基づいて、付加画像を投射すべきプロジェクタを決定する決定手段と、
前記他のプロジェクタが前記付加画像を投射すべきプロジェクタとして前記決定手段により決定された場合、前記他のプロジェクタに対して前記付加画像の投射位置に関する情報を出力する出力手段と
を備える。

本発明によれば、複数プロジェクタの同時投射によって同一の投射面上への表示を行うプロジェクションシステムにおいて、表示画像周辺に対する付加情報の表示が、表示画像の画質劣化を抑制しつつ可能となる。

本実施形態におけるプロジェクションシステムの外観を示す図、 各プロジェクタの概略構成を示すブロック図、 本実施形態における幾何補正例を示す図、 スタック投射を行う各プロジェクタにおける幾何補正結果とその投射画像例を示す図、 本実施形態における付加情報描画処理を示すフローチャート、 幾何補正後の入力画像とスクリーンに投影された表示画像との対応関係を示す図、 第２実施形態におけるエッジブレンディング表示と付加情報の合成出力例を示す図、である。

以下、本発明に係る実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第１実施形態＞
本実施形態は、マスタ／スレーブ構成をなす複数のプロジェクタが同時投射することによって同一の投射面上へのスタック表示を行うプロジェクションシステムにおいて、時計情報等の付加画像を画像周囲に表示する例を示す。一般にプロジェクタにおける付加情報の表示は、表示画像の歪みを補正するためになされた、入力画像を縮小変形する幾何補正によって画像周辺部に生じる空白領域を利用して行われる。また、付加情報表示用の空白領域を生成するために、あえて画像縮小を施すこともある。

本実施形態のように複数のプロジェクタによるスタック表示を行う場合、表示画像位置を合わせるためにプロジェクタごとに異なる幾何補正が施されることによって、発生する空白領域もプロジェクタごとに異なる。したがって、第１のプロジェクタでは付加情報を描画するに十分な空白領域が確保できない場合であっても、第２のプロジェクタでは該空白領域が確保できる可能性がある。第２のプロジェクタで付加情報が描画可能であれば、第１のプロジェクタにおいて表示画像を縮小して付加情報を描画する必要が無くなるため、スタック表示された画像(以下、スタック画像)の品質劣化を回避することができる。

●システム構成
以下、本実施形態におけるプロジェクションシステムの概要について説明する。図１は、本実施形態におけるプロジェクションシステムの外観を示す図であり、複数のプロジェクタ10がコンピュータや画像再生装置等の画像供給装置11からの入力画像GiをスクリーンSCにスタック投射する。このとき、入力画像Giの周辺部に、付加情報Gaを投射することが可能である。ここで付加情報Gaとは、まずプロジェクタ10の状態や時刻等を表す文字情報や、画質調整のためのOSD(On-Screen Display)等を指す。各プロジェクタ10はネットワーク12を介して接続されており、互いの情報を伝送することが可能であることから、マスタ／スレーブ構成をなす。すなわち、ある1台のプロジェクタ10がマスタとなり、残りの他のプロジェクタ10がスレーブとなる。マスタ/スレーブの設定は予めなされているものとし、その設定方法は任意であって、いずれのプロジェクタ10がマスタであっても構わない。

図２は、プロジェクタ10の概略構成を表すブロック図である。本実施形態における複数のプロジェクタ10は互いの構成を同一とするため、ここではある一台のプロジェクタ10を例として説明する。

図２において画像入力部101は、パーソナルコンピュータやDVD等の画像再生機器などの画像供給装置11から、画像信号を入力するための不図示の端子を備える。この端子としては、HDMI(High-Definition Multimedia Interface)端子やS端子、VGA端子等を用いることができる。

制御部103は、不図示のCPUやフラッシュメモリ等のROM、一時的にデータ格納する各種RAM等により構成される。CPUは、各種操作要求に対し、制御プログラムに基づいて画像処理制御、出力制御、接続制御等、プロジェクタ10全般の演算を実施し、制御を行う。以下、制御部103の動作に関しては、後述する付加情報Gaの描画に関する制御手法について主に説明し、その他の処理については説明を省略する。制御部103はプロジェクタ10内の各モジュールを制御すると同時に、動作状況や状態を把握するため、不図示の双方向バスにより各モジュールと接続されている。

接続部105は、自機の制御部103と、不図示の他機器の制御部とが通信可能となるように接続する。他機器との接続手法としては、LANケーブルやUSB等を用いた有線による接続や、無線LAN等を用いた無線による接続等を行うことができる。また、複数のプロジェクタ10を用いて同一スクリーンSC上にスタック表示を行う場合には、自機の制御部103と他のプロジェクタ10の制御部103との間で、画像表示の同期処理を行う。

描画部104は、画像入力部101より入力された画像信号に付加して表示する付加情報Gaのグラフィクス(付加画像)の描画を行う。描画部104はグラフィクス描画のためのCPUを備え、制御部103から入力される描画情報に従い、付加情報Gaのグラフィクスの描画信号（以下、単にグラフィクスと称する）を生成する。生成されたグラフィクスは、合成部111に出力される。

画像処理部102は、画像入力部101に入力された画像信号に対して幾何補正を施す幾何補正部110と、幾何補正後の画像信号に対して付加情報のグラフィクスを合成する合成部111からなる。なお、図示しないが、その他の種々の画像処理を実施するモジュール群も有している。その他の画像処理としては、色変換処理やパネルのムラ補正処理、フレームレート変換処理等が考えられる。これらの処理は、画像入力部101から画像出力部106まで一連のバスを介して接続されることで、実行される。

幾何補正部110は、制御部103からの制御信号に従い、画像入力部101から入力された画像に対し、拡大、縮小、キーストーン補正、エッジブレンド処理等の各種変形処理を実施する。幾何補正を行った結果、入力画像の画素数は液晶パネル108で形成可能な全画素数以下、すなわち液晶パネル108の解像度以下になる。なお、該縮小変形に伴う画素値の算出方法としては周知の方法が適用可能であり、特に限定しない。

合成部111は、入力されたグラフィクスを保持するメモリを有し、被合成対象となる入力画像Giのフレームが合成部111に入力されるまで、合成するグラフィクスを保持する。そして制御部103からの制御信号によって指定されたフレームの入力が通知されると、メモリからグラフィクスを読み出し、入力画像Gi周辺の指定位置にこれを合成して、該合成画像を出力する。なお、制御部103がグラフィクスを合成する指示を出していない場合、合成部111は入力画像Giをそのまま出力する。合成部111から出力された画像信号は、画像処理部102内において、不図示のオーバードライブ等の処理が施された後、画像出力部106へ出力される。

画像出力部106では、入力された画像信号の各画素値に従い、液晶パネル108の液晶セルを制御し、出力画像を形成する。詳細には、光源107から放射された光が出力画像を形成する液晶パネル108により変調されて出力画像光となり、投射レンズ109を通してスクリーンSCに拡大表示される。光源107としては、高圧水銀灯やメタルハライドランプ、キセノンランプ等の放電発光型の光源ランプ、もしくはLED、レーザー、有機EL(Organic Electoro-Luminescence)等の固体発光素子等を用いる。液晶パネル108は、不図示のマトリクス状に配置された液晶セルに封入された液晶分子を、電圧によって変化させ、色フィルタを介して所定の色の光を通過／遮断させることにより、所望の画像光を生成する。生成された画像光は、投射レンズ109を介して拡大され、スクリーンSCに投射される。液晶パネル108の種類としては、光源107からの出力光を透過させて表示を行う一般的な液晶や、光源107からの光を反射させて表示を行うLCOS(Liquid Crystal On Silicon)等を用いることができる。液晶パネルとしては、RGBを同一パネルに配置した単板方式や、RGBを別個のパネルに配置し、光学系にて合成して表示する3板方式等を用いることができる。

●幾何補正処理
以下、幾何補正部110における幾何補正処理について、図３を用いて説明する。図３は、プロジェクタ設定位置と、液晶パネルおよびスクリーン上での画像形状の関係により、本実施形態における幾何補正の例を示す図である。図３(a)は、プロジェクタ10に正対する位置(投射軸に直交する位置)にスクリーンSCが位置し、幾何補正部110で幾何補正を行わない場合の投射例を示す。図３(b)は、プロジェクタ10がスクリーンSCに煽り角を付けて投射する位置にあり、やはり幾何補正を行わない場合の投射例を示す。図３(c)は、図３(b)と同様にプロジェクタ10がスクリーンSCに煽り角を付けて投射する位置にあるが、幾何補正部110において表示の幾何歪み補正を行った場合の投射例を示す。

図３(a)に示すように幾何補正を行わない場合には、入力画像Giがそのまま液晶パネル108への出力画像の形状と一致する。液晶パネル108の解像度と入力画像Giの解像度が同じであれば、液晶パネル108の全面において入力画像Giが形成される。この場合、スクリーンSCの正面から煽り角を付けない状態で投射を行うと、スクリーンSC上には入力画像Giが歪みの無い状態で、投射画像Gi'として表示される。

一方、プロジェクタ10がスクリーンSCと正対していない場合に、図３(a)のように液晶パネル108全面に入力画像Giを形成して投射を行うと、スクリーンSC上の投射画像Gi'は図３(b)に示すようになる。すなわち、スクリーンSC上の投射画像Gi'がプロジェクタ10とスクリーンSCの位置関係に従って歪んだ状態で表示される。幾何補正部110では、図３(b)に示すような表示画像の幾何学的な歪みを補正するために、制御部103からの補正量制御指示に従い、図３(c)に示すように、入力画像Giを縮小変形させた画像を形成する。図３(c)によれば、プロジェクタ10とスクリーンSCの位置関係は図３(b)と同様であるが、液晶パネル108上に形成される入力画像Giが台形形状に縮小変形されていることが分かる。この縮小変形（幾何補正)により、補正前の入力画像形状との差分として、補正後の入力画像Giの周囲に空白領域Baが発生する。このように液晶パネル108全面に変形後の入力画像Giと空白領域Baが形成されることで、そのスクリーンSC上への投射画像Gi'においては図３(b)に示すような歪みが解消され、図３(a)と同様歪みの無い状態で表示される。言い換えれば、幾何補正部110においては、図３(a)の場合と同等の投射画像Gi'が得られるように、入力画像Giへの幾何補正を施す。なお、幾何補正により発生する空白領域Baについては、投射した際にスクリーンSCに表示されないよう、黒埋めされる。

制御部103は、表示画面の歪みを相殺する画像の生成を幾何補正部110に指示する。このとき、制御部103が設定する補正量は、ユーザがスクリーンSC上に表示される画像を観察しながら、プロジェクタ10を操作して設定した補正量に基づくものである。なお、プロジェクタ10が自身の位置とスクリーンSCの位置関係を取得し、制御部103内で演算処理することで補正量を求めることも可能である。また、プロジェクタ10の傾きを検出し、補正量を自動決定することも可能である。

ここで、幾何補正部110における補正処理の一例として、射影変換処理により幾何補正を行う手法を示す。射影変換では、下記変換式を用いて入力画像Giの変形処理を行う。

u＝(x*a+y*b+c)／(x*g+y*h+1)
v＝(x*d+y*e+f)／(x*g+y*h+1)
該変換式において、x,yは変換前の座標、u,vは変換後の座標、a〜hは変換係数である。変換係数a〜hを算出するために、入力画像の四隅である4つの対応点を用いる。すなわち、該4つの対応点について制御部103で設定された補正量に基づく変換前後の座標を求め、上記多項式に対し、これら座標を代入した結果得られる8つの連立方程式を解く。

ここで、上記4つの対応点について、図６を用いて説明する。図６(a)はあるプロジェクタ10における幾何補正後の入力画像Giの例を示し、幾何補正前に長方形形状であった矩形ABCDが、台形形状の矩形KLMNに縮小変形され、空白領域Baが生成された様子を示している。なお、入力画像Giのサイズは幾何補正前にH×W画素であったものが、縮小変形により減少していることが分かる。

図６(b)は該幾何補正後の画像GiをスクリーンSCに投射した表示画像Gi'の例を示しており、図６(a)とは座標系が異なるものとなる。同図によれば、台形形状に縮小変形されて矩形KLMNをなす入力画像Giが、上辺に行くほど大きな拡大率で投射されることによって、長方形形状の矩形K'L'M'N'をなす表示画像Gi'として表示されている。図６(b)に示す表示画像Gi'においては、下底M'N'については幾何補正前の入力画像Giの画像幅(W画素)相当の表示がなされている。また、上底K'L'についてはW画素よりも少ない画素数ながら、下底M'N'と同幅となる拡大表示がなされている。また、画像高さK'M'(L'N')についても、幾何補正前の入力画像Giの画像高さ(H画素)相当となる拡大表示がなされている。なお、スクリーンSC上では、幾何補正後の矩形KLMNの歪みが補正されるのに伴って、矩形ABCD内で発生した空白領域Baも変形し、矩形A'B'C'D'内の空白領域Ba'(対応空白領域)として投射される。

本実施形態では、図６に示す入力画像Giおよび表示画像Gi'における四隅の対応点、すなわち変換前のK〜Nと変換後のK'〜N'の座標を上記多項式にそれぞれ代入することで、変換係数a〜hを算出する。このように算出した変換係数a〜hを上記多項式に代入し、各画素に対して該演算を行うことにより、入力画像Giの全体に対する幾何補正が行われる。

●付加情報表示処理
以下、本実施形態のプロジェクションシステムにおいて、入力画像Giのスタック表示に対し付加情報Gaのグラフィクスを付加する処理について、図４、図５を用いて説明する。

図４は、複数のプロジェクタ10を用いて同一スクリーンSC上に画面を重畳して表示(スタック表示)する本実施形態のプロジェクションシステムにおける、各プロジェクタ10による投射画像例を示す図である。図４(a)〜図４(d)は、いずれも3台のプロジェクタ10において、共通の入力画像Giに対しそれぞれ異なる幾何補正(いずれもキーストーン補正)を施した結果によるスタック表示例を示している。なお、比較を容易とするため、図４(a)〜図４(d)のそれぞれ3台のプロジェクタにおいては、各図で同様の幾何補正がなされているものとし、入力画像Giおよびその表示画像Gi'の周囲にある着色領域がそれぞれの空白領域Ba,Ba'を示している。

図４(a)および図４(c)は、付加情報Gaの描画指示が発生していない状態での投射例を示している。これに対し、図４(b)および図４(d)は、付加情報Gaの描画指示が発生した状態での投射例を示している。ただし、図４(b)は付加情報Gaを描画するのに十分な空白領域Baがある場合の投射例であり、図４(d)は空白領域Baが十分でない場合の投射例である。図４(b)の例ではスクリーンSC上でもその空白領域Ba'内に付加情報Gaが収まっているが、図４(d)の例ではスクリーンSC上で付加情報Gaが空白領域Ba'内に収まりきれず、表示画像Gi'に重畳されていることが分かる。

上述したように本実施形態のプロジェクションシステムにおいては、ある1台のプロジェクタ10がマスタとなり、残りのプロジェクタ10がスレーブとなるマスタ／スレーブ構成をとる。以下、便宜上マスタとなるプロジェクタ10を単にマスタ10Mとし、該マスタ10M内の各構成部には末尾に「M」を付して、例えば制御部103Mのように表記する。同様に、スレーブとなるプロジェクタ10をスレーブ10Sとし、その各構成部には末尾に「S」を付して表記する。マスタ10Mとスレーブ10Sはもちろん、いずれも図２に示した構成からなる。

以下、あるプロジェクタ10の制御部103において、付加情報Gaを示すグラフィクスの描画要求が発生した場合の付加情報描画処理について、図５のフローチャートを用いて説明する。なお、本実施形態における付加情報Gaのグラフィクス描画要求は、マスタ／スレーブの別に関わらず、全てのプロジェクタ10において発行可能である。具体的には、UIを介したユーザ指示入力等の外的要因や、装置内の不具合検出等の内的要因により発行される。グラフィクス描画要求としては、付加情報の内容およびその描画サイズ等の情報等を含んでいる。

本実施形態における付加情報描画処理は、マスタ10Mとスレーブ10Sとで処理が異なるため、まず、処理対象であるプロジェクタ10がマスタ/スレーブのいずれであるかを判定する(S101)。

スレーブ10Sであれば、その制御部103Sがまず、自身の幾何補正情報、すなわち幾何補正部110Sにおける幾何補正に用いられた幾何補正パラメータを、マスタ10Sに送信する(S201)。そしてスレーブ10Sにおいては、付加情報Gaのグラフィクス描画要求が発生した場合に(S202)、マスタ10Mの制御部103Mに対し、該グラフィクス描画要求と、該グラフィクスの内容等を示すグラフィクス情報を送信する(S203)。

一方、マスタ10Mであれば、その制御部103Mがまず、システムにおいて描画を行う全てのプロジェクタ10のいずれかにおいて、付加情報Gaのグラフィクス描画要求が発生したか否かを判定する(S102)。すなわち、マスタ10Mの自身において該グラフィクス描画要求が発生したか、またはスレーブ10Sから該グラフィクス描画要求を受信した場合に、グラフィクス描画要求が発生したと判定される。グラフィクス描画要求が発生したと判定された場合、該グラフィクス描画要求と同時に送られてきたグラフィクス情報から、グラフィクスの描画サイズを示す付加領域情報を取得する(S103)。

制御部103Mは次に、取得した付加領域情報に基づき、マスタ10Mおよびスレーブ10Sのうち、グラフィクスを描画する、すなわち付加情報Gaの合成対象となるプロジェクタを選択し、これをターゲット10Tとする(S104)。このターゲット設定は、マスタ10Mおよびスレーブ10SのそれぞれにおいてスクリーンSC上に形成される空白領域Ba'のうち、付加情報Gaのグラフィクスの表示に最適であるものを判定することによって行われる。以下、ターゲット10Tの各構成部には末尾に「T」を付して表記する。

ここで、S104におけるターゲット10Tの判定処理について、詳細に説明する。まず、マスタ10Mの制御部103Mは、上述したように各スレーブ10Sからそれぞれの幾何補正情報を示す幾何補正パラメータを受信している(S201)。制御部103Mは、自身の幾何補正パラメータ(第１の幾何補正情報)と、各スレーブ10Sの幾何補正パラメータ(第２の幾何補正情報)に基づき、全プロジェクタ10のそれぞれにおける幾何補正状況を管理する。例えば、射影変換による幾何補正が行われる場合には、全プロジェクタ10による幾何補正前後の入力画像の矩形の4隅における座標情報(例えば図６(a)に示すA〜DおよびK〜N)を取得する。制御部103Mはさらに、幾何補正前後の座標情報(A〜D,K〜N)に対し、実際の投射に応じた射影変換処理を行って、各プロジェクタ10によるスクリーンSC上での表示画像の座標情報(図６(b)に示すA'〜D'及びK'〜N')を算出する。そして各プロジェクタ10ごとに、幾何補正前後の計8点(A〜D,K〜N)について、投射による射影変換後の座標情報(A'〜D'及びK'〜N')を対応させて管理しておく。

したがって制御部103Mは、マスタ10Mおよびスレーブ10Sのそれぞれにおいて発生する空白領域Ba'の形状およびサイズを、自身が管理するそれぞれの座標情報に基づいて算出することができる。また、付加情報Gaのグラフィクスの形状およびサイズについても同様に、上記座標情報に基づいて例えばスクリーンSCに投射されたグラフィクス(対応付加画像)の状態を算出することができる。本実施形態では、スクリーンSC上での表示画像の座標系において、空白領域Ba'に対するグラフィクスの包含関係に基づき、ターゲット10Tを決定する。

例えば図４(a)に示す状態例であれば、付加情報Gaを包含して表示可能な空白領域Ba'を、左端のプロジェクタ10のみが有しているため、これがターゲット10Tとして選択される。このターゲット10Tにおいては付加情報Gaのグラフィクスを包含可能な空白領域Ba'は幾何補正後の入力画像Giの上部にしか存在しないため、グラフィクスは図４(b)に示すように入力画像Giの上部に描画される。なお、ターゲット10Tにおいてグラフィクスの描画を可能とする空白領域Ba'が複数存在する場合には、グラフィクスに入力画像と同等の幾何変換を施した際の変形が最も小さくて済むものを、グラフィクスの描画領域として決定する。また、複数のプロジェクタがグラフィクスを描画可能である場合を考慮し、プロジェクタ毎の優先順位、または描画場所となる入力画像周囲の領域の優先順位等を予め定めておいても良い。

図４(a)では空白領域Ba'がグラフィクスを包含可能とする例を示したが、図４(c)に示すように、いずれのプロジェクタ10においてもその空白領域Ba'がグラフィクスよりも小さいため包含しきれない場合もある。このような場合には、グラフィクスと表示画像Gi'との重畳判定を行う。まず、表示画像Gi'上に付加情報Gaを重ねて表示することを許可する設定がなされているか否かを判定する。この重畳許可は、ユーザにより例えばUIを介して予め設定されているものとする。そして重畳表示が許可されている場合に、図４(d)に示すように表示画像Gi'と付加情報Gaのグラフィクスが重なる重畳領域が最も小さくなる空白領域Ba'に対して付加情報Gaを描画するように、ターゲット10Tを設定する。

したがって本実施形態では、空白領域Ba'にグラフィクスが重なる領域が最大となるプロジェクタ10を、ターゲット10Tとして設定すれば良い。例えば図４(a)の場合であれば、空白領域Ba'がグラフィクスの全てを包含可能とする、左端のプロジェクタ10を、ターゲット10Tとする。言い換えれば、図４(a)における左端のプロジェクタ10の空白領域Ba'は、表示画像Gi'に対するグラフィクスの重畳領域が最も小さくなる(0となる)
S104では以上のように、付加情報Gaの合成を行うターゲット10Tが設定されるが、このとき、付加情報Gaの合成を行わない、すなわちターゲット以外のプロジェクタ10については、これを非ターゲット10Nとして設定する。非ターゲット10Nの各構成部には末尾に「N」を付して表記する。非ターゲット10Nとしてはターゲット10Tと同様に、マスタ10Mおよびスレーブ10Sのいずれもがなりうる。

S103,S104で付加情報Gaの描画領域とターゲット10Tが決定された後、マスタ10Mの制御部103Mは、付加情報Gaを幾何補正後の入力画像Giに合成するための描画制御信号Dsを生成する(S105)。この描画制御信号Dsは、グラフィクス情報、射影変換情報、グラフィクスの合成位置を示す合成座標情報、等を含んだ情報であり、ターゲット10Tの幾何補正パラメータに基づいて生成される。制御部103Mでは、ターゲット10Tで入力画像Giに施された幾何補正と同様の幾何補正をグラフィクスにも施すことで、ターゲット10Tでの幾何補正にあわせて変形した付加情報Gaの描画制御信号Dsを生成する。

ここで本実施形態においては、図４(d)を用いて説明したように、ターゲット10Tにおいて付加情報Gaのグラフィクスと表示画像Gi'との重畳領域が発生する場合が有る。重畳領域がある場合(S106;YES)、非ターゲット10Nでは、図４(d)における中央と右のプロジェクタ表示例に示すように、該重畳領域に対応する領域を黒埋めする。この黒埋め対象となる領域の情報は、マスタ10Mの制御部103Mが管理しているグラフィクスの合成領域を示す合成座標情報をそのまま、黒埋め用の描画制御信号Dsとして送信することで、非ターゲット10Nへ与えられる(S107)。すなわち、重畳領域を含むグラフィクスの全領域を示す合成座標情報が、黒埋め領域情報として非ターゲット10Nに与えられる。非ターゲット10Nではその合成部111Nにおいて、描画制御信号Dsで指定されたグラフィクスの全領域に対する黒埋め処理、すなわち該領域内の画素値を所定の黒レベルに設定する処理を行う(S205)。なお、マスタ10Mが非ターゲット10Nに含まれる場合には、自身の描画部104Mに黒埋め用の描画制御信号Dsを出力し、合成部111Mにおいて該描画制御信号Dsに基づく黒埋め処理を行う。

非ターゲット10Nで黒埋め処理が行われる場合、ターゲット10Tにおいては、付加情報Gaのグラフィクスが透過なく表示されるように、後述する合成処理が行われる(S110,S205)。これにより、非ターゲット10Nからはグラフィクスの領域には何も表示されないように出力され、ターゲット10Tからはグラフィクスが表示されるように出力される。したがって、スクリーンSC上のスタック画像において付加情報Gaのグラフィクスと入力画像Giの意図しない混合を防ぐことができ、グラフィクスの可読性が高まる。

S105においてマスタ10Mの制御部103Mで生成された描画制御信号Dsは、ターゲット10Tの描画部104Tに出力される。すなわち、ターゲット10Tがマスタ10Mであれば(S108,YES)、制御部103Mは自身の描画部104Mに描画制御信号Dsを出力し、描画部104Mはそれに従って付加情報Gaのグラフィクスを生成し、自身の合成部111Mへ出力する。合成部111Mは、幾何補正部110Mで変形された入力画像Giに対し、描画制御信号Dsで指定された座標上にグラフィクスを合成し、出力する(S110)。

一方、ターゲット10Tがスレーブ10Sであれば(S108,NO)、その制御部103Sに対し描画制御信号Dsを送信する(S109)。詳細には、マスタ10Mの描画部104Mで生成されたグラフィクスは一旦マスタ10Mの制御部103Mに出力され、接続部105M,105Tを介してターゲット10Tに出力される。この場合、描画制御信号Dsも接続部105M,105Sを介してターゲット10Tの制御部103Tに送信され、描画部104Tに入力される。

スレーブ10Sにおいては、マスタ10Mから描画制御信号Dsを受信した場合(S204,YES)、その描画部104Sが、該描画制御信号Dsに従って付加情報Gaのグラフィクスを生成し、合成部111Sへ出力する。合成部111Sは、幾何補正部110Sで変形された入力画像Giに対し、描画制御信号Dsで指定された座標上にグラフィクスを合成し、出力する(S205)。

なお、スレーブ10Sがマスタ10Mから描画制御信号Dsを受信する場合としては以下の2通りがある。まず、当該スレーブ10Sがターゲット10Tであった場合に、上記S109において送信された付加情報合成用の描画制御信号Dsを受ける。また、当該スレーブ10Sが非ターゲット10Nであって、かつターゲット10Tにおいて付加情報Gaの重畳表示を行う場合に、上記S107において送信された黒埋め処理用の描画制御信号Dsを受ける。したがって、当該スレーブ10Sが非ターゲット10Nであって、かつターゲット10Tで付加情報Gaの重畳表示を行わない場合には、当該スレーブ10Sは付加情報Ga用の描画制御信号Dsの受信を行わない。

以上のように、ターゲット10Tおよび非ターゲット10N、すなわち全てのプロジェクタ10の合成部111からは、幾何補正後の入力画像Giにグラフィクスが合成された合成画像、または該合成がなされなかった入力画像Giが出力される。これらはそれぞれの画像出力部106の液晶パネル108に入力され、ここで形成された画像がスクリーンSC上にスタック表示される。

スクリーンSCに付加情報Gaが表示された状態において、例えばユーザが付加情報Gaの表示停止操作を行うことによって描画要求が終了した場合、各プロジェクタ10の制御部103は付加情報Gaの表示を停止すべく、描画制御信号Dsの出力を停止する。これにより、各プロジェクタ10の描画部104、合成部111に対しグラフィクスの描画と合成が終了する。グラフィクスの合成停止後には、スクリーンSCには付加情報Gaがない状態で、入力画像Giが表示される。

以上は、ターゲット10Tにおいて入力画像Giと付加情報Gaのグラフィクスの重畳表示が許可されている例について説明したが、この重畳表示が禁止されている場合には、以下のような制御を行うことが考えられる。すなわち、付加情報Gaがどの空白領域Ba'でも包含しきれないにも関わらず、付加情報Gaの描画を空白領域Ba'内に限定する設定がなされている場合には、付加情報Gaの重畳表示が発生している旨をUIを介してユーザに通知する。そして、該UIにおいてユーザが付加情報Gaの内容を確認する操作を行った場合に、入力画像Gi上に付加情報Gaを重畳した表示を行えば良い。

なお、本実施形態ではターゲット10Tの選択を、スクリーンSC上での表示画像の座標系において、すなわち空白領域Ba'に基づいて行う例を示した。これは、以下の理由による。例えば図４(b)に示すように、ある空白領域Ba'がグラフィクスを包含可能な場合であれば、当該空白領域Ba'が発生するプロジェクタ10のみに対し、グラフィクスの描画が行われる。このように1台のプロジェクタへの合成を行う場合には、スクリーンSC上の空白領域Ba'を参照せずとも、幾何補正後の空白領域Baが該グラフィクスを包含可能であるか否かに応じてターゲット10Tを決定することができる。しかしながら、本実施形態では図４(d)に示す重畳表示が行われる場合を考慮しており、このような場合には全プロジェクタについてグラフィクスに対応する描画(グラフィクスまたは黒埋め)を行う必要がある。ここで、スクリーンSCへの射影変換による変形率はプロジェクタ毎に異なる。したがってスクリーンSC上でのスタック画像において重畳領域の位置合わせをより正確に行うためには、スクリーンSC上での表示画像の座標系において重畳領域を判定し、グラフィクスとの比較を行うことが望ましい。

以上説明したように本実施形態によれば、複数のプロジェクタ10によるスタック表示を行う際に、付加情報を合成するターゲット10Tを選択的に決定することで、以下のような効果が得られる。

まず、付加情報Gaの描画要求が発生した際、幾何補正の結果として発生する空白領域Baが十分にある領域に付加情報Gaを合成するため、入力画像Giの表示を可能な限り妨げずに付加情報Gaを提示することができる。

次に、自身に付加情報Gaを描画できる空白領域Baが存在しない場合、他のプロジェクタ10の空白領域Gaも含めて表示可能領域を選択するため、入力画像Gi上に付加情報Gaが重畳表示されてしまう頻度を低減することができる。

さらに、入力画像Giの表示領域上に付加情報Gaを重畳して描画する際に、付加情報Gaを合成しない非ターゲット10Nでは付加情報Gaが重畳される領域を黒埋めすることで、付加情報Gaと入力画像Giが混合することなく表示される。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。第２実施形態のプロジェクションシステムにおいて、上述した第１実施形態と同等の構成および動作については説明を省略する。上述した第１実施形態では複数のプロジェクタ10によるスタック表示を行う際に、付加画像を表示する例を示した。第２実施形態においては、複数のプロジェクタ10を用いたエッジブレンディング表示を行うことによって、1台のプロジェクタ10による表示サイズを超えるような付加画像を大画面に合成・表示する例を示す。

なお、第２実施形態においても第１実施形態と同様に、複数のプロジェクタに対する合成処理を考慮し、ターゲット10Tの判定をスクリーンSC上での座標系における空白領域とグラフィクスの包含関係に基づいて行う。

図７(a)は、プロジェクタ10A〜10Dの4台によるエッジブレンディング表示により、スクリーンSC上での1つの入力画像Giを表示した例を示す。この場合、スクリーンSCにおける表示画像のサイズ(表示画素数)が、1台のプロジェクタ10において表示可能なサイズ(最大表示画素数)よりも大きくなっていることが分かる。このようなエッジブレンディング表示を行う場合、付加情報Gaの描画幅が1台のプロジェクタの描画幅より大きい場合であっても、複数のプロジェクタ10を用いることで図７(b)に示すように該付加情報Gaを合成した表示が可能となる。

第２実施形態におけるマスタ10Mの制御部103Mは、各プロジェクタ10A〜10Dの表示している領域と幾何補正の状態を管理する。そしてスクリーンSC上におけるそれぞれの表示画像を図７(a)に示すように統合し、1つの座標空間上で管理する。そして、1台のプロジェクタが表示可能な最大描画幅よりも大きい描画幅を有する付加情報Gaの描画要求が発生した場合、制御部103Mは、スクリーン上SCの座標空間を用いて付加情報Gaを描画可能な領域を判定する。図７(a)に示す例であれば、図７(b)に示すように入力画像Gi上部に位置する空白領域Baに、付加情報Gaが表示可能であると判定される。該空白領域Baは、プロジェクタ10A,10Bにおいて発生した空白領域が連結された連結空白領域であるため、制御部103Mはこのプロジェクタ10A,10Bをターゲット10Tとして、それぞれに応じた描画制御信号Dsを送信する。すなわち、プロジェクタ10A,10Bのそれぞれに対し、それぞれの空白領域Baに描画される付加情報Gaのグラフィクス部分を指定する。

描画制御信号Dsを受信した2台のプロジェクタ10A,10Bは、それぞれが付加情報Gaの描画を行って指定位置にグラフィクスを合成し、エッジブレンディングを施した後、画像出力部106へ出力する。出力された画像は液晶パネル108上に形成され、投射レンズ109を介してスクリーンSC上に投射される。

以上説明したように第２実施形態によれば、複数のプロジェクタを用いたエッジブレンディング表示による大画面表示を行う場合に、各プロジェクタにおける最大表示サイズを超えたサイズの付加情報を表示することが可能となる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (12)

1. 他のプロジェクタとマルチプロジェクションを実行するプロジェクタであって、
   画像データを入力する入力手段と、
   前記画像データに対して歪み補正を行う補正手段と、
   前記補正手段による歪み補正の補正量に関するパラメータと、前記他のプロジェクタにおける歪み補正の補正量に関するパラメータとに基づいて、付加画像を投射すべきプロジェクタを決定する決定手段と、
   前記他のプロジェクタが前記付加画像を投射すべきプロジェクタとして前記決定手段により決定された場合、前記他のプロジェクタに対して前記付加画像の投射位置に関する情報を出力する出力手段と
   を備えることを特徴とするプロジェクタ。
2. 前記付加画像のサイズ情報を取得する取得手段を更に備え、
   前記決定手段は、前記歪み補正により前記入力済み画像データが表示されなくなる空白領域のうち、前記付加画像を包含する空白領域を前記付加画像のサイズ情報に基づいて特定し、当該特定された空白領域に投射領域が対応するプロジェクタを、前記付加画像を投射すべきプロジェクタとして決定する
   ことを特徴とする請求項１に記載のプロジェクタ。
3. 前記決定手段は、前記歪み補正により前記入力済み画像データが表示されなくなる複数の空白領域が、前記付加画像を包含しないことを前記サイズ情報に基づいて判定した場合、前記複数の空白領域のうち、前記付加画像との重複面積が最大となる空白領域を特定し、当該特定された空白領域に投射領域が対応するプロジェクタを、前記付加画像を投射すべきプロジェクタとして決定する
   ことを特徴とする請求項２に記載のプロジェクタ。
4. 前記決定手段は、前記歪み補正により前記入力済み画像データが表示されなくなる複数の空白領域が、前記付加画像を包含する空白領域であることを前記サイズ情報に基づいて判定した場合、前記複数の空白領域のうち、前記歪み補正による変形量が最小となる空白領域を特定し、当該特定された空白領域に投射領域が対応するプロジェクタを、前記付加画像を投射すべきプロジェクタとして決定する
   ことを特徴とする請求項２又は３に記載のプロジェクタ。
5. 前記決定手段は、前記歪み補正により前記入力済み画像データが表示されなくなる複数の空白領域が、前記付加画像を包含する空白領域であることを前記サイズ情報に基づいて判定した場合、前記複数の空白領域に投射領域が対応する複数のプロジェクタのうち、他のプロジェクタよりも高い優先度が設定されたプロジェクタを、前記付加画像を投射すべきプロジェクタとして決定する
   ことを特徴とする請求項２又は３に記載のプロジェクタ。
6. 前記付加画像に対応するグラフィクスデータを生成する生成手段を更に備え、
   前記出力手段は、前記付加画像を投射すべきプロジェクタに対して、前記生成手段が生成したグラフィクスデータを出力する
   ことを特徴とする請求項１乃至５のうち、何れか１項に記載のプロジェクタ。
7. 前記付加画像を投射すべきプロジェクタ以外のプロジェクタが投射する投射領域のうち、前記付加画像の投射領域に対応する投射領域を黒表示させるための描画制御信号を通知する通知手段を更に備える
   ことを特徴とする請求項１乃至６のうち、何れか１項に記載のプロジェクタ。
8. 前記マルチプロジェクションは、複数のプロジェクタが投射する画像を重ね合わせるスタック表示である
   ことを特徴とする請求項１乃至７のうち、何れか１項に記載のプロジェクタ。
9. 他のプロジェクタとマルチプロジェクションを実行するプロジェクタとして機能するコンピュータに読み込ませ実行させることで、前記コンピュータを、
   画像データを入力する入力手段、
   前記画像データに対して歪み補正を行う補正手段、
   前記補正手段による歪み補正の補正量に関するパラメータと、前記他のプロジェクタにおける歪み補正の補正量に関するパラメータとに基づいて、付加画像を投射すべきプロジェクタを決定する決定手段、
   前記他のプロジェクタが前記付加画像を投射すべきプロジェクタとして前記決定手段により決定された場合、前記他のプロジェクタに対して前記付加画像の投射位置に関する情報を出力する出力手段
   として機能させるためのプログラム。
10. 他のプロジェクタとマルチプロジェクションを実行するプロジェクタの制御方法であって、
    画像データを入力する入力工程と、
    前記画像データに対して歪み補正を行う補正工程と、
    前記補正工程による歪み補正の補正量に関するパラメータと、前記他のプロジェクタにおける歪み補正の補正量に関するパラメータとに基づいて、付加画像を投射すべきプロジェクタを決定する決定工程と、
    前記他のプロジェクタが前記付加画像を投射すべきプロジェクタとして前記決定工程により決定された場合、前記他のプロジェクタに対して前記付加画像の投射位置に関する情報を出力する出力工程と
    を備えることを特徴とする制御方法。
11. 前記付加画像のサイズ情報を取得する取得工程を備え、
    前記決定工程は、前記歪み補正により前記入力済み画像データが表示されなくなる空白領域のうち、前記付加画像を包含する空白領域を前記付加画像のサイズ情報に基づいて特定し、当該特定された空白領域に投射領域が対応するプロジェクタを、前記付加画像を投射すべきプロジェクタとして決定する
    ことを特徴とする請求項１０に記載の制御方法。
12. 前記決定工程は、前記歪み補正により前記入力済み画像データが表示されなくなる複数の空白領域が、前記付加画像を包含しないことを前記サイズ情報に基づいて判定した場合、前記複数の空白領域のうち、前記付加画像との重複面積が最大となる空白領域を特定し、当該特定された空白領域に投射領域が対応するプロジェクタを、前記付加画像を投射すべきプロジェクタとして決定する
    ことを特徴とする請求項１１に記載の制御方法。

Images