JPWO2017072842A1 - プロジェクタ、映像表示装置、及び映像表示方法 - Google Patents

Abstract

プロジェクタを用いて立体物の形状に合わせて映像を投映する場合、グリッド等のパターンをプロジェクタから投映してカメラで撮影し、投映対象の位置や形状を算出することで投映映像に適切な幾何変換を行うことが可能となる。しかし、映像コンテンツ表示中にグリッドを重畳投映すると、映像を見ている人にもグリッドが見えてしまうため、映像コンテンツ表示中は投映対象の位置や形状の算出ができないという課題があった。
上記課題を解決するために、カラーホイールの色の表現方法の自由度および色冗長性を利用して、人間の目には見えない不可視パターンを映像中に埋め込むと共に、カメラを用いてカラーホイールの回転に同期して映像を撮影することで、埋め込んだ不可視パターンを識別可能とする。

Description

本発明は、プロジェクタ、映像表示装置、及び映像表示方法に係り、特に、投映対象物の形状認識等のための投映映像への不可視パターン重畳に関する。

近年、実世界に置かれた物体に対して、プロジェクタ等の映像表示装置を用いて映像を投映するいわゆるプロジェクションマッピングと呼ばれる技術が注目を浴びている。

この技術を用いると、プロジェクタに正対した平面のスクリーンだけでなく、プロジェクタに正対せず角度を持って置かれたスクリーンや凹凸のある物体等に対して映像を投映することが可能となる。プロジェクタに対してスクリーン等の投映対象が正対していない場合、すなわちプロジェクタの光軸と投映対象面が直角に交わっていない場合、投映された映像に幾何学的な歪が発生する。例えばスクリーンの上辺がプロジェクタに近く、下辺が遠くになるようにスクリーンが設置された場合に、プロジェクタから正方形の映像を投映すると、正方形の上辺が下辺よりも短く投映される、いわゆる台形歪が発生することになる。実際には上下方向だけでなく、左右方向にも同様の現象が発生するので、プロジェクタから投映した正方形の映像は、平行な辺の無い歪んだ四角形として投映されうることになる。

この場合、この歪を打ち消すようにあらかじめ投映する映像に逆方向の幾何補正を掛けておくことで、正しく正方形として表示することが可能となる。この幾何補正（幾何変換）は透視変換または射影変換と呼ばれ、行列計算によって実現することが可能である。

この行列を算出するためには、なんらかの手段で投映対象物の形状や位置の情報を取得する必要がある。

これを実現するための一つの方法が、特開２００５−３７７７１号公報（特許文献１）に記載されている。特許文献１では、プロジェクタから赤外光によってグリッドを投映し、赤外カメラで撮影することで、投映対象の形状を取得している。

特開２００５−３７７７１号公報

特許文献１では、光変調素子として単板式のマイクロミラーアレーを用いたプロジェクタにおいて、カラーホイールに赤外光のみ通過する領域を設けることで、グリッド等の不可視パターンの投映を実現している。しかし、この発明を実現するためには、専用のカラーホイールを搭載する必要があるためコスト的に不利となる上、パターン投映を行わない場合にもカラーホイール上の赤外光領域は映像表示に利用できない期間となるため、投映映像の輝度を低下させる要因となってしまうという課題があった。

上記課題を解決するために、本発明は、その一例を挙げるならば、入力映像を複数の色成分の映像に分解し、各色成分の映像を投映対象物の同一の位置に時分割で投映することによって、投映対象物の表面に複数の色成分の映像を光学的に合成し入力映像をカラー表示するプロジェクタであって、光源と、光源からの光の各色成分に対応する波長の光のみを時分割で通過させるカラーホイールと、カラーホイールを通過した光源の光を供給された色成分映像に基づいて変調する光変調デバイスと、光変調デバイスによって変調された光を投映対象物へ投射するレンズと、入力映像を複数の色成分の映像に分解して、カラーホイールの動作と同期したタイミングで光変調デバイスへ供給する投映映像生成回路を備え、色成分は三原色であるＲＧＢの３成分とＲＧＢ以外の色成分を少なくとも１つ含んでおり、投映映像生成回路において、ＲＧＢ以外の色成分の映像に第１の重畳映像パターンを重畳すると共に、時間方向で平均したときに投映対象物の表面上で第１の重畳映像パターンを打ち消すように生成した第２の重畳映像パターンをＲＧＢの各色成分映像に重畳するように構成する。

本発明によれば、マイクロミラーアレーを用いたプロジェクタのカラーホイールをそのまま利用して、一般的な可視光カメラを用いて不可視パターンの投映と識別が可能となる。

実施例１における映像投映システムの構成図である。 実施例１の前提となるＲＧＢカラーホイールの構成図である。 実施例１におけるＲＧＢＷカラーホイールの構成図である。 実施例１における不可視パターンを埋め込んだ映像シーケンスの例である。 図３におけるマーカー周辺を拡大した図である 実施例１における不可視パターン埋め込み前の輝度分布を示した図である。 実施例１における不可視パターン埋め込み後の輝度分布を示した図である。 実施例１におけるグリッドパターンを埋め込んだ映像シーケンスの例である。 実施例２におけるＲＧＢＣＭＹのカラーホイール構成図である。 実施例２における不可視パターン埋め込み前の輝度分布を示した図である。 実施例２における不可視パターン埋め込み後の輝度分布を示した図である。 実施例３におけるシーン０でのグリッドパターン埋め込み例である。 実施例３におけるシーン１でのグリッドパターン埋め込み例である。 実施例４における複数台のプロジェクタを用いたマルチプロジェクタ投映の例である。 図１３のオーバーラップ領域の一部を拡大した図である。 実施例５におけるコード化されたパターンの埋め込み例を示した図である。 実施例６におけるタイミングの異なる妨害パターン埋め込み例を示した図である。 実施例６におけるタイミングの異なる妨害パターン埋め込みタイミングの例を示した図である。

以下、本発明の実施例を図面を用いて説明する。

図１は本実施例における映像投映システムの構成例を示した図である。図１において、１はプロジェクタであり、入力映像５に映像処理を行った後、投映対象物２へ投映する。本実施例では、投映対象物２は通常の平面スクリーンだけでなく、立方体やマネキン人形のような立体的な物である場合も想定しており、プロジェクタ１は入力映像５を投映対象物２の形状に合致するように変形した後に投映対象物２の表面上に投映する。

次にプロジェクタ１の内部構成を説明する。本実施例ではプロジェクタの映像投映部は単板式のマイクロミラーアレーを用いたプロジェクタをベースにした構造となっており、特記無き部分については、単板式のマイクロミラーアレーを用いたプロジェクタと同様の構造・動作となっている。１０は光源であり、光源１０から出た光はカラーホイール１１を通過した後、光変調デバイス１２によって投映映像１４に応じた変調を施され、レンズ１３を通して投映対象物２へ投映される。光変調デバイス１２は、極小なミラーを二次元平面に敷き詰めた構造となっており、それぞれのミラーは投映映像１４を構成する各画素の値に応じてその向きを変えられる構造となっており、各画素値に応じた量の光が投映対象物２へ投映されることになる。

本実施例では、入力映像はＲＧＢの３原色から構成されているが、光変調デバイス１２を１個のみ搭載した単板構成のプロジェクタでは、映像中の複数の色成分を同時に変調することができない。このため、各色成分毎に時分割で処理することによってカラー映像の投映を実現している。すなわち、光源１０と光変調デバイス１２の間に高速で回転するカラーホイール１１を配置し、ＲＧＢ各成分の映像を時分割で投映対象物２へ投映することで、カラー表示を実現とする。

まず、カラーホイール１１として、図２Ａに示すようなＲＧＢカラーホイール１１ａを使用する場合を考える。ここでＲと書かれている領域８００はＲに対応する波長の光成分のみを透過し、Ｇ、Ｂを吸収する領域である。Ｇ、Ｂと書かれている部分も同様に対象とする光成分のみを透過する。このＲＧＢカラーホイールを入力映像５の１フレーム期間にちょうど１回転するように中心８０１を軸に回転させると、光源１０から照射された光のＲＧＢ各成分が１／３フレーム期間ずつ、光変調デバイス１２に照射される。

ここで、投映映像生成回路２０の中にあるサブフレーム化回路２２によって、入力映像５のＲ（赤）成分のみを取りだした映像であるＲ映像、Ｇ(緑）成分のみを取りだしたＧ映像、Ｂ（青）成分のみを取りだしたＢ映像を生成する。１フレーム分の入力映像からＲ映像、Ｇ映像、Ｂ映像の三枚の映像が得られるので、これらの映像をサブフレームと呼ぶこととする。サブフレーム化回路２２はフレームバッファ２１を用いて、これらのサブフレームを時間的にずらして時分割出力する機能を持つ。
投映映像生成回路２０は、入力映像５の各フレームから生成したＲＧＢ三枚のサブフレームをカラーホイール１１の回転に同期させて、時分割で光変調デバイス１２を駆動する。すなわち、カラーホイール１１がＲの時に光変調デバイス１２をＲサブフレームの映像で駆動し、Ｇの時にはＧサブフレーム、Ｂの時にはＢサブフレームの映像で駆動することで、投映対象物２には入力映像５のＲ成分、Ｇ成分、Ｂ成分が時分割で投映されることになる。人間の目は、入ってきた映像を時間方向に積分して認識する性質があるため、サブフレームの切り替えが十分に高速であれば、時分割に投映されたＲＧＢ映像はカラー映像として認識されることになる。

ＲＧＢカラーホイールでは各色成分の投映期間が等しい場合には、光源１０が発生する光の約１／３が投映対象物２への投映光として利用され、残りの２／３がカラーホイール１１で反射・吸収され、捨てられることになる。この捨てられる光を減らして、投映輝度を明るくするために、例えば図２Ｂに示すＲＧＢＷのカラーホイール１１ｂを使用する方法がある。Ｗは白色光を意味し、入力された光をそのまま透過させる領域である。全白映像を投映する場合を考えると、カラーホイールがＲ、Ｇ、Ｂの期間では光源光の１／３のみが利用されるが、Ｗの期間では光源光を全て利用できることになる。この結果、ＲＧＢＷのカラーホイールを使用した場合には、全白映像投映時は光源光の１／２（＝１／３×３／４＋１×１／４）を利用できることになる。

ＲＧＢＷのカラーホイールを用いる際には、投映映像生成回路２０は、入力映像５から、可視光であるＲ、Ｇ、Ｂ、Ｗ成分を持つ投映映像１４を生成し、時分割出力することになる。

一方、このようにカラーホイールにＲＧＢ三原色以外の色を追加することにより、色の表現方法に自由度が発生し色冗長性が生ずることになる。例えば、ＲＧＢＷのカラーホイールを使用し、ＲＧＢの画素値を等しくした場合に、同一画素値のＷと同じ色および輝度が得られるように調整されている場合、白色を投映するには、ＲＧＢを同じ画素値で投映し白を消灯しても良いし、ＲＧＢを消灯して白のみ前述の画素値で投映してもよい。
本実施例では、ＲＧＢＷのカラーホイールの持つ自由度および色冗長性を利用して不可視パターンを映像に重畳する。ここで、説明を簡単にするために、R:G:B:W=1:1:1:0としたときと、R:G:B:W=0:0:0:1としたときに投映対象物２上の色および輝度が一致するようにカラーホイール１１を調整してある場合を考える。実際にはこの条件が成り立たなくても、事前に画素値を補正する処理を加えることにより、本実施例の方式を利用することが可能である。

このカラーホイールを使用している時に、スクリーン上の画素位置（xi,yi）の点におけるＲＧＢ各成分の輝度値(Ri,Gi,Bi)と、各サブフレームの画素値(Rp,Gp,Bp,Wp)の関係は以下の式で表わすことができる。

Ri = Kr×g(Rp) + Kwr×g(Wp) …（式１a）
Gi = Kg×g(Gp) + Kwg×g(Wp) …（式１b）
Bi = Kb×g(Bp) + Kwb×g(Wp) …（式１c）

ここで、g()は画素値と輝度の関係を表わすガンマ関数であり、通常はべき乗関数となるように設計する。Kr、Kg、Kb、Kwr、Kwg、Kwbは比例定数である。ここで、白成分の画素値ＷｐをΔWだけ減少させる場合を考える。この場合、

Ri = Kr×g(Rp＋ΔR) + Kwr×g(Wp−ΔW) …（式２a）
Gi = Kg×g(Gp＋ΔG) + Kwg×g(Wp−ΔW) …（式２b）
Bi = Kb×g(Bp＋ΔB) + Kwb×g(Wp−ΔW) …（式２c）

を満たすΔR、ΔG、ΔBの組を一意に定めることが可能である。これは、各サブフレームの画素値を(Rp,Gp,Bp,Wp)とした場合と、(Rp＋ΔR,Gp＋ΔG,Bp＋ΔB,Wp−ΔW)とした場合は、各サブフレームを時分割投映して得られる投映対象物２上の映像のＲＧＢ各成分の輝度値が等しくなることを意味する。すなわち、ΔR＋ΔG＋ΔB＝ΔWとなりお互いでキャンセルするように働く。本実施例では、このことを利用して投映映像に不可視パターンを埋め込む。

本実施例では、各サブフレーム中の同一位置に「十」という文字形状の不可視マーカーを埋め込む場合を例に説明する。このマーカーの縦線上の一点の座標を(xi,yi)とする。この様子を図３、図４に示す。図３はＲＧＢＷカラーホイールに対応したサブフレーム映像を時系列に横方向に並べた図である。フレームＮのＲサブフレーム１００にマーカー１１０、Ｇサブフレーム１０１にマーカー１１１、Ｂサブフレーム１０２にマーカー１１２、Ｗサブフレーム１０３にマーカー１１３を埋め込んでいる。Ｒサブフレーム１００におけるマーカー１１０周辺を拡大した図を図４に示す。

ここで、ｙ＝ｙｉで表わされるＸ軸に平行な直線Ａ上の画素に着目して、マーカー周辺領域のｘ座標と画素値の関係をグラフ化したものを図５、図６に示す。図５はマーカー埋め込み前の投映映像の画素値、図６はマーカー埋め込み後の投映映像の画素値のグラフである。座標(xi,yi)の画素値は、図５では(Rp,Gp,Bp,Wp)、図６では(Rp＋ΔR,Gp＋ΔG,Bp＋ΔB,Wp−ΔW)となっている。各サブフレームは時分割で投映されるが、その周期が十分に短ければ、人間の目の持つ積分効果によって各サブフレームの輝度を平均化した映像として認識される。この場合、ΔR＋ΔG＋ΔBとΔWがキャンセルし、マーカー埋め込み前後の輝度はどちらも(Ri,Gi,Bi)となり、マーカーの有無によって変化しない。すなわち、図３の各サブフレームに埋め込んだマーカー１１０〜１１３は、人間の目には見えない不可視マーカーとなる。

一方、この投映対象物２に投映された映像をシャッター速度の速いカメラ３０で撮影すると積分効果がほとんど発生しないため、マーカーが重畳された映像が撮影されることになる。

より確実にマーカーを撮影するためには、カラーホイール１１の回転と同期してカメラ撮影を行うと良い。例えば、常にＷのサブフレーム期間中にカメラ撮影を行うように制御すると、撮影映像中には周囲の画素よりも相対的に輝度が低いマーカーが写ることになる。なお、Ｒ、Ｇ、Ｂいずれでも、そのサブフレーム期間中にカメラ撮影を行うようにしてもよい。

カメラの撮影映像では、入力映像５に重畳した形でマーカー映像が得られるため、図１に示す、パターン検出回路３１やパラメータ算出回路３２等の撮影映像を解析する映像解析回路により、パターンマッチング等の手法を用いてマーカー座標を検出することが可能である。また、入力映像５中にマーカーと似ているパターンが含まれている場合には、重畳するマーカーの形状を別の物に変更することで、パターンマッチングの誤動作を低減することが可能である。

なお、マーカー投映前の画素値によっては、マーカーを重畳出来ないケースがある。これについては、実施例３で対応策を示す。

以上の例では、十字の不可視マーカーを埋め込む方法を説明した。本実施例で埋め込む不可視パターンはこれに限定されるものではなく、任意の形状のパターンを埋め込むことが可能である。例えば、グリッド等の規則的なパターンを埋め込む場合の利用例を以下に示す。

図７はＲＧＢＷカラーホイールに対応したサブフレーム映像を時系列に横方向に並べた図である。図７においては、前述の十字マーカーと同じ方法で各サブフレームに格子状のグリッドパターンを重畳する。すなわち、フレームＮのＲサブフレーム１００にグリッド１２０、Ｇサブフレーム１０１にグリッド１２１、Ｂサブフレーム１０２にグリッド１２２、Ｗサブフレーム１０３にグリッド１２３を埋め込んでいる。これにより、前述と同様に、測定対象の立体物を見ている人に不要なグリッド表示を見せることなく、グリッドパターンを撮影することができる。特に、立体物の３Ｄ計測を行う方法の一つとして、プロジェクタによりグリッドパターンやストライプパターンを測定対象物に投映し、これをカメラで撮影する方法がある。したがって、図７に示すグリッドパターン重畳により、測定対象の立体物を見ている人に不要なグリッド表示を見せることなく、３Ｄ計測を行うことが可能となる。

以上のように、本実施例は、人間の目には見えない不可視パターンを映像中に埋め込むと共に、カメラを用いてカラーホイールの回転に同期して映像を撮影することで、埋め込んだ不可視パターンを識別可能とする。

具体的には、入力映像を複数の色成分の映像に分解し、各色成分の映像を投映対象物の同一の位置に時分割で投映することによって、投映対象物の表面に複数の色成分の映像を光学的に合成し入力映像をカラー表示するプロジェクタであって、光源と、光源からの光の各色成分に対応する波長の光のみを時分割で通過させるカラーホイールと、カラーホイールを通過した光源の光を供給された色成分映像に基づいて変調する光変調デバイスと、光変調デバイスによって変調された光を投映対象物へ投射するレンズと、入力映像を複数の色成分の映像に分解して、カラーホイールの動作と同期したタイミングで光変調デバイスへ供給する投映映像生成回路を備え、色成分は三原色であるＲＧＢの３成分とＲＧＢ以外の色成分を少なくとも１つ含んでおり、投映映像生成回路において、ＲＧＢ以外の色成分の映像に第１の重畳映像パターンを重畳すると共に、時間方向で平均したときに投映対象物の表面上で第１の重畳映像パターンを打ち消すように生成した第２の重畳映像パターンをＲＧＢの各色成分映像に重畳するように構成する。

また、入力されたカラー映像を４色以上の色成分映像に分割して時分割で表示することでカラー映像を表示する映像表示装置であって、表示映像を時間方向に１フレーム周期の期間平均化した際に互いに打ち消し合う重畳映像パターンを４色以上の各色成分映像に重畳する映像生成回路を有するように構成する。

また、入力されたカラー映像を４色以上の色成分映像に分割して時分割で表示することでカラー映像を表示する映像表示方法であって、表示映像を時間方向に１フレーム周期期間平均化した際に互いに打ち消し合うパターンを各色成分映像に重畳するように構成する。

これにより、マイクロミラーアレーを用いたプロジェクタのカラーホイールをそのまま利用して、一般的な可視光カメラを用いて不可視パターンの投映と識別が可能となる。

実施例１では、ＲＧＢＷカラーホイールを使用する場合を例に説明したが、本実施例はこれに限定されるものではなく、各サブフレームの色成分の間に自由度および色冗長性があれば異なる色の組み合わせのカラーホイールでも実現可能である点について説明する。

図８は、本実施例で用いるＲＧＢＣＭＹのカラーホイールの例を示す。Ｒは赤、Ｇは緑、Ｂは青であり、ＣＭＹは、それぞれの補色であるＣ：シアン、Ｍ：マゼンダ、Ｙ：イエローである。これらの補色はＲＧＢを混合することで作ることが可能である。例えば、Ｒ：赤とＧ:緑を混合することで、Ｙ：イエローを生成することが可能である。このことを利用して、実施例１と同様に不可視パターンを埋め込むことが可能である。

まず、マーカー埋め込み前の各サブフレームの画素値と輝度の関係は次のようになる。

Ri = Kr×g(Rp) + Kcr×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp) （式３a）
Gi = Kg×g(Gp) + Kcg×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp) （式３b）
Bi = Kb×g(Bp) + Kcb×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp) （式３c）

ここで、(Ri,Gi,Bi)は投映対象物２上の画素位置（xi,yi）の点におけるＲＧＢ各成分の輝度値、(Rp,Gp,Bp,Cp,Mp,Yp)はマーカー埋め込み前の画素値、g()は画素値と輝度の関係を表わすガンマ関数、Kr、Kg、Kb、Kcr、Kcg、Kcb、Kmr、Kmg、Kmb、Kyr、Kyg、Kybは比例定数である。ここでY成分の画素値をΔYだけ減少させることを考える。この場合、

Ri = Kr×g(Rp＋ΔR) + Kcr×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp−ΔY) （式４a）
Gi = Kg×g(Gp＋ΔG) + Kcg×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp−ΔY) （式４b）
Bi = Kb×g(Bp＋ΔB) + Kcb×g(Cp) + Kmr×g(Mp) + Kyr×g(Yp−ΔY) （式４c）

を満たすΔR、ΔG、ΔBの組を一意に定めることが可能である。ここで、BとYは補色関係にあるため、式４ｃのようにY成分をΔYだけ減少させても、Biは変化しない。

すなわち、ΔBは0となるため、R,G,Yの３サブフレームのみで不可視マーカーを埋め込むことが可能となる。この様子を図９、１０に示す。図９はマーカー埋め込み前の投映映像の画素値、図１０はマーカー埋め込み後の投映映像の画素値のグラフである。なお、B、C、M成分は上記のマーカーの埋め込みに影響されないため、これらの図では省略している。

座標(xi,yi)における投映映像１４の画素値は、図９では(Rp,Gp,Bp,Cp,Mp,Yp)、図１０では(Rp＋ΔR,Gp＋ΔG,Bp,Cp,Mp,Yp-ΔY)となっている（ΔBは0）。各サブフレームは時分割で投映されるが、その周期が十分に短ければ、人間の目の持つ積分効果によって各サブフレームの輝度を平均化した映像として認識される。すなわち、ΔR＋ΔGとΔYがキャンセルし、各サブフレームに埋め込んだマーカーは、人間の目には見えない不可視マーカーとなる。

一方、この投映映像をシャッター速度の速いカメラで撮影すると積分効果がほとんどないため、マーカーを重畳した映像が撮影される。より確実にマーカーを検出するためには、カラーホイールの回転と同期してカメラ撮影を行うと良い。例えば、常にＹのサブフレーム期間中にカメラ撮影を行うように制御すれば、マーカー映像は常に周囲の画素よりも輝度が低い十字記号となる。

このＲＧＢＣＭＹカラーホイールでは、Ｒ、Ｇ、Ｙの間だけでなく、Ｇ、Ｂ、ＣやＲ、Ｂ、Ｍの間の自由度および色冗長性を利用して、パターンを埋め込むことも可能である。この事を利用すると、カラーホイールのＹ、Ｃ、Ｍの各期間を利用してカメラ撮影を行うことで、１フレーム周期あたり、３つの異なったパターン映像を独立に埋め込むことが可能である。この３つのパターンを利用すると、各画素位置にフレーム当たり３ビットの情報を埋め込めるため、これを用いて、各マーカーにＩＤを振って区別するといった使い方も可能となる。

これまでの実施例では、映像中の任意の場所に不可視パターンを埋め込み可能な映像が入力されることを前提に説明を行ってきたが、実際の映像ではパターンを埋め込めない領域が存在することがある。これは式２ａ〜ｃまたは式４ａ〜ｃでガンマ関数g()の引数であるマーカー埋め込み後の画素値がオーバーフロー（1画素当たりNbitの画素表現において2^N以上になること）またはアンダーフロー（負の値になること）する場合に相当する。

図１１に、その例を示す。図１１は、夜空に月と惑星が写っているシーンである。ここで左図に示すように、夜空の部分が真っ黒すなわち全成分の画素値が０の場合、この部分にはパターンを埋め込むことはできない。ＲＧＢＷのカラーホイールを使用している場合を例に取ると、(Rp,Gp,Bp,Wp)=(0,0,0,0)の画素に対してはWpからΔWを減算するとWpが負の値となってしまうためである。しかし、この映像では図１１の右図に示すように夜空以外の部分には、不可視パターン（ここではグリッドパターン）を埋め込むことが可能である。

ここで、各色成分の画素値が８ビット幅で、０〜２５５の値を取り得る場合、ＲＧＢＷのカラーホイール使用時に式２ａ〜ｃで規定するパターン埋め込み可能な領域かどうかは以下の式で判定することができる。

０ ≦ Rp ＋ ΔR ≦ ２５５ （式５ａ）
０ ≦ Gp ＋ ΔG ≦ ２５５ （式５ｂ）
０ ≦ Bp ＋ ΔB ≦ ２５５ （式５ｃ）
０ ≦ Wp − ΔW ≦ ２５５ （式５ｄ）

式５ａ〜ｄが全て成立する領域がパターンを埋め込み可能な領域となる。

入力映像が動画のように時間と共に変化する場合、式５ａ〜ｄに基づいて、図１１や、シーンの異なる図１２のように、シーン毎に異なる位置にパターンを埋め込んでいくことで、映像シーケンス全体として画面全体にパターンを埋め込むことが可能である。投映対象物の形状や位置が時間と共に変化しない、あるいは変化速度が無視できるほど遅い場合には、このように時間をかけて投映領域全体にパターンを順次埋め込んでいき、これを用いて３Ｄ計測等を行うことが可能である。

以上説明したように、不可視マーカーを投映映像に埋め込むことができれば、マルチプロジェクタ投映において、振動やプロジェクタの自重等の影響によって映像の重ね合わせ領域が設置・調整後に時間と共にずれていってしまう場合の補正を投映中の映像コンテンツに影響を与えずに行うことも可能である。本実施例は、これを実現する例について説明する。

図１３は、本実施例における２台のプロジェクタを用いたマルチプロジェクタ投映の例を示している。図１３においては、横長のスクリーン４に二台のプロジェクタＡ、Ｂを用いて横長の映像７０を投映する場合を想定している。映像分割機３は、入力された映像７０から、左右２枚の映像７１、７２を切り出して、プロジェクタＡ、Ｂへ送出する。このとき、映像７１と映像７２はつなぎ合わせ部分を目立たなくするためにある程度の領域がオーバーラップするように切り出す。ここで、プロジェクタＡ、Ｂは図１のプロジェクタ１と同じ内部構成となっており、制御バス６を介して映像分割機３や制御用ＰＣ７と接続されているものとする。

プロジェクタＡ、Ｂは入力された映像７１、７２をスクリーン４上に７３，７４のようにオーバーラップさせて投映する。この際に、各プロジェクタ中の幾何変換回路２４は、台形歪みの補正や投映サイズ・位置の調整を行う。

理論的には、幾何変換回路２４に与える幾何変換パラメータは、プロジェクタＡ、Ｂと投映対象物２を設置した際に、テストパターン投映によって一度だけ調整すれば良いはずであるが、実際にはプロジェクタの自重による設置角度の経時変化や振動の影響等によって、時間が経過するとプロジェクタの投映位置が徐々にずれてくるため、定期的に幾何変換パラメータを調整する必要がある。

本実施例では、実施例１等で説明した不可視パターン投映を用いることで、通常の映像コンテンツ再生に影響を与えずに、幾何変換パラメータの自動調整を実現する。

幾何変換では４個の点について、入力映像中におけるその点の座標と幾何変換を適用後の投映映像中で対応する座標を取得することができれば、連立方程式を解くことで幾何変換パラメータを求めることが可能である。不可視マーカーを用いてこれを実現する方法を図１４を用いて説明する。

図１４は図１３のオーバーラップ領域の下の方の領域７５周辺を拡大した図である。図１４において、マーカー４００はプロジェクタＡによって投映された不可視マーカーであり、マーカー４０１はプロジェクタＢによって投映された不可視マーカーである。これらのマーカーはどちらも入力映像７０中の点４０２に相当する座標に埋め込まれたものであり、映像７３と映像７４が正確に重ね合わされていれば、完全に重なるべきものである。すなわち、マーカー４００とマーカー４０１が一致するように、透視変換パラメータを調整することで、オーバーラップ領域をずれなく重ね合わせることが可能となる。

本実施例では、プロジェクタＡに搭載されたカメラ３０を用いてマーカー４００とマーカー４０１を撮影する。なお、このカメラは必ずしもプロジェクタに内蔵されている必要はなく、制御用ＰＣ７に接続された外部カメラを使用しても良い。この場合、撮影タイミングは制御バス６を介してプロジェクタＡから制御用ＰＣ７へ送られることになるが、撮影タイミングを制御せずに、連続して撮影した画像の中から、マーカーが識別可能な画像を選択して使用しても良い。

ここで、映像分割機３からプロジェクタＡ、Ｂへ出力する２つの映像送出タイミングはクロックレベルで完全に同期しており、各プロジェクタの内部は入力映像に同期して動作しているものとすると、プロジェクタＡとＢのカラーホイールの位相はほぼ一致することになる。

この結果、プロジェクタＡでマーカー４００を撮影すると、マーカー４０１も同時に撮影されることになる。ここで、マーカー４００の形状を「＋」、マーカー４０１の形状を「×」としておくと、カメラ映像中の２つのマーカーがどちらのプロジェクタから投映されたものかどうかを一意に識別可能となる。そこで、プロジェクタＡに搭載された制御マイコン４２によって、マーカー４００とマーカー４０１の投映位置の距離が小さくなるように幾何変換パラメータを更新し、フィードバック処理を行うことでマーカー４００とマーカー４０１の投映位置を一致させ、投映像７３と７４をずれなく重ね合わせることが可能となる。

なお、プロジェクタＡとＢのカラーホイールの位相がずれている場合であっても、複数枚の画像から、各マーカーの位置を検出することで同様の処理を行うことも可能である。

本実施例は、プロジェクタの投映映像に埋め込む不可視パターンとして、二次元バーコードのようにＵＲＬ等をコード化したパターンを投映する例について説明する。

図１５は本実施例におけるコード化されたパターンの埋め込み例を示した図である。図１５において、左図に示すように全黒とそれ以外が存在するシーンにおいて、右図に示すように全黒でない部分に不可視パターンとして二次元バーコードを埋め込むことが可能である。

これにより、例えば、プロジェクタを用いたデジタルサイネージなどに、コード化したパターンを不可視状態にして埋め込んでおくことで、サイネージの前に立ってスマートフォン等のカメラで撮影した人にだけ、クーポンを配るといった使用形態が可能となる。デジタルサイネージを撮影する人が増えることで、撮影した写真をソーシャルメディア等に投稿する人が増え、広告の露出が増えることが期待される。また、デジタルサイネージ映像の特定のシーンの特定箇所にのみ、パターンを埋め込んでおけば、宝探しのようなゲーム感覚でクーポンを探すといった用途も考えられる。

このように不特定多数の人がプロジェクタの投映映像を撮影する場合、カメラ側がカラーホイールと同期して撮影するようにすることは非常に困難である。しかし、カメラ側が静止画を連続して撮影するようにしておけば、カメラの撮影間隔とカラーホイールの回転が完全に一致しない限り、数枚に一枚程度は不可視パターンを識別可能な映像を取得出来ることになり、撮影映像中のパターンから埋め込まれたコードを得ることが可能である。すなわち、撮影時に異なるタイミングで複数枚の静止画を撮影し、複数枚の静止画から埋め込みパターンが識別しやすい映像を選んで埋め込みパターン情報の取得を行う。

実施例５とは逆に、デジタルサイネージ等の映像コンテンツ中の人物の肖像権や著作権の制約等により、プロジェクタの投映映像をスマートフォン等のカメラで撮影されたものをソーシャルメディア等に投稿して拡散されたくない場合にも、これまで述べてきた方法によって、不可視パターンを妨害パターンとして埋め込むことが有効である。本実施例は、これについて説明する。

図１６は本実施例におけるタイミングの異なる妨害パターン埋め込み例を示した図である。図１６において、左図に示すように全黒とそれ以外が存在するシーンにおいて、右図に示すように全黒でない部分の異なる位置に不可視パターンとして妨害パターン５１０〜５１３を埋め込むことができる。この例では文字を埋め込んでいるが、画面全体にストライプのようなパターン位置を変えながら埋め込んでもよい。

この場合も、実施例５と同様にカメラで撮影するタイミングを制限することはできないが、複数枚撮影して最適な映像を選択することで対応可能であった実施例５とは異なり、本実施例では、異なるタイミングで複数枚撮影した場合に、全ての写真にも妨害パターンが写り込むことが求められる。
本実施例ではプロジェクタの投映映像の異なる位置に異なるタイミングで複数の不可視パターンを埋め込むことでこれを実現する。図１７は、これらの妨害パターンを異なるサブフレームに埋め込む例を示している。図１７において、妨害パターン５１０は、フレームＮのＲ、Ｇ、Ｂ、Ｗのサブフレームを用いて埋め込み、妨害パターン５１１はフレームＮのＧ、Ｂ、ＷのサブフレームとフレームＮ＋１のＲサブフレームを用いて埋め込みを行う、と行った具合に順次埋め込みタイミングをずらしながら、埋め込み位置の異なる妨害パターンを埋め込んでいく。これにより、シャッター速度がある程度高速（プロジェクタ映像の数フレーム分以下）であれば、どのようなタイミングで撮影しても、妨害パターンのいくつかが写真に写り込むようになる。

なお、シャッター速度を十分に遅くすれば、全ての埋め込みパターンが撮影されないようにすることは可能であるが、表示映像が動きのあるコンテンツである場合には、遅いシャッター速度で撮影した写真では被写体ぶれが発生し、鮮明な写真とはならないのでソーシャルメディア等で拡散されるリスクは低いと言える。

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。

１:プロジェクタ、２：投映対象物、３：映像分割機、４：スクリーン、５：入力映像、６：制御バス、７：制御用ＰＣ、１０：光源、１１：カラーホイール、１２：光変調デバイス、１３：レンズ、１４：投映映像、２０：投映映像生成回路、２１：フレームバッファ、２２：サブフレーム化回路、２３：パターン合成回路、２４：幾何変換回路、３０：カメラ、３１：パターン検出回路、３２：パラメータ算出回路、４０：タイミング生成回路、４１：バスＩ／Ｆ回路、４２：制御マイコン、１００：Ｒサブフレーム、１０１：Ｇサブフレーム、１０２：Ｂサブフレーム：１０３：Ｗサブフレーム、１１０〜１１３：マーカー、１２０〜１２３：グリッド、７０：入力映像（全体）、７１：分割後映像（左側）、７２：分割後映像（右側）、７３：プロジェクタＡ投映映像、７４：プロジェクタＢ投映映像、４００：プロジェクタＡで重畳した不可視マーカー、４０１：プロジェクタＢで重畳した不可視マーカー

Claims (13)

1. 入力映像を複数の色成分の映像に分解し、各色成分の映像を投映対象物の同一の位置に時分割で投映することによって、前記投映対象物の表面に複数の前記色成分の映像を光学的に合成し前記入力映像をカラー表示するプロジェクタであって、
   光源と、
   前記光源からの光の各色成分に対応する波長の光のみを時分割で通過させるカラーホイールと、
   前記カラーホイールを通過した前記光源の光を供給された色成分映像に基づいて変調する光変調デバイスと、
   前記光変調デバイスによって変調された光を前記投映対象物へ投射するレンズと、
   前記入力映像を複数の色成分の映像に分解して、前記カラーホイールの動作と同期したタイミングで前記光変調デバイスへ供給する投映映像生成回路を備え、
   前記色成分は三原色であるＲＧＢの３成分とＲＧＢ以外の色成分を少なくとも１つ含んでおり、
   前記投映映像生成回路において、前記ＲＧＢ以外の色成分の映像に第１の重畳映像パターンを重畳すると共に、時間方向で平均したときに前記投映対象物の表面上で前記第１の重畳映像パターンを打ち消すように生成した第２の重畳映像パターンをＲＧＢの各色成分映像に重畳することを特徴とするプロジェクタ。
2. 請求項１に記載のプロジェクタであって、
   前記投映対象物に投映された映像を撮影するカメラと、
   該カメラで撮影した映像を解析する映像解析回路を備え、
   前記カメラは前記カラーホイールの動作に同期して撮影を行うことによって、前記ＲＧＢ以外の色成分の映像が前記投映対象物に投映されている期間の映像を撮影し、前記映像解析回路によって撮影映像中から前記第１の重畳映像パターンの投映位置を求めることを特徴とするプロジェクタ。
3. 請求項２に記載のプロジェクタであって、
   前記投映映像生成回路は、前記第１の重畳映像パターンの投映位置を用いて、前記入力映像に対して前記投映対象物の投映面の形状および向きに適合するように幾何変換を実施した第２の投映映像を生成し、
   前記光変調デバイスと前記レンズを介して前記投映対象物へ前記第２の投映映像を投映することを特徴とするプロジェクタ。
4. 請求項１から３の何れか１項に記載のプロジェクタであって、
   前記ＲＧＢ以外の色成分とは白色またはシアン、マゼンダ、イエローのいずれかであることを特徴とするプロジェクタ。
5. 入力されたカラー映像を４色以上の色成分映像に分割して時分割で表示することでカラー映像を表示する映像表示装置であって、
   表示映像を時間方向に１フレーム周期の期間平均化した際に互いに打ち消し合う重畳映像パターンを前記４色以上の各色成分映像に重畳する映像生成回路を有することを特徴とする映像表示装置。
6. 請求項５に記載の映像表示装置であって、
   前記表示されたカラー映像を撮影するカメラと、
   該カメラで撮影した映像を解析する映像解析回路を備え、
   前記カメラは前記１フレーム周期に同期して撮影を行うことによって、前記重畳映像パターンが重畳されている色成分映像を撮影し、前記映像解析回路によって撮影した映像から前記重畳映像パターンの重畳位置を求めることを特徴とする映像表示装置。
7. 請求項６に記載の映像表示装置であって、
   前記映像生成回路は、前記重畳映像パターンの重畳位置を用いて、前記入力されたカラー映像に対して幾何変換を実施した表示映像を生成することを特徴とする映像表示装置。
8. 請求項５から７の何れか１項に記載の映像表示装置であって、
   前記４色以上の色成分映像とは、ＲＧＢと少なくとも白色またはシアン、マゼンダ、イエローのいずれかの色成分映像であることを特徴とする映像表示装置。
9. 請求項５に記載の映像表示装置であって、
   前記入力されたカラー映像は時間と共に内容が変化する一連の映像シーケンスを構成しており、
   前記映像生成回路は、各映像において、前記重畳映像パターンの重畳に適した領域を特定し、前記重畳に適した領域に前記重畳映像パターンを重畳し、
   前記映像解析回路は、前記重畳映像パターンが重畳された領域で前記重畳映像パターンの重畳位置を求める処理を行い、
   これを前記映像シーケンス全体に対して順次実施することで、映像表示領域全体の重畳パターンを取得することを特徴とする映像表示装置。
10. 請求項５に記載の重畳映像パターンを重畳した映像の撮影に使用されるカメラであって、
    撮影時に異なるタイミングで複数枚の静止画を撮影し、前記複数枚の静止画から前記重畳パターンが識別しやすい映像を選んで重畳パターン情報の取得を行うことを特徴とするカメラ。
11. 請求項５に記載の映像表示装置であって、
    表示映像中に重畳位置と重畳期間を変えた複数の重畳映像パターンを埋め込むことで、前記複数の重畳映像パターンのうちの少なくとも１個以上の重畳映像パターンが、表示映像を撮影するタイミングによらず、撮影される映像に含まれるようにしたことを特徴とする映像表示装置。
12. 請求項５に記載の映像表示装置を複数備えたマルチプロジェクタ投映システムであって、
    前記重畳映像パターンを用いて、前記映像表示装置の各表示映像の重ね合わせ領域の位置ずれを、映像を表示しながら補正できることを特徴とするマルチプロジェクタ投映システム。
13. 入力されたカラー映像を４色以上の色成分映像に分割して時分割で表示することでカラー映像を表示する映像表示方法であって、
    表示映像を時間方向に１フレーム周期期間平均化した際に互いに打ち消し合うパターンを各色成分映像に重畳することを特徴とする映像表示方法。

Images