JP6960522B2 - 投影制御装置、投影制御方法、投影制御プログラム、投影システム - Google Patents

Description

本発明は、投影制御装置、投影制御方法、投影制御プログラム、投影システムに関する。

特許文献１には、スクリーンの背面側に配置されたリア投影装置からスクリーンに対して表示画像を投影するシステムが記載されている。このシステムでは、スクリーンの正面側に配置された撮影装置によってスクリーンを撮影し、この撮影により得られた撮影画像と、リア投影装置から投影している表示画像とを比較して、スクリーンに投影された表示画像における物体により遮られている遮蔽領域を検出する。そして、この遮蔽領域に対し、スクリーンの正面側に配置されたフロント投影装置から画像を投影することで、遮蔽領域の画像を補完している。

日本国特開２００８−０２６４２４号公報

特許文献１に記載のシステムでは、補完を行うフロント投影装置とスクリーンとの間に人物がいて、その人物により遮蔽領域が生じている場合には、遮蔽領域を形成している人物が邪魔になって、フロント投影装置による画像の補完を行うことができない可能性がある。

そこで、例えば、リア投影装置が配置される側に、汎用性の高い可視光にて被写体を撮影する撮影装置を配置し、フロント投影装置から観察用のメインの画像をスクリーンに投影する構成を想定する。この構成では、フロント投影装置とスクリーンの間に人物が存在して遮蔽領域が生じた場合に、撮影装置による撮影画像とフロント投影装置から投影している画像との差分によってこの遮蔽領域を検出し、この遮蔽領域に対してリア投影装置から画像を投影して補完を行うことが考えられる。

上記構成において、このような補完処理を行った場合には、撮影装置側からスクリーンをみたときに、遮蔽領域は補完されてしまっているため、フロント投影装置から投影される画像と同じものが見える状態になる。この状態において、フロント投影装置とスクリーンの間の人物がいなくなり、遮蔽領域がなくなると、その遮蔽領域があった部分にリア投影装置から画像が補完されている状態が継続されてしまう。このような状態が継続されると、遮蔽領域があった部分だけ画像が二重に投影されていることになり、画像の明るさ又は色味等が他の場所と異なることになる。

特許文献１には、上記構成は開示されておらず、上述した課題の認識はない。

本発明は、上記事情に鑑みてなされたものであり、観察者に高品質の画像を提示することのできる投影システム、投影制御装置、投影制御方法、及び投影制御プログラムを提供することを目的とする。

本発明の投影システムは、光を透過可能な投影対象物の第一の面側に第一の画像を投影する第一投影装置と、上記第一投影装置に対し、上記投影対象物を挟んで反対側に配置された撮影装置と、上記第一投影装置に対して上記投影対象物を挟んで反対側に配置された第二投影装置と、上記撮影装置によって撮影された上記投影対象物の上記第一の面と反対側の第二の面の撮影画像に基づいて、上記投影対象物に投影された上記第一の画像における上記第一投影装置と上記第一の面との間にある遮蔽物によって生じた遮蔽領域を検出する遮蔽領域検出部、上記第一の画像のうちの上記遮蔽領域に対応する第二の画像を、上記第二投影装置から、上記投影対象物の上記第二の面における上記遮蔽領域と重なる領域に投影させる補完投影制御部、及び、上記撮影装置によって撮影される上記投影対象物の上記第二の面の撮影画像のうちの上記第二の画像が投影されている領域の画像に基づいて、上記遮蔽領域の存在が継続されているか否かを判定する遮蔽継続判定部を有する投影制御装置と、を備え、上記補完投影制御部は、上記遮蔽領域がなくなったと判定された場合に、上記第二の画像の投影を停止させるものである。

本発明の投影制御装置は、上記投影システムに使用される上記投影制御装置である。

本発明の投影制御方法は、光を透過可能な投影対象物の第一の面側に第一の画像を投影する第一投影装置に対し、上記投影対象物を挟んで反対側に配置された撮影装置、によって撮影された上記投影対象物の上記第一の面と反対側の第二の面の撮影画像に基づいて、上記投影対象物に投影された上記第一の画像における上記第一投影装置と上記第一の面との間にある遮蔽物によって生じた遮蔽領域を検出する遮蔽領域検出ステップと、記第一の画像のうちの上記遮蔽領域に対応する第二の画像を、上記第一投影装置に対して上記投影対象物を挟んで反対側に配置された第二投影装置から、上記投影対象物の上記第二の面における上記遮蔽領域と重なる領域に投影させる補完投影制御ステップと、上記撮影装置によって撮影される上記投影対象物の上記第二の面の撮影画像のうちの上記第二の画像が投影されている領域の画像に基づいて、上記遮蔽領域の存在が継続されているか否かを判定する遮蔽継続判定ステップと、を備え、上記補完投影制御ステップでは、上記遮蔽領域がなくなったと判定された場合に、上記第二の画像の投影を停止させるものである。

本発明の投影制御プログラムは、光を透過可能な投影対象物の第一の面側に第一の画像を投影する第一投影装置に対し、上記投影対象物を挟んで反対側に配置された撮影装置、によって撮影された上記投影対象物の上記第一の面と反対側の第二の面の撮影画像に基づいて、上記投影対象物に投影された上記第一の画像における上記第一投影装置と上記第一の面との間にある遮蔽物によって生じた遮蔽領域を検出する遮蔽領域検出ステップと、記第一の画像のうちの上記遮蔽領域に対応する第二の画像を、上記第一投影装置に対して上記投影対象物を挟んで反対側に配置された第二投影装置から、上記投影対象物の上記第二の面における上記遮蔽領域と重なる領域に投影させる補完投影制御ステップと、上記撮影装置によって撮影される上記投影対象物の上記第二の面の撮影画像のうちの上記第二の画像が投影されている領域の画像に基づいて、上記遮蔽領域の存在が継続されているか否かを判定する遮蔽継続判定ステップと、をコンピュータに実行させるための投影制御プログラムであり、上記補完投影制御ステップでは、上記遮蔽領域がなくなったと判定された場合に、上記第二の画像の投影を停止させるものである。

本発明によれば、観察者に高品質の画像を提示することのできる投影システム、投影制御装置、投影制御方法、及び投影制御プログラムを提供することができる。

本発明の第一実施形態の投影システムの構成を示す図である。 図１に示す投影システム１の制御装置５０の内部構成を示すブロック図である。 第一の情報Ｄ１と第二の情報Ｄ２の登録作業を説明するためのフローチャートである。 図２に示す制御装置５０の制御部５０Ａの機能ブロック図である。 画像投影時における制御部５０Ａの一連の処理の流れを示すフロー図である。 図５のステップＳ１５の内容を示すフロー図である。 第二実施形態の投影システムにおける、第一投影装置１０、第二投影装置２０、撮影装置３０、及び制御装置５０の動作タイミングを示す説明図である。

以下、本発明の実施の形態の投影システムについて、図面を用いて説明する。

［第一実施形態］
図１は、本発明の第一実施形態の投影システムの構成を示す図である。図１に示す投影システム１は、ステージ上におけるプレゼンテーション又は演出等において好適に利用され、スクリーン４０への投影により画像を表示するものである。

投影システム１は、第一投影装置１０と、第二投影装置２０と、撮影装置３０と、投影対象物としてのスクリーン４０と、制御装置５０と、を備える。

スクリーン４０は、光の一部を透過することのできる透過型スクリーンである。スクリーン４０は、平面状の部材であり、観察者に向けられる観察面４０ａと、観察面４０ａと反対側の背面４０ｂと、を有する。スクリーン４０は、投影された光を観察面４０ａと背面４０ｂの各々に拡散することができる性質を持っているものであればよく、例えば、ビニール、アクリル、又はガラス等で構成されたものが用いられる。さらに、撮影装置３０がスクリーン４０に投影された画像以外を取り込まないように、スクリーン４０は不透明な材質であることが望ましい。観察面４０ａは第一の面を構成し、背面４０ｂは第二の面を構成する。

第一投影装置１０と第二投影装置２０は、それぞれ、画像を投影して表示を行うものであり、例えば、液晶表示素子又はＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ：登録商標）等のライトバルブを搭載した装置等が用いられる。

撮影装置３０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子によって被写体を撮影し、この撮影により撮像素子から出力される撮影画像信号を処理して撮影画像を生成する。撮影装置３０により生成された撮影画像は制御装置５０に送信される。撮影装置３０は、被写体からの可視光を撮像画像に変換するものである。

第一投影装置１０は、スクリーン４０の観察面４０ａ側に配置されている。第二投影装置２０及び撮影装置３０は、スクリーン４０を挟んで第一投影装置１０とは反対側に配置されている。

第一投影装置１０は、スクリーン４０の観察面４０ａに表示画像Ｇ（第一の画像）を投影する。第二投影装置２０は、スクリーン４０の背面４０ｂに補完画像Ｐ（第二の画像）を投影する。撮影装置３０は、スクリーン４０の背面４０ｂを撮影する。

図中には、第一投影装置１０とスクリーン４０の観察面４０ａの間に位置し、第一投影装置１０からスクリーン４０に投影される光を遮る遮蔽物Ａの例として人物が示されている。

制御装置５０は、第一投影装置１０、第二投影装置２０、及び撮影装置３０と有線通信又は無線通信によって通信可能に接続されており、第一投影装置１０、第二投影装置２０、及び撮影装置３０の動作を制御する。制御装置５０は、後述する遮蔽領域検出部５１、補完投影制御部５２、及び遮蔽継続判定部５３を備えるものであり、例えば、ノート型のパーソナルコンピュータ又はスマートフォン等の電子機器が使用される。

制御装置５０は、第一投影装置１０による画像の投影のオンオフ、第二投影装置２０による画像の投影のオンオフ、及び第一投影装置１０と第二投影装置２０から投影させる画像の制御等を行う。

制御装置５０は、スクリーン４０に投影すべき画像情報を第一投影装置１０及び第二投影装置２０へ出力する。第一投影装置１０及び第二投影装置２０は、制御装置５０から画像情報を受信すると、この画像情報に基づく画像をスクリーン４０に投影する。

この投影システム１は、第二投影装置２０によって画像を投影することのできる背面４０ｂ上の範囲（第二投影可能範囲という）と、第一投影装置１０によって画像を投影することのできる観察面４０ａ上の範囲（第一投影可能範囲という）とが一致し、且つ、第一投影装置１０から任意の画像を観察面４０ａに投影し、この任意の画像を表裏反転させた画像を第二投影装置２０から背面４０ｂに投影した状態にて、観察面４０ａに投影された画像と背面４０ｂに投影された画像とが観察面４０ａ側から見て一致するように調整された状態にて使用される。また、投影システム１は、撮影装置３０の撮影範囲が第二投影可能範囲を含むよう調整された状態にて使用される。

このような調整作業により、第一投影装置１０から観察面４０ａの第一投影可能範囲全体に投影される画像の各画素の座標と、第二投影装置２０から背面４０ｂの第二投影可能範囲全体に投影される画像の各画素の座標と、撮影装置３０によって撮影して得られる背面４０ｂの第二投影可能範囲の画像の各画素の座標とが関連付けて管理される。

図２は、図１に示す投影システム１の制御装置５０の内部構成を示すブロック図である。

制御装置５０は、制御部５０Ａと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）５０Ｂと、記憶部を構成するＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）５０Ｃと、を備える。

制御部５０Ａは、ハードウェア的な構造は、各種のプロセッサである。各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

制御部５０Ａは、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

ＲＯＭ５０Ｃには、第一の情報Ｄ１と第二の情報Ｄ２が予め記憶されている。

第一の情報Ｄ１は、スクリーン４０の背面４０ｂに第二投影装置２０のみからテスト画像ＴＩを投影した状態におけるこのテスト画像ＴＩを、撮影装置３０によって撮影した場合に得られる撮影画像Ｓｔ１の第二投影可能範囲の画像とテスト画像ＴＩとの特性の差を示す情報である。

第二の情報Ｄ２は、スクリーン４０の背面４０ｂに第二投影装置２０からテスト画像ＴＩを投影し、且つ、このテスト画像ＴＩを表裏反転させた反転テスト画像をスクリーン４０の観察面４０ａに第一投影装置１０から投影した状態にて、スクリーン４０の背面４０ｂを撮影装置３０によって撮影した場合に得られる撮影画像Ｓｔ２の第二投影可能範囲の画像とテスト画像ＴＩとの特性の差を示す情報である。

画像の特性として、輝度又は彩度等を挙げることができる。本実施形態では、ＲＯＭ５０Ｃには、第一の情報Ｄ１及び第二の情報Ｄ２が、それぞれ、第一投影可能範囲及び第二投影可能範囲の全体に投影される画像を構成する画素単位の情報として記憶されている。

図３は、第一の情報Ｄ１と第二の情報Ｄ２の登録作業を説明するためのフローチャートである。この登録作業は、上記の調整作業の後に実施される。

先ず、スクリーン４０の背面４０ｂの第二投影可能範囲に第二投影装置２０からテスト画像ＴＩを投影させ（ステップＳ１）、そのテスト画像ＴＩを撮影装置３０に撮影させる
（ステップＳ２）。

そして、第二投影装置２０から投影させたテスト画像ＴＩと、ステップＳ２の撮影にて得られた第二投影可能範囲の撮影画像との画素毎の特性の差を求め、それらの値を第一の情報Ｄ１としてＲＯＭ５０Ｃに記憶する（ステップＳ３）。

次に、第二投影可能範囲に第二投影装置２０からテスト画像ＴＩを投影させている状態にて、このテスト画像ＴＩを表裏反転させた反転テスト画像を、スクリーン４０の観察面４０ａの第一投影可能範囲に第一投影装置１０から投影させる（ステップＳ４）。そして、撮影装置３０にスクリーン４０を撮影させる（ステップＳ５）。

その後、第二投影装置２０から投影させたテスト画像ＴＩと、ステップＳ５にて撮影装置３０により撮影して得られた第二投影可能範囲の撮影画像との画素毎の特性の差を求め、それらの値を第二の情報Ｄ２としてＲＯＭ５０Ｃに記憶する（ステップＳ６）。以上により登録作業が終了する。

図４は、図２に示す制御部５０Ａの機能ブロック図である。制御装置５０の制御部５０Ａは、投影システム１用に作成された投影制御プログラムを含むアプリケーションプログラムを実行することにより、遮蔽領域検出部５１、補完投影制御部５２、及び遮蔽継続判定部５３を備える投影制御装置として機能する。

遮蔽領域検出部５１は、撮影装置３０によって撮影されたスクリーン４０の背面４０ｂの撮影画像Ｓ（図１参照）を取得し、この撮影画像Ｓに基づいて、スクリーン４０の観察面４０ａに投影された表示画像Ｇにおける遮蔽物Ａによって生じた遮蔽領域Ｒ（図１参照）を検出する。

補完投影制御部５２は、スクリーン４０の観察面４０ａに投影された表示画像Ｇのうちの遮蔽領域Ｒに対応する補完画像Ｐ（図１参照）を、スクリーン４０の背面４０ｂにおける遮蔽領域Ｒと重なる領域Ｒａ（図１参照）に対して第二投影装置２０から投影させる。

表示画像Ｇのうちの遮蔽領域Ｒに対応する補完画像Ｐは、表示画像Ｇのうちの遮蔽領域Ｒに投影されるべき画像を表裏反転させた画像である。

遮蔽継続判定部５３は、撮影画像Ｓのうちの補完画像Ｐが投影されている領域Ｒａの画像に基づいて、遮蔽領域Ｒの存在が継続されているか否かを判定する。

具体的には、遮蔽継続判定部５３は、第二投影装置２０が投影している補完画像Ｐと、撮影装置３０によって撮影された領域Ｒａの画像である補完撮影画像Ｑ（図１参照）との特性の差ΔＰＱを求め、この特性の差ΔＰＱと、ＲＯＭ５０Ｃに記憶された第一の情報Ｄ１及び第二の情報Ｄ２とに基づいて、遮蔽領域Ｒの存在が継続されているか否かを判定する。補完撮影画像Ｑは第三の画像を構成する。

より詳細には、遮蔽継続判定部５３は、補完画像Ｐを構成する各画素の座標に対応する第一の情報Ｄ１と、この各画素に対応する特性の差ΔＰＱとが全て一致する場合には、遮蔽領域Ｒの存在が継続されていると判定する。また、遮蔽継続判定部５３は、補完画像Ｐを構成する各画素の座標に対応する第二の情報Ｄ２と、この各画素に対応する特性の差ΔＰＱとが全て一致する場合には、遮蔽領域Ｒがなくなったと判定する。ここで、「２つの情報が一致する」とは、この２つの情報の差が予め決めたごく小さな値以下となることを言い、理想的には、この差がゼロであることを言う。

各画素における特性の差ΔＰＱが、この各画素に対応する第一の情報Ｄ１と一致する状態は、図３のステップＳ１の投影状態にて撮影を行ったときと同じ状態になっていることを意味する。したがって、この状態になっている場合には、領域Ｒａの裏側には画像が投影されておらず、遮蔽領域Ｒが継続していると判定することができる。

一方、各画素における特性の差ΔＰＱが、この各画素に対応する第二の情報Ｄ２と一致する状態は、図３のステップＳ４の投影状態にて撮影を行ったときと同じ状態になっていることを意味する。したがって、この状態になっている場合には、領域Ｒａの裏側には、補完画像Ｐを反転させた画像が投影されており、遮蔽領域Ｒが無くなっていると判定することができる。

補完投影制御部５２は、遮蔽継続判定部５３により遮蔽領域Ｒがなくなったと判定された場合には、第二投影装置２０による補完画像Ｐの投影を停止させる。

以下、制御装置５０の動作について、フロー図を参照しつつ説明する。

図５は、画像投影時における制御部５０Ａの一連の処理の流れを示すフロー図である。図６は、図５のステップＳ１５の内容を示すフロー図である。

制御部５０Ａは、第一投影装置１０からスクリーン４０への表示画像Ｇの投影を開始させるのと同時に撮影装置３０による撮影を開始させる（ステップＳ１１）。そして、制御部５０Ａの遮蔽領域検出部５１は、撮影装置３０によって撮影して得られた撮影画像Ｓのうちの第二投影可能範囲の画像に基づいて、スクリーン４０に投影された表示画像Ｇにおける遮蔽領域Ｒを検出する遮蔽領域検出ステップ（ステップＳ１２）を実行する。

ステップＳ１２において、制御部５０Ａの遮蔽領域検出部５１は、例えば、第一投影装置１０から投影させている表示画像Ｇと、撮影画像Ｓを表裏反転させた画像のうちの第二投影可能範囲の画像とを画素毎に比較し、画素値の差が閾値以上となる画素を含む領域を遮蔽領域Ｒとして検出する。

次に、制御部５０Ａの補完投影制御部５２は、遮蔽領域Ｒが検出されたか否か判断する（ステップＳ１３）。遮蔽領域Ｒが検出されなければ（ステップＳ１３：ＮＯ）、ステップＳ１１に処理が戻る。一方、遮蔽領域Ｒが検出された場合には（ステップＳ１３：ＹＥＳ）、制御部５０Ａの補完投影制御部５２は、補完投影制御ステップ（ステップＳ１４）を実行する。

ステップＳ１４において、制御部５０Ａの補完投影制御部５２は、スクリーン４０の観察面４０ａに投影された表示画像Ｇのうちの遮蔽領域Ｒに対応する補完画像Ｐを、第二投影装置２０からスクリーン４０の背面４０ｂの領域Ｒａに投影させる。その後、制御部５０Ａの遮蔽継続判定部５３は、遮蔽継続判定ステップ（ステップＳ１５）を実行する。

ステップＳ１５において、制御部５０Ａの遮蔽継続判定部５３は、図６に示すように、第二投影装置２０によって領域Ｒａに投影されている補完画像Ｐと、撮影装置３０によって領域Ｒａを撮影して得られた補完撮影画像Ｑとの特性の差ΔＰＱを求める（ステップＳ１５ａ）。次に、制御部５０Ａの遮蔽継続判定部５３は、ＲＯＭ５０Ｃから第一の情報Ｄ１及び第二の情報Ｄ２を読み出す（ステップＳ１５ｂ）。

そして、制御部５０Ａの遮蔽継続判定部５３は、補完画像Ｐと補完撮影画像Ｑの特性の差ΔＰＱが第一の情報Ｄ１と一致するか否かを補完画像Ｐの画素毎に判定し（ステップＳ１５ｃ）、補完画像Ｐの全画素について、特性の差ΔＰＱが第一の情報Ｄ１と一致したならば（ステップＳ１５ｃ：ＹＥＳ）、補完画像Ｐの裏側に遮蔽領域Ｒの存在が継続していると判定する（ステップＳ１５ｄ）。

なお、制御部５０Ａの遮蔽継続判定部５３は、ステップＳ１５ｃにおいて、補完画像Ｐの全画素のうちの一部の画素（例えば全体の９割の画素等）に対する特性の差ΔＰＱが第一の情報Ｄ１と一致している場合に、遮蔽領域Ｒの存在が継続していると判定してもよい。

一方、特性の差ΔＰＱが第一の情報Ｄ１と一致しない画素が補完画像Ｐに存在する場合（ステップＳ１５ｃ：ＮＯ）には、制御部５０Ａの遮蔽継続判定部５３は、特性の差ΔＰＱが第二の情報Ｄ２と一致するか否かを補完画像Ｐの画素毎に判定する（ステップＳ１５ｅ）。

補完画像Ｐの全画素について、特性の差ΔＰＱが第二の情報Ｄ２と一致したならば（ステップＳ１５ｅ：ＹＥＳ）、制御部５０Ａの遮蔽継続判定部５３は、補完画像Ｐの裏側の遮蔽領域Ｒがなくなったと判定する（ステップＳ１５ｆ）。

制御部５０Ａの遮蔽継続判定部５３は、補完画像Ｐの画素において、特性の差ΔＰＱが第二の情報Ｄ２と一致しない画素があれば（ステップＳ１５ｅでＮｏ）、ステップＳ１５ａに処理を戻す。

なお、制御部５０Ａの遮蔽継続判定部５３は、ステップＳ１５ｅにおいて、補完画像Ｐの全画素のうちの一部の画素（例えば全体の９割の画素等）に対する特性の差ΔＰＱが第二の情報Ｄ２と一致している場合に、遮蔽領域Ｒの存在がなくなったと判定してもよい。

図５に戻り、制御部５０Ａの補完投影制御部５２は、遮蔽継続判定ステップ（ステップＳ１５）によって遮蔽領域Ｒの存在が継続されていると判定された場合（ステップＳ１６：ＮＯ）には、ステップＳ１４に戻り、補完画像Ｐの投影を第二投影装置２０に継続させる。一方、制御部５０Ａの補完投影制御部５２は、遮蔽領域Ｒがなくなったと判定された場合（ステップＳ１６：ＹＥＳ）には、補完投影停止ステップ（ステップＳ１７）を実行する。

ステップＳ１７において、制御部５０Ａの補完投影制御部５２は、第二投影装置２０による補完画像Ｐの投影を終了させる。

以上のように、投影システム１によれば、第二投影装置２０による補完画像Ｐの投影開始後に、第一投影装置１０とスクリーン４０との間の遮蔽物Ａがなくなり、遮蔽領域Ｒが無くなった場合には、第二投影装置２０による補完画像Ｐの投影が終了する。このため、遮蔽領域Ｒが無くなったにもかかわらず、その遮蔽領域Ｒがあった部分に第二投影装置２０から補完画像Ｐが投影され続けるという事態を防止できる。

よって、第一実施形態の投影システム１によれば、補完画像Ｐの不必要な投影を防止して、観察者に高品質の画像を提示することができる。また、投影システム１によれば、第二投影装置２０を短焦点又は超短焦点のものとすることで、システムの奥行きを短くすることができる。

なお、図３のステップＳ３とステップＳ６において、テスト画像ＴＩと撮影画像とをそれぞれ複数ブロックに分割し、テスト画像ＴＩの各ブロックについてそのブロックにおける特性の代表値（例えば輝度（彩度）の平均値又は輝度（彩度）の中心中央値、或いは、そのブロックから選択した代表的な画素の輝度又は彩度等）を求め、撮影画像Ｓの各ブロックについてそのブロックにおける特性の代表値を求め、ブロック毎に、その代表値の差を求めて第一の情報Ｄ１又は第二の情報Ｄ２として記憶させてもよい。

このようにした場合には、制御部５０Ａの遮蔽継続判定部５３は、図６のステップ１５ａにおいて、補完画像Ｐの輝度又は彩度の平均値と、補完撮影画像Ｑの輝度又は彩度の平均値との差を特性の差ΔＰＱとして算出する。

そして、制御部５０Ａの遮蔽継続判定部５３は、図６のステップＳ１５ｃにおいて、補完画像Ｐを構成する全画素の座標が含まれるブロックの第一の情報Ｄ１と、特性の差ΔＰＱとが一致している場合に、遮蔽領域Ｒの存在が継続していると判定する。

また、制御部５０Ａの遮蔽継続判定部５３は、図６のステップＳ１５ｅにおいて、補完画像Ｐを構成する全画素の座標が含まれるブロックの第二の情報Ｄ２と、特性の差ΔＰＱとが一致している場合に、遮蔽領域Ｒがなくなったと判定する。

このような構成によれば、遮蔽継続判定ステップ（ステップＳ１５）を高速に行うことができる。なお、前述してきたように、遮蔽継続判定ステップにおいて、補完画像Ｐの画素毎に、特性の差ΔＰＱと第一の情報Ｄ１又は第二の情報Ｄ２とを比較する方法によれば、遮蔽領域Ｒの存在が継続するか否かの判定をより高精度に行うことができる。遮蔽領域Ｒの位置は刻一刻と変化すると予測されるため、この方法によれば、遮蔽領域Ｒに対する必要な補完を行いつつ、不必要な補完をなくす制御を高い精度で行うことができる。

なお、図３に示した登録作業は、制御装置５０の製造工程において行われてもよいが、制御部５０Ａがこの登録作業を実行するモードを持っていてもよい。例えば、上記の調整作業の終了後、投影システム１を実際の使用環境（例えば照明を落とした状態）に置き、その状態にて、ユーザの操作によってこのモードに移行させる。このようにすることで、図６のステップＳ１５ｃ又はステップＳ１５ｅの判定に用いられる特性の差ΔＰＱと、第一の情報Ｄ１又は第二の情報Ｄ２と、を同一環境下で得たものとすることができる。このため、遮蔽領域Ｒの継続判定の精度を向上させることができる。

［第二実施形態］
次に、本発明の第二実施形態の投影システムについて説明する。第二実施形態の投影システムの全体構成は、第一実施形態の投影システム１と同様であり、制御部５０Ａの機能のみが異なる。

図７は、第二実施形態の投影システムにおける、第一投影装置１０、第二投影装置２０、撮影装置３０、及び制御装置５０の動作タイミングを示す説明図である。

第二実施形態の投影システムでは、制御部５０Ａが、第一投影装置１０による表示画像Ｇの投影を例えば７２ｆｐｓで実施させ、図７に示すように、第二投影装置２０による画像の投影を定期的（例えば８フレーム毎）に停止させる。

そして、制御部５０Ａの遮蔽継続判定部５３は、図５のステップＳ１４（補完投影制御ステップ）が開始された後、補完画像Ｐの投影が停止されたタイミングにて、撮影装置３０による撮影を実施（図７中の撮影“ＯＮ”）することにより、補完画像Ｐを含まない無補完撮影画像を取得する。そして、制御部５０Ａの遮蔽継続判定部５３は、この無補完撮影画像における補完画像Ｐが投影されていた領域Ｒａに基づいて遮蔽領域Ｒの存在が継続しているか否かを判定する（図７中の遮蔽領域継続判定“ＯＮ”）。

具体的には、制御部５０Ａの遮蔽継続判定部５３は、無補完撮影画像の領域Ｒａの部分に補完画像Ｐと同じ画像がある場合に、遮蔽領域Ｒがなくなったと判定する。一方、制御部５０Ａの遮蔽継続判定部５３は、この領域Ｒａの部分に補完画像Ｐと同じ画像がない場合には、遮蔽領域Ｒの存在が継続していると判定する。その他の処理の内容は第一実施形態と同様である。

第二実施形態によれば、図３に示した登録作業を実施することなく、画像の投影中における遮蔽領域Ｒの継続判定を行うことが可能となる。このため、投影システム１の構築に要するコストを削減することができる。また、第二実施形態によれば、特性の差ΔＰＱの算出処理及びこの差ΔＰＱと第一の情報Ｄ１又は第二の情報Ｄ２との比較処理が不要となり、遮蔽領域継続の判定を高速に行うことができる。

なお、第二実施形態において、第二投影装置２０による補完画像Ｐの投影停止頻度は、人の視覚に影響しない頻度とすることが望ましい。第二投影装置２０による投影の停止は、補完画像Ｐの光路をシャッター（遮光手段）によって機械的に遮る方法、或いは第二投影装置２０の投影動作を停止させる方法によって実現可能である。また、第二投影装置２０による投影を停止する代わりに、第二投影装置２０から黒一色の画像を投影させる制御を行うことで、結果的に背面４０ｂに何も投影されない状態を得てもよい。

投影システム１において、制御装置５０の制御部５０Ａ、ＲＡＭ５０Ｂ、及びＲＯＭ５０Ｃは、例えば第一投影装置１０に内蔵されていてもよいし、第二投影装置２０に内蔵されていてもよい。また、第二投影装置２０と撮影装置３０は別体ではなく一体化されていてもよい。

以上説明してきたように、本明細書には以下の事項が開示されている。

（１）
光を透過可能な投影対象物の第一の面側に第一の画像を投影する第一投影装置と、
上記第一投影装置に対し、上記投影対象物を挟んで反対側に配置された撮影装置と、
上記第一投影装置に対して上記投影対象物を挟んで反対側に配置された第二投影装置と、
上記撮影装置によって撮影された上記投影対象物の上記第一の面と反対側の第二の面の撮影画像に基づいて、上記投影対象物に投影された上記第一の画像における上記第一投影装置と上記第一の面との間にある遮蔽物によって生じた遮蔽領域を検出する遮蔽領域検出部、上記第一の画像のうちの上記遮蔽領域に対応する第二の画像を、上記第二投影装置から、上記投影対象物の上記第二の面における上記遮蔽領域と重なる領域に投影させる補完投影制御部、及び、上記撮影装置によって撮影される上記投影対象物の上記第二の面の撮影画像のうちの上記第二の画像が投影されている領域の画像に基づいて、上記遮蔽領域の存在が継続されているか否かを判定する遮蔽継続判定部を有する投影制御装置と、を備え、
上記補完投影制御部は、上記遮蔽領域がなくなったと判定された場合に、上記第二の画像の投影を停止させる投影システム。

（２）
（１）記載の投影システムに使用される上記投影制御装置。

（３）
（２）記載の投影制御装置であって、
上記遮蔽継続判定部は、上記第二投影装置が投影している上記第二の画像と、上記撮影装置によって撮影されたその第二の画像が投影されている領域の画像である第三の画像との差に基づいて、上記遮蔽領域の存在が継続されているか否かを判定する投影制御装置。

（４）
（３）記載の投影制御装置であって、
上記遮蔽継続判定部は、上記第二の面に上記第二投影装置のみから画像を投影した状態におけるその画像を上記撮影装置によって撮影した場合に得られる撮影画像とその画像との特性の差を示す第一の情報と、上記投影対象物に上記第一投影装置と上記第二投影装置から画像を投影した状態におけるその画像を上記撮影装置によって撮影した場合に得られる撮影画像とその画像との特性の差を示す第二の情報と、を記憶する記憶部、から読み出した上記第一の情報と、上記第三の画像及び上記第二の画像の特性の差とが一致する場合には、上記遮蔽領域の存在が継続されていると判定し、上記第二の情報と上記第三の画像及び上記第二の画像の特性の差とが一致する場合には、上記遮蔽領域がなくなったと判定する投影制御装置。

（５）
（４）記載の投影制御装置であって、
上記第一の情報と上記第二の情報は、それぞれ、画像を構成する画素単位の情報として記憶されており、
上記遮蔽継続判定部は、上記第二の画像と上記第三の画像の上記特性の差を画素毎に求め、上記第一の情報と上記第三の画像及び上記第二の画像の特性の差とが上記第二の画像の全画素の少なくとも一部について一致する場合に上記遮蔽領域の存在が継続されていると判定し、上記第二の情報と上記第三の画像及び上記第二の画像の特性の差とが上記第二の画像の全画素の少なくとも一部について一致する場合に上記遮蔽領域がなくなったと判定する投影制御装置。

（６）
（４）又は（５）記載の投影制御装置であって、
上記特性の差は、輝度の差又は彩度の差である投影制御装置。

（７）
（２）記載の投影制御装置であって、
上記遮蔽継続判定部は、上記第二投影装置による上記第二の画像の投影を停止させた状態にて上記撮影装置により上記投影対象物を撮影させて得られる第四の画像を取得し、上記第四の画像における上記第二の画像が投影されていた領域に上記第二の画像と同じ画像がある場合に、上記遮蔽領域がなくなったと判定する投影制御装置。

（８）
光を透過可能な投影対象物の第一の面側に第一の画像を投影する第一投影装置に対し、
上記投影対象物を挟んで反対側に配置された撮影装置、によって撮影された上記投影対象物の上記第一の面と反対側の第二の面の撮影画像に基づいて、上記投影対象物に投影された上記第一の画像における上記第一投影装置と上記第一の面との間にある遮蔽物によって生じた遮蔽領域を検出する遮蔽領域検出ステップと、
記第一の画像のうちの上記遮蔽領域に対応する第二の画像を、上記第一投影装置に対して上記投影対象物を挟んで反対側に配置された第二投影装置から、上記投影対象物の上記第二の面における上記遮蔽領域と重なる領域に投影させる補完投影制御ステップと、
上記撮影装置によって撮影される上記投影対象物の上記第二の面の撮影画像のうちの上記第二の画像が投影されている領域の画像に基づいて、上記遮蔽領域の存在が継続されているか否かを判定する遮蔽継続判定ステップと、を備え、
上記補完投影制御ステップでは、上記遮蔽領域がなくなったと判定された場合に、上記第二の画像の投影を停止させる投影制御方法。

（９）
（８）記載の投影制御方法であって、
上記遮蔽継続判定ステップでは、上記第二投影装置が投影している上記第二の画像と、
上記撮影装置によって撮影されたその第二の画像が投影されている領域の画像である第三の画像との差に基づいて、上記遮蔽領域の存在が継続されているか否かを判定する投影制御方法。

（１０）
（９）記載の投影制御方法であって、
上記遮蔽継続判定ステップでは、上記第二の面に上記第二投影装置のみから画像を投影した状態におけるその画像を上記撮影装置によって撮影した場合に得られる撮影画像とその画像との特性の差を示す第一の情報と、上記投影対象物に上記第一投影装置と上記第二投影装置から画像を投影した状態におけるその画像を上記撮影装置によって撮影した場合に得られる撮影画像とその画像との特性の差を示す第二の情報と、を記憶する記憶部、から読み出した上記第一の情報と、上記第三の画像及び上記第二の画像の特性の差とが一致する場合には、上記遮蔽領域の存在が継続されていると判定し、上記第二の情報と上記第三の画像及び上記第二の画像の特性の差とが一致する場合には、上記遮蔽領域がなくなったと判定する投影制御方法。

（１１）
（１０）記載の投影制御方法であって、
上記第一の情報と上記第二の情報は、それぞれ、画像を構成する画素単位の情報として記憶されており、
上記遮蔽継続判定ステップでは、上記第二の画像と上記第三の画像の上記特性の差を画素毎に求め、上記第一の情報と上記第三の画像及び上記第二の画像の特性の差とが上記第二の画像の全画素の少なくとも一部について一致する場合に上記遮蔽領域の存在が継続されていると判定し、上記第二の情報と上記第三の画像及び上記第二の画像の特性の差とが上記第二の画像の全画素の少なくとも一部について一致する場合に上記遮蔽領域がなくなったと判定する投影制御方法。

（１２）
（１０）又は（１１）記載の投影制御方法であって、
上記特性の差は、輝度の差又は彩度の差である投影制御方法。

（１３）
（８）記載の投影制御方法であって、
上記遮蔽継続判定ステップでは、上記第二投影装置による上記第二の画像の投影を停止させた状態にて上記撮影装置により上記投影対象物を撮影させて得られる第四の画像を取得し、上記第四の画像における上記第二の画像が投影されていた領域に上記第二の画像と同じ画像がある場合に、上記遮蔽領域がなくなったと判定する投影制御方法。

（１４）
光を透過可能な投影対象物の第一の面側に第一の画像を投影する第一投影装置に対し、
上記投影対象物を挟んで反対側に配置された撮影装置、によって撮影された上記投影対象物の上記第一の面と反対側の第二の面の撮影画像に基づいて、上記投影対象物に投影された上記第一の画像における上記第一投影装置と上記第一の面との間にある遮蔽物によって生じた遮蔽領域を検出する遮蔽領域検出ステップと、
記第一の画像のうちの上記遮蔽領域に対応する第二の画像を、上記第一投影装置に対して上記投影対象物を挟んで反対側に配置された第二投影装置から、上記投影対象物の上記第二の面における上記遮蔽領域と重なる領域に投影させる補完投影制御ステップと、
上記撮影装置によって撮影される上記投影対象物の上記第二の面の撮影画像のうちの上記第二の画像が投影されている領域の画像に基づいて、上記遮蔽領域の存在が継続されているか否かを判定する遮蔽継続判定ステップと、をコンピュータに実行させるための投影制御プログラムであり、
上記補完投影制御ステップでは、上記遮蔽領域がなくなったと判定された場合に、上記第二の画像の投影を停止させる投影制御プログラム。

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

なお、本出願は、２０１８年３月１５日出願の日本特許出願（特願２０１８−０４８４８８）に基づくものであり、その内容は本出願の中に参照として援用される。

本発明によれば、観察者に高品質の画像を提示することのできる投影システム、投影制御装置、投影制御方法、及び投影制御プログラムを提供することができる。

１ 投影システム
１０ 第一投影装置
２０ 第二投影装置
３０ 撮影装置
４０ スクリーン
４０ａ 観察面
４０ｂ 背面
５０ 制御装置
５０Ａ 制御部
５０Ｂ ＲＡＭ
５０Ｃ ＲＯＭ
５１ 遮蔽領域検出部
５２ 補完投影制御部
５３ 遮蔽継続判定部
Ｄ１ 第一の情報
Ｄ２ 第二の情報
Ｇ 表示画像
Ｐ 補完画像
Ｑ 補完撮影画像
Ｒ 遮蔽領域
Ｒａ 領域
Ｓ 撮影画像
Ａ 遮蔽物

Claims (14)

1. 光を透過可能な投影対象物の第一の面側に第一の画像を投影する第一投影装置と、
   前記第一投影装置に対し、前記投影対象物を挟んで反対側に配置された撮影装置と、
   前記第一投影装置に対して前記投影対象物を挟んで反対側に配置された第二投影装置と、
   前記撮影装置によって撮影された前記投影対象物の前記第一の面と反対側の第二の面の撮影画像に基づいて、前記投影対象物に投影された前記第一の画像における前記第一投影装置と前記第一の面との間にある遮蔽物によって生じた遮蔽領域を検出する遮蔽領域検出部、前記第一の画像のうちの前記遮蔽領域に対応する第二の画像を、前記第二投影装置から、前記投影対象物の前記第二の面における前記遮蔽領域と重なる領域に投影させる補完投影制御部、及び、前記撮影装置によって撮影される前記投影対象物の前記第二の面の撮影画像のうちの前記第二の画像が投影されている領域の画像に基づいて、前記遮蔽領域の存在が継続されているか否かを判定する遮蔽継続判定部、を有する投影制御装置と、を備え、
   前記補完投影制御部は、前記遮蔽領域がなくなったと判定された場合に、前記第二の画像の投影を停止させる投影システム。
2. 請求項１に記載の投影システムに使用される前記投影制御装置。
3. 請求項２記載の投影制御装置であって、
   前記遮蔽継続判定部は、前記第二投影装置が投影している前記第二の画像と、前記撮影装置によって撮影された当該第二の画像が投影されている領域の画像である第三の画像との差に基づいて、前記遮蔽領域の存在が継続されているか否かを判定する投影制御装置。
4. 請求項３記載の投影制御装置であって、
   前記遮蔽継続判定部は、前記第二の面に前記第二投影装置のみから画像を投影した状態における当該画像を前記撮影装置によって撮影した場合に得られる撮影画像と当該画像との特性の差を示す第一の情報と、前記投影対象物に前記第一投影装置と前記第二投影装置から画像を投影した状態における当該画像を前記撮影装置によって撮影した場合に得られる撮影画像と当該画像との特性の差を示す第二の情報と、を記憶する記憶部、から読み出した前記第一の情報と、前記第三の画像及び前記第二の画像の特性の差とが一致する場合には、前記遮蔽領域の存在が継続されていると判定し、前記第二の情報と前記第三の画像及び前記第二の画像の特性の差とが一致する場合には、前記遮蔽領域がなくなったと判定する投影制御装置。
5. 請求項４記載の投影制御装置であって、
   前記第一の情報と前記第二の情報は、それぞれ、画像を構成する画素単位の情報として記憶されており、
   前記遮蔽継続判定部は、前記第二の画像と前記第三の画像の前記特性の差を画素毎に求め、前記第一の情報と前記第三の画像及び前記第二の画像の特性の差とが前記第二の画像の全画素の少なくとも一部について一致する場合に前記遮蔽領域の存在が継続されていると判定し、前記第二の情報と前記第三の画像及び前記第二の画像の特性の差とが前記第二の画像の全画素の少なくとも一部について一致する場合に前記遮蔽領域がなくなったと判定する投影制御装置。
6. 請求項４又は５記載の投影制御装置であって、
   前記特性の差は、輝度の差又は彩度の差である投影制御装置。
7. 請求項２記載の投影制御装置であって、
   前記遮蔽継続判定部は、前記第二投影装置による前記第二の画像の投影を停止させた状態にて前記撮影装置により前記投影対象物を撮影させて得られる第四の画像を取得し、前記第四の画像における前記第二の画像が投影されていた領域に前記第二の画像と同じ画像がある場合に、前記遮蔽領域がなくなったと判定する投影制御装置。
8. 光を透過可能な投影対象物の第一の面側に第一の画像を投影する第一投影装置に対し、
   前記投影対象物を挟んで反対側に配置された撮影装置、によって撮影された前記投影対象物の前記第一の面と反対側の第二の面の撮影画像に基づいて、前記投影対象物に投影された前記第一の画像における前記第一投影装置と前記第一の面との間にある遮蔽物によって生じた遮蔽領域を検出する遮蔽領域検出ステップと、
   記第一の画像のうちの前記遮蔽領域に対応する第二の画像を、前記第一投影装置に対して前記投影対象物を挟んで反対側に配置された第二投影装置から、前記投影対象物の前記第二の面における前記遮蔽領域と重なる領域に投影させる補完投影制御ステップと、
   前記撮影装置によって撮影される前記投影対象物の前記第二の面の撮影画像のうちの前記第二の画像が投影されている領域の画像に基づいて、前記遮蔽領域の存在が継続されているか否かを判定する遮蔽継続判定ステップと、を備え、
   前記補完投影制御ステップでは、前記遮蔽領域がなくなったと判定された場合に、前記第二の画像の投影を停止させる投影制御方法。
9. 請求項８記載の投影制御方法であって、
   前記遮蔽継続判定ステップでは、前記第二投影装置が投影している前記第二の画像と、
   前記撮影装置によって撮影された当該第二の画像が投影されている領域の画像である第三の画像との差に基づいて、前記遮蔽領域の存在が継続されているか否かを判定する投影制御方法。
10. 請求項９記載の投影制御方法であって、
    前記遮蔽継続判定ステップでは、前記第二の面に前記第二投影装置のみから画像を投影した状態における当該画像を前記撮影装置によって撮影した場合に得られる撮影画像と当該画像との特性の差を示す第一の情報と、前記投影対象物に前記第一投影装置と前記第二投影装置から画像を投影した状態における当該画像を前記撮影装置によって撮影した場合に得られる撮影画像と当該画像との特性の差を示す第二の情報と、を記憶する記憶部、から読み出した前記第一の情報と、前記第三の画像及び前記第二の画像の特性の差とが一致する場合には、前記遮蔽領域の存在が継続されていると判定し、前記第二の情報と前記第三の画像及び前記第二の画像の特性の差とが一致する場合には、前記遮蔽領域がなくなったと判定する投影制御方法。
11. 請求項１０記載の投影制御方法であって、
    前記第一の情報と前記第二の情報は、それぞれ、画像を構成する画素単位の情報として記憶されており、
    前記遮蔽継続判定ステップでは、前記第二の画像と前記第三の画像の前記特性の差を画素毎に求め、前記第一の情報と前記第三の画像及び前記第二の画像の特性の差とが前記第二の画像の全画素の少なくとも一部について一致する場合に前記遮蔽領域の存在が継続されていると判定し、前記第二の情報と前記第三の画像及び前記第二の画像の特性の差とが前記第二の画像の全画素の少なくとも一部について一致する場合に前記遮蔽領域がなくなったと判定する投影制御方法。
12. 請求項１０又は１１記載の投影制御方法であって、
    前記特性の差は、輝度の差又は彩度の差である投影制御方法。
13. 請求項８記載の投影制御方法であって、
    前記遮蔽継続判定ステップでは、前記第二投影装置による前記第二の画像の投影を停止させた状態にて前記撮影装置により前記投影対象物を撮影させて得られる第四の画像を取得し、前記第四の画像における前記第二の画像が投影されていた領域に前記第二の画像と同じ画像がある場合に、前記遮蔽領域がなくなったと判定する投影制御方法。
14. 光を透過可能な投影対象物の第一の面側に第一の画像を投影する第一投影装置に対し、
    前記投影対象物を挟んで反対側に配置された撮影装置、によって撮影された前記投影対象物の前記第一の面と反対側の第二の面の撮影画像に基づいて、前記投影対象物に投影された前記第一の画像における前記第一投影装置と前記第一の面との間にある遮蔽物によって生じた遮蔽領域を検出する遮蔽領域検出ステップと、
    記第一の画像のうちの前記遮蔽領域に対応する第二の画像を、前記第一投影装置に対して前記投影対象物を挟んで反対側に配置された第二投影装置から、前記投影対象物の前記第二の面における前記遮蔽領域と重なる領域に投影させる補完投影制御ステップと、
    前記撮影装置によって撮影される前記投影対象物の前記第二の面の撮影画像のうちの前記第二の画像が投影されている領域の画像に基づいて、前記遮蔽領域の存在が継続されているか否かを判定する遮蔽継続判定ステップと、をコンピュータに実行させるための投影制御プログラムであり、
    前記補完投影制御ステップでは、前記遮蔽領域がなくなったと判定された場合に、前記第二の画像の投影を停止させる投影制御プログラム。

Images