JP6435889B2 - 制御装置、及びプログラム - Google Patents

Description

本発明は、投影対象領域に画像を投影する投影システムの技術分野に関する。

従来、例えば特許文献１に開示されるように、センシング技術により障害物のある領域を検出し、検出された障害物がある領域を避けて投写領域を決定し、決定した投写領域に画像を投写するシステムが知られている。このようなシステムによれば、投写領域に人物が入り込んでしまった場合等において、障害物のない投写領域に画像を投写するように自動的に調整することができる。

特開２０１３−１４８８６８号公報

しかしながら、障害物の有無に係わらず、壁などの特定の投影対象領域に画像を投影したい場合がある。このとき、特定の投影対象領域に画像を投影するためには、障害物がある場合であっても、障害物を避けて画像を投影することができない。言い換えれば、障害物を含む投影対象領域に画像を投影せざるを得ない場合がある。この場合、投影される画像の表現色に、投影対象領域における障害物の色によって、色の影響が及ぼされるおそれがある。このような色の影響の程度は、画像の色と、障害物の色によって異なる。仮に、障害物の色を考慮して、投影される画像に色補正を行う場合であっても、障害物の色と、投影される画像の表現色とが異なる限り、色の影響は解消することはできない。しかしながら、従来は、投影対象領域に投影する画像に、投影対象領域の色の影響が画像に及ぼす程度を考慮して決定していなかった。

本発明は、以上の点に鑑みてなされたものであり、投影対象領域における障害物による色の影響を考慮して投影対象領域に画像を投影させることが可能な制御装置、及びプログラムを提供する。

上記課題を解決するために、請求項１に記載の発明は、投影装置により画像が投影される投影対象領域について、所定領域ごとの障害色情報を取得する情報取得手段と、所定の画像を取得する画像取得手段と、前記画像取得手段により取得された画像から、所定の画素パターンを含む重要領域を特定する特定手段と、前記特定手段により特定された重要領域に従って、前記画像における前記所定領域ごとの重要度を示す重みを設定する設定手段と、前記情報取得手段により取得された障害色情報と、前記画像取得手段により取得された画像とを比較し、前記投影対象領域の前記障害色情報が前記取得された画像に及ぼす障害度を前記投影対象領域における所定領域ごとに決定し、かつ、前記設定手段により前記所定領域ごとに設定された重みが示す重要度が高いほど、前記所定領域の障害度が高くなるように前記画像取得手段により取得された画像全体の障害度を決定する障害度決定手段と、前記障害度決定手段に決定された、前記画像全体の障害度が、閾値未満であるか否かを判定する判定手段と、前記判定手段により前記画像全体の障害度が閾値未満であると判定されたとき、前記画像全体の障害度が閾値未満であると判定された画像を前記投影対象領域に投影させる画像として決定し、前記判定手段により前記画像全体の障害度が閾値未満でないと判定されたとき、前記画像全体を所定方向に所定領域だけシフトさせて前記投影対象領域に投影させる画像を決定するか、または、前記画像全体の障害度が閾値未満でないと判定された画像に代えて当該画像に関連する代替画像を前記投影対象領域に投影させる画像として決定する画像決定手段と、を備えることを特徴とする。

請求項２に記載の発明は、投影装置により画像が投影される投影対象領域について、所定領域ごとの障害色情報を取得する情報取得手段と、所定の画像を取得する画像取得手段と、前記画像取得手段により取得された画像から、人物の顔領域を検出する顔検出手段と、前記顔検出手段により検出された人物の顔領域に従って、前記画像における前記所定領域ごとの重要度を示す重みを設定する設定手段と、前記情報取得手段により取得された障害色情報と、前記画像取得手段により取得された画像とを比較し、前記投影対象領域の前記障害色情報が前記取得された画像に及ぼす障害度を前記投影対象領域における所定領域ごとに決定し、かつ、前記設定手段により前記所定領域ごとに設定された重みが示す重要度が高いほど、前記所定領域の障害度が高くなるように前記画像取得手段により取得された画像全体の障害度を決定する障害度決定手段と、前記障害度決定手段に決定された、前記画像全体の障害度が、閾値未満であるか否かを判定する判定手段と、前記判定手段により前記画像全体の障害度が閾値未満であると判定されたとき、前記画像全体の障害度が閾値未満であると判定された画像を前記投影対象領域に投影させる画像として決定し、前記判定手段により前記画像全体の障害度が閾値未満でないと判定されたとき、前記画像全体を所定方向に所定領域だけシフトさせて前記投影対象領域に投影させる画像を決定するか、または、前記画像全体の障害度が閾値未満でないと判定された画像に代えて当該画像に関連する代替画像を前記投影対象領域に投影させる画像として決定する画像決定手段と、を備えることを特徴とする。

請求項３に記載の発明は、投影装置により画像が投影される投影対象領域における所定領域ごとの障害色情報を取得するステップと、所定の画像を取得するステップと、前記取得された画像から、所定の画素パターンを含む重要領域を特定するステップと、前記特定された重要領域に従って、前記画像における前記所定領域ごとの重要度を示す重みを設定するステップと、前記取得された障害色情報と、前記取得された画像とを比較し、前記投影対象領域の前記障害色情報が前記取得された画像に及ぼす障害度を前記投影対象領域における所定領域ごとに決定し、かつ、前記所定領域ごとに設定された重みが示す重要度が高いほど、前記所定領域の障害度が高くなるように前記取得された画像全体の障害度を決定するステップと、前記決定された、前記画像全体の障害度が、閾値未満であるか否かを判定するステップと、前記画像全体の障害度が閾値未満であると判定されたとき、前記画像全体の障害度が閾値未満であると判定された画像を前記投影対象領域に投影させる画像として決定し、前記画像全体の障害度が閾値未満でないと判定されたとき、前記画像全体を所定方向に所定領域だけシフトさせて前記投影対象領域に投影させる画像を決定するか、または、前記画像全体の障害度が閾値未満でないと判定された画像に代えて当該画像に関連する代替画像を前記投影対象領域に投影させる画像として決定するステップと、をコンピュータに実行させることを特徴とする。

請求項４に記載の発明は、投影装置により画像が投影される投影対象領域について、所定領域ごとの障害色情報を取得するステップと、所定の画像を取得するステップと、前記取得された画像から、人物の顔領域を検出するステップと、前記検出された人物の顔領域に従って、前記画像における前記所定領域ごとの重要度を示す重みを設定するステップと、前記取得された障害色情報と、前記取得された画像とを比較し、前記投影対象領域の前記障害色情報が前記取得された画像に及ぼす障害度を前記投影対象領域における所定領域ごとに決定し、かつ、前記所定領域ごとに設定された重みが示す重要度が高いほど、前記所定領域の障害度が高くなるように前記取得された画像全体の障害度を決定するステップと、前記決定された、前記画像全体の障害度が、閾値未満であるか否かを判定するステップと、前記画像全体の障害度が閾値未満であると判定されたとき、前記画像全体の障害度が閾値未満であると判定された画像を前記投影対象領域に投影させる画像として決定し、前記画像全体の障害度が閾値未満でないと判定されたとき、前記画像全体を所定方向に所定領域だけシフトさせて前記投影対象領域に投影させる画像を決定するか、または、前記画像全体の障害度が閾値未満でないと判定された画像に代えて当該画像に関連する代替画像を前記投影対象領域に投影させる画像として決定するステップと、をコンピュータに実行させることを特徴とする。

請求項１〜４に記載の発明によれば、障害物を含む投影対象領域に画像を投影せざるを得ない場合であっても、投影対象領域における障害物による色の影響を考慮して投影対象領域に画像を投影させることができる。

請求項３に記載の発明によれば、投影対象領域における障害物によって色の影響が少ない好適な位置へ画像を投影対象領域に投影させることができる。

本実施形態の投影システムＳの概要構成例を示す図である。 投影システムＳが利用される部屋内に配置された装置の位置関係を示す図である。 投影システムＳが利用される部屋内に配置されたカメラ２ａ〜２ｄ及びプロジェクター４ａ〜４ｄの位置関係を示す図である。 制御部５３により実行される障害度マップ作成処理の一例を示すフローチャートである。 制御部５３により実行される映像投影処理の一例を示すフローチャートである。 （Ａ）は、制御部５３により実行される重み設定処理の一例を示すフローチャートであり、（Ｂ）は、制御部５３により実行される障害度判定処理の一例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

［１．投影システムの構成及び動作概要］
始めに、図１等を参照して、本発明の実施形態の投影システムＳの構成及び動作概要について説明する。図１は、本実施形態の投影システムＳの概要構成例を示す図である。投影システムＳは、図１に示すように、表示・操作デバイス１、カメラ２ａ〜２ｄ、映像再生装置３ａ〜３ｄ、プロジェクター４ａ〜４ｄ、及び再生制御装置５等を備えて構成される。投影システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋（プロジェクションマッピングルーム）に設置される。表示・操作デバイス１、及びカメラ２ａ〜２ｄは、それぞれ、有線または無線を介して再生制御装置５と接続される。また、映像再生装置３ａ〜３ｄ、及びプロジェクター４ａ〜４ｄは、それぞれ、有線または無線のＬＡＮ（Local Area Network）及びハブ（HUB）を介して再生制御装置５と接続される。再生制御装置５は、本発明の制御装置の一例である。なお、投影システムＳがカラオケ店舗の部屋に適用される場合、部屋内にはカラオケ用の楽曲再生装置（コマンダ）等が設置される。

表示・操作デバイス１は、ユーザ（利用者）から、所定の操作指示を受け付ける装置である。表示・操作デバイス１には、例えば、表示画面を備えるタッチパネルディスプレイが用いられる。なお、表示・操作デバイス１は、再生制御装置５に組み込まれていてもよい。この場合、例えば、表示・操作デバイス１は、再生制御装置５と一体に形成された表示ディスプレイである。カメラ２ａ〜２ｄは、それぞれのカメラの画角に収まる撮像範囲を撮像する装置である。

映像再生装置３ａ〜３ｄは、映像を再生する装置である。プロジェクター４ａ〜４ｄは、映像再生装置３ａ〜３ｄにより再生された映像を投影対象領域に投影する投影装置の一例である。投影対象領域は、例えばカラオケ店舗の部屋の壁面である。プロジェクター４ａ〜４ｄは、それぞれ異なる領域に映像を投影する。プロジェクター４ａ〜４ｄは、それぞれ、Ｒ（赤）、Ｇ（緑）、及びＢ（青）の３原色に基づく光を発する発光部を備える。プロジェクター４ａ〜４ｄは、それぞれ、映像再生装置３ａ〜３ｄにより再生出力された映像信号に応じた光を発光部から発することにより映像を出力する。これにより、プロジェクター４ａ〜４ｄは、それぞれのプロジェクターの投影角度により決まる投影範囲に映像を投影する。プロジェクター４ａ〜４ｄの投影範囲を合わせた領域が、投影対象領域である。映像には、静止画像と動画像とがある。動画像は、例えば複数の静止画のフレーム画像を時系列で切り替えて表示する。再生制御装置５は、それぞれ、映像を構成する映像データを、映像を識別するための映像識別情報に対応付けて記憶部に記憶する。映像データは、例えば再生制御装置５により生成され、映像再生装置３ａ〜３ｄに送信される。

図２は、プロジェクター４ａ〜４ｄにより投影対象領域に投影される映像の元データとなるオリジナル映像である映像Ｉを示す概念図である。オリジナル映像の例として、アーティストのプロモーション映像、企業または商品の広告映像などが挙げられる。図２（Ａ）に示す映像Ｉａは、映像再生装置３ａにより再生され、プロジェクター４ａにより投影される。図２（Ａ）に示す映像Ｉｂは、映像再生装置３ｂにより再生され、プロジェクター４ｂにより投影される。図２（Ａ）に示す映像Ｉｃは、映像再生装置３ｃにより再生され、プロジェクター４ｃにより投影される。図２（Ａ）に示す映像Ｉｄは、映像再生装置３ｄにより再生され、プロジェクター４ｄにより投影される。図２（Ａ）の例では、１つのオリジナル映像から４つの映像Ｉａ〜Ｉｄそれぞれを構成する複数の映像データが生成されることになる。このような４つの映像Ｉａ〜Ｉｄにより投影対象領域には、１つの映像Ｉが投影されることになる。

また、図２（Ｂ）の例では、投影対象領域に投影される映像Ｉを左方向にシフトさせた場合を映像Ｉｓとして示す。この場合、図２（Ｂ）に示す映像Ｉａｓは、映像再生装置３ａにより再生され、プロジェクター４ａにより投影される。図２（Ｂ）に示す映像Ｉｂｓは、映像再生装置３ｂにより再生され、プロジェクター４ｂにより投影される。図２（Ｂ）に示す映像Ｉｃｓは、映像再生装置３ｃにより再生され、プロジェクター４ｃにより投影される。図２（Ｂ）に示す映像Ｉｄｓは、映像再生装置３ｄにより再生され、プロジェクター４ｄにより投影される。図２（Ｂ）の例では、１つのオリジナル映像から４つの映像Ｉａｓ〜Ｉｄｓそれぞれを構成する複数の映像データが生成されることになる。このような４つの映像Ｉａｓ〜Ｉｄｓにより投影対象領域には、１つの映像Ｉｓが投影されることになる。なお、図２に示す映像Ｉ，Ｉｓは、１台のプロジェクターにより投影対象領域に投影されてもよい。また、図２に示すオリジナル映像は、静止画像であってもよいし、動画像であってもよい。動画像である場合、図２は、オリジナル映像中の１画像フレームである。映像Ｉを左方向にシフトさせた映像Ｉｓは、映像Ｉの一部の左端を周回させ、右端に移動させたものである。映像Ｉｓは、映像Ｉを左方向にシフトさせることにより、映像Ｉの一部の左端が右端に周回した映像、あるいは、映像Ｉの一部の左端は切り落とされ表示されない映像である。

また、再生制御装置１は、上述した映像データの他にも、所定の色の色画像を表す色画像データを色ＩＤに対応付けて記憶部に記憶する。色画像データは、特定の一色を投影対象領域に投映する画像データである。色ＩＤは、色を識別する識別情報である。色は、例えば白、赤、青、緑、黄、ピンクのような代表的な数色であってもよいし、それらの中間色まで含めた色であってもよい。映像再生装置３ａ〜３ｄそれぞれは、複数色について、色数分の色画像データを記憶する。例えば、８ビットで色を表現する場合、２５６色分の色画像データが記憶される。また、例えば、１６ビットで色を表現する場合、６５５３６色分の色画像データが記憶される。それぞれの色画像データは、例えば再生制御装置５から映像再生装置３ａ〜３ｄに送信される。それぞれの色画像は、映像再生装置３ａ〜３ｄにより再生され、プロジェクター４ａ〜４ｄにより投影される。なお、色画像データは、特定の一色を投映するデータの他、特定の複数色の画像パターンを投影するものであってもよい。

なお、図１の例では、映像再生装置とプロジェクターとは１対１で対応しているが、１対Ｎ（Ｎは２以上の自然数）で対応してもよい。例えば、１つの映像再生装置に複数台のプロジェクターが接続されてもよい。また、映像再生装置３ａ〜３ｄは、映像再生部として再生制御装置５に組み込まれてもよい。

図３は、投影システムＳが利用される部屋内に配置されたカメラ２ａ〜２ｄ及びプロジェクター４ａ〜４ｄの位置関係を示す図である。図３は、部屋の上方から見た図であり、部屋の形状は中空円筒形である。なお、当該部屋の天井は平面状であってもよいし、半球状であってもよい。図３の例では、カメラ２ａ〜２ｄ及びプロジェクター４ａ〜４ｄは、部屋の中央部に配置されている。カメラ２ａ〜２ｄとプロジェクター４ａ〜４ｄとは、各一台ずつが対となって近い位置に配置される。プロジェクター４ａ〜４ｄは、例えば、部屋の壁面の全周である３６０度全方位を均等な面積を投影する位置関係に配置される。プロジェクター４ａ〜４ｄは、部屋の壁面を投影対象領域として映像Ｉａ〜Ｉｄまたは色画像を投影する。つまり、この例では、プロジェクター４ａ〜４ｄにより３６０度の曲面に映像Ｉａ〜Ｉｄまたは色画像が投影される。しかし、図３に示すように、部屋内には、壁面に取り付けられた障害物（例えば、エアコンやポスター等）や壁面の前に置かれた障害物（リモコン等の各種機器や棚等）がある。図３の例では、映像Ｉａ，Ｉｃ〜Ｉｄ、または色画像が投影される投影対象領域には障害物が存在する面が含まれることになる。なお、部屋の天井面及び床面が投影対象領域であってもよい。カメラ２ａ〜２ｄは、プロジェクターと投影対象領域との間の空間方向に向き、それぞれのカメラの画角ａ〜ｄに収まる撮像範囲を撮像する。本実施形態では、カメラ２ａ〜２ｄは、プロジェクター４ａ〜４ｄにより色画像が投影されているときに、それぞれのカメラの画角ａ〜ｄに収まる撮像範囲を撮像する。具体的には、カメラ２ａ〜２ｄは、プロジェクター４ａ〜４ｄが投影する面を撮像する。図３の例では、プロジェクター４ａによる投影範囲と、カメラ２ａにより撮像される撮像範囲とはほぼ一致する。このため、プロジェクター４ａにより投影対象領域に投影された色画像は、カメラ２ａにより撮像される。このことは、カメラ２ｂ〜２ｄ及びプロジェクター４ｂ〜４ｄについても同様である。

なお、図３の例では、カメラ２ａ〜２ｄ及びプロジェクター４ａ〜４ｄは、部屋の中央部に配置されているが、例えば、部屋の隅に配置されてもよい。また、図３の例では、カメラとプロジェクターとは１対１で対応しているが、１対Ｎ（Ｎは２以上の自然数）で対応してもよい。例えば、３６０度全方位を撮像可能な１台のカメラが設置されてもよい。この場合、１台のカメラによって、プロジェクター４ａ〜４ｄにより３６０度全方位の壁面等に投影された色画像を撮像することができる。また、図３の例では、４台のプロジェクターにより３６０度全方位に映像または色画像を投影するが、例えば、３台以下、または５台以上のプロジェクターにより３６０度全方位に映像または色画像を投影してもよい。また、図３の例では、投影対象領域を３６０度の曲面としたが、例えば、９０度〜２７０度の間の曲面であってもよい。また、部屋の形状は、図３の例では、中空円筒形であるが、円筒に限らない。複数面を有する中空形状であればよい。例えば、部屋の形状は、側壁面を４面備える直方体または立方体形状であってもよい。あるいは、楕円形状や３角形以上の多角形状であってもよい。この場合、部屋の壁面は平面であり、１つ以上の壁面に１台以上のプロジェクターにより映像または色画像が投影されることになる。好適には、部屋の形状は、壁面全周の３６０度に投影できる形状である。

記憶部５２は、例えばハードディスクドライブにより構成される。記憶部５２には、ＯＳ（Operating System）、及び本発明のプログラム等が記憶される。本発明のプログラムは、後述する制御処理をＣＰＵに実行させるプログラムである。また、記憶部５２には、オリジナル映像を構成する映像データが映像識別情報に対応付けられて記憶される。なお、例えば、同じアーティストのプロモーション映像が複数種類作成される場合や、同じ商品の広告映像が複数種類作成される場合がある。この場合、各種類それぞれのオリジナル映像の映像データが、映像識別情報に対応付けられて記憶される。同じアーティストまたは同じ商品のように、種類が共通する複数種類のオリジナル映像は、互いに関連するオリジナル映像であるとして、例えば記憶部５２に各オリジナル映像の映像識別情報が対応付けて記憶される。また、記憶部５２には、オリジナル映像に基づき生成された１つの映像を構成する複数の映像データが、オリジナル映像の映像識別情報に対応付けられて記憶される。例えば、映像Ｉａを構成する映像データ、映像Ｉｂを構成する映像データ、映像Ｉｃを構成する映像データ、及び映像Ｉｄを構成する映像データは、映像識別情報に対応付けて記憶される。なお、プロジェクターが１台である場合、１つのオリジナル映像に基づき生成された１つの映像Ｉを構成する映像データが記憶される。また、複数種類のオリジナル映像を構成する映像データが記憶される場合、それぞれのオリジナル映像に基づき生成されたそれぞれの映像を構成する映像データが、オリジナル映像ごとに記憶される。更に、記憶部５２には、所定の色それぞれの色情報が色ＩＤに対応付けられて記憶される。なお、記憶部５２には、所定の色それぞれの色画像を構成する色画像データが色ＩＤに対応付けられて記憶されてもよい。色情報は、例えば、人の視覚を近似するＬａｂ色空間のＬ*,ａ*,ｂ*の３つの数値で表されることが望ましい。ただし、色情報はＲ，Ｇ，Ｂの３つの値で表してもよい。色画像はＲ，Ｇ，Ｂで表されるので、色画像に対応する色情報をＬ*,ａ*,ｂ*で表す場合、公知のＲＧＢ−Ｌａｂ変換式により、ＲＧＢの空間の座標からＬａｂ色空間の座標に変換される。

また、制御部５３は、プロジェクター４ａ〜４ｄにより投影対象領域に投影されるオリジナル映像である映像Ｉを取得する。制御部５３は、取得した色別の障害度マップＭ（ｋ）と、取得した映像Ｉとを比較し、取得した映像Ｉに対して投影対象領域の障害度マップＭ（ｋ）（つまり、障害度マップＭ（ｋ）が示す所定領域ごとの色の障害度）が及ぼす障害度（以下、「映像Iの障害度」という）を決定する。映像Ｉの障害度は、映像Ｉ全体の色の障害度である。そして、制御部５３は、決定した障害度に基づいて、投影対象領域に投影させる映像を決定する。例えば、制御部５３は、決定した障害度が、閾値未満であるか否かを判定する。制御部５３は、決定した障害度が閾値未満であると判定したとき、障害度が閾値未満であると判定された映像Ｉを、投影対象領域に投影させる映像として決定する。一方、制御部５３は、決定した障害度が閾値未満でないと判定したとき、障害度が閾値未満でないと判定された映像Ｉを変更して投影対象領域に投影させる映像を決定する。なお、閾値は、例えば投影システムＳの管理者により任意に設定される。障害度が閾値未満でないと判定された場合に映像Ｉを変更する例として、制御部５３は、取得した映像Ｉ全体を、オリジナル映像において所定方向に所定領域だけシフトさせた映像Ｉｓを、投影対象領域に投影させる映像として決定する。これにより、投影される映像に、投影対象領域における障害物により及ぼされる色の影響を、より少なくさせることができる。ここで、所定方向とは、例えば図２（Ｂ）に示すように左方向であってもよいし、右方向、上方向、下方向、斜め左上方向、斜め左下方向、斜め右上方向、斜め右下方向等であってもよい。或いは、映像Ｉを変更する例として、制御部５３は、障害度が閾値未満でないと判定された映像Ｉに代えて、映像Ｉに関連する代替映像を、投影対象領域に投影させる画像として決定する。代替映像としては、上述したように、障害度が閾値未満でないと判定された映像Ｉの元データとなるオリジナル映像に関連するオリジナル映像から生成された映像が決定される。例えば、映像Ｉに関連する代替映像として、映像Ｉと種類が共通するオリジナル映像から生成された映像が決定される。

［２．投影システムＳの動作］
次に、本実施形態の投影システムＳで実施される動作内容について説明する。

（障害度マップ作成処理）
先ず、図４を参照して、障害度マップ作成処理について説明する。図４は、制御部５３により実行される障害度マップ作成処理の一例を示すフローチャートである。図４に示す障害度マップ作成処理は、例えば、制御部５３が表示・操作デバイス１から障害度マップ作成指示を受信した場合に開始される。障害度マップ作成指示は、例えばカメラ２ａ〜２ｄ及びプロジェクター４ａ〜４ｄが設置された部屋にユーザが入室していないときに、投影システムＳの管理者が表示・操作デバイス１を操作することにより再生制御装置５へ送信される。

図４に示す処理が開始されると、制御部５３は、予め設定された複数の色の色情報（例えば、Ｌ*,ａ*,ｂ*で表される）のうち、何れか１つの色情報（＝ｋとする）を選択する（ステップＳ１）。次いで、制御部５３は、ステップＳ１で選択した色情報に対応付けられた色ＩＤを特定する（ステップＳ２）。次いで、制御部５３は、ステップＳ２で特定した色ＩＤを指令情報として含む色画像投影指令を映像再生装置３ａ〜３ｄへ送信する（ステップＳ３）。映像再生装置３ａ〜３ｄは、それぞれ、再生制御装置５から色画像投影指令を受信すると、色画像投影指令に含まれる色ＩＤに対応付けられた色画像データを記憶部５２から取得する。そして、映像再生装置３ａ〜３ｄは、それぞれ、取得した色画像データに基づいて色画像を再生し、その映像信号をプロジェクター４ａ〜４ｄへ出力する。プロジェクター４ａ〜４ｄは、それぞれ、再生出力された映像信号に従って色画像を投影対象領域に投影する。本実施形態における色画像データのように、色画像投影指令が送信され、映像再生装置３ａ〜３ｄにより投影される画像は、投影対象領域の障害度を検出するために予め定められた障害度検出用の画像データである。色画像投影指令が送信され、色画像データが投影されるとき、投影対象領域には、映像Ｉ等の他の映像は投影されていない。すなわち、色画像投影指令が送信される処理は、後述する映像投影処理が行われる前に実行される。

次いで、制御部５３は、色画像撮像指令をカメラ２ａ〜２ｄへ送信する（ステップＳ４）。カメラ２ａ〜２ｄは、それぞれ、再生制御装置５から色画像撮像指令を受信すると、それぞれのカメラの画角ａ〜ｄに収まる撮像範囲を撮像し、投影対象領域に投影された色画像を含む撮像結果を再生制御装置５へ送信する。制御部５３は、カメラ２ａ〜２ｄそれぞれから撮像結果を受信し、それぞれの撮像結果から色画像を取得する（ステップＳ５）。なお、それぞれの撮像結果に含まれる色画像は、それぞれのカメラ２ａ〜２ｄの撮像範囲の平面座標にしたがって繋ぎ合わされ１つの色画像として取得される。

次いで、制御部５３は、ステップＳ５で取得した色画像における所定領域（例えば、画素）の色情報と、ステップＳ１で選択した色情報とを比較して、例えばＬａｂ空間における色差を色の障害度として所定領域ごとに算出し、所定領域ごとに色の障害度を示す障害度マップＴ（ｋ）をカメラの座標系で作成する（ステップＳ６）。この障害度マップＴ（ｋ）は、例えば、カメラ２ａ〜２ｄ全体の撮像範囲の平面座標（Ｘ、Ｙ）で作成される。なお、Ｌａｂ空間における色差を算出する場合、色画像における所定領域の色情報は、ＲＧＢ−Ｌａｂ変換式により、ＲＧＢの空間の座標からＬａｂ色空間の座標に変換されることで得られる。色差は、例えば、２つの色をＬ*,ａ*,ｂ*の３次元空間内の点として、これらの２点間のユークリッド距離を算出することで得られる。なお、色差をＣｄとし、色の障害度をＣｖとすると、色の障害度Ｃｖは、例えば下記（１）式で算出される。

Ｃｖ＝αＣｄ（αは、例えば１以上の値）・・・（１）

次いで、制御部５３は、ステップＳ６で作成した障害度マップＴ（ｋ）を、プロジェクターの座標系に変換した障害度マップＭ（ｋ）を作成する（ステップＳ７）。この障害度マップＭ（ｋ）は、例えば、プロジェクター４ａ〜４ｄ全体の投影範囲の平面座標（ｘ、ｙ）で作成される。障害度マップＴ（ｋ）は、カメラの座標系で作成されるが、本実施形態の目的はプロジェクター４ａ〜４ｄで投影する画像の色が目的に色合いになるかどうかを判定することにある。このため、Ｔ（ｋ）をプロジェクターの座標系で表すＭ（ｋ）に変換するのである。カメラの座標系をプロジェクターの座標系に変換するには、例えば、J.BATTLEらによる“RECENT PROGRESS IN CODED STRUCTURED LIGHT AS A TECHNIQUE TO SOLVE THE CORRESPONDENCE PROBLEM: A SURVEY” Pattern （Recognition,Vol.31,No.7,pp.963-982,1998）に記載された方法を用いるとよい。こうして作成された障害度マップＭ（ｋ）は、例えばステップＳ１で選択された色情報（色ＩＤでもよい）に対応付けられて記憶部５２に記憶される。

次いで、制御部５３は、予め設定された複数の色の色情報のうち、まだ選択されていない色情報があるか否かを判定する（ステップＳ８）。制御部５３は、まだ選択されていない色情報があると判定した場合（ステップＳ８：ＹＥＳ）、ステップＳ１に戻り、まだ選択されていない何れか１つの色情報を選択して上記と同様の処理を行う。一方、制御部５３は、まだ選択されていない色情報がないと判定した場合（ステップＳ８：ＮＯ）、障害度マップ作成処理を終了する。このような障害度マップ作成処理により、予め設定された色ごとに障害度マップＭ（ｋ）が作成される。

（映像投影処理）
次に、図５及び図６を参照して、映像投影処理について説明する。図５は、制御部５３により実行される映像投影処理の一例を示すフローチャートである。図６（Ａ）は、制御部５３により実行される重み設定処理の一例を示すフローチャートである。図６（Ｂ）は、制御部５３により実行される障害度判定処理の一例を示すフローチャートである。

図５に示す映像投影処理は、例えば、制御部５３が表示・操作デバイス１から映像投影指示を受信した場合に開始される。映像投影指示は、例えばカメラ２ａ〜２ｄ及びプロジェクター４ａ〜４ｄが設置された部屋にユーザが入室したときに、このユーザが表示・操作デバイス１を操作して所望のオリジナル映像を選択することにより再生制御装置５へ送信される。すなわち、映像投影指示は、ユーザにより選択される、ユーザが映像投影を所望する映像である。映像投影指示では、具体的には、複数のオリジナル映像それぞれの概要情報が再生制御装置５から表示・操作デバイス１に送信される。この概要情報には、例えば、オリジナル映像の映像識別情報、映像名、及びオリジナル映像の１画像フレーム等が含まれる。表示・操作デバイス１は、それぞれのオリジナル映像の概要情報を選択可能に表示画面に表示する。ユーザが、概要情報が表示されたオリジナル映像の中から何れかを選択する操作を行うと、選択されたオリジナル映像の映像識別情報を示す映像投影指示が再生制御装置５へ送信される。なお、以下に説明する映像投影処理の前提として、複数の色それぞれに対応する色画像データが色ＩＤに対応付けられて映像再生装置３ａ〜３ｄの記憶部５２に記憶されているものとする。

図５に示す処理が開始されると、制御部５３は、映像投影指示が示す映像識別情報に対応付けられたオリジナル映像を記憶部５２から取得（ロード）する（ステップＳ１１）。取得されたオリジナル映像はＲＡＭに展開され、プロジェクター４ａ〜４ｄにより投影対象領域に投影される映像を含む。なお、オリジナル映像が動画像である場合、例えばオリジナル映像を構成する全部または一部の画像フレームがオリジナル映像として時間軸に沿って順次取得され、順次、ステップＳ１２の重み設定処理が行われる。次いで、制御部５３は、重み設定処理を行う（ステップＳ１２）。重み設定処理は、投影される映像を含むオリジナル映像における所定領域（例えば、画素）ごとに表示色の重要度（優先度）を示す重みＷ（ｘ，ｙ）を設定する処理である。これにより、所定領域ごとに設定された重要度を示す重みに応じて色の影響を適宜変えながら映像を投影対象領域に投影させることができる。

図６（Ａ）に示す重み設定処理では、制御部５３は、オリジナル映像における所定領域（例えば、画素）ごとの重みＷ（ｘ，ｙ）を、例えば“１”で初期化する（ステップＳ１２１）。次いで、制御部５３は、ステップＳ１１で取得されたオリジナル映像から、表示色の重要度（優先度）を高くする重要領域を特定する重要領域特定処理を行う（ステップＳ１２２）。

重要領域特定処理の一つの例として、制御部５３は、例えばテンプレートマッチングによりオリジナル映像から所定の画素パターンを含む領域を重要領域として特定する。ここで、画素パターンの例として、企業や商品のロゴなど、ユーザにブランドイメージを想起させるようなオブジェクトが挙げられる。これにより、投影させる映像中の企業や商品のロゴなどの重要領域に及ぼされる色の影響を、他の領域よりも少なくさせることができ、ブランドイメージを保護することができる。例えば、制御部５３は、所定の画素パターンを表すテンプレート画像を記憶し、このテンプレート画像と、オリジナル映像の各部分との類似度を計算することによってオリジナル映像中の画素パターンを含む領域を重要領域として特定する。この類似度の計算には、相互相関が用いられる。或いは、制御部５３は、所定の画素パターンのSIFT(Scale-invariant feature transform)特徴を表すテンプレートを記憶し、このテンプレートが表すSIFT特徴と、オリジナル映像の各部分のSIFT特徴との類似度を計算することによってオリジナル映像中の画素パターンを含む領域を重要領域として特定してもよい。

また、重要領域特定処理の他の例として、制御部５３は、オリジナル映像から、人物の顔領域を検出し、検出した人物の顔領域を重要領域として特定してもよい。これにより、投影させる映像中の人物（例えば、アーティスト等の著名な人物）の顔領域に及ぼされる投影対象領域の障害物の色（障害度）の影響を、他の領域よりも少なくさせることができる。顔領域の検出には、例えば、Viola-Jonesの検出アルゴリズム、或いは、顔のパーツ（目，鼻，口）検出や肌色検出等のアルゴリズムが用いられる。

また、重要領域特定処理の他の例として、制御部５３は、表示・操作デバイス１に表示されたオリジナル映像上でユーザにより指定された領域の座標情報を、表示・操作デバイス１から取得し、取得した座標情報により特定される領域を重要領域として特定してもよい。

次いで、制御部５３は、ステップＳ１２２で特定された重要領域に、この重要領域以外の領域より高い重みＷ（ｘ，ｙ）を設定する（ステップＳ１２３）。例えば、ステップＳ１２１で初期化設定された重みＷ（ｘ，ｙ）＝１より高い“５”に設定される。ここで、“５”は一例であり、１より大きい数値ならばどの値を設定してもよい。また、設定される値は、１つの値ではなく、例えば、重要領域に含まれる第１の画素（または画素群）の重みＷ（ｘ，ｙ）を“５”に設定し、重要領域に含まれる第２の画素（または画素群）のＷ（ｘ，ｙ）を“４”に設定し、重要領域に含まれる第３の画素（または画素群）のＷ（ｘ，ｙ）には“３”を設定し、重要領域に含まれる第４の画素（または画素群）のＷ（ｘ，ｙ）には“２”を設定するようにしてもよい。つまり、ステップＳ１４で設定される重みＷ（ｘ，ｙ）は多値であってもよい。

次いで、制御部５３は、所定領域（例えば、画素）ごとに設定された重みＷ（ｘ，ｙ）を、所定領域（例えば、画素）の総数Ｓで割ることで、所定領域（例えば、画素）ごとの重みＷ（ｘ，ｙ）を正規化する（ステップＳ１２４）。こうして正規化された各重みＷ（ｘ，ｙ）が、重み設定処理で最終的に設定された各重みＷ（ｘ，ｙ）として以降の処理で用いられる。

なお、ステップＳ１２に示す重み設定処理は、ユーザにより指定された領域を重要領域として重みＷ（ｘ，ｙ）を設定することを除き、オリジナル映像が再生制御装置５に記憶されたとき（つまり、投影システムＳに投入されたとき）に実行されてもよい。この場合、重み設定処理で設定された各重みＷ（ｘ，ｙ）が、オリジナル映像の映像識別情報に対応付けられて記憶部５２に記憶される。そして、この場合のステップＳ１２では、ステップＳ１１で取得されたオリジナル映像の映像識別情報に対応付けられた各重みＷ（ｘ，ｙ）が記憶部５２から取得される。

図５に示す処理に戻り、制御部５３は、障害度判定処理を行う（ステップＳ１３）。障害度判定処理は、投影対象領域に投影される映像の障害度の判定を行う処理である。図６（Ｂ）に示す障害度判定処理では、制御部５３は、映像のシフト幅（ずらし幅）Ｓを０で初期化する（ステップＳ１３１）。次いで、制御部５３は、ステップＳ１１で取得されたオリジナル映像から、投影対象領域に投影させる映像Ｊを取得する（ステップＳ１３２）。例えば映像Ｊ（例えば、図２（Ａ）に示す映像Ｉ）の範囲はデフォルト設定されている。

次いで、制御部５３は、障害度マップ作成処理により作成された色別の障害度マップＭ（ｋ）を記憶部５２から取得する（ステップＳ１３３）。なお、制御部５３は、オリジナル映像を取得する（ステップＳ１１）前に、色別の障害度マップＭ（ｋ）を取得してもよい。次いで、制御部５３は、取得した色別の障害度マップＭ（ｋ）と、取得した映像Ｊとを比較し、所定領域（例えば、画素）ごとの色の障害度に基づいて映像Ｊの障害度Ｅ（映像Jに投影対象領域の障害色情報が及ぼす障害度）を計算して決定する（ステップＳ１３４）。映像Ｊの障害度Ｅは、例えば下記（２）式で算出される。

Ｅ＝ΣΣＭ（Ｊ（ｘ，ｙ））（ｘ，ｙ）・Ｗ（ｘ，ｙ）・・・（２）

ここで、Ｊ（ｘ，ｙ）は、例えば、映像Ｊにおける画素（ｘ，ｙ）の色情報を示す。（ｘ，ｙ）は、ｘ軸方向とｙ軸方向における座標を示す変数である。画素（ｘ，ｙ）の色情報は、例えば、映像Ｊにおける画素（ｘ，ｙ）のＲＧＢの空間の座標から、ＲＧＢ−Ｌａｂ変換式により、Ｌａｂ色空間の座標に変換されることで得られる。Ｍ（Ｊ（ｘ，ｙ））は、映像Ｊにおける画素（ｘ，ｙ）の色情報に対応付けられた障害度マップを示し、Ｍ（Ｊ（ｘ，ｙ））（ｘ，ｙ）は、この障害度マップＭ（Ｊ（ｘ，ｙ））における画素（ｘ，ｙ）の色の障害度を示す。なお、映像Ｊにおける画素（ｘ，ｙ）の色情報に対応する障害度マップが作成されていない（つまり、映像Ｊで表される全色について障害度マップが作成されていない）場合がある。この場合、Ｊ（ｘ，ｙ）に対応する色に最も近い色の色情報に対応付けられた障害度マップがＭ（Ｊ（ｘ，ｙ））として用いられる。色の近さは例えばＬａｂ色空間で判定される。Ｍ（Ｊ（ｘ，ｙ））（ｘ，ｙ）・Ｗ（ｘ，ｙ）は、映像Ｊにおける画素（ｘ，ｙ）の色の障害度に、この画素（ｘ，ｙ）の重みＷ（ｘ，ｙ）（つまり、重み設定処理で設定された重みＷ（ｘ，ｙ））を乗算した調整後の障害度を示す。つまり、この例では、画素ごとに設定された重み（ｘ，ｙ）に基づいて、この画素の障害度が調整されるのである。ΣΣは、映像Ｊのｘ軸方向（水平方向）とｙ軸方向（垂直方向）における画素の障害度Ｍ（Ｊ（ｘ，ｙ））（ｘ，ｙ）・Ｗ（ｘ，ｙ）を総和することを示す。この総和が映像Ｊの障害度Ｅとなる。なお、オリジナル映像が動画像である場合、例えばオリジナル映像を構成する全部または一部の画像フレームにおける映像Ｊが時間軸に沿って順次取得されて各障害度Ｅが算出され、それぞれの映像Ｊの障害度Ｅの総和が映像Ｊの障害度Ｅとして決定されて以降の処理で用いられる。

次いで、制御部５３は、ステップＳ１３４で決定された映像Ｊの障害度Ｅが、閾値未満であるか否かを判定する（ステップＳ１３５）。制御部５３は、映像Ｊの障害度Ｅが、閾値未満であると判定した場合（ステップＳ１３５：ＹＥＳ）、ステップＳ１３６へ進む。一方、制御部５３は、映像Ｊの障害度Ｅが、閾値未満でないと判定した場合（ステップＳ１３５：ＮＯ）、ステップＳ１３７へ進む。

ステップＳ１３６では、制御部５３は、障害度判定フラグをＴＲＵＥにセットする。一方、ステップＳ１３７では、制御部５３は、シフト幅Ｓに所定値を加算する。この所定値は、例えば１に設定される。なお、所定値は、１より大きな数値、例えばプロジェクター１台分の解像度の半分程度や、解像度そのものの値が用いられてもよい。次いで、制御部５３は、シフト幅Ｓが、ステップＳ１１で取得されたオリジナル映像の幅を超えたか否かを判定する（ステップＳ１３８）。オリジナル映像の幅は、例えば、シフト方向がｘ軸方向である場合、オリジナル映像のｘ軸方向の幅である。一方、オリジナル映像の幅は、例えば、シフト方向がｙ軸方向である場合、オリジナル映像のｙ軸方向の幅である。制御部５３は、シフト幅Ｓがオリジナル映像の幅を超えていないと判定した場合（ステップＳ１３８：ＮＯ）、ステップＳ１３９へ進む。一方、制御部５３は、シフト幅Ｓがオリジナル映像の幅を超えたと判定した場合（ステップＳ１３８：ＹＥＳ）、ステップＳ１４０へ進む。シフト幅Ｓがオリジナル映像の幅を超えたとは、映像Ｊがオリジナル映像において例えばｘ軸方向に一周（３６０度、周回）したことを意味する。なお、前述したように、オリジナル映像において映像Ｊを周回シフトさせる代わりに、シフトさせて映像Ｉの端を切り捨てる（つまり、オリジナル映像の範囲外に出た部分を切り捨てる）ように構成してもよい。

ステップＳ１３９では、制御部５３は、前回の映像Ｊを、ステップＳ１１で取得されたオリジナル映像において所定方向（例えば、ｘ軸方向）にシフト幅Ｓだけシフトさせた映像（例えば、図２（Ｂ）に示す映像Ｉｓ）を、投影対象領域に投影される映像Ｊとして新たに取得し、ステップＳ１３４に戻り、上記と同様の処理を行う。ステップＳ１４０では、制御部５３は、障害度判定フラグをＦＡＬＳＥにセットする。

なお、制御部５３は、映像Ｊのシフトを一方向だけでなく複数方向行ってもよい。この場合、例えば、制御部５３は、ステップＳ１３９において、映像Ｊをオリジナル映像においてｘ軸方向にシフト幅Ｓだけシフトさせ、ステップＳ１３４に戻り、上記と同様の処理を行う。そして、制御部５３は、ステップＳ１３８で、シフト幅Ｓがオリジナル映像の幅を超えた場合（ステップＳ１３８：ＹＥＳ）、シフトの方向を変更し、映像Ｊをオリジナル映像においてｙ軸方向にシフト幅Ｓだけシフトさせ、ステップＳ１３４に戻り、上記と同様の処理を行う。そして、制御部５３は、ステップＳ１３８で、シフト幅Ｓがオリジナル映像の幅を超えた場合（ステップＳ１３８：ＹＥＳ）、つまり、複数方向シフトの全てにおいて、映像Ｊの障害度Ｅが閾値未満とはならない場合に限り、ステップＳ１４０へ進むように構成される。

図５に示す処理に戻り、制御部５３は、障害度判定フラグがＴＲＵＥであるか否かを判定する（ステップＳ１４）。制御部５３は、障害度判定フラグがＴＲＵＥであると判定した場合（ステップＳ１４：ＹＥＳ）、ステップＳ１５へ進む。一方、制御部５３は、障害度判定フラグがＴＲＵＥでないと判定した場合（ステップＳ１４：ＮＯ）、ステップＳ１７へ進む。

ステップＳ１５では、制御部５３は、ステップＳ１３５で障害度Ｅが閾値未満であると判定された映像Ｊを、投影対象領域に投影させる映像として決定する。次いで、制御部５３は、ステップＳ１５で決定した映像を分割して、プロジェクター４ａ〜４ｄそれぞれに投影させる映像（例えば、図２（Ａ）に示す映像Ｉａ〜Ｉｄ、または図２（Ｂ）に示す映像Ｉａｓ〜Ｉｄｓ）を生成し（ステップＳ１６）、ステップＳ２０へ進む。

ステップＳ１７では、制御部５３は、ステップＳ１３５で障害度Ｅが閾値未満でないと判定された映像Ｊの元となるオリジナル映像に関連するオリジナル映像を、例えば映像識別情報をキーとして検索する。制御部５３は、ステップＳ１７の検索によりオリジナル映像を発見できたか否かを判定する（ステップＳ１８）。制御部５３は、検索によりオリジナル映像を発見できた場合（ステップＳ１８：ＹＥＳ）、ステップＳ１１に戻り、発見されたオリジナル映像を記憶部５２から取得し、取得したオリジナル映像について上記と同様にステップＳ１２に以降の処理を行う。これにより、このオリジナル映像から取得された映像の障害度Ｅが閾値未満であると判定された場合、この映像が上述した代替映像となる。この場合、障害度Ｅが閾値未満でないと判定された映像Ｉに代えて、この映像Ｉに関連する代替映像が投影対象領域に投影させる映像として決定される。一方、制御部５３は、検索によりオリジナル映像を発見できない場合（ステップＳ１８：ＮＯ）、ステップＳ１９へ進む。ステップＳ１９では、制御部５３は、デフォルト映像を分割して、プロジェクター４ａ〜４ｄそれぞれに投影させる映像を生成し、ステップＳ２０へ進む。

ステップＳ２０では、ステップＳ１６またはステップＳ１９で生成された各映像のカラー補正を行い、カラー補正した各映像を構成する映像データ及び映像投影指令を、それぞれの映像に対応する映像再生装置３ａ〜３ｄへ送信し、図５に示す処理を終了する。そして、映像再生装置３ａ〜３ｄは、それぞれ、再生制御装置５から映像データ及び映像投影指令を受信すると、受信された映像データに基づいて映像を再生し、その映像信号をプロジェクター４ａ〜４ｄへ出力する。プロジェクター４ａ〜４ｄは、それぞれ、再生出力された映像信号に従って映像を投影対象領域に投影する。ステップＳ２０におけるカラー補正として、例えば Shree K.Nayarらによる“A Projection System with Radiometric Compensation for Screen Imperfections”に記載された方法を用いるとよい。このカラー補正は、プロジェクターからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値間の相関関係に基づきプロジェクターからのＲＧＢ出力値を補正する方法であるが、上述した通り、投影対象領域に障害物が含まれる場合、このカラー補正だけでは十分でないため、このカラー補正の前に上述したように本発明の方法が適用されるのである。

以上説明したように、上記実施形態によれば、制御部５３は、プロジェクター４ａ〜４ｄにより映像が投影される投影対象領域における色の障害度マップＭ（ｋ）と、プロジェクター４ａ〜４ｄにより投影対象領域に投影される映像Ｉとを比較し、取得した映像Ｉに対して投影対象領域の障害度情報が及ぼす映像Ｉの障害度を決定する。そして、制御部５３は、決定した障害度に基づいて、投影対象領域に投影させる映像を決定するように構成したので、障害物を含む投影対象領域に映像を投影せざるを得ない場合であっても、投影対象領域における障害物による色の影響を考慮して投影対象領域に映像を投影させることができる。すなわち、投影対象領域における障害物によって色の影響が少ない好適な位置へ映像を投影対象領域に投影させることができる。これにより、投影される映像の価値を最大限に維持することができる。

１ 表示・操作デバイス
２ａ〜２ｄ カメラ
３ａ〜３ｄ 映像再生装置
４ａ〜４ｄ プロジェクター
５ 再生制御装置
Ｓ 投影システム

Claims (4)

1. 投影装置により画像が投影される投影対象領域について、所定領域ごとの障害色情報を取得する情報取得手段と、
   所定の画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像から、所定の画素パターンを含む重要領域を特定する特定手段と、
   前記特定手段により特定された重要領域に従って、前記画像における前記所定領域ごとの重要度を示す重みを設定する設定手段と、
   前記情報取得手段により取得された障害色情報と、前記画像取得手段により取得された画像とを比較し、前記投影対象領域の前記障害色情報が前記取得された画像に及ぼす障害度を前記投影対象領域における所定領域ごとに決定し、かつ、前記設定手段により前記所定領域ごとに設定された重みが示す重要度が高いほど、前記所定領域の障害度が高くなるように前記画像取得手段により取得された画像全体の障害度を決定する障害度決定手段と、
   前記障害度決定手段に決定された、前記画像全体の障害度が、閾値未満であるか否かを判定する判定手段と、
   前記判定手段により前記画像全体の障害度が閾値未満であると判定されたとき、前記画像全体の障害度が閾値未満であると判定された画像を前記投影対象領域に投影させる画像として決定し、前記判定手段により前記画像全体の障害度が閾値未満でないと判定されたとき、前記画像全体を所定方向に所定領域だけシフトさせて前記投影対象領域に投影させる画像を決定するか、または、前記画像全体の障害度が閾値未満でないと判定された画像に代えて当該画像に関連する代替画像を前記投影対象領域に投影させる画像として決定する画像決定手段と、
   を備えることを特徴とする制御装置。
2. 投影装置により画像が投影される投影対象領域について、所定領域ごとの障害色情報を取得する情報取得手段と、
   所定の画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像から、人物の顔領域を検出する顔検出手段と、
   前記顔検出手段により検出された人物の顔領域に従って、前記画像における前記所定領域ごとの重要度を示す重みを設定する設定手段と、
   前記情報取得手段により取得された障害色情報と、前記画像取得手段により取得された画像とを比較し、前記投影対象領域の前記障害色情報が前記取得された画像に及ぼす障害度を前記投影対象領域における所定領域ごとに決定し、かつ、前記設定手段により前記所定領域ごとに設定された重みが示す重要度が高いほど、前記所定領域の障害度が高くなるように前記画像取得手段により取得された画像全体の障害度を決定する障害度決定手段と、
   前記障害度決定手段に決定された、前記画像全体の障害度が、閾値未満であるか否かを判定する判定手段と、
   前記判定手段により前記画像全体の障害度が閾値未満であると判定されたとき、前記画像全体の障害度が閾値未満であると判定された画像を前記投影対象領域に投影させる画像として決定し、前記判定手段により前記画像全体の障害度が閾値未満でないと判定されたとき、前記画像全体を所定方向に所定領域だけシフトさせて前記投影対象領域に投影させる画像を決定するか、または、前記画像全体の障害度が閾値未満でないと判定された画像に代えて当該画像に関連する代替画像を前記投影対象領域に投影させる画像として決定する画像決定手段と、
   を備えることを特徴とする制御装置。
3. 投影装置により画像が投影される投影対象領域における所定領域ごとの障害色情報を取得するステップと、
   所定の画像を取得するステップと、
   前記取得された画像から、所定の画素パターンを含む重要領域を特定するステップと、
   前記特定された重要領域に従って、前記画像における前記所定領域ごとの重要度を示す重みを設定するステップと、
   前記取得された障害色情報と、前記取得された画像とを比較し、前記投影対象領域の前記障害色情報が前記取得された画像に及ぼす障害度を前記投影対象領域における所定領域ごとに決定し、かつ、前記所定領域ごとに設定された重みが示す重要度が高いほど、前記所定領域の障害度が高くなるように前記取得された画像全体の障害度を決定するステップと、
   前記決定された、前記画像全体の障害度が、閾値未満であるか否かを判定するステップと、
   前記画像全体の障害度が閾値未満であると判定されたとき、前記画像全体の障害度が閾値未満であると判定された画像を前記投影対象領域に投影させる画像として決定し、前記画像全体の障害度が閾値未満でないと判定されたとき、前記画像全体を所定方向に所定領域だけシフトさせて前記投影対象領域に投影させる画像を決定するか、または、前記画像全体の障害度が閾値未満でないと判定された画像に代えて当該画像に関連する代替画像を前記投影対象領域に投影させる画像として決定するステップと、
   をコンピュータに実行させることを特徴とするプログラム。
4. 投影装置により画像が投影される投影対象領域について、所定領域ごとの障害色情報を取得するステップと、
   所定の画像を取得するステップと、
   前記取得された画像から、人物の顔領域を検出するステップと、
   前記検出された人物の顔領域に従って、前記画像における前記所定領域ごとの重要度を示す重みを設定するステップと、
   前記取得された障害色情報と、前記取得された画像とを比較し、前記投影対象領域の前記障害色情報が前記取得された画像に及ぼす障害度を前記投影対象領域における所定領域ごとに決定し、かつ、前記所定領域ごとに設定された重みが示す重要度が高いほど、前記所定領域の障害度が高くなるように前記取得された画像全体の障害度を決定するステップと、
   前記決定された、前記画像全体の障害度が、閾値未満であるか否かを判定するステップと、
   前記画像全体の障害度が閾値未満であると判定されたとき、前記画像全体の障害度が閾値未満であると判定された画像を前記投影対象領域に投影させる画像として決定し、前記画像全体の障害度が閾値未満でないと判定されたとき、前記画像全体を所定方向に所定領域だけシフトさせて前記投影対象領域に投影させる画像を決定するか、または、前記画像全体の障害度が閾値未満でないと判定された画像に代えて当該画像に関連する代替画像を前記投影対象領域に投影させる画像として決定するステップと、
   をコンピュータに実行させることを特徴とするプログラム。

Images