JP5261287B2 - 照明システム、空間演出システム、投影画像生成方法 - Google Patents

Description

本発明は、各種物体を照明する照明システム、空間演出システム、投影画像生成方法に関する。

従来より、下記の特許文献１に記載されているようなプロジェクタを照明装置として用いる技術が知られている。この特許文献１には、照明制御装置により、被照射物体を照射光でコーティングさせるように照射光信号を補正するコーティング補正手段と、補正処理された照射光信号を用いて投影をする照射光投影部とを備える照明装置が記載されている。この照明装置において、照射光は、被照射物体をコーティングするコーティング光と、被照射物体の背景となる背景光とを含む。照明制御装置は、被照射物体の形状に合わせてコーティング光の輪郭をカットするように照射光信号を補正し、被照射物体の原点位置と照射光投影部との位置関係に応じて、コーティング光の輪郭を補正する。

特開２００９−０４９００７号公報

上述した特許文献１に記載された照明装置は、プロジェクタが照射範囲内の任意の場所に任意の色を投影することができるため、特定の領域を照明する用途で使用されている。 一方、プロジェクタを表示装置として使う場合には、スクリーンの範囲内にコンテンツを表示すれば良く、表示するコンテンツとスクリーン上の位置との対応付けをする必要がなかった。

特許文献１のようにプロジェクタを照明装置として使う場合には、被照射物体の位置にあわせてコンテンツを投影することが必要となり、プロジェクタの投影画像上で、被照射対象の位置を知ることが必要となる。しかし、投影画像上で被照射対象の位置を計測することは難しい。このため、一般には、被照射対象を撮像するカメラを設置し、カメラにより撮像された撮像画像を、プロジェクタの投影画像に変換し、この変換された投影画像上において投影パターンを編集する作業が行われている。

カメラから得られる撮像画像から投影画像への変換処理は、被照射物体がスクリーンのような平面の場合には、画像間の変換として正しく求めることができる。しかし、被照射物体が立体物の場合には、当該被照射物体の３次元形状、カメラとプロジェクタと被照射物体との間の３次元配置を計測し、３次元空間中での光線のシミュレーションを行って初めて、正しい投影画像を求められる。

実際には、このような３次元計測を正しく行うのは多くの処理時間がかかり、頻繁に設定が変更される照明設置の作業としては行うことができない。このために、実際には、カメラ画像上でコンテテンツの作成を行い、その後、実際に画像を投影し、投影された画像のずれを作業者が修正する作業を繰り返している。したがって、立体物に投影画像を歪み無く投影するためには、非常に時間のかかる作業となっていた。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、物体に対して光を投影するときに、設定した投影領域に正しく光を投影することができ、当該投影領域を設定する作業を簡単にすることができる照明システム、空間演出システム及び投影画像生成方法を提供することを目的とする。

本発明に係る照明システムは、所定の投影エリアに対して投影画像を投影する投影装置と、前記投影エリアに投影されている投影画像を撮像して撮像画像を取得する撮像装置とを備えるものである。本発明に係る照明システムは、投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像させて当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像させて第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、撮像画像と前記投影画像との画素間の対応関係を定めた変換情報を記憶する変換情報記憶手段と、前記撮像画像を前記変換情報に基づいて投影画像に変換し、当該変換した投影画像内において投影領域を示す領域設定情報を設定し、前記投影装置から投影領域に投影させる前記投影画像を生成する投影領域設定手段とを備える。

本発明に係る照明システムにおいて、前記投影領域設定手段は、前記投影エリアに被投影物体が存在しない状況で前記投影装置の投光方向に直交する第３方向に周期的に明度が変化する縞パターンを投影及び撮像させて位相シフト法により第１位相画像を作成する動作と、前記投影エリアに被投影物体が存在する状況で前記投影装置の投光方向に直交する第３方向に周期的に明度が変化する縞パターンを投影及び撮像させて位相シフト法により第２位相画像を作成する動作とを行い、前記第１位相画像と前記第２位相画像との位相差が所定値以上となる画像上の領域を、前記領域設定情報とすることを特徴とする。

本発明に係る照明システムにおいて、前記投影領域設定手段は、前記撮像画像を前記変換情報に基づいて変換した投影画像の輝度の濃淡に基づいて領域設定情報を設定することを特徴とする。

本発明に係る照明システムにおいて、前記投影領域設定手段は、予め定めた濃淡範囲を有しており、前記撮像画像を前記変換情報に基づいて変換した投影画像と前記濃淡範囲とに基づいて、前記領域設定情報を設定することを特徴とする。

本発明に係る照明システムにおいて、前記投影領域設定手段は、外部からの入力に基づいて、設定した投影領域を修正することを特徴とする。

本発明に係る空間演出システムは、背景部及び当該背景部に対する前面側に設けられた対象物とを含む筐体と、前記背景部及び対象物を含む投影エリアに対して投影画像を投光する投影装置と、前記投影エリアに投光されている画像を撮像して撮像画像を取得する撮像装置とを備えるものである。本発明に係る空間演出システムは、前記投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像させて当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像させて第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、前記撮像画像と前記投影画像との画素間の対応関係を定めた変換情報を記憶する変換情報記憶手段と、前記撮像画像を前記変換情報に基づいて投影画像に変換し、当該変換した投影画像内における投影領域を設定した領域設定情報に基づいて、前記投影装置から投影領域に投影させる前記投影画像を生成する投影領域設定手段とを備える。

本発明は、所定の投影エリアに対して投影される投影画像を生成する投影画像生成方法であって、投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像して当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像して第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、前記撮像画像と前記投影画像との画素間の対応関係を定めた変換情報を求め、前記撮像画像又は当該撮像画像の加工画像を、前記変換情報に基づいて投影画像に変換し、当該変換した投影画像内において投影領域を示す領域設定情報を設定し、前記投影装置から投影領域に投影させる前記投影画像を生成する。

本発明に係る照明システム、空間演出システム及び投影画像生成方法によれば、位相シフト法を用いて撮像画像と投影画像との対応関係を定めた変換情報を記憶しておき、当該変換情報を用いて撮像画像を投影画像に変換できるので、当該変換した投影画像上で投影領域を設定することができる。したがって、この照明システム、空間演出システム及び投影画像生成方法によれば、撮像装置及び投影装置を設置した場合に、設定した投影領域に正しく光を投影でき、当該投影領域を設定する作業を簡単にすることができる。

また、この照明システムによれば、投影エリアに被投影物体が存在しない状況で位相シフト法により第１位相画像を作成する動作と、投影エリアに被投影物体が存在する状況で位相シフト法により第２位相画像を作成する動作とを行って、当該第１位相画像と第２位相画像との位相差が所定値以上となる画像を用いて投影領域を設定できるので、投影領域を自動的に抽出することにより、設定工数を削減して、投影領域を設定する作業の時間を短縮することができる。

本発明に係る照明システムによれば、撮像画像を変換情報に基づいて変換した投影画像の輝度の濃淡に基づいて投影領域を設定できるので、投影位置の修正が不要となり設定工数を削減して、投影領域を設定する作業の時間を短縮することができる。

本発明に係る照明システムによれば、予め定めた濃淡範囲に対する撮像画像を変換情報に基づいて変換した投影画像の濃淡情報に基づいて投影領域を設定できるので、投影領域を自動的に抽出することにより、設定工数を削減して、投影領域を設定する作業の時間を短縮することができる。

本発明に係る照明システムによれば、外部からの入力に基づいて投影領域を修正することができるので、所望の演出効果を得るための投影領域を作成する作業効率を向上させることができる。

本発明の第１実施形態として示す照明システムの構成を示すブロック図である。 本発明の第１実施形態として示す照明システムにおいて、（ａ）は撮像画像を示し、（ｂ）は投影画像を示す。 本発明の第１実施形態として示す照明システムにおける照明制御装置の構成を示すブロック図である。 本発明の第１実施形態として示す照明システムにおいて、撮像画像と投影画像との対応関係を示す図である。 本発明の第１実施形態として示す照明システムにおける変換テーブルＴｃｂを示す図である。 本発明の第１実施形態として示す照明システムにおいて、投影画像のうちで投影領域を設定した状態を示す図である。 本発明の第１実施形態として示す照明システムにおいて、投影画像のうちで投影領域を設定した状態を示す図である。 本発明の第１実施形態として示す照明システムにおいて、投影領域に投影画像を投影する動作を示すフローチャートである。 本発明の第１実施形態として示す照明システムにおいて、投影領域を設定する動作を示すフローチャートである。 本発明の第１実施形態として示す照明システムにおいて、変換テーブルＴｃｂを作成する動作を示すフローチャートである。 本発明の第１実施形態として示す照明システムにおいて、第１方向において撮像画像と投影画像との対応をとる動作を示すフローチャートである。 本発明の第１実施形態として示す照明システムにおいて、第２方向において撮像画像と投影画像との対応をとる動作を示すフローチャートである。 本発明の第１実施形態として示す照明システムにおいて、変換テーブルＴｃｂを作成する詳細な動作を示すフローチャートである。 本発明の第１実施形態として示す照明システムにおいて、第１方向において撮像画像と投影画像との対応をとる構成を示すブロック図である。 本発明の第１実施形態として示す照明システムにおいて、第２方向において撮像画像と投影画像との対応をとる構成を示すブロック図である。 本発明の第１実施形態として示す照明システムにおいて、位相シフト法の原理を説明するブロック図である。 本発明の第１実施形態として示す照明システムにおいて、位相シフト法により投影する縞パターンを示す図である。 本発明の第１実施形態として示す照明システムにおいて、空間コード化法により投影する投影画像を示す図である。 本発明の第１実施形態として示す照明システムにおいて、位相をアンラッピングして絶対位相を求める処理を説明する図である。 本発明の第２実施形態として示す照明システムにおいて、背景位相画像と前景位相画像とから位相差分画像を求める動作を説明する図である。 本発明の第２実施形態として示す照明システムにおいて、位相差分画像を用いて投影領域を設定する動作を示すフローチャートである。 本発明の第３実施形態として示す照明システムにおいて、投影領域を自動抽出するために物体にマークを貼付した状態を示す図である。 本発明の第３実施形態として示す照明システムにおいて、マークに沿って投影領域を設定した状態を示す図である。 本発明の第３実施形態として示す照明システムにおいて、撮像画像を変換した投影画像の輝度に基づいて投影領域を設定する動作を示すフローチャートである。 本発明の第４実施形態として示す照明システムにおいて、投影領域を修正できる構成を説明するブロック図である。 本発明の第４実施形態として示す照明システムにより投影領域を修正する動作を示すフローチャートである。 本発明の第５実施形態として示す空間演出システムの構成を示す正面図である。

以下、本発明の実施の形態について図面を参照して説明する。

［第１実施形態］
［照明システムの概略構成］
本発明の第１実施形態として示す照明システムは、図１に示すように、投影装置としてのプロジェクタ１，撮像装置としてのカメラ２，及び照明制御装置３を含む。この照明システムは、プロジェクタ１の投影画像の投影エリア及びカメラ２の撮像エリアとが重複しており、当該重複したエリアに、被照射対象としての物体１１及び背景１２が含まれている。

物体１１としては、あらゆる立体物を含む。例えばマネキン、バック、各種の電化製品などの照明光が投影されるものが挙げられる。また、背景１２は、物体１１の背面に設けられる平面等である。

また、物体１１及び背景１２は、背景部としての背景１２及び当該背景部に対する前面側に設けられた対象物としての物体１１とを含む筐体に搭載されても良い。この筐体は、例えば電化製品紹介用のスタンドなどが挙げられる。これにより、照明システムは、例えば被照射対象としての電化製品に対して照明用の光を投影し、背景部に当該電化製品の宣伝文句、各種の画像などを投影する空間演出システムを実現できる。また、照明システムは、照明による空間演出をするために、予め作成された投影パターンを所定の投影手順に従って投影することにより、高い演出効果の照明を行うこともできる。特に、照明される物体１１の形状に合わせた投影領域を作成することに特徴を有する。

なお、この説明において、物体１１の全部又は一部を明るく照らす照明光を投影する部分を「投影領域」と呼び、それ以外の領域は、投影領域以外の「非投影領域」となる。この非投影領域には、何も投影しないのではなく、背景色の光又は各種文字や映像を投影させても良い。以下の説明においては、投影画像のうちの投影領域には照明光を投影し、非投影領域には背景色の光を投影するものとする。

この照明システムは、立体物である物体１１に対して当該物体１１の特定領域を覆うような照明光を投影するものである。このために、照明システムは、投影パターンを投影するプロジェクタ１、プロジェクタ１により投影されるシーンを撮像するカメラ２、プロジェクタ１とカメラ２を制御する照明制御装置３を含む。カメラ２により撮像されるシーンは、物体１１及び背景１２により構成される。

ここで、物体１１の形状に合わせて投影領域を作成する理想的な方法は、プロジェクタ１の視点から見た投影画像上で作成することが望ましい。しかし、プロジェクタ１の投影素子が、カメラ２の撮像素子を兼ねることができない。このため、プロジェクタ１の傍に設置するカメラ２により撮像された撮像画像上で投影領域を作成せざるを得ない。

プロジェクタ１とカメラ２とを別個の位置に配設した場合、プロジェクタ１の視点とカメラ２の視点とは異なるため、図２（ａ）の撮像画像上の物体１１の位置及び形状と、図２（ｂ）の投影画像上の物体１１の位置及び形状とは、異なるものとなる。すなわち、撮像画像を投影画像に重ねた場合、図２（ｂ）の点線に示すような位置が撮像画像内の物体１１’となる。

したがって、以下に説明する照明システムは、カメラ２の視点で得られる撮像画像を、プロジェクタ１の視点の投影画像へ変換し、当該視点変換した投影画像上で、プロジェクタ１から投影する投影パターンの投影領域を設定する。これにより、照明システムは、実際にプロジェクタ１から投影領域のみに照明光を投影する投影画像を作成することを可能とするものである。

この照明システムにおける照明制御装置３は、例えば図３に示すように構成される。

照明制御装置３は、画像入力部２１、入力画像メモリ２２、演算部２３、メモリ２４、記憶装置２５、Ｉ／Ｏ制御部２６、出力画像メモリ２７、画像出力部２８を有する。また、照明制御装置３には、投影画像を作成するユーザの操作インターフェースとしての表示装置４、キーボード５、マウス６が接続されている。

この照明制御装置３は、画像入力部２１により、カメラ２により撮像された撮像画像を入力してディジタル化して入力画像メモリ２２に格納する。ここで、照明制御装置３は、図示しない信号線を介してカメラ２にコマンドを供給して、カメラ２の撮像動作を制御して、撮像画像を取得できる。

また、照明制御装置３は、演算部２３により作成した投影画像を出力画像メモリ２７に保存し、画像出力部２８からプロジェクタ１に出力させる。これにより、照明制御装置３は、プロジェクタ１から投影エリアに投影画像を投影する。

更に、演算部２３は、投影画像を作成するための作業領域としてのメモリ２４を用いて、投影画像を作成する。また、演算部２３は、記憶装置２５に記憶された投影パターン、投影シーケンス、変換テーブルＴｃｂを用いて、投影画像を作成する。このとき、照明制御装置３は、変換テーブルＴｃｂを用いて撮像画像を投影画像に変換し、当該投影画像上の投影領域にどの投影パターンを選択させるかを指定させ、更には、投影シーケンスを選択させる。ここで、投影パターンは、物体１１及び背景１２に対する照明演出のために画像サンプルのことである。投影パターンとしては、ＲＧＢデータで表された照明光、静止画像、動画像等のあらゆるコンテンツを含む。また、投影シーケンスは、投影パターンの投影順序を示すデータのことである。この投影パターンの形状を加工した投影領域の設定、投影シーケンスの選択は、キーボード５及びマウス６が操作されたことに応じたＩ／Ｏ制御部２６から操作入力信号により、演算部２３が設定可能である。

更に照明制御装置３は、照明システムにおけるプロジェクタ１、カメラ２、物体１１及び背景１２が設定された状態で、変換テーブルＴｃｂを作成する。変換テーブルＴｃｂの作成には、位相シフト法、空間コード化法を用いる。

この位相シフト法は、輝度値が正弦波状に変化する縞パターンの位相をずらしながら複数枚に亘り投影及び撮像を行う。次に、この位相シフト法は、撮像された複数の投影像から、撮像素子の各画素において輝度値の初期位相を推定する。この初期位相は、投影素子上に設定したものであるため、撮像素子の各画素において求められた初期位相の推定値が、直接的に投影素子上の位置を表すものとなり、撮像画像と投影画像との対応付けができる。

対応付けする位置の精度を高くするため、投影素子上に複数の位相を割り付けると、推定時に位相のつなぎ目において位相接続が必要となる。この位相接続の方式には多くのものが知られているが、本実施形態の照明システムは、処理が簡単で信頼性が高い空間コード化法を使用する。

具体的には、照明制御装置３は、プロジェクタ１の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影して第１方向について位相シフト法を用いた対応付を行う。また、照明制御装置３は、投光方向に直交する面内で第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影して第２方向について位相シフト法を用いた対応付を行う。これにより、照明制御装置３は、撮像画像と投影画像との画素間の対応関係を定める変換テーブルＴｃｂ（変換情報）を求める。この変換テーブルＴｃｂは、記憶装置２５に記憶される（変換情報記憶手段）。

更に照明制御装置３は、ユーザにより物体１１及び背景１２に投影する投影画像を生成させる。このとき、照明制御装置３は、撮像画像を、変換テーブルＴｃｂに基づいて投影画像に変換する。次に、照明制御装置３は、ユーザのキーボード５やマウス６に対する操作に基づいて当該変換した投影画像内において投影領域を示す領域設定情報を設定する。次に、照明制御装置３は、領域設定情報に基づいて、プロジェクタ１から投影させる投影パターンを設定する（投影領域設定手段）。

具体的には、照明制御装置３は、図４に示すように、図４（ａ）の撮像画像１００に対して座標変換をして、図４（ｂ）のような投影画像１０１に変換することができる。ここで、照明制御装置３により取得された撮像画像１００の各画素は、投影画像１０１に含まれる画素のサンプリングの格子点からずれた位置に変換される。このために、投影画像１０１の各画素における輝度値を得るためには、投影画像１０１の各画素のサンプリング点周辺に変換された撮像画像１００の輝度値を補間して求めることが必要となる。

投影画像１０１を撮像画像１００で補間する方法として、照明制御装置３は、記憶装置２５に記憶しておいた変換テーブルＴｃｂを用いる。この変換テーブルＴｃｂは、図５に示すように、投影画像１０１の各画素周辺に変換された撮像画像１００の画素座標を登録して構成される。具体的には、撮像画像の座標（１，１）は投影画像の座標（１，１）と（１，２）に対応している。

演算部２３は、投影画像１０１を作成する時には、投影画像１０１の各画素を作成するために用いられる撮像画像１００の画素の輝度値を平均して、当該投影画像１０１を構成する画素の輝度値として求める。なお、撮像画像１００がカラー画像の場合には、ＲＧＢの各要素について平均を求めて、投影画像１０１を作成する処理を行う。

この変換テーブルＴｃｂを用いる手法は、処理が簡単なために、照明システムにて採用している。しかし、投影画像１０１上に変換された座標で対応する撮像画像１００の画素の輝度値を滑らかに結ぶ面を張り、その後、サンプリングして格子点の画素位置の輝度値を求める方法を採用しても良い。

このような照明システムは、撮像画像を変換した投影画像を表示装置４に表示させることにより、プロジェクタ１から見た物体１１及び背景１２をユーザに提示することができる。この状態で、照明システムは、ユーザにキーボード５及びマウス６を操作させることにより、照明光の投影パターンを選択させ、当該照明光の投影領域、投影シーケンスを選択させることができる。ユーザが選択した投影領域、投影シーケンス等は、操作入力信号としてＩ／Ｏ制御部２６を介して演算部２３に供給される。これにより、演算部２３は、操作入力信号に基づいて、投影画像内において照明光が投影される投影領域を設定した領域設定情報を認識し、領域設定情報に基づいて、プロジェクタ１から投影させる投影画像を生成する。

具体的には、図６に示すように、物体１１のうちの頭部１１ａにのみを明度の高い照明光を投影し、物体１１うちの頭部１１ａ以外の部分１１ｂに明度の低い光を投影できる。また、図７に示すように、頭部１１ａにのみ照明光を投影し、その他の部分１１ｂ及び背景１２を明度の低い光を投影できる。

［照明システムの動作］
つぎに、上述したように構成された照明システムによる各種の動作について、図８乃至図１３のフローチャート等を参照して説明する。

「投影パターンの投影動作」
まず、照明システムによる投影パターンの投影動作について、図８を参照して説明する。

ステップＳ１において、照明制御装置３は、ユーザのキーボード５、マウス６の操作に応じた操作入力信号に従って、記憶装置２５に記憶された投影領域が設定された投影パターンを含む投影画像及び投影シーケンスをメモリ２４に読み込む。

次のステップＳ２において、照明制御装置３は、ステップＳ１にて読み込んだ投影画像を出力画像メモリ２７に出力して保存させ、当該投影画像を画像出力部２８からプロジェクタ１に転送させる。これにより、照明制御装置３は、プロジェクタ１から、投影領域のみに照明光を投影する投影画像を投影することができる。

次のステップＳ３において、照明制御装置３は、投影パターンの投影手順を規定した投影シーケンスを終了したか否かを判定する。そして、投影シーケンスを終了していない場合にはステップＳ２に処理を戻し、投影シーケンスを終了した場合には処理を終了する。

「投影パターンの設定動作」
つぎに、投影パターンの設定動作について、図９を参照して説明する。

ステップＳ１１において、照明制御装置３は、物体１１及び背景１２を含む投影エリアをカメラ２により撮像させ、カメラ２により撮像された撮像画像を照明制御装置３により取得する。そして、照明制御装置３は、取得した撮像画像を、入力画像メモリ２２に保存する。

次のステップＳ１２において、照明制御装置３は、演算部２３により、予めメモリ２４に保存しておいた変換テーブルＴｃｂを用いて、ステップＳ１１にて入力画像メモリ２２に保存させた撮像画像を変換する。これにより、演算部２３は、撮像画像を構成する各画素の座標を、プロジェクタ１を視点とした座標に変換して、投影画像を作成する。なお、変換テーブルＴｃｂは、照明制御装置３の起動時に、記憶装置２５からメモリ２４に読み込んでおく。同時に、演算部２３は、変換テーブルＴｃｂに従って、撮像画像の各画像を演算して、投影画像を構成する各画素の画素値（輝度及び色差又はＲＧＢ）を演算する。

次のステップＳ１３において、照明制御装置３は、ステップＳ１２にて作成した投影画像を表示装置４に表示させ、ユーザによりキーボード５及びマウス６を操作させて、照明光の投影領域を示す領域設定情報を作成し、投影画像を作成する。このとき、照明制御装置３は、キーボード５及びマウス６からの操作入力信号に基づいて投影パターンの領域（投影領域）を示す領域設定情報を設定することができる。これにより、照明システムは、図６及び図７に示したような、物体１１のうちで部分的に照明光を投影する当該画像を作成できる。

「変換テーブルＴｃｂの作成動作」
つぎに、変換テーブルＴｃｂの作成動作について説明する。

変換テーブルＴｃｂは、撮像画像の画素と投影画像の画素を対応付けたテーブルデータ、すなわち、撮像素子上の位置データと、投影素子上の位置データとの対応関係を示す。このように撮像画像と投影画像との対応付けるために、本実施形態における照明システムは、一般的に３次元形状の計測において用いられる時間縞パターン投影位相シフト法と称される手法を応用する。

図１４に示すように、カメラ座標系２０２は、水平方向をｘ軸、垂直方向をｙ軸とし、撮像画像のサイズはｘ方向にｍ画素、ｙ方向にｎ画素とする。また、プロジェクタ座標系２０１は、水平方向をｕ軸、垂直方向をｖ軸とし、投影画像のサイズはｕ方向にｋ画素、ｖ方向にｌ画素とする。

照明システムは、図１０に示すステップＳ２１において、図１４のような第１方向の縞パターン（第１方向の投影像３０１）をプロジェクタ１から投影し、カメラ２により投影エリアを撮像する。そして、演算部２３は、撮像画像の各画素の輝度値を用いて、第１方向に沿うカメラ座標とプロジェクタ座標の対応付けを求める。ここで、第１方向に沿う座標とは、図１４に示したようにカメラ座標系２０２におけるｘ軸、プロジェクタ座標系２０１におけるｕ軸となる。

次のステップＳ２２において、プロジェクタ１は、図１５のような第１方向と直交する第２方向の縞パターン（第２方向の投影像３０２）を投影し、カメラ２により投影エリアを撮像する。そして、演算部２３は、撮像画像の各画素の輝度値を用いて、第２方向に沿うカメラ座標とプロジェクタ座標の対応付けを求める。ここで、第２方向に沿う座標とは、図１４に示したように、カメラ座標系２０２におけるｙ軸、プロジェクタ座標系２０１におけるｖ軸となる。

このようなステップＳ２１及びステップＳ２２により、カメラ座標における撮像画像の各画素に対するプロジェクタ座標における対応画素が求まる。

次のステップＳ２３において、ステップＳ２１及びステップＳ２２にて求めた撮像画像と投影画像との対応関係を用いて、プロジェクタ座標に対する、投影画像の各画素の輝度値を計算するときに必要となる撮像画像の画素を対応付ける変換テーブルＴｃｂを作成する。これにより、図５に示したような変換テーブルＴｃｂを作成できる。

上述したように撮像画像と投影画像との対応付けには、時間縞パターン投影位相シフト法の原理を利用する。以下、時間縞パターン投影位相シフト法の原理を説明する。

図１６に、照明システムにおけるプロジェクタ１の投影素子１ａ、カメラ２の撮像素子２ａ、物体１１の投影面ＡＢの配置を示す。図１６は、プロジェクタ１の主点、カメラ２の主点と、投影素子１ａ上のある点Ｐの投影面上の像である点Ｒとで構成される平面で切り取った断面での模式図である。この断面は、物体１１の投影面では直線ＡＢとなる。投影素子１ａ上の点Ｐから出射された投影光は、物体１１上の投影面上の点Ｒで像を作る。この投影面上の点Ｒから反射された投影光は、撮像素子２ａ上で点Ｑに結像する。

時間縞パターン投影位相シフト法は、プロジェクタ１の投影素子１ａ上の位置Ｐと、正弦波状の縞パターンの初期位相とを関係付けて、図１７のように位相を０〜３π／２までπ／２ずつずらしながら順次縞パターンを投影する。時間縞パターン投影位相シフト法は、任意形状の物体１１の投影面ＡＢに投影され、投影面ＡＢの３次元形状により変形させられた投影像を撮像して得られる撮像画像の各画素における輝度値を検出して、縞パターンの正弦波の初期位相値を画素ごとに推定する。次に、時間縞パターン投影位相シフト法は、撮像素子２ａ上の画素（位置Ｑ）ごとに推定された初期位相値と、投影素子１ａ上における位置Ｐの縞パターンの初期位相とから、同じ初期位相の投影素子１ａ上の位置Ｐ、撮像素子２ａ上の位置Ｑを求める。これにより、時間縞パターン投影位相シフト法は、撮像素子２ａのある画素Ｑで受光した光が、投影素子１ａ上のどの画素Ｐから出た光であるかを特定する。

初期位相は、物体１１の投影面の３次元形状に応じて変形させられる。このため、初期位相値は、投影面の３次元形状を表す値となる。初期位相値を計算するときに、位相をずらしながら順次に縞パターン投影するために、「時間」という形容詞を付して、時間縞パターン投影位相シフト法と称される。本実施形態では、当該時間縞パターン投影位相シフト法のうち、撮像画像と投影画像との対応付けを行う手法を利用する。

以上のように、照明システムにおいては、撮像素子２ａ上の位置Ｑにおける縞パターンの初期位相が推定できると、当該推定した初期位相を投影した投影素子１ａ上の位置Ｐがわかる。時間縞パターン位相シフト法では、最低でも３つの位相をずらした縞パターンを投影することで、位相を推定できることが知られている。本実施形態では、図１７に示したように０から位相をπ/２ずつずらす縞パターンを４つ使う場合を例にして説明している。しかし、３つの縞パターンを用いて、撮像素子２ａ上における各位置の初期位相を推定して、投影素子１ａ上の位置Ｐに対応する撮像素子２ａ上の位置Ｑを求めても良い。

このような時間縞パターン投影位相シフト法を用いて、上述の図１０におけるステップＳ２１の第１方向（Ｘ方向）における撮像画像と投影画像との対応付を行う処理を、図１１を参照して説明する。

先ずステップＳ３１において、照明制御装置３は、図１８に示したバイナリパターン１、バイナリパターン２、バイナリパターン３、バイナリパターン４の縞パターンを用いて、空間コード化法で大局位相を算出する。この大局位相は、画面全体の位相を粗く表すものである。

次のステップＳ３２において、照明制御装置３は、時間縞パターン投影位相シフト法を用いて、第１方向における縞パターンを順次に投影及び撮像させ、撮像画像上における画素（局所）ごとに位相Φ_１（ｘ）を求める。

このとき、図１７に示したように、シフトなし、π/２シフト、πシフト、３π/２シフトの縞パターンを撮像した撮像画像上における輝度値Ｉ_０（ｘ）、Ｉ_１（ｘ）、Ｉ_２（ｘ）、Ｉ_３（ｘ）は、下記の式１乃至式４のように表される。

この式１乃至式４におけるＢ（ｘ）はバイアス成分、Ａ（ｘ）は振幅成分、Φ_１（ｘ）は初期位相を表す。これら４つの輝度値Ｉ_０（ｘ）、Ｉ_１（ｘ）、Ｉ_２（ｘ）、Ｉ_３（ｘ）から、初期位相Φ_１（ｘ）は、下記の式５により求めることができる。

次のステップＳ３３において、照明制御装置３は、ステップＳ３１にて求めた大局位相を参照して、ステップＳ３２にて求めた局所位相の位相を接続するアンラッピング処理を行い、絶対位相Φ_１（ｘ）を算出する。

時間縞パターン投影位相シフト法において、縞パターンが複数あると、撮像画像において推定された位相は、２πごとの繰り返しで位相飛びがある、いわゆるラッピングされたものとなる。このため、ラッピングされた位相を繋ぐアンラッピング処理が必要となる。このアンラッピング処理は、図１９（ａ）に示す第１方向における局所位相Φ_１（ｘ）と、図１９（ｂ）に示す第１方向における大局位相とを合成して、図１９（ｃ）に示すような第１方向における絶対位相Φ_１（ｘ）を求める処理である。これにより、照明制御装置３は、撮像画像全体にわたる粗い位相である大局位相を求め、次に、当該大局位相と、ラッピングされている局所位相とを比較して位相を繋ぎ、絶対位相を求めることができる。なお、空間コード化法による大局位相の算出方法は、「井口征士、佐藤宏介、三次元画像計測、昭晃堂、pp. 80-119」に示されている。

次のステップＳ３４において、照明制御装置３は、投影画像におけるｕ軸成分の位置を求める。ここで、図１４に示したように、投影画像のｕ軸成分は、撮像画像の第１方向（ｘ方向）に対応する。順次に投影及び撮像される縞パターンの縞の数をＭとすると、投影画像のｕ軸方向の画素数はｋ画素であることより、撮像画像上のｘの位置に対応する投影画像上のｕの位置は、下記の式６のように演算できる。
このように、照明制御装置３は、空間コード化法及び時間縞パターン投影位相シフト法の双方を用いて、第１方向における撮像画像の座標と投影画像の座標との対応付けを行うことができる。

また、ステップＳ２２における第２方向におけるカメラ座標とプロジェクタ座標の対応関係を求める処理も、上述した第１方向と同様である。ステップＳ２２の処理は、図１２に示すようになる。先ずステップＳ４１において、照明制御装置３は、図１５に示すように、第１方向とは直交する方向の縞パターンを用いて、空間コード化法で大局位相を算出する。

次のステップＳ４２において、照明制御装置３は、時間縞パターン投影位相シフト法を用いて、第２方向における縞パターンを順次に投影及び撮像させ、撮像画像上における画素（局所）ごとに位相Φ_２（ｙ）を求める。

このとき、図１７に示したように、シフトなし、π/２シフト、πシフト、３π/２シフトの縞パターンを撮像した撮像画像上における輝度値Ｉ_０（ｙ）、Ｉ_１（ｙ）、Ｉ_２（ｙ）、Ｉ_３（ｙ）は、下記の式７乃至式１０のように表される。
これら４つの輝度値Ｉ_０（ｙ）、Ｉ_１（ｙ）、Ｉ_２（ｙ）、Ｉ_３（ｙ）から、初期位相Φ_２（ｘ）は、下記の式１１により求めることができる。

次のステップＳ４３において、照明制御装置３は、ステップＳ４１にて求めた大局位相を参照して、ステップＳ４２にて求めた局所位相の位相を接続するアンラッピング処理を行い、第２方向における絶対位相Φ_２（ｘ）を算出する。

次のステップＳ４４において、照明制御装置３は、投影画像におけるｕｖ軸成分の位置を求める。ここで、図１４に示したように、投影画像のｖ軸成分は、撮像画像の第２方向（ｙ方向）に対応する。順次に投影及び撮像される縞パターンの縞の数をＭとすると、投影画像のｖ軸方向の画素数はｌ画素であることより、撮像画像上のｙの位置に対応する投影画像上のｖの位置は、下記の式１３のように演算できる。
このように、照明制御装置３は、空間コード化法及び時間縞パターン投影位相シフト法の双方を用いて、第２方向における撮像画像の座標と投影画像の座標との対応付けを行うことができる。

上述した図１１のステップＳ３１〜ステップＳ３４からなる図１０のステップＳ２１と、上述した図１２のステップＳ４１〜ステップＳ４４からなる図１０のステップＳ２２の後に、照明制御装置３は、図１３の処理を行うことにより、ステップＳ２３にて変換テーブルＴｃｂの作成を行う。

照明制御装置３は、図１３に示すステップＳ５１において、ステップＳ２１中のステップＳ３４及びステップＳ２２中のステップＳ４４により算出された投影画像上の座標（ｕ，ｖ）を読み込む。この投影画像上の座標（ｕ，ｖ）は、下記の式１３のように、
のように表現される。

次のステップＳ５２において、照明制御装置３は、投影画像上の座標（ｕ，ｖ）の小数点以下を四捨五入し、対応する整数部を持つ変換テーブルＴｃｂの座標（ｕ，ｖ）の欄に、対応する撮像画像上の座標（ｘ，ｙ）を格納する。ここで、式１３に示した撮像画像上の座標（ｘ，ｙ）から変換した投影画像上の座標（ｕ，ｖ）は、図４に示したような離散的なサンプリング格子点である投影画像上の座標からはずれた位置となる。このために、照明制御装置３は、投影画像の各画素のサンプリング点周辺に変換された撮像画像の輝度値を補間して、投影画像の各画素における輝度値を求める必要がある。

したがって、図５に示す変換テーブルＴｃｂのうち、投影画像上の座標（ｕ，ｖ）に対応した撮像画像上の座標（ｘ，ｙ）の欄には、複数の撮像画像上の座標を格納する。そして、実際に、撮像画像上の座標を投影画像上の座標に変換する場合には、一又は複数の撮像画像上の画素を平均して、投影画像上の輝度値を求めることができる。

次のステップＳ５３において、照明制御装置３は、撮像画像の全面に亘りステップＳ５１及びステップＳ５２の処理を行ったか否かを判定する。撮像画像の全面に亘りステップＳ５１及びステップＳ５２の処理を行った場合には処理を終了し、そうでない場合にはステップＳ５１及びステップＳ５２の処理を行う。

以上詳細に説明したように、本発明の第１実施形態として示す照明システムによれば、撮像画像と投影画像との対応関係を求めるために、第１方向に周期的に明度が変化する縞パターンを投影及び撮像して当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付を行い、第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像して第２方向について位相シフト法を用いて撮像画像と投影画像との対応付を行う。これにより、照明システムは、撮像画像と投影画像との画素間の対応関係を定める変換テーブルＴｃｂを求めることができる。したがって、この照明システムによれば、撮像画像を、変換テーブルＴｃｂに基づいて投影画像に変換して、当該投影画像を提示できる。そして、照明システムは、投影画像内における投影領域を設定した領域設定情報に基づいて、照明光を投影領域に投影させる投影画像を生成させることができる。

このように、照明システムによれば、撮像画像を変換した投影画像を提示し、当該変換した投影画像上の領域内の物体１１の局所的な部位を指定させれば、当該指定した領域に対応した物体１１に対して局所的な照明を行う投影パターンを設定することができる。したがって、照明システムによれば、プロジェクタ１及びカメラ２を物体１１及び背景１２に対して設置した場合に、設定した投影領域に正しく光を投影でき、当該投影領域を設定する作業を簡単にすることができる。

［第２実施形態］
つぎに、第２実施形態に係る照明システムについて説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。

第２実施形態として示す照明システムは、照明制御装置３により投影領域を設定するときに、プロジェクタ１の投光方向に直交する第３方向に周期的に明度が変化する縞パターンを投影及び撮像して位相シフト法により作成した位相画像を用いる点で、第１実施形態に係る照明システムとは異なる。

この位相画像は、上述の第１実施形態にて説明したように、複数の縞パターンを撮像した撮像画像上における複数の輝度値を求め（式１乃至式４）、これら複数の輝度値から式５により求めた初期位相Φ_１（ｘ）からなる画像である。

照明システムは、図２０（ａ）に示すように、プロジェクタ１の投影エリアに被投影物体が存在しない状況でプロジェクタ１の投光方向に直交する第３方向に周期的に明度が変化する縞パターンを投影及び撮像させて位相シフト法により第１位相画像（背景位相画像）を作成する。また、照明システムは、図２０（ｂ）に示すように、投影エリアに被投影物体が存在する状況でプロジェクタ１の投光方向に直交する第３方向に周期的に明度が変化する縞パターンを投影及び撮像させて位相シフト法により第２位相画像（前景位相画像）を作成する。

第１位相画像（背景位相画像）は、背景１２の状況に基づく位相値を輝度値として表現している。また、第２位相画像（前景位相画像）は、物体１１及び背景１２の状況に基づく位相値を輝度値として表現している。この位相画像の輝度値は、プロジェクタ１との距離が遠い程に低い値、つまり暗い値となっている。そして、照明システムは、背景位相画像と前景位相画像との差分をとることにより、図２０（ｃ）のような位相差分画像を取得することができる。この位相差分画像は、投影対象となる物体１１の部分だけを投影領域として抽出したものとなる。

このような動作を行う照明システムは、変換テーブルＴｃｂを用いて、当該位相差分画像を投影画像に変換する。そして、照明システムは、変換した投影画像上にて、位相差分画像を上書きするように、照明光の投影領域を設定することができる。

このような第２実施形態において、位相差分画像を作成する処理を、図２１のフローチャートを参照して説明する。

照明制御装置３は、先ずステップＳ６１において、背景位相画像と前景位相画像との差分から投影領域を抽出するための位相差分閾値αを設定する。

次のステップＳ６２において、照明制御装置３は、背景位相画像を取得するために、カメラ２の撮像するシーンを背景に設定する。次のステップＳ６３において、照明制御装置３は、カメラ２により撮像画像を取得し、当該撮像画像を用いて背景位相画像を作成する。

次のステップＳ６４において、照明制御装置３は、前景位相画像を取得するために、カメラ２の撮像するシーンを前景に設定する。次のステップＳ６５において、照明制御装置３は、カメラ２により撮像画像を取得し、当該撮像画像を用いて前景位相画像を作成する。

次のステップＳ６６において、照明制御装置３は、ステップＳ６３にて取得した背景位相画像と、ステップＳ６５にて取得した前景位相画像との差分を、当該背景位相画像と前景位相画像との対応する画素同士で演算する。これにより、照明制御装置３は、位相画像の画素ごとに差分値Ｄを計算できる。

次のステップＳ６７において、照明制御装置３は、ステップＳ６６にて計算した差分値Ｄが、ステップＳ６１にて設定した位相差分閾値αよりも大きいか否かを判定する。差分値Ｄが位相差分閾値αよりも大きい場合にはステップＳ６８に処理を進め、そうでない場合にはステップＳ６９に処理を進める。

ステップＳ６８において、照明制御装置３は、ステップＳ６７にて差分値Ｄが位相差分閾値αよりも大きいと判断された画素を、投影領域として抽出する。

ステップＳ６９において、照明制御装置３は、ステップＳ６６〜ステップＳ６８の処理を背景位相画像と前景位相画像の全面に亘り行ったか否かを判定し、そうである場合には処理を終了し、そうではない場合にはステップＳ６６に処理を戻す。

以上のように、第２実施形態に係る照明システムによれば、第１実施形態と同様に、プロジェクタ１及びカメラ２を設置した場合に、設定した投影領域に正しく光を投影でき、当該投影領域を設定する作業を簡単にすることができる。

また、この照明システムによれば、例えば照明光としての投影パターンを投影したい物体１１を置かないで背景位相画像を作成し、物体１１を置いて前景位相画像を作成する。そして、照明システムは、背景位相画像と前景位相画像との差分をとることにより、物体１１を抽出した位相差分画像を取得できる。そして、位相差分閾値αを超えた領域を、投影画像上の領域に設定できる。したがって、この照明システムによれば、前景と背景の位相画像を計測して、投影領域を自動的に抽出することにより、設定工数を削減して、投影領域を設定する作業の時間を短縮することができる。

すなわち、上述した照明システムは、第１実施形態のように撮像画像を投影画像に変換して投影画像内で照明領域を設定することに代えて、背景位相画像と前景位相画像との差分を採るだけで投影画像内での自動的に照明領域を抽出できる。

また、この照明システムによれば、実際に物体１１及び背景１２を含む投影エリアに対して縞パターンを投影及び撮像して変換テーブルＴｃｂを作成する時に用いた位相画像を用いて、投影領域を自動的に抽出できる。したがって、この照明システムによれば、処理工数を更に削減できる。

［第３実施形態］
つぎに、第３実施形態に係る照明システムについて説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。

第３実施形態として示す照明システムは、撮像画像の輝度の濃淡に基づいて投影領域を設定するものである。すなわち、第１実施形態においては、撮像画像を投影画像に変換し、当該変換した投影画像上でユーザが投影領域を設定していたが、第２実施形態における照明システムは、投影画像上の輝度の濃淡に基づいて、投影領域を自動的に抽出するものである。そして、照明システムは、変換した投影画像上にて、抽出した投影領域を投影画像に上書きするだけで、照明光の投影領域を設定することができる。これにより、照明光等を投影する投影領域の設定時間を短縮する。

具体的には、図２２に示すように、物体１１の表面の“Ａ”と描かれたマーク１１ｃの部分のみに、照明光を投影したいとする。この場合、照明制御装置３は、物体１１及び背景１２を撮像した撮像画像を投影画像に変換する。そして、照明制御装置３は、当該マーク１１ｃに相当する投影画像内の輝度が所定値以上である場合には、当該領域を投影領域として自動的に抽出する。また、照明制御装置３は、当該文字の“Ａ”のマーク１１ｃのみを抽出する輝度範囲の上限値Ｃｕと下限値Ｃｌを用いて、当該投影画像上における文字部分の領域を抽出することもできる。なお、輝度値に限らず、カラー画像である場合にはＲＧＢの色となる。このような照明システムは、文字の“Ａ”部分のみを照明光の投影領域に設定して、図２３に示すように、文字の“Ａ”のマーク１１ｃのみに対して、照明光を投影できる。

このような照明システムは、その動作を図２４に示すように、先ずステップＳ７１において、撮像画像を変換した投影画像のうちで抽出する色範囲である上限値Ｃｕ及び下限値Ｃｌを設定する。この設定作業は、例えば、予めテンプレートとして記憶しておいた範囲や、ユーザがキーボード５及びマウス６により入力した範囲であっても良い。また、色範囲は、通常のシーンでは現れがたい範囲であることが望ましい。

次のステップＳ７２において、照明制御装置３は、撮像画像から変換した投影画像上の画素の色が上限値Ｃｕ〜下限値Ｃｌの範囲内であるか否かを判定する。投影画像上の画素の色が上限値Ｃｕ〜下限値Ｃｌの範囲内である場合にはステップＳ７３に処理を進め、そうではない場合にはステップＳ７４に処理を進める。

ステップＳ７３において、照明制御装置３は、ステップＳ７２にて色範囲が上限値Ｃｕ〜下限値Ｃｌの範囲である投影画像上の画素を、投影領域として抽出する。これにより、照明制御装置３は、領域設定情報を作成できる。

ステップＳ７４において、照明制御装置３は、ステップＳ７２及びステップＳ７３の処理を投影画像の全面に亘り行ったか否かを判定することにより投影画像のスキャンが完了したか否かを判定する。完了した場合には処理を終了し、完了していない場合にはステップＳ７６に処理を戻す。

以上のように、第３実施形態として示した照明システムによれば、第１実施形態と同様に、プロジェクタ１及びカメラ２を設置した場合に、設定した投影領域に正しく光を投影でき、当該投影領域を設定する作業を簡単にすることができる。

また、この照明システムによれば、物体１１上にマーク１１ｃを取り付けておき、当該物体１１を撮像した撮像画像を投影画像に変換するのみで、当該投影画像からマーク１１ｃに相当する領域を投影領域として自動的に抽出することができる。したがって、この照明システムによれば、ユーザの手作業により投影画像から投影領域を設定する必要なく、投影パターンの設定を短時間で行うことができる。

［第４実施形態］
つぎに、第４実施形態に係る照明システムについて説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。

第４実施形態として示す照明システムは、外部からの入力に基づいて、投影領域を設定した投影画像を修正する修正機能を備えるものである。この照明システムは、図２５に示すように、上述したように撮像画像を投影画像に変換し、当該投影画像上で投影領域を設定して、プロジェクタ１から投影領域に照明光を投影している。

この状態において、カメラ２は、物体１１及び背景１２を撮像し、撮像画像を表示装置４に表示させる。また、この状態において、照明システムは、投影領域の変更を指示する操作入力信号をキーボード５及びマウス６から入力すると、当該操作入力信号に従って投影領域を変更する。

具体的には、物体１１及び背景１２に投影された投影パターン像を表示装置４に表示させて、当該状況をユーザに確認させる。この状態にて、キーボード５やマウス６の操作インターフェースを用いて、表示装置４に表示された投影パターンの形状（投影領域）を修正する。

このような照明システムは、図２６に示すような手順で投影領域を修正させる。

先ずステップＳ８１において、照明システムは、カメラ２により物体１１及び背景１２を含むシーンを撮像させて、撮像画像を取得する。

次のステップＳ８２において、照明システムは、予め記憶装置２５に記憶しておいた変換テーブルＴｃｂを用いて、ステップＳ８１にて取得した撮像画像から投影画像を生成する。

次のステップＳ８３において、照明システムは、ステップＳ８２にて生成した投影画像上で、投影パターンの形状（投影領域）を設定させる。このとき、照明システムは、上述した第１実施形態のようにキーボード５及びマウス６の操作入力信号に基づいて投影領域を設定しても良く、第２実施形態又は第３実施形態のように自動的に投影領域を抽出しても良い。

次のステップＳ８４において、照明システムは、ステップＳ８３にて設定した投影領域を出力画像メモリ２７に出力し、画像出力部２８を介してプロジェクタ１を駆動させて、プロジェクタ１から投影画像を投影させる。これにより、ユーザは、実際の投影画像の状態を確認できる。

次のステップＳ８５において、照明システムは、ステップＳ８４にて投影をしている状態をカメラ２により撮像し、当該撮像画像を投影画像に変換して表示装置４に表示させる。

以上のように、第４実施形態に係る照明システムによれば、第１実施形態と同様に、プロジェクタ１及びカメラ２を設置した場合に、設定した投影領域に正しく光を投影でき、当該投影領域を設定する作業を簡単にすることができる。

また、この照明システムによれば、ユーザは投影状態を確認しながらキーボード５及びマウス６を操作し、照明制御装置３は、投影領域を修正する操作入力信号に基づいて投影領域を修正できる。

被照射物体としての物体１１は３次元形状を持つ場合が多いため、表示装置４の表示画面上で投影パターン作成時に想定した照明効果と、実際に投影した時の照明効果とが異なる場合が発生する。このため、実際に物体１１及び背景１２に対して投影された状態を確認しながら照明光の投影領域を修正することにより、所望の照明演出効果を得るための投影領域を作成する作業効率を向上させることができる。

また、この照明システムによれば、物体１１全体を覆うように投影領域を設定しても、当該物体１１から背景１２に漏れて照明光が投影されてしまうノイズが発生しても、当該ノイズが発生しないように投影領域を修正することができる。

［第５実施形態］
つぎに、第５実施形態について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。

第５実施形態として示す空間演出システムは、上述した照明システムを、空間演出に応用したものである。この空間演出システムは、図２７に示すように、背景部７ａ，７ｂ，７ｃ及び当該背景部７ａ，７ｂ，７ｃに対する前面側に設けられた投影対象物である物体１１を含む筐体７を備える。なお、物体１１としては、各種の商品など、あらゆるものが想定できる。

筐体７は、物体１１が、上述した照明システムにより設定される投影領域となり、その他の部分が背景部７ａ，７ｂ，７ｃとなる。なお、７ｄは物体設置棚である。プロジェクタ１は、背景部７ａ，７ｂ，７ｃ及び物体１１を含む投影エリアに対して投影画像を投光する。また、カメラ２は、投影エリアに投光されている画像を撮像して撮像画像を取得する。

なお、プロジェクタ１及びカメラ２は、例えば筐体７における天井部分に設けられている。このプロジェクタ１及びカメラ２の設置位置と、背景部７ａ，７ｂ，７ｃとの位置関係によっては、背景部７ａは投影エリアから外れていても良い。この場合、背景部は７ｂ，７ｃのみとなる。

このような空間演出システムは、上述した照明システムにより、物体１１のみを投影領域に設定して、当該物体１１に対してのみ照明光を投影する。また、空間演出システムは、物体１１以外の背景部７ａ，７ｂ，７ｃに、ユーザが設定した画像を投影できる。図２７に示す例では、背景部７ａ，７ｃには単一色の光を投影し、背景部７ｂには、当該単一色に対して物体１１の情報画像１３ａ，１３ｂを投影している。この情報画像１３ａ，１３ｂとしては、物体１１が商品である場合の値段、商品説明などが挙げられる。この情報画像１３ａ，１３ｂの選択作業は、上述した照明システムにおける投影パターンを選択する作業に相当する。なお、背景部７ａ，７ｂ，７ｃには、単一色に限らず、模様などの画像であっても良く、情報画像１３ａ，１３ｂは商品の使用方法などを解説する動画像であっても良いことは勿論である。

更に、この空間演出システムは、上述した照明システムにおける投影シーケンスを設定することにより、物体１１に対して照明光を投影する順序、背景部７ａ，７ｂ，７ｃに対して投影する情報画像１３ａ，１３ｂの投影順序を時系列的に変更できる。これにより、空間演出システムは、物体１１に対してユーザが望む空間演出を実現できる。

更にまた、空間演出システムは、物体１１及び背景部７ａ，７ｂ，７ｃに対する投影状態を変更するボタン部１４を備えていても良い。このボタン部１４は、機械的なスイッチ機構で構成されていても良く、背景部７ｃ上に描かれたボタン模様に商品消費者が手を翳したことを赤外線センサなどで検知しても良い。空間演出システムは、ボタン部１４に対して商品消費者から操作された場合には、当該ボタン部１４に対応する物体１１に対して照明光を投影することができる。これにより、物体１１の演出効果を高めることができる。また、ボタン部１４に対応して情報内容を設定しておき、ボタン部１４に対する操作を検出したときに、情報画像１３ａ，１３ｂを投影しても良い。

以上のように、この空間演出システムによれば、上述した照明システムを備えることにより、筐体７に対して物体１１を配置した時に、当該物体１１の形状に合わせて投影領域を設定する作業を簡単にすることができる。

また、この空間演出システムは、筐体７によってあらゆる商品の空間演出を実現できる。この場合、空間演出は、物体１１が異なるごとに、照明システムによって位相シフト法を用いた変換テーブルＴｃｂを用いて、撮像画像を投影画像に変換して、商品の設置状態をユーザに提示する。そして、空間演出システムは、当該商品の設置状態を認識して、商品に対して照明光を投影する投影領域を設定できる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

１ プロジェクタ
１ａ 投影素子
２ カメラ
２ａ 撮像素子
３ 照明制御装置
４ 表示装置
５ キーボード
６ マウス
７ 筐体
７ａ，７ｂ，７ｃ 背景部
１１ 物体
１１ｃ マーク
１２ 背景
１３ａ，１３ｂ 情報画像
１４ ボタン部
２１ 画像入力部
２２ 入力画像メモリ
２３ 演算部
２４ メモリ
２５ 記憶装置
２６ Ｉ／Ｏ制御部
２７ 出力画像メモリ
２８ 画像出力部
１００ 撮像画像
１０１ 投影画像
２０１ プロジェクタ座標系
２０２ カメラ座標系
３０１，３０２ 投影像

Claims (7)

1. 所定の投影エリアに対して投影画像を投影する投影装置と、前記投影エリアに投影されている投影画像を撮像して撮像画像を取得する撮像装置とを備え、
   前記投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像させて当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像させて第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、前記撮像画像と前記投影画像との画素間の対応関係を定める変換情報を記憶する変換情報記憶手段と、
   前記撮像画像を前記変換情報に基づいて投影画像に変換し、当該変換した投影画像内において投影領域を示す領域設定情報に基づいて、前記投影装置から投影領域に投影させる前記投影画像を生成する投影領域設定手段と
   を備えることを特徴とする照明システム。
2. 前記投影領域設定手段は、前記投影エリアに被照射物体が存在しない状況で前記投影装置の投光方向に直交する第３方向に周期的に明度が変化する縞パターンを投影及び撮像させて位相シフト法により第１位相画像を作成する動作と、前記投影エリアに被投影物体が存在する状況で前記投影装置の投光方向に直交する第３方向に周期的に明度が変化する縞パターンを投影及び撮像させて位相シフト法により第２位相画像を作成する動作とを行い、前記第１位相画像と前記第２位相画像との位相差が所定値以上となる画像上の領域を、前記領域設定情報とすることを特徴とする請求項１に記載の照明システム。
3. 前記投影領域設定手段は、前記撮像画像を前記変換情報に基づいて変換した投影画像の輝度の濃淡に基づいて領域設定情報を設定することを特徴とする請求項１に記載の照明システム。
4. 前記投影領域設定手段は、予め定めた濃淡範囲を有しており、前記撮像画像を前記変換情報に基づいて変換した投影画像と前記濃淡範囲とに基づいて、前記領域設定情報を設定することを特徴とする請求項３に記載の照明システム。
5. 前記投影領域設定手段は、外部からの入力に基づいて、設定した投影領域を修正することを特徴とする請求項１乃至請求項４の何れか一項に記載の照明システム。
6. 背景部及び当該背景部に対する前面側に設けられた対象物とを含む筐体と、前記背景部及び対象物を含む投影エリアに対して投影画像を投光する投影装置と、前記投影エリアに投光されている画像を撮像して撮像画像を取得する撮像装置とを備え、
   前記投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像させて当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像させて第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、前記撮像画像と前記投影画像との画素間の対応関係を定めた変換情報を記憶する変換情報記憶手段と、
   前記撮像画像を前記変換情報に基づいて投影画像に変換し、当該変換した投影画像内における投影領域を設定した領域設定情報に基づいて、前記投影装置から投影領域に投影させる前記投影画像を生成する投影領域設定手段と
   を備えることを特徴とする空間演出システム。
7. 所定の投影エリアに対して投影される投影画像を生成する投影画像生成方法であって、
   投影装置の投光方向に直交する第１方向に周期的に明度が変化する縞パターンを投影及び撮像して当該第１方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行い、前記第１方向に直交する第２方向に周期的に明度が変化する縞パターンを投影及び撮像して第２方向について位相シフト法を用いて撮像画像と投影画像との対応付けを行うことにより、前記撮像画像と前記投影画像との画素間の対応関係を定める変換情報を求め、
   前記撮像画像又は当該撮像画像の加工画像を、前記変換情報に基づいて投影画像に変換し、当該変換した投影画像内において投影領域を示す領域設定情報を設定し、前記投影装置から投影領域に投影させる前記投影画像を生成すること
   を特徴とする投影画像生成方法。