本発明の実施形態に係る視聴環境制御装置及び視聴環境制御システムについて、図1乃至図36とともに説明する。
図1は、本発明の第一の実施形態に係る視聴環境制御装置を示すブロック図である。本実施形態の視聴環境制御装置1は、受信部2において送信側(放送局)から送られてくる放送データを受信し、データ分離部3において放送データに多重化されている映像データと音声データとを分離する。データ分離部3で分離された映像データと音声データとは、それぞれ映像表示装置4と音声再生装置5に送られる。
次に、視聴者入力情報受信部6は、視聴者が例えば視聴環境制御装置1の本体に設けられている操作ボタンやリモートコントロール装置(以下、リモコン装置と称す)などを用いて入力した映像表示装置4の設置位置、画面方向および画面サイズなどの映像表示装置情報と、照明装置7の設置位置、種類、サイズおよび照射方向などの照明装置情報と、視聴者の部屋の大きさや壁の色などの視聴環境空間情報とを受け取り、CPU8に送る。以下においては、視聴者の部屋のことを『視聴環境空間』と呼ぶ。
CPU8においては、上記視聴者入力情報受信部6で受信した映像表示装置情報、照明装置情報および視聴環境空間情報に基づいて後述する所定の演算を行い、照明装置7の照明制御情報(各照明装置の照明制御データを生成するのに必要な情報)を生成し、照明制御情報記憶部9に送る。
照明制御情報記憶部9においては、上記CPU8で算出された照明制御情報をテーブル形式で格納する。ここで、照明装置7のそれぞれには予め識別子(以下では「ID」と呼ぶ)が付与されており、上記照明制御情報記憶部9に格納されている照明制御情報は、照明装置7のIDごとにテーブル形式で格納されている。照明制御情報記憶部9に格納された照明制御情報は、照明制御データ生成部10からの要求に従い、CPU8を介して適宜照明制御データ生成部10に送られる。照明制御データ生成部10は、データ分離部3で分離された映像データ、音声データと照明制御情報記憶部9からCPU8を介して読み込んだ照明制御情報とから、各照明装置7の設置位置に応じた適切な照明制御データを生成し、照明装置7へ送る。
また、照明装置7へ送られる照明制御データは、映像データおよび音声データと出力タイミングを合わせる必要があるため、例えば照明制御データ生成部10において照明制御データを生成するのに必要な時間だけ、データ分離部3で分離された映像データと音声データを遅らせ、照明制御データと同期をとるためのディレイ発生部11a,11bを設けている。
視聴環境制御装置1をこのような構成にすることにより、視聴環境空間に設置されている1以上の照明装置7を、視聴者の視聴環境空間に応じて適切に制御することができる。また、視聴環境空間内における照明装置7の設置位置を変更した場合や、照明装置7を追加した場合、さらに映像表示装置4の位置を変更した場合、さらにまた部屋の壁紙などを変更した場合においても常に適切な照明制御が可能になる。尚、視聴環境制御装置1は、映像表示装置4、音声再生装置5と一体的に設けられてもよいし、それぞれ別体として設けられてもよい。ここでは、視聴環境制御装置1が、映像表示装置4、音声再生装置5と一体的に設けられている場合について説明する。
以下に、照明装置7について詳しく説明する。
まず、照明装置7について説明する。図2は、本実施形態で用いる照明装置7の一例を示す外観図であり、既に述べたように、各照明装置7には複数の照明装置7を個別に認識するためのユニークなIDが付与されている。また、例えば図2に示す照明装置7には、独立して発光制御することが可能なR(赤),G(緑),B(青)各色のLED光源が一定の周期で配列されており、これら3原色のLED光源により所望の色、輝度からなる照明光を出射する。
ただし、照明装置7は、映像表示装置4の周囲環境の照明色及び明るさを制御することができるような構成であればよく、上記のような所定色を発光するLED光源の組み合わせに限ることなく、白色LEDと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、色可変型の照明装置のみならず、例えば、白色電球や蛍光灯による白色光の輝度のみを照明装置7ごとに可変制御するものでもよく、この場合でも照明光の輝度を固定にする場合に比べれば高い臨場感を得ることができる。
図2(a)は、シールにより各照明装置7を識別するIDの付与方法を示す説明図である。図2(a)の照明装置7には、LED光源の下方にシールが貼付される穴部が設けられている。ここでは、例えば図に示すように、6つの穴部が設けられており、その穴部領域ごとに遮光性のシールを貼ることが可能になっている。また、照明装置内部の各穴部に対応する位置には光センサが設けられており、穴部にシールが貼られているか否か、すなわち各穴部の光の透過/遮断状態を検出することが可能になっている。従って、各穴部に対するシールの貼付状態に応じて、最大26(6ビット/64通り)個のIDを照明装置に付与することができる。もちろん、視聴環境空間に設置される照明装置7の数が64より多くなる場合は、シール貼付の穴部を7つ8つと増やせば無限に対応できることは言うまでもない。
図2(b)は、ディップスイッチにより各照明装置7を識別するIDの付与方法を示す説明図である。図2(b)の照明装置7には、LED光源の下方にディップスイッチが設けられている。本ディップスイッチは、上述したシール貼付の代わりに電気信号を通すか否かの設定が可能なスイッチを具備している。ここでは、例えば図に示すように、6つのスイッチを設け、例えば、スイッチが上になっているものが導電状態、下になっているものが遮断状態として検出することにより、最大26(6ビット/64通り)個のIDを照明装置に付与することができる。もちろん、視聴環境空間に設置される照明装置の数が64より多くなる場合は、スイッチを7つ8つと増やせば無限に対応できることは言うまでもない。
次に、視聴環境制御装置1について説明する。まず、視聴者による映像表示装置4、照明装置7および視聴環境空間に関する情報入力について説明する。
図3は、視聴環境空間の一例を示す説明図であり、ここでは、視聴環境空間内には映像表示装置4と7個の照明装置7とが設置されているものとする。照明装置7aは、天井設置型で、照明装置7b〜7gは、可搬設置型の照明装置である。これら照明装置7a〜7gの配置や数は、視聴者の視聴環境空間ごとに異なり、また、同じ視聴環境空間であっても部屋の模様替えなどで、照明装置7を移動させたり、照明装置7を追加・削除したりすることにより変わってくる。さらに、映像表示装置4を移動させることによっても、映像表示装置4に対する相対的な照明装置7の位置は変化する。
従って、このような場合においても、常に照明装置7を適切に制御し、高い臨場感を提供するためには、視聴環境空間に設置されている映像表示装置と照明装置との相対的な位置を検出して、照明装置の映像表示装置に対する位置に応じた照明制御を行う必要がある。
図4は視聴環境空間、映像表示装置および照明装置に関する情報入力動作のフローチャートを示す図である。視聴者の情報入力操作について、以下に図4とともに説明する。
視聴者による視聴環境空間、映像表示装置および照明装置に関する情報入力は、まず、視聴環境制御装置1の本体に設けられている操作ボタンもしくはリモコン装置などから視聴環境情報(以下、映像表示装置情報、照明装置情報および視聴環境空間情報を合わせた情報のことを『視聴環境情報』と称する)の入力開始を命令する操作を行う。以下にはリモコン操作による入力操作を例に説明する。
図5はリモコン装置12の一例を示す図である。図5に記載のリモコン装置12の視聴環境設定キー13を押すと視聴環境情報入力の開始命令がなされ、映像表示装置4の表示画面に図6に示すような視聴環境情報の入力開始を合図する表示がされる。図6に示すような画面表示がされたときに、図5のリモコン装置12の決定キー14を押すと、図7に示すような視聴環境空間の情報の入力を促す画面が表示される。
視聴者は、図7に示すような画面が表示された状態で、図5のリモコン装置12の決定キー14を押すと、映像表示装置4の表示画面に図8に示すような視聴環境空間の大きさを入力するための画面が表示される。この画面において、視聴者は視聴環境空間の大きさを設定すべく、画面内に表示されている視聴環境空間の模式図を見ながら視聴環境空間の一隅を基準点として、視聴環境空間のx方向、y方向、z方向の長さを例えばセンチメートル単位で入力する。
具体的には、まず図8の画面が表示されるとx方向のメートル入力する部分がアクティブになっており、リモコン装置12の十字キー15もしくは数字キー16により適当な数値を入力し、決定キー14を押して入力を完了する。x方向のメートル入力が完了すると、次はx方向のセンチメートル入力する部分がアクティブになり、十字キー15もしくは数字キー16により適当な数値を入力し、決定キー14を押して入力を完了する。x方向のセンチメートル入力が完了すると、次はy方向のメートル入力する部分がアクティブになる。x方向の数値入力と同じ操作をy方向およびz方向についても行い、視聴環境空間の大きさの設定入力が完了する。ここではセンチメートル単位での入力を例に挙げたが、もちろん10センチメートル単位などでも構わないし、他の単位系を用いても構わない(ステップ1)。
視聴環境空間の大きさの設定入力が完了すると、次に図9に示すような視聴環境空間の天井、床、壁の色を入力するための画面が表示装置4の表示画面に表示される。この画面において、視聴者は視聴環境空間の天井、床、壁の色を設定すべく、天井1面、床1面、壁4面の色を設定入力する(もちろん、視聴環境空間によって壁の数などが4面ではない可能性もあるが、本実施例においては最も一般的と思われる天井1面、床1面、壁4面を例にとって考えることとする)。
具体的には、まず図9の画面の表示がされると天井の色選択を行う部分がアクティブになっており、プルダウンメニューにより色選択を行うことができるようになっている。そして、リモコン装置12の十字キー15により所望の色を選択した後に決定キー14を押すと天井の色入力が完了する。天井の色入力が完了すると、次は床の色選択を行う部分がアクティブになり、天井の色入力と同じ操作にて入力を行う。同様の入力操作を壁4面についても行い、視聴環境空間の壁、天井、床の色の設定入力が完了する。
このように、視聴環境空間の壁、天井、床の色を入力することで、壁が照明光に照らされる間接照明を行った場合であっても、壁の色を考慮した適切な照明制御を行うことができることになる。ここではプルダウンメニューによる色入力を例にとり説明したが、もちろんR,G,Bによる表記で視聴者に数値入力させてもよいし、さらに他の入力方法を用いてもよい。そしてまた、天井、床、壁情報としては反射率や素材などの情報を入力させてもよい。このように視聴環境空間の天井、床、壁の情報も入力することで間接照明の適切な制御もできることになる(ステップ2)。
視聴環境空間の壁、天井、床の色の設定入力が完了すると、次に図10に示すような映像表示装置4に関する情報の入力を促す画面が表示される。視聴者は、図10に示すような画面が表示された状態で図4のリモコン装置12の決定キー14を押すと、図11に示すような映像表示装置4の画面サイズを入力するための画面が表示される。この画面において視聴者は映像表示装置4の画面サイズを設定すべく、映像表示装置4のx方向、y方向の長さを例えばセンチメートル単位で入力する。
具体的には、まず図11の画面が表示されるとx方向の数値入力部分がアクティブになっており、リモコン装置12の十字キー15もしくは数字キー16により適当な数値を入力し、決定キー14を押すと入力が完了する。x方向の数値入力が完了すると、次にy方向の数値入力部分がアクティブになり、x方向と同様の操作で入力する。ここでは、x方向、y方向の入力単位をセンチメートルとしたが、単位はインチ単位でもよく、また、x、y方向の数値入力でなく対角線のインチ数入力などでも構わない。また、映像表示装置自体が既に画面サイズに関する情報を記憶している場合などは、これを利用することによって、視聴者による画面サイズの入力作業を省略してもよい(ステップ3)。
映像表示装置4の画面サイズ情報の入力が完了すると、次に図12に示すような映像表示装置4の設置位置を入力するための画面が表示される。この画面において視聴者は映像表示装置4の設置位置を設定すべく、映像表示装置4の水平方向位置および垂直方向位置を例えばセンチメートル単位で入力する。ここで、「垂直方向」とは、水平方向に対し直角になる方向のことで「鉛直方向」のことである。
水平方向位置の入力では、視聴環境空間の垂直方向から見た平面図を用いて入力し、垂直方向位置の入力では、視聴環境空間の水平方向から見た側面図を用いて入力できるようになっている。また、映像表示装置4の位置に関する情報を入力すると、同じ画面内に表示する立体図に反映され、視聴者が入力した情報による映像表示装置4の設置位置が直感的に分かりやすく、入力ミスなどを防ぐことができるようになっている。
具体的には、まず図12の画面が表示されると水平位置入力のx方向の数値入力部分がアクティブになっており、リモコン装置12の十字キー15もしくは数字キー16により適当な数値を入力し、決定キー14を押すと入力が完了する。x方向の数値入力が完了すると、次にy方向の数値入力部分がアクティブになり、x方向と同様の操作で入力する。ここで、x方向、y方向は視聴環境空間の一隅を基準点として、壁に沿った方向とする(ステップ4)。y方向の数値入力が完了すると、次に水平方向角度の数値入力部分がアクティブになり、十字キー15もしくは数値キー16により適当な数値を入力し、決定キー14を押すと入力が完了する。ここで、角度はx方向を基準とした数値で表される(もちろんy方向を基準としてもよい)。
水平位置入力が完了すると、次に垂直位置入力のz方向の数値入力部分がアクティブになり、十字キー15もしくは数値キー165により適当な数値を入力し、決定キー14を押すと入力が完了する。z方向の数値入力が完了すると、次に垂直方向角度の数値入力部分がアクティブになり、十字キー15もしくは数値キー16により適当な数値を入力し、決定キー14を押すと入力が完了する。ここで、垂直位置入力の角度とはいわゆる映像表示装置4の仰角にあたるものである(ステップ5)。
映像表示装置4に関する情報の入力が完了すると、次に図13に示すような照明装置7に関する情報の入力を促す画面が表示される。視聴者は、図13に示すような画面が表示された状態で図4のリモコン装置12の決定キー14を押すと、図14に示すような照明装置7の基本情報を入力するための画面が表示される。この画面において視聴者は照明装置7の基本情報を設定すべく、照明装置7の種類、サイズ、1/2照射角を入力する。まず、照明装置7の種類としては、照明装置7の形状と色を入力する。ここで、照明装置7の形状は、光源の形状のことで、ここでは点光源、線光源、面光源のいずれかを選択入力可能となっている。次に照明装置の色とは、カラー可変タイプなのか単色なのかということで、そのいずれかを選択入力可能となっている。
また、サイズ入力部分では、照明装置7の形状が線光源である場合にはその長さを、面光源である場合にはその面積(x方向、y方向の長さ)を入力可能となっている。さらに、1/2照射角とは、照明用反射傘の性能を決める目安となるもので、器具と器具直下を結んだ線と、器具と器具直下水平照度の1/2の水平照度となる点を結んだ線がなす角度のことであり、照射光の広がりを表す情報として入力可能となっている。尚、前述したように、照明装置7のそれぞれには、個別制御ができるようにユニークなID(前述では6ビットだが図14では9ビット表記)が付与されている。照明装置7に関する基本情報も各照明装置を表すIDごとに入力可能となっている。
具体的には、まず図13に示す画面表示がされた状態で図4のリモコン装置12の決定キー14を押すと、図14に示す照明装置7の基本情報を入力する画面が表示されるとともに、情報入力する照明装置7の特定動作がスタートする。CPU8は、該命令を受けて照明制御データ生成部10に対し、IDn(初期動作時はn=1)の照明装置のみを点灯させ、残りの照明装置を消灯(或いは減光)させるという命令を送る。
照明制御データ生成部10は、CPU8からの命令を受け取り、それに則する照明制御データ(例えば、R,G,BのLED光源をそれぞれ8ビットで階調駆動制御する場合であって、n=1のとき、ID1(255,255,255)、ID2(0,0,0)、ID3(0,0,0)、・・・、IDn(0,0,0))を照明装置に出力する。すると、ID1に対応する照明装置のみ点灯し、それ以外の照明装置は消灯する。
この状態で、図14に示す照明装置7の基本情報を入力する画面ではID1の照明装置の形状を入力する部分がアクティブになっており、視聴者は点灯している照明装置の形状をリモコン装置12の十字キー15によりプルダウンメニューから該当する形状を入力し、決定キー14を押すと入力が完了する。ID1の照明装置の形状の入力が完了すると、次にID1の照明装置の色を入力する部分がアクティブになり、十字キー15によりプルダウンメニューから該当する色を入力し、決定キー14を押すと入力が完了する(ステップ6)。ID1の照明装置の色の入力が完了すると、次に照明装置のサイズを入力する部分がアクティブになり、十字キー15もしくは数字キー16で適当な数値を入力し、決定キー14を押すと入力が完了する(ステップ7)。
ここで、照明装置の形状が線光源である場合は、その長さを入力し、照明装置の形状が面光源である場合は、その面積(x方向、y方向の長さ)を入力する。また、照明装置の形状が点光源である場合は、入力はしないこととする。ID1の照明装置のサイズの入力が完了すると、次にID1の照明装置の1/2照射角を入力する部分がアクティブになり、十字キー15もしくは数字キー16により適当な数値を入力し、決定キー14を押すと入力が完了する(ステップ8)。ここで、1/2照射角は照明装置の商品パッケージや製造メーカーのホームページに記載されている。これでID1の照明装置の基本情報の入力が完了する。
ID1の照明装置の基本情報の入力が完了すると、次にID1の照明装置の設置位置に関する情報を入力すべく、図15に示す照明装置位置入力を行う画面が表示される。図15に示す照明装置位置入力では、水平方向位置(x方向、y方向)と垂直方向位置(z方向)とを例えばセンチメートル単位で入力する。水平方向位置の入力では、視聴環境空間の垂直方向から見た平面図を用いて入力し、垂直方向位置の入力では、視聴環境空間の水平方向から見た側面図を用いて入力できるようになっている。また、照明装置の位置情報を入力すると、同じ画面内に表示する立体図に反映され、視聴者が直感的に分かりやすく入力できるとともに入力ミスなどを防ぐことができるようになっている。ここで、平面図、側面図および立体図に表示される照明装置は、先に入力した視聴環境空間に関する情報と照明装置の基本情報とに基づき、縮尺の一致した表示がされるようになっている。
具体的には、まず図15に示す画面が表示されると、水平方向位置のx方向を入力する部分がアクティブになり、十字キー15もしくは数字キー16で適当な数値を入力し、決定キー14を押すと入力が完了する。x方向の入力が完了すると、次にy方向を入力する部分がアクティブになり、同様の操作で入力する。水平方向位置の入力が完了すると、次に垂直方向位置のz方向を入力する部分がアクティブになり、同様の操作で入力を行う。これで、ID1の照明装置の設置位置に関する情報の入力が完了する(ステップ9)。
ID1の照明装置の設置位置に関する情報の入力が完了すると、次にID1の照明装置の照射方向に関する情報を入力すべく、図16に示す照射方向入力を行う画面が表示される。図16に示す照明装置の照射方向入力を行う画面では、照射方向を水平方向と垂直方向とに分割して入力を行う。水平方向の入力を行う場合は、予め用意されている8方向の矢印中から1つを選択し入力する。また、垂直方向の入力を行う場合は、予め容易されている7段階の照射高さの中から1つを選択し入力する。ここで、水平方向では8方向、垂直方向では7段階と記載したが、これはあくまで一例であって、さらに細かく分けてもよいし、視聴者に数値入力などをさせるようにしてもよい。
また、水平方向の入力では、視聴環境空間の垂直方向から見た平面図を用いて入力し、垂直方向置の入力では、視聴環境空間の水平方向から見た側面図を用いて入力できるようになっている。また、照明装置の照射方向を入力すると、同じ画面内に表示する立体図に反映され、視聴者が直感的に分かりやすく入力できるとともに入力ミスなどを防ぐことができるようになっている。ここで、平面図、側面図および立体図に表示される照明装置は、先に入力した視聴環境空間に関する情報と照明装置の基本情報とに基づき、照明装置を点灯させたときのシュミレーション画像が表示されるようになっている。
具体的には、まず図16に示す画面が表示されると、水平方向を入力する部分がアクティブになり、リモコン装置12の十字キー15で適当な方向を選択入力し、決定キー14を押すと入力が完了する。水平方向の入力が完了すると、次に垂直方向を入力する部分がアクティブになり、水平方向の入力と同様の操作で入力する。これで、ID1の照明装置の照射方向に関する情報の入力が完了する(ステップ10)。
以上で、ID1の照明装置に関する情報入力が全て完了し、次に、CPU8はID1の照明装置に関する情報入力が完了したことを認識すると、照明制御データ生成部10に対し、ID2の照明装置のみを点灯させ、残りの照明装置を消灯(或いは減光)させるという命令を送る。そして照明制御データ生成部10はCPU8からの命令を受け取り、それに則する照明制御データを照明装置に出力する。すると、ID2に対応する照明装置のみ点灯し、それ以外の照明装置は消灯した状態で、ID2の照明装置に関する情報入力部分がアクティブになる。あとは前述したID1の照明装置の情報入力操作と同様の操作を行い、ID2の照明装置の情報入力を行う。
そして、視聴者の視聴環境空間に存在する全ての照明装置7に対して同様の操作を繰り返し、全ての照明装置7の情報入力を完了する。以上のように、設定入力の対象となる照明装置のみを点灯させて、他の照明装置を消灯或いは減光させることにより、ユーザは各照明装置のIDを把握していなくとも、確実且つ容易に各照明装置に関する情報入力を行うことが可能となっている。また、上述した視聴者による映像表示装置、照明装置および視聴環境空間に関する情報入力は、リモコン装置での入力を例にとって説明したが、もちろん視聴環境制御装置1の本体に設けられている操作ボタンを使用して入力してもよいし、またもっと別の入力手段で入力してもよい。
次に、視聴者により上述したような情報入力が完了すると、CPU8において映像表示装置と各照明装置との相対的な位置関係に基づき、映像データの特徴量から各照明装置の照明制御データを生成する際に必要となる照明制御情報を算出し、照明制御情報記憶部9にテーブル形式で格納する。ここでは、間接照明に対しても適切に照明制御ができるように、照射位置、照射面積、色および輝度の補正量を算出し、照明制御情報記憶部9にテーブル形式で格納する。
以下に、CPU8で行う演算処理について説明する。
まず、CPU8では、視聴者からの入力情報に基づき、視聴環境空間を映像表示装置の画面中心を基準点とする座標系へ変換する。視聴者が入力した映像表示装置および照明装置の位置に関する情報は、どちらも設置される視聴環境空間の一隅を基準点とし、壁に沿ったx方向、y方向、z方向の座標系で表される。つまり、視聴者が入力した段階においては映像表示装置4と照明装置7との相対的な位置関係が表されているわけではなく、両装置の視聴環境空間内での位置が入力されているだけである。
また、映像表示装置4に映し出される映像に連動して適切に照明制御するためには、映像表示装置4と照明装置7との相対的な位置関係が重要になる。従って、映像表示装置4と照明装置7との相対的な位置関係を示すことができる座標系にすべく映像表示装置4を基準(原点)とした座標系へ変換する必要がある。これにより、照明装置7の設置位置が映像表示装置4との相対的な位置として表される。
図17、図18は視聴者の視聴環境空間の一例を基に座標変換を示す図である。図17は、その変換を示す立体図で、図18は、その変換を垂直方向からの見た平面図である。視聴環境空間内には、映像表示装置4と8個の照明装置7とが設置されている。映像表示装置4は部屋の一隅に配置され、画面が部屋の中央部を向くように設置されている。照明装置7h、7iは、天井設置型で、照明装置7j〜7oは、可搬設置型の照明装置である。特に7j〜7oは、間接照明を意図したもので、照射方向が壁に向いて設置されている。座標は、映像表示装置4の画面の中心を基準点(原点)として、画面に平行かつ水平な方向をx方向、画面に垂直な方向をy方向、画面に平行かつ垂直な方向をz方向となるようにする。そして、視聴者により入力された照明装置の設置位置情報を座標変換後の座標系で再定義する。これで、照明装置7の位置が映像表示装置との相対的な位置として表されたことになる。
また、CPU8は例えば内部メモリを備えており、その内部メモリには仮想的な視聴環境空間を表すリファレンスモデルと、仮想的な視聴環境空間に対して適切な照明制御を行うために、そのリファレンスモデルの各照明装置が映像表示装置の表示画面のどの領域に表示される映像データの特徴量を用いて照明制御されるべきか示す特徴量検出領域とが格納されている。
ここで、CPU8の内部メモリに格納されているリファレンスモデルの一例を図19、図20に示す。図19はリファレンスモデルを示す図で、図20はリファレンスモデルの展開図である。映像表示装置4が視聴環境空間の1つの壁に沿うように配置され、照明装置7が天井、床、4壁に9個ずつ周期的に配置されている。ここで、もちろんリファレンスモデルの照明装置の数や配置は上記に限定されるものではない。
次に、CPU8の内部メモリに格納されている上記リファレンスモデルの各照明装置v1〜v54に対応する特徴量検出領域は予め求められるものであるが、その算出方法について以下に説明する。ここでは、天井に設けられている照明装置v1〜v9の各々に対応する特徴量検出領域について説明する。天井に設けられているv1〜v9の照明装置について、まず画面水平方向(x方向)での特徴量検出領域を決定し、次に画面垂直方向(y方向)における特徴量検出領域を決定する。そして最終的に、映像表示装置の表示画面内におけるx方向、y方向でそれぞれ決定した特徴量検出領域に基づいて、各照明装置に対する特徴量検出領域を確定させる。
図19で示すリファレンスモデルの天井に設置されている照明装置は、x方向で同じ位置に存在する照明装置ごとに、画面に向かって左に位置する照明装置v1,v4,v7と、中央に位置する照明装置v2,v5,v8と、画面に向かって右に位置する照明装置v3,v6,v9との3列に分類することができる(以下、それぞれを「左照明装置列」、「中央照明装置列」、「右照明装置列」と呼ぶことにする)。左照明装置列は、映像データの画面左部分を特徴量検出領域とし、また、中央照明装置列は、映像データの画面中央部分を特徴量検出領域とし、さらに、右照明装置列は、映像データの画面右部分を特徴量検出領域とする。つまり、各照明装置の列位置に応じて、映像表示装置4の表示画面におけるx方向の特徴量検出領域が決定されることになる。
次に、映像表示装置4の表示画面におけるy方向の特徴量検出領域を決定する。y方向の特徴量検出領域の決定では、映像表示装置4で映し出されている表示映像の内容(輝度分布、色分布、ヒストグラムなど)、表示映像の種類(カテゴリー)などの情報から1つ若しくは組み合わせて、適切な特徴量検出領域の決定する必要がある。特徴量検出領域の決定をするにあたっての指標は数多く存在し、必要に応じて最適な指標を使い分ければよい。ここでは、特徴量検出領域の決定を行う指標として、表示映像の内容(輝度分布)を用いて図21に示す映像に対する特徴量検出領域を決定する。
図21に示す映像は、海に夕日が沈んでいく様子の映像であり、映像の画面中央部分に表示されている太陽が最大輝度となっており、そこを中心として周辺領域へ離れるほど輝度が連続的に低下している。
一方、図19で示すリファレンスモデルの天井に設置されている照明装置は、y方向で同じ位置に存在する照明装置ごとに、画面の手前側に位置する照明装置v1,v2,v3と、該照明装置v1,v2,v3より画面と反対側に位置する照明装置v4,v5,v6と、画面から最も奥に位置する照明装置v7,v8,v9との3列に分類することができる(以下、それぞれを「手前照明装置列」、「中央照明装置列」、「奥照明装置列」と呼ぶことにする)。手前照明装置列は、最も映像表示装置4の近くに設置されており、視聴者側からみれば映像表示装置4方向に最も遠い位置に存在することになる。
従って、手前照明装置列では、表示映像の中で撮影位置から遠くにある色や明るさを基準にして照明光を作り出す必要がある。図21の映像で言えば、地平線にあたる部分を特徴量検出領域とする必要がある。しかし、地平線部分のみの映像特徴量に応じて手前照明装置列の照明光を生成した場合、この照明光の輝度が高くなりすぎて、画面上部の表示映像との連続性がなくなり、違和感が生じるので、図22(a)〜(c)に示すように地平線部分を中心として、その周辺部分を大きく含むような領域を、照明装置v1,v2,v3に対する特徴量検出領域としている。
次に、奥照明装置列は、最も映像表示装置4から遠く、例えば視聴者の真上に存在するような照明装置の列である。奥照明装置列では、表示映像の撮影場所に最も近い色や明るさを基準にして照明光を作り出す必要がある。従って、図21の映像で言えば、空部分の一番上部にあたる部分を特徴量検出領域とする必要がある。また、奥照明装置列は撮影位置の空間を再現する必要があるので、図22(g)〜(i)に示すように、照明装置v7,v8,v9に対する特徴量検出領域とする面積を小さくし、撮影位置の真上の空の色や明るさを再現すると、効果的に臨場感を高めることができる。
最後に、中央照明装置列は、上述した手前照明装置列と奥照明装置列との中間を取ればよい。つまり、図21の映像で言うと、地平線から撮影位置の真上の空までの中間に存在する空部分である。従って、図22(d)〜(f)に示すように、照明装置v4,v5,v6に対する特徴量検出領域とする領域も手前照明装置列と奥照明装置列との中間の領域にすればよい。これで、図19で示すリファレンスモデルの天井に設置されている照明装置の特徴量検出領域が完了する。次に、上記と同様の方法で、仮想的な視聴環境空間の床、壁に設置されている各照明装置7の特徴量検出領域を算出する。
これで、リファレンスモデル内の全ての照明装置7について、対応する特徴量検出領域が決定され、仮想的な視聴環境空間においては映像と連動した照明制御が可能になる。また、上記の説明では、映像表示装置4の画面サイズについては触れなかったが、画像サイズが変わると画面端部から各照明装置までの距離/方向が変わるため、映像表示装置4の画面サイズも考慮することにより、さらに精度の高い照明制御が可能となる特徴量検出領域の決定を行うことができる。さらにまた、上記の特徴量検出領域の算出方法は一例であり、上記に限定されるものではない。
上記で説明したリファレンスモデルの各照明装置に対応する特徴量検出領域は、リファレンスモデルとともにリファレンスも出る情報としてCPU8の内部メモリに格納されている。特徴量検出領域は、リファレンスモデルの照明装置と映像表示装置との相対的な位置関係から一義的に決定されるものであり、後述する実際の視聴環境空間における照明装置の照明制御データ生成時に使用される。また、リファレンスモデルは視聴者の入力情報に関係なく予め設定されていてもよいし、視聴者の視聴環境情報の入力が行われた後にその入力情報に基づき、例えば実際の視聴環境空間(部屋)の大きさと一致したリファレンスモデルを生成するようにしてもよい。
次に、CPU8が視聴者の入力情報に基づいて照明制御情報の生成を行う演算処理について説明する。CPU8は、視聴者入力情報受信部6で受信した映像表示装置情報、照明装置情報および視聴環境空間情報に基づいて実際の視聴環境空間に設置されている照明装置を適切に制御すべく、実際の視聴環境空間に設置されている照明装置のリファレンスモデルにおける照明装置との対応関係を示す情報を生成する。
図23、図24は、実際の視聴環境空間とリファレンスモデルとを映像表示装置の位置を揃えて重ね合わせた図で、図23はその平面図を、図24はその立体図である。実際の視聴環境空間およびリファレンスモデルに設置されている照明装置の符号は図17〜図20と同じである。実際の視聴環境空間に設置されている照明装置が直接照明(7h、7i)として用いられる場合は、実際の視聴環境空間に設置されている照明装置7h、7iがリファレンスモデルに設置されている照明装置v1〜v54のどれに対応するのかを算出する。もちろん、照明装置7h、7iのそれぞれが照明装置v1〜v54の複数に対応することもある。
具体的には、図25に示すように、実際の視聴環境空間に設置されている照明装置7hは、リファレンスモデルにおける照明装置v2とv5とに対応し、照明装置7iは、照明装置v4に対応する。実際の視聴環境空間に設置されている各照明装置のIDごとに、対応するリファレンスモデルの照明装置の情報が、照明制御情報記憶部9にテーブル形式で格納される。
次に、実際の視聴環境空間に設置されている照明装置が間接照明(7j〜7o)として用いられる場合は、図23に示すように、照明装置(7j〜7o)の照射方向、1/2照射角に基づいて、照明装置(7j〜7o)の照明光により照射されるリファレンスモデルの壁領域を算出し、その照射領域に対応する照明装置v1〜v54を決定する。もちろん、照明装置7j〜7oのそれぞれが照明装置v1〜v54の複数に対応することもある。
具体的には、例えば照明装置7lは、図25、図26に示すように、リファレンスモデルにおける照明装置(v10〜v15)に対応する。間接照明(7j〜7o)に関しても、上述した直接照明(7h、7i)と同様、実際の視聴環境空間に設置されている各照明装置のIDごとに、対応するリファレンスモデルの照明装置の情報が、照明制御情報記憶部9にテーブル形式で格納される。
以上により、実際の視聴環境空間に設置されている照明装置7h〜7oが、リファレンスモデルにおける照明装置v1〜v54のどれに対応するかが分かったことになり、照明制御データ生成部10において、CPU8の内部メモリに格納されているリファレンスモデルの各照明装置に対応した特徴量検出領域の情報を用いて、実際の視聴環境空間に設置されている照明装置7h〜7oに対応する特徴量検出領域を求めることができる。
ここで、実際の視聴環境空間に設置されている照明装置がリファレンスモデルにおける照明装置の複数に対応する場合は、そのリファレンスモデルにおける複数の照明装置のそれぞれによる影響度を算出して、照明制御情報記憶部9に格納しておけばよい。例えば、図26に示すように、実際の視聴環境空間に設置されている照明装置による照明領域を構成する、リファレンスモデルの各照明装置による照明領域の面積比率を算出して、これを照明制御情報記憶部9に格納しておくことで、実際の視聴環境空間に設置されている照明装置の照明制御データを生成する際、リファレンスモデルの複数の照明装置に対応する映像データの特徴量に重み付けを加えて、より適切な照明制御を実現することが可能となる。
また、上記で説明した間接照明装置(7j〜7o)に関して、視聴者は実際の視聴環境空間の壁で反射される反射光を照明光として目視する為、視聴環境空間の壁の色や反射率(輝度の低下)によって照明光が大きく影響を受ける。従って、CPU8は、予め視聴者により入力された壁の色や反射率に基づき、照明制御データを生成する際の補正情報を求め、これを各照明装置のIDごとに照明制御情報記憶部9に格納する。
ここで、図27は、照明制御情報記憶部9に格納されるデータテーブルの一例を示す図である。データテーブルには、実際の視聴環境空間に設置されている各照明装置のIDごとに、対応するリファレンスモデルの照明装置に関するリファレンス照明情報に加えて、壁の色情報と反射情報とからなる補正情報が格納されている。すなわち、照明制御情報記憶部9には、各照明装置7がリファレンスモデルのどの照明装置に対応するのかが、その影響度(構成面積比率)とともに記憶される。
また、補正情報の壁の色についてはR,G,Bの8ビットの階調表記で記憶され、反射情報では反射率が記憶される。ここで、直接照明装置の場合は、壁の色を(255,255,255)で表し、反射率を1(100%)とする。これら照明制御情報記憶部9に格納されている照明制御情報は、照明制御データ生成部10からCPU8へ要求があった時に、CPU8により読み出される。そして、CPU8は、照明制御情報記憶部9から読み出した照明制御情報と内部メモリに格納しているリファレンスモデル情報とを照明制御データ生成部10へ送る。
次に、上記で説明した視聴者により入力された視聴環境情報を基に作成され、照明制御情報記憶部9に格納された照明制御情報と、CPU8の内部メモリに格納されているリファレンスモデル情報とを利用して、適切な照明制御データを生成する方法について説明する。
図28は、照明制御データ生成部10の動作フローを示す図である。まず、照明制御データ生成部10は、図1に示すデータ分離部3において分離された映像データを1フレームごとに読み込む(ステップ1)。次に、CPU8から送られたリファレンスモデル情報(リファレンスモデルにおける各照明装置に対応する特徴量検出領域に関する情報)に基づいて、リファレンスモデルの各照明装置に対応する特徴量検出領域の映像データの特徴量を1フレームごとに検出する(ステップ2)。
そして、CPU8から送られた照明制御情報と、上記ステップ2で算出したリファレンスモデルにおける各照明装置に対応した映像データの特徴量とに基づいて、実際の視聴環境空間に設置されている各照明装置に対応する映像データの特徴量を算出し、これに応じて各照明装置の照明制御データを生成する(ステップ3)。
ここで、例えば図27に示すように、実際の視聴環境空間に設置されている照明装置ID1がリファレンスモデルにおける照明装置V1に対応する場合は、リファレンスモデルの照明装置V1に対応する特徴量検出領域において検出された映像データの特徴量をそのまま用いて、実際の視聴環境空間に設置されている照明装置ID1の照明制御データを生成する。また、実際の視聴環境空間に設置されている照明装置ID2がリファレンスモデルにおける照明装置V2、V3に対応し、各照明装置V2、V3による影響度がそれぞれ0.5である場合は、リファレンスモデルの照明装置V2、V3に対応する特徴量検出領域において検出された映像データの特徴量のそれぞれに対して重み係数0.5を積算し加算したものを用いて、実際の視聴環境空間に設置されている照明装置ID1の照明制御データを生成する。
同様に、実際の視聴環境空間に設置されている照明装置ID3がリファレンスモデルにおける照明装置V3、V4、V5に対応し、各照明装置V3、V4、V5による影響度がそれぞれ0.3、0.3、0.4である場合は、リファレンスモデルの照明装置V3、V4、V5に対応する特徴量検出領域において検出された映像データの特徴量のそれぞれに対して重み係数0.3、0.3、0.4を積算し加算したものを用いて、実際の視聴環境空間に設置されている照明装置ID1の照明制御データを生成する。このような加重平均演算を採用することで、実際の視聴環境空間に設置されている照明装置に対応する映像データの特徴量を適切に検出することが可能となる。ばよい。もちろん、上述したような面積比率による加重平均でなく、他の換算方法でもよいことはいうまでもない。
また、映像データの特徴量としては、色信号、輝度信号や映像撮影時における周囲の色温度などを用いることができる。また、ここでは、映像データの特徴量だけではなく、音声データの特徴量も検出している。音声データの特徴量としては、音量や音声周波数などを用いることができる。
さらに、間接照明の場合などは、照明制御情報記憶部9に格納されている壁の色や反射率の補正情報から、照明制御データに適切な補正を施すことにより、実際の視聴環境空間における壁に応じた適切な間接照明制御を実現することができる。具体的には、壁の色が有色の場合には、壁の色の補色にあたる色を加えた照明光を出射することで壁の色を打ち消するような照明制御データを生成するように補正する。また、壁の反射率が1/2である場合には、照明装置より出射する照明光の輝度を2倍にして壁での反射光が所望なの輝度となるような照明制御データを生成するように補正すればよい。
そして、照明制御データ生成部10で生成された照明制御データと、該照明制御データに対応するフレームの映像データ及び音声データとはそれぞれ同期して、照明装置7、映像表示装置4、音声再生装置5に送出される。1フレーム分の照明制御データの生成が完了すると、次の入力フレームがあるか否か、すなわち映像データの入力が終了したかどうかを判定し(ステップ4)、次の入力フレームがある場合、この次のフレームを読み込む(ステップ1)。次の入力フレームがない場合は、処理動作を終了する。以上の動作を順次繰り返すことによって、表示すべき映像に適した照明制御を映像フレーム単位で行うことができる。
以上では、リファレンスモデル情報をCPU8の内部メモリに持ち、視聴者が入力した視聴環境情報をリファレンスモデルに設置された照明装置に対応させることで、実際の視聴環境空間に設置されている照明装置7に対応する映像データの特徴量を検出する方法について説明したが、映像データの特徴量検出方法は、その他にも考えられる。例えば、実際の視聴環境空間に設置されている照明装置7の設置位置を座標変換後の座標系で表して、映像表示装置4の画面の中心からの位置を空間ベクトルで表記して、その方向と大きさにより各照明装置に対応する表示画面の特徴量検出領域を決定し、該特徴量検出領域における映像データの特徴量を検出するようにしてもよい。例えば、図29、図30に示すように、この特徴量検出領域算出方法において間接照明装置(7j〜7o)は、実際の視聴環境空間の壁を照射する領域を仮想的な照明装置(7j'〜7o')として扱い、その仮想的な照明装置(7j'〜7o')の映像表示装置4の画面の中心からの位置を空間ベクトルで表記して、その方向と大きさにより各照明装置に対応する表示画面における特徴量検出領域を決定することもできる。
このようにして決定された特徴量検出領域を用いて、実際の視聴環境空間に設置されている照明装置7に対応する映像データの特徴量を検出することにより、視聴環境空間に設置されている照明装置が直接照明装置であっても間接照明装置であっても、映像表示装置に表示されている映像と連動した適切な照明制御を実現することができる。この場合は、各照明装置のIDごとに各照明装置の空間位置を示す情報(空間ベクトル表記)を照明制御情報記憶部9にテーブル形式で格納すればよい。
このように、各照明装置の設置位置や設置角度に応じた映像特徴量の検出領域を設定し、映像データの特徴量に応じた照明制御データを生成することにより、例えば図21に示す映像を表示する際、映像表示装置4の周囲に設置された各照明装置による照明光を効果的に制御し、視聴者に対して高い臨場感を与えることができる。また、各照明装置に対応する映像特徴量の検出方法は、上記2つのようなものに限定される必要はなく、例えば映像の種類などによりその決定方法が変わってもよい。
尚、上記実施形態においては、フレーム単位で映像特徴量及び/又は音声特徴量を検出し、照明制御データを生成するものについて説明したが、シーンまたはショット単位での映像特徴量及び/又は音声特徴量を検出し、ストーリ上つながりがある同一のシーンまたはショット内では各照明装置7による照明光を略一定に保持するように制御してもよい。
また、上述した実施形態では、映像受信装置で受信した映像データや音声データの特徴量に基づいて、各照明装置に対する照明制御データを生成したが、本発明はこの方法に限定されるものではない。
例えば、ある特定の仮想的な視聴環境空間内における照明装置の設置位置を表す照明位置情報(視聴環境リファレンスデータ)と、該仮想的な視聴環境空間内における照明装置に対する照明制御データとが、単独で或いは映像データとともに放送波に多重されるなどして外部装置から送信される場合、送信された視聴環境リファレンスデータと照明制御情報記憶部に格納された照明制御情報とに基づき、送信された照明制御データに対して所定の変換処理を施すことにより、視聴者の視聴環境空間に設置されている各照明装置に対する照明制御データを生成するようにしてもよい。これについて、本発明の第二の実施形態として、以下説明するが、上記第一の実施形態と同一部分には同一符号を付し、その説明は省略する。
図31は、本発明の第二の実施形態に係る視聴環境制御装置を示すブロック図である。本実施形態の視聴環境制御装置21は、受信部22において送信側(放送局)から送られてくる放送データを受信し、データ分離部23において放送データに多重化されている映像データ、音声データ、照明制御データ、視聴環境リファレンスデータを分離する。データ分離部3で分離された映像データと音声データとは、それぞれ映像表示装置4と音声再生装置5に送られ、照明制御データと視聴環境リファレンスデータとは、照明制御データ変換部29に送られる。
ここで、図32、図33に視聴環境リファレンスデータの一例を示す。図32は視聴環境リファレンスデータで表される仮想的な視聴環境空間を示し、図33は視聴環境リファレンスデータを示す図である。図32に示すように、視聴環境リファレンスデータで表される空間には、映像表示装置34が視聴環境空間の1つの壁に沿うように配置され、照明装置37が天井、床、4壁に16個ずつ周期的に配置されている。また、図33は、この視聴環境空間を表す視聴環境リファレンスデータを示しており、視聴環境空間の大きさ、壁の色や反射率などの視聴環境空間情報、映像表示装置34の設置位置、画面サイズや画面方向などの映像表示装置情報、そして各照明装置37の映像表示装置に対する位置、照射方向などを表す照明装置情報が含まれる。ここで位置や方向は、映像表示装置34の画面中心を基準とした座標系で表している。また、照明装置37はそれぞれ壁に設置された直接照明としている。図32、図33で示すリファレンスデータは一例であり、上記に限られるものではない。
また、視聴者入力情報受信部6は、視聴者が例えば視聴環境制御装置1の本体に設けられている操作ボタンやリモコン装置で入力した映像表示装置4の設置位置、画面方向および画面サイズなどの映像表示装置情報と、照明装置7の設置位置、種類、サイズおよび照射方向などの照明装置情報と、視聴者の部屋の大きさや壁の色などの視聴環境空間情報を受け取り、CPU8に送る。
CPU8においては、上記視聴者入力情報受信部6で受信した映像表示装置情報、照明装置情報および視聴環境空間情報に基づいて演算を行い、照明装置8の照明制御情報を生成し、照明制御情報記憶部9に送る。ここで、CPU8が行う演算処理は、第一の実施形態で説明した処理と同じであるので説明は省略する。
照明制御情報記憶部9においては、上記CPU8で算出された照明制御情報をテーブル形式で格納する。ここで、照明装置7には予め識別子(以下では「ID」と呼ぶ)が付与されており、上記照明制御情報記憶部9に格納されている照明制御情報は、照明装置7のIDごとにテーブル形式で格納されている。照明制御情報記憶部9に格納された映照明制御情報は、照明制御データ変換部29からの要求に従い、CPU8を介して適宜照明制御データ変換部29に送られる。照明制御データ変換部29は、データ分離部3で分離された視聴環境リファレンスデータとCPU8から送られる視聴環境制御情報とに基づいて、データ分離部3で分離された照明制御データを、視聴環境空間に設置された各照明装置7の位置に応じた適切な照明制御データに変換し、照明装置7へ送る。
ここで、照明制御データの変換方法は、CPU8の内部メモリに記憶されているリファレンスモデル情報と外部装置より取得した視聴環境リファレンスデータとを比較し、CPU8から送られる照明制御情報により表される照明位置と視聴環境リファレンスデータにより表される照明位置との対応関係に基づいて、外部装置より取得した仮想的な視聴環境空間の照明装置に対応した照明制御データを、実際の視聴環境空間の照明装置に対応した照明制御データに変換すればよい。
具体的には、図19、図20に示すリファレンスモデルと、図32、図33に示す放送波に多重され送信されてきたリファレンスデータとを、画像表示装置の設置位置と画面方向とが一致するように座標変換し、リファレンスモデルにおける照明装置v1〜v54が、リファレンスデータにより表される照明装置s1〜s96のどの照明装置に対応するのかを算出する。ここで、この算出方法についてリファレンスモデルの天井に設置されている照明装置v1〜v9を例にとり図34、図35とともに説明する。また、図34の例では、分かりやすく説明するため、リファレンスモデルとリファレンスデータとの視聴環境空間の天井の大きさは同じであるとする。図34において、リファレンスモデルにおける照明装置v1〜v9は、それぞれリファレンスデータにおける照明装置s1〜s16のうちのいずれかに対応している。例えばリファレンスモデルにおける照明装置v1は、リファレンスデータにおける照明装置のs1、s2、s5、s6に対応している。
ここで、図35は、リファレンスモデルにおける照明装置v1とリファレンスデータにおける照明装置s1、s2、s5、s6との対応位置関係と面積比率を示す図である。リファレンスモデルにおける照明装置v1に対応するリファレンスデータにおける照明装置s1、s2、s5、s6の面積比率は、(s1:s2:s5:s6)が(5:2:2:1)となる。これで、リファレンスモデルにおける照明装置v1に対応するリファレンスデータにおける照明装置およびその面積比率が算出でき、同様の方法でリファレンスモデルにおけるその他の照明装置についてもリファレンスデータにおける照明装置との対応位置関係と面積比率を算出する。
次に、照明制御データ変換部29では照明制御情報記憶部9に格納されCPU8を介して読み出された映照明制御情報(実際の視聴環境空間における照明装置とリファレンスモデルにおける照明装置との対応位置関係の情報)と、上述で算出したリファレンスモデルにおける照明装置とリファレンスデータにおける照明装置との対応位置関係より、実際の視聴環境空間における照明装置をリファレンスデータにおける照明装置との対応位置関係に変換する。そして、リファレンスデータとともに外部装置より取得した照明制御データを実際の視聴環境空間における照明装置に対応するリファレンスデータにおける照明装置の面積比率に応じて重み付けをし、実際の視聴環境空間における照明装置を適切に照明制御する照明制御データを算出し、各照明装置7へ送る。
尚、照明装置7へ送られる照明制御データは、映像データおよび音声データと出力タイミングを合わせる必要があるため、照明制御データ変換部29には、例えば照明制御データ変換部29において照明制御データを生成するのに必要な時間だけ、データ分離部3で分離された映像データと音声データを遅らせ、照明制御データと同期をとるためのディレイ発生部30a,30bが設けられている。
視聴環境制御装置をこのような構成にすることにより、映像特徴量/音声特徴量から照明制御データを生成する機能を設けることなく、視聴環境空間に設置されている1以上の照明装置7を、その設置位置に応じて適切に制御することができる。また、視聴環境空間内における照明装置7の設置位置を変更した場合や、照明装置7を追加した場合などにおいても常に適切な照明制御が可能になる。
以上では、本発明の第二の実施形態として、CPU8の内部メモリにリファレンスモデル情報を予め格納し、まず、視聴者により入力された実際の視聴環境空間における照明装置7の設置位置情報をリファレンスモデルにおける照明装置の対応位置情報に変換し、次に、リファレンスモデルにおける照明装置を外部装置から送られてくるリファレンスデータにおける照明装置の対応位置情報に変換させ、その後に、実際の視聴環境空間における照明装置7をリファレンスデータにおける照明装置の対応位置情報に変換させて照明制御データを生成する変換方法を説明した。しかしながら、照明制御データ変換方法は上記に限定されるものではなく、必ずしもリファレンスモデルは必要ではない。
例えば、視聴者による入力情報から照明装置7と映像表示装置4との相対位置に関わる情報を取得し、該情報と外部装置から送られるリファレンスデータとを、それぞれの映像表示装置の位置および画面方向が一致するように配置して比較し、実際の視聴環境空間における照明装置が対応するリファレンスデータにおける照明装置および面積比率を算出し、実際の視聴環境空間における照明装置を適切に照明制御する照明制御データへ変換するような方法でもよい。また、さらにもっと別の方法でもよい。
また、本実施形態においては、照明制御データと視聴環境リファレンスデータとが映像データに付加されて放送されるものについて説明したが、照明制御データは放送波に多重されて送信され、視聴環境リファレンスデータは外部のサーバー装置等からインターネットなどを介して取得できるような場合、さらに映像表示装置4の位置を変更した場合においても、本発明を適用することができるのは言うまでもない。
さらに、照明制御情報記憶部に格納された照明制御情報を、一旦インターネット等を介して外部のサーバ装置に送信し、該サーバ装置にて視聴者の視聴環境空間における照明装置の設置状態などに応じた照明制御データを生成して、これをインターネット等を介して受信し、各照明装置に対する照明制御データとする仕組みにしてもよい。これについて、本発明の第三の実施形態として、以下説明するが、上記第一の実施形態と同一部分には同一符号を付し、その説明は省略する。
図36は、本発明の第三の実施形態に係る視聴環境制御装置を示すブロック図である。本実施形態の視聴環境制御装置31は、第1の受信部32において送信側(放送局)から送られてくる放送データを受信し、データ分離部3において放送データに多重化されている映像データと音声データとを分離する。データ分離部3で分離された映像データと音声データとは、それぞれ映像表示装置4と音声再生装置5に送られる。
また、視聴者入力情報受信部6は、視聴者が例えば視聴環境制御装置31の本体に設けられている操作ボタンやリモコン装置で入力した映像表示装置の設置位置、画面方向および画面サイズなどの映像表示装置情報と、照明装置の設置位置、種類、サイズおよび照射方向などの照明装置情報と、視聴者の部屋の大きさや壁の色などの視聴環境空間情報を受け取り、照明制御情報記憶部9に送る。
照明制御情報記憶部9においては、上記視聴者入力情報受信部6で受信した映像表示装置情報、照明装置情報、視聴環境空間情報をテーブル形式で格納する。ここで、照明装置7には予め識別子(以下では「ID」と呼ぶ)が付与されており、照明制御情報記憶部9に格納されている照明装置情報は、照明装置7のIDごとにテーブル形式で格納される。CPU41はユーザによる指示等に基づいて、映像表示装置4で表示する番組コンテンツに関する照明制御データの送信要求を、送信部42を介して外部のサーバ装置へ通知する。このとき、CPU41からの指令に従い、照明制御情報記憶部9に格納された照明制御情報とCPU41の内部メモリに記憶されているリファレンスモデル情報とが、送信部42より外部のサーバ装置に送られる。
そして、外部のサーバ装置では、上記照明制御情報及びリファレンスモデル情報に基づいて、送信要求のあった番組コンテンツに関する照明制御データを生成し、要求元である視聴環境制御装置へ送信する。この外部のサーバ装置から送信された照明制御データは第2の受信部43で受信され、一旦CPU41内で保持される。そして、CPU41は、データ分離部3で分離された映像データのTC(タイムコード)に対応する照明制御データを照明装置7へ送る。すなわち、外部のサーバ装置から送信された照明制御データは、映像データの出力タイミングと同期して出力されることが可能なように、映像データのTC(タイミングコード)に関連付けてフレーム単位で記述されている。
尚、視聴者入力情報受信部6の動作は、上述した第一の実施形態のものと同様であるので、ここでは説明を省略する。また、本実施形態においては、上記第二の実施形態における照明制御データ変換部29の機能を、外部装置に設けたということができる。すなわち、視聴環境制御装置31は、実際の視聴環境空間における照明装置の配置/数に応じた照明制御データを、外部装置から取得することが可能となっている。
視聴環境制御装置をこのような構成にすることにより、映像特徴量/音声特徴量から照明制御データを生成する機能、及び視聴環境に応じて照明制御データを変換する機能を設けることなく、視聴環境空間に設置されている1以上の照明装置7を、その設置位置に応じて適切に制御することができる。また、視聴環境空間内における照明装置7の設置位置を変更した場合や、照明装置7を追加した場合、さらに映像表示装置4の位置を変更した場合などにおいても常に適切な照明制御が可能になる。
以上では、本発明の第三の実施形態として、CPU41の内部メモリに予めリファレンスモデル情報を格納し、視聴者により入力された実際の視聴環境空間における照明装置7の設置位置情報をリファレンスモデルにおける照明装置の対応位置情報に変換して、求めた照明制御情報を外部のサーバ装置へ送信し、外部のサーバ装置で照明制御データを生成することを説明した。しかしながら、照明制御データ変換方法は上記に限定されるものではなく、必ずしもリファレンスモデルは必要ではない。例えば、視聴者による入力情報から照明装置7と映像表示装置4との相対位置に関わる情報を取得し、その情報を外部のサーバ装置へ送信し、サーバ装置は該情報に基づいて実際の視聴環境空間における照明装置を適切に照明制御する照明制御データを算出するようにしてもよい。また、さらにもっと別の方法でもよい。
尚、上記説明において、番組コンテンツとは、テレビジョン放送によって伝送されるテレビジョン番組に係るコンテンツに限らず、DVDなどのメディア媒体に格納された作品に係るコンテンツであってもよい。すなわち、入力映像データはテレビジョン放送を受信して得られるものに限らず、外部再生装置より再生された映像データを入力する場合にも、本発明を適用することが可能である。