JP4889731B2 - 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 - Google Patents

Description

【技術分野】
【０００１】
本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能な視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法に関するものである。
【背景技術】
【０００２】
例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。
【０００３】
例えば、特開平２−１５８０９４号公報には、カラーテレビの表示映像の色信号（ＲＧＢ）と輝度信号（Ｙ）とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号（ＲＧＢ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。
【０００４】
また、例えば特開平２−２５３５０３号公報には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
【０００５】
さらに、例えば特開平３−１８４２０３号公報には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のＲＧＢ信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した従来の視聴環境制御装置においては、表示すべき映像信号における１フレーム（画面）毎の特徴量（色信号及び輝度信号）を検出し、照明光を制御している。しかしながら、例えばニュース／報道に係る番組などは、事実を忠実に伝えることが望ましいため、フレーム単位で照明光を煩雑に変化させるのは不適切であり、明るく落ち着いた視聴環境を実現するべきである。
【０００７】
また、上記従来の技術のように、映像信号の１フレーム毎に照明光を制御する構成では、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。
【０００８】
例えば、野外で行われるスポーツの番組映像は、基本的にはデイゲームの場合は太陽光、ナイトゲームの場合は会場の照明光の下で撮影されるため、視聴環境を演出する照明光もこれに即した色、輝度とすることが望ましい。しかしながら、映像信号に含まれるグラウンドの土や芝生、選手の顔やユニフォームなどの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、却ってスポーツ会場の臨場感や雰囲気を損なってしまうことになる。
【０００９】
図１は、上記従来の技術による照明制御の問題点の一例を説明するための図であり、連続する動画像の一部を示すものである。図１に示す例では、晴天の日中の屋外で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークにより撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
【００１０】
このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。
【００１１】
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、晴天下の雰囲気のシーンであるにもかかわらず、同じシーン内で照明光の色味が変化してしまい、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００１２】
そして、上記従来の技術では、例えば映像を構成する１つのシーンの表示中であっても、フレーム毎の輝度や色相の変化に応じて照明光が変動してしまうため、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持するのに不適当となる。映像のシーンは、例えば映像制作者（脚本家や演出家など）の意図により、一連の場面設定に基づく一区切りの映像として作成される。このようなシーン内で照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。このようなフレーム単位での照明光の制御による弊害は、特にドラマ、映画などの番組で顕著に現れる。
【００１３】
図２は、上記従来の技術による照明制御の問題点の他の例を説明するための図である。図２に示す例では、月夜の屋外で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がアップショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。
【００１４】
このような場合、ショット１では、月夜の比較的暗い映像が連続している。これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、アップショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。
［００１５］
このように、一つの雰囲気が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
［００１６］
また、上記従来の技術においては、表示すべき映像信号の特徴量（色信号及び輝度信号）から、撮影現場の場（雰囲気）を推定して照明光を制御しているので、場（雰囲気）の推定誤りが発生した場合、不自然な照明光を生成してしまうという問題がある。一般的に映像コンテンツ種別（ジャンル）毎に撮影現場の状況や照明が特徴付けられ、視聴コンテンツの特徴から逸脱した視聴環境照明は却って臨場感を損なう。
［００１７］
さらに、例えば同じ音楽番組であっても、派手な雰囲気やスピード感、迫力が重視されるロック／ポップス、ライブ／コンサートに係る番組と、落ち着いた雰囲気の中でじっくりと傾聴すべきクラシック／オペラに係る番組とでは、視聴環境を演出するための最適な照明光制御も異なってくる。
［００１８］
本発明は、上記課題に鑑みてなされたものであり、視聴するコンテンツ種別（ジャンル）に応じた、最適な視聴環境の照明制御を実現することが可能な視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供することを目的とする。
【００１９】
本発明による視聴環境制御装置は、表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を変化させる機能を備え、該機能を前記表示装置に表示される映像コンテンツのジャンルに応じて制御する視聴環境制御装置であって、前記照明装置の照明光を前記映像データの特徴量に基づいて切替制御する時間単位を、前記表示装置に表示される映像コンテンツのジャンルに応じて変化させることを特徴とする。
課題を解決するための手段
［００２０］
また、本発明による視聴環境制御装置は、前記表示装置に表示される映像コンテンツが所定のジャンルである場合、前記映像データの特徴量に関わらず、前記照明装置の照明光を略一定に保持することを特徴とする。
［００２１］
また、本発明による視聴環境制御装置は、前記表示装置に表示される映像コンテンツが所定のジャンルである場合、前記照明装置の照明光を略一定の白色光に保持することを特徴とする。
【００２２】
また、本発明による視聴環境制御装置は、前記時間単位を、フレーム単位、ショット単位、または、シーン単位のいずれかに変化させることを特徴とする。
［００２３］
また、本発明による視聴環境制御装置は、前記表示装置に表示される映像コンテンツが所定のジャンルである場合、前記照明装置の照明光を前記映像データにおけるシーン単位で切替制御することを特徴とする。
［００２４］
また、本発明による視聴環境制御装置は、前記表示装置に表示される映像コンテンツのジャンルに応じて、前記映像データの特徴量の変化に対する前記照明装置の照明光の変化の追従性を変化させることを特徴とする。
［００２５］
また、本発明による視聴環境制御装置は、前記表示装置に表示される映像コンテンツのジャンルに応じて、前記映像データの特徴量に基づく前記照明装置の照明光の可変範囲を変化させることを特徴とする。
［００２６］
また、本発明による視聴環境制御装置は、前記表示装置に表示される映像コンテンツが所定のジャンルである場合、前記照明装置の照明光の色再現範囲を制限することを特徴とする。
［００２８］
また、本発明による視聴環境制御装置は、前記映像データの特徴量に加え、音声再生装置にて再生すべき音声データの特徴量も用いて、前記照明装置の照明光を変化させることを特徴とする。
［００２９］
また、本発明による視聴環境制御システムは、上述の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする。
【００３０】
また、本発明による視聴環境制御方法は、表示装置に表示すべき映像データの特徴量に応じて、照明装置の照明光を変化させる工程を備え、該工程を前記表示装置に表示される映像コンテンツのジャンルに応じて制御する視聴環境制御方法であって、
前記照明装置の照明光を前記映像データの特徴量に基づいて切替制御する時間単位を、前記表示装置に表示される映像コンテンツのジャンルに応じて変化させることを特徴とする。
発明の効果
［００３２］
本発明の視聴環境制御装置によれば、映像のコンテンツ種別（ジャンル）毎に最適な視聴環境を実現することが可能となる。
【図面の簡単な説明】
［００３３］
［図１］従来技術による照明変動の問題点の一例を説明するための図である。
［図２］従来技術による照明変動の問題点の他の例を説明するための図である。
［図３］本発明の一実施形態に係る視聴環境制御システムの要部概略構成を示すブロック図である。
［図４］本発明の一実施形態に係る視聴環境制御システムにおける照明制御データ生成部を示す機能ブロック図である。
［図５］本発明の一実施形態に係る視聴環境制御システムにおける環境照明の色再現範囲を説明するための説明図である。
［図６］映像の構成要素を説明するための説明図である。
［図７］本発明の一実施形態に係る視聴環境制御システムにおける照明光の映像特徴量に対する追従性を可変するフィルターを示す構成図である。
［図８］本発明の一実施形態に係る視聴環境制御システムにおける照明光の映像特徴量に対する追従性を説明するための説明図である。
［図９］本発明の一実施形態に係る視聴環境制御システムにおける各ジャンルの照明制御例を説明するための説明図である。
［図１０］色差ΔＥのレベルと一般的な視覚の程度を示す説明図である。
符号の説明
［００３４］
１…映像データ抽出部、２…音声データ抽出部、３…ＥＰＧデータ抽出部、４…ジャンル判定部、５…照明制御データ生成部、６…ディレイ発生部、７…映像表示装置、８…ディレイ発生部、９…音声再生装置、１０…ＣＰＵ、１１…照明装置。
【発明を実施するための最良の形態】
【００３５】
図３は、本発明による視聴環境制御システムの要部概略構成を示すブロック図で、図中、１は入力された放送データから映像データとＴＣ（タイムコード）とを分離抽出する映像データ抽出部、２は入力された放送データから音声データとＴＣ（タイムコード）とを分離抽出する音声データ抽出部、３は入力された放送データからＥＰＧ（Electronic Program Guide）データを分離抽出するＥＰＧデータ抽出部、４はＥＰＧデータに含まれるジャンルコードに基づいて、視聴コンテンツのジャンルを判定するジャンル判定部である。
【００３６】
５は映像データ抽出部１、音声データ抽出部２により抽出された映像データ及び音声データの特徴量に基づいて、後述する照明装置１１の照明色及び照明の明るさを制御するための照明制御データを生成する照明制御データ生成部、６は照明制御データ生成部５における処理時間分だけ映像データを遅延して出力するディレイ発生部、７はディレイ発生部６で所定時間だけ遅延された映像データを表示するための映像表示装置、８は照明制御データ生成部５における処理時間分だけ音声データを遅延して出力するディレイ発生部、９はディレイ発生部８で所定時間だけ遅延された音声データを再生するための音声再生装置である。
【００３７】
１０はジャンル判定部４で判定された視聴コンテンツのジャンルを受けて、照明制御データ生成部５における照明制御データの生成処理を制御するための制御データを出力するＣＰＵ、１１は表示映像のジャンル毎に適正化された照明制御データに基づいて、視聴環境空間を照明する照明装置である。
【００３８】
この照明装置１１は、映像表示装置７の周囲に設置されて、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置１１は、映像表示装置７の周囲環境の照明色及び明るさを制御できるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置１１は１個以上設置されていればよい。
【００３９】
また、ここでは、チューナ（図示せず）で受信した放送データを入力する映像受信装置に視聴環境制御装置を適用した例を示しているが、本発明の視聴環境制御装置は、外部の記録再生装置や記録メディアから読み出したデータを入力してもよく、さらに、ネットワークや通信回線を介して伝送されたデータを入力するものであってもよい。また、映像受信装置（視聴環境制御装置）、映像表示装置、音声再生装置のそれぞれが一体的に構成されていてもよいことは言うまでもない。
【００４０】
尚、タイムコードは、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。
【００４１】
ジャンルコードは、例えば、地上デジタル放送やＢＳ、ＣＳデジタル放送の放送データに重畳して送信されてくるＥＰＧデータの一部に含まれているものを利用することができるが、この種のコンテンツ・ジャンルを示す情報は、放送データから分離・取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、メディア媒体内に付加されたコンテンツ内容を表すフラグ（例えば「映画」を示す識別コード）を読み出して、ジャンル判定部４で検出するようにしてもよい。
【００４２】
また、上記放送データは、デジタル放送に限られず、アナログ放送によるものであっても、ジャンル情報の取得が可能である。例えば、ＡＤＡＭＳ−ＥＰＧは、アナログ放送信号に重畳されて送信されるＥＰＧ情報である。
【００４３】
さらに、映像コンテンツのジャンル情報は、入力映像データと同時に入力される場合の他、映像データとは別の経路から入手することも可能である。例えば、ＸＭＬＴＶとはＷｅｂ上で公開されているＴＶ番組表を自動的に取得し、ＸＭＬ化して出力するためのアプリケーションであり、これを利用してネットワーク上から表示する映像のジャンル情報を取得することもできる。
【００４４】
ジャンル情報としてのジャンルコードは、例えば地上デジタル放送の規格において、「ニュース／報道」、「スポーツ」、「情報／ワイドショー」、「ドラマ」、「音楽」、「バラエティ」、「映画」、「アニメ／特撮」、「ドキュメンタリー／教養」、「演劇・公演」、「趣味／教育」、「その他」の番組ジャンルが大分類として規定され、また、各大分類毎に複数の中分類が規定されている。例えば、「スポーツ」の大分類においては、「スポーツニュース」、「野球」、「サッカー」、「ゴルフ」、「その他の球技」、「相撲・格闘技」、「オリンピック・国際大会」、「マラソン・陸上・水泳」、「モータースポーツ」、「マリン・ウィンタースポーツ」、「競馬・公営競技」、「その他」が中分類として規定されている。
【００４５】
本実施形態に係る視聴環境制御システムは、映像表示装置７にて表示すべき映像情報がどのジャンルに属するものかを判別し、常にジャンル毎に適切で望ましい視聴環境を生成すべく、照明装置１１による照明光の制御を行うものである。各ジャンル毎に適切な照明制御データは、例えば図示しないＲＯＭにルックアップテーブルとして保持されており、ＣＰＵ１０はこのテーブルを参照することで、表示する映像のジャンルに応じた制御データを、照明制御データ生成部５に出力する。
【００４６】
図４は、図３に示した照明制御データ生成部５の具体的な構成を説明するための図で、図中、５１は映像データ及び音声データからシーン区間の開始点ＴＣ、終了点ＴＣを検出するシーン区間検出部であり、シーン変化点の検出方法は、公知のものをはじめとする各種の技術を用いることができる。尚、ここでは、シーン区間の検出のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これはシーン変化点の検出精度をより向上させるためであり、映像データの特徴量のみからシーン区間を検出するようにしてもよい。
【００４７】
５２は映像データ及び音声データから撮影現場の照明状態や場面設定（雰囲気）を推定し、その推定結果に従って照明装置１１を制御するための照明制御データを出力する場（雰囲気）推定部であり、撮影時の周囲光の状態の推定方法は、公知のものをはじめとする各種の技術を用いることができる。尚、ここでも、撮影時の場（雰囲気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場（雰囲気）の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場（雰囲気）を推定するようにしてもよい。
【００４８】
また、映像データの特徴量としては、例えば上述した従来例のように、画面の所定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。
【００４９】
この場（雰囲気）推定部５２は、映像データ、音声データの特徴量に基づいて、撮影時の周囲光の色、明るさを推定するものであるが、ここで推定可能な照明光の範囲はＣＰＵ１０からの制御データに応じて可変設定される。すなわち、表示すべき映像のジャンル毎に場（雰囲気）の推定許容範囲が制限され、場（雰囲気）の推定精度を向上させている。これによって、視聴コンテンツのジャンル毎に適正な色再現範囲内で、照明装置１１の照明光を可変することが可能となり、場（雰囲気）の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを防止し、常に最適な視聴環境を実現することができる。
【００５０】
例えば、原色系の派手な照明が好ましくないジャンルの映像を表示する際は、図５（ａ）のｘｙ色度図上において破線で示した色再現範囲内で照明制御がなされるように制限する。すなわち、照明装置１１による照明光の色を、ｘｙ色度図上の黒体軌跡を囲む所定範囲内に制限することにより、局所的に出現する映像特徴量や音声特徴量の影響を受けて、場（雰囲気）推定の誤りが発生するのを抑制し、常に違和感のない落ち着いた室内白色照明による視聴環境を実現することが可能となる。
【００５１】
ここで、黒体はエネルギーを完全に吸収する理想的な物体をさしており、温度が上昇すると発する光の色が赤→黄→白と変化する。このときの絶対温度を色温度という。この色温度と色の軌跡(黒体軌跡)をｘｙ色度図上で表すと、図５（ａ）のようになる。さらに、ｘｙ色度図上に黒体軌跡と等色温度線・等偏差線を描くと、図５（ｂ）のようになる。光源の色が黒体軌跡上にない場合、完全に一致しないが最も近似の黒体の温度を「相関色温度」という。一般的に相関色温度は黒体軌跡からの偏差(Δｕｖ)と共に表される。
【００５２】
また、場（雰囲気）推定部５２は、撮影時の場（雰囲気）を推定して、照明色情報を切り替える映像構成単位が、ＣＰＵ１０からの制御データに応じて可変設定される。すなわち、表示すべき映像のジャンル毎に場（雰囲気）の推定時間単位が制御され、場（雰囲気）の推定精度を向上させている。
【００５３】
例えば、シーン単位で照明装置１１の照明光を切替制御する場合は、シーン区間検出部５１で検出されたシーン開始点から、予め決められた所定数のフレーム分の映像データ、音声データを蓄積部（図示せず）に蓄積し、蓄積されたフレームの映像特徴量、音声特徴量から当該シーンの場（雰囲気）の推定を行うことで、シーン毎に照明制御データを生成する。一方、フレーム単位で照明装置１１の照明光を切替制御する場合は、１フレーム分の映像データ、音声データを蓄積部（図示せず）に蓄積し、蓄積されたフレームの映像特徴量、音声特徴量から当該フレームの場（雰囲気）の推定を行うことで、フレーム毎に照明制御データを生成する。
【００５４】
ここで、本実施形態の視聴環境制御に関連するシーンやショットを含む映像の構成について、図６を参照して説明する。連続する動画像を構成する映像データは、図６に示すように、３層（レイヤ）構成に分けて考えることができる。映像(Ｖｉｄｅｏ)を構成する第１レイヤは、フレーム（Ｆｒａｍｅ）である。フレームは物理的なレイヤであり、単一の２次元画像を指す。フレームは、通常、毎秒３０フレームのレートで得られる。第２レイヤはショット（Ｓｈｏｔ）である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第３レイヤがシーン（Ｓｃｅｎｅ）である。シーンはストーリー的なつながりを有するショット列である。
【００５５】
本実施形態においては、視聴コンテンツのジャンルに応じて、照明装置１１による照明光の切替制御を行う時間単位（映像構成単位）を、フレーム、ショット、シーンのいずれか適切なものに切り替えることによって、同一ショット内、或いは、同一シーン内では照明光を略同一に保持することが可能となり、局所的な場（雰囲気）の推定誤りによって、本来一定であるべき環境照明が変動してしまい、雰囲気や臨場感を損なうようなことを防止することができる。
【００５６】
一方、同一ショット、同一シーン内でも撮影会場の照明変化に素早く追従して、視聴環境照明を切替制御する方が高臨場感を演出する上で好ましい場合は、フレーム単位で照明光を切替制御すればよく、表示すべきコンテンツのジャンルに適した視聴環境を実現することができる。
【００５７】
５３は場（雰囲気）推定部５２により出力された照明制御データを用いて、最終的に照明装置１１に出力する照明制御データを生成する照明切替部であり、視聴コンテンツのジャンルに応じて、場（雰囲気）推定部５２からの照明制御データに対して所定の時間追従性を加えて照明装置１１に出力する他、視聴コンテンツのジャンルに応じて、場（雰囲気）推定部５２からの照明制御データを無効化し、予め設定格納されている固定の照明制御データを読み出して照明装置１１に出力するなどの処理を行う。
【００５８】
照明切替部５３は、映像データ／音声データの特徴量の変化に対する照明装置１１の照明光の変化の追従性を、視聴コンテンツのジャンルに応じて可変設定できるように構成されている。例えば、図７に示すように、フレーム遅延器５３１ａ〜５３１ｅ、重み付け係数の乗算器５３２ａ〜５３２ｄ、加算器５３３からなるデジタルフィルタを用いて、フィルタの加重平均に使用する定数（遅延フレームの段数、或いは、重み付け係数）をＣＰＵ１０からの制御データに従って切り替えることにより、場（雰囲気）推定部５２による場（雰囲気）推定結果の変化に対する照明装置１１に出力する照明制御データの追従性を変化させることが可能である。
【００５９】
例えば、図８に示すように、場（雰囲気）推定部５２より出力された照明制御データ（図８中、破線で示す）の変化に対する照明装置１１の照明光の変化の追従性を、視聴コンテンツのジャンルに応じて３段階で切り替える。これによって、視聴コンテンツのジャンルが、迫力、スピード感、派手な臨場感を演出するのが望ましいものの場合、映像特徴量の変化に対する視聴環境照明の追従性を大きく（追従速度を早く）するように設定したり、一方、過度の照明変化による違和感を抑制し、過ち着いた雰囲気を演出するのが望ましいものの場合は、映像特徴量の変化に対する視聴環境照明の追従性を小さく（追従速度を遅く）する等の制御が可能となり、表示すべき映像のコンテンツのジャンルに適した視聴環境を実現することができる。
【００６０】
また、照明切替部５３は、映像データ／音声データの特徴量に基づいて、照明装置１１の照明光を変化させるか、或いは、映像データ／音声データの特徴量に関わらず、照明装置１１の照明光を略一定に保持するかを、視聴コンテンツのジャンルに応じて切替制御することが可能に構成されている。すなわち、特定ジャンルのコンテンツを表示する際は、予め設定格納されている固定値の照明制御データを読み出して照明装置１１に出力するようにしている。
【００６１】
これによって、例えば一般的な娯楽番組では、映像データ／音声データの特徴量に基づいて、照明装置１１の照明光を変化させる機能をオンし、臨場感を演出する一方、ニュース／報道／教育番組などでは、映像データ／音声データの特徴量に基づいて、照明装置１１の照明光を変化させる機能をオフし、例えば一定の白色照明光を照射することにより、情報収集・学習に適した明るく落ち着いた視聴環境を得ることが可能となり、表示すべき映像のコンテンツのジャンルによって最適な視聴環境を実現することができる。
【００６２】
次に、各ジャンルの映像を表示する際の具体的な視聴環境照明の制御例について、図９とともに以下に説明する。
【００６３】
番組ジャンル（大分類）が「ドラマ」の場合は、制作者の想定する場の雰囲気、或いは、撮影現場の雰囲気を再現することを目的として、シーン単位で映像特徴量、音声特徴量に基づく場（雰囲気）推定結果に連動して照明装置１１による照明光を切替制御する。また、番組ジャンル（大分類）が「ドキュメンタリー／教養」の場合も、撮影現場の雰囲気、或いは、画面の広がりを再現することを目的として、シーン単位で映像特徴量、音声特徴量に基づく場（雰囲気）推定結果に連動して照明装置１１による照明光を切替制御する。
【００６４】
番組ジャンル（大分類）が「バラエティ」の場合は、通常スタジオ内で撮影された映像であるので、収録スタジオの雰囲気を再現することを目的として、スタジオ照明と同じ強い白色照明光を照明装置１１より照射するように制御する。すなわち、映像特徴量、音声特徴量に関わらず、予め用意された固定の照明制御データを用いて、一定の白色照明光を得ることで、撮影スタジオの雰囲気を再現する。
【００６５】
番組ジャンル（大分類）が「音楽」の場合は、基本的にはステージ照明の変化に追従するべく、ショット単位もしくはフレーム単位で映像特徴量、音声特徴量に基づく場（雰囲気）推定結果に連動して照明装置１１による照明光を切替制御する。但し、詳細ジャンル（中分類）が「国内ロック/ポップス」、「海外ロック/ポップス」、「ライブ/コンサート」の場合は、スピード感や迫力ある派手なステージの臨場感を再現するのが望ましいため、場（雰囲気）推定結果に対する照明光の変化の追従性を大きくする。一方、詳細ジャンル（中分類）が「クラシック/オペラ」、「ジャズ/フュージョン」、「歌謡曲/演歌」の場合は、ステージの落ち着いた雰囲気を再現し、過度の照明変化による違和感を抑制するために、場（雰囲気）推定結果に対する照明光の変化の追従性を小さくする。
【００６６】
番組ジャンル（大分類）が「映画」で、詳細ジャンル（中分類）が「洋画」、「邦画」の場合は、制作者の想定する場の雰囲気、或いは、撮影現場の雰囲気をシーン単位で再現するのが望ましいため、シーン単位で映像特徴量、音声特徴量に基づく場（雰囲気）推定結果に連動して照明装置１１による照明光を切替制御する。一方、番組ジャンル（大分類）が「映画」で、詳細ジャンル（中分類）が「アニメ映画」の場合は、視聴者の多くが子供であり、過度の光の点滅による発作等の人体への影響を抑制する必要があるため、一定の強い白色照明光を照明装置１１より照射するように制御する。
【００６７】
ここでは、子供の健康障害（発作等）を防止するために、「アニメ映画」番組を表示する際は、明るく一定の白色照明光により視聴環境を生成することとしているが、映像特徴量、音声特徴量の変化に対する照明光の変化の追従性を十分に小さくしたり、照明光の変化し得る範囲を一定範囲内に制限するなどした上で、映像特徴量、音声特徴量に応じて照明光を変化させることにより、子供の健康障害（発作等）を防止しつつ、画面の広がりを再現するようにしてもよい。
【００６８】
尚、番組ジャンル（大分類）が「アニメ/特撮」で、詳細ジャンル（中分類）が「国内アニメ」、「海外アニメ」の場合も、視聴者は子供が多いなどの事情は「アニメ映画」と同じであり、上述した「アニメ映画」の場合と同様の照明制御を行う。
【００６９】
番組ジャンル（大分類）が「スポーツ」の場合は、そのスポーツが屋外競技か屋内競技かで、適切な照明制御は異なる。すなわち、詳細ジャンル（中分類）が「サッカー」、「野球」、「ゴルフ」、「モータースポーツ」、「テニス」、「マラソン/陸上」、「ラグビー」、「競馬」、「競輪」、「競艇」、「アメリカンフットボール」、「ウィンタースポーツ」の場合は、屋外のスポーツ会場の雰囲気を再現するために、映像特徴量、音声特徴量に関わらず、一定の明るい白色照明光を照明装置１１より出射するように制御して、映像特徴量、音声特徴量に基づく場（雰囲気）推定の誤りが発生して違和感のある照明がなされることを防止する。
【００７０】
厳密には、デイゲームのスポーツ番組の場合は、太陽光に近い照明光、ナイトゲームのスポーツ番組の場合は、会場照明光に近い照明光を生成するのが望ましく、ＥＰＧデータに含まれる番組詳細情報やデータ放送によって得られる番組情報などを利用して、照明装置１１より照射する照明光を制御するようにしてもよい。
【００７１】
また、番組ジャンル（大分類）が「スポーツ」で、詳細ジャンル（中分類）が「バスケット」、「ボクシング」、「プロレス」、「バレーボール」、「格闘技」の場合は、屋内のスポーツ会場で撮影されるものである。従って、これらのジャンルのコンテンツを表示する際、ゲーム（試合）中は基本的に会場照明と同じく強い一定の白色照明光を照明装置１１より照射するのが望ましいが、ゲーム（試合）前後のセレモニー等の場面では、視聴環境照明もショット単位もしくはフレーム単位で会場の照明変化に追従させて、臨場感を向上させるのが好ましい。
【００７２】
すなわち、ゲーム（試合）中の映像を表示する際は、映像特徴量、音声特徴量に関わらず、予め用意された固定の照明制御データを用いて、一定の白色照明光を得るとともに、ゲーム（試合）中以外の映像を表示する際には、フレーム単位で映像特徴量、音声特徴量に基づく場（雰囲気）推定結果に連動して、照明装置１１の照明光を可変制御する。
【００７３】
ここで、ゲーム（試合）中の映像か否かは、例えば映像データに含まれるスコアやタイム表示などの字幕テロップの有無を検出したり、音声データに音楽の特徴が含まれているかどうかを検出することにより、自動判別することができる。
【００７４】
番組ジャンル（大分類）が「情報/ワイドショー」及び「ニュース/報道」の場合は、通常スタジオ内で撮影された映像であり、且つ、情報収集に適した明るく落ち着いた視聴環境が好ましいため、スタジオ照明と同じ強い白色照明光を照明装置１１より照射するように制御する。すなわち、映像特徴量、音声特徴量に関わらず、予め用意された固定の照明制御データを用いて、一定の白色照明光を得ることで、情報収集に適した視聴環境を提供することができる。
【００７５】
番組ジャンル（大分類）が「劇場/公演」の場合は、基本的に舞台の雰囲気を再現することを目的とし、舞台照明変化に追従すべく、ショット単位もしくはフレーム単位で場（雰囲気）推定結果に連動して、照明装置１１の照明光を切り替えるように制御する。ところで、番組ジャンル（大分類）が「劇場/公演」の中でも、詳細ジャンル（中分類）が「現代劇/新劇」、「ミュージカル」、「ダンス/バレー」の場合は、原色系の派手な舞台照明による演出効果が多用されており、このような迫力ある舞台の雰囲気を再現するため、照明装置１１による照明光の色再現範囲を大きく設定する。
【００７６】
これに対して、詳細ジャンル（中分類）が「歌舞伎/古典」、「落語/演芸」の場合は、原色系の派手な舞台照明が用いられることはあまりないため、照明装置１１による照明光の色再現範囲を小さく設定し、映像特徴量、音声特徴量に基づく場（雰囲気）推定の誤りが発生して違和感のある照明がなされることを防止する。
【００７７】
番組ジャンル（大分類）が「趣味/教育」で、詳細ジャンル（中分類）が「旅／探訪／紀行」、「釣り」の場合は、撮影現場の雰囲気、或いは、画面の広がりを再現することを目的として、シーン単位で映像特徴量、音声特徴量に基づく場（雰囲気）推定結果に連動して照明装置１１による照明光を切替制御する。
【００７８】
一方、番組ジャンル（大分類）が「趣味/教育」で、詳細ジャンル（中分類）が「芸術」、「囲碁/将棋」、「マージャン/パチンコ」、「コンピュータ/TVゲーム」、「会話/語学」、「幼児教育」、「教育」、「その他」の場合は、学習に適した明るく落ち着いた視聴環境が好ましいため、室内照明と同じ白色照明光を照明装置１１より照射するように制御する。すなわち、映像特徴量、音声特徴量に関わらず、予め用意された固定の照明制御データを用いて、一定の白色照明光を得ることで、学習に適した視聴環境を提供することができる。
【００７９】
以上詳述したとおり、本実施形態の視聴環境制御システムは、映像表示装置７に表示する映像のコンテンツ種別（ジャンル）に応じて、照明装置１１の照明光を制御することで、常に最適な視聴環境を提供することが可能になる。
【００８０】
具体的には、例えば、視聴コンテンツが「バラエティー」、「情報/ワイドショー」、「アニメ/特撮」、「ニュース/報道」（以上、大分類）、「アニメ映画」、「サッカー」、「野球」、「ゴルフ」、「モータースポーツ」、「テニス」、「マラソン/陸上」、「ラグビー」、「競馬」、「競輪」、「競艇」、「アメリカンフットボール」、「ウィンタースポーツ」、「芸術」、「囲碁/将棋」、「マージャン/パチンコ」、「コンピュータ/TVゲーム」、「会話/語学」、「幼児教育」、「教育」（以上、中分類）などの特定のジャンルである場合、映像データの特徴量に関わらず、照明装置１１の照明光を略一定の白色光に保持する。
【００８１】
尚、上述の一実施形態においては、照明装置１１の照明光を略一定の白色光にする方法として、照明切替部５３で予めジャンル毎に用意された固定の照明制御データを出力するように切り替えるようにしているが、これに限らず、例えば場（雰囲気）推定部５２より出力される照明制御データを、予めジャンル毎に用意された固定の照明制御データとするようにしてもよい。
【００８２】
また、例えば、視聴コンテンツが「ドラマ」、「ドキュメンタリー/教養」（以上、大分類）、「洋画」、「邦画」、「旅/探訪/紀行」、「釣り」（以上、中分類）などの特定のジャンルである場合は、照明装置１１の照明光を映像データにおけるシーン単位で切替制御する。尚、上述の一実施形態においては、照明装置１１の照明光を切替制御する映像構成単位を変化させる方法として、場（雰囲気）推定部５２での場（雰囲気）推定単位を可変制御するようにしているが、これに限らず、例えば照明切替部５３での照明制御データ切替単位を可変制御するようにしてもよい。
【００８３】
さらに、例えば、視聴コンテンツのジャンルが「音楽」（大分類）であっても、「国内ロック/ポップス」、「海外ロック/ポップス」、「ライブ/コンサート」（中分類）の場合は、「クラシック/オペラ」、「ジャズ/フュージョン」、「歌謡曲/演歌」（中分類）の場合に比べて、映像データの特徴量の変化に対する照明装置１１の照明光の変化の追従性を大きくするように変化させる。
【００８４】
尚、上述の一実施形態においては、映像データの特徴量の変化に対する照明装置１１の照明光の変化の追従性を変化させる方法として、加重平均フィルタの定数を可変するようにしているが、これに限らず、例えば映像データの特徴量の変化が所定の閾値を超えたときに、照明光を変化させる構成としておき、この所定の閾値をジャンル毎に切り替えるようにしてもよい。また、閾値を超える変化が所定の時間以上継続したときに、照明光を変化させる構成としておき、この所定の時間をジャンル毎に切り替えるようにしてもよい。
【００８５】
そしてまた、例えば、視聴コンテンツのジャンルが「劇場/公演」（大分類）であっても、「歌舞伎/古典」、「落語/演芸」（中分類）の場合は、「現代劇/新劇」、「ミュージカル」、「ダンス/バレー」（中分類）の場合に比べて、照明装置１１の照明光の色再現範囲を小さくするように制限する。尚、上述の一実施形態においては、照明装置１１の照明光の色再現範囲を変化させる方法として、場（雰囲気）推定部５２での場（雰囲気）推定範囲を可変制御するようにしているが、これに限らず、例えば場（雰囲気）推定部５２より出力された照明制御データを照明切替部５３で所定範囲内に収まるように変換するようにしてもよい。
【００８６】
尚、上述の照明光を「略一定」に保持するとは、照明光の変動が視聴者にとって臨場感を損なわない程度、範囲を示す。人間の視覚には、色の許容差が存在することは本願の出願時によく知られた事項であり、例えば、図１０は色差ΔＥのレベル分けと一般的な視覚の程度を示したものである。本発明における略一定の範囲として、図１０中の印象レベルでは同じ色として扱える範囲、すなわち色差ΔＥ＝６.５以下となるレベル範囲が好適であるが、系統色で区別がつかない程度の色の差として扱える範囲、すなわち色差ΔＥ＝１３未満となるレベル範囲内に収まればよい。
【００８７】
また、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、視聴環境制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。

Claims (11)

1. 表示装置に表示すべき映像データの特徴量に基づいて、照明装置の照明光を変化させる機能を備え、該機能を前記表示装置に表示される映像コンテンツのジャンルに応じて制御する視聴環境制御装置であって、
   前記照明装置の照明光を前記映像データの特徴量に基づいて切替制御する時間単位を、前記表示装置に表示される映像コンテンツのジャンルに応じて変化させることを特徴とする視聴環境制御装置。
2. 前記請求項１に記載の視聴環境制御装置において、
   前記表示装置に表示される映像コンテンツが所定のジャンルである場合、前記映像データの特徴量に関わらず、前記照明装置の照明光を略一定に保持することを特徴とする視聴環境制御装置。
3. 前記請求項２に記載の視聴環境制御装置において、
   前記表示装置に表示される映像コンテンツが所定のジャンルである場合、前記照明装置の照明光を略一定の白色光に保持することを特徴とする視聴環境制御装置。
4. 前記請求項１に記載の視聴環境制御装置において、
   前記時間単位を、フレーム単位、ショット単位、または、シーン単位のいずれかに変化させることを特徴とする視聴環境制御装置。
5. 前記請求項１に記載の視聴環境制御装置において、
   前記表示装置に表示される映像が所定のジャンルである場合、前記照明装置の照明光を前記映像データにおけるシーン単位で切替制御することを特徴とする視聴環境制御装置。
6. 前記請求項１に記載の視聴環境制御装置において、
   前記表示装置に表示される映像コンテンツのジャンルに応じて、前記映像データの特徴量の変化に対する前記照明装置の照明光の変化の追従性を変化させることを特徴とする視聴環境制御装置。
7. 前記請求項１に記載の視聴環境制御装置において、
   前記表示装置に表示される映像コンテンツのジャンルに応じて、前記映像データの特徴量に基づく前記照明装置の照明光の可変範囲を変化させることを特徴とする視聴環境制御装置。
8. 前記請求項７に記載の視聴環境制御装置において、
   前記表示装置に表示される映像コンテンツが所定のジャンルである場合、前記照明装置の照明光の色再現範囲を制限することを特徴とする視聴環境制御装置。
9. 前記請求項１乃至８のいずれかに記載の視聴環境制御装置において、
   前記映像データの特徴量に加え、音声再生装置にて再生すべき音声データの特徴量も用いて、前記照明装置の照明光を変化させることを特徴とする視聴環境制御装置。
10. 前記請求項１乃至９のいずれかに記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
11. 表示装置に表示すべき映像データの特徴量に応じて、照明装置の照明光を変化させる工程を備え、該工程を前記表示装置に表示される映像コンテンツのジャンルに応じて制御する視聴環境制御方法であって、
    前記照明装置の照明光を前記映像データの特徴量に基づいて切替制御する時間単位を、前記表示装置に表示される映像コンテンツのジャンルに応じて変化させることを特徴とする視聴環境制御方法。

Images