JP5166794B2 - 視聴環境制御装置および視聴環境制御方法 - Google Patents

Description

本発明は、視聴環境空間内に設置された照明装置の照明光を制御することにより、映像鑑賞時の臨場感を向上させることが可能な視聴環境制御装置及び視聴環境制御方法に関するものである。

近年、映像・音声に係るエレクトロニクス技術の急速な進歩により、ディスプレイの大型化、広視野角化、高精細化やサラウンドシステムの向上が進み、臨場感のある映像や音声が楽しめるようになってきている。例えば、現在普及しつつあるホームシアターシステムにおいては、大型ディスプレイやスクリーンと多チャンネル音声・音響技術との組み合わせにより、高い臨場感を得ることができるシステムを実現している。

また、特に最近では、単に一つの表示装置で映像を楽しむものではなく、複数のディスプレイを組み合わせて広視野な映像を視聴するシステムや、ディスプレイに表示される映像と照明装置の照明光とを連動させるシステムなどが提案されており、複数のメディアを組み合わせて、より臨場感が高められるようなシステムの開発が盛んに行われている。

特に、ディスプレイと照明装置とを連動させて高い臨場感を実現する技術においては、大型ディスプレイを用いなくても高い臨場感が得られることから、コストや設置スペース等の制約が少なく、大きな期待が寄せられ、大変注目を浴びている。

この技術によれば、視聴者の部屋（視聴環境空間）に設置されている複数の照明装置の照明光を、ディスプレイに表示される映像に応じた色や強さにコントロールすることにより、視聴者があたかもディスプレイに映し出されている映像空間の中に実在するかのような感覚・効果を与えることができる。このようなディスプレイに表示される画像と照明装置の照明光とを連動させる技術は、例えば特開２００１−３４３９００号公報や特開平３−１８４２０３号公報に開示されている。

特開２００１−３４３９００号公報に開示されている技術は、高い臨場感を提供することを目的としたもので、複数の照明装置を表示すべき映像に連動させて制御する照明システムにおいて、映像データの特徴量（代表色、平均輝度）から複数の照明装置に対する照明制御データを生成する方法が記載されている。具体的には、各照明装置の設置位置に応じて予め決められた画面領域の映像データの特徴量を検出し、この検出された特徴量に基づいて各照明装置に対する照明制御データを生成することが記載されている。

また、照明制御データは、映像データの特徴量から演算して求めるものに限らず、単独で或いは映像データとともに、インターネット等を介して配信されるものや、搬送波により配信されるものを用いてもよいことが記載されている。

さらに特開平３−１８４２０３号公報では、原画像から人の顔など肌色の部分を取り除き、肌色部分を取り除いた画像のR(赤色)、G(緑色)、B(青色)の色信号と、輝度信号とから、適切な照明制御を行うことが記載されている。

特開２００１−３４３９００号公報 特開平３−１８４２０３号公報

しかしながら、上述の特開２００１−３４３９００号公報に記載のものは、映像中に含まれる光源の面積が小さい場合、ヒストグラムによって導かれた代表色を特徴量とすると、映像中の光源が視聴環境照明に反映されず、また、平均輝度を特徴量とすると、映像中の光源の視聴環境照明への反映度合いが下がってしまい、映像中に含まれる光源が効果的に視聴環境照明に反映されないという問題があった。また例えば、複数の色の分布にあまり差がない場合、代表色の影響が強く出すぎてしまい、好ましい視聴環境照明を行うことができないという問題があった。

また、上述の特開平３−１８４２０３号公報に記載の肌色部分を取り除いた画像のR(赤色)、G(緑色)、B(青色)の色信号と、輝度信号とから、照明制御を行う方法では、例えば夜のシーンで人物がアップになっている映像の場合、撮影照明に照らされている体の部分（肌色部分以外）の明るさに影響を受けて視聴環境照明が明るくなってしまい、暗闇の雰囲気が出せないという問題があった。

本発明は、上記従来技術の問題点に鑑みてなされたものであり、映像表示装置に表示される画像に応じて適切に照明制御を行うことができる照明制御方法を提供することを目的とするものである。

本発明は、次のような技術手段によって前記課題を解決する。

本願の第１の技術手段は、表示装置の周囲を照明する照明装置が前記表示装置の所定の表示領域に対応して設置され、表示装置の前記所定の領域に表示される映像データに応じて前記照明装置の照明光を制御する視聴環境制御装置において、前記所定の表示領域に表示されるフレームにおける分割された複数の各ブロックを構成する画素の映像データの平均値を前記各ブロックの特徴量とし、前記各ブロックについて、該ブロックの前記特徴量に基づき当該ブロックの画像内容を表す予め定めたモードを割り付けるモード選択部と、前記フレームにおける前記所定の表示領域に含まれる前記各ブロックについて割り付けられた前記モードの頻度分布を求め、該頻度分布に基づき、予め定めた複数の重み付け値テーブルから一つの重み付けテーブルを選択し、該選択した重み付けテーブルに従って前記各ブロックの前記特徴量に対して重み付け演算を行って前記照明光を制御する制御データを算出する照明制御データ算出部を備え、前記複数の重み付け値テーブルは、前記頻度分布と前記モードに基づき前記各ブロックの前記特徴量の重み付けを定めた視聴環境制御装置を特徴とする。

本願の第２の技術手段は、第１の技術手段の視聴環境制御装置において、前記照明装置はＲＧＢ照明装置であることを特徴とする。

本願の第３の技術手段は、第１又は第２の技術手段の視聴環境制御装置において、前記ブロックの特徴量は、ブロックを構成する画素の映像データにおける明度、彩度、色相の各データであることを特徴とする。

本願の第４の技術手段は、第１〜第３の何れかの技術手段の視聴環境制御装置において、前記モード選択部は、モード割付対象ブロックの特徴量の解析による当該ブロックの画像の高周波成分、明るさ、色などの特徴、及び／又は前記割付対象ブロックの特徴量のフレーム間差分に基づいて割り付けられることを特徴とする。

本願の第５の技術手段は、第４の技術手段の視聴環境制御装置において、前記ブロックに割り付けられるモードは、ブロックの画像内容が被写体であることを示す被写体モード、同光源であることを示す光源モード、同夜景であることを示す夜景モード、同特定色であることを示す特定色モード、同均一背景であることを示す均一背景モード、同多様背景であることを示す多様背景モードの何れかであることを特徴とする。

本願の第６の技術手段は、表示装置の周囲を照明する照明装置が前記表示装置の所定の表示領域に対応して設置され、表示装置の前記所定の領域に表示される映像データに応じて前記照明装置の照明光を制御する視聴環境制御方法において、前記所定の表示領域に表示されるフレームにおける分割された複数の各ブロックを構成する画素の映像データの平均値を前記各ブロックの特徴量を取得し、前記各ブロックについて、該ブロックの前記特徴量に基づき当該ブロックの画像内容を表す予め定めたモードを割り付け、前記フレームにおける前記所定の表示領域に含まれる前記各ブロックについて割り付けられた前記モードの頻度分布を求め、該頻度分布に基づき、予め定めた頻度分布と当該頻度分布のフレームにおける各ブロックの前記特徴量に対して重み付け演算を行う、前記照明光を制御する制御データの演算方法を選択して算出する視聴環境制御方法を特徴とする。

本発明によれば、映像表示装置の表示画面に表示される映像がいかなる場合であっても、表示映像と連動した適切な照明装置の制御が可能になる。

本発明の実施形態に係る視聴環境制御装置及び視聴環境制御システムについて、図１乃至図１０とともに説明する。

図１は、本発明の実施形態に係る視聴環境制御装置を示すブロック図である。本実施形態の視聴環境制御装置１は、受信部２において送信側（放送局）から送られてくる放送データを受信し、データ分離部３において放送データに多重化されている映像データと音声データとを分離する。データ分離部３で分離された映像データと音声データとは、それぞれ映像表示装置４と音声再生装置５に送られる。

次に、照明制御データ生成部６は、データ分離部３で分離された映像データ、音声データとから、各照明装置７の設置位置に応じた適切な照明制御データを生成し、照明装置７へ送る。

また、照明装置７へ送られる照明制御データは、映像データおよび音声データと出力タイミングを合わせる必要があるため、例えば照明制御データ生成部６において照明制御データを生成するのに必要な時間だけ、データ分離部３で分離された映像データと音声データを遅らせ、照明制御データと同期をとるためのディレイ発生部８ａ，８ｂを設けている。

視聴環境制御装置１をこのような構成にすることにより、視聴環境空間に設置されている１以上の照明装置７を、映像表示装置４の表示画面に映し出される映像に応じて適切に制御することができる。

尚、視聴環境制御装置１は、映像表示装置４、音声再生装置５と一体的に設けられてもよいし、それぞれ別体として設けられてもよい。ここでは、視聴環境制御装置１が、映像表示装置４、音声再生装置５と一体的に設けられている場合について説明する。

次に、図１の照明制御データ生成部６における照明制御データ生成動作の概略について説明する。

照明制御データ生成部６では、まず、映像表示装置４の表示画面を所定の大きさの領域に分割する（以下、所定の大きさの領域のことを『ブロック』と称する）。次に、映像表示装置４の表示画面に含まれる全てのブロックに対し、予め用意されている複数の特徴パターンの中から１つを選択して割り付ける（以下、特徴パターンのことを『モード』と称する）。次に、視聴環境空間に設置されている照明装置を制御するための、映像データの特徴量を検出する画面領域を決定する。さらに、各特徴量検出領域に対し、該特徴量検出領域内の各ブロックに割り付けられたモードの分布に基づいて、予め用意されている重み付け値テーブルの中から１つを選択する。ここで、モードの分布とは頻度分布のことを示すものであり、重み付け値テーブルの選択は、特徴量検出領域に含まれる各モードブロックの割合によって複数の重み付け値テーブルの中から１つを選択することである。そして、選択された重み付け値テーブルと各ブロックのモードデータおよび各ブロックに表示される映像データとから、各特徴量検出領域における映像データの特徴量を検出し、各特徴量検出領域に対応する照明装置の照明制御データを生成する。

以下に、照明制御データ生成方法について詳しく説明する。

図２は、視聴環境制御装置１の照明制御データ生成部６を示すブロック図である。照明制御データ生成部６は、データ分離部３で分離された映像データを入力部９により受け取る。入力部９は、受け取った映像データをブロック平均部１０へ送る。

次に、映像データを受け取ったブロック平均部１０は、予めブロック情報記憶部１１に格納されているブロック情報を読み出し、各ブロックを構成する所定の画素（例えば５画素×５画素＝２５画素）の映像データの平均値を算出し、該画像ブロック平均データをモード選択部１２へ送る。

ここで、ブロック情報記憶部１１に格納されているブロック情報とは、図３に示すような映像表示装置４の表示画面を１以上の所定のブロック４１に分割した情報に関するものである。例えば、図３に示すブロック４１がｘ方向に５画素、ｙ方向に５画素の計２５画素からなる場合は、（ｘ，ｙ）＝（５，５）というような情報を記憶していればよい。もちろん、ブロック情報は、上記に示したような画素単位での分割に限られるものでない。また、画素単位での分割の場合であったとしても、上記したｘ方向、ｙ方向で画素数を同数にする必要はないし、ブロック４１の大きさも自由に変えればよい。

次に、画像ブロック平均データを受け取ったモード選択部１２は、平均データを明度（Ｌｉｇｈｔｎｅｓｓ）、彩度（Ｃｈｒｏｍａ）、色相（Ｈｕｅ）を示す各データへ変換する（以下、明度（Ｌｉｇｈｔｎｅｓｓ）、彩度（Ｃｈｒｏｍａ）、色相（Ｈｕｅ）情報のことを『ＬＣＨデータ』と称する）。そして、映像表示装置４の表示画面に含まれる全てのブロック４１におけるＬＣＨデータに応じて、各ブロック４１に対し予め決められているモードから適切な１つのモードを選択して割り付ける。そして、映像表示装置４の表示画面に含まれる全てのブロックのＬＣＨデータとモードデータとをテーブル選択部１３へ送る。

次に、テーブル選択部１３は、映像表示装置４の表示画面に含まれる全てのブロックのＬＣＨデータとモードデータとを受け取ると、特徴量検出領域記憶部１４から特徴量検出領域情報を読み出し、特徴量検出領域に含まれる全てのブロックのモードの分布から、その特徴量検出領域に適切な照明制御データ生成のためのＬＣＨデータの重み付け値について、予め用意されている複数の重み付け値テーブルの中から１つの重み付け値テーブルを選択する。そして、各ブロックのＬＣＨデータ、モードデータとともにテーブル選択情報を照明制御データ算出部１５へ送る。ここで、特徴量検出領域記憶部１４に格納されている特徴量検出領域情報とは、視聴者の視聴環境空間に設置されている各照明装置を適切に制御するために、映像表示装置４の表示画面のどの領域から映像データの特徴量を検出すればよいかを示す情報のことである。

次に、照明制御データ算出部１５は、テーブル選択部１３から送られるテーブル選択情報に基づき、テーブル情報記憶部１６に記憶された複数種のテーブルの中から適切な１つのテーブルを選択してＬＣＨデータに対して所望の重み付け演算を行い、照明制御データを生成する。ここで、重み付け値テーブルの一例として図４に示す。図４のテーブルは、上記で選択した各モードのＬ（明度）、Ｃ（彩度）、Ｈ（色相）毎に照明制御データを生成する際の重み付け値（Ｗ_L，Ｗ_C，Ｗ_H）が決められている。このようなテーブルがテーブル情報記憶部１６に複数種類格納されており、テーブル選択部１３から送られるテーブル選択情報に基づき１つが読み出される。

次に、算出された照明制御データ（ＬＣＨデータ）は、ＲＧＢデータに変換された上で、映像データおよび音声データと出力タイミングを合わせて出力部１７から照明装置７へ送られる。

以下には、照明制御データ生成部６に含まれるモード選択部１２およびテーブル選択部１３についてさらに詳しく説明する。

まず、映像表示装置の表示画面に含まれる全てのブロック４１に対応する映像データの特徴量を検出し、各ブロック４１をその映像特徴量に応じて予め決められているモードに振り分ける方法について、図５、図６とともに説明する。

図５は、照明制御データ生成部６のモード選択部１２のブロック図を示すものである。モード選択部１２は、ブロック平均部１０から画像ブロック平均データを受け取ると、ＬＣＨ変換部１８にて画像ブロック平均映像データを、明度（Ｌｉｇｈｔｎｅｓｓ）、彩度（Ｃｈｒｏｍａ）、色相（Ｈｕｅ）を示す各データへ変換する。ＬＣＨ変換部１８にて変換されたＬＣＨデータは、ブロック毎にフレーム間差分判定部１９、フレームメモリ２０およびモード判定部２１へ送られる。

まず、フレーム間差分判定部１９は、後述するモード判定部２１において判定対象とするブロック４１が映像中の被写体を表す領域に含まれるか否かを判定するための情報の１つとして、現在のフレームデータと１つ前のフレームデータとを比較し、フレーム間の差分データをモード判定部２１へ送る。具体的には、フレームメモリ２０は１つ前のフレームのＬＣＨデータを記憶しておき、現在のフレームのＬＣＨデータが送られてきた時に、フレーム間差分判定部１９に対し１つ前のフレームのＬＣＨデータを送る。ここで、フレームメモリ２０は、１つ前のＬＣＨデータを送信完了すると、現在のフレームのＬＣＨデータを上書きで保存する。このような構成にすることにより、フレームメモリ２０は１フレーム分のＬＣＨデータを格納するに足りる容量でよくなる。そして、フレーム間差分判定部１９は、ＬＣＨ変換部１８から送られる現在のフレームのＬＣＨデータの明度とフレームメモリ２０から送られた１つ前のフレームのＬＣＨ情報の明度とを比較し、明度のフレーム間の差分データを算出しモード判定部２１へ送る。そして、モード判定部２１は、フレーム間差分判定部１９から送られたブロックごとのフレーム間の差分データと、ＬＣＨ変換部１８から送られる彩度（Ｃｈｒｏｍａ）、色相（Ｈｕｅ）とを解析し、各ブロックが被写体領域であるか否かを判定する。

以上では現在のフレームのＬＣＨデータと一つ前のフレームのＬＣＨデータとを比較するものについて記載したが、例えば複数フレーム分のＬＣＨデータをフレームメモリ２０で記憶させ、フレーム間差分判定部１９で複数フレーム分のＬＣＨデータと現在のフレームのＬＣＨデータとを比較してフレーム間の差分データの算出を行ってもよい。このように複数フレームのＬＣＨデータと比較することで、モード判定部２１において、さらに精度よく被写体領域の判定を行うことが可能になる。

次に、モード判定部２１は、ＬＣＨ変換部１８から送られるＬＣＨデータとフレーム間差分判定部１９から送られるフレーム間の差分データとから予め用意されている複数のモードの中から、各ブロックに該当するモードを選択して割り付ける。以下、モード判定部２１で行うモードの割り付け方法について、図６のモード割り付け動作フローとともに説明する。

モード判定部２１は、映像表示装置４の表示画面に含まれる全てのブロックに対して、１つのモードを割り付ける。例えば、映像表示装置４の表示画面にｎ個のブロックが含まれている場合は、ｎ個のブロックに対して、モード割り付け動作を行うことになる。モード判定部２１は、まず、対象となるブロックが被写体領域に含まれるか否かを判定する。被写体領域に含まれると判定されると、そのブロックは被写体モードであることを示すモードデータをＬＣＨデータに付加し、テーブル選択部１３へ出力する（ステップ１）。

ここで、対象となるブロックが被写体領域に含まれるか否かの判定は、フレーム間差分判定部１９から送られるフレーム間の差分データとＬＣＨ変換部１８から送られる彩度（Ｃｈｒｏｍａ）、色相（Ｈｕｅ）とを解析し、各ブロックが被写体領域であるか否かを判定する。フレーム間の差分データからの解析は、明度のフレーム間の差分がある一定以上である場合（他の部分（背景）と比較して動きが大きかった場合）には、対象となるブロックを被写体として判定する。また、例えばフレームに被写体が存在しているが同じ画像が続く場合、つまり表示映像の中に被写体が存在するがフレーム間の差分データが小さい場合、ＬＣＨ変換部１８から送られる彩度（Ｃｈｒｏｍａ）、色相（Ｈｕｅ）を解析し、特定の色範囲に属するブロックを被写体として判断するようにすればよい。例えば、人間であれば肌色の色範囲に属すれば被写体として判定するようにすればよい。

さらに、映像中に被写体が含まれる場合は大体被写体に焦点が合わせられているので、入力映像データを解析し、映像データで高周波成分に該当する領域を被写体とするようにしてもよい。さらにまた、被写体は、表示映像中の中央部に位置することが多いため、画面の中央部と端部とで被写体判定の閾値を変更するようにしてもよい。以上のような判定方法を併用することにより適切に被写体か否かを判定することができ、後に適切な照明制御をすることができる。逆に被写体か否かを適切に判定できないと臨場感を高める照明制御は行えない。例えば、映像表示装置４に表示される映像が、夜のシーンで人物がアップになっている映像の場合、撮影照明に照らされている体の部分（肌色部分以外）の明るさに影響を受けて視聴環境照明が明るくなってしまい、暗闇の雰囲気が出せなくなる。しかし、被写体を正確に判定することにより、被写体以外の部分での照明制御データの生成が可能となり、暗闇の雰囲気を出すことができ、臨場感を高めることができる。

次に、ステップ１で対象ブロックが被写体領域に含まれないと判定されると、ＬＣＨデータの明度が所定値（第１の閾値）以上か否かを判定することによって、該対象ブロックが光源領域であるか否かを判定する。該ブロックが光源領域であると判定されると、そのブロックは光源モードであることを示すモードデータをＬＣＨデータに付加し、テーブル選択部１３へ出力する（ステップ２）。ここで、例えば、映像表示装置４に表示される映像に太陽（光源）が含まれる場合には、光源の明度や色を積極的に照明装置７の照明光に反映させることにより、臨場感を高めることができる。

次に、ステップ２で対象ブロックが光源領域ではないと判定されると、ＬＣＨデータの明度が所定値（第２の閾値）以下か否かを判定することによって、該対象ブロックが暗闇領域であるか否かを判定する。該ブロックが暗闇領域であると判定されると、そのブロックは夜景モードであることを示すモードデータをＬＣＨデータに付加し、テーブル選択部１３へ出力する（ステップ３）。ここで、例えば、映像表示装置４に表示される映像が暗闇の場合には、照明装置７の明度を極端に下げることにより、臨場感を高めることができる。

次に、ステップ３で対象ブロックが暗闇領域ではないと判定されると、ＬＣＨデータの彩度と色相とから、該対象ブロックの色が特定の色範囲にあるか否かを判定することによって、該ブロックが特定の色領域か否かを判定する。該ブロックが特定の色領域であると判定されると、そのブロックは特定色モードであることを示すモードデータをＬＣＨデータに付加し、テーブル選択部１３へ出力する（ステップ４）。

ここで、特定の色範囲にあるか否かの判定は、メモリなどに予め格納されている特定の色範囲に合致するか否かで判定する、例えば、映像表示装置４に表示される映像が夕焼けの場合には、夕焼けの色（オレンジ色など）を照明装置７で表示すると視聴者に対し没入感を与え、高い臨場感が実現できる。そのため、メモリなどに夕焼けの色（オレンジ色など）の色範囲を格納しておき、ブロックが夕焼けの色範囲に合致する場合は、特定色モードとして判定する。また、映像表示装置４に表示される映像が森林の場合には緑色を、水中の場合には青色を照明装置７で点灯させると没入感や臨場感を高めることができるので、緑色や青色も特定の色範囲としてメモリに予め格納しておけばよい。

また、夕焼けの色（オレンジ色）、森林の色（緑色）、水中の色（青色）などの複数の特定の色範囲をメモリに格納している場合には、テーブル選択部１３へ送る特定色モードはそれぞれどの色範囲に属する特定色モードなのかを識別するデータも送るようにすればよい。

さらにまた、上記では予めメモリに特定色の色範囲を格納しておくことを説明したが、例えば、映像データが入力された際に、表示装置の画面全体のヒストグラムのピーク強度によって画面全体に対する特定の色味がかりの有無を判定し、特定の色味がかりがある場合には特定色モードを設定してもよい。このようにすることで、上記の予め想定していた映像（夕焼け、森林、水中など）以外の場合にも適切に照明に反映することが可能となる。

次に、ステップ４で対象ブロックが特定の色領域ではないと判定されると、ＬＣＨデータの彩度と色相とから、該対象ブロックの色がそのブロックの周辺のブロックの色と比較して色差が所定値以下か否かを判定することによって、背景が均一な領域か否かを判定する。該ブロックが均一な背景の領域であると判定されると、そのブロックは均一背景モードであることを示すモードデータをＬＣＨデータに付加し、テーブル選択部１３へ出力する。また、背景が均一な領域ではないと判定されると、そのブロックは多様背景モードであることを示すモードデータをＬＣＨデータに付加し、テーブル選択部１３へ出力する（ステップ５）。ここで、例えば、映像表示装置４に表示される映像の背景が均一の場合には、均一背景モードの彩度、色相を照明装置７の照明光へ反映させると臨場感を高めることができる。

これで１つのブロックについて適切なモードの割り付け動作が完了する。そして、このようなモード割り付け動作を特徴量検出領域に含まれるブロックの数だけ繰り返し行って、モード割り付け動作が完了する。以上では、各ブロックに対して６つのモードのいずれかを割り付けるものについて説明したが、これらに限定されるものではなく、さらに多くのモードを設定してもよいし、逆にモード数を少なくしてもよい。

次に、テーブル選択部１３のテーブル選択方法について、図７の特徴量検出領域の一例、図８のテーブル選択動作フローおよび図９の各テーブルの一例とともに説明する。

テーブル選択部１３は、モード選択部１２から送られる各ブロックのモードデータと特徴量検出領域記憶部１４から読み出される特徴量検出領域情報とからテーブル選択を行う。ここで、特徴量検出領域記憶部１４に格納されている特徴量検出領域情報とは、視聴者の視聴環境空間に設置されている各照明装置を適切に制御するために、映像表示装置４の表示画面のどの領域から映像データの特徴量を検出すればよいかを示す情報である。図７は、視聴者の視聴環境空間に照明装置が２つ設置されていた場合の特徴量検出領域の一例を示すものである。図７の４２、４３で表す画面領域が視聴者の視聴環境空間に設置されている２つの照明装置それぞれに対応した特徴量検出領域である。これら特徴量検出領域４２、４３を示す特徴量検出領域情報は、例えば上述した映像表示装置４の表示画面を分割したブロック４１のそれぞれに番号を付して、特徴量検出領域に対応するブロック番号を照明装置７ごとに格納されるようにしてもよいし、対応する画素単位で格納されるようにしてもよい。

次に、テーブル選択部１３で行うテーブル選択動作について説明する。

まず、特徴量検出領域に含まれるブロックに付与されたモードのうち、光源モードが一定の割合以上である場合（例えば、光源モードが１／５以上）は、映像中の光源の色を視聴環境照明に積極的に反映することが可能なテーブル１が選択される（ステップ１）。図９（ａ）は、テーブル１の重み付け値の一例を示すもので、光源モードが１／５以上を占める画像では、画面内に強い光源があり、その光源を積極的に照明で再現することで臨場感を高めることができると考えられるため、光源モードブロックの重み付けを３倍にする。

次に、ステップ１で光源モードが一定の割合以上でない場合（例えば、光源モードが１／５以下）は、特定色モードが一定の割合以上か否かの判定がされ、一定の割合以上と判定された場合（例えば、特定色モードが１／２以上）は、映像中のその特定色を視聴環境照明の色に反映することが可能なテーブル２が選択される（ステップ２）。図９（ｂ）は、テーブル２の重み付けの一例を示すもので、特定色モードが１／２以上を占める画像では、朝／夕焼けや水中、晴れた青空、森林など、特定の色が印象を強めていると考えられ、照明によってその特定の色を再現することによって臨場感を高めることができると考えられるため、特定色モードブロックの彩度と色相の重み付けを３倍にし、明度が高く照明に影響を与えやすい光源モードブロックの重み付けを１／２にする。

次に、ステップ２で特定色モードが一定の割合以上でない場合（例えば、特定色モードが１／２以下）は、夜景モードが一定の割合以上か否かの判定がされ、一定の割合以上と判定された場合（例えば、夜景モードが１／２以上）は、視聴環境照明の明るさと彩度を落とすことが可能なテーブル３が選択される（ステップ３）。図９（ｃ）は、テーブル３の重み付けの一例を示すもので、夜景モードが半分以上を占める画像では、視聴環境空間全体を暗い雰囲気にすることで臨場感を高めることができると考えられるため、夜景モードブロックの重み付けを３倍にし、全体の明度を１／２、彩度を１／４とし、明度が高く照明が明るくなってしまう可能性の高い光源モードブロックの重み付けを１／２とする。また、撮影上ライティングされ背景と比べ明度が高くなりがちな被写体モードブロックの重み付けを１／２にする。

次に、ステップ３で夜景モードが一定の割合以上でない場合（例えば、夜景モードが１／２以下）は、均一背景モードが一定の割合以上か否かの判定がされ、一定の割合以上と判定された場合（例えば、均一背景モードが１／３以上）は、視聴環境照明に均一背景を反映させることが可能なテーブル４が選択される（ステップ４）。図９（ｄ）は、テーブル４の重み付けの一例を示すもので、均一背景モードが１／３以上を占める画像では、その背景の明るさと色をそのまま照明で再現すれば自然な雰囲気を再現することができると考えられるため、均一背景モードブロックの重み付けを３倍とし、画面上で占有面積（対応ブロック数）が大きくなりやすい被写体モードブロックの重み付けを１／２にする。

次に、ステップ４で均一背景モードが一定の割合以上でない場合（例えば、夜景モードが１／３以下）は、多様背景モードが一定の割合以上か否かの判定がされ、一定の割合以上と判定された場合（例えば、多様背景モードが２／３以上）は、視聴環境照明の彩度を落とすことが可能なテーブル５が選択される（ステップ５）。図９（e）は、テーブル５の重み付けの一例を示すもので、多様背景モードが２／３以上を占める画像では、背景が複雑で雰囲気を表す色を一意に決めるのが困難であり、そのまま背景の平均を照明に適用すると、不適切な色が出てしまうと考えられるため、明るさのみを照明で再現することで自然に見せるべく多様背景モードブロックの重み付けを明度のみ２倍し、全体の彩度を１／４にする。

次に、ステップ５で多様背景モードが一定の割合以上でない場合（例えば、多様背景モードが２／３以下）は、被写体モードが一定の割合以上か否かの判定がされ、一定の割合以上と判定された場合（例えば、被写体モードが４／５以上）は、映像中の被写体の輝度のみを視聴環境照明に反映させることが可能なテーブル６が選択される。（ステップ６）図９（ｆ）は、テーブル６の重み付けの一例を示すもので、被写体モードが４／５以上を占めるような画像では、被写体がアップになっていて、画面の印象を支配していることが考えられるが、特に被写体が複数の場合には色が頻繁に変化する可能性があると考えられるので、被写体の映像データを反映すると不自然な印象を与える可能性がある。従って、不自然な印象をなくすために明るさのみを照明で再現すべく被写体モードブロックの重み付けを明度のみ２倍にする。

次に、ステップ６で被写体モードが一定の割合以上でない場合（例えば、被写体モードが４／５以下）は、映像中の背景を重視して視聴環境照明に反映させることが可能なテーブル７が選択される。図９（ｇ）は、テーブル７の重み付けの一例を示すもので、さまざまなモードが混在しているテーブル７のような映像では、そのうち安定している均一背景モードおよび明度が高く印象が強い光源モードを積極的に反映すべく、均一背景モードブロックおよび光源モードブロックの重み付けを３倍にする。また、特定色モードでは、色を強く反映することで臨場感を高められるので、特定色モードブロックの彩度と色相の重み付けを３倍にする。さらに、被写体モードでは、明るさのみをある程度反映すべく、被写体モードブロックの明度のみを２倍にする。さらにまた、色を決定するのが困難で照明が不自然になりやすい多様背景モードおよび夜景モードは明度のみを反映すべく、多様背景モードブロックおよび夜景モードブロックの彩度と色相を１／２倍にする。

以上により、特徴量検出領域内のモード分布に基づくテーブル選択が完了し、このテーブル選択情報は各ブロックのＬＣＨデータとモードデータとともに照明制御データ算出部１５へ送られる。上記のテーブル選択方法では７つのテーブルに振り分けることを説明したが、これらに限定されるものではなく、さらに多くのテーブルを設定してもよいし、逆にテーブル数を少なくしてもよい。

次に、照明制御データ算出部１５で算出される照明制御データの算出方法について以下に説明する。照明制御データ算出部１５は、テーブル選択部１３から送られたテーブル選択情報に基づいて、テーブル情報記憶部１６に格納されているテーブルの中から、テーブル選択情報に該当するテーブルを参照して、照明制御データを生成する。すなわち、テーブル情報記憶部１６に格納されたテーブルの重み付け情報と各ブロックのＬＣＨデータとモードデータとから所定の演算を行い、照明制御データを算出する。

照明制御データ算出部１５で行う具体的な演算処理について、図１０に示す演算式の一例とともに説明する。図１０（ａ）は、Ｌ（明度）の算出演算を示すものである。Ｌ（明度）の算出演算は、特徴量検出領域に含まれる各ブロックの明度値とテーブル情報記憶部１６を参照して得られた各モードのブロックにおける明度の重み付け値を乗算し（Ｗ_L（table, mode）×Ｌ_block）、特徴量検出量領域に含まれる全ブロックの上記値（Ｗ_L（table, mode）×Ｌ_block）を加算し（Σ[Ｗ_L（table, mode）×Ｌ_block]）、全ブロックの重み付け値の合計で除算する（正規化する）。そして、テーブル毎に設けられている明度の係数ｋ_Lを乗算して照明制御データのＬ（明度）の値を算出する。

次に、Ｃ（彩度）、Ｈ（色相）についても、図１０（ｂ）、（ｃ）に示すように、上記のＬ（明度）と同様の算出演算を行って、照明制御データ（Ｌ（明度），Ｃ（彩度），Ｈ（色相））を算出する。

ここで、上記の演算式は一例であり、各テーブルの重み付け値が照明制御データに適切に反映されるような演算式であれば上記の演算式に限られるものではない。

そして、算出された照明制御データ（ＬＣＨデータ）は、ＲＧＢデータに変換された上で、映像データおよび音声データと出力タイミングを合わせて出力部１７から照明装置７へ送られる。以上のような構成にすることにより、どのような画像が映像表示装置に表示されたとしても、映像表示装置に表示される画像に応じて適切に照明制御を行うことができる。

以上では、モード選択部１２において映像表示装置４に含まれる全てのブロックについてモード割り付けをした後に、テーブル選択部１３にて特徴量検出領域を読み出し、各特徴量検出領域に含まれるモードの分布からテーブル選択を行ったが、例えば、特徴量検出領域の読み出しをモード選択部１２で行うようにすれば、特徴量検出領域含まれるブロックのみにモード割り付けをすればよくなるので、モード判定するブロックの数が軽減できるようになる。

また以上では、映像データをＬ(明度)、Ｃ（彩度）、Ｈ（色相）に変換して照明制御データを生成する方法を説明したが、明るさと色に分解することができれば他の色空間で変換するようにしても構わない。

本発明の実施形態に係る視聴環境制御装置を示すブロック図である。 視聴環境制御装置の照明制御データ生成部を示すブロック図である。 表示装置のブロック分割の概念を示す図である。 重み付けテーブルの一例を示す図である。 照明制御データ生成部のモード選択部を示すブロック図である。 モード割り付けの動作フローを示す図である。 視聴者の視聴環境空間に照明装置が２つ設置されていた場合の特徴量検出領域の一例を示す図である。 テーブル選択の動作フローを示す図である。 テーブルの重み付けの一例を示す図である。 照明制御データ算出部で行う照明制御データ生成の演算処理を示す図である。

符号の説明

１…視聴環境制御装置
２…受信部
３…データ分離部
４…映像表示装置
５…音声再生装置
６…照明制御データ生成部
７…照明装置
８（ａ），８（ｂ）…ディレイ発生部
９…入力部
１０…ブロック平均部
１１…ブロック情報記憶部
１２…モード選択部
１３…テーブル選択部
１４…特徴量検出領域記憶部
１５…照明制御データ算出部
１６…テーブル情報記憶部
１７…出力部
１８…ＬＣＨ変換部
１９…フレーム間差分判定部
２０…フレームメモリ
２１…モード判定部
４１…ブロック
４２，４３…特徴量検出領域

Claims (6)

1. 表示装置の周囲を照明する照明装置が前記表示装置の所定の表示領域に対応して設置され、表示装置の前記所定の領域に表示される映像データに応じて前記照明装置の照明光を制御する視聴環境制御装置において、
   前記所定の表示領域に表示されるフレームにおける分割された複数の各ブロックを構成する画素の映像データの平均値を前記各ブロックの特徴量とし、前記各ブロックについて、該ブロックの前記特徴量に基づき当該ブロックの画像内容を表す予め定めたモードを割り付けるモード選択部と、
   前記フレームにおける前記所定の表示領域に含まれる前記各ブロックについて割り付けられた前記モードの頻度分布を求め、該頻度分布に基づき、予め定めた複数の重み付け値テーブルから一つの重み付けテーブルを選択し、該選択した重み付けテーブルに従って前記各ブロックの前記特徴量に対して重み付け演算を行って前記照明光を制御する制御データを算出する照明制御データ算出部を備え、
   前記複数の重み付け値テーブルは、前記頻度分布と前記モードに基づき前記各ブロックの前記特徴量の重み付けを定めたものであることを特徴とする視聴環境制御装置。
2. 前記照明装置はＲＧＢ照明装置であることを特徴とする請求項１に記載の視聴環境制御装置。
3. 前記ブロックの特徴量は、ブロックを構成する画素の映像データにおける明度、彩度、色相の各データであることを特徴とする請求項１又は２に記載の視聴環境制御装置。
4. 前記モード選択部は、モード割付対象ブロックの特徴量の解析による当該ブロックの画像の高周波成分、明るさ、色などの特徴、及び／又は前記割付対象ブロックの特徴量のフレーム間差分に基づいて割り付けられることを特徴とする請求項１〜３の何れかに記載の視聴環境制御装置。
5. 前記ブロックに割り付けられるモードは、ブロックの画像内容が被写体であることを示す被写体モード、同光源であることを示す光源モード、同夜景であることを示す夜景モード、同特定色であることを示す特定色モード、同均一背景であることを示す均一背景モード、同多様背景であることを示す多様背景モードの何れかであることを特徴とする請求項４に記載の視聴環境制御装置。
6. 表示装置の周囲を照明する照明装置が前記表示装置の所定の表示領域に対応して設置され、表示装置の前記所定の領域に表示される映像データに応じて前記照明装置の照明光を制御する視聴環境制御方法において、
   前記所定の表示領域に表示されるフレームにおける分割された複数の各ブロックを構成する画素の映像データの平均値を前記各ブロックの特徴量を取得し、
   前記各ブロックについて、該ブロックの前記特徴量に基づき当該ブロックの画像内容を表す予め定めたモードを割り付け、
   前記フレームにおける前記所定の表示領域に含まれる前記各ブロックについて割り付けられた前記モードの頻度分布を求め、
   該頻度分布に基づき、予め定めた頻度分布と当該頻度分布のフレームにおける各ブロックの前記特徴量に対して重み付け演算を行う、前記照明光を制御する制御データの演算方法を選択して算出することを特徴とする視聴環境制御方法。

Images