JP4789592B2 - 視聴環境制御装置及び視聴環境制御方法 - Google Patents

Description

本発明は、視聴環境制御装置及び視聴環境制御方法、より詳細には、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて映像表示装置周囲の照明光を制御する視聴環境制御装置及び視聴環境制御方法に関する。

例えば、テレビジョン受像器のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。

例えば特許文献１には、カラーテレビの表示映像の色信号（ＲＧＢ）と輝度信号（Ｙ）とから、フレームごとに光源の三原色の混光照度比を決定し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号（ＲＧＢ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を決定し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。

また例えば特許文献２には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
特開平２−１５８０９４号公報 特開平２−２５３５０３号公報

上記特許文献１では、色信号及び輝度信号は映像信号の１画面ごとに取り出され、三色光の制御に用いられている。また上記特許文献２では、映像信号の１フレームごとに分割部分の映像信号を出力し、その出力値に基づいて照明手段を制御するようになっている。
すなわち、上記特許文献１及び２の技術では、映像信号の１フレームごとに周囲の照明光が制御される。このときに上記従来技術では、色信号や輝度信号あるいは色相等の映像信号の特徴量を用い、その映像信号の１フレームごとの特徴量を照明光の制御に直接に反映させて、１フレームごとに照明光を制御している。

しかしながら、上記従来技術の構成では、映像信号の特徴量のフレームごとの変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じる、というような問題が生じる。

図８は、上記のようなフレームごとの特徴量を照明光の制御に直接反映させるときの照明変動の問題点の一例を説明するための図で、映像が焼き付けられたフィルムの一部を示すものである。図８に示す例では、月夜の屋外で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラが引いた位置で撮影している。そしてショット２に切り替わると、その亡霊がアップで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。

このような場合、ショット１では、月夜の比較的暗い映像が連続している。これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、アップで撮影された亡霊は比較的明るい映像となる。このときに従来の技術によりフレームごとに照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。

このように、映像のフレームごとに照明光を制御する場合、フレーム間においてその輝度や色度が大きく変化すると、一つの雰囲気が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりしてしまう。
そして、このときに例えば、映像の特徴量の変化の度合いが大きいフレームが短時間挿入されていたり、煩雑に切り替わったりすると、それらのフレームごとの特徴量を直接反映させて照明光が制御されるため、照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じてしまう。

図９は、フレームごとの特徴量を照明光の制御に直接反映させるときの照明変動の問題点の他の例を説明するための図である。図９に示す例では、晴天の日中の屋外で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークにより撮影された映像からなり、上記図８のような複数のショットにより構成されたものではない。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。

このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。

このような場合、フレームごとの特徴量を直接使用して照明光を制御すると、フレームを構成する色の比率の変化に伴って、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、晴天下の雰囲気のシーンであるにもかかわらず、シーン内で照明光の色味が映像の特徴量に追従して変化してしまい、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。

さらに、例えば、不所望なちらつきノイズ等が映像信号に含まれている場合にも、このノイズの影響を受けて照明光が制御され、照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じてしまうことも考えられる。

本発明は、上述のごとき実情に鑑みてなされたもので、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて周囲の照明光を制御し、このときに表示すべき映像の色度や輝度が煩雑に変化する場合であっても、照明光の頻繁な変化によって発生するフリッカーを抑制し、視聴者に臨場感を与えてより高度な映像効果を得ることができるようにした視聴環境制御装置及び視聴環境制御方法を提供することを目的とするものである。

上記課題を解決するために、本発明の第１の技術手段は、表示すべき映像データの特徴量に応じて、前記映像データを表示する表示装置の周囲に配置された照明装置の照明光を制御する視聴環境制御装置であって、前記映像データの特徴量を検出する映像特徴量検出手段と、該映像特徴量検出手段による検出結果と前記映像データのコンテンツ種別に応じて可変設定される閾値とを用いて、前記照明装置の照明光を制御するための照明制御情報を生成する照明データ生成手段と、該照明データ生成手段によって生成された照明制御情報に基づいて、前記照明装置の照明光を切り替えて制御する照明切替制御手段と、を有することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記照明データ生成手段は、前記映像特徴量検出手段から特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して前記閾値を超える変化があるまでは、前記前回取得した特徴量に基づく前記照明装置の照明光の制御を維持し、前記閾値を超える変化があったときに、現在の特徴量に応じた前記照明光の制御に切り替える照明制御情報を生成することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記照明データ生成手段は、前記映像特徴量検出手段から特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して増大した場合は、前記閾値を大きくし、前記映像データの現在の特徴量が、前回取得した特徴量に対して減少した場合は、前記閾値を小さくするように変化させることを特徴としたものである。

第４の技術手段は、第２の技術手段において、前記照明データ生成手段は、前記映像特徴量検出手段から特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して所定の閾値を超える変化が所定期間以上連続する場合に、現在の特徴量に応じた前記照明光の制御に切り替える照明制御情報を生成することを特徴としたものである。

第５の技術手段は、表示すべき映像データの特徴量に応じて、前記映像データを表示する表示装置の周囲に配置された照明装置の照明光を制御する視聴環境制御方法であって、前記映像データの特徴量を検出する映像特徴量検出ステップと、該映像特徴量検出ステップによる検出結果と前記映像データのコンテンツ種別に応じて可変設定される閾値とを用いて、前記照明装置の照明光を制御するための照明制御情報を生成する照明データ生成ステップと、該照明データ生成ステップによって生成された照明制御情報に基づいて、前記照明装置の照明光を切り替えて制御する照明切替制御ステップと、を有することを特徴としたものである。

第６の技術手段は、第５の技術手段において、前記照明データ生成ステップは、前記映像特徴量検出ステップで検出した特徴量を取得し、前記映像データの現在の特徴量が前回取得した特徴量に対して所定の閾値を超える変化があるまでは、前記前回取得した特徴量に基づく前記照明装置の照明光の制御を維持し、所定の閾値を超える変化があったときに、現在の特徴量に応じた前記照明光の制御に切り替える照明制御情報を生成することを特徴としたものである。

第７の技術手段は、第６の技術手段において、前記照明データ生成ステップは、前記映像特徴量検出ステップで検出した特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して増大した場合は、前記閾値を大きくし、前記映像データの現在の特徴量が、前回取得した特徴量に対して減少した場合は、前記閾値を小さくするように変化させることを特徴としたものである。

第８の技術手段は、第４の技術手段において、前記照明データ生成ステップは、前記映像特徴量検出ステップで検出した特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して所定の閾値を超える変化が所定期間以上連続する場合に、現在の特徴量に応じた前記照明光の制御に切り替える照明制御情報を生成することを特徴としたものである。

本発明によれば、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて視聴環境の照明光を制御し、このときに映像信号の色度や輝度などの特徴量が煩雑に変化する場合であっても、照明光の頻繁な変化によって生じるフリッカーを抑制することができ、視聴者に臨場感を与えてより高度な映像効果を得ることができる。

特に本発明では、表示すべき映像の特徴量を検出することによって、その映像が撮影された場の照明光の状態を推定し、その推定結果に従って映像表示装置周囲の照明光を制御する。そしてこのときに、映像の特徴量の変化に対して照明光をただちに追従させて変化させることなく、前回の特徴量に対する現在の特徴量の変化量と所定の閾値とを比較することにより、ヒステリシス特性をもった照明制御情報を生成する。
これにより、映像特徴量の変化があっても、これに追従して直ちに照明光を変化させることなく、安定的に照明状態を維持することができるため、照明光の頻繁な変化によるフリッカーを抑制して、視聴者はそのシーンの臨場感を違和感なく感じることができるようになる。

図１は、本発明に関わる視聴環境制御装置における要部概略構成を説明するための図である。視聴環境制御装置は、テレビジョン装置などの映像表示装置１に表示する映像について、その映像の撮影シーンにおける場（雰囲気）を推定する場（雰囲気）推定処理部２と、場（雰囲気）推定処理部２の推定結果に基づいて、照明装置４の照明光を可変制御するための照明制御信号を出力し、映像表示装置１の周囲の視聴環境を制御する視聴環境制御部３とを備えている。

映像表示装置１の周囲には、その周囲環境を照明するための照明装置４が備えられる。この照明装置４は、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置４は、映像表示装置１の周囲環境の照明色及び明るさを制御できるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。

視聴環境制御装置は、上記の視聴環境制御部３において、場（雰囲気）推定処理部２により生成された照明制御信号に従って、照明装置４の照明色及び照明の明るさを制御する。ここでは照明制御信号により、色度や輝度等の映像特徴量に応じた照明色及び照明の明るさの制御特性にヒステリシス特性を持たせて、映像特徴量の変化が所定期間（所定フレーム数）続いたときに、上記映像特徴量の変化に応じた照明光に切り替える制御を行う。

例えば、照明装置４の照明光が状態Ａから状態Ｂに切り替えられ、その状態Ｂから元の状態Ａに戻す場合には、所定フレーム数が経過するまで映像特徴量が状態Ａに該当する値に維持されたときに、照明光を状態Ｂから状態Ａに切り替えるようにする。このようなヒステリシスをもった照明光の制御を使用することにより、映像特徴量が煩雑に変化する場合であっても、これに追従した照明光の頻繁な変化によるフリッカーを抑制することができ、視聴者に臨場感を与えてより高度な映像効果を得ることができるようになる。

図２は、本発明に関わる視聴環境制御装置の一実施形態を説明するためのブロック図で、データ蓄積側の処理ブロックを図２（Ａ）に、再生側の処理ブロックを図２（Ｂ）に示すものである。本実施形態の視聴環境制御装置は、映像データを映像記録装置に一旦記録し、その映像データを再生するときに映像表示装置の周囲に設置された照明装置の照明光を制御できるようにした構成を有するものである。

まず、図２（Ａ）のデータ蓄積側の構成及びその処理について説明する。ここでは放送により伝送される放送データを例として考える。放送データは、データ伝送部１０を介して映像記録装置２０に入力される。データ伝送部１０は、映像記録装置２０に対して放送データを伝送する機能を備えるもので、その具体的構成は限定されない。例えば、チューナで受信した放送信号を映像記録装置に記録可能な形態で出力する処理系を含むものでもよく、あるいは他の記録再生装置や記録メディアから映像記録装置２０に対して放送データを伝送するものであってもよく、あるいはネットワークや他の通信回線を介して放送データを映像記録装置２０に伝送するものであってもよい。

データ伝送部１０により伝送された放送データは、映像記録装置２０の映像データ抽出部２１に入力する。映像データ抽出部２１では、放送データに含まれる映像データとＴＣ（タイムコード）とを抽出する。この映像データは、映像表示装置に表示すべき映像のデータであり、タイムコードは、映像データの再生時間情報を示すために付加された情報である。タイムコードは、例えば、映像データの時間（ｈ）-：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。

映像データ抽出部２１が抽出した映像データとＴＣ（タイムコード）は、場（雰囲気）推定部２２に入力され、また後述する映像再生装置６０で再生する映像記録データ５２として記録手段に記録保持される。

場（雰囲気）推定部（本発明の映像特徴量検出手段に相当）２２は、映像データ抽出部２１で抽出された映像データのフレームごとの特徴量から、その映像が撮影されたときの周囲光の状態を推定し、その推定結果に従って各フレームの色信号データ（映像特徴量データ）を生成し、照明データ生成部３０に出力する。

上記の場（雰囲気）推定部２２における場（雰囲気）推定処理は、入力した映像データの全長（あるいはユーザ設定等に基づく一部）に亘って実行処理され、その対象となる映像データに含まれる全てのフレームに対して場（雰囲気）が推定され、フレームごとに色信号データが生成される。

ヒステリシス用閾値設定部４０は、照明データ生成部３０が照明色情報を生成するときに使用する閾値を、照明データ生成部３０で使用可能に保持する。ここで、ヒステリシス用閾値設定部４０が保持する閾値は予め設定されているが、例えばユーザ操作等に応じた変更設定を可能にしてもよいし、表示すべき映像のコンテンツ種別（ジャンル）などに応じて可変設定されるものでもよい。

照明データ生成部（本発明の照明データ生成手段に相当）３０は、上記のようなヒステリシス特性を持たせた照明光制御を行うことができるように、ヒステリシス用閾値設定部４０が保持する閾値を使用し、場（雰囲気）推定部２２から出力された色信号データに対してヒステリシス処理を施すことにより、照明装置４を制御するための照明色情報を生成する。この照明色情報は、映像データ抽出部２１で抽出されたＴＣとともに、照明色データ５１として記録手段に記録保持される。照明装置４を制御するための照明色情報は、上記図１に示す照明制御信号に該当する。また照明データ生成部３０における照明色情報の具体的な生成処理については後述する。

上記の照明色データ５１及び映像記録データ５２を記憶する記憶手段（ＨＤＤやメモリ、他の記録媒体等）は、映像記録装置２０に備えられていてもよく、また映像再生装置６０に備えられていてもよい。さらに、映像記録装置２０と映像再生装置６０とが一体となった映像記録再生装置の記憶手段を用いることもできる。

また、上記の場（雰囲気）の推定処理について、本発明ではその具体的手法を特に限定するものではなく、映像データから撮影時の周囲光の状態を推定する手法を適宜適用することができる。以下の他の実施形態においても同様である。
例えば、映像データ抽出部２１で映像データの各フレームごとに色信号（ＲＧＢ）と輝度信号（Ｙ）とを抽出させ、場（雰囲気）推定部２２にてフレームごとに信号を積分して色信号（ＲＧＢ）比率を算出し、映像特徴量を表わす色信号データとして、これを照明データ生成部３０に入力させるようにすることができる。照明データ生成部３０では、この色信号比率とヒステリシス用の閾値とを使用して照明制御情報を生成してもよい。また、ここでは映像特徴量をフレーム単位で検出しているが、これに限られないことは明らかである。

次に、図２（Ｂ）の再生側の構成及びその処理について説明する。映像再生装置６０では、所定の記憶手段に記憶されている照明色データ５１及び映像記録データ５２を使用し、映像表示装置１に対する映像データの表示制御と、照明装置４の照明光の制御とを行う。

映像再生装置６０は、映像記録データ５２に含まれる映像データを映像表示装置１に出力して、その表示画面に映像表示させる。また、照明切替制御部６１は、映像表示させる映像データに関する照明色データ５１（照明色情報、ＴＣ）を取得する。
そして再生表示を行う映像記録データ５２のＴＣと、取得した照明色データ５１のＴＣとに従って再生中の映像に該当する照明色情報を使用して照明装置４を制御する。照明装置に出力する照明色情報は、映像表示装置１に出力する映像データに同期しているため、映像表示装置１の表示映像に応じて照明光制御を行うことができる。

照明装置４は、上述のように照明色及び明るさの制御が可能なＬＥＤ等の光源により構成されていて、照明切替制御部６１から出力される照明色情報に従ってその照明色や明るさが切り替えられる。
上記のようにして、蓄積型の視聴環境制御装置は、映像データを再生するときに、照明データ生成部３０で生成されたヒステリシス特性を持つ照明色情報に従って、照明装置の照明光の切り替え制御を行うようにすることができ、これにより、表示すべき映像の特徴量が煩雑に変化する場合であっても、照明光の頻繁な変化によって発生するフリッカーを抑制することができる。

図３は、本発明に関わる視聴環境制御装置の他の実施形態を説明するためのブロック図である。本実施形態の視聴環境制御装置は、入力した映像データをリアルタイムで映像表示装置に表示するとともに、映像表示装置の周囲に設置された照明装置の照明光を制御する構成を有するものである。

本実施形態においても、放送により伝送される放送データを入力して再生する場合について説明する。放送データは、データ伝送部１０を介して映像受信装置７０に入力される。データ伝送部１０は、上記図２と同様の機能を有するものである。
データ伝送部１０により伝送された放送データは、映像受信装置７０の映像データ抽出部２１に入力される。そして映像データ抽出部２１では、放送データに含まれる映像データを抽出する。抽出された映像データは、場（雰囲気）推定部２２と、ディレイ発生部８０とに出力される。

場（雰囲気）推定部（本発明の映像特徴量検出手段に相当）２２は、映像データ抽出部２１で抽出された映像データのフレームごとの特徴量から、その映像が撮影されたときの周囲光の状態を推定し、その推定結果に従って各フレームの色信号データ（映像特徴量データ）を生成し、照明データ生成部３０に出力する。

上記の場（雰囲気）推定部２２における場（雰囲気）推定処理は、入力した映像データの全長（あるいはユーザ設定等に基づく一部）に亘って実行処理され、その対象となる映像データに含まれる全てのフレームに対して場（雰囲気）が推定され、フレームごとに色信号データが生成される。

照明データ生成部（本発明の照明データ生成手段に相当）３０は、場（雰囲気）推定部２２から出力された色信号データに基づいて、照明装置４を制御するための照明色情報を生成し、照明装置４に出力する。
また、ヒステリシス用閾値設定部４０は、照明データ生成部３０が照明色情報を生成するときに使用する閾値を、照明データ生成部３０で使用可能に保持する。ここで、ヒステリシス用閾値設定部４０が保持する閾値は予め設定されているが、ユーザ操作等に応じた変更設定を可能にしてもよく、例えばユーザ操作等に応じた変更設定を可能にしてもよいし、或いは、表示すべき映像のコンテンツ種別（ジャンル）などに応じて自動的に可変設定されるものでもよい。

照明データ生成部３０では、上記のようなヒステリシス特性を持たせた照明光制御を行うことができるように、ヒステリシス用閾値設定部４０が保持する閾値を使用し、場（雰囲気）推定部２２から出力された色信号データに対してヒステリシス処理を施すことにより、照明色情報を生成する。

一方、映像表示装置１に表示させる映像データは、映像データ抽出部２１からディレイ発生部８０に入力され、照明データ生成部３０から出力される照明色情報に同期するようにディレイ（遅延）処理が行われ、映像表示装置１に出力される。
すなわち、入力した映像データを映像表示装置１に表示するときに、上述の場（雰囲気）推定処理、及び照明データ生成処理による処理時間が必要であり、放送データの入力から照明色情報の出力までの間に時間差が生じる場合、ディレイ発生部８０では、この時間差分だけ映像表示装置１への映像データの出力を遅延させる。これにより、映像受信装置７０から照明装置４に出力される照明色情報と、映像表示装置１に出力される映像データとが同期することとなり、映像表示装置１の表示映像に応じた照明光制御を行うことができる。

図４は、本発明に関わる視聴環境制御装置における照明切替制御の処理例を説明するためのフローチャートで、図２（Ｂ）に示した実施形態にかかる蓄積型の視聴環境制御装置における照明切替制御部６１の処理例に該当するものである。

照明切替制御部６１は、まず映像データの蓄積側である映像記録装置で記録された映像記録データ５２から、映像データのＴＣ（タイムコード）を取得する（ステップＳ１）。ＴＣはフレームごとに取得していくものとする。
そして映像記録装置で記憶された照明色データ５１のＴＣと、上記ステップＳ１で取得した映像データのＴＣとを比較し、これらが一致するかどうかを判別する（ステップＳ２）。ここで照明色データ５１のＴＣと映像データのＴＣとが一致しなければ、ステップＳ１に戻ってさらに映像データの新しいフレームのＴＣを取得する。

また、照明切替制御部６１は、上記ステップＳ２で照明色データのＴＣと映像データのＴＣが一致すれば、そのＴＣに応じたフレームの照明色情報を取得する（ステップ３）。照明装置４では、取得された照明色情報に従って照明色を変更する（ステップＳ４）。
そして処理が終了であるかどうかを判別し（ステップＳ５）、処理が終了でなければステップＳ１に戻って新しいフレームのＴＣを取得する。

次に、図５及び図６を参照して、映像特徴量を表わす色信号データにヒステリシスを付加して照明色情報を生成する処理例について説明する。本例は、図２に示した蓄積型の視聴環境制御装置、及び図３に示したリアルタイム型の視聴環境制御装置の照明データ生成部３０に共通して適用することができる。

図５は、場（雰囲気）推定部２２で生成された色信号データに応じた照明色情報のレベル設定について説明するための図である。照明データ生成部３０では、場（雰囲気）推定部２２で生成された色信号データに応じて、複数段階のレベル（ＬＥＶＥＬ）による照明色情報を生成し、その照明色情報に応じて照明色制御を行わせるようにする。照明色情報のレベルの幅は、色信号データの閾値（Ｔｈｒｅａｓｈ）によって規定されている。これらの閾値は、ヒステリシス用閾値設定部４０に設定保持されている。

上記の照明色情報のレベルは、場（雰囲気）推定部２２で生成される色信号データに応じて設定される。そしてここでは、ＬＥＶＥＬ（Ｎ）とＬＥＶＥＬ（Ｎ＋１）との境界をＴｈｒｅａｓｈ（Ｎ）で規定し、ＬＥＶＥＬ（Ｎ＋１）とＬＥＶＥＬ（Ｎ＋２）との境界をＴｈｒｅａｓｈ（Ｎ＋１）で規定するものとする。すなわち、特定レベルの色信号データに対応する閾値は、この場合、そのレベルの上限の色信号データを指すものとする。

図６は、色信号データから照明色情報のレベルを決定するための処理例を示すフローチャートである。照明データ生成部３０は、場（雰囲気）推定部２２から出力された色信号データを取得し（ステップＳ１１）、取得した色信号データと前回取得した色信号データとを比較する（ステップＳ１２）。上述のように、場（雰囲気）推定部２２における色信号データは、映像のフレームごとに生成されるため、ここでは、上記ステップＳ１１における色信号データはフレームごとに取得されて、上記ステップＳ１２における色信号データの比較はフレームごとに行われるものとする。

そして取得した色信号データが、前回取得した色信号データに比べて増大していた場合には、さらに今回取得した色信号データが、前記取得した色信号データに該当するレベルの上限の閾値Ｔｈｒｅａｓｈ（ｌｅｖｅｌ）＋αより大きいかどうかを判別する（ステップＳ１３）。ここで、αは予め設定された任意の数であり、例えばユーザ操作等に応じた変更設定を可能にしてもよいし、或いは、表示すべき映像のコンテンツ種別（ジャンル）などに応じて自動的に可変設定されるものとしてもよい。
例えば、前回取得した色信号データに相当する照明色情報のレベルがＮであるものとする。そして上記ステップＳ１２で今回取得した色信号データと前回取得した色信号データとを比較して、今回取得した色信号データの方が大きい場合には、今回取得した色信号データが、前記取得した色信号データのレベルＮに対応する閾値Ｎ（レベル（Ｎ）の上限）＋αよりも大きいかどうかを判別する。

そして今回取得した色信号データが、前回取得した色信号データに対応する閾値Ｔｈｒｅａｓｈ（ｌｅｖｅｌ）＋αより大きい場合、照明色情報のレベルを１上げる（この場合はレベル（Ｎ）をレベル（Ｎ＋１）に上げる）（ステップＳ１４）。
また今回取得した色信号データが、前回取得した色信号データに対応する閾値Ｔｈｒｅａｓｈ（ｌｅｖｅｌ）＋αより大きくない場合は、照明色情報のレベルをそのまま維持する（この場合は、レベル（Ｎ）を維持する）（ステップＳ１７）。

また、上記ステップＳ１２で、取得した色信号データと前回取得した色信号データとを比較した結果、今回取得した色信号データが、前回取得した色信号データに比べて減少していた場合には、さらに今回取得した色信号データが、前回取得した色信号データに対応するレベルの一つ下位のレベルの上限の閾値Ｔｈｒｅａｓｈ（ｌｅｖｅｌ−１）−αより小さいかどうかを判別する（ステップＳ１５）。
例えば前回取得した色信号データに相当する照明色情報のレベルがＮであるものとする。そして上記ステップＳ１２で今回取得した色信号データと前回取得した色信号データとを比較して、今回取得した色信号データの方が小さい場合には、今回取得した色信号データが、前記取得した色信号データのレベルＮの一つ下位のレベル（Ｎ−１）に相当する閾値Ｎ−１（レベル（Ｎ−１）の上限）−αよりも小さいかどうかを判別する。

そして今回取得した色信号データが、前回取得した色信号データに対応するレベルの一つ下位のレベルの上限となる閾値Ｔｈｒｅａｓｈ（ｌｅｖｅｌ−１）−αより小さい場合、照明色情報のレベルを１下げる（この場合はレベル（Ｎ）をレベル（Ｎ−１）に下げる）（ステップＳ１６）。
また今回取得した色信号データが、前回取得した色信号データに対応するレベルの一つ下位のレベルの上限となる閾値Ｔｈｒｅａｓｈ（ｌｅｖｅｌ−１）−αより小さくない場合は、照明色情報のレベルをそのまま維持する（この場合は、レベル（Ｎ）を維持する）（ステップＳ１８）。

また上記ステップＳ１２で、取得した色信号データと前回取得した色信号データとを比較した結果、今回取得した色信号データと、前回取得した色信号データとが同じである場合には、ステップＳ１１に戻る。

上記のような処理により、今回取得した色信号データに対して照明色情報のレベルが決定されると、ステップＳ１１に戻って次のフレームの色信号データを取得し、上述の処理を繰り返す。すなわち、上記ヒステリシス処理の一例では、各フレームごとの映像特徴量を表わす色信号データの増大減少に応じて閾値を±αすることにより、色信号データに対してヒステリシスを付与しているため、閾値付近で色信号データが増減を繰り返すような場合であっても、これに追従して照明色情報が激しく変動するのを防止して、安定した照明色情報の切替制御を実現することが可能となる。

さらに、図７を参照して、映像特徴量を表わす色信号データにヒステリシスを付加して照明色情報を生成する他の処理例について説明する。本例も、図２に示した蓄積型の視聴環境制御装置、及び図３に示したリアルタイム型の視聴環境制御装置の照明データ生成部３０に共通して適用することができる。

まず照明データ生成部３０は、場（雰囲気）推定部２２から出力されたフレームごとの色信号データを取得する（ステップＳ２１）。そして取得した色信号データに対応する照明色情報のレベル（ＬＥＶＥＬ）を決定する（ステップＳ２２）。

そして現在確定している照明色情報のレベル（以下、確定レベルとする）と上記ステップＳ２２で決定したレベルとを比較する（ステップＳ２３）。この確定レベルは、その時点で照明装置を制御する照明色情報に実際に使用されているレベルである。

上記ステップＳ２３における比較の結果、取得した色信号データに対応する照明色情報のレベルが、確定レベルよりも増大していれば、ＵＰカウンタのカウンタ値を１インクリメント（＋１）し、ＤＯＷＮカウンタのカウンタ値をクリアする（ステップＳ２４）。
そしてＵＰカウンタが所定数βに達しているかどうかを判別する。所定数βは本例では例えば１５０とする（ステップＳ２５）。このβの値についても、ユーザ操作等に応じた変更設定を可能にしてもよいし、或いは、表示すべき映像のコンテンツ種別（ジャンル）などに応じて自動的に可変設定されるものとしてもよい。

上記ステップＳ２５でＵＰカウンタのカウンタ値が所定数βに達していれば、照明色情報の確定レベルを１段階アップ（＋１）させる（ステップＳ２６）。また、ＵＰカウンタのカウンタ値が所定数βに達していなければ、上記ステップＳ２１に戻って次のフレームの色信号データを取得する。

また上記ステップＳ２３における比較の結果、取得した色信号データに対応する照明色情報のレベルが、確定レベルよりも減少していれば、ＤＯＷＮカウンタのカウンタ値を１インクリメント（＋１）し、ＵＰカウンタのカウンタ値をクリアする（ステップＳ２７）。そしてＤＯＷＮカウンタのカウンタ値が所定数βに達しているかどうかを判別する（ステップＳ２８）。

上記ステップＳ２８でＤＯＷＮカウンタのカウンタ値が所定数βに達していれば、照明色情報の確定レベルを１段階ダウン（−１）させる（ステップＳ２９）。またＤＯＷＮカウンタのカウンタ値が所定数βに達していなければ、上記ステップＳ２１に戻って次のフレームの色信号データを取得する。

また、上記ステップＳ２３の比較の結果、所得した色信号データに対応する照明色情報のレベルが、確定レベルと同じであれば、ＵＰカウンタとＤＯＷＮカウンタの双方のカウンタ値をクリアして（ステップＳ３０）、上記ステップＳ２１に戻って次のフレームの色信号データを取得する。

なお、上記の例では、確定レベルの増減を判断するカウンタ値の所定数βを１５０として説明したが、所定数βが１５０に限定されないのは明らかである。所定数を適宜増減させて設定することにより、映像の特徴量の変化に対する照明光の変化の追従性を任意に設定することができる。

上述したような処理によって、場（雰囲気）推定部２２で生成されたフレームごとの色信号データから照明色情報のレベルを決定し、さらにその照明色情報のレベルが、所定フレーム数連続して現在使用されている照明色情報のレベル（確定レベル）より増大しているときに、はじめて確定レベルをアップさせる。また逆にフレームごとの色信号データから決定した照明色情報のレベルが、所定フレーム数連続して現在使用されている照明色情報のレベル（確定レベル）より減少しているときに、始めて確定レベルをダウンさせる。

上述した処理においては、閾値は固定して、色信号データに対応する照明色情報のレベルの変動を監視し、所定期間以上連続して完全に照明色情報のレベルが変わったと判断された場合に、新たな照明色情報のレベルで照明制御を行うように移行することにより、色信号データに対してヒステリシスを付与しているため、閾値付近で色信号データが増減を繰り返すような場合であっても、これに追従して照明色情報が激しく変動するのを防止して、安定した照明色情報の切替制御を実現することが可能となる。

尚、図６とともに説明したヒステリシス処理と図７とともに説明したヒステリシス処理とを組み合わせたヒステリシス処理を行う構成としても良い。例えば、現フレームの映像特徴量が、前フレームの映像特徴量に対して増大した場合は、判定閾値を大きくし、現フレームの映像特徴量が、前フレームの映像特徴量に対して減少した場合は、判定閾値を小さくするように変化させるとともに、該判定閾値を超える変化が所定期間以上連続する場合に、現フレームの映像特徴量に応じた照明光に切り替えるようにしても良い。

以上、詳述したように、本発明の視聴環境制御装置によれば、表示すべき映像データの特徴量に対してヒステリシス処理を施すことによって、ヒステリシス特性をもった照明制御情報を生成する構成としているので、表示すべき映像データの特徴量の変動に伴い照明光が頻繁に変化することによって生じるフリッカーを抑制することが可能となる。

尚、上記本発明の実施形態においては、映像信号のフレーム単位で映像特徴量を取得して、照明制御情報を生成する構成としているが、これに限らず、例えば予め決められた所定時間（数フレーム）毎に（定期的に）映像特徴量を取得する構成としてもよいし、また、照明制御情報を映像信号のシーン単位やショット単位で生成する構成としてもよい。さらに、映像特徴量を示すデータとして、色データに限られず種々のデータを利用できることは言うまでもない。

本発明に関わる視聴環境制御装置における要部概略構成を説明するための図である。 本発明に関わる視聴環境制御装置の一実施形態を説明するためのブロック図である。 本発明に関わる視聴環境制御装置の他の実施形態を説明するためのブロック図である。 本発明に関わる視聴環境制御装置の一実施形態における照明切替制御の処理例を説明するためのフローチャートである。 本発明に関わる視聴環境制御装置の場（雰囲気）推定部で生成された色信号データに応じた照明色情報のレベル設定について説明するための図である。 本発明に関わる視聴環境制御装置の色信号データにヒステリシスを付加して照明色情報を生成する一処理例を示すフローチャートである。 本発明に関わる視聴環境制御装置の色信号データにヒステリシスを付加して照明色情報を生成する他の処理例を示すフローチャートである。 フレームごとの特徴量を照明光の制御に直接反映させるときの照明光変動の問題点の一例を説明するための図である。 フレームごとの特徴量を照明光の制御に直接反映させるときの照明光変動の問題点の他の例を説明するための図である。

符号の説明

１…映像表示装置、２…場（雰囲気）推定処理部、３…視聴環境制御部、４…照明装置、１０…データ伝送部、２０…映像記録装置、２１…映像データ抽出部、２２…場（雰囲気）推定部、３０…照明データ生成部、４０…ヒステリシス用閾値設定部、５１…照明色データ、５２…映像記録データ、６０…映像再生装置、６１…照明切替制御部、７０…映像受信装置、８０…ディレイ発生部。

Claims (8)

1. 表示すべき映像データの特徴量に応じて、前記映像データを表示する表示装置の周囲に配置された照明装置の照明光を制御する視聴環境制御装置であって、
   前記映像データの特徴量を検出する映像特徴量検出手段と、
   該映像特徴量検出手段による検出結果と前記映像データのコンテンツ種別に応じて可変設定される閾値とを用いて、前記照明装置の照明光を制御するための照明制御情報を生成する照明データ生成手段と、
   該照明データ生成手段によって生成された照明制御情報に基づいて、前記照明装置の照明光を切り替えて制御する照明切替制御手段と、を有することを特徴とする視聴環境制御装置。
2. 請求項１に記載の視聴環境制御装置において、
   前記照明データ生成手段は、前記映像特徴量検出手段から特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して前記閾値を超える変化があるまでは、前記前回取得した特徴量に基づく前記照明装置の照明光の制御を維持し、前記閾値を超える変化があったときに、現在の特徴量に応じた前記照明光の制御に切り替える照明制御情報を生成することを特徴とする視聴環境制御装置。
3. 前記請求項２に記載の視聴環境制御装置において、
   前記照明データ生成手段は、前記映像特徴量検出手段から特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して増大した場合は、前記閾値を大きくし、前記映像データの現在の特徴量が、前回取得した特徴量に対して減少した場合は、前記閾値を小さくするように変化させることを特徴とする視聴環境制御装置。
4. 前記請求項２に記載の視聴環境制御装置において、
   前記照明データ生成手段は、前記映像特徴量検出手段から特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して所定の閾値を超える変化が所定期間以上連続する場合に、現在の特徴量に応じた前記照明光の制御に切り替える照明制御情報を生成することを特徴とする視聴環境制御装置。
5. 表示すべき映像データの特徴量に応じて、前記映像データを表示する表示装置の周囲に配置された照明装置の照明光を制御する視聴環境制御方法であって、
   前記映像データの特徴量を検出する映像特徴量検出ステップと、
   該映像特徴量検出ステップによる検出結果と前記映像データのコンテンツ種別に応じて可変設定される閾値とを用いて、前記照明装置の照明光を制御するための照明制御情報を生成する照明データ生成ステップと、
   該照明データ生成ステップによって生成された照明制御情報に基づいて、前記照明装置の照明光を切り替えて制御する照明切替制御ステップと、を有することを特徴とする視聴環境制御方法。
6. 請求項５に記載の視聴環境制御方法において、
   前記照明データ生成ステップは、前記映像特徴量検出ステップで検出した特徴量を取得し、前記映像データの現在の特徴量が前回取得した特徴量に対して所定の閾値を超える変化があるまでは、前記前回取得した特徴量に基づく前記照明装置の照明光の制御を維持し、所定の閾値を超える変化があったときに、現在の特徴量に応じた前記照明光の制御に切り替える照明制御情報を生成することを特徴とする視聴環境制御方法。
7. 前記請求項６に記載の視聴環境制御方法において、
   前記照明データ生成ステップは、前記映像特徴量検出ステップで検出した特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して増大した場合は、前記閾値を大きくし、前記映像データの現在の特徴量が、前回取得した特徴量に対して減少した場合は、前記閾値を小さくするように変化させることを特徴とする視聴環境制御方法。
8. 前記請求項４に記載の視聴環境制御方法において、
   前記照明データ生成ステップは、前記映像特徴量検出ステップで検出した特徴量を取得し、前記映像データの現在の特徴量が、前回取得した特徴量に対して所定の閾値を超える変化が所定期間以上連続する場合に、現在の特徴量に応じた前記照明光の制御に切り替える照明制御情報を生成することを特徴とする視聴環境制御方法。

Images