JP4439322B2 - 高臨場感再生装置及び方法 - Google Patents

Description

本発明は、高臨場感再生装置及び方法、より詳細には、放送データに含まれる付加情報によって視聴環境を制御して臨場感を向上させる技術に関する。

照明光を制御して高臨場感を演出するための技術に関し、以下のような従来例がある。
例えば、特許文献１には、映像中の肌色以外の背景領域からＲＧＢ値と輝度値の平均値を求め、それを部屋全体の照明光とする技術が記載されている。
特許文献２には、映像から照度、色相、配光および方向にあわせて部屋全体もしくは部分的に照明光を調整する技術が記載されている。
特許文献３には、映像をいくつかの領域に区分し、それぞれのＲＧＢ値の平均値を求め、区分された領域に対応した照明光をそれぞれ制御する技術が記載されている。
特開平３−１８４２０３号公報 特開２０００−１７３７８３号公報 特開２００１−３４３９００号公報

しかしながら、上記特許文献１に記載の発明では、肌色以外を背景領域とし、そのＲＧＢ値と輝度値の平均値を照明光としているが、例えば、晴れた日の砂浜の映像の場合、理想的には晴れた空の色を照明で再現できればよいのだが、現実には空と砂浜のＲＧＢ値と輝度値の平均値となり空の色を再現することはできず、背景領域がほぼ一色の場合のみしか理想的に動作しない。

また、上記特許文献２に記載の発明では、映像から照度、色相、配光および方向を求めて、それを照明光としているが、撮影時における撮影環境を再現しているのとは異なり、映像中の色を画面外に拡張しているだけに過ぎない。
さらに、上記特許文献３に記載の発明では、映像をいくつかの領域に区分し、それぞれのＲＧＢ値の平均値を求め、区分された領域に対応した照明光としているが、これも、上記特許文献２と同じく、撮影時における撮影環境を再現しているのとは異なり、映像中の色を画面外に拡張しているだけに過ぎない。

本発明は、上述のごとき実情に鑑みてなされたものであり、放送データの視聴時において、その放送データに含まれる付加情報（字幕情報、天気情報）から、撮影時の撮影環境を再現するための照明データを推定し、推定した照明データを視聴環境に反映させて臨場感を向上させることができる高臨場感再生装置及び方法を提供すること、を目的としてなされたものである。

本発明は、上記課題を解決するために、以下の技術手段を構成する。
本発明の第１の技術手段は、映像信号と付加情報を含む放送データを受信する受信部と、該受信した放送データを映像信号と付加情報に分割するデータ分割部と、該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定部と、該推定された照明データに基づいて照明器具を制御する視聴環境制御部とを備えた高臨場感再生装置であって、前記照明推定部は、前記付加情報に含まれる字幕情報から照明データを推定することを特徴としたものである。

第２の技術手段は、映像信号と付加情報を含む放送データを受信する受信部と、該受信した放送データを映像信号と付加情報に分割するデータ分割部と、該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定部と、該推定された照明データに基づいて照明器具を制御する視聴環境制御部とを備えた高臨場感再生装置であって、前記照明推定部は、前記付加情報に含まれる天気情報から照明データを推定することを特徴としたものである。

第３の技術手段は、映像信号と付加情報を含む放送データを受信する受信ステップと、該受信した放送データを映像信号と付加情報に分割するデータ分割ステップと、該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定ステップと、該推定された照明データに基づいて照明器具を制御する視聴環境制御ステップとを有する高臨場感再生方法であって、前記照明推定ステップは、前記付加情報に含まれる字幕情報から照明データを推定することを特徴としたものである。

第４の技術手段は、映像信号と付加情報を含む放送データを受信する受信ステップと、該受信した放送データを映像信号と付加情報に分割するデータ分割ステップと、該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定ステップと、該推定された照明データに基づいて照明器具を制御する視聴環境制御ステップとを有する高臨場感再生方法であって、前記照明推定ステップは、前記付加情報に含まれる天気情報から照明データを推定することを特徴としたものである。

放送データの視聴時において、その放送データに含まれる付加情報（字幕情報、天気情報）から、撮影時の撮影環境を再現するための照明データを推定し、推定した照明データを視聴環境に反映させることができるため、放送データの視聴時に臨場感を向上させることができる。

以下、本発明の実施形態を添付された図面を参照して具体的に説明する。なお、実施形態を説明する全図において、同様の機能を有する部分には、同じ符号を付け、その繰り返しの説明は省略する。

（本発明の実施形態）
図１は、本発明の一実施形態に係る高臨場感再生装置の構成例を示すブロック図で、図中、１０は高臨場感再生装置（以下、単に再生装置という）で、該再生装置１０は、放送局から映像信号と付加情報を含む放送データを受信する受信部１１、受信した放送データを映像信号と付加情報に分割するデータ分割部１２、分割した付加情報から上記放送データの撮影環境を再現するための照明状況（照明データ）を推定する照明推定部１３、推定された照明状況をもとに視聴環境を制御する視聴環境制御部１４、視聴環境制御部１４により制御される照明部（照明器具）１５、上記分割した映像信号を表示するディスプレイ部１６を備えている。

放送局から送られてくる放送データには通常の映像信号と付加情報とが含まれている。この放送データを受信部１１で受信する。受信部１１で受信した放送データは、データ分割部１２に送られる。データ分割部１２にて放送データは、映像信号と付加情報に分割される。映像信号はそのままディスプレイ部１６に送られて表示される。付加情報は照明推定部１３に送られる。照明推定部１３では、付加情報を元に適切な照明データを演算によって求める。照明データは視聴環境制御部１４に送られる。視聴環境制御部１４では、与えられた照明データを元にして、照明部１５の色温度、照度を制御する。

ここで、上記色温度とは、ある色を放つ光源に含まれる、青紫光と赤色光の相対的な強さを表す数値であり、その定義は、その光と同じ色の光を完全黒体が放射する時の黒体の温度である。単位はK(ケルビン)が用いられ、色温度の場合には温度記号は付けないことが多い。この色温度は赤、白、青の順で高くなる。

図２は、本発明の参考例に係る高臨場感再生方法の一例を説明するためのフロー図である。尚、本例は、図１に示す再生装置１０に基づいて、付加情報として撮影場所情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し（ステップＳ１）、データ分割部１２にて映像信号と付加情報である撮影場所情報に分割し、撮影場所情報を取り出す（ステップＳ２）。取り出した撮影場所情報は照明推定部１３で行われる演算に使用される。

照明推定部１３は、撮影場所の緯度が所定値よりも高いか低いかを判定し（ステップＳ３）、撮影場所の緯度が所定値よりも高い場合（図中、高い場合）、照明部１５の色温度を低くするように照明データを設定する（ステップＳ４）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を低くするように調整する（ステップＳ６）。また、上記ステップＳ３において、撮影場所の緯度が所定値よりも低い場合（図中、低い場合）、照明部１５の色温度を高くするように照明データを設定する（ステップＳ５）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を高くするように調整する（ステップＳ６）。

図２に示すフローの別の例として、図１に示す再生装置１０に基づいて、付加情報として撮影日時情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し、データ分割部１２にて映像信号と付加情報である撮影日時情報に分割し、撮影日時情報を取り出す。取り出した撮影日時情報は照明推定部１３で行われる演算に使用される。

照明推定部１３は、例えば、撮影日時の時間が昼に近いときは、照明部１５の色温度を高くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を高くするように調整する。また、撮影日時の時間が太陽が昇っている間で朝夕に近いときは、照明部１５の色温度を低くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を低くするように調整する。さらに、撮影日時の時間が夜のときは、照明部１５の照度を低くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の照度を低くするように調整する。

また、撮影日時の日付が夏に近いときは、照明推定部１３は、照明部１５の色温度を高くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を高くするように調整する。また、撮影日時の日付が冬に近いときは、照明部１５の色温度を低くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を低くするように調整する。

さらに、図２に示すフローの本発明の実施形態として、図１に示す再生装置１０に基づいて、付加情報として天気情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し、データ分割部１２にて映像信号と付加情報である天気情報に分割し、天気情報を取り出す。取り出した天気情報は照明推定部１３で行われる演算に使用される。

照明推定部１３は、天気が曇りに近いときは、照明部１５の色温度を高くするように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を高くするように調整する。この天気情報の場合、天気が快晴、曇り、晴れの順に色温度を低くするように照明データを設定する。曇りの場合には照度が低くなるように照明データを設定する。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明部１５の色温度を低くするように調整する。この際、曇りの場合には、視聴環境制御部１４は照明部１５の照度を低くするように調整する。

図３は、本発明が適用される高臨場感再生方法の一例を説明するためのフロー図である。尚、本例は、図１に示す再生装置１０に基づいて、付加情報として字幕情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し（ステップＳ１１）、データ分割部１２にて映像信号と付加情報である字幕情報に分割し、字幕情報を取り出す（ステップＳ１２）。取り出した字幕情報は照明推定部１３に送られ、照明推定部１３は送られた字幕情報からキーワード抽出を行う（ステップＳ１３）。

照明推定部１３は、上記ステップＳ１３において、例えば、撮影が行われた場所、撮影が行われた時間、撮影が行われた日付、撮影が行われたときの天気に関するキーワードを抽出する。照明推定部１３は、抽出したキーワードを判定し（ステップＳ１４）、そのキーワードが撮影場所の場合（図中、撮影場所の場合）、撮影場所にあわせて照明部１５の色温度を適切に調整するための照明データを設定する（ステップＳ１５）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明データを元に照明部１５の色温度を調整する（ステップＳ１８）。

また、上記ステップＳ１４において、抽出したキーワードが撮影日時の場合（図中、撮影日時の場合）、撮影日時にあわせて照明部１５の色温度を適切に調整するための照明データを設定する（ステップＳ１６）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明データを元に照明部１５の色温度を調整する（ステップＳ１８）。

さらに、上記ステップＳ１４において、抽出したキーワードが天気情報の場合（図中、天気情報の場合）、天気情報にあわせて照明部１５の色温度を適切に調整するための照明データを設定する（ステップＳ１７）。この照明データは視聴環境制御部１４に送られて、視聴環境制御部１４は照明データを元に照明部１５の色温度を調整する（ステップＳ１８）。

本実施形態によれば、放送データの視聴時において、放送データに含まれる付加情報（字幕情報、天気情報）から適切な照明データを推定し、推定した照明データにより照明器具を制御することにより、撮影時の撮影環境を再現することができるため、視聴環境の臨場感を向上させることができる。

図４は、本発明の参考例に係る高臨場感再生装置の構成例を示すブロック図で、再生装置１０は、受信部１１、データ分割部１２、照明推定部１３、視聴環境制御部１４、照明部１５、ディスプレイ部１６に加え、さらに、付加情報（撮影場所、撮影日時、天気情報など）から推定される照明データを格納した推定データベース部１７を備えている。

図５は、推定データベース部１７に格納されているデータの一例を示す図である。
推定データベース部１７には、照明推定部１３で検索・参照されるための撮影場所、撮影日時、天気情報などの各付加情報の値から推定される照明データが格納されている。例えば、撮影場所の照明データの場合、緯度をいくつかのグループに分けている。例えば、緯度ごとに高い、中間、低いの３つにグループ分けした場合、高いは色温度を低く、中間は色温度をそのまま、低いは色温度を高くするための照明データが格納されている。

また、撮影日時の照明データの場合、時間、季節をいくつかのグループに分けている。例えば、時間ごとに日の出、日没、昼、夜の４つにグループ分けした場合、日の出は色温度を低く、日没は色温度を低く、昼は色温度を高く、夜は照度を低くするための照明データが格納されている。また、季節ごとに春、夏、秋、冬の４つにグループ分けした場合、春は色温度をそのままに、夏は色温度を高く、秋は色温度をそのままに、冬は色温度を低くするための照明データが格納されている。

また、天気情報の照明データの場合、天気をいくつかのグループに分けている。例えば、天気を快晴、曇り、晴天、雨の４つにグループ分けした場合、快晴は色温度を高く、曇りは色温度をやや高く、晴天は色温度をそのままに、雨は照度を低くするための照明データが格納されている。

図６は、本発明の参考例に係る高臨場感再生方法の他の例を説明するためのフロー図である。尚、本例は、図４に示す再生装置１０に基づいて、付加情報として撮影場所情報が送られてくる場合について説明する。
まず、再生装置１０は、受信部１１で放送データを受信し（ステップＳ２１）、データ分割部１２にて映像信号と付加情報である撮影場所情報に分割し、撮影場所情報を取り出す（ステップＳ２２）。取り出した撮影場所情報は照明推定部１３に送られる。また、映像信号はそのままディスプレイ部１６に送られて表示される。

照明推定部１３は、送られてきた撮影場所情報を元に推定データベース部１７を検索・参照し（ステップＳ２３）、照明部１５の色温度を適切に調整するための照明データを取得する（ステップＳ２４）。取得した照明データは視聴環境制御部１４に送られる。視聴環境制御部１４では、与えられた照明データを元にして、照明部１５の色温度、照度を調整する（ステップＳ２５）。

これによれば、放送データの視聴時において、放送データに含まれる付加情報（撮影場所情報、撮影日時情報、天気情報など）から適切な照明データを推定し、推定した照明データにより照明器具を制御することにより、撮影時の撮影環境を再現することができるため、視聴環境の臨場感を向上させることができる。さらに、推定データベース部を備えることで、演算処理が省かれ、照明推定部の負荷が軽減される。

本発明の一実施形態に係る高臨場感再生装置の構成例を示すブロック図である。 本発明の参考例に係る高臨場感再生方法の一例を説明するためのフロー図である。 本発明が適用される高臨場感再生方法の一例を説明するためのフロー図である。 本発明の参考例に係る高臨場感再生装置の構成例を示すブロック図である。 推定データベース部に格納されているデータの一例を示す図である。 本発明の参考例に係る高臨場感再生方法の他の例を説明するためのフロー図である。

符号の説明

１０…高臨場感再生装置（再生装置）、１１…受信部、１２…データ分割部、１２…照明推定部、１４…視聴環境制御部、１５…照明部（照明器具）、１６…ディスプレイ部、１７…推定データベース部。

Claims (4)

1. 映像信号と付加情報を含む放送データを受信する受信部と、
   該受信した放送データを映像信号と付加情報に分割するデータ分割部と、
   該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定部と、
   該推定された照明データに基づいて照明器具を制御する視聴環境制御部とを備えた高臨場感再生装置であって、
   前記照明推定部は、前記付加情報に含まれる字幕情報から照明データを推定することを特徴とする高臨場感再生装置。
2. 映像信号と付加情報を含む放送データを受信する受信部と、
   該受信した放送データを映像信号と付加情報に分割するデータ分割部と、
   該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定部と、
   該推定された照明データに基づいて照明器具を制御する視聴環境制御部とを備えた高臨場感再生装置であって、
   前記照明推定部は、前記付加情報に含まれる天気情報から照明データを推定することを特徴とする高臨場感再生装置。
3. 映像信号と付加情報を含む放送データを受信する受信ステップと、
   該受信した放送データを映像信号と付加情報に分割するデータ分割ステップと、
   該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定ステップと、
   該推定された照明データに基づいて照明器具を制御する視聴環境制御ステップとを有する高臨場感再生方法であって、
   前記照明推定ステップは、前記付加情報に含まれる字幕情報から照明データを推定することを特徴とする高臨場感再生方法。
4. 映像信号と付加情報を含む放送データを受信する受信ステップと、
   該受信した放送データを映像信号と付加情報に分割するデータ分割ステップと、
   該分割した付加情報から前記放送データの撮影環境を再現するための照明データを推定する照明推定ステップと、
   該推定された照明データに基づいて照明器具を制御する視聴環境制御ステップとを有する高臨場感再生方法であって、
   前記照明推定ステップは、前記付加情報に含まれる天気情報から照明データを推定することを特徴とする高臨場感再生方法。

Images