JPWO2010087155A1 - データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム - Google Patents

Abstract

本発明に係るデータ受信装置（２）は、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御し、映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を受信する受信部（２１）と、参照情報により示される算出領域における映像データまたは音声データの特徴量を算出するエフェクト制御データ生成部（２５）とを備えている。

Description

本発明は、データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システムに関し、特に、ユーザの視聴環境空間における周辺機器を制御するためのデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システムに関する。

近年、映像および音声に係るエレクトロニクス技術の急速な進歩により、ディスプレイの大型化、広視野角化および高精細化、ならびにサラウンドシステムの向上が進んでいる。その結果、臨場感のある映像および音声が楽しめるようになってきている。例えば、現在普及しつつあるホームシアターシステムにおいては、大型ディスプレイまたはスクリーンと多チャンネル音声・音響技術との組み合わせにより、高い臨場感を得ることができるシステムを実現している。

また、特に最近では、複数のメディアを組み合わせて、より臨場感が高められるようなシステムの開発が盛んに行われている。例えば、単に一つの表示装置にて映像を楽しむものではなく、複数のディスプレイを組み合わせて広視野な映像を視聴するシステム、およびディスプレイに表示される映像と照明装置の照明光とを連動させるシステムなどが提案されている。

特に、ディスプレイと照明装置とを連動させて高い臨場感を実現する技術においては、大型ディスプレイを用いなくても高い臨場感が得られる。そのため、コストおよび設置スペース等の制約が少なく、大きな期待が寄せられ、大変注目を浴びている。

この技術によれば、視聴者の部屋（視聴環境空間）に設置されている複数の照明装置の照明光を、ディスプレイに表示される映像に応じた色または強さにコントロールする。これにより、視聴者があたかもディスプレイに映し出されている映像空間の中に実在するかのような感覚および効果を視聴者に与えることができる。このようなディスプレイに表示される画像と照明装置の照明光とを連動させる技術は、例えば、特許文献１に開示されている。

特許文献１に開示されている照明システムは、高い臨場感を提供することを目的としたものであり、表示すべき映像に連動させて複数の照明装置を制御する照明システムである。このシステムにおいては、代表色および平均輝度など映像データの特徴量から、複数の照明装置に対する照明制御データを生成する。具体的には、各照明装置の設置位置に応じて予め決められた画面領域の映像データの特徴量を検出し、この検出された特徴量に基づいて各照明装置に対する照明制御データを生成している。照明制御データは、映像データの特徴量から演算して求めるものに限らず、単独で、または映像データとともに、インターネット等を介して配信されるもの、および搬送波により配信されるものを用いてもよいことが特許文献１に記載されている。

さらに、例えば特許文献２には、周辺光を制御するシステムにおいて、単に映像データの画面全体の平均色を反映するように周辺光を設定するのではなく、特定の画面位置の色に反応して周辺光を設定し得ることが記載されている。

日本国公開特許公報「特開２００１−３４３９００号公報」（２００１年１２月１４日公開） 日本国公表特許公報「特表２００５−５３１９０９号公報」（２００５年１０月２０日公表）

上述した従来の技術では、表示すべき映像信号における１フレーム（画面）毎の特定の画面位置の特徴量（色信号および輝度信号）を検出し、照明光を制御している。そのため、表示映像内容によってはその映像の場（雰囲気）に即した照明光を生成することが困難である。例えば、映像信号に含まれる被写体人物の服装または被写体の背景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎の雰囲気を再現すること、およびシーン毎の臨場感を維持することができない。映像シーンの撮影時における照明状況から大きく逸脱した視聴環境照明は却って臨場感を損なうことになる。

また、従来の技術においては、フレーム毎の映像信号の輝度または色相の変化に応じて照明光の状態が変化する。そのため、特にフレーム間における輝度および色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を受けるという問題が生じる。さらに、撮影時の照明状況に変化のない１つのシーンの表示中に、フレーム毎の輝度および色相の変化に応じて照明光が大きく変動することは、シーン毎における雰囲気の再現を逆に阻害してしまい好ましくない。

また、通常、映像のシーンは、例えば映像制作者（脚本家、演出家など）の意図により、一連の場面設定に基づく一区切りの映像として、適切に設定された照明状況の下で撮影されて作製される。従って、映像視聴時の臨場感および雰囲気を高めるには、表示映像のシーン撮影時における照明状況に応じた照明光を視聴空間に照射することが望ましい。

そこで、本発明は上記の問題点に鑑みてなされたものであり、その目的は、視聴環境を整える視聴環境機器を適切に制御することにより、最適な視聴環境を実現することが可能な視聴環境制御装置およびデータ送信装置を提供することにある。

本発明に係る視聴環境制御装置は、上記課題を解決するために、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置であって、前記映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を受信する受信手段と、前記参照情報により示される算出領域における映像データまたは音声データの特徴量を算出する算出手段とを備えた構成である。

視聴環境機器は、ユーザが映像を視聴する際の周囲の環境を調節するための機器であり、非限定的に、例えば照明装置および空調装置などが意図される。

上記構成によれば、視聴環境制御装置は、映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を受信し、受信した参照情報により示される算出領域における映像データまたは音声データの特徴量を算出する。視聴環境制御装置は、算出した特徴量に基づいて視聴環境機器を制御する。

したがって、外部から受信した参照情報により指定された映像データまたは音声データの特定の領域における特徴量に基づいて視聴環境機器を制御することが可能となる。そのため、例えば映像データの特徴量を算出する際、映像データに含まれる被写体人物の服装または被写体の背景にある人工物などの影響を排除することが可能となり、コンテンツ制作者の意図する撮影シーンの雰囲気または場面設定に適応させて視聴環境機器を制御できる。これにより、高い臨場感が得られる視聴環境をユーザに提供できる。

本発明に係る視聴環境制御装置は、上記課題を解決するために、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置であって、前記映像データまたは音声データの特徴量を算出する際の算出方法を示す演算指定情報を受信する受信手段と、前記演算指定情報により示される算出方法によって映像データまたは音声データの特徴量を算出する算出手段とを備えた構成である。

上記構成によれば、視聴環境制御装置は、映像データまたは音声データの特徴量を算出する際の算出方法を示す演算指定情報を受信し、受信した演算指定情報により示される算出方法によって映像データまたは音声データの特徴量を算出する。視聴環境制御装置は、算出した特徴量に基づいて視聴環境機器を制御する。

したがって、外部から受信した演算指定情報により指定された特定の算出方法によって得られる映像データまたは音声データの特徴量に基づいて視聴環境機器を制御することが可能となる。そのため、例えば映像データの特徴量を算出する際、その映像内容に応じた適切な特徴量を得ることが可能となり、コンテンツ制作者の意図する撮影シーンの雰囲気または場面設定に適応させて視聴環境機器を制御できる。これにより、高い臨場感が得られる視聴環境をユーザに提供できる。

本発明に係る視聴環境制御装置は、上記課題を解決するために、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置であって、前記映像データまたは音声データの特徴量を算出する際の許容範囲を示す補正情報を受信する受信手段と、前記補正情報により示される許容範囲内で映像データまたは音声データの特徴量を算出する算出手段とを備えた構成である。

上記構成によれば、視聴環境制御装置は、映像データまたは音声データの特徴量を算出する際の許容範囲を示す補正情報を受信し、受信した前記補正情報により示される許容範囲内で映像データまたは音声データの特徴量を算出する。視聴環境制御装置は、算出した特徴量に基づいて視聴環境機器を制御する。

したがって、算出される特徴量は、外部から受信した補正情報により指定された許容範囲内に収まることになる。そのため、視聴環境機器を制御するために用いる特徴量が大きく増減を繰り返すことを防ぐことができる。これにより、視聴環境機器の駆動強度が激しく変動してしまうことを防ぐことができ、視聴環境が大きく変化してしまうことを防止できる。

本発明に係る視聴環境制御装置は、上記課題を解決するために、外部から受信した制御基準データに基づいて視聴環境機器を制御する視聴環境制御装置であって、外部から受信した映像データまたは音声データの特徴量を算出する算出手段と、前記映像データまたは音声データの特徴量を用いて、前記制御基準データを補正する補正手段とを備えた構成である。

上記構成によれば、視聴環境制御装置は、外部から受信した映像データまたは音声データの特徴量を算出し、算出した特徴量を用いて、外部から受信した制御基準データを補正する。視聴環境制御装置は、補正された制御基準データに基づいて視聴環境機器を制御する。

したがって、映像データまたは音声データから算出した特徴量を用いて、外部から受信した視聴環境機器に対する制御基準データを補正し、このデータに基づいて視聴環境機器を制御できるため、映像制作者の意図する撮影シーンの雰囲気または場面設定から大きく外れることなく、映像音声内容の変化に追従した視聴環境を提供できる。

本発明に係るデータ送信装置は、上記課題を解決するために、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置に対してデータの送信を行うデータ送信装置であって、前記映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を送信する送信手段を備えた構成である。

上記構成によれば、データ送信装置は、視聴環境制御装置に参照情報を送信する。参照情報は、視聴環境制御装置が映像データまたは音声データの特徴量を算出する際の算出領域を示すものである。算出された特徴量は、視聴環境制御装置が視聴環境機器を制御する際に用いられる。

したがって、視聴環境制御装置に参照情報が送信されると、視聴環境制御装置は、参照情報により示される算出領域における映像データまたは音声データの特徴量を算出する。視聴環境制御装置は、算出した特徴量に基づいて視聴環境機器を制御する。そのため、予め指定された映像データ、音声データの特定の領域における特徴量に基づいて視聴環境機器を制御することが可能となる。これにより、コンテンツ制作者の意図する撮影シーンの雰囲気または場面設定に適応させて視聴環境機器を制御できる。したがって、高い臨場感が得られる視聴環境をユーザに提供できる。

本発明に係るデータ送信装置は、上記課題を解決するために、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置に対してデータの送信を行うデータ送信装置であって、前記映像データまたは音声データの特徴量を算出する際の算出方法を示す演算指定情報を送信する送信手段を備えた構成である。

上記構成によれば、データ送信装置は、視聴環境制御装置に演算指定情報を送信する。演算指定情報は、視聴環境制御装置が映像データまたは音声データの特徴量を算出する際の算出方法を示すものである。算出された特徴量は、視聴環境制御装置が視聴環境機器を制御する際に用いられる。

したがって、視聴環境制御装置に演算指定情報が送信されると、視聴環境制御装置は、演算指定情報により示される算出方法に基づいて、映像データまたは音声データの特徴量を算出する。視聴環境制御装置は、算出した特徴量に基づいて視聴環境機器を制御する。そのため、予め指定された特定の算出方法によって得られる映像データまたは音声データの特徴量に基づいて視聴環境機器を制御することが可能となる。これにより、コンテンツ制作者の意図する撮影シーンの雰囲気または場面設定に適応させて視聴環境機器を制御できる。したがって、高い臨場感が得られる視聴環境をユーザに提供できる。

本発明に係るデータ送信装置は、上記課題を解決するために、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置に対してデータの送信を行うデータ送信装置であって、前記映像データまたは音声データの特徴量を算出する際の許容範囲を示す補正情報を送信する送信手段を備えた構成である。

上記構成によれば、データ送信装置は、視聴環境制御装置に補正情報を送信する。補正情報は、視聴環境制御装置が映像データまたは音声データの特徴量を算出する際の許容範囲を示すものである。算出された特徴量は、視聴環境制御装置が視聴環境機器を制御する際に用いられる。

したがって、視聴環境制御装置に補正情報が送信されると、視聴環境制御装置は、補正情報により示される許容範囲内で映像データまたは音声データの特徴量を算出する。そのため、算出される特徴量は、予め指定された許容範囲内に収まることになる。視聴環境制御装置は、許容範囲内に収まっている特徴量に基づいて視聴環境機器を制御する。これにより、視聴環境機器を制御するために用いる特徴量が大きく増減を繰り返すことを防ぐことができる。したがって、視聴環境機器の駆動強度が激しく変動してしまうことを防ぐことができ、視聴環境が大きく変化してしまうことを防止できる。

本発明に係るデータ送信装置は、上記課題を解決するために、視聴環境機器を制御するための制御基準データを視聴環境制御装置に対して送信するデータ送信装置であって、前記制御基準データは、映像データまたは音声データを構成するフレームの集合であるセグメント単位に設定されている構成である。

上記構成によれば、データ送信装置は、映像データまたは音声データを構成するフレームの集合であるセグメント単位に設定されている制御基準データを送信する。

したがって、視聴環境制御装置に制御基準データが送信されると、視聴環境制御装置は制御基準データに基づき視聴環境機器を制御する。このとき、フレームの集合であるセグメント単位ごとに制御することができる。セグメントを、シーン、ショット、フレームなどに対応して区切ることにより、場面設定に適応させて視聴環境機器を制御できる。これにより、高い臨場感が得られる視聴環境をユーザに提供できる。

本発明に係る視聴環境制御方法は、上記課題を解決するために、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御方法であって、前記映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を受信する受信工程と、前記参照情報により示される算出領域における映像データまたは音声データの特徴量を算出する算出工程とを含む構成である。

また、本発明に係る視聴環境制御方法は、上記課題を解決するために、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御方法であって、前記映像データまたは音声データの特徴量を算出する際の算出方法を示す演算指定情報を受信する受信工程と、前記演算指定情報により示される算出方法で映像データまたは音声データの特徴量を算出する算出工程とを含む構成でもあり得る。

また、本発明に係る視聴環境制御方法は、上記課題を解決するために、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御方法であって、前記映像データまたは音声データの特徴量を算出する際の許容範囲を示す補正情報を受信する受信工程と、前記補正情報により示される許容範囲内で映像データまたは音声データの特徴量を算出する算出工程とを含む構成でもあり得る。

また、本発明に係る視聴環境制御方法は、上記課題を解決するために、外部から受信した制御基準データに基づいて視聴環境機器を制御する視聴環境制御方法であって、外部から受信した映像データまたは音声データの特徴量を算出する算出工程と、前記映像データまたは音声データの特徴量を用いて、前記制御基準データを補正する補正工程とを含む構成でもあり得る。

以上の構成によれば、本発明に係る視聴環境制御方法は、本発明に係る視聴環境制御装置と同様の効果を奏する。

本発明に係る視聴環境制御装置によれば、映像データまたは音声データに応じた適切な視聴環境機器の制御が可能となるため、映像または音声に適した視聴環境をユーザに提供できる。

本発明に係る視聴環境制御システムの一実施形態を示す概略構成図である。 本発明に係るデータ送信装置の一実施形態を示す概略構成図である。 メタデータのデータ構造の一例を示す図である。 セグメント区切り情報の構成を示す図である。 手動制御用機器制御情報における各データの記述内容の例を示す図である。 本発明に係る視聴環境制御システムの視聴環境における配置の一例を示す図である。 複数のフレームにわたり変化する領域情報の具体例を示す図である。 図７に示す領域情報をブロックの座標として表したテーブルである。 色温度によって分類した自動制御用機器制御情報の色情報を表す図である。 自動制御用機器制御情報の音響情報を表す図である。 自動設定モードの基準照明データに応じた照明データの閾値設定に関する図である。 色信号データから照明データを決定する処理の流れを示すフローチャートである。 基準照明データの変化範囲を色差で表す図である。 色差の違いによるユーザが受ける印象を表す図である。 色温度に基づき温度データへの変換を行うための温度変化テーブルである。 本実施の形態に係る外部サーバ装置の要部構成例を示すブロック図である。 本発明に係る視聴環境制御システムの別の実施形態を示す概略構成図である。

〔実施の形態１〕
本発明の一実施形態について、図１〜図１５に基づいて説明すれば以下の通りである。なお、本実施形態では、視聴環境空間に配置された周辺機器として照明装置、空調機、送風機、振動装置を例に説明するが、視聴環境を制御する装置であればこれらの装置に限られるものではない。例えば香り発生装置などにも本発明を適用可能である。

はじめに、本実施形態に係るデータ送信装置について、図２を参照して以下に説明する。

（データ送信装置）
図２は、本発明に係るデータ送信装置の一実施形態を示す概略構成を示すブロック図である。データ送信装置は、映像データ、音声データおよびメタデータを、後述する視聴環境制御システムに伝送する装置である。図２に示すように、データ送信装置１は、データ多重化部１１、送信部（送信手段）１２およびデータ符号化部１３を含んで構成されている。

データ符号化部１３は、入力された映像データを圧縮符号化し、データ多重化部１１へ出力する。映像符号化には、ＩＳＯ／ＩＥＣ １３８１８−２（ＭＰＥＧ−２ Ｖｉｄｅｏ），ＩＳＯ／ＩＥＣ １４４９６−２（ＭＰＥＧ−４ Ｖｉｓｕａｌ），ＩＳＯ／ＩＥＣ １４４９６−１０（ＭＰＥＧ−４ ＡＶＣ）など、さまざまな圧縮方式が利用可能である。

また、データ符号化部１３は、入力された音声データを圧縮符号化し、データ多重化部１１へ出力する。音声符号化には、ＩＳＯ／ＩＥＣ １３８１８−７（ＭＰＥＧ−２ ＡＡＣ）、ＩＳＯ／ＩＥＣ １４４９６−３（ＭＰＥＧ−４ Ａｕｄｉｏ）など、さまざまな圧縮方式が利用可能である。

また、データ符号化部１３は、入力されたメタデータを圧縮符号化し、データ多重化部１１へ出力する。メタデータの詳細は後述する。メタデータの記述方法としては、例えば、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式などが用いられる。メタデータの圧縮方式には、ＩＳＯ／ＩＥＣ １５９３８−１（ＭＰＥＧ−７ Ｓｙｓｔｅｍｓ）におけるＢｉＭ（Ｂｉｎａｒｙ ｆｏｒｍａｔ ｆｏｒ ＭＰＥＧ−７）方式などが利用可能である。なお、圧縮せずにＸＭＬ形式のまま出力するようにしてもよい。

データ多重化部１１は、符号化された映像データ、音声データおよびメタデータを多重化する。多重化方式としては、例えば、ＩＳＯ／ＩＥＣ １３８１８−１（ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ）におけるＭＰＥＧ−２トランスポートストリームパケット（ＴＳＰ）、ＩＰパケット、ＲＴＰパケット等を用いることができる。

例えば、ＭＰＥＧ−２に規定されたトランスポートストリームパケット（ＴＳＰ）を用いる場合、ＭＰＥＧ−２に規定された情報が記述されたヘッダに続けて、拡張ヘッダ部分にメタデータを記述し、さらに、拡張ヘッダに続くペイロードを用いて映像データおよび音声データを伝送することが可能である。あるいは、メタデータを、映像データおよび音声データと同様に、ペイロードを用いて伝送するようにしてもよい。また、映像データ、音声データおよびメタデータのそれぞれの異なるデータストリームを多重化して伝送するようにしてもよい。

送信部１２は、多重化された映像データ、音声データおよびメタデータを、放送データとして伝送または蓄積する。

なお、本実施の形態では、映像データ、音声データおよびメタデータの３種類のデータを多重化した後に放送データとして送信する構成としているが、多重化することは必須の要件ではなく、必要に応じて適切な送信方法を選択すればよい。例えば、それぞれのデータを多重化せず個別に送信してもよいし、さらに、映像データおよび音声データのみ多重化し、メタデータは独立して送信されるものでもよい。

さらに、後述するように、メタデータについては、インターネット等を通じてアクセス可能な外部サーバ装置に蓄積しておき、この蓄積したメタデータを識別するためのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）等を映像データとともに多重化して送信するものであってもよい。メタデータ自体を映像／音声多重化データと異なるネットワークで送信する場合、メタデータを映像／音声多重化データと関連づける情報（識別データ）としては、ＵＲＬに限らず、ＴＶ−Ａｎｙｔｉｍｅ規格におけるＣＲＩＤ（Ｃｏｎｔｅｎｔ Ｒｅｆｅｒｅｎｃｅ ＩＤ）、コンテンツ名など、メタデータと映像／音声多重化データとの対応関係が特定できる特定情報であればよい。

あるいは、メタデータのみ別の記録媒体に記録して配布するようにしてもよい。例えば、映像／音声データは、Ｂｌｕ−ｒａｙ Ｄｉｓｃ、ＤＶＤなどの大容量記録媒体に記録して配布し、メタデータは、小型半導体記録媒体等に記録して配布する場合が挙げられる。この場合に、複数のコンテンツを記録して配布する際には、映像／音声データとメタデータとの対応関係を明らかにできる特定情報が、映像／音声データとともに含まれている。

なお、本実施の態様では、メタデータを別データとして取り扱っているが、両者のデータ内容を含む一つのデータ形式で記述してもよいことは言うまでもない。

（メタデータ）
次に、メタデータについて、図３〜５、７〜１０を参照して以下に説明する。

図３はメタデータのデータ構造の一例を示す図である。本実施形態においては、映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントに関する各種付加情報がセグメント単位で記述されている。各種付加情報としては、セグメント区切り情報Ｄｓ、制御情報Ｄｒ、自動制御用機器制御情報Ｄａおよび手動制御用機器制御情報Ｄｍが含まれている。

なお、詳細は後述するが、自動制御とは、出力される映像データまたは音声データを利用して、受信側が、所定の処理方法（例えば、領域演算指定または音響演算指定された処理方法）に従って視聴環境機器の駆動強度を決定し、制御するものである。一方、手動制御とは、送信側からダイレクトに（手動によって）予め指定された制御データをそのまま用いて視聴環境機器を制御するものである。

〔セグメント区切り情報〕
図４は、セグメント区切り情報Ｄｓの構成を示している。セグメント区切り情報は、セグメントを特定するための情報である。本実施の形態では、図４に示すように、セグメント区切り情報Ｄｓは、セグメント番号、開始時刻（開始点）、区間情報により構成されている。セグメント開始時刻は、映像データおよび音声データそれぞれの再生時間情報を示すために付加されたタイムコードにより指定されている。例えば図４に示すように、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。セグメント区間は、当該セグメントの開始タイムコードを示す時間から次のセグメントの開始タイムコードまでの期間を示す時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。

ここでは、セグメントの開始時刻（開始フレーム）、区間（フレーム数）の両方を記述しているが、少なくともいずれかが記述されていればよい。いずれか一方のみの場合であっても、セグメント区切りは、当該セグメントが次のセグメントと連続していて重なりが無いとすれば一意に決めることができる。例えばある照明制御に関する情報が設定されたフレームを当該セグメントの開始フレームとし、次に照明制御に関する情報が設定されたフレームまでを当該セグメントの区間とすればよい。

なお、本明細書においてセグメントとは、映像コンテンツの構成を時間方向における任意の長さに区切ったものとして定義され、例えばシーン、ショットまたはフレームなどに対応して区切られたものである。例えば、セグメントがシーンに対応する場合、ショット単位に存在する情報はセグメント内にまとめて記述される。セグメントがショットに対応する場合、シーン単位に存在する情報は、対応するセグメント全てに同じく繰り返して記述される。また、セグメントがフレームに対応する場合、シーン単位およびショット単位に存在する情報は、対応するセグメント全てに同じく繰り返して記述される。

視聴環境機器の制御においては、主に場面の状況が一定となるシーン単位での制御が多いが、撮影の状況が一定となるショット単位で制御することも少なからずある。また、時にはフレーム単位でのきめ細やかな制御が望ましい場合も存在する。映像データの内容によって視聴環境機器を一定に制御すべきことが多い単位にセグメントを区切ることにより、付加するデータ量の増加を抑制して、効率的にメタデータを記述することができる。

〔制御情報〕
制御情報Ｄｒは、各セグメントにおいて手動制御用機器制御情報Ｄｍおよび自動制御用機器制御情報Ｄａのいずれのデータを用いて視聴環境機器の制御を行うかを規定するものである。すなわち、各セグメントに含まれる各フレームが映像表示装置に出力される際の、各視聴環境機器に対する制御方法を示すものである。図３に示すように、本実施の形態では、自動制御モードおよび手動制御モードの２種類の制御方法が規定されており、１つのセグメントに対していずれかのモードが制御情報Ｄｒとして制御方法指定領域に記述・指定される。

〔手動制御用機器制御情報〕
手動制御用機器制御情報Ｄｍは、各セグメントに含まれる映像データの撮影時における環境状況再現するために、各視聴環境機器に対してコンテンツ制作者が指定する制御データである。具体的には、映像データの撮影に用いられた撮影照明を表わす照明データ、風力を表す風力データ、温度を表わす温度データ、振動を表わす振動データなどが記述されている。

図５は、手動制御用機器制御情報Ｄｍにおける各データの記述内容の例を示す図である。図５に示すように、手動制御用機器制御情報Ｄｍには、コンテンツに付加する効果種別、および条件（効果を示す値）が入力されている。

照明効果の場合、コンテンツ制作者またはコンテンツ提供者の推奨する視聴環境における照明の明るさ（単位：ｌｘ）および照明の色温度（単位：Ｋ）等が照明条件として指定される。なお、明るさの表現には、ルックス（ｌｘ）でなく、カンデラ（Ｃｄ）およびルーメン（ｌｍ）等を用いてもよい。また、色の表現には、色温度でなく、ＸＹＺ表色系、ＲＧＢ表色系、ＹＣｂＣｒ表色系等を用いてもよい。

映像データは、各シーンの雰囲気および臨場感を照明光によって演出することが可能である。そのため、照明装置に対する照明条件が有用な情報となっている。例えば、視聴環境における照明を制御することにより、現代・時代劇の各シーンの臨場感を向上させることができる。すなわち、現代ドラマの中で一般的に用いられる照明機器の光の色温度は、蛍光灯（昼白色）が約５０００Ｋ、蛍光灯（昼光色）が約６７００Ｋ、白熱電球が約２８００Ｋである。これに対して、時代劇の中で夜間の光源としてよく用いられる蝋燭の炎の色温度は約１８００〜２５００Ｋである。また、現代劇では照明強度が強く、時代劇においては照明強度が弱い傾向にある。したがって、時代劇で夕暮れの屋内シーンを映し出している際に、照明の色温度が高く照明強度が強い環境の下での視聴では、臨場感が得られず、コンテンツ制作者またはコンテンツ提供者の意図に反する視聴環境下で視聴することになる。

このため、コンテンツ制作者またはコンテンツ提供者は、映像データおよび音声データを視聴する際のコンテンツ視聴環境における周辺視聴環境機器に対して、制作者の意図にあった適切な制御を行うための駆動条件を指定することが望ましい。この条件としては、実際に、コンテンツ制作者またはコンテンツ提供者が、映像データおよび音声データを視聴し、例えば、各シーンにおける照明条件（明るさ、色温度）を手動にて指定していくことで作成が可能である。あるいは、映像データまたは映像符号化データを解析することによって、画面全体または画面周辺における平均輝度および支配的な色を自動抽出し、抽出した輝度情報および色情報に基づいて照明の明るさおよび色温度等の照明条件を決定するようにしてもよい。

なお、本実施の形態では、効果種別として照明、風、温度および振動が示されているが、これら以外にも、香りをはじめとして、コンテンツの再生と連動して視聴空間に一定の臨場感を与えるものであればどのようなものあってもよい。

手動制御用機器制御情報Ｄｍを利用することにより、表示する映像の特徴量に関わらず、映像の撮影時における環境状態をセグメント単位で記録することで、適切な視聴空間を作り出すように視聴環境機器を制御することが可能となる。なお、手動制御用機器制御情報Ｄｍは、フレーム単位またはショット単位で変化することが多いため、セグメントをフレームまたはショットに合わせて区切ることにより、撮影環境情報をセグメント単位で記述することができる。

なお、各セグメントにおいて、自動制御用機器制御情報Ｄａおよび手動制御用機器制御情報Ｄｍの少なくとも何れかが含まれていればよく、データ量の増加を抑制する観点から、各セグメントにおいて、何れか一方のみを含むものであってよい。例えば、制御情報Ｄｒが自動制御モードを示している場合には、自動制御用機器制御情報Ｄａのみを記述し、手動制御モードを示している場合には、自動制御用機器制御情報Ｄａを記述せずに、手動制御用機器制御情報Ｄｍのみを記述するようにすればよい。

〔自動制御用機器制御情報〕
自動制御用機器制御情報Ｄａは、自動制御モードにおいて、後述するデータ受信装置が各セグメントに含まれる映像データおよび音声データを利用して各視聴環境機器に対する制御データを生成する際に加える制限を示す補正情報、データ受信装置が制限を加える際に基準となる特徴量の抽出に用いる参照情報、データ受信装置が制限を加える際に基準となる特徴量を算出するための演算指定方法を示す演算指定情報、またはコンテンツ制作者により指定される制御データである制御基準情報（制御基準データ）である。

具体的には、参照情報は、各セグメント内の１以上の代表フレームにおける映像データの特徴量である映像特徴量（画像特徴量とも称する）を抽出する（算出する）ための領域である対象領域（算出領域、画面領域）を示す領域情報、および各セグメント内の１以上の代表フレームにおける音声データの特徴量である音響特徴量（音声特徴量とも称する）を抽出するための対象領域（算出領域、周波数領域）を示すものである。

補正情報には、生成される制御データにおいて、映像特徴量として許容する色範囲を表わす色補正情報、および音響特徴量として許容する音声レベルの周波数領域を表わす音響補正情報が記述されている。なお、図示しないが、映像特徴量として許容する輝度範囲を表わす輝度補正情報を含んでいてもよい。

演算指定情報には、領域演算方法を指定することを示す領域演算指定情報、および音響演算方法を指定することを示す音響演算指定情報などが記述されている。各セグメントの代表フレームは、セグメント毎に予め選択しておいたり、各セグメントの何番目かのフレームを自動で選択したりして決定されている。

制御基準情報は、各フレームから抽出される映像特徴量および音響特徴量と同種の情報である、コンテンツ制作者により予め定められた色基準情報、および音響基準情報を示すものである。

後述するように、自動制御モードにおいては、自動制御用機器制御情報Ｄａを利用して、表示する映像データまたは再生する音声データから映像特徴量または音声特徴量を適切に算出し、この特徴量をもとに、視聴環境機器の駆動強度を規定する、視聴環境機器に対する制御データを生成する。そして、その制御データを用いて視聴環境機器を制御する。そのため、表示映像または音声の内容（ストーリー上の場面設定状況）に応じた視聴環境機器の駆動強度を適切に決定して視聴環境機器に出力することが可能となる。

領域情報とは、図７および８に示すような映像表示装置の表示画面を１以上の所定のブロックに分割した情報に関するものである。例えば、図８に示すように、ブロックの座標（ｘ１，ｙ１）と（ｘ２，ｙ２）といった情報を記憶していればよい。もちろん、領域情報は、上記に示したような画素単位で分割したブロックに関する情報に限られるものでない。また、画素単位での分割の場合であったとしても、上記したｘ方向またはｙ方向に関して画素数を同数にする必要はないし、ブロックの大きさも自由に変えればよい。また、ＩＳＯ／ＩＥＣ １５９３８−３（ＭＰＥＧ−７ Ｖｉｓｕａｌ Ｄｅｓｃｒｉｐｔｉｏｎｓ）のＲｅｇｉｏｎＬｏｃａｔｏｒ記述子、またはＳｐａｔｉｏＴｅｍｐｏｒａｌＬｏｃａｔｏｒ記述子などの領域情報を参照してもよい。さらに、図７に示すように、ブロックがセグメント内で変化をするものであってもよい。この場合、図８に示すように、変化開始時のブロックの座標（ｘ１_ｓ，ｙ１_ｓ）、（ｘ２_ｓ，ｙ２_ｓ）、および変化終了時のブロックの座標（ｘ１_ｅ，ｙ１_ｅ）、（ｘ２_ｅ，ｙ２_ｅ）の情報を記録しておく。変化がある区間内のブロックの大きさおよび形状については、各種の線形補間または非線形補間を行う。

自動制御用機器制御情報Ｄａに領域情報が記述されている場合には、代表フレームおよび出力するフレームにおいて、この領域情報により指定された画面領域内の映像特徴量が抽出され、抽出された映像特徴量を利用して、ある特定の視聴環境機器を制御する制御データが生成される。すなわち、後述するように、データ受信装置は、代表フレームにおける領域情報により指定された画面領域内の映像特徴量と、各フレームにおける同一の領域情報により指定された画面領域内の映像特徴量とを用いて、各フレームにおける最終的な特徴量を算出し、制御データを生成する。

次に、色補正情報（色情報とも称する）の詳細について説明する。映像データ中の自動制御モードの区間において、上述の色情報を、所望の色を指定した上でメタデータの自動制御用機器制御情報Ｄａとして送信することが可能である。例えば、明るさ（単位：ｌｘ）および照明の色温度（単位：Ｋ）等が照明条件として指定される。なお、明るさの表現には、ルックス（ｌｘ）でなく、カンデラ（Ｃｄ）およびルーメン（ｌｍ）等を用いてもよい。また、図９に示すように色温度の範囲をあらかじめカテゴリー分けしておいて、「熱い（Ｈｏｔ）」、「暖かい（Ｗａｒｍ）」、「適温（Ｍｏｄｅｒａｔｅ）」、「冷たい（Ｃｏｏｌ）」といった用語を用いて表現してもよい。さらに、色の表現は、色温度でなく、ＸＹＺ表色系、ＲＧＢ表色系、ＹＣｂＣｒ表色系等を用いてもよい。なお、色情報および領域情報は両方とも送信されてもよいし、どちらか一方のみが送信されるものであってもよい。

上述のように、色補正情報は、最終的な特徴量として許容される色の範囲を表わすものである。そのため、後述する視聴環境制御方法の閾値処理において、ユーザによって閾値設定部で設定保持されている閾値を用いることなく、コンテンツ制作者によって指定された色補正情報と、各フレームにおいて抽出される色に関する特徴量とから、許容範囲内に収まる最終的な特徴量を得ることができる。そして、この許容範囲内にある最終的な特徴量から、視聴環境機器の制御データが生成される。すなわち、同一セグメント内において、照明における色範囲の変化を所望の許容範囲内に制限することができる。

次に、音響補正情報（音響情報とも称する）の詳細について図１０を参照して説明する。映像データ中の自動制御モードの区間において、所望の音の周波数を指定した上でメタデータの基準情報として送信することが可能である。音響情報は、例えば周波数（単位：Ｈｚ）として指定される。ここで、音響情報とは、図１０に示すような音の周波数を１以上指定した情報に関するものである。例えば、図１０に示すように、風力適用周波数Ｆｗと振動適用周波数Ｆｖといった情報を記憶していればよい。もちろん、音響情報は、周波数指定に限られるものでない。また、周波数指定の場合であったとしても、周波数の範囲を自由に変えてもよい。例えば、風力適用周波数の範囲をＦｗ_ｓ〜Ｆｗ_ｅ、振動適用周波数の範囲をＦｖ_ｓ〜Ｆｖ_ｅといった情報を記憶していればよい。

音響補正情報として、周波数の範囲が記憶されている場合には、この範囲が最終的な特徴量の許容範囲となる。したがって、後述する視聴環境制御方法の閾値処理において、ユーザによって閾値設定部で設定保持されている閾値を用いることなく、コンテンツ制作者によって指定された音響補正情報と、表示されるフレームに対応した音声データの特徴量である音圧レベル（信号強度）とから、許容範囲内に収まる最終的な特徴量を得ることができる。そして、この許容範囲内にある最終的な特徴量から、視聴環境機器の制御データが生成される。すなわち、同一セグメント内において、風力装置および振動装置における風力および振動の変化を所望の許容範囲内に制限することができる。

次に演算指定情報について説明する。演算指定情報は、映像特徴量または音響特徴量を算出する際の方法を示すものである。

コンテンツ制作者によって領域演算方法の指定がされている場合には、指定された領域演算方法に従って画面領域内の映像特徴量を算出する。領域演算方法の例としては、所定の画面領域内の平均色の算出、高輝度領域色の算出、照明色温度（相関色温度）に対応する色の算出、記憶色に対応する色（例えば、青空、夕日、新緑の色など）の算出などがあるが、これに限るものではない。

また、コンテンツ制作者によって音響演算方法の指定がされている場合には、指定された音響演算方法に従って周波数範囲内の音圧レベル（信号強度）を算出する。音響演算方法の例としては、周波数範囲内の平均音圧レベルおよび最大音圧レベルの算出などがあるが、これに限るものではない。

自動制御用機器制御情報は、後述するデータ受信装置のエフェクト制御データ生成部において、視聴環境機器を駆動制御するための制御データの生成に用いられる。本実施形態においては、自動制御用機器制御情報Ｄａのデータ量を抑制するために、自動制御用機器制御情報Ｄａのそれぞれがセグメント内の代表フレームに対してのみ設定されているが、セグメント内の各フレームに対して自動制御用機器制御情報Ｄａが設定されていてもよいことは言うまでもない。

（視聴環境制御システム）
本実施形態に係る視聴環境制御システムについて、図１を参照して以下に説明する。

図１は、本発明に係る視聴環境制御システム１００の一実施形態を示す概略構成図である。図１に示すように、視聴環境制御システム１００は、データ受信装置（視聴環境制御装置）２、映像表示装置（表示装置）３、音声再生装置４、照明装置（視聴環境機器）５、風力装置（視聴環境機器）６、空調装置（視聴環境機器）７および振動装置（視聴環境機器）８を含んで構成されている。視聴環境制御システム１００は、データ送信装置１と共に用いられる。

データ受信装置２は、視聴環境制御システム１００の外部に設けられるデータ送信装置１から提供される放送データを受信し、放送データに含まれる映像データおよび音声データを映像表示装置３および音声再生装置４に出力する。さらに、メタデータを各視聴環境機器を駆動制御するための駆動制御データに変換した後に、対応する映像データ等と同期させて照明装置５などの各視聴環境装置に出力する。これにより、映像表示装置３に表示されている映像に適した視聴環境を形成する。

（データ受信装置）
データ受信装置２は、受信部（受信手段）２１、データ分離部２２、ディレイ発生部２３、２４、駆動制御データ生成手段としてのエフェクト制御データ生成部（算出手段、補正手段）２５および閾値設定部２６を含んで構成されている。

受信部２１は、送信装置１から送信される、映像データ、音声データおよびメタデータが多重化されている放送データを受信する。また、受信部２１は、伝送路より入力された放送データを復調するとともに、誤り訂正を行う。

データ分離部２２は、受信部２１が受信した放送データから映像データ、音声データおよびメタデータを分離し、抽出する。分離された映像データおよび音声データは、その映像データおよび音声データの開始時刻（開始点）を示すＴＣ（タイムコード）とともにそれぞれディレイ発生部２３および２４に送信される。映像データはディレイ発生部２３を介して映像表示装置３に送られる。音声データはディレイ発生部２４を介して音声再生装置４に送られる。また、分離された映像データおよび音声データは、分離されたメタデータとともに、エフェクト制御データ生成部２５にも送られる。

エフェクト制御データ生成部２５は、データ分離部２２において分離された映像データ、音声データおよびメタデータに基づいて、視聴者の実際の視聴環境空間に設置されている照明装置５、風力装置６、空調装置７および振動装置８をそれぞれ適切に駆動制御するための駆動制御データとして照明調光データ（ＲＧＢデータ）、風力データ（風速データ）、温度データおよび振動データを生成する。そして、照明調光データ、風力データ、温度データおよび振動データをそれぞれ照明装置５、風力装置６、空調装置７および振動装置８に出力する。

駆動制御データを生成する際に用いられる映像特徴量および音響特徴量は、エフェクト制御データ生成部２５において抽出される。

閾値設定部２６は、エフェクト制御データ生成部２５が使用する閾値を、エフェクト制御データ生成部２５で使用可能に保持する。エフェクト制御データ生成部２５は、閾値設定部２６に保持されている閾値を用いて、ユーザの視聴環境空間に設置されている視聴環境機器を駆動制御するためのデータを生成する。ここで、閾値設定部２６が保持する閾値は予め設定されているが、例えばユーザ操作等に応じて設定の変更を可能にしてもよいし、表示すべき映像のコンテンツ種別（ジャンル）などに応じて可変設定されるものでもよい。

ディレイ発生部２３および２４は、データ分離部２２において分離された映像データおよび音声データを遅らせ、各駆動制御データと映像データおよび音声データとの同期をとる。例えばエフェクト制御データ生成部２５における各駆動制御データへの変換に要する時間だけ、データ分離部２２において分離された映像データと音声データを遅らせる。これにより、照明装置５へ送られる照明調光データ、風力装置６へ送られる風力データ、空調装置７に送られる温度データ、および振動装置８に送られる振動データと、映像データおよび音声データとの出力タイミングを合致させることができる。

視聴環境制御システム１００のデータ受信装置２は、映像表示装置３および音声再生装置４と一体的に設けられてもよいし、それぞれ別体として設けられてもよい。

（視聴環境機器）
照明装置５としては、例えば独立して発光制御することが可能なＲ（赤）、Ｇ（緑）、Ｂ（青）各色のＬＥＤ光源が一定の間隔を空けて配列されたものを用いることができる。照明装置５は、これら３原色のＬＥＤ光源により所望の色および輝度からなる照明光を出射する。ただし、照明装置５は、映像表示装置３の周囲環境の照明色および明るさを制御することができるような構成であればよく、所定色を発光するＬＥＤ光源の組み合わせに限定されるものではない。例えば、白色ＬＥＤと色フィルタとによって構成してもよく、白色電球または蛍光管とカラーフィルタとの組み合わせ、およびカラーランプ等を適用することもできる。さらに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）各色による表現に限ることなく、例えば照明色温度（単位：Ｋ）を利用して表現してもよい。

風力装置６としては、ファン、扇風機、送風機を用いることができる。

空調装置７としては、エア・コンディショナー（エアコン）を用いることができる。

振動装置８としては、バイブレーションチェア、バイブレーションマットを用いることができる。

なお、図６では照明装置５ａ、５ｂ、５ｃ、風力装置６ａ、６ｂ、空調装置７、および振動装置８を連動させて駆動する場合の例を示している。

（視聴環境制御方法）
次に、メタデータを用いて、各視聴環境機器を制御する方法について、図１１〜１５を参照して以下に説明する。

エフェクト制御データ生成部２５は、制御情報Ｄｒが自動制御モードであるか手動制御モードであるかを判断して、各モードに適したエフェクト制御データを導出する。

具体的には、制御情報Ｄｒにより手動制御モードが指定された場合、エフェクト制御データ生成部２５は、手動制御用機器制御情報Ｄｍである照明データ、風力データ、温度データおよび振動データを補正することなく、照明装置５、風力装置６、空調装置７および振動装置８を駆動制御するためのデータに変換し、各装置へデータを出力する。

一方、制御情報Ｄｒにより自動制御モードが指定された場合、エフェクト制御データ生成部２５は、自動制御用機器制御情報Ｄａである参照情報、演算指定情報、色補正情報および音響補正情報などを利用して、表示するフレームの映像特徴量および表示するフレームに対応する音声データの音響特徴量を算出する。エフェクト制御データ生成部２５は、自動制御用機器制御情報Ｄａを利用して算出した映像特徴量および音声特徴量を用いて、照明装置５、風力装置６、空調装置７および振動装置８を駆動制御するためのデータを生成し、各装置へ生成されたデータを出力する。

まず、一例として、自動制御モードにおける照明装置５を駆動制御するためのデータ生成について説明する。

エフェクト制御データ生成部２５は、データ受信装置２が映像表示装置３に出力するフレームを含むセグメント内の代表フレームにおける、領域情報により指定された領域内に記憶されている所定の画素の映像データのブロック平均値を算出し、これを基準照明データとする（コンテンツ制作者によって指定される基準照明データが存在しない場合）。次に、基準照明データを、明度（Ｌｉｇｈｔｎｅｓｓ）、彩度（Ｃｈｒｏｍａ）（色彩）、色相（Ｈｕｅ）（色彩）を示す各データへ変換する（以下、明度、彩度および色相情報のことを「色信号データ」と称する）。次に、対応するセグメント内の、各フレームの照明データを生成する方法の一実施例について説明する。

図１１は、自動設定モードにおける、照明データの閾値設定について説明するための図である。エフェクト制御データ生成部２５は、領域情報により指定される各フレームの領域内の色信号データを算出し、閾値処理を施すことにより、すなわち、ユーザによって設定された閾値またはコンテンツ制作者によって設定された補正情報により示される許容範囲内で映像特徴量または音響特徴量を算出することにより、各フレームの最終的な色信号データを取得する。色補正情報に基づいて得られる閾値は、ユーザによって指定された閾値と同様、閾値設定部２６に設定保持される。

照明色を制御するための各フレームに対応する照明データは、基準照明データの色信号データに基づいて設定される。ここでは、閾値を用いて、基準照明データの色信号データからの変化の上限をＴｈｒｅｓｈ＿ｍａｘ、下限をＴｈｒｅｓｈ＿ｍｉｎを用いて規定するものとする。例えば、明度軸に対して、Ｔｈｒｅｓｈ＿ｍａｘ＝１０、Ｔｈｒｅｓｈ＿ｍｉｎ＝２０と設定すれば、明度の上限：（基準照明データの明度）＋１０、明度の下限：（基準照明データの明度）−２０の範囲内で各フレームに対応する各照明データが変化し得ることを指している。

図１２は、色信号データから照明データを決定する処理の流れの一例を示すフローチャートである。エフェクト制御データ生成部２５は、データ分離部２２から出力されたメタデータおよび映像データを取得し、メタデータおよび映像データから上記の手法により色信号データを取得する（ステップＳ１）。

次いで、取得した色信号データとＴｈｒｅｓｈ＿ｍａｘとを比較する（ステップＳ２）。なお、色信号データは映像フレーム毎に生成されるものであるため、ステップＳ１における色信号データはフレーム毎に取得されるものであり、ステップＳ２における色信号データの比較はフレーム毎に行われるものとする。取得した色信号データがＴｈｒｅｓｈ＿ｍａｘより大きい場合には、Ｔｈｒｅｓｈ＿ｍａｘをそのフレームにおける最終的な色信号データとする（ステップＳ５）。取得した色信号データがＴｈｒｅｓｈ＿ｍａｘより大きくない場合には、取得した色信号データがＴｈｒｅｓｈ＿ｍｉｎより小さいかどうかを判断する（ステップＳ３）。取得した色信号データがＴｈｒｅｓｈ＿ｍｉｎより小さい場合には、Ｔｈｒｅｓｈ＿ｍｉｎをそのフレームにおける最終的な色信号データとする（ステップＳ６）。取得した色信号データがＴｈｒｅｓｈ＿ｍｉｎより小さくない場合には、取得した色信号データをそのままそのフレームにおける最終的な色信号データとする（ステップＳ４）。

この閾値処理により決定された最終的な色信号データがそのフレームの照明データとなる。あるフレームの照明データが決定されると、エフェクト制御データ生成部２５は同一のセグメント内に次のフレームがあるかを判断し（ステップＳ７）、次のフレームがある場合には、ステップＳ１に戻って次のフレームの色信号データを取得し、上述の処理を繰り返す。

この閾値処理によれば、照明データを決定する際に、各フレームの映像特徴量を表す色信号データの増大減少に応じて閾値を参照して閾値の範囲内で照明データを決定する。これにより、照明データは、各セグメント毎に規定される許容範囲内に収まるように設定される。したがって、各フレームの色信号データが大きく増減を繰り返すような場合であっても、これに追従して照明データが激しく変動することを防止できる。これにより、照明装置５の安定した切り替え制御を実現することが可能となる。

上述の例では、データ受信装置２において映像データおよび音声データから基準照明データを算出しているが、コンテンツ制作者によって予め設定されている基準データを受信できる場合は、外部から受信した基準照明データを利用することができる。この場合であっても図１２に示される処理により、最終的な色信号データを取得することができる。なお、コンテンツ制作者によって指定される基準照明データは、図３に示すとおり、自動制御用機器制御情報Ｄａに、色基準情報として記述されている。

なお、外部から基準照明データとして受信したセグメント単位の色信号データ、映像データから算出した各フレームの特徴量である色信号データ、および閾値を用いて最終的な色信号を許容範囲内にする上記処理方法は、以下のようにも換言できる。すなわち、基準照明データとして外部から取得した色信号データと、映像データから算出した各フレームの色信号データとを比較し、基準照明データとして取得した色信号データを、映像データから算出した各フレームの色信号データに近づくような補正処理をおこなう。この処理により基準照明データの色信号データがＴｈｒｅｓｈ＿ｍａｘより大きくなってしまう場合には、最終的な色信号データをＴｈｒｅｓｈ＿ｍａｘとし、基準照明データの色信号データがＴｈｒｅｓｈ＿ｍｉｎより小さくなる場合には、最終的な色信号データをＴｈｒｅｓｈ＿ｍｉｎとする。一方、Ｔｈｒｅｓｈ＿ｍａｘとＴｈｒｅｓｈ＿ｍｉｎとの間にある場合には、補正処理後の色信号データを最終的な色信号データとする。この場合でも同様に各フレームの色信号データが大きく増減を繰り返すような場合であっても、これに追従して照明データが激しく変動することを防止できる。また、コンテンツ制作者の意図が反映されたセグメント毎の基準制御データを、表示する映像データの内容に追従してフレーム単位で変化させることにより、より効果的に臨場感を向上させることが可能となる。

以上のように、本発明に用いられる自動設定モードによれば、同一セグメント区間内では、映像表示装置３の周辺に設置された照明装置５による照明を、基準データをもとに略一定に保持することができる。ここでの略一定とは、同一セグメント内での照明光の変動が、視聴者にとって臨場感を損なわない程度の範囲内であることを示す。

人間の視覚には色の許容差が存在することは、従来周知である。図１３および１４は自動設定モードの基準照明データに応じた照明データの閾値設定について説明するための別の例を示した図である。図１３では、基準照明データに対して、変化範囲を色差ΔＥとして指定している。図１４は、色差ΔＥのレベル分けと一般的な視覚の程度を示したものである。本発明における略一定の範囲として、図１４における系統色で区別がつかない程度の色の差として扱える範囲、すなわち色差ΔＥ＝１３未満となるレベル範囲内に収まればよく、印象レベルでは同じ色として扱える範囲、すなわち色差ΔＥ＝６．５以下となるレベル範囲が好適である。以上のように、許容される変化範囲は、明度、彩度および色相について閾値を直接指定してもよいし、色差ΔＥを利用するものであってもよい。

なお、上述したように、色補正情報を用いる場合には、色範囲として許容範囲が既に規定されている。そのため、色補正情報を用いて照明データを取得しようとする場合、閾値設定部２６に設定保持されている閾値を用いることなく、色補正情報をそのまま、基準照明データの上限および下限を示すものとして利用することができる。

次いで、自動制御モードにおける、風力装置６および振動装置８を駆動制御するためのデータ生成について説明する。

エフェクト制御データ生成部２５は、音響情報に記憶されている所定の風力適用周波数（Ｈｚ）および振動適用周波数（Ｈｚ）の各音圧レベル（ｄＢ）を算出し、これをそれぞれ基準風力データ（ｄＢ）、基準振動データ（ｄＢ）とする。なお、上述の基準照明データのときと同様に、基準風力データおよび基準振動データは、セグメント単位でコンテンツ制作者によって予め設定されているものを受信して取得してもよい。この場合、基準風力データおよび基準振動データは、自動制御用機器制御情報Ｄａに音響基準情報として記述されている。風力適用周波数の例としては、周波数範囲を指定しない場合は１０Ｈｚ、周波数範囲を指定する場合は０〜１０Ｈｚとする。振動適用周波数の例としては、周波数範囲を指定しない場合は５０Ｈｚ、周波数範囲を指定する場合は０〜１２５Ｈｚとする。基準風力データについては、風速（ｍ／ｓ）を示す風力データへの変換を行う。風力データへの変換方法の例としては、ルックアップテーブルを参照して「５０ｄＢ→０．５ｍ／ｓ」、「８０ｄＢ→２ｍ／ｓ」と変換する場合などがあるが、変換手法はこれに限るものではない。また変換後の値は風速を絶対値指定する場合だけでなく、「強風」、「弱風」と指定してもよい。

自動設定モードにおける基準風力データおよび基準振動データに対して、上述した基準照明データと同様に閾値を設定し許容範囲を設定する。エフェクト制御データ生成部２５は、各フレームの風力適用周波数および振動適用周波数の音圧レベル、すなわち各フレームに対応する風力データおよび振動データを算出し、閾値処理によって、各フレームに対応する最終的な風力データおよび振動データを取得し、視聴環境機器を制御する制御データを生成する。閾値処理に用いられる閾値は、閾値設定部２６に設定保持されている。

風力を制御するために用いられる各フレームに対応する風力データおよび振動を制御するために用いられる各フレームに対応する振動データは、それぞれ基準風力データおよび基準振動データに応じて設定される。ここでは、各基準データからの変化の上限および下限、すなわち許容範囲を規定するものとする。例えば、音圧レベルの上限：（基準風力データまたは基準振動データ）＋１５、音圧レベルの下限：（基準風力データまたは基準振動データ）−１０の範囲内で最終的に得られる風力データおよび振動データは変化し得ることを指している。

次いで、自動制御モードにおける、空調装置７を駆動制御するための制御データの生成について説明する。

エフェクト制御データ生成部２５は、映像表示装置３が表示するセグメント内の代表フレームにおける、領域情報により指定される領域内に記憶されている所定の画素の映像データのブロック平均値を算出し、これを基準照明データとする。次に、基準照明データから色温度（相関色温度）を推定する。色温度の推定処理は、上述のように映像データの特徴量に基づいて、その映像を撮影した現場の照明状態を推定するものである。本発明ではその処理手法を限定するものではないが、例えば非特許文献「シーン照明の推定処理」，富永昌治，戎井悟，Ｂ．Ａ．Ｗａｎｄｅｌｌ，信学技報，ＰＲＭＵ９９−１８４，１９９９．に記載されたセンサ相関法を適用することができる。

センサ相関法では、センサ空間で色温度毎にセンサ出力の占める色域を予め求めておき、その色域と獲得した画像画素分布との相関を調べることによって色温度を推定する。

例えば、本実施の形態では、センサ相関法を適用して代表フレームの映像データから、その映像の撮影時における照明の色温度を推定することができる。

処理方法の手順としては、（１）センサ出力が占める色域を予め求めておく。（２）対象画素の全画素を正規化する。（３）正規化した（Ｒ，Ｂ）座標値をＲＢ平面上にプロットする。（４）対象画像の（Ｒ，Ｂ）座標値と最も相関の高い色域を対象画像の色温度として推定する。上記色域は、例えば５００Ｋごとに求めておく。

色温度の推定においては、シーン照明を分類するために色温度ごとにセンサ出力が占め得る色域が色空間内に定義される。ここでは各色温度の分光分布の下で様々な物体表面に対するセンサ出力のＲＧＢ値を求める。そしてこれらのＲＧＢの凸包をＲＢ平面上に投影した２次元照明色域を使用する。この照明色域は、上記のようにセンサ出力が占める５００Ｋごとの色域により形成することができる。

センサ相関法では、画像間における全体的な輝度差を調整するために画像データのスケーリング演算処理が必要となる。対象画素のうちのｉ番目画素の輝度をＩ_ｉとし、最大値をＩ_ｍａｘとする。そして異なった画像間での輝度調整のために、センサ出力をＲＧＢおよび最大値について次のように正規化する。

（ＲＧＢ）＝（Ｒ／Ｉ_ｍａｘ，Ｇ／Ｉ_ｍａｘ，Ｂ／Ｉ_ｍａｘ）
Ｌ_ｍａｘ＝ｍａｘ（Ｒ_ｉ ^２＋Ｇ_ｉ ^２＋Ｂ_ｉ ^２）^１／２
そして、照明色域が投影されたＲＢ平面に対して、正規化された（Ｒ，Ｂ）座標値をプロットする。この照明色域を参照色域とし、プロットした対象画像の座標値と比較する。そして対象画像の座標値に最も相関の高い参照色域を選択して、その選択した参照色域により色温度を決定する。

なお、色温度の推定処理に使用する各シーンの映像特徴量としては、例えば上述した従来例のように、表示すべき映像データに含まれる所定画面領域の色信号と輝度信号をそのまま用いてもよいことは言うまでもない。

算出された色温度については、温度（℃）を示す温度データへの変換を行う。温度データへの変換方法の例としては、図１５に示す温度変換テーブルを参照して「１６６７≦色温度＜２２５１→Ｈоｔ」、「２２５１≦色温度＜４１７１→Ｗａｒｍ」、「４１７１≦色温度＜８０６１→Ｍｏｄｅｒａｔｅ」、「８０６１≦色温度≦２５０００→Ｃｏｏｌ」と変換する場合などがあるが、変換手法はこれに限るものではない。

なお、自動制御モードにおける、データ受信装置２を駆動制御するためのデータ生成手法はこれに限るものではない。例えば、テレビ番組のＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：電子番組表）、字幕情報およびスーパーインポーズ等の文字情報に含まれるキーワードをもとに、データ受信装置２を駆動制御するためのデータを作成してもよい。

以上のように、本発明によれば、手動制御モード時のようなメタデータを送信することなく、視聴環境機器の駆動強度を、コンテンツ制作者の意図に応じた許容範囲内で制御することが可能となる。

〔実施の形態２〕
本発明の他の実施形態について、図１６および１７に基づいて説明すれば以下の通りである。なお、説明の便宜上、前述の実施の形態で用いたものと同じ機能を有する部材には同じ参照符号を付して、その説明を省略する。

上述の実施の形態において、メタデータは、映像データおよび音声データに付加されて放送データの一部として送信される。

本実施の形態では、放送データにはメタデータそのものが含まれていない。データ受信装置は、視聴する映像データまたは音声データに対応するメタデータを外部サーバ装置等より受信することによって、映像データまたは音声データの再生時に最適な視聴環境を実現することが可能となる。この場合、データ受信装置は予めメタデータを識別するための識別データを受信しておく。

図１６は、本実施の形態に係る外部サーバ装置の構成を示すブロック図である。外部サーバ装置９は、データ送信装置１の機能の一部を担うものである。図１６に示すように、外部サーバ装置９は、要求受信部９１、データ格納部９２およびメタデータ送信部９３を含んで構成されている。

要求受信部９１は、後述するデータ受信装置（視聴環境制御装置）２’側から特定の映像データまたは音声データ（コンテンツ）に関するメタデータの送信要求を受信する。

データ格納部９２は、コンテンツ毎のメタデータを格納している。

メタデータ送信部９３は、送信要求を受けたメタデータを、要求元のデータ受信装置へ送信する。

データ格納部９２に格納されているメタデータは、コンテンツ制作者等が意図する任意の制御単位のセグメント（例えば、シーンまたはショット）の開始タイムコードが記述されており、送信要求を受けたコンテンツのメタデータを、セグメントの開始時刻を示すＴＣ（タイムコード）とともに、メタデータ送信部９３より要求元のデータ受信装置２’へ送信するようになっている。

また、コンテンツ制作者等が意図する任意の制御単位のセグメント（例えば、シーンまたはショット）にＩＤを付加し、送信要求を受けたコンテンツのメタデータを、セグメントのＩＤとともに、メタデータ送信部９３より要求元のデータ受信装置２’へ送信するようにしてもよい。この場合、メタデータの受信装置２’への送信は、セグメント単位で送信することができる。

以上のように、外部サーバ装置９は、外部からの要求を受けたときに、メタデータをセグメント単位で送信することができる。

次に、外部サーバ装置９より送出されたメタデータを受けて視聴環境機器を制御するデータ受信装置２’を含む、視聴環境制御システム１００’のシステム構成について説明する。

図１７に示すように、視聴環境制御システム１００’は、データ受信装置２’、映像表示装置３、音声再生装置４、照明装置５、風力装置６、空調装置７および振動装置８を含んで構成されている。

データ受信装置２’は上述のデータ受信装置２とほぼ同様の構成であるが、データ受信装置２と異なり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理ユニット）２７、要求送信部２８およびメタデータ受信部２９をさらに備えている。

要求送信部２８は、エフェクト制御データ生成部２５からの指示に基づいて、表示すべき映像データ（コンテンツ）に対応したメタデータの送信要求を、通信ネットワークを介して外部サーバ装置９に送出する。エフェクト制御データ生成部２５からの要求送信部２８への指示は、ＣＰＵ２７を介して行われる。

メタデータ受信部２９は、通信ネットワークを介して外部サーバ装置９から送信されるメタデータを受信する。受信したメタデータは、ＣＰＵ２７を介してエフェクト制御データ生成部２５に送信される。

データ受信装置２’におけるエフェクト制御データ生成部２５は、受信した識別データに基づきメタデータの送信要求を行う以外は、データ受信装置２におけるエフェクト制御データ生成部２５と同じである。

以上の通り、視聴環境制御システム１００’は、放送データにメタデータが含まれていない場合であってもコンテンツに対応するメタデータを外部サーバ装置９より入手し、このメタデータに基づいて、各視聴環境機器を制御する構成である。したがって、前述の実施の形態と同様、データ量の増加を抑制しつつ、映像制作者の意図に応じた任意のタイミングで視聴環境機器の切り替え制御を行う。これにより、最適な視聴環境の機器制御を実現することが可能となる。

上述の実施の形態では、仮想的な視聴環境空間に配置された周辺機器として照明装置５、風力装置６、空調装置７および振動装置８を例に説明したが、これらの視聴環境機器に限られるものではない。他にも、香り発生装置など、視聴環境に影響を与える周辺機器に対して本発明を適用可能であることは言うまでもない。これら視聴環境に影響を与える周辺機器に対して本発明を適用する場合は、例えば香りがどれだけの強さで発生しているかといった演出効果情報を、メタデータによって定義すればよい。

なお、本発明において、映像データまたは音声データであるコンテンツは、テレビジョン放送によって伝送されるテレビジョン番組に係るコンテンツに限らず、Ｂｌｕ−ｒａｙ ＤｉｓｃまたはＤＶＤなどのメディア媒体に格納された作品に係るコンテンツであってもよい。すなわち、入力映像データはテレビジョン放送を受信して得られるものに限らず、外部再生装置により再生された映像データを入力する場合にも、本発明を適用することが可能である。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。例えば、データ受信装置２、２’は映像表示装置３内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の視聴環境機器を制御することができるような構成としてもよいことは言うまでもない。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

上述のように、本発明に係る視聴環境制御装置は、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置であって、前記映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を受信する受信手段と、前記参照情報により示される算出領域における映像データまたは音声データの特徴量を算出する算出手段とを備えた構成である。

なお、前記参照情報としては、前記映像データの特徴量を算出する際の画面領域を示すものであることが好ましい。

または、前記参照情報は、前記音声データの特徴量を算出する際の周波数領域を示すものであることが好ましい。

ここで、前記参照情報は、映像データもしくは音声データを構成するフレーム単位、または該フレームの集合であるセグメント単位に設定されていればよい。

また上述のように、本発明に係る視聴環境制御装置は、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置であって、前記映像データまたは音声データの特徴量を算出する際の算出方法を示す演算指定情報を受信する受信手段と、前記演算指定情報により示される算出方法によって映像データまたは音声データの特徴量を算出する算出手段とを備えた構成である。

なお、前記演算指定情報としては、前記映像データの特徴量として所定の画面領域内の平均色の算出を指定するものであることが好ましい。

または、前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の高輝度領域色の算出を指定するものであることが好ましい。

または、前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の相関色温度に対応する色の算出を指定するものであることが好ましい。

または、前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の記憶色に対応する色の算出を指定するものであることが好ましい。

ここで、前記演算指定情報は、映像データもしくは音声データを構成するフレーム単位、または該フレームの集合であるセグメント単位に設定されていればよい。

また上述のように、本発明に係る視聴環境制御装置は、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置であって、前記映像データまたは音声データの特徴量を算出する際の許容範囲を示す補正情報を受信する受信手段と、前記補正情報により示される許容範囲内で映像データまたは音声データの特徴量を算出する算出手段とを備えた構成である。

なお、前記補正情報は、前記映像データの特徴量として算出される、明度および色彩の少なくとも何れかに関する許容範囲を示すものであることが好ましい。

または、前記補正情報は、前記音声データの特徴量として算出される、周波数および音圧レベルの少なくとも何れかに関する許容範囲を示すものであることが好ましい。

ここで、前記補正情報は、映像データもしくは音声データを構成するフレーム単位、または該フレームの集合であるセグメント単位に設定されていればよい。

また上述のように、本発明に係る視聴環境制御装置は、外部から受信した制御基準データに基づいて視聴環境機器を制御する視聴環境制御装置であって、外部から受信した映像データまたは音声データの特徴量を算出する算出手段と、前記映像データまたは音声データの特徴量を用いて、前記制御基準データを補正する補正手段とを備えた構成である。

また、前記制御基準データは、前記映像データまたは音声データを構成するフレームの集合であるセグメント単位に設定されていることが好ましい。

ここでセグメントとは、１以上のフレームから構成される映像データまたは音声データを時間方向における任意の長さに区切ったものとして定義される。

上記構成によれば、セグメント単位毎に視聴環境機器を制御できる。セグメントを、シーン、ショット、フレームなどに対応して区切ることにより、場面設定に適応させて視聴環境機器を制御できる。これにより、高い臨場感が得られる視聴環境をユーザに提供できる。

なお、前記制御基準データとしては、明度および色彩の少なくとも何れかに関する色基準情報であることが好ましい。

または、前記制御基準データは、周波数および音圧レベルの少なくとも何れかに関する音響基準情報であることが好ましい。

また上述のように、本発明に係るデータ送信装置は、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置に対してデータの送信を行うデータ送信装置であって、前記映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を送信する送信手段を備えた構成である。

なお、データ送信装置において、前記参照情報としては、前記映像データの特徴量を算出する際の画面領域を示すものであることが好ましい。

または、前記参照情報は、前記音声データの特徴量を算出する際の周波数領域を示すものであることが好ましい。

また、上述のように、本発明に係るデータ送信装置は、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置に対してデータの送信を行うデータ送信装置であって、前記映像データまたは音声データの特徴量を算出する際の算出方法を示す演算指定情報を送信する送信手段を備えた構成である。

なお、データ送信装置において、前記演算指定情報としては、前記映像データの特徴量として所定の画面領域内の平均色の算出を指定するものであることが好ましい。

または、前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の高輝度領域色の算出を指定するものであることが好ましい。

または、前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の相関色温度に対応する色の算出を指定するものであることが好ましい。

または、前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の記憶色に対応する色の算出を指定するものであることが好ましい。

また上述のように、本発明に係るデータ送信装置は、１以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置に対してデータの送信を行うデータ送信装置であって、前記映像データまたは音声データの特徴量を算出する際の許容範囲を示す補正情報を送信する送信手段を備えた構成である。

なお、データ送信装置において、前記補正情報としては、前記映像データの特徴量として算出される、明度および色彩の少なくとも何れかに関する許容範囲を示すものであることが好ましい。

または、前記補正情報は、前記音声データの特徴量として算出される、周波数および音圧レベルの少なくとも何れかに関する許容範囲を示すものであることが好ましい。

また上述のように、本発明に係るデータ送信装置は、視聴環境機器を制御するための制御基準データを視聴環境制御装置に対して送信するデータ送信装置であって、前記制御基準データは、映像データまたは音声データを構成するフレームの集合であるセグメント単位に設定されている構成である。

なお、データ送信装置において、前記制御基準データとしては、明度および色彩の少なくとも何れかに関する色基準情報であることが好ましい。

または、前記制御基準データは、周波数および音圧レベルの少なくとも何れかに関する音響基準情報であることが好ましい。

なお、本発明に係る視聴環境制御装置を含む視聴環境制御システムも本発明の範疇に含まれる。

すなわち、本発明に係る視聴環境制御システムは、本発明に係る視聴環境制御装置と、上記映像データを表示する表示装置と、上記映像表示装置と同一の視聴環境に設置されている視聴環境機器とを備えている構成である。

また、上記視聴環境制御装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記視聴環境制御装置をコンピュータにおいて実現する視聴環境制御プログラム、およびその視聴環境制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

最後に、データ送信装置１、データ受信装置２、２’含まれている各部は、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。

すなわちデータ送信装置１、データ受信装置２、２’は、各機能を実現する制御プログラム（視聴環境制御プログラム）の命令を実行するＣＰＵ、この制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、上記制御プログラムを実行可能な形式に展開するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および、上記制御プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。

この構成により、本発明の目的は、所定の記録媒体によっても達成できる。この記録媒体は、上述した機能を実現するソフトウェアであるデータ送信装置１、データ受信装置２、２’の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録していればよい。データ送信装置１、データ受信装置２、２’にこの記録媒体を供給する。これにより、コンピュータとしてのデータ送信装置１、データ受信装置２、２’（またはＣＰＵもしくはＭＰＵ）が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。

プログラムコードをデータ送信装置１、データ受信装置２、２’に供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープまたはカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクまたはＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。

またデータ送信装置１、データ受信装置２、２’は、通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介してデータ送信装置１、データ受信装置２、２’に供給する。この通信ネットワークは、データ送信装置１、データ受信装置２、２’にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等であればよい。

この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえば、ＩＥＥＥ１３９４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線等の有線でも、ＩｒＤＡまたはリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

（付記事項）
なお、上述した実施形態を以下のように表現することも可能である。

（第１の構成）
１以上のフレームから構成される映像データを送信するデータ送信装置において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの各フレームを表示する際の視聴環境機器の制御方法を示す制御情報と、前記映像データの各フレームを表示する際の視聴環境機器の制御方法の基準を示す制御基準情報とを、前記セグメント単位で前記映像データに付加して送信することを特徴とするデータ送信装置。

（第２の構成）
前記制御情報は、前記セグメント内の全てのフレームを表示する際、制御基準情報をもとに視聴環境機器を制御する自動制御モードを指示する情報を含むことを特徴とする第１の構成に記載のデータ送信装置。

（第３の構成）
前記制御基準情報は、前記セグメント内の全てのフレームを表示する際、表示すべき映像データの特徴量を含むことを特徴とする第１または第２の構成に記載のデータ送信装置。

（第４の構成）
前記映像データの特徴量は、画面領域に関する情報を含むことを特徴とする第３の構成に記載のデータ送信装置。

（第５の構成）
前記映像データの特徴量は、映像データの明るさまたは色に関する情報を含むことを特徴とする第３の構成に記載のデータ送信装置。

（第６の構成）
前記制御基準情報は、前記セグメント内の全てのフレームを表示する際、再生すべき音響データの特徴量を含むことを特徴とする第１または第２の構成に記載のデータ送信装置。

（第７の構成）
表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記セグメント単位で前記映像データに対応付けられた、前記映像データを構成する各フレームを表示する際の視聴環境機器の制御方法を示す制御情報と、前記映像データの各フレームを表示する際の視聴環境機器の制御方法の基準を示す制御基準情報とを受信する受信手段と、前記制御情報に基づいて、前記表示装置の周辺に設置された視聴環境機器の駆動を制御する制御手段を備えたことを特徴とする視聴環境制御装置。

（第８の構成）
前記制御手段は、映像データの特徴量を用いて、前記視聴環境機器の駆動を制御することを特徴とする第７の構成に記載の視聴環境制御装置。

（第９の構成）
前記映像データの特徴量は、画面領域に関する情報を含むことを特徴とする第８の構成に記載の視聴環境制御装置。

（第１０の構成）
前記映像データの特徴量は、映像データの明るさまたは色に関する情報を含むことを特徴とする第８の構成に記載の視聴環境制御装置。

（第１１の構成）
前記制御手段は、音響データの特徴量を用いて、前記視聴環境機器の駆動を制御することを特徴とする第７の構成に記載の視聴環境制御装置。

（第１２の構成）
第７から第１１の構成のいずれかに記載の視聴環境制御装置と、前記映像データ及び／又は音声データを再生するための映像／音声再生装置と、該映像／音声再生装置の周辺に設置された周辺機器とを備えたことを特徴とする視聴環境制御システム。

（第１３の構成）
表示すべき映像データまたは音響データの特徴量に応じて、視聴環境機器の駆動を制御する視聴環境制御方法であって、前記映像データまたは音響データの特徴量に対して補正処理を施すことにより、前記視聴環境機器の制御情報を生成することを特徴とする視聴環境制御方法。

（第１４の構成）
１以上のフレームから構成される映像データを送信するデータ送信方法において、前記映像データを１以上の任意の数のフレームから構成されるセグメントに分割し、各セグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの各フレームを表示する際の視聴環境機器の制御方法を示す制御情報と、前記映像データの各フレームを表示する際の視聴環境機器の制御方法の基準を示す制御基準情報とを、前記セグメント単位で前記映像データに付加して送信することを特徴とするデータ送信方法。

（第１５の構成）
外部からの要求を受けて、映像データを構成する各フレームを表示する際の視聴環境機器の制御方法を示す制御情報を送信するデータ送信方法であって、前記映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記制御情報と、制御基準情報とを前記セグメント単位で送信することを特徴とするデータ送信方法。

（第１６の構成）
表示装置に表示すべき映像データと、該映像データを１以上の任意の数のフレームで分割したセグメントの開始時刻及び／又は区間を示すセグメント区切り情報と、前記映像データの各フレームを表示する際の視聴環境機器の制御方法を示す制御情報と、前記映像データの各フレームを表示する際の視聴環境機器の制御方法の基準を示す制御基準情報とを受信し、前記制御情報に基づいて、前記表示装置の周辺に設置された視聴環境機の駆動を制御することを特徴とする視聴環境制御方法。

さらに、上述した実施形態を以下のように表現することもまた可能である。

（第１７の構成）
複数のセグメントから構成される映像データを受信する受信手段と、視聴環境機器を制御する制御手段（ディレイ発生部、エフェクト制御データ生成部）であって、上記映像データの各フレームを表示装置に出力する際の該視聴環境機器に対する制御内容を、該フレームの特徴量であるフレーム特徴量と、該フレームが属するセグメントの特徴量であるセグメント特徴量とに基づいて決定する制御手段とを備えており、上記受信手段は、上記複数のセグメントの各のセグメント特徴量および上記制御手段が上記複数のセグメントの各からセグメント特徴量を抽出するために参照する参照情報の少なくとも何れかを含む記述データ（メタデータ）を更に受信する構成である、視聴環境制御装置。

フレーム特徴量は、非限定的に、フレームの色情報、輝度情報、およびそのフレームに対応する音響情報などであり、フレーム毎に変化し得るものである。

セグメント特徴量は、非限定的に、色情報、輝度情報、および音響情報などであり、セグメント毎に予め定められたものである。

上記構成によれば、視聴環境制御装置は、複数のセグメントから構成される映像データを受信すると共に、複数のセグメントの各のセグメント特徴量および制御手段が複数のセグメントの各からセグメント特徴量を抽出するために参照する参照情報の少なくとも何れかを受信する。セグメント特徴量は、各セグメントに対応付けられており、視聴環境機器を制御するために用いられる情報である。参照情報は、視聴環境制御装置が対応するセグメントにおけるセグメント特徴量を抽出する際に参照される情報である。視聴環境制御装置は、受信したセグメント特徴量または参照情報を参照してフレームから抽出したセグメント特徴量と、表示装置に出力するフレームに対応するフレーム特徴量とに基づいて、視聴環境機器を制御する。

したがって、表示装置に出力するフレームから抽出される特徴量のみを用いて、視聴環境機器を制御する場合にくらべて、セグメントの内容に応じた視聴環境機器の制御が可能となる。そのため、映像のセグメント毎に視聴環境機器を適切に制御することが可能となり、映像制作者の意図する撮影シーンの雰囲気または場面設定に適応させて視聴環境機器を制御できる。これにより、高い臨場感が得られる視聴環境をユーザに提供できる。

（第１８の構成）
上記制御手段は、各セグメント特徴量を利用して、対応する上記セグメントに属する各フレームのフレーム特徴量に対して補正処理を行い、補正処理後のフレーム特徴量である補正後特徴量（補正後のデータ）に基づいて上記制御内容を決定する、視聴環境制御装置。

上記構成によれば、表示装置に出力するフレームに対応したフレーム特徴量に基づいて視聴環境機器を制御する際に、セグメント特徴量を用いた補正処理によって、フレーム特徴量に所定の制限を加えることができる。これにより、出力するフレームにおけるフレーム特徴量が大きく増減を繰り返すような場合であっても、これに追従して視聴環境機器の駆動強度が激しく変動してしまうことを防止できる。これにより、同一のセグメント内の映像を表示している際に、雰囲気を阻害することなく視聴環境を制御できる。
（第１９の構成）
上記セグメント特徴量は、対応するセグメントに属する各フレームのフレーム特徴量の許容範囲を示し、上記制御手段は、上記セグメントに属する各フレームのフレーム特徴量を、上記許容範囲内に収まるように上記補正処理を行う、ことが好ましい。

上記構成によれば、視聴環境制御装置は、各フレームにおけるフレーム特徴量に対して補正処理を行い、セグメント特徴量により示される許容範囲内に収まった補正後特徴量を生成する。そして、この補正後特徴量を用いて、視聴環境機器を制御する。視聴環境機器の制御に用いられる補正後特徴量は全て、対応するセグメント毎に設定された許容範囲内に収まっているため、同一のセグメント内の映像が表示されているときに、視聴環境が大きく変化してしまうことを防止できる。
（第２０の構成）
上記セグメント特徴量は、対応するセグメントに属する各フレームのフレーム特徴量の代表値（代表フレームにおける画像特徴量）であり、上記制御手段は、上記代表値と、予め定められた閾値データとを用いて対応するセグメントに属する各フレームのフレーム特徴量の許容範囲を設定し、上記制御手段は、上記セグメントに属する各フレームのフレーム特徴量を、上記許容範囲内に収まるように上記補正処理を行う、視聴環境制御装置。

上記構成によれば、視聴環境制御装置は、フレーム特徴量の代表値であるセグメント特徴量と、予め定められた閾値データとに基づいて、各フレーム特徴量の変動に対して許容される範囲となる許容範囲を設定する。視聴環境制御装置は、各フレームにおけるフレーム特徴量に対して補正処理を行い、設定された許容範囲内に収まった補正後特徴量を生成する。そして、この補正後特徴量を用いて、視聴環境機器を制御する。視聴環境機器の制御に用いられる補正処理後特徴量（最終的な特徴量）は全て、対応するセグメント毎に設定された許容範囲内に収まっているため、同一のセグメント内の映像が表示されているときに、視聴環境が大きく変化してしまうことを防止できる。したがって、セグメント特徴量が許容範囲を規定する拡がりをもつものでなくても許容範囲を設定でき、視聴環境機器の駆動強度が激しく変動してしまうことを防止できる。これにより、同一のセグメント内の映像を表示している際に、雰囲気を阻害することなく視聴環境を制御できる。

また、閾値データを変更することによって許容範囲を所望の範囲に指定することができるため、ユーザ側において許容範囲を変更することが可能となる。

（第２１の構成）
上記記述データは、上記制御手段による上記補正処理の対象となるセグメントを指定する指定データ（制御情報）をさらに含み、上記制御手段は、上記指定データにより指定されたセグメントにおいて、補正処理を行う、視聴環境制御装置。

上記構成によれば、視聴環境制御装置は、指定データを検出し、指定データに指定されたセグメント内でのみ、フレーム特徴量に対する補正処理を実行する。そのため、フレーム毎の補正処理を必要としない、あるいは、コンテンツ提供者がフレーム毎の補正処理を望んでいないセグメントに対しては、補正処理が行われることなく視聴環境機器の制御がなされる。

（第２２の構成）
上記参照情報は、上記制御手段が上記セグメント特徴量を抽出する上記フレーム内の領域を規定する領域情報である、視聴環境制御装置。

上記構成によれば、上記フレーム内にある領域を規定することができ、その領域に記録されている映像情報からセグメント特徴量を抽出することが可能となる。そのため、フレーム全体の映像情報を使用する場合に比べ扱うデータ量が小さくなり、制御処理をより早く実行することができる。

（第２３の構成）
上記フレーム特徴量は、上記フレームの明度および色彩の少なくとも何れかに関する色情報である、視聴環境制御装置。

上記構成によれば、視聴環境制御装置は、フレームにおける明度および色彩の少なくとも何れかの情報を用いて視聴環境機器を制御することが可能となる。これにより、視聴環境の明るさ、色合いおよび温度を適切に制御することが可能となり、視聴映像により適した視聴環境をユーザに提供できる。

（第２４の構成）
上記受信手段は、さらに音声データを受信し、上記フレーム特徴量は、出力するフレームに対応する上記音声データの音響情報である、視聴環境制御装置。

上記構成によれば、視聴環境制御装置は、音響情報を用いて視聴環境機器を制御することが可能となる。これにより、視聴環境制御装置は視聴環境の気流および振動を適切に制御することが可能となり、視聴映像により適した視聴環境をユーザに提供できる。

（第２５の構成）
複数のセグメントから構成される映像データを、視聴環境機器を制御する視聴環境制御装置に送信するデータ送信装置であって、上記複数のセグメントの各について、該セグメントに属する各フレームの特徴量であるフレーム特徴量を代表する、セグメント特徴量、および上記複数のセグメントの各からセグメント特徴量を抽出するために用いられる参照情報の少なくとも何れかを含む記述データ、または、該記述データを識別するための識別データを上記視聴環境制御装置に送信する構成である、データ送信装置。

上記構成によれば、データ送信装置は、複数のセグメントから構成される映像データを視聴環境制御装置に送信すると共に、セグメント特徴量および参照情報の少なくとも何れかを含む記述データ、またはこの記述データを識別するための識別データを送信する。セグメント情報は、複数のセグメントの各について、該セグメントに属する各フレームのフレーム特徴量を代表するものである。参照情報は、複数のセグメントの各からセグメント特徴量を抽出するために用いられる情報である。

したがって、データ送信装置によって視聴環境制御装置にデータが送信されると、視聴環境制御装置は、セグメント毎に規定されるセグメント情報を用いて視聴環境機器を制御することが可能となる。これにより、表示装置に出力されるフレームから抽出される特徴量のみを用いて、視聴環境機器を制御する場合にくらべて、セグメントの内容に応じた視聴環境機器の制御が可能となる。そのため、映像のセグメント毎に視聴環境機器を適切に制御することが可能となり、映像制作者の意図する撮影シーンの雰囲気または場面設定に適応させて視聴環境機器を制御できる。これにより、高い臨場感が得られる視聴環境をユーザに提供できる。

（第２６の構成）
上記記述データまたは上記識別データを上記セグメント単位で上記映像データに付加する付加手段（データ多重化部）を備えており、上記付加手段によって生成されるデータを上記視聴環境制御装置に送信する、データ送信装置。

上記構成によれば、データ送信装置は、記述データを映像データに付加して、付加により生成されたデータを視聴環境制御装置に送信することができる。
視聴環境機器の制御においては、主に場面の状況が一定となるシーン単位での制御が多いが、撮影の状況が一定となるショット単位で制御することも少なからずある。また、時にはフレーム単位でのきめ細やかな制御が望ましい場合も存在する。映像データの内容によって視聴環境機器を一定に制御すべきことが多い単位でセグメントを区切ることにより、付加するデータ量の増加を抑制して、効率的に記述データまたは識別データを記述することができる。

（第２７の構成）
上記セグメント特徴量は、対応するセグメントに属する各フレームのフレーム特徴量の許容範囲を示す、データ送信装置。

上記構成によれば、データ送信装置によって視聴環境制御装置にデータが送信されると、視聴環境制御装置は、各フレームのフレーム特徴量から、セグメント特徴量により示される許容範囲内に収まったデータを生成することが可能となる。視聴環境制御装置は、この生成データを用いて視聴環境機器を制御することが可能となる。視聴環境機器の制御に用いられるデータは全て、対応するセグメント毎に設定された許容範囲内に収まっているため、同一のセグメント内の映像が表示されているときに、視聴環境が大きく変化してしまうことを防止できる。
（第２８の構成）
上記セグメント特徴量は、対応するセグメントに属する各フレームのフレーム特徴量の代表値である、データ送信装置。

上記構成によれば、データ送信装置によって視聴環境制御装置にデータが送信されると、視聴環境制御装置は、フレーム特徴量の代表値と、予め定められている閾値データとを用いて、各フレームのフレーム特徴量の許容範囲を設定することが可能となる。視聴環境制御装置は、各フレームのフレーム特徴量から、設定された許容範囲内に収まったデータを生成することが可能となる。視聴環境制御装置は、この生成データを用いて視聴環境機器を制御することが可能となる。視聴環境機器の制御に用いられるデータは全て、対応するセグメント毎に設定された許容範囲内に収まっているため、同一のセグメント内の映像が表示されているときに、視聴環境が大きく変化してしまうことを防止できる。したがって、セグメント特徴量が許容範囲を規定する拡がりをもつものでなくても、視聴環境制御装置は許容範囲を設定できるようになり、視聴環境機器の駆動強度が激しく変動してしまうことを防止できる。これにより、同一のセグメント内の映像を表示している際に、雰囲気を阻害することなく視聴環境を制御できる。

また、閾値データを変更することによって許容範囲を所望の範囲に指定することができるため、ユーザ側において許容範囲を変更することが可能となる。

（第２９の構成）
上記記述データは、上記視聴環境制御装置における上記セグメント特徴量を用いた上記フレーム特徴量に対する処理の対象となるセグメントを指定する指定データをさらに含む、データ送信装置。

上記構成によれば、データ送信装置によって視聴環境制御装置にデータが送信されると、視聴環境制御装置は、指定データに指定されたセグメント内でのみ、フレーム特徴量に対する補正処理を実行させることができる。そのため、フレーム毎の補正処理を必要としない、あるいは、コンテンツ提供者がフレーム毎の補正処理を望んでいないセグメントに対しては、補正処理を行うことなく視聴環境機器を制御させることができる。

（第３０の構成）
上記参照情報は、上記視聴環境制御装置が上記セグメント特徴量を抽出する上記フレーム内の領域を規定する領域情報である、データ送信装置。

上記構成によれば、データ送信装置によって視聴環境制御装置にデータが送信されると、上記視聴環境制御装置は、上記フレーム内にある領域を規定して、その領域に記録されている映像情報からセグメント特徴量を抽出することが可能となる。そのため、フレーム全体の映像情報を使用する場合に比べ扱うデータ量が小さくなり、制御処理をより早く実行することができる。

（第３１の構成）
上記フレーム特徴量は、上記フレームの明度および色彩の少なくとも何れかに関する色情報である、データ送信装置。

上記構成によれば、データ送信装置によって視聴環境制御装置にデータが送信されると、視聴環境制御装置は、フレームの明度および色彩の少なくとも何れかの情報を用いて視聴環境機器を制御することが可能となる。これにより、視聴環境の明るさ、色合いおよび温度を適切に制御することが可能となり、視聴映像により適した視聴環境をユーザに提供できる。

（第３２の構成）
上記フレーム特徴量は、音響に関する音響情報である、データ送信装置。

上記構成によれば、データ送信装置によって視聴環境制御装置にデータが送信されると、視聴環境制御装置は、音響情報を用いて視聴環境機器を制御することが可能となる。これにより、視聴環境制御装置は視聴環境の気流および振動を適切に制御することが可能となり、視聴映像により適した視聴環境をユーザに提供できる。

（第３３の構成）
本発明に係る視聴環境制御装置と、上記映像データを表示する表示装置と、上記映像表示装置と同一の視聴環境に設置されている視聴環境機器とを備えている構成である、視聴環境制御システム。

（第３４の構成）
本発明に係る視聴環境制御装置と、上記映像データを表示する表示装置と、上記音声データを再生する音声再生装置と、上記映像表示装置および上記音声再生装置と同一の視聴環境に設置されている視聴環境機器とを備えている構成である、視聴環境制御システム。

（第３５の構成）
視聴環境制御装置が、複数のセグメントから構成される映像データを受信する受信工程と、視聴環境制御装置が、視聴環境機器を制御する制御工程であって、上記映像データの各フレームを表示装置に出力する際の該視聴環境装置に対する制御内容を、該フレームの特徴量であるフレーム特徴量と、該フレームが属するセグメントの特徴量であるセグメント特徴量とに基づいて決定する制御工程とを包含し、上記受信工程では、上記複数のセグメントの各のセグメント特徴量および上記視聴環境制御装置が上記複数のセグメントの各からセグメント特徴量を抽出するために参照する参照情報の少なくとも何れかを含む記述データを更に受信する、構成である、視聴環境制御方法。

以上の構成によれば、本発明に係る視聴環境制御装置と同様の効果を奏する。

（第３６の構成）
複数のセグメントから構成される映像データを、視聴環境機器を制御する視聴環境制御装置に送信するデータ送信方法であって、上記視聴環境制御装置は、上記複数のセグメントの各について、該セグメントに属する各フレームの特徴量であるフレーム特徴量を代表する、セグメント特徴量、および上記複数のセグメントの各からセグメント特徴量を抽出するために用いられる参照情報の少なくとも何れかを含む記述データ、または、該記述データを識別するための識別データを上記視聴環境制御装置に送信する構成である、データ送信方法。

上記構成によれば、本発明に係るデータ送信装置と同様の効果を奏する。

（第３７の構成）
複数のセグメントから構成される映像データを、視聴環境機器を制御する視聴環境制御装置に送信するデータ送信方法であって、上記複数のセグメントの各について、該セグメントに属する各フレームの特徴量であるフレーム特徴量を代表する、セグメント特徴量、および上記複数のセグメントの各からセグメント特徴量を抽出するために用いられる参照情報の少なくとも何れかを含む記述データ、または、該記述データを識別するための識別データを、上記映像データに該セグメント毎に付加する付加工程と、上記付加工程により生成されたデータを送信する送信工程とを含む構成である、データ送信方法。

（第３８の構成）
複数のセグメントから構成される映像データを表示する際の、視聴環境機器を制御する視聴環境制御装置に送信するデータ送信方法であって、上記複数のセグメントの各について、該セグメントに属する各フレームの特徴量であるフレーム特徴量を代表する、セグメント特徴量、および上記複数のセグメントの各からセグメント特徴量を抽出するために用いられる参照情報の少なくとも何れかを含む記述データを、外部からの要求を受けて上記セグメント単位で送信する構成である、データ送信方法。

本発明は、ユーザの視聴環境を制御する視聴環境制御システムに好適に利用することができる。

１ データ送信装置
２，２’ データ受信装置（視聴環境制御装置）
３ 映像表示装置（表示装置）
４ 音声再生装置
５，５ａ，５ｂ，５ｃ 照明装置（視聴環境機器）
６，６ａ，６ｂ 風力装置（視聴環境機器）
７ 空調装置（視聴環境機器）
８ 振動装置（視聴環境機器）
９ 外部サーバ装置
１１ データ多重化部
１２ 送信部（送信手段）
１３ データ符号化部
２１ 受信部（受信手段）
２２ データ分離部
２３ ディレイ発生部
２４ ディレイ発生部
２５ エフェクト制御データ生成部（算出手段、補正手段）
２６ 閾値設定部
２７ ＣＰＵ
２８ 要求送信部
２９ メタデータ受信部
９１ 要求受信部
９２ データ格納部
９３ メタデータ送信部
１００，１００’ 視聴環境制御システム

Claims (36)

1. １以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置であって、
   前記映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を受信する受信手段と、
   前記参照情報により示される算出領域における映像データまたは音声データの特徴量を算出する算出手段とを備えたことを特徴とする視聴環境制御装置。
2. 前記参照情報は、前記映像データの特徴量を算出する際の画面領域を示すものであることを特徴とする請求項１に記載の視聴環境制御装置。
3. 前記参照情報は、前記音声データの特徴量を算出する際の周波数領域を示すものであることを特徴とする請求項１に記載の視聴環境制御装置。
4. １以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置であって、
   前記映像データまたは音声データの特徴量を算出する際の算出方法を示す演算指定情報を受信する受信手段と、
   前記演算指定情報により示される算出方法で映像データまたは音声データの特徴量を算出する算出手段とを備えたことを特徴とする視聴環境制御装置。
5. 前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の平均色の算出を指定するものであることを特徴とする請求項４に記載の視聴環境制御装置。
6. 前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の高輝度領域色の算出を指定するものであることを特徴とする請求項４に記載の視聴環境制御装置。
7. 前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の相関色温度に対応する色の算出を指定するものであることを特徴とする請求項４に記載の視聴環境制御装置。
8. 前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の記憶色に対応する色の算出を指定するものであることを特徴とする請求項４に記載の視聴環境制御装置。
9. １以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置であって、
   前記映像データまたは音声データの特徴量を算出する際の許容範囲を示す補正情報を受信する受信手段と、
   前記補正情報により示される許容範囲内で映像データまたは音声データの特徴量を算出する算出手段とを備えたことを特徴とする視聴環境制御装置。
10. 前記補正情報は、前記映像データの特徴量として算出される、明度および色彩の少なくとも何れかに関する許容範囲を示すものであることを特徴とする請求項９に記載の視聴環境制御装置。
11. 前記補正情報は、前記音声データの特徴量として算出される、周波数および音圧レベルの少なくとも何れかに関する許容範囲を示すものであることを特徴とする請求項９に記載の視聴環境制御装置。
12. 外部から受信した制御基準データに基づいて視聴環境機器を制御する視聴環境制御装置であって、
    外部から受信した映像データまたは音声データの特徴量を算出する算出手段と、
    前記映像データまたは音声データの特徴量を用いて、前記制御基準データを補正する補正手段とを備えたことを特徴とする視聴環境制御装置。
13. 前記制御基準データは、前記映像データまたは音声データを構成するフレームの集合であるセグメント単位に設定されていることを特徴とする請求項１２に記載の視聴環境制御装置。
14. 前記制御基準データは、明度および色彩の少なくとも何れかに関する色基準情報であることを特徴とする請求項１２または１３に記載の視聴環境制御装置。
15. 前記制御基準データは、周波数および音圧レベルの少なくとも何れかに関する音響基準情報であることを特徴とする請求項１２または１３に記載の視聴環境制御装置。
16. １以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置に対してデータの送信を行うデータ送信装置であって、
    前記映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を送信する送信手段を備えたことを特徴とするデータ送信装置。
17. 前記参照情報は、前記映像データの特徴量を算出する際の画面領域を示すものであることを特徴とする請求項１６に記載のデータ送信装置。
18. 前記参照情報は、前記音声データの特徴量を算出する際の周波数領域を示すものであることを特徴とする請求項１６に記載のデータ送信装置。
19. １以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置に対してデータの送信を行うデータ送信装置であって、
    前記映像データまたは音声データの特徴量を算出する際の算出方法を示す演算指定情報を送信する送信手段を備えたことを特徴とするデータ送信装置。
20. 前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の平均色の算出を指定するものであることを特徴とする請求項１９に記載のデータ送信装置。
21. 前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の高輝度領域色の算出を指定するものであることを特徴とする請求項１９に記載のデータ送信装置。
22. 前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の相関色温度に対応する色の算出を指定するものであることを特徴とする請求項１９に記載のデータ送信装置。
23. 前記演算指定情報は、前記映像データの特徴量として所定の画面領域内の記憶色に対応する色の算出を指定するものであることを特徴とする請求項１９に記載のデータ送信装置。
24. １以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御装置に対してデータの送信を行うデータ送信装置であって、
    前記映像データまたは音声データの特徴量を算出する際の許容範囲を示す補正情報を送信する送信手段を備えたことを特徴とするデータ送信装置。
25. 前記補正情報は、前記映像データの特徴量として算出される、明度および色彩の少なくとも何れかに関する許容範囲を示すものであることを特徴とする請求項２４に記載のデータ送信装置。
26. 前記補正情報は、前記音声データの特徴量として算出される、周波数および音圧レベルの少なくとも何れかに関する許容範囲を示すものであることを特徴とする請求項２４に記載のデータ送信装置。
27. 視聴環境機器を制御するための制御基準データを視聴環境制御装置に対して送信するデータ送信装置であって、
    前記制御基準データは、映像データまたは音声データを構成するフレームの集合であるセグメント単位に設定されていることを特徴とするデータ送信装置。
28. 前記制御基準データは、明度および色彩の少なくとも何れかに関する色基準情報であることを特徴とする請求項２７に記載のデータ送信装置。
29. 前記制御基準データは、周波数および音圧レベルの少なくとも何れかに関する音響基準情報であることを特徴とする請求項２８に記載のデータ送信装置。
30. 請求項１から１５までの何れか１項に記載の視聴環境制御装置と、
    上記映像データを表示する表示装置と、
    上記表示装置と同一の視聴環境に設置されている視聴環境機器とを備えていることを特徴とする視聴環境制御システム。
31. １以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御方法であって、
    前記映像データまたは音声データの特徴量を算出する際の算出領域を示す参照情報を受信する受信工程と、
    前記参照情報により示される算出領域における映像データまたは音声データの特徴量を算出する算出工程とを含むことを特徴とする視聴環境制御方法。
32. １以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御方法であって、
    前記映像データまたは音声データの特徴量を算出する際の算出方法を示す演算指定情報を受信する受信工程と、
    前記演算指定情報により示される算出方法で映像データまたは音声データの特徴量を算出する算出工程とを含むことを特徴とする視聴環境制御方法。
33. １以上のフレームから構成される映像データまたは音声データの特徴量に基づいて視聴環境機器を制御する視聴環境制御方法であって、
    前記映像データまたは音声データの特徴量を算出する際の許容範囲を示す補正情報を受信する受信工程と、
    前記補正情報により示される許容範囲内で映像データまたは音声データの特徴量を算出する算出工程とを含むことを特徴とする視聴環境制御方法。
34. 外部から受信した制御基準データに基づいて視聴環境機器を制御する視聴環境制御方法であって、
    外部から受信した映像データまたは音声データの特徴量を算出する算出工程と、
    前記映像データまたは音声データの特徴量を用いて、前記制御基準データを補正する補正工程とを含むことを特徴とする視聴環境制御方法。
35. 請求項１から１５までの何れか１項に記載の視聴環境制御装置を動作させる視聴環境制御プログラムであって、コンピュータを上記各手段として機能させるための視聴環境制御プログラム。
36. 請求項３５に記載の制御プログラムを記録しているコンピュータ読み取り可能な記録媒体。

Images