JP4052556B2 - 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像及び／又は音声のコンテンツに感性情報を対応させて生成、あるいはその感性情報を伴うコンテンツの再生時に外部機器によってその感性情報を具現化して呈示する場合に用いられる技術に関する。
【０００２】
【従来の技術】
従来、テレビ、ラジオ等の放送は、テレビジョン受像機、ラジオ受信機等を対象として放送されており、視聴者は、映像、音声、静止画、文字情報等のコンテンツ（以下単にコンテンツという）を、テレビジョン受像機、ラジオ受信機等を介して視聴していた。また、コンテンツをＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ等の記録媒体を通じて提供し、視聴者は、その再生装置によって映像、音声等を再生し視聴していた。
【０００３】
さらに、従来から、家庭内の機器をＬＡＮで接続して制御することができるホームバスシステム（ＨＢＳ：Ｈｏｍｅ Ｂｕｓ Ｓｙｓｔｅｍ）が提唱され、例えばＩＥＥＥ１３９４規格のインタフェースで、家庭内の照明装置やエアコン装置等を制御する技術が存在する。
【０００４】
このように家庭内の機器を接続して動作させる環境において、放送番組に、その放送番組の内容に応じて受信機側の周辺機器（外部機器）を動作させる周辺機器動作指令情報を付加して、その放送番組の内容に応じて周辺機器を動作させる新しい放送方式の研究も行われている。
【０００５】
例えば、「放送番組送受信システム、これに使用される放送装置及び受信装置、放送番組送受信方法、並びに、記録媒体再生システム、これに使用される記録媒体再生装置及び記録媒体（特開２００１−３３３０３０号公報）」（以下、先行技術という）に、放送番組の内容に応じて、受信機側の周辺機器である照明機器、エアコン装置等を動作させる技術が開示されている。
【０００６】
【発明が解決しようとする課題】
しかし、前記従来の技術において、一般的なテレビ、ラジオ等の放送では、コンテンツとして映像や音声のみを送信するため、受信機側では映像や音声のみによってしかコンテンツの内容を再現することができず、放送番組において、場面毎の臨場感、例えば、明るい、暗いといった人間の感情における場面の雰囲気や、温度、風量等のその場面における周辺環境等を再現することはできなかった。
【０００７】
この臨場感を再現する技術として、前記先行技術が開示されているが、この先行技術においては、その臨場感を再現するためにコンテンツ制作者が、どの外部機器をどの程度動作させるかを予め設定しなければならなかった。しかし、コンテンツ制作側では、コンテンツを再生する側の外部機器としてどのような外部機器が接続されているかが不明であるため、コンテンツ制作者の意図する臨場感を再現させることができないという問題がある。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、知覚又は感覚の程度を表わす感性情報を映像や音声に対応付けて、コンテンツ再生側に通知することで、コンテンツ再生側の外部機器の動作を映像や音声に連動させて、高臨場感を演出することができる外部機器連動型コンテンツ生成装置、その方法及びそのプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、映像及び／又は音声の映像・音声コンテンツに対応した知覚又は感覚の程度を表わす感性情報に基づいて、再生装置で制御可能な外部機器を動作させることで、前記感性情報の程度を代替して呈示する外部機器連動型コンテンツを生成する外部機器連動型コンテンツ生成装置であって、映像信号及び／又は音声信号を符号化する映像・音声符号化手段と、前記感性情報を入力する感性情報入力手段と、前記映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂いの少なくとも１つの外部環境を物理量として検知する外部環境検知手段と、この外部環境検知手段で検知された物理量を、予め物理量と感性情報とを対応付けた対応テーブルに基づいて、感性情報に変換する感性情報変換手段と、前記感性情報入力手段で入力された感性情報及び前記感性情報変換手段で変換された感性情報を符号化する感性情報符号化手段と、前記映像・音声符号化手段で符号化された映像・音声コンテンツと、前記感性情報符号化手段で符号化された感性情報とを、前記映像・音声コンテンツの再生時刻に基づいて関連付けて、前記外部機器連動型コンテンツとして多重化する関連付け手段と、を備える構成とした。
【００１０】
かかる構成によれば、外部機器連動型コンテンツ生成装置は、映像・音声符号化手段によって、映像信号及び／又は音声信号を符号化し、感性情報入力手段によって、感性情報を入力する。続いて、外部機器連動型コンテンツ生成装置は、外部環境検知手段によって、映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂いの少なくとも１つの外部環境を物理量として検知し、感性情報変換手段によって、外部環境検知手段で検知された物理量を、予め物理量と感性情報とを対応付けた対応テーブルに基づいて、感性情報に変換する。そして、外部機器連動型コンテンツ生成装置は、感性情報符号化手段によって、感性情報入力手段で入力された感性情報及び感性情報変換手段で変換された感性情報を符号化し、関連付け手段によって、映像・音声符号化手段で符号化された映像・音声コンテンツと、感性情報符号化手段で符号化された感性情報とを、映像・音声コンテンツの再生時刻に基づいて関連付けて、外部機器連動型コンテンツとして多重化する。
【００１１】
なお、感性情報とは、知覚又は感覚の程度を表わす抽象的な情報で、温度、湿度といった物理量のほか、「暑い」、「寒い」、「怖い」等、人間の五感の程度を表わしたり、「楽しい」、「もの悲しい」、「はりつめた」等、場面毎の雰囲気や状況を抽象的に表わしたりした情報や、その強弱等を示す情報である。
【００１２】
また、この関連付け手段は、映像・音声コンテンツと、感性情報とを多重化するものであってもよい。これによって、１つのストリーム化した外部機器連動型コンテンツが生成される。なお、映像・音声コンテンツと、その映像・音声コンテンツと時間で関連付けられた感性情報とは、別経路で配信される形態であってもよい。
なお、ここで映像・音声コンテンツとは、映像のみのコンテンツ、音声のみのコンテンツ又は映像と音声とを含んだコンテンツのいずれであってもよい。
【００１３】
また、請求項２に記載の外部機器連動型コンテンツ生成方法は、映像及び／又は音声の映像・音声コンテンツに対応した知覚又は感覚の程度を表わす感性情報に基づいて、再生装置で制御可能な外部機器を動作させることで、前記感性情報の程度を代替して呈示する外部機器連動型コンテンツを生成する外部機器連動型コンテンツ生成方法であって、映像信号及び／又は音声信号を符号化する映像・音声符号化ステップと、前記感性情報を入力する感性情報入力ステップと、前記映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂いの少なくとも１つの外部環境を物理量として検知する外部環境検知ステップと、この外部環境検知ステップにて検知された物理量を、予め物理量と感性情報とを対応付けた対応テーブルに基づいて、感性情報に変換する感性情報変換ステップと、前記感性情報入力ステップにて入力された感性情報及び前記感性情報変換ステップにて変換された感性情報を符号化する感性情報符号化ステップと、前記映像・音声符号化ステップにて符号化された映像・音声コンテンツと、前記感性情報符号化ステップにて符号化された感性情報とを、前記映像・音声コンテンツの再生時刻に基づいて関連付けて、前記外部機器連動型コンテンツとして多重化する関連付けステップと、を含むことを特徴とする。
【００１４】
かかる手順によれば、外部機器連動型コンテンツ生成方法は、映像・音声符号化ステップにおいて、映像信号及び／又は音声信号を符号化し、感性情報入力ステップにおいて、感性情報を入力する。続いて、外部機器連動型コンテンツ生成方法は、外部環境検知ステップにおいて、映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂いの少なくとも１つの外部環境を物理量として検知し、感性情報変換ステップにおいて、外部環境検知ステップにて検知された物理量を、予め物理量と感性情報とを対応付けた対応テーブルに基づいて、感性情報に変換する。そして、外部機器連動型コンテンツ生成方法は、感性情報符号化ステップにおいて、感性情報入力ステップにて入力された感性情報及び感性情報変換ステップにて変換された感性情報を符号化し、関連付けステップにおいて、映像・音声符号化ステップにて符号化された映像・音声コンテンツと、感性情報符号化ステップにて符号化された感性情報とを、映像・音声コンテンツの再生時刻に基づいて関連付けて、前記外部機器連動型コンテンツとして多重化する。
【００１５】
さらに、請求項３に記載の外部機器連動型コンテンツ生成プログラムは、映像及び／又は音声の映像・音声コンテンツに対応した知覚又は感覚の程度を表わす感性情報に基づいて、再生装置で制御可能な外部機器を動作させることで、前記感性情報の程度を代替して呈示する外部機器連動型コンテンツを生成するために、コンピュータを、映像信号及び／又は音声信号を符号化する映像・音声符号化手段、前記感性情報を入力する感性情報入力手段、前記映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂いの少なくとも１つの外部環境を物理量として検知する外部環境検知手段、この外部環境検知手段で検知された物理量を、予め物理量と感性情報とを対応付けた対応テーブルに基づいて、感性情報に変換する感性情報変換手段、前記感性情報入力手段で入力された感性情報及び前記感性情報変換手段で変換された感性情報を符号化する感性情報符号化手段、前記映像・音声符号化手段で符号化された映像・音声コンテンツと、前記感性情報符号化手段で符号化された感性情報とを、前記映像・音声コンテンツの再生時刻に基づいて関連付けて、前記外部機器連動型コンテンツとして多重化する関連付け手段、として機能させることを特徴とする。
【００１６】
かかる構成によれば、外部機器連動型コンテンツ生成プログラムは、映像・音声符号化手段によって、映像信号及び／又は音声信号を符号化し、感性情報入力手段によって、感性情報を入力する。続いて、外部機器連動型コンテンツ生成プログラムは、外部環境検知手段によって、映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂いの少なくとも１つの外部環境を物理量として検知し、感性情報変換手段によって、外部環境検知手段で検知された物理量を、予め物理量と感性情報とを対応付けた対応テーブルに基づいて、感性情報に変換する。そして、外部機器連動型コンテンツ生成プログラムは、感性情報符号化手段によって、感性情報入力手段で入力された感性情報及び感性情報変換手段で変換された感性情報を符号化し、関連付け手段によって、映像・音声符号化手段で符号化された映像・音声コンテンツと、感性情報符号化手段で符号化された感性情報とを、映像・音声コンテンツの再生時刻に基づいて関連付けて、外部機器連動型コンテンツとして多重化する。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（外部機器連動型コンテンツ伝送システムの構成）
図１は、外部機器連動型コンテンツ伝送システムの概略構成を示したブロック図である。図１に示すように外部機器連動型コンテンツ伝送システム３は、外部機器連動型コンテンツを送信する側の装置である外部機器連動型コンテンツ生成装置１０及び送信手段４を含んだコンテンツ送信装置１と、外部機器連動型コンテンツを受信する側の装置である受信手段５及び外部機器連動型コンテンツ再生装置２０を含んだコンテンツ受信装置２と、このコンテンツ受信装置２と家庭内ネットワーク７で接続された複数の外部機器（呈示端末６０）とで構成されている。なお、送信手段４は外部機器連動型コンテンツ生成装置１０内に組み込んだ構成でも構わない。また、受信手段５は外部機器連動型コンテンツ再生装置２０内に組み込んだ構成でも構わない。
【００１８】
この外部機器連動型コンテンツ伝送システム３は、コンテンツ送信装置１から、映像（映像信号）及び音声（音声信号）に知覚又は感覚の程度を表わす感性情報を対応付けて外部機器連動型コンテンツとして送信し、コンテンツ受信装置２で、その外部機器連動型コンテンツから映像及び音声を再生して出力するとともに、その映像及び音声に連動して、感性情報で示される知覚又は感覚の程度を外部機器（呈示端末６０）の動作で代替して呈示するものである。
【００１９】
ここで、図７を参照して感性情報について説明する。この感性情報とは、再生側の外部機器を直接制御する情報ではなく、温度、湿度といった物理量のほか、「暑い」、「寒い」、「怖い」等、人間の五感の程度を表わしたり、「楽しい」、「もの悲しい」、「はりつめた」等、場面毎の雰囲気や状況を抽象的に表わしたりした情報や、その強弱等を示す情報である。
【００２０】
例えば、図７に示すように、風速（ｍ／ｓ）を感性情報として表わす場合、その風速を、直接外部機器（例えばエアコン装置）を指定して「風速何ｍ／ｓ」と表現するのではなく、風速の大きさによってレベル化し、「風力５」、「風力４」、…、「風力０」として抽象化した感性情報例ＥＸ１や、「強い風」、「やや強い風」、…、「無風」として抽象化した感性情報例ＥＸ２等で表現する。
【００２１】
このように風速を抽象的に表現することで、再生側では、エアコン装置でその風速を再現する必要はなく、他の外部機器（例えば扇風機等）で実現することも可能になる。すなわち、再生側の環境は視聴者の環境によって異なるため、このように感性情報を抽象的な表現とすることで、再生側の外部機器に依存しない外部機器連動型コンテンツを生成することが可能になる。
【００２２】
次に、感性情報と外部機器の動作との関連について説明する。
例えば、図７に示したように、感性情報が「強い風」〜「無風」を示す感性情報例ＥＸ２の場合、外部機器（呈示端末６０）として、「強」、「中」、「弱」の送風と、「停止」の４段階のレベルで動作する扇風機しか家庭内ネットワーク７に接続されていない場合、感性情報の種類「風」は外部機器「扇風機」に対応付けられ、感性情報のレベル「強い風」、「やや強い風」が「強」に、「中風」が「中」に、「そよ風」、「微風」が「弱」に、「無風」が「停止」にそれぞれ対応付けられる。また、例えば、「明るい」〜「暗い」といった場の雰囲気を示す感性情報を「照明装置」の明暗に対応付けてもよい。
このように感性情報は、家庭内ネットワーク７に接続されている外部機器（呈示端末６０）とその動作に対応付けられている。この対応関係は変換テーブルとして、外部機器連動型コンテンツ再生装置２０が保持している。
【００２３】
図１に戻って、外部機器連動型コンテンツ伝送システム３の構成について説明する。
外部機器連動型コンテンツ生成装置１０は、映像信号及び音声信号と感性情報とをその感性情報を再現する時刻に対応付けた外部機器連動型コンテンツとして生成するものである。
【００２４】
送信手段４は、外部機器連動型コンテンツ生成装置１０で生成された外部機器連動型コンテンツを放送波やネットワークを介して送信するものである。
受信手段５は、放送波やネットワークを介して送信されてくる外部機器連動型コンテンツを受信し、外部機器連動型コンテンツ再生装置２０へ出力するものである。
【００２５】
外部機器連動型コンテンツ再生装置２０は、外部機器連動型コンテンツから映像及び音声を再生して出力するとともに、その映像及び音声に連動して、感性情報で示される知覚又は感覚の程度を外部機器（呈示端末６０）、例えば、エアコン装置、照明装置等の動作で代用して呈示するものである。
呈示端末６０は、外部機器連動型コンテンツ再生装置２０から出力される動作制御信号に基づいて動作するものである。この呈示端末６０は、家庭内ネットワーク７に接続可能な機器であれば、複数存在してもよい。
【００２６】
家庭内ネットワーク７は、視聴者の家庭内に敷設されたネットワークで、家庭内の機器を接続するものである。この家庭内ネットワーク７は、例えばＩＥＥＥ１３９４規格のインタフェースによるホームバスシステム（ＨＢＳ：Ｈｏｍｅ Ｂｕｓ Ｓｙｓｔｅｍ）の形態であってもよい。
以下、外部機器連動型コンテンツ生成装置１０と外部機器連動型コンテンツ再生装置２０について詳細に説明する。
【００２７】
（外部機器連動型コンテンツ生成装置の構成）
まず、図２を参照して外部機器連動型コンテンツ生成装置の構成について説明する。図２は、本発明における外部機器連動型コンテンツ生成装置１０の全体構成を示すブロック図である。なお、図２では、外部機器連動型コンテンツ生成装置１０に送信手段４を付加し、放送事業者がコンテンツを配信するコンテンツ送信装置１の例を示している。図２に示すように、外部機器連動型コンテンツ生成装置１０は、感性情報・再現時刻入力手段１１と、外部環境検知手段１２と、感性情報変換手段１３と、感性情報符号化手段１４と、映像符号化手段１５と、音声符号化手段１６と、多重手段１７とを含む構成とした。
【００２８】
この外部機器連動型コンテンツ生成装置１０は、映像信号及び音声信号に、知覚又は感覚の程度を表わす感性情報を付加した外部機器連動型コンテンツを生成するものである。この外部機器連動型コンテンツは、再生装置で再生されることで、再生側の家庭内機器（外部機器）を、映像や音声と連動させて動作させるものである。
【００２９】
感性情報・再現時刻入力手段１１（感性情報入力手段及び再現時刻入力手段）は、外部から放送番組（コンテンツ）のタイムテーブルである番組進行情報を入力し、感性情報と、その感性情報を再現する再現時刻を抽出するものである。ここで抽出した感性情報及び再現時刻は感性情報符号化手段１４に出力される。
【００３０】
番組進行情報は、図８に示すように、コンテンツのシーン毎に開始時刻ＳＴ及び終了時刻ＥＴと、そのシーンにおける感性情報（感性情報例ＥＸ３、感性情報ＥＸ４）とを含んだ番組進行を示すタイムテーブルである。例えば、開始時刻ＳＴ「００：００：００」から終了時刻ＥＴ「００：００：２０」までは、番組の「オープニング」のシーンであり、番組の制作者は、そのシーンに「爽やかさ」を表現するように意図しており、映像には「花畑」を用いている。そして、このシーンには、感性情報として「匂い 花」（感性情報例ＥＸ３）又は「そよ風」（感性情報例ＥＸ４）が設定されている。
【００３１】
外部環境検知手段１２は、外部機器連動型コンテンツをリアルタイムで生成し送信するために、映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂い等の外部環境を物理量として検知するものである。この外部環境検知手段１２は、図示していない風向計、風速計、温度計、湿度計、匂いセンサ等に基づいて、風向、風速、温度、湿度、匂い等を物理量として検知する。ここで検知された物理量は感性情報変換手段１３に出力される。この外部環境検知手段１２によって、リアルタイムでコンテンツに対応付けた状態において、その場の外部環境を入力することができる。
【００３２】
感性情報変換手段１３は、外部環境検知手段１２から入力される物理量を感性情報に変換するものである。この感性情報変換手段１３で変換された感性情報は、感性情報符号化手段１４に出力される。
なお、この感性情報変換手段１３は、入力された物理量と感性情報とを予め対応付けた対応テーブル（図示せず）に基づいて、物理量を感性情報に変換する。例えば、外部環境検知手段１２から入力される物理量が「風速１０ｍ」であり、対応テーブルが図７に示すような対応関係であった場合、感性情報変換手段１３は、感性情報として「風力４」あるいは「やや強い風」、より具体的にはレベルを持った情報に変換する。
【００３３】
感性情報符号化手段１４は、感性情報・再現時刻入力手段１１又は感性情報変換手段１３から入力される感性情報を、数値情報として符号化した符号化感性情報を生成する。この感性情報符号化手段１４は、感性情報の種類及びレベルを個々に数値に対応付けて符号化する。この符号化された符号化感性情報は多重手段１７へ出力される。なお、感性情報符号化手段１４は、感性情報・再現時刻入力手段１１から感性情報が入力された場合、同時に通知される再現時刻も多重手段１７へ出力する。
【００３４】
映像符号化手段１５は、入力される映像信号を符号化して符号化映像信号として出力するものである。また、音声符号化手段１６は、入力される音声信号を符号化して符号化音声信号として出力するものである。この映像符号化手段１５及び音声符号化手段１６は、例えば、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）によって圧縮符号化することで、映像信号及び音声信号を符号化映像信号及び符号化音声信号に符号化する。
【００３５】
多重手段１７（関連付け手段）は、感性情報符号化手段１４で符号化された符号化感性情報と、映像符号化手段１５で符号化された符号化映像信号と、音声符号化手段１６で符号化された符号化音声信号とを、タイマ（図示せず）から発生される時刻情報に関連付けて、外部機器連動型コンテンツとして多重化するものである。例えば、時刻情報をＭＰＥＧ２の符号化データにタイムコードとして埋め込み、符号化感性情報をＭＰＥＧ２で規定されているユーザ用データ（ＵＤ：Ｕｓｅｒ Ｄａｔａ）の領域に書き込むことで多重化を行う。なお、感性情報符号化手段１４からの符号化感性情報と同時に再現時刻が入力された場合は、その再現時刻のタイミングで符号化感性情報、符号化映像信号及び符号化音声信号が時刻情報に関連付けられる。
【００３６】
この多重手段１７は、例えばＭＰＥＧ２トランスポートストリーム（ＴＳ）として符号化感性情報、符号化映像信号及び符号化音声信号を多重化し、送信手段４を介して、その多重化された外部機器連動型コンテンツ（ＭＰＥＧ２トランスポートストリーム）を放送波として送出したり、インターネット等のネットワークを経由して受信装置に送出したりする。
【００３７】
以上、一実施形態に基づいて本発明に係る外部機器連動型コンテンツ生成装置１０の構成について説明したが、本発明はこれに限定されるものではない。例えば、多重手段１７は、ＭＰＥＧ２プログラムストリーム（ＰＳ）として符号化感性情報、符号化映像信号及び符号化音声信号を多重化し、ＣＤ−ＲＯＭ等のデジタル記録媒体に書き込まれる形式で外部機器連動型コンテンツを外部に出力する形態であっても構わない。また、感性情報符号化手段１４で符号化された符号化感性情報及び感性情報の再現時刻は、映像信号及び音声信号からなる映像・音声コンテンツとは別経路で、例えば、ネットワークを介して送信される形態であっても構わない。
【００３８】
また、外部機器連動型コンテンツ再生装置２０（図３）から、図示していない受信手段（生体情報受信手段、変更指示受信手段）を介して、視聴者の脈拍、血圧、体温、脳波等の生体情報を示す生体情報信号（信号Ｂ）や、視聴者からの感性情報を変更する変更指示信号（信号Ｂ）を受信して、感性情報・再現時刻入力手段１１が感性情報を変更する形態であっても構わない。例えば、視聴者の体温によって視聴者の体調（風邪をひいている等）を判定し、「寒い」という感性情報を出さないようにするとか、「寒い」を「涼しい」という感性情報に変更することも可能である。
【００３９】
さらに、外部機器連動型コンテンツ生成装置１０から映像符号化手段１５及び音声符号化手段１６を切り離し、予め符号化された符号化映像信号及び符号化音声信号を入力して、多重手段１７において多重化する形態であっても構わない。
【００４０】
また、外部機器連動型コンテンツ生成装置１０は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して外部機器連動型コンテンツ生成プログラムとして動作させることも可能である。
【００４１】
（外部機器連動型コンテンツ生成装置の動作）
次に、図２及び図１０を参照して、外部機器連動型コンテンツ生成装置１０の動作について説明する。図１０は、外部機器連動型コンテンツ生成装置１０を含んだコンテンツ送信装置１の動作を示すフローチャートである。
【００４２】
まず、コンテンツ制作者は、外部機器連動型コンテンツ生成装置１０の切り換えスイッチ（図示せず）によって、感性情報を番組進行情報（タイムテーブル）から入力するか、外部環境を検知することで行うかを切り換え、その切り換えスイッチで感性情報の入力元を判定する（ステップＳ１０）。ここで、感性情報の入力元が「番組進行情報」である場合は、感性情報・再現時刻入力手段１１によって、番組進行情報から感性情報及びその感性情報を再現する再現時刻（開始時刻、終了時刻）を抽出し（ステップＳ１１：感性情報入力ステップ及び再現時刻入力ステップ）、ステップＳ１４へ進む。
【００４３】
一方、ステップＳ１０において、感性情報の入力元が「外部環境」である場合は、外部環境検知手段１２によって、温度、湿度等の外部環境を検知して、その物理量を取得する（ステップＳ１２）。そして、感性情報変換手段１３によって、物理量を感性情報に変換する（ステップＳ１３）。
【００４４】
このステップＳ１１及びステップＳ１３で出力される感性情報は、感性情報符号化手段１４によって、数値情報の符号化感性情報に符号化される（ステップＳ１４）。そして、多重手段１７によって、その符号化感性情報と、映像信号を符号化した符号化映像信号と、音声信号を符号化した符号化音声信号とを、タイマ（図示せず）から発生される時刻情報に関連付けて、外部機器連動型コンテンツとして多重化する（ステップＳ１５：関連付けステップ、多重化ステップ）。
そして、この外部機器連動型コンテンツは送信手段４によって、放送波として送出されたり、ネットワークを介して受信装置に送出されたりする（ステップＳ１６：送信ステップ）。
【００４５】
以上のステップによって、知覚又は感覚の程度を表わす感性情報を映像や音声と対応付けたコンテンツ（外部機器連動型コンテンツ）を生成し、受信装置に送信することができる。これにより、コンテンツ制作者の意図する場面毎の臨場感や雰囲気といった情報を伝達させることが可能になる。
【００４６】
（外部機器連動型コンテンツ再生装置の構成）
次に、図３乃至図５を参照して、外部機器連動型コンテンツを再生するための外部機器連動型コンテンツ再生装置の構成について説明する。図３は、本発明における外部機器連動型コンテンツ再生装置２０の全体構成を示すブロック図である。また、図４は、外部機器連動型コンテンツ再生装置２０の感性情報変換手段２４の内部構成を示したブロック図である。さらに図５は、外部機器連動型コンテンツ再生装置２０の統合制御手段２８の内部構成を示したブロック図である。
【００４７】
なお、図３では、外部機器連動型コンテンツ再生装置２０に受信手段５を付加し、放送波又はネットワークを介して送信される外部機器連動型コンテンツを受信して再生を行うコンテンツ受信装置２の例を示している。さらに、図３では、家庭内ネットワーク７に外部機器連動型コンテンツ再生装置２０と、外部機器連動型コンテンツを再生するときに動作させる外部機器（呈示端末６０）と、入力端末７０と、生体情報取得端末８０とが接続された家庭内ネットワーク環境８を示している。
【００４８】
図３に示すように、外部機器連動型コンテンツ再生装置２０は、分離手段２１と、映像・音声復号手段２２と、時刻生成手段２３と、感性情報変換手段２４と、映像・音声呈示制御手段２５と、時刻制御手段２６と、感性情報呈示制御手段２７と、統合制御手段２８とを含む構成とした。なお、請求項に記載の映像・音声コンテンツ再生手段は、映像・音声復号手段２２と映像・音声呈示制御手段２５とで構成され、外部機器動作制御手段は、感性情報変換手段２４と感性情報呈示制御手段２７とで構成される。
【００４９】
この外部機器連動型コンテンツ再生装置２０は、映像信号及び音声信号に、知覚又は感覚の程度を表わす感性情報を付加した外部機器連動型コンテンツを再生するものである。
【００５０】
分離手段２１は、放送波又はインターネット等のネットワークから、受信手段５を介して受信した外部機器連動型コンテンツ（信号Ａ）を、符号化映像信号、符号化音声信号、時刻情報及び符号化感性情報（信号Ｃ）に分離するものである。この符号化映像信号及び符号化音声信号は、映像・音声復号手段２２に出力され、時刻情報は時刻生成手段２３に出力され、符号化感性情報（信号Ｃ）は感性情報変換手段２４に出力される。
【００５１】
映像・音声復号手段２２は、符号化された映像信号（符号化映像信号）と音声信号（符号化音声信号）とを入力し、その各々の符号化された信号を映像信号及び音声信号として復号するものである。ここで復号された映像信号及び音声信号は、映像・音声呈示制御手段２５に出力される。
【００５２】
時刻生成手段２３は、時刻情報に基づいてタイマ（図示せず）に同期した時刻信号を出力するものである。この時刻信号は時刻制御手段２６に出力される。
感性情報変換手段２４は、符号化感性情報（信号Ｃ）を個々の外部機器（呈示端末６０）を動作させるための動作制御信号（信号Ｅ）に変換するものである。この動作制御信号は感性情報呈示制御手段２７に出力される。
ここで、図４を参照して（適宜図３、図５参照）、感性情報変換手段２４の内部構成について詳細に説明する。
【００５３】
視聴履歴解析手段２４ａは、統合制御手段２８の視聴履歴更新手段２８ｄから通知される視聴者が視聴したコンテンツの履歴を解析し、その履歴を視聴履歴として視聴履歴蓄積手段２４ｂに蓄積するものである。ここで視聴履歴とは、例えば、視聴者が選択した放送番組の番組ジャンル（スポーツ、映画、ニュース等）や視聴時間等のことをいう。ここで蓄積された視聴履歴は、選択変換制御手段２４ｅを経由して感性情報制御手段２４ｆによって参照される。
視聴履歴蓄積手段２４ｂは、視聴履歴を蓄積するもので、不揮発性メモリ等の記録媒体で構成されるものである。
【００５４】
個人プロファイル生成制御手段２４ｃは、統合制御手段２８の個人プロファイル更新手段２８ｅから通知される個人の属性情報に基づいて、個人プロファイルを生成し、個人プロファイル蓄積手段２４ｄに蓄積したり、個人プロファイル蓄積手段２４ｄに蓄積されている個人プロファイルを更新したりするものである。なお、ここで個人の属性情報とは、視聴者個人の固有の情報であり、例えば、視聴者の年齢、性別、国籍、趣味嗜好等を示すものである。また、個人プロファイルは、個人の属性情報全体を示す。
【００５５】
なお、この個人プロファイル生成制御手段２４ｃは、視聴履歴を参照して視聴者の趣味嗜好を自動的に個人プロファイルに反映させる形態であっても構わない。例えば、視聴履歴でクラシックの音楽番組の視聴時間が長い場合、個人プロファイルには「好きな音楽：クラシック」のように設定することも可能である。また、視聴者が複数存在する場合は、視聴者の個人プロファイルの論理積（ＡＮＤ）等によって、共通の個人プロファイル（共通プロファイル）を作成し、その共通プロファイルを用いて感性情報を変換する形態であっても構わない。
【００５６】
個人プロファイル蓄積手段２４ｄは、個人プロファイルを蓄積するもので、不揮発性メモリ等の記録媒体で構成されるものである。
選択変換制御手段２４ｅは、統合制御手段２８の視聴履歴・個人プロファイル選択手段２８ｆから通知される選択指示信号（信号Ｄ）に基づいて、視聴履歴蓄積手段２４ｂに蓄積されている視聴履歴や、個人プロファイル蓄積手段２４ｄに蓄積されている個人プロファイルの中から、感性情報制御手段２４ｆが参照する情報を選択して出力するものである。
【００５７】
感性情報制御手段２４ｆは、変換テーブル保持手段２４ｇに保持されている変換テーブルに基づいて、分離手段２１から入力される符号化感性情報（信号Ｃ）を、個々の外部機器（呈示端末６０）を動作させるための動作制御信号に変換するものである。この動作制御信号は制御情報抑制助長手段２４ｈに出力される。
【００５８】
また、感性情報制御手段２４ｆは、選択変換制御手段２４ｅから入力される視聴履歴や個人プロファイルの情報を参照して、符号化感性情報（信号Ｃ）を動作制御信号に変換する。例えば、視聴履歴でクラシックの音楽番組の視聴時間が長い場合、符号化感性情報として「爽やか」という感性を、外部機器を用いて呈示するとき、自動演奏するピアノが家庭内ネットワーク７に接続されていた場合は、そのピアノによって「爽やかなクラシック曲」を演奏して爽やかさを呈示することも可能である。また例えば、個人プロファイルに「好きな色：赤」が設定されていた場合、符号化感性情報として「楽しい」という感性を、外部機器を用いて呈示するとき、赤色を出力する照明装置が家庭内ネットワーク７に接続されていた場合は、その照明装置を点灯させることで、視聴者に楽しい雰囲気を呈示することも可能である。
【００５９】
変換テーブル保持手段２４ｇは、感性情報を符号化した符号化感性情報（信号Ｃ）と、その符号化感性情報に対応して動作する外部機器（呈示端末６０）の対応関係を示す変換テーブルを保持するもので、不揮発性メモリ等の記録媒体で構成されているものである。
【００６０】
この変換テーブルには、１つの符号化感性情報について、１つの外部機器の動作を対応付ける必要はなく、１つの符号化感性情報、例えば「恐怖」に、外部機器の「照明」や「振動機付きの椅子」等を対応させて、「照明」を点滅させたり、「振動機付き椅子」の振動を強めたりして、恐怖感を呈示することも可能である。
【００６１】
制御情報抑制助長手段２４ｈは、統合制御手段２８の生体情報取得手段２８ｇから通知される抑制指示信号又は助長指示信号（信号Ｄ）に基づいて、感性情報制御手段２４ｆから入力される動作制御信号を抑制又は助長し、新たな動作制御信号（信号Ｅ）として感性情報呈示制御手段２７へ出力する。なお、この抑制指示信号又は助長指示信号は、視聴者が直接、入力端末７０から統合制御手段２８を介して変更する形態であっても構わない。
図３に戻って説明を続ける。なお、感性情報変換手段２４の内部構成については適宜図４を参照することとする。
【００６２】
映像・音声呈示制御手段２５は、映像・音声復号手段２２で復号された映像信号及び音声信号を外部機器（呈示端末６０）に出力するものである。例えば、映像信号をモニタ、音声信号をスピーカに出力する。なお、この映像信号及び音声信号の出力は、時刻制御手段２６から通知される呈示タイミング信号に基づいて行われる。
【００６３】
時刻制御手段２６は、時刻生成手段２３から入力される時刻信号に基づいて、映像・音声呈示制御手段２５や感性情報呈示制御手段２７に対して、呈示を行うタイミングを同期させる呈示タイミング信号を生成するものである。
感性情報呈示制御手段２７は、感性情報変換手段２４で変換された外部機器を動作させるための動作制御信号（信号Ｅ）を外部機器（呈示端末６０）に出力するものである。なお、この動作制御信号（信号Ｅ）の出力は、時刻制御手段２６から通知される呈示タイミング信号に基づいて行われる。
【００６４】
統合制御手段２８は、外部機器連動型コンテンツ再生装置２０全体を制御するものであり、図５に示すように再生コンテンツ指定手段２８ａ、接続機器確認手段２８ｂ、変換テーブル更新手段ｃ、視聴履歴更新手段２８ｄ、個人プロファイル更新手段２８ｅ、視聴履歴・個人プロファイル選択手段２８ｆ及び生体情報取得手段２８ｇを備えて構成されている。
【００６５】
再生コンテンツ指定手段２８ａは、入力端末７０から視聴者が指定するコンテンツを取得するために、受信手段５に対して、指定されたコンテンツを取得する旨の指示を通知するものである。例えば、視聴者が入力端末７０から放送番組のチャンネルを受信手段５に通知することで、受信手段５がその放送番組であるコンテンツを復調し、分離手段２１へ出力する。
【００６６】
接続機器確認手段２８ｂは、家庭内ネットワーク７に接続されている外部機器（呈示端末６０等）を確認するものである。この接続機器確認手段２８ｂは、一定時間間隔で家庭内ネットワーク７に認識確認命令（信号Ｆ）を発し、家庭内ネットワーク７に接続されている外部機器からその種類を示す端末種別や、その外部機器の制御体系、例えば、エアコン装置であれば「温度」を制御するものであり、その温度を制御できる範囲の「温度指定範囲」等をパラメータとして取得するものである。この認識確認命令（信号Ｆ）に対して応答を返した外部機器が、制御可能な外部機器と判断される。
【００６７】
なお、接続機器確認手段２８ｂは、家庭内ネットワーク７に接続され、制御可能と判断した外部機器に基づいて、感性情報変換手段２４の変換テーブル保持手段２４ｇに保持されている変換テーブルを更新する。
【００６８】
変換テーブル更新手段２８ｃは、感性情報変換手段２４の変換テーブル保持手段２４ｇに保持されている変換テーブルを、視聴者が入力端末７０を操作することで更新するものである。例えば、家庭内ネットワーク７に接続されている呈示端末６０で、動作させないものを指定したり、動作範囲（例えば、エアコン装置の設定温度の範囲、スピーカの音量範囲等）を変更したりするものである。
【００６９】
視聴履歴更新手段２８ｄは、視聴者が視聴したコンテンツの履歴を感性情報変換手段２４に通知し、感性情報変換手段２４の視聴履歴蓄積手段２４ｂに記憶されている視聴履歴を更新するものである。
【００７０】
個人プロファイル更新手段２８ｅは、入力端末７０から視聴者が入力する視聴者の個人の属性情報を感性情報変換手段２４に通知し、感性情報変換手段２４の個人プロファイル蓄積手段２４ｄに蓄積される個人プロファイルを生成したり更新したりするものである。
【００７１】
視聴履歴・個人プロファイル選択手段２８ｆは、感性情報変換手段２４が、符号化感性情報（信号Ｃ）を、外部機器（呈示端末６０）を動作させる動作制御信号（信号Ｅ）に変換する際に、視聴履歴蓄積手段２４ｂに蓄積されている視聴履歴や、個人プロファイル蓄積手段２４ｄに蓄積されている個人プロファイルを参照するかどうかを示す選択指示信号（信号Ｄ）を選択変換制御手段２４ｅに通知するものである。この選択は、入力端末７０からの視聴者の指示によって行われる。
【００７２】
生体情報取得手段２８ｇは、生体情報取得端末８０から取得される視聴者の脈拍、血圧、脳波等の生体情報に基づいて、感性情報変換手段２４の制御情報抑制助長手段２４ｈに呈示端末６０の動作を抑制する抑制指示信号を通知したり、助長する助長指示信号を通知したりするものである。この生体情報取得手段２８ｇは、例えば、視聴者の異常な心拍数の増加を検出した場合に、視聴者に生理的、精神的、肉体的な害や圧迫を与えると判断し、感性情報変換手段２４の制御情報抑制助長手段２４ｈに対して、呈示端末６０の動作を抑制（停止も含む）する抑制指示信号を通知する。また、例えば、視聴者の心拍数に変化がなく呈示端末６０による効果が少ない場合は、呈示端末６０の動作を助長する助長指示信号を制御情報抑制助長手段２４ｈに通知する。
【００７３】
なお、この生体情報の異常や、効果の判断を行うには、個人プロファイル更新手段２８ｅによって、感性情報変換手段２４の個人プロファイル蓄積手段２４ｄに蓄積されてある個人プロファイルに、予め視聴者の正常な心拍数の範囲等を登録しておくことで判断することが可能である。また、逆に生体情報に基づいて個人プロファイルを更新する形態であっても構わない。例えば、視聴者の体温によって視聴者の体調（風邪をひいている等）を判定し、その判定結果を個人プロファイルに反映させることで、「エアコン装置」の温度を低くしないとか、「振動機付きの椅子」の振動を行わないようにするとかを変更することが可能になる。
【００７４】
さらに、この生体情報を生体制御信号（信号Ｂ）として、図示していない送信手段（生体情報送信手段）によって、外部機器連動型コンテンツ生成装置１０（図２）へ送信し、外部機器連動型コンテンツ生成装置１０がその生体情報に基づいて感性情報を変更することも可能である。
あるいは、入力端末７０から視聴者が感性情報の変更指示を入力し、その変更指示を変更指示信号（信号Ｂ）として、図示していない送信手段（生体情報送信手段）によって、外部機器連動型コンテンツ生成装置１０（図２）へ送信し、外部機器連動型コンテンツ生成装置１０がその選択指示信号に基づいて感性情報を変更することも可能である。
【００７５】
また、個人プロファイルは、視聴者の視聴時の気分や雰囲気などの視聴状況に応じて、視聴者が入力端末７０から変更することも可能であり、さらに個人プロファイルの更新時にパスワードを設定することで、その視聴者しか個人プロファイルを更新できないようにすることも可能である。
【００７６】
以上、一実施形態に基づいて本発明に係る外部機器連動型コンテンツ再生装置２０の構成について説明したが、本発明はこれに限定されるものではない。例えば、ＣＤ−ＲＯＭ等のデジタル記録媒体に書き込まれたコンテンツを読み込むコンテンツ読み込み手段を備え、ＣＤ−ＲＯＭ等に書き込まれた外部機器連動型コンテンツを再生する形態であっても構わない。
【００７７】
また、外部機器連動型コンテンツ再生装置２０は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して外部機器連動型コンテンツ再生プログラムとして動作させることも可能である。
【００７８】
（外部機器連動型コンテンツ再生装置の動作）
次に、図３、図４、図５及び図１１を参照して、外部機器連動型コンテンツ再生装置２０の動作について説明する。図１１は、外部機器連動型コンテンツ再生装置２０を含んだコンテンツ受信装置２の動作を示すフローチャートである。
【００７９】
まず、外部機器連動型コンテンツ再生装置２０は、統合制御手段２８の接続機器確認手段２８ｂによって、家庭内ネットワーク７に認識確認命令（信号Ｆ）を発し、家庭内ネットワーク７に接続されている外部機器からその種類を示す端末種別や、その外部機器の制御体系を取得することで、家庭内ネットワーク７に接続されている外部機器を確認し（ステップＳ２１）、その取得した端末種別及び制御体系に基づいて、感性情報変換手段２４の変換テーブル保持手段２４ｇに保持されている変換テーブルを更新する（ステップＳ２２）。なお、このステップＳ２１及びステップＳ２２は、外部機器連動型コンテンツ再生装置２０の起動時や一定時間間隔毎に定期的に行う。
【００８０】
そして、再生コンテンツ指定手段２８ａからの指示で、受信手段５によって、その指定された外部機器連動型コンテンツを放送波又はネットワークを介して受信する（ステップＳ２３：受信ステップ）。この受信した外部機器連動型コンテンツは、分離手段２１によって、符号化映像信号、符号化音声信号、時刻情報及び符号化感性情報に分離される（ステップＳ２４：分離ステップ）。
そして、感性情報制御手段２４ｆが、変換テーブル保持手段２４ｇに保持されている変換テーブルに基づいて、ステップＳ２４で分離された符号化感性情報に対応する外部機器及びその動作量を取得して、その外部機器を動作させる動作制御信号に変換する（ステップＳ２５）。
【００８１】
また、ステップＳ２４で分離された符号化映像信号及び符号化音声信号は、映像・音声復号手段２２で復号され、ステップＳ２４で分離された時刻情報による呈示タイミングに基づいて、映像・音声呈示制御手段２５によって、映像や音声を出力する外部機器（呈示端末６０）に出力されることで映像や音声が再生される（ステップＳ２６：映像・音声コンテンツ再生ステップ）。
【００８２】
また一方、ステップＳ２５で変換された動作制御信号に基づいて、感性情報呈示制御手段２７が、その動作制御信号に対応する家庭内ネットワーク７に接続されている外部機器を、ステップＳ２４で分離された時刻情報による呈示タイミングで動作させることで、映像や音声に対応づけて外部機器（呈示端末６０）を動作させる（ステップＳ２７：外部機器動作ステップ）。
【００８３】
このとき、外部機器として生体情報取得端末８０が接続されている場合は、生体情報取得手段２８ｇによって、視聴者の脈拍、血圧、脳波等の生体情報を取得し、必要に応じて（生体情報の異常を検出した場合等）、外部機器（呈示端末６０）の動作量を変更する（ステップＳ２８）。
【００８４】
以上のステップによって、知覚又は感覚の程度を表わす感性情報から、視聴者の家庭内ネットワークに接続された外部機器を動作させることで、コンテンツ制作者の意図する雰囲気や環境を擬似的に再現することができる。
【００８５】
（外部機器連動型コンテンツの再生環境の例）
次に、図６を参照して、外部機器連動型コンテンツを再生するときの再生環境の例について説明する。図６は、外部機器連動型コンテンツ（信号Ａ）の再生時に、映像及び音声に連動して動作する外部機器を示した視聴者の再生環境６の模式図である。図６に示すように、外部機器連動型コンテンツの再生環境６は、外部機器連動型コンテンツ再生装置２０を含んだコンテンツ受信装置２と、種々の外部機器が家庭内ネットワーク７に接続されて構成されている。以下、各外部機器の概略動作について説明する。なお、以下の外部機器はすべて家庭内ネットワーク７の制御信号を送受信できるリモコン制御などを含めたインタフェースを備えているものとする。
【００８６】
映像呈示端末４０は、映像信号を表示するものであり、例えばモニタである。なお、この映像呈示端末４０は、映像信号のホワイトバランスを変化させることできる端末であってもよい。ホワイトバランスとは、白から黒の無彩色で表現される画素に若干の色を付与して表現するものである。このホワイトバランスの機能を利用して、例えば、「喜び」、「悲しみ」といった感性情報を、それぞれ画面上の無彩色の画素に「赤み」、「青み」を付与することで、表現することもできる。
【００８７】
音声呈示端末４１は、音声信号を出力するものであり、例えばスピーカである。なお、この音声呈示端末４１は、音声信号のピッチを変えたり、ある場面で音楽が流れているとき、その音楽の調子を転調したりすることで感性情報を呈示するものである。例えば、一般的な感覚として、感性情報の「華やかさ」を呈示するには、音調を高く転調することで表現することができる。
【００８８】
照度呈示端末４２は、明るさを調整することができる照明装置である。この照度呈示端末４２によって、明るさを調整することで、例えば、「明るい」場面の雰囲気を表現することができるし、「楽しい」という感情を表現することもできる。
【００８９】
色温度呈示端末４３は、色の３原色によってカラー出力が可能な多色照明装置である。この色温度呈示端末４３によって、例えば、暖色系の色を出力させることで、「暖かい」場の雰囲気や、「暑い」という温度状態を表現することができる。また、寒色系の色を出力させることで、「しらけた」場の雰囲気や、「涼しい」という温度状態を表現することができる。
【００９０】
演奏情報呈示端末４４は、自動演奏が可能なピアノ等の楽器である。この演奏情報呈示端末４４は、映像呈示端末４０で呈示される映像や音声呈示端末４１で呈示される音声に合わせて楽曲や効果音を演奏することで、場の雰囲気を表現することができる。なお、この演奏情報呈示端末４４は、視聴者の嗜好に合わせた楽曲を用いることで、場の雰囲気をより的確に視聴者に表現することができる。
【００９１】
触覚呈示端末４５は、振動や圧力等によって触覚を呈示する装置である。匂い呈示端末４６は、匂い成分の素となる粒子を混合することで種々の匂いを呈示する装置である。味覚呈示端末４７は、匂い呈示端末４６と同様に、数種類の味成分の素となる成分を有し、これらを単独で、あるいは混合することで舌に対して味覚を呈示する装置である。このような触覚呈示端末４５や匂い呈示端末４６や味覚呈示端末４７によって、触覚、臭覚、味覚に対応した情報を視聴者に表現することができる。例えば、触覚呈示端末４５は、人の「感情の高ぶり」や「緊張感」を、振動の強弱によって表現することができる。
【００９２】
風圧呈示端末４８は、風の強弱を調整することができる装置で、例えば扇風機である。この風圧呈示端末４８によって、映像呈示端末４０で呈示される映像中の風の強さを表現したり、場の雰囲気を風によって表現したりすることができる。例えば、「爽やかな」場の状況を、風力の弱い風で表現することができる。
【００９３】
生体情報取得端末４９は、視聴者の脈拍、血圧等の生体情報を取得する装置であり、脳波検知端末５０は、視聴者の脳波を検知する装置である。これらは、例えば視聴者の脈拍数の多少、血圧の高低によって、視聴者が外部機器連動型コンテンツの再生によって受ける感覚の程度を把握することができる。あるいはα波等の検出によっても、視聴者がリラックスした感覚であるかどうかを把握することができる。
【００９４】
振動加速度呈示端末５１は、振動や重力加速度を体感させる装置である。また、低周波音響呈示端末５２は、低周波音響を出力する装置である。このような振動加速度呈示端末５１や低周波音響呈示端末５２によって、例えば、地震等の環境を体感させることができる。
【００９５】
動作呈示端末５３は、人型ロボットのような人間の動作を呈示することができる装置である。この動作呈示端末５３によって、例えば「楽しい」場面では、踊りを踊ることで楽しさを表現したり、「暗い」雰囲気の場面では、顔を下に向ける等でその場の雰囲気を表現したりすることができる。
【００９６】
情緒呈示端末５４は、風鈴や獅子威し等の情緒性を表現することができる装置である。この情緒呈示端末５４によって、例えば風鈴を鳴らすことで「涼しさ」を表現したり、獅子威しを鳴らすことで周辺の「静けさ」を表現したりすることができる。
【００９７】
湿度調整端末５５は、加湿器、除湿器等の湿度を調整できる装置である。また、温度調整端末５６は、室温を調整することができるもので、例えば、エアコン装置である。この湿度調整端末５５や温度調整端末５６によって、例えば、映像に映っている場面の湿度や温度を実感温度として表現することができる。
【００９８】
残響調整端末５７は、室内の残響時間を調整する装置である。この残響調整端末５７によって、例えば、ある場面で登場人物が話す音声にエコーをかけることで場面の「広がり感」等を表現することができる。
以上説明した外部機器は、すべて家庭内ネットワーク７に接続されている必要はない。また、家庭内ネットワーク７のインタフェースに適合し、外部機器連動型コンテンツ再生装置２０から動作を制御できる端末であれば、例示した端末以外であっても構わない。
【００９９】
（外部機器連動型コンテンツの再生例）
次に、図８及び図９を参照して、外部機器連動型コンテンツを再生する例について説明する。図９は、図８に示した番組進行情報に沿って進行する映像シーンと、その映像シーンに連動して動作する外部機器の動作の例を示した模式図である。
【０１００】
図９（１）の映像シーンＡ１は、図８の番組進行情報の開始時刻ＳＴ「００：００：００」から終了時刻ＥＴ「００：００：２０」までの映像シーンである「花畑」を示している。また、図９（２）の映像シーンＡ２は、図８の番組進行情報の開始時刻ＳＴ「００：００：２０」から終了時刻ＥＴ「００：０１：３０」までの映像シーンである「踊る人々」を示している。さらに、図９（３）の映像シーンＡ３は、図８の番組進行情報の開始時刻ＳＴ「００：０１：３０」から終了時刻ＥＴ「００：０２：００」までの映像シーンである「恐怖に怯える人々」を示している。
【０１０１】
このような図９（１）〜（３）の各映像シーンに、それぞれ図８の感性情報例ＥＸ４の「そよ風」、「踊る」、「恐怖５」の感性情報が付された場合、例えば、図９（１）の映像シーンでは、「そよ風」を呈示する外部機器として、風圧呈示端末４８（扇風機）を風量「弱」で動作させている。
【０１０２】
また、図９（２）の映像シーンでは、「踊る」を呈示する外部機器として、色温度呈示端末４３（照明装置）と動作呈示端末５３（人型ロボット）とを動作させている。このとき、色温度呈示端末４３は、明るい色調によって人々の楽しい雰囲気を表現している。また、動作呈示端末５３は、映像シーンの人々と同じように踊ることで楽しい雰囲気を表現している。
【０１０３】
さらに図９（３）の映像シーンでは、「恐怖５」を呈示する外部機器として、照度呈示端末４２（照明装置）と振動加速度呈示端末５１とを動作させている。このとき、照度呈示端末４２の照明を「点滅」させたり、振動加速度呈示端末５１を振動量「強」で動作させたりすることで、人々の恐怖感を表現したり、地震の揺れを視聴者に体感させている。
【０１０４】
このように、感性情報を付加した外部機器連動型コンテンツを再生することで、視聴者は、家庭内にある機器を用いてコンテンツ内容を擬似体験することができ、また高臨場感を体感することができる。
【０１０５】
【発明の効果】
以上説明したとおり、本発明に係る外部機器連動型コンテンツ生成装置、その方法及びそのプログラムでは、以下に示す優れた効果を奏する。
【０１０６】
請求項１、請求項２又は請求項３に記載の発明によれば、映像及び／又は音声の映像・音声コンテンツに知覚又は感覚の程度を表わす感性情報を付加し、視聴者の視聴環境に存在する外部機器を動作させる外部機器連動型コンテンツを生成することができる。また、この外部機器連動型コンテンツは、外部機器を直接動作させる動作命令を含んでいないため、視聴者の視聴環境に存在する外部機器の種類や機種に依存しない汎用的なものとすることができる。これによって、外部機器連動型コンテンツを放送用のコンテンツとして使用することができ、放送における表現方法を、映像や音声のみの表現から大きく広げることが可能になる。
【図面の簡単な説明】
【図１】 本発明の外部機器連動型コンテンツ伝送システムの概略構成を示したブロック図である。
【図２】 本発明の実施の形態に係る外部機器連動型コンテンツ生成装置の構成を示すブロック図である。
【図３】 本発明の実施の形態に係る外部機器連動型コンテンツ再生装置の構成を示すブロック図である。
【図４】 本発明の実施の形態に係る外部機器連動型コンテンツ再生装置の感性情報変換手段の構成を示すブロック図である。
【図５】 本発明の実施の形態に係る外部機器連動型コンテンツ再生装置の統合制御手段の構成を示すブロック図である。
【図６】 外部機器連動型コンテンツを再生させる視聴者の再生環境を模式的に表わした模式図である。
【図７】 物理量を感性情報に変換する例を説明するための説明図である。
【図８】 番組進行情報を説明するための説明図である。
【図９】 番組進行情報に沿って進行する映像シーンとその映像シーンに連動して動作する外部機器の動作の例を示した模式図である。
【図１０】 外部機器連動型コンテンツ生成装置の動作を示すフローチャートである。
【図１１】 外部機器連動型コンテンツ再生装置の動作を示すフローチャートである。
【符号の説明】
１……コンテンツ送信装置
１０……外部機器連動型コンテンツ生成装置
１１……感性情報・再現時刻入力手段（感性情報入力手段、再現時刻入力手段）
１２……外部環境検出手段
１３……感性情報変換手段
１４……感性情報符号化手段
１５……映像符号化手段
１６……音声符号化手段
１７……多重手段（関連付け手段）
２……コンテンツ受信装置
２０……外部機器連動型コンテンツ再生装置
２１……分離手段
２２……映像・音声復号手段
２３……時刻生成手段
２４……感性情報変換手段
２４ｂ……視聴履歴蓄積手段
２４ｄ……個人プロファイル蓄積手段
２５……映像・音声呈示制御手段
２６……時刻制御手段
２７……感性情報呈示制御手段
２８……統合制御手段
２８ｇ……生体情報取得手段
６０……呈示端末（外部機器）
７……家庭内ネットワーク

Claims (3)

1. 映像及び／又は音声の映像・音声コンテンツに対応した知覚又は感覚の程度を表わす感性情報に基づいて、再生装置で制御可能な外部機器を動作させることで、前記感性情報の程度を代替して呈示する外部機器連動型コンテンツを生成する外部機器連動型コンテンツ生成装置であって、
   映像信号及び／又は音声信号を符号化する映像・音声符号化手段と、
   前記感性情報を入力する感性情報入力手段と、
   前記映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂いの少なくとも１つの外部環境を物理量として検知する外部環境検知手段と、
   この外部環境検知手段で検知された物理量を、予め物理量と感性情報とを対応付けた対応テーブルに基づいて、感性情報に変換する感性情報変換手段と、
   前記感性情報入力手段で入力された感性情報及び前記感性情報変換手段で変換された感性情報を符号化する感性情報符号化手段と、
   前記映像・音声符号化手段で符号化された映像・音声コンテンツと、前記感性情報符号化手段で符号化された感性情報とを、前記映像・音声コンテンツの再生時刻に基づいて関連付けて、前記外部機器連動型コンテンツとして多重化する関連付け手段と、
   を備えていることを特徴とする外部機器連動型コンテンツ生成装置。
2. 映像及び／又は音声の映像・音声コンテンツに対応した知覚又は感覚の程度を表わす感性情報に基づいて、再生装置で制御可能な外部機器を動作させることで、前記感性情報の程度を代替して呈示する外部機器連動型コンテンツを生成する外部機器連動型コンテンツ生成方法であって、
   映像信号及び／又は音声信号を符号化する映像・音声符号化ステップと、
   前記感性情報を入力する感性情報入力ステップと、
   前記映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂いの少なくとも１つの外部環境を物理量として検知する外部環境検知ステップと、
   この外部環境検知ステップにて検知された物理量を、予め物理量と感性情報とを対応付けた対応テーブルに基づいて、感性情報に変換する感性情報変換ステップと、
   前記感性情報入力ステップにて入力された感性情報及び前記感性情報変換ステップにて変換された感性情報を符号化する感性情報符号化ステップと、
   前記映像・音声符号化ステップにて符号化された映像・音声コンテンツと、前記感性情報符号化ステップにて符号化された感性情報とを、前記映像・音声コンテンツの再生時刻に基づいて関連付けて、前記外部機器連動型コンテンツとして多重化する関連付けステップと、
   を含むことを特徴とする外部機器連動型コンテンツ生成方法。
3. 映像及び／又は音声の映像・音声コンテンツに対応した知覚又は感覚の程度を表わす感性情報に基づいて、再生装置で制御可能な外部機器を動作させることで、前記感性情報の程度を代替して呈示する外部機器連動型コンテンツを生成するために、コンピュータを、
   映像信号及び／又は音声信号を符号化する映像・音声符号化手段、
   前記感性情報を入力する感性情報入力手段、
   前記映像信号及び音声信号を入力する撮影時の風速、温度、湿度、匂いの少なくとも１つの外部環境を物理量として検知する外部環境検知手段、
   この外部環境検知手段で検知された物理量を、予め物理量と感性情報とを対応付けた対応テーブルに基づいて、感性情報に変換する感性情報変換手段、
   前記感性情報入力手段で入力された感性情報及び前記感性情報変換手段で変換された感性情報を符号化する感性情報符号化手段、
   前記映像・音声符号化手段で符号化された映像・音声コンテンツと、前記感性情報符号化手段で符号化された感性情報とを、前記映像・音声コンテンツの再生時刻に基づいて関連付けて、前記外部機器連動型コンテンツとして多重化する関連付け手段、
   として機能させることを特徴とする外部機器連動型コンテンツ生成プログラム。

Images