JP4295470B2

JP4295470B2 - Content providing system, content receiving apparatus, content providing method, content receiving method, content providing program, and content receiving program

Info

Publication number: JP4295470B2
Application number: JP2002133391A
Authority: JP
Inventors: 武史木村; 謙二郎加井; 宏和小西; 和也藤澤; 浩一石川; 欣司松村
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2002-05-08
Filing date: 2002-05-08
Publication date: 2009-07-15
Anticipated expiration: 2022-05-08
Also published as: JP2003333563A

Description

【０００１】
【発明の属する技術分野】
本発明は、娯楽性に富むコンテンツを提供するコンテンツ提供システム、コンテンツ受信装置、コンテンツ提供方法、コンテンツ受信方法、コンテンツ提供プログラムおよびコンテンツ受信プログラムに関する。
【０００２】
【従来の技術】
近年、デジタル放送やインターネットによるコンテンツの配信により、従来のテレビジョン（以下、ＴＶと記載する）放送と比較すると、利用者にとっては満足度の高い映像や音声が提供されるようになった。また、データ放送により、利用者との双方向通信も可能となり、利用者の満足度を更に高めている。
【０００３】
データ放送は、ＴＶ放送等の映像や音声による主サービスにデータによる付加情報を加えて各種サービスを行うものであり、そのデータによる付加情報の提示を主サービスの映像や音声を提示する装置（例えば、ＴＶ受信機）で行っている。最近、データ放送の中には、主サービスの映像や音声を提示する装置以外の各種装置を制御するものもあるが、その各種装置を制御するための付加情報によって主サービスの映像や音声を変化させるものではない。
【０００４】
また、コンテンツに含まれるオブジェクトを抽出して映像や音声を符号化する技術も開発されている。この符号化技術は、主に高能率符号化を目的としたものであり、オブジェクトの映像や音声のデータを効率的に符号化する技術である。したがって、この符号化技術は、映像や音声を出力する提示装置以外の提示装置でオブジェクトを提示することを目的としてデータを符号化するのではなく、映像や音声を出力する提示装置内に閉じたデータの符号化技術である。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のコンテンツを提供するサービスには、コンテンツに含まれるキャラクタ等のオブジェクトを、主サービスの映像や音声を提示する装置以外の各種装置に移動させて提示するようなサービスはない。このようなサービスが実現すると、キャラクタ等がＴＶ画面から飛び出してくるといったことができ、臨場感に溢れるとともに娯楽性に富んだコンテンツとなる。
【０００６】
従来のデータ放送における技術は、主サービスの映像や音声を提示する装置以外の各種装置を制御することができ、主サービスの映像や音声に情報を付加することを前提とした技術である。したがって、主サービスの映像や音声からオブジェクトを取り出して、そのオブジェクトを主サービスの映像や音声を提示する装置以外の各種装置に提示させるようなことはできない。また、従来のオブジェクトの符号化技術やサーバ型放送における映像や音声のシーンオブジェクトの代替技術は、コンテンツに含まれるオブジェクトを符号化することはできるが、１台の提示装置内で扱うデータを対象とした技術である。したがって、その符号化によって、オブジェクトが主となる提示装置以外の提示装置に移動させるような符号化を行うことはできない。
【０００７】
そこで、本発明の課題は、コンテンツに含まれるオブジェクトを提示装置間で移動させて提示可能なコンテンツ提供システム、コンテンツ受信装置、コンテンツ提供方法、コンテンツ受信方法、コンテンツ提供プログラムおよびコンテンツ受信プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
前記課題を解決した本発明の請求項１に係るコンテンツ提供システムは、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に前記コンテンツを提供するコンテンツ提供システムであって、前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、符号化する移動情報符号化手段、を備え、符号化された前記移動情報を含む多重信号を前記コンテンツ受信装置に提供することを特徴とする。
【０００９】
本発明の請求項２に係るコンテンツ受信装置は、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続され、コンテンツ提供システムから前記コンテンツを受信するコンテンツ受信装置であって、前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、復号化する移動情報復号化手段と、復号化された前記移動情報に基づいて、前記オブジェクトを提示する第２提示装置を決定する第２提示装置決定手段と、を備え、前記オブジェクトを、前記第２提示装置決定手段が決定した第２提示装置に提示することを特徴とする。
【００１０】
本発明の請求項３に係るコンテンツ提供方法は、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に前記コンテンツを提供するコンテンツ提供方法であって、前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、符号化する移動情報符号化ステップ、を含み、符号化された前記移動情報を含む多重信号を前記コンテンツ受信装置に提供することを特徴とする。
【００１１】
本発明の請求項４に係るコンテンツ受信方法は、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に、コンテンツ提供システムから前記コンテンツを受信するコンテンツ受信方法であって、前記コンテンツに含まれるオブジェクト毎に、前記オブジェクトを提示可能な前記第１提示装置及び前記第２提示装置毎に設定され、前記第１提示装置及び前記第２提示装置が前記オブジェクトを提示する手段である映像、音声、動作および演奏情報を示す提示メディアと、１つの前記オブジェクトを前記第１提示装置及び複数の前記第２提示装置で提示可能な場合には前記オブジェクトを提示する優先順序を示す優先度と、を少なくとも含む移動情報を、復号化する移動情報復号化ステップと、復号化された前記移動情報に基づいて、前記オブジェクトを提示する第２提示装置を決定する第２提示装置決定ステップと、を含み、前記オブジェクトを、前記第２提示装置決定ステップで決定した第２提示装置に提示することを特徴とする。
【００１２】
本発明の請求項５に係るコンテンツ提供プログラムは、コンテンツを映像および／または音声で提示する第１提示装置と一体であり、前記コンテンツに含まれるオブジェクトに対応し、前記コンテンツを映像および／または音声以外の代替の手段により提示する第２提示装置が接続されたコンテンツ受信装置に前記コンテンツを提供するためのコンテンツ提供プログラムであって、コンピュータに、請求項３に記載のコンテンツ提供方法を実現させることを特徴とする。
【００１３】
本発明の請求項６に係るコンテンツ受信プログラムは、請求項３に記載するコンテンツ提供方法によって提供されたコンテンツを受信するためのコンテンツ受信プログラムであって、コンピュータに、請求項４に記載のコンテンツ受信方法を実現させることを特徴とする。
【００１４】
本発明の請求項７に係るコンテンツ提供システムは、請求項１に記載のコンテンツ提供システムにおいて、前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする。
【００１５】
本発明の請求項８に係るコンテンツ受信装置は、請求項２に記載のコンテンツ受信装置において、前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする。
【００１６】
本発明の請求項９に係るコンテンツ提供方法は、請求項３に記載のコンテンツ提供方法において、前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする。
【００１７】
本発明の請求項１０に係るコンテンツ受信方法は、請求項４に記載のコンテンツ受信方法において、前記第１提示装置は、音声出力装置を含むＴＶディスプレイであり、前記第２提示装置は、手足の動作および音声の出力が可能なぬいぐるみであることを特徴とする。
【００１９】
なお、第１提示装置は、コンテンツを映像および／または音声で出力する装置であり、例えば、ＴＶディスプレイ（音声出力装置を含む）、コンピュータのディスプレイや音声出力装置、ラジオ等がある。また、第２提示装置は、コンテンツに含まれるオブジェクトの映像および／または音声を代替の手段により提示することができるとともに外部から制御可能な装置であり、例えば、ＰＤＡ[personal digital assistant]等の端末、発声や動作可能なぬいぐるみ、ロボット、自動で演奏を行う自動楽器、電話、目覚まし時計等がある。また、オブジェクトは、映像および／または音声で提示されるコンテンツにおいてその映像および／または音声を代替の手段でも提示可能なものであり、例えば、人間、動物、動物やアニメ等の各種キャラクタ、人形、楽器、電話、目覚まし時計等がある。また、代替オブジェクトは、第１提示装置で提示しているコンテンツからオブジェクトを第２提示装置に移動させた場合にそのオブジェクトが抜けた後に代わって提示する他のオブジェクトであり、例えば、移動させたオブジェクトに隠れていた他のオブジェクト等がある。また、付随オブジェクトは、第２提示装置にオブジェクトを移動させた場合にそのオブジェクトに付随して提示され、その付随オブジェクトだけでは提示されないオブジェクトであり、例えば、移動させたオブジェクトの背景、移動させたオブジェクトに対する効果音等がある。
【００２０】
【発明の実施の形態】
以下、図面を参照して、本発明に係るコンテンツ提供システム、コンテンツ受信装置、コンテンツ提供方法、コンテンツ受信方法、コンテンツ提供プログラムおよびコンテンツ受信プログラムの実施の形態について説明する。
【００２１】
本発明は、コンテンツの映像や音声を楽しむ利用者の満足度を更に高めるために、コンテンツに含まれるオブジェクトをそのコンテンツを提示している提示装置から別の提示装置に移動して提示させる。そのために、本発明では、第１提示装置で提示するコンテンツからオブジェクトを分離した映像および／または音声の情報を符号化するとともに、オブジェクトを第２提示装置で提示するための情報を移動先の第２提示装置毎かつオブジェクト毎に分離して符号化する。さらに、本発明では、受信側においてオブジェクトを提示する第２提示装置を決定するために、オブジェクトが移動対象であることの情報、移動提示可能な第２提示装置の情報および移動提示可能な第２提示装置が複数ある場合には移動の優先度の情報からなる移動情報を符号化する。
【００２２】
本実施の形態では、デジタルＴＶ放送によってコンテンツ（ＴＶ番組）を配信するコンテンツ提供システムとその放送によりコンテンツを受信する受信機に本発明を適用する。本実施の形態では、説明を簡単化するために、オブジェクトとしては動物等のキャラクタおよびピアノ等の楽器とし、第１提示装置としてはＴＶディスプレイ（音声出力装置を含む）とし、第２提示装置としてはＰＤＡ等の端末、キャラクタ（オブジェクト）に対応するぬいぐるみおよび楽器（オブジェクト）に対応する自動楽器とする。キャラクタは、第２提示装置が接続されていない場合にはＴＶディスプレイに提示され、端末が接続されている場合には端末に提示され、あるいは、キャラクタのぬいぐるみが接続されている場合にはぬいぐるみで提示される。楽器は、第２提示装置が接続されていない場合にはＴＶディスプレイに提示され、端末が接続されている場合には端末に提示され、あるいは、自動楽器が接続されている場合には自動楽器で提示される。端末とは、例えば、視聴者が手元におく小型画面付きリモコンであり、映像および音声の出力が可能である。ぬいぐるみとは、制御機能付きであり、手足等の動作および音声の出力が可能である。自動楽器とは、制御機能付きであり、楽器の自動演奏が可能である。
【００２３】
本実施の形態に係るコンテンツ提供システムは、ＴＶ放送局に構成されており、地上波放送あるいは衛星放送によりコンテンツを配信するシステムである。ＴＶ放送局は、数ＭＨｚの伝送帯域の１つのチャンネルが割り当てられており、ドラマ、スポーツ、バラエティ、ニュース等の様々なＴＶ番組のコンテンツを提供する放送局である。コンテンツ提供システムでは、このコンテンツを提供するために、コンテンツからオブジェクトを分離したデータおよびオブジェクトのデータ等を符号化し、さらに多重化した多重信号（デジタル放送信号）を生成する。
【００２４】
また、本実施の形態に係るコンテンツ提供システムは、コンピュータによって多重信号を生成するための主要な処理を行っている。このコンピュータは、コンテンツ提供プログラムがインストールされており、このコンテンツ提供プログラムを実行することによって後記する各手段（各部）を構成する。
【００２５】
本実施の形態に係るコンテンツ提供システムの構成について説明するが、本実施の形態では、オブジェクトが２つの場合、オブジェクトが２つで代替オブジェクトおよび付随オブジェクトがある場合、オブジェクトが１つで従来のデジタルＴＶ放送受信機との互換性を考慮した場合の３つの例について説明する。なお、コンテンツ提供システムの構成は、オブジェクトの個数や種類、オブジェクトを移動提示可能な提示装置の個数や種類、代替オブジェクト、付随オブジェクト等によって適宜代わる。
【００２６】
図１を参照して、オブジェクト（キャラクタと楽器）が２つの場合のコンテンツ提供システム１Ａの構成について説明する。図１は、コンテンツ提供システム１Ａの構成図であり、オブジェクトが２つの場合である。
【００２７】
コンテンツ提供システム１Ａでは、ＴＶディスプレイで提示するコンテンツのオブジェクト（キャラクタ、楽器）および背景の映像および音声の情報、オブジェクトを提示可能な提示装置（ＴＶディスプレイ、端末、ぬいぐるみ、自動楽器）毎かつオブジェクト毎に各提示装置で提示させるための情報およびオブジェクトをどの提示装置に移動させるかの情報をそれぞれ符号化する。さらに、コンテンツ提供システム１Ａでは、符号化した全ての情報を多重化して、多重信号を生成する。そして、コンテンツ提供システム１Ａでは、この多重信号を配信する。なお、オブジェクトには、キャラクタと楽器の他に、背景のオブジェクトも含む。この際、背景を含む各オブジェクトの符号化では、他のオブジェクトの陰になる部分を含む完全な情報として符号化する必要がある。
【００２８】
多重信号を生成するために、コンテンツ提供システム１Ａは、オブジェクト符号化手段１１Ａ、移動情報符号化手段１２Ａおよび多重化手段１３Ａを備えている。
【００２９】
オブジェクト符号化手段１１Ａについて説明する。
オブジェクト符号化手段１１Ａは、ＴＶディスプレイ、端末、ぬいぐるみおよび自動楽器の提示メディア毎に、各装置で提示可能なオブジェクト（背景、キャラクタ、楽器）の情報を分離して符号化する手段である。そのために、オブジェクト符号化手段１１Ａには、背景・主映像符号化部１１ａ、背景・主音声符号化部１１ｂ、オブジェクト１・主映像符号化部１１ｃ、オブジェクト１・主音声符号化部１１ｄ、オブジェクト２・主映像符号化部１１ｅ、オブジェクト２・主音声符号化部１１ｆ、主映像・配置情報符号化部１１ｇ、オブジェクト１・別映像符号化部１１ｈ、オブジェクト１・別音声符号化部１１ｉ、オブジェクト２・別映像符号化部１１ｊ、オブジェクト２・別音声符号化部１１ｋ、別映像・配置情報符号化部１１ｌ、オブジェクト１・ぬいぐるみ動作符号化部１１ｍ、オブジェクト１・ぬいぐるみ音声符号化部１１ｎおよびオブジェクト２・演奏情報符号化部１１ｏが構成される。
なお、本実施の形態では、背景・主映像符号化部１１ａおよび背景・主音声符号化部１１ｂが特許請求の範囲に記載するオブジェクト分離コンテンツ符号化手段に相当する。
【００３０】
背景・主映像符号化部１１ａは、キャラクタおよび楽器が抜けた後の部分も含む背景の映像データを符号化する。ちなみに、背景の映像データは、ＴＶカメラ（図示せず）の撮影において、キャラクタおよび楽器がない状態で撮影した映像データ、ＴＶカメラで撮影した映像から動き部分を除去して静止部分のみを抽出したデータ、バーチャルスタジオ等ではその背景部品のデータ等が使用される。
【００３１】
背景・主音声符号化部１１ｂは、キャラクタおよび楽器が発す音声がない場合に聞こえる音声データを符号化する。ちなみに、背景の音声データは、ＴＶカメラ（図示せず）の撮影において、キャラクタおよび楽器がない状態で収録した音声データが使用される。
【００３２】
オブジェクト１・主映像符号化部１１ｃは、例えば、ＴＶカメラ（図示せず）でコンテンツのオブジェクト毎に別々に撮影して、そのキャラクタの映像データを符号化する。
【００３３】
オブジェクト１・主音声符号化部１１ｄは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音して、そのキャラクタの音声データを符号化する。
【００３４】
オブジェクト２・主映像符号化部１１ｅは、例えば、ＴＶカメラ（図示せず）でコンテンツのオブジェクト毎に別々に撮影して、その楽器の映像データを符号化する。
【００３５】
オブジェクト２・主音声符号化部１１ｆは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音して、その楽器の音声データを符号化する。
【００３６】
主映像・配置情報符号化部１１ｇは、背景の映像の中にオブジェクトを配置する場合のオブジェクトがどのオブジェクトの手前にあるか等のオブジェクトの配置に関する主映像オブジェクト配置情報を符号化する。配置情報は、最も単純には、各オブジェクトがどのような順番で重なっているかという情報である。
【００３７】
オブジェクト１・別映像符号化部１１ｈは、例えば、ＴＶカメラ（図示せず）でコンテンツのオブジェクト毎に別々に撮影して、端末に適した符号化方式により、そのキャラクタの映像データを符号化する。なお、この符号化データはオブジェクト１・主映像符号化部１１ｃで符号化されたデータと共有できる場合があり、この場合にはオブジェクト１・別映像符号化部１１ｈでの処理は行われない。
【００３８】
オブジェクト１・別音声符号化部１１ｉは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音して、端末に適した符号化方式により、そのキャラクタの音声データを符号化する。なお、この符号化データはオブジェクト１・主音声符号化部１１ｄで符号化されたデータと共有できる場合があり、この場合にはオブジェクト１・別音声符号化部１１ｉでの処理は行われない。
【００３９】
オブジェクト２・別映像符号化部１１ｊは、例えば、ＴＶカメラ（図示せず）でコンテンツのオブジェクト毎に別々に撮影して、端末に適した符号化方式により、その楽器の映像データを符号化する。なお、この符号化データはオブジェクト２・主映像符号化部１１ｅで符号化されたデータと共有できる場合があり、この場合にはオブジェクト２・別映像符号化部１１ｉでの処理は行われない。
【００４０】
オブジェクト２・別音声符号化部１１ｋは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音して、端末に適した符号化方式により、その楽器の音声データを符号化する。なお、この符号化データはオブジェクト２・主音声符号化部１１ｆで符号化されたデータと共有できる場合があり、この場合にはオブジェクト２・別音声符号化部１１ｋでの処理は行われない。
【００４１】
別映像・配置情報符号化部１１ｌは、端末にオブジェクトを配置する場合のオブジェクトがどのオブジェクトの手前にあるか等のオブジェクトの配置に関する別映像オブジェクト配置情報を、端末に適した符号化方式により別映像オブジェクト配置情報を符号化する。ただし、オブジェクト毎に専用の端末を有する場合には、別映像オブジェクト配置情報は必要ないので、別映像・配置情報符号化部１１ｌでの処理は行われない。
【００４２】
オブジェクト１・ぬいぐるみ動作符号化部１１ｍは、キャラクタの動作に対応するぬいぐるみで可能な動作に必要な情報を生成し、その動作の情報をぬいぐるみを制御するための情報に変換する。さらに、オブジェクト１・ぬいぐるみ動作符号化部１１ｍは、ぬいぐるみに適した符号化方式により、その動作の制御情報を符号化する。
【００４３】
オブジェクト１・ぬいぐるみ音声符号化部１１ｎは、例えば、マイクロフォン（図示せず）でコンテンツのオブジェクト毎に別々に収音する。そして、オブジェクト１・ぬいぐるみ音声符号化部１１ｎは、そのキャラクタの音声に対応するぬいぐるみで出力可能な音声に必要な情報を生成し、その音声の情報をぬいぐるみを制御するための情報に変換する。さらに、オブジェクト１・ぬいぐるみ音声符号化部１１ｎは、ぬいぐるみに適した符号化方式により、その音声の制御情報を符号化する。なお、この符号化データはオブジェクト１・主音声符号化部１１ｄで符号化されたデータと共有できる場合があり、この場合にはオブジェクト１・ぬいぐるみ音声符号化部１１ｎでの処理は行われない。
【００４４】
オブジェクト２・演奏符号化部１１ｏは、楽器の音声に対応する自動楽器で出力可能な演奏に必要な情報を生成し、その演奏の情報を自動楽器を制御するための情報に変換する。さらに、オブジェクト２・演奏情報符号化部１１ｏは、自動楽器に適した符号化方式により、その演奏の制御情報を符号化する。
【００４５】
以上、オブジェクト毎に別々に撮影あるいは収音することを基本として説明したが、オブジェクト抽出技術を用いて撮影された映像からオブジェクトを分離して符号化したり、例えば、ＣＧやバーチャルスタジオ等ではオブジェクト部分ごとに符号化したり等の方法を用いてもよい。
【００４６】
図２も参照して、移動情報符号化手段１２Ａについて説明する。図２は、図１に示す場合の移動情報の構成を示す図であり、（ａ）がオブジェクト１（キャラクタ）の移動情報であり、（ｂ）がオブジェクト２（楽器）の移動情報である。
【００４７】
移動情報符号化手段１２Ａは、受信側においてオブジェクトをどの提示装置で提示するかを決定するために必要な移動情報を符号化する手段である。そのために、移動情報符号化手段１２Ａには、オブジェクト１・移動情報符号化部１２ａおよびオブジェクト２・移動情報符号化部１２ｂが構成される。
【００４８】
図２を参照して、移動情報について説明しておく。
移動情報は、どのオブジェクトが移動対象であるかを示すために移動対象となるオブジェクト毎に設定される。さらに、オブジェクト毎の移動情報は、そのオブジェクトをどの提示装置で移動提示することができるかを示すために移動提示可能な提示装置毎に設定され、その提示装置毎に優先度、提示メディア、論理提示信号および物理提示信号の情報を有している。
【００４９】
優先度は、１つのオブジェクトを複数の提示装置（ＴＶディスプレイを含めて）で提示可能な場合に提示する優先順序を示すものであり、図２の例では０がデフォルトで数字が大きくなるほど優先度が高いことを表している。
【００５０】
提示装置は、本実施の形態ではＴＶディスプレイ、端末、ぬいぐるみ、自動楽器等があり、その情報をコード化して表現してもよい。
【００５１】
提示メディアは、各提示装置において提示する手段（ひいては、その手段で提示するために必要なデータの種別）を表し、ＭＰＥＧ−２多重方式（ＩＳＯ／ＩＥＣ１３８１８−１）やＡＲＩＢ（電波産業会）番組配列情報方式（ＡＲＩＢＳＴＤ−Ｂ１０）における「ストリーム形式識別」や「データ符号化方式識別」等と同等の機能を持ち、その情報をコード化して表現してもよい。ちなみに、ＴＶディスプレイおよび端末の提示メディアは、映像および音声である。ぬいぐるみの提示メディアは、動作および音声である。自動楽器の提示メディアは、演奏情報である。
【００５２】
論理提示信号は、オブジェクト符号化手段１１Ａにおいて分離して符号化した各データの論理的な構成を示しており、物理提示信号が設定されている場合には特に必要のない信号である。ちなみに、ＴＶディスプレイの論理提示信号は、キャラクタに対してオブジェクト１主映像とオブジェクト１主音声であり、楽器に対してオブジェクト２主映像とオブジェクト２主音声である。端末の論理提示信号は、キャラクタに対してオブジェクト１別映像とオブジェクト１別音声であり、楽器に対してはオブジェクト２別映像とオブジェクト２別音声である。ぬいぐるみの論理提示信号は、キャラクタに対してオブジェクト１ぬいぐるみ動作とオブジェクト１ぬいぐるみ音声である。自動楽器の論理提示信号は、楽器に対してオブジェクト２演奏情報である。
【００５３】
物理提示信号は、オブジェクト符号化手段１１Ａにおいて分離して符号化した各データの実体を示しており、実質的にはＭＰＥＧ−２多重方式やＡＲＩＢ番組配列情報方式における「ＥＳ＿ｐｉｄ[Elementary Stream Packet Identifier]」や「コンポーネントタグ」のような各符号化データへのポインタの情報である。ちなみに、ＴＶディスプレイの物理提示信号は、キャラクタに対してオブジェクト１主映像とオブジェクト１主音声の各符号化データへのポインタであり、楽器に対してオブジェクト２主映像とオブジェクト２主音声の各符号化データへのポインタである。端末の物理提示信号は、端末ではＴＶディスプレイと符号化データを共有するので、ＴＶディスプレイと同じ物理提示信号である。ぬいぐるみの物理提示信号は、ぬいぐるみでは音声のみＴＶディスプレイと符号化データを共有するので、キャラクタに対してオブジェクト１ぬいぐるみ動作とオブジェクト１主音声の各符号化データへのポインタである。自動楽器の物理提示信号は、楽器に対してオブジェクト２演奏情報の符号化データへのポインタである。
【００５４】
移動情報符号化手段１２Ａの説明に戻って、オブジェクト１・移動情報符号化部１２ａは、図２（ａ）に示すキャラクタの移動情報を生成する。そして、オブジェクト１・移動情報符号化部１２ａは、そのキャラクタの移動情報を符号化する。
【００５５】
オブジェクト２・移動情報符号化部１２ｂは、図２（ｂ）に示す楽器の移動情報を生成する。そして、オブジェクト２・移動情報符号化部１２ｂは、その楽器の移動情報を符号化する。
【００５６】
多重化手段１３Ａについて説明する。
多重化手段１３Ａは、各符号化手段１１Ａ，１２Ａで符号化した全てのデータを、その符号化データに応じた最適な伝送方式により多重化して多重信号に変換する。このとき、多重化手段１３Ａでは、各データや各情報に対する符号化方式の情報等を格納した制御情報も多重化している。さらに、変調器（図示せず）において、多重信号をＯＦＤＭ[Orthogonal Frequency Division Multiplexing]（直交周波数分割多重）変調方式等によりデジタル変調を施す。そして、このデジタル変調された多重信号は、アンテナ（図示せず）から配信される。
【００５７】
ここで、符号化方式と伝送方式についてもう少し詳しく説明する。符号化方式としては、各提示装置やデータ（情報）の種類等を考慮して、各オブジェクトの提示メディア毎、配置情報、移動情報に応じて最適な方式を採用する。このように符号化方式を最適な方式を用いることにより、リアルタイム性や符号化効率等に優れた符号化を行うことができる。また、伝送方式としては、符号化方式に応じてリアルタイム性に優れる方式を採用する。
【００５８】
オブジェクトの符号化伝送方式について説明する。
オブジェクトの符号化方式は、特に限定しないが、映像、音声、動作情報、演奏情報毎にかつ提示装置毎に適した符号化方式を採用し、例えば、ＭＰＥＧ−２符号化方式やＭＰＥＧ−４符号化方式等である。また、オブジェクトの伝送方式は、符号化方式に応じて伝送方式を採用し、例えば、ＰＥＳ形式等によりオブジェクト間の同期が可能な方式が適切である。ちなみに、映像符号化方式としてＭＰＥＧ−４を採用する場合には、各オブジェクト毎に別々に符号化することなく、1つの提示メディアについて複数のオブジェクトをまとめて符号化することも可能である。なお、最終的には受信機においてオブジェクトを重ね合わせて提示する必要があるので、特に映像符号化においては、通常のＲＧＢやＹＰｂＰｒの３つの情報（カラーの場合）に対しての符号化に加えて、オブジェクトの形状を表わすためのもう１つの情報に対する符号化も必要である。
【００５９】
オブジェクトの配置情報の符号化伝送方式について説明する。
配置情報の符号化方式は、特に限定しないが、配置情報にかつ提示装置に適した符号化方式を採用する。また、配置情報の伝送方式は、符号化方式に応じて伝送方式を採用し、例えば、ＭＰＥＧ−２多重方式やＡＲＩＢ番組配列情報方式におけるＰＳＩ／ＳＩに符号化して伝送する方式、バイナリあるいはＸＭＬ[Extensible Markup Language]で符号化して、ＰＥＳ、専用テーブル、ＤＳＭ−ＣＣ[Digital Storage Media Command and Control]（データカルーセル、オブジェクトカルーセル）方式等で伝送する方式がある。この際、オブジェクト間の同期ほど厳密さは要求されないものの、オブジェクトの配置の動的な変化にも対応しようとする場合には、ある程度リアルタイム性のある伝送方式であるＰＳＩ／ＳＩ方式やＰＥＳ方式が望ましい。ちなみに、ＰＳＩ／ＳＩ方式は秒単位程度の準リアルタイム性までの方式であり、さらに時間精度の高いリアルタイム性が要求される場合にはＰＥＳ方式が適している。なお、映像符号化の１つの情報として、オブジェクトの奥行きの符号化を行うことにより、これを配置情報として扱うことも選択肢の1つである。この方法により、配置情報の符号化を行えば、配置情報のリアルタイム性はもちろん、オブジェクトの複雑な重なり合いを表現することも可能である。
【００６０】
移動情報の符号化伝送方式について説明する。
移動情報の符号化方式は、特に限定しないが、移動情報に適した符号化方式を採用する。また、移動情報の伝送方式は、符号化方式に応じて伝送方式を採用し、例えば、ＭＰＥＧ−２多重方式やＡＲＩＢ番組配列情報方式におけるＰＳＩ／ＳＩに符号化して伝送する方式、バイナリあるいはＸＭＬで符号化して、ＰＥＳ、専用テーブル、ＤＳＭ−ＣＣ方式等で伝送する方式がある。この際、オブジェクト間の同期ほど厳密さは要求されないものの、オブジェクト構成の動的な変化にも対応しようとする場合には、ある程度リアルタイム性のある伝送方式であるＰＳＩ／ＳＩ方式やＰＥＳ方式が望ましい。
【００６１】
また、オブジェクトの符号化データの共用についてももう少し詳しく説明する。例えば、端末を使って提示する際の別映像や別音声は、ＴＶディスプレイと提示メディアが同じであるので、ＴＶディスプレイで提示する主映像や主音声のデータをそのまま利用することができる。また、ぬいぐるみの音声についても、ぬいぐるみがしゃべっているように音が出さえすればよいので、特別な音声信号でなくても、ＴＶディスプレイの主音声と同じデータを利用できる場合がある。こうした場合には、同じデータを別の提示装置用のデータとして重複して符号化および伝送する必要はなく、同じ符号化データの実体を利用すればよい。そのために、物理提示信号を同じ信号で設定する。例えば、図２（ａ）に示すキャラクタの移動情報の例では、端末の別映像および別音声の物理提示信号をＴＶディスプレイの主映像および主音声の物理提示信号で設定し、ぬいぐるみの音声の物理提示信号をＴＶディスプレイの主音声の物理提示信号で設定している。また、図２（ｂ）に示す楽器の移動情報の例では、端末の別映像および別音声の物理提示信号をＴＶディスプレイの主映像および主音声の物理提示信号で設定している。
【００６２】
以上の構成を有するコンテンツ提供システム１Ａでは、キャラクタと楽器を含むあるコンテンツを配信する場合、以下のように動作する。コンテンツ提供システム１Ａでは、オブジェクト符号化手段１１Ａによって、ＴＶディスプレイに提示するための背景、キャラクタ、楽器の主映像および主音声ならびに主映像の配置情報を符号化し（ただし、この符号化は、端末に提示するためのキャラクタと楽器の別映像および別音声の符号化ならびにぬいぐるみに提示するためのぬいぐるみ音声の符号化を兼ねている。）、端末に提示するための別映像の配置情報を符号化し、ぬいぐるみに提示するためのぬいぐるみ動作を符号化し、自動楽器に提示するための演奏情報を符号化する。さらに、コンテンツ提供システム１Ａでは、移動情報符号化手段１２Ａによって、キャラクタに対する移動情報および楽器に対する移動情報を生成し、各移動情報を符号化する。そして、コンテンツ提供システム１Ａでは、多重化手段１３Ａによって、符号化した全てのデータを多重化する。
【００６３】
このコンテンツ提供システム１Ａによれば、あるコンテンツに含まれるオブジェクトであるキャラクタおよび楽器を、ＴＶディスプレイ以外の提示装置である端末あるいはぬいぐるみや自動楽器に移動させて提示するために必要な情報を含む多重信号を生成することができる。さらに、このコンテンツ提供システム１Ａによれば、キャラクタと楽器に対して移動情報を設定しているので、受信側においてどのオブジェクトをどの提示装置に提示すればよいのかを決定することができる。また、このコンテンツ提供システム１Ａによれば、映像におけるオブジェクトの配置情報を設定しているので、受信側において複数のオブジェクトを重ねて表示する場合にその重ねる順番を決定することができる。
【００６４】
図３を参照して、オブジェクト（キャラクタと楽器）が２つで代替オブジェクトおよび付随オブジェクトがある場合のコンテンツ提供システム１Ｂの構成について説明する。図３は、コンテンツ提供システム１Ｂの構成図であり、オブジェクトが２つで代替オブジェクトおよび付随オブジェクトがある場合である。なお、コンテンツ提供システム１Ｂの構成において、図１に示すコンテンツ提供システム１Ａと同様の構成については同一の符号を付し、その説明を省略する。
【００６５】
コンテンツ提供システム１Ｂでは、ＴＶディスプレイで提示するコンテンツのオブジェクト（キャラクタ、楽器）および背景の映像および音声の情報、オブジェクトを提示可能な提示装置（ＴＶディスプレイ、端末、ぬいぐるみ、自動楽器）毎かつオブジェクト毎に各提示装置で提示させるための情報およびオブジェクトをどの提示装置に移動させるかの情報をそれぞれ符号化する。さらに、コンテンツ提供システム１Ｂでは、符号化した全ての情報を多重化して、多重信号を生成する。そして、コンテンツ提供システム１Ｂでは、この多重信号を配信する。なお、オブジェクトには、キャラクタと楽器の他に、背景も含む。また、ＴＶディスプレイに提示するオブジェクトには、コンテンツからキャラクタや楽器が抜けた後にこれらのオブジェクトに代わる代替オブジェクトを設けている。また、端末に提示するオブジェクトには、そのオブジェクトの背景として付随背景を設けている。
【００６６】
多重信号を生成するために、コンテンツ提供システム１Ｂは、オブジェクト符号化手段１１Ｂ、移動情報符号化手段１２Ｂおよび多重化手段１３Ｂを備えている。
【００６７】
オブジェクト符号化手段１１Ｂについて説明する。
オブジェクト符号化手段１１Ｂは、ＴＶディスプレイ、端末、ぬいぐるみおよび自動楽器の提示メディア毎に、各装置で提示可能なオブジェクト（背景、キャラクタ、楽器）の情報を分離して符号化する手段である。そのために、オブジェクト符号化手段１１Ｂには、背景・主映像符号化部１１ａ、背景・主音声符号化部１１ｂ、オブジェクト１・主映像符号化部１１ｃ、オブジェクト１・主音声符号化部１１ｄ、オブジェクト２・主映像符号化部１１ｅ、オブジェクト２・主音声符号化部１１ｆ、主映像・配置情報符号化部１１ｇ、オブジェクト１・別映像符号化部１１ｈ、オブジェクト１・別音声符号化部１１ｉ、オブジェクト２・別映像符号化部１１ｊ、オブジェクト２・別音声符号化部１１ｋ、別映像・配置情報符号化部１１ｌ、オブジェクト１・ぬいぐるみ動作符号化部１１ｍ、オブジェクト１・ぬいぐるみ音声符号化部１１ｎ、オブジェクト２・演奏情報符号化部１１ｏ、代替オブジェクト・代替映像符号化部１１ｐおよび付随背景・別映像符号化部１１ｑが構成される。
【００６８】
代替オブジェクト・代替映像符号化部１１ｐは、例えば、ＴＶカメラ（図示せず）でキャラクタの抜けた後に配置するキャラクタ代替オブジェクトを撮影するとともに、ＴＶカメラ（図示せず）で楽器の抜けた後に配置する楽器代替オブジェクトの映像データを撮影する。そして、代替オブジェクト・代替映像符号化部１１ｐは、キャラクタ代替オブジェクトの映像データを符号化するとともに楽器代替オブジェクトの映像データを符号化する。キャラクタ代替オブジェクトとしては、例えば、キャラクタが抜けたことを表現するためにそのキャラクタの外形を塗りつぶしたものや別のキャラクタ等がある。楽器代替オブジェクトとしては、楽器が抜けたことを表現するためにその楽器の外形を塗りつぶしたものや別の楽器等がある。ちなみに、オブジェクトを移動して提示する場合、ＴＶディスプレイの主映像におけるこれらのオブジェクトの抜けた後は、基本としては背景のみの空間になる。しかし、画面のバランスの都合上、画角を変更したり、その空間を別のオブジェクトで埋めたり、あるいは、端末、ぬいぐるみや自動楽器にオブジェクトが移動したことを表現する映像作りをするために代わりのオブジェクトを配置したりすると映像として効果的であるので、代替オブジェクトを設けている。
【００６９】
付随背景・別映像符号化部１１ｑは、例えば、ＴＶカメラ（図示せず）で端末に提示するキャラクタの付随背景を撮影するとともに、ＴＶカメラ（図示せず）で端末に提示する楽器の付随背景を撮影する。そして、付随背景・別映像符号化部１１ｑは、端末に適した符号化方式により、キャラクタの付随背景の映像データを符号化するとともに楽器の付随背景の映像データを符号化する。ちなみに、端末にオブジェクトを移動して提示する場合、端末の映像についても背景があるほうが映像として効果的な場合もあるので、付随背景を設けている。
【００７０】
図４も参照して、移動情報符号化手段１２Ｂについて説明する。図４は、図３に示す場合の移動情報の構成を示す図であり、（ａ）がオブジェクト１（キャラクタ）の移動情報であり、（ｂ）がオブジェクト２（楽器）の移動情報である。
【００７１】
移動情報符号化手段１２Ｂは、受信側においてオブジェクトをどの提示装置で提示するかを決定するために必要な移動情報を符号化する手段である。そのために、移動情報符号化手段１２Ｂには、オブジェクト１・移動情報符号化部１２ｃおよびオブジェクト２・移動情報符号化部１２ｄが構成される。
【００７２】
図４を参照して、移動情報について説明しておく。
前記したように、移動情報は、どのオブジェクトが移動対象であるかを示すために移動対象となるオブジェクト毎に設定される。さらに、オブジェクトの移動情報には、そのオブジェクトをどの提示装置で移動提示することができるかを示すために移動提示可能な提示装置毎に設定され、その提示装置毎に優先度、提示メディア、論理提示信号、物理提示信号、代替信号および付随信号の情報を有している。ここでは、図２に示す移動情報で説明した優先度、提示メディア、論理提示信号、物理提示信号以外の代替信号、付随信号についてのみ説明する。
【００７３】
代替信号は、オブジェクト符号化手段１１Ｂにおいて分離して符号化したキャラクタ代替オブジェクトの映像データや楽器代替オブジェクトの映像データの実体を示しており、各符号化データへのポインタの情報である。ちなみに、代替信号は、ＴＶディスプレイに対してのみ設定され、キャラクタに対してオブジェクト１代替映像の符号化データへのポインタであり、楽器に対してオブジェクト２代替映像の符号化データへのポインタである。
【００７４】
付随信号は、オブジェクト符号化手段１１Ｂにおいて分離して符号化したキャラクタの付随背景の映像データや楽器の付随背景の映像データの実体を示しており、各符号化データへのポインタの情報である。ちなみに、付随信号は、端末に対してのみ設定され、キャラクタに対してオブジェクト１付随背景映像の符号化データへのポインタであり、楽器に対してオブジェクト２付随背景映像の符号化データへのポインタである。
【００７５】
移動情報符号化手段１２Ｂの説明に戻って、オブジェクト１・移動情報符号化部１２ｃは、図４（ａ）に示すキャラクタの移動情報を生成する。そして、オブジェクト１・移動情報符号化部１２ｃは、そのキャラクタの移動情報を符号化する。
【００７６】
オブジェクト２・移動情報符号化部１２ｄは、図４（ｂ）に示す楽器の移動情報を生成する。そして、オブジェクト２・移動情報符号化部１２ｄは、その楽器の移動情報を符号化する。
【００７７】
多重化手段１３Ｂについて説明する。
多重化手段１３Ｂは、各符号化手段１１Ｂ，１２Ｂで符号化した全てのデータを、その符号化データに応じた最適な伝送方式により多重化して多重信号に変換する。このとき、多重化手段１３Ｂでは、各データや各情報に対する符号化方式の情報等を格納した制御情報も多重化している。さらに、変調器（図示せず）において、多重信号にＯＦＤＭ変調方式等によりデジタル変調を施す。そして、このデジタル変調された多重信号は、アンテナ（図示せず）から配信される。
【００７８】
以上の構成を有するコンテンツ提供システム１Ｂでは、キャラクタと楽器および代替オブジェクトと付随背景を含むあるコンテンツを配信する場合、以下のように動作する。コンテンツ提供システム１Ｂでは、オブジェクト符号化手段１１Ｂによって、ＴＶディスプレイに提示するための背景、キャラクタ、楽器の主映像および主音声、キャラクタ代替オブジェクト、楽器代替キャラクタの代替映像ならびに主映像の配置情報を符号化し（ただし、この符号化は、端末に提示するためのキャラクタと楽器の別映像および別音声の符号化ならびにぬいぐるみに提示するためのぬいぐるみ音声の符号化を兼ねている。）、端末に提示するためのキャラクタの付随背景、楽器の付随背景の別映像ならびに別映像の配置情報を符号化し、ぬいぐるみに提示するためのぬいぐるみ動作を符号化し、自動楽器に提示するための演奏情報を符号化する。さらに、コンテンツ提供システム１Ｂでは、移動情報符号化手段１２Ｂによって、キャラクタに対する移動情報および楽器に対する移動情報を生成し、各移動情報を符号化する。そして、コンテンツ提供システム１Ｂでは、多重化手段１３Ｂによって、符号化した全てのデータを多重化する。
【００７９】
このコンテンツ提供システム１Ｂによれば、コンテンツ提供システム１Ａの効果に加えて、代替オブジェクトを設けることによってＴＶディスプレイにおいてオブジェクトが抜けた後に効果的な映像を提供することができるとともに、付随背景を設けることによって端末において移動させたオブジェクトをより効果的な映像として提供できる。
【００８０】
図５を参照して、オブジェクトが１つで従来のデジタルＴＶ放送受信機との互換性を考慮した場合のコンテンツ提供システム１Ｃの構成について説明する。図５は、コンテンツ提供システム１Ｃの他の例であり、オブジェクトが１つで従来のデジタルＴＶ放送受信機との互換性を考慮した場合である。なお、コンテンツ提供システム１Ｃの構成において、図１に示すコンテンツ提供システム１Ａと同様の構成については同一の符号を付し、その説明を省略する。
【００８１】
ちなみに、従来のデジタルＴＶ放送受信機は、映像および音声の提示機能として、オブジェクトを分離した背景にオブジェクトを合成する機能を持っていない。そのために、従来のデジタルＴＶ放送受信機では、前記したコンテンツ提供システム１Ａ，１Ｂのように移動可能なオブジェクトを分離して符号化を行った情報だけでは、デフォルトのコンテンツの映像および音声を提示することができない。そこで、コンテンツ提供システム１Ｃでは、オブジェクトを分離していないデフォルトのコンテンツの映像および音声を符号化した情報を別途伝送することによって、従来のデジタル放送受信機に対してもデフォルトのサービスが行えるようにしている。
【００８２】
この際、背景の映像および音声、オブジェクトを分離して符号化した映像および音声と、デフォルトのコンテンツ（すなわち、オブジェクトが合成されたコンテンツ）の映像および音声を伝送することになり、伝送効率は落ちることになる。しかし、移動可能なオブジェクトが１つのみの場合等では、移動の対象となるオブジェクトの主映像および主音声は、ＴＶディスプレイにおいてはそのオブジェクトのみが提示されることがないので（主映像および主音声として提示されるのは、デフォルトのコンテンツの映像および音声、あるいは、移動可能オブジェクトが移動した後の背景の映像および音声のいずれかの場合しかないので）、伝送する必要がなく、現実的な伝送量の範囲でサービスが可能である。
【００８３】
コンテンツ提供システム１Ｃでは、ＴＶディスプレイで提示するコンテンツのオブジェクト（キャラクタ）および背景の映像および音声の情報、オブジェクトを提示可能な提示装置（ＴＶディスプレイ、端末、ぬいぐるみ）毎に各提示装置で提示させるための情報およびオブジェクトをどの提示装置に移動させるかの情報ならびに従来のデジタルＴＶ放送受信機で提示するデフォルトコンテンツの映像および音声をそれぞれ符号化する。さらに、コンテンツ提供システム１Ｃでは、符号化した全ての情報を多重化して、多重信号を生成する。そして、コンテンツ提供システム１Ｃでは、この多重信号を配信する。なお、オブジェクトには、キャラクタの他に、背景も含む。
【００８４】
多重信号を生成するために、コンテンツ提供システム１Ｃは、オブジェクト符号化手段１１Ｃ、移動情報符号化手段１２Ｃ、多重化手段１３Ｃおよびデフォルトコンテンツ符号化手段１４Ｃを備えている。
【００８５】
デフォルトコンテンツ符号化手段１４Ｃについて説明する。
デフォルトコンテンツ符号化手段１４Ｃは、ＴＶディスプレイに提示するためのデフォルトコンテンツの映像および音声を符号化する手段である。そのために、デフォルトコンテンツ符号化手段１４Ｃには、デフォルト・主映像符号化部１４ａおよびデフォルト・主音声符号化部１４ｂが構成される。
【００８６】
デフォルト・主映像符号化部１４ａは、例えば、ＴＶカメラ（図示せず）で撮影したコンテンツの映像データを取り込む。そして、デフォルト・主映像符号化部１４ａは、そのデフォルトコンテンツの映像データを符号化する。
【００８７】
デフォルト・主音声符号化部１４ｂは、例えば、マイクロフォン（図示せず）で収音したコンテンツの音声データを取り込む。そして、デフォルト・主音声符号化部１４ｂは、そのデフォルトコンテンツの音声データを符号化する。
【００８８】
オブジェクト符号化手段１１Ｃについて説明する。
オブジェクト符号化手段１１Ｃは、ＴＶディスプレイ、端末およびぬいぐるみの提示メディア毎に、各装置で提示可能なオブジェクト（背景、キャラクタ）の情報をそれぞれ符号化する手段である。そのために、オブジェクト符号化手段１１Ｃには、背景・主映像符号化部１１ａ、背景・主音声符号化部１１ｂ、オブジェクト１・別映像符号化部１１ｈ、オブジェクト１・別音声符号化部１１ｉ、オブジェクト１・ぬいぐるみ動作符号化部１１ｍおよびオブジェクト１・ぬいぐるみ音声符号化部１１ｎが構成される。なお、この例のコンテンツ提供システム１Ｃでは移動可能なオブジェクトが１つであり、キャラクタも含むデフォルトコンテンツを符号化して多重信号で配信しているので、ＴＶディスプレイに提示するためのキャラクタの主映像および主音声のデータを配信する必要はない。また、配置情報も必要がない。したがって、コンテンツ提供システム１Ｃのオブジェクト符号化手段１１Ｃには、図５の破線で示しているオブジェクト１・主映像符号化部１１ｃ、オブジェクト１・主音声符号化部１１ｄおよび主映像・配置情報符号化部１１ｇが構成されない。
【００８９】
移動情報符号化手段１２Ｃは、受信側においてオブジェクトをどの提示装置で提示するかを決定するために必要な移動情報を符号化する手段である。そのために、移動情報符号化手段１２Ｃには、オブジェクト１・移動情報符号化部１２ａが構成される。
【００９０】
多重化手段１３Ｃについて説明する。
多重化手段１３Ｃは、各符号化手段１１Ｃ，１２Ｃ，１４Ｃで符号化した全てのデータを、その符号化データに応じた最適な伝送方式により多重化して多重信号に変換する。このとき、多重化手段１３Ｃでは、各データや各情報に対する符号化方式の情報等を格納した制御情報も多重化している。さらに、変調器（図示せず）において、多重信号にＯＦＤＭ変調方式等によりデジタル変調を施す。そして、このデジタル変調された多重信号は、アンテナ（図示せず）から配信される。
【００９１】
以上の構成を有するコンテンツ提供システム１Ｃでは、キャラクタを含むあるコンテンツを配信する場合、以下のように動作する。コンテンツ提供システム１Ｃでは、オブジェクト符号化手段１１Ｃによって、ＴＶディスプレイに提示するための背景の主映像および主音声を符号化し、端末に提示するためのキャラクタの別映像および別音声を符号化し、ぬいぐるみに提示するためのぬいぐるみ動作を符号化する。さらに、コンテンツ提供システム１Ｃでは、移動情報符号化手段１２Ｃによってキャラクタに対する移動情報を生成し、その移動情報を符号化する。また、コンテンツ提供システム１Ｃでは、デフォルトコンテンツ符号化手段１４Ｃによって、従来のデジタルＴＶ放送受信機でも提示可能とするためのデフォルトコンテンツの映像および音声を符号化する。そして、コンテンツ提供システム１Ｃでは、多重化手段１３Ｃによって符号化した全てのデータを多重化する。
【００９２】
このコンテンツ提供システム１Ｃによれば、デフォルトコンテンツも設けることによって、従来のデジタルＴＶ放送受信機でもコンテンツを提示することができる。
【００９３】
図６を参照して、受信機２の構成について説明する。図６は、受信機２の構成図である。受信機２には、提示装置としてＴＶディスプレイＤ、端末Ｔ、ぬいぐるみＳ、自動楽器Ｍ等が無線によって信号を送受信することによって接続されている。なお、受信機２に接続される提示装置は、その受信機２が設置されている状況に応じて適宜代わる。
なお、本実施の形態では、受信機２が特許請求の範囲に記載するコンテンツ受信装置に相当する。
【００９４】
受信機２には、変調された多重信号をアンテナ（図示せず）で受信し、その変調された多重信号を復調器（図示せず）において復調して得られた前記したコンテンツ提供システム１Ａ，１Ｂ，１Ｃ等で生成された多重信号が入力される。そして、受信機２では、移動情報に基づいてどのオブジェクト（キャラクタ、楽器）をどの提示装置（ＴＶディスプレイＤ、端末Ｔ、ぬいぐるみＳ、自動楽器Ｍ）に提示するのかを決定する。さらに、受信機２では、ＴＶディスプレイＤにコンテンツの映像データおよび音声データを合成して出力するとともに、オブジェクトを移動して提示する他の提示装置（端末Ｔ、ぬいぐるみＳ、自動楽器Ｍ）に各オブジェクトの符号化データを各々出力する。
【００９５】
受信機２は、マイクロコンピュータによってＴＶディスプレイＤにコンテンツを提示させるとともに他の提示装置Ｔ，Ｓ，Ｍにオブジェクトを提示させるための主要な処理を行っている。このマイクロコンピュータは、コンテンツ受信プログラムがインストールされており、このコンテンツ受信プログラムを実行することによって後記する各部を構成する。
【００９６】
受信機２は、移動情報多重分離部２０、移動情報デコード部２１、提示装置インタフェース部２２、提示装置接続判定部２３、符号化情報選択部２４、符号化情報多重分離部２５、映像デコード部２６、配置情報デコード部２７、映像合成部２８、音声デコード部２９および音声合成部３０を備えている。
なお、本実施の形態では、移動情報デコード部２１が特許請求の範囲に記載する移動情報復号化手段に相当し、符号化情報選択部２４が特許請求の範囲に記載する第２提示装置決定手段に相当する。
【００９７】
移動情報多重分離部２０について説明する。
移動情報多重分離部２０では、復調された多重信号から符号化された移動情報を分離する。ちなみに、前記したコンテンツ提供システム１Ａ，１Ｂからの多重信号を受信した場合にはキャラクタの移動情報と楽器の移動情報が分離され、前記したコンテンツ提供システム１Ｃからの多重信号を受信した場合にはキャラクタの移動情報が分離される。
【００９８】
移動情報デコード部２１について説明する。
移動情報デコード部２１は、移動情報の符号化方式に応じて、移動情報多重分離部２０で分離した符号化されたオブジェクトの移動情報を復号化する。
【００９９】
提示装置インタフェース部２２について説明する。
提示装置インタフェース部２２は、受信機２に接続されるＴＶディスプレイＤ以外の提示装置Ｔ，Ｓ，Ｍとの信号の入出力を管理する。
【０１００】
提示装置接続判定部２３について説明する。
提示装置接続判定部２３は、提示装置インタフェース部２２を介して入力される信号に基づいて、各提示装置Ｔ，Ｓ，Ｍが接続されているか否かを判定する。
【０１０１】
図２、図４も参照して、符号化情報選択部２４について説明する。
符号化情報選択部２４は、移動情報デコード部２１で復号化した各オブジェクトの移動情報と提示装置接続判定部２３で判定した接続されている提示装置Ｔ，Ｓ，Ｍの情報に基づいて、オブジェクトをどの提示装置Ｄ，Ｔ，Ｓ，Ｍに提示するのかを決定する。符号化情報選択部２４における提示装置決定処理を図７のフローチャートに沿って説明する。図７は、符号化情報選択部２４におけるオブジェクトの提示装置決定処理のフローチャートである。なお、以下に説明する提示装置決定処理では、処理対象のオブジェクトをオブジェクトｉ（ｉ＝１，２・・・）とする。本実施の形態では、オブジェクト１はキャラクタ、オブジェクト２は楽器である。
【０１０２】
まず、符号化情報選択部２４では、はじめのオブジェクトｉとしてオブジェクト１を設定する（Ｓ１）。
【０１０３】
続いて、符号化情報選択部２４では、移動対象のオブジェクトｉがあるか否かを判定する（Ｓ２）。オブジェクトｉがない場合、符号化情報選択部２４では、処理を終了する。ちなみに、本実施の形態では、オブジェクトｉ（＝３）になったときに、処理が終了する。
【０１０４】
オブジェクトｉがある場合、符号化情報選択部２４では、そのオブジェクトｉの復号化された移動情報を取得する（Ｓ３）。
【０１０５】
そして、符号化情報選択部２４では、取得した移動情報の中で優先度として一番高い優先度ｊを設定する（Ｓ４）。ちなみに、本実施の形態では、図２、図４に示すように、優先度２が一番高い優先度である。
【０１０６】
次に、符号化情報選択部２４では、優先度ｊの値が０（デフォルト値）か否かを判定する（Ｓ５）。
【０１０７】
優先度ｊが０の場合、符号化情報選択部２４では、オブジェクトｉを提示する提示装置をデフォルトの提示装置（ＴＶディスプレイＤ）に決定し（Ｓ６）、オブジェクトｉとしてｉに１を加算した次のオブジェクトｉを設定してステップＳ２の処理に戻る（Ｓ７）。
【０１０８】
優先度ｊが０でない場合、符号化情報選択部２４では、その優先度ｊに相当する提示装置が受信機２に接続されているか否かを判定する（Ｓ８）。例えば、図２、図４に示す移動情報では、優先度２の場合にはぬいぐるみが接続されているか否かを判定する。
【０１０９】
優先度ｊに相当する提示装置が接続されている場合、符号化情報選択部２４では、オブジェクトｉを提示する提示装置をその優先度ｊに相当する提示装置に決定し（Ｓ９）、オブジェクトｉとしてｉに１を加算した次のオブジェクトｉを設定してステップＳ２の処理に戻る（Ｓ７）。
【０１１０】
優先度ｊに相当する提示装置が接続されていない場合、符号化情報選択部２４では、優先度ｊとしてｊから１を減算した次の優先度ｊを設定してステップＳ５の処理に戻る（Ｓ１０）。
【０１１１】
以上の処理により提示装置を決定すると、符号化情報選択部２４では、各オブジェクトの移動情報から、オブジェクト毎に決定した提示装置の物理提示信号（および、代替オブジェクトや付随背景が設定されている場合には、代替信号、付随信号）を選択する。
【０１１２】
符号化情報多重分離部２５について説明する。
符号化情報多重分離部２５では、符号化情報選択部２４で選択した物理提示信号（および、付随背景が設定されている場合には付随信号）に基づいて、復調された多重信号から符号化された各オブジェクトのデータを選択的に分離する。なお、端末に提示する場合には、符号化された別映像の配置情報も分離する。そして、符号化情報多重分離部２５では、符号化情報選択部２４で決定されたＴＶディスプレイＤ以外の提示装置Ｔ，Ｓ，Ｍに、分離した各符号化データを提示装置インタフェース部２２を介して各々出力する。
【０１１３】
また、符号化情報多重分離部２５では、復調された多重信号から符号化された背景の主映像データ、代替オブジェクトが設定されている場合には代替オブジェクトの代替映像データ、主映像の配置情報、ＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主映像データおよび主音声データを選択して分離する。そして、符号化情報多重分離部２５では、分離した各符号化データを映像デコード部２６、配置情報デコード部２７、音声デコード部２９に各々に出力する。
【０１１４】
映像デコード部２６について説明する。
映像デコード部２６では、各データの符号化方式に応じて、符号化情報多重分離部２５からの符号化された背景の主映像データ、代替オブジェクトが設定されている場合には代替オブジェクトの代替映像データ、ＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主映像データを復号化する。
【０１１５】
配置情報デコード部２７について説明する。
配置情報デコード部２７では、主映像の配置情報の符号化方式に応じて、符号化情報多重分離部２５からの符号化された主映像の配置情報を復号化する。
【０１１６】
映像合成部２８について説明する。
映像合成部２８は、復号された主映像の配置情報に基づいて、背景の主映像にＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主映像または代替オブジェクトが設定されている場合には代替オブジェクトの代替映像を合成した映像データを生成し、ＴＶディスプレイＤに出力する。
【０１１７】
音声デコード部２９について説明する。
音声デコード部２９では、各データの符号化方式に応じて、符号化情報多重分離部２５からの符号化された背景の主音声データ、ＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主音声データを復号化する。
【０１１８】
音声合成部３０について説明する。
音声合成部３０は、背景の主音声にＴＶディスプレイＤにオブジェクトを提示する場合には各オブジェクトの主音声を合成した音声データを生成し、ＴＶディスプレイＤに出力する。
【０１１９】
図６を参照して、ＴＶディスプレイＤについて説明する。
ＴＶディスプレイＤは、大型ディスプレイおよびスピーカとアンプ等を備えており、デジタルＴＶ放送で配信されたコンテンツを提示する装置である。ＴＶディスプレイＤでは、受信機２から送信された映像データにより大型ディスプレイでコンテンツを映像表示するとともに、受信機２から送信された音声データによりスピーカからコンテンツを音声出力する。
【０１２０】
図６を参照して、端末Ｔについて説明する。
端末Ｔは、前記したように、小型画面付きリモコンであり、映像および音声の出力が可能である。端末Ｔでは、受信機２から符号化された各オブジェクトの別映像データおよび別音声データ、別映像の配置情報、付随背景が設けられている場合には付随背景の別映像データが送信されてきたときに、各オブジェクトを映像と音声で提示する。そのために、端末Ｔは、提示メディアデコード部Ｔａおよび提示デバイスＴｂを備えている。
【０１２１】
提示メディアデコード部Ｔａでは、各符号化方式に応じて、符号化された各オブジェクトの別映像データ、各オブジェクトの別音声データ、別映像の配置情報を復号化する。そして、提示メディアデコード部Ｔａでは、別映像の配置情報に基づいて、オブジェクトの映像データを生成する。特に、付随背景の別映像データがある場合には、提示メディアデコード部Ｔａは、符号化された付随背景の別映像データを復号化し、オブジェクトの別映像に付随背景を合成して映像データを生成する。
【０１２２】
提示デバイスＴｂは、小型の液晶ディスプレイおよびスピーカとアンプ等からなる。提示デバイスＴｂでは、提示メディアデコード部Ｔａで生成した映像データにより小型の液晶ディスプレイでオブジェクトを映像表示するとともに、提示メディアデコード部Ｔａで復号化した音声データによりスピーカからオブジェクトを音声出力する。
【０１２３】
図６を参照して、ぬいぐるみＳについて説明する。
ぬいぐるみＳは、前記したように、制御機能付きのぬいぐるみであり、手足等の動作および音声の出力が可能である。ぬいぐるみＳでは、受信機２から符号化されたぬいぐるみ動作の制御情報、ぬいぐるみ音声データが送信されてきたときに、キャラクタを動作と音声で提示する。そのために、ぬいぐるみＳは、提示メディアデコード部Ｓａおよび提示デバイスＳｂを備えている。
【０１２４】
提示メディアデコード部Ｓａでは、各符号化方式に応じて、符号化されたぬいぐるみ動作の制御情報、ぬいぐるみ音声データを復号化する。
【０１２５】
提示デバイスＳｂは、電気的に制御可能な手足等の動作機構およびスピーカとアンプ等からなる。提示デバイスＳｂでは、提示メディアデコード部Ｓａで復号化したぬいぐるみ動作の制御情報によりコンテンツのキャラクタの動作に応じてぬいぐるみ手足等の動作し、提示メディアデコード部Ｓａで復号化した音声データによりスピーカからキャラクタの音声を出力する。
【０１２６】
図６を参照して、自動楽器Ｍについて説明する。
自動楽器Ｍは、前記したように、制御機能付きの楽器であり、楽器の自動演奏が可能である。自動楽器Ｍでは、受信機２から符号化された演奏情報が送信されてきたときに、楽器を自動演奏で提示する。そのために、自動楽器Ｍは、提示メディアデコード部Ｍａおよび提示デバイスＭｂを備えている。
【０１２７】
提示メディアデコード部Ｍａでは、符号化方式に応じて、符号化された演奏情報を復号化する。
【０１２８】
提示デバイスＭｂは、電気的に制御によって自動で演奏する楽器からなる。提示デバイスＭｂでは、提示メディアデコード部Ｍａで復号化した演奏情報によりコンテンツの楽器の演奏に応じて自動で楽器を演奏する。
【０１２９】
以上の構成を有する受信機２では、コンテンツ提供システム１Ａ，１Ｂ，１Ｃ等から配信された多重信号を受信した場合、以下のように動作する。受信機２では、受信した多重信号を復調する。続いて、受信機２では、多重信号から符号化されたオブジェクト毎の移動情報を分離し、その移動情報を復号化する（図２、図４参照）。そして、受信機２では、そのオブジェクト毎の移動情報と接続されている提示装置Ｔ，Ｓ，Ｍに基づいて、各オブジェクトを提示する提示装置を決定する。
【０１３０】
続いて、受信機２では、各オブジェクト毎に決定した提示装置に基づいて、多重信号から符号化された各オブジェクトのデータを選択的に分離し、分離した各符号化データをその決定した提示装置に各々送信する。符号化データが送信された各提示装置では、その符号化データを復号化し、その送信されたタイミングでオブジェクトを提示する。
【０１３１】
また、受信機２では、多重信号からＴＶディスプレイＤにコンテンツを提示するために必要な全ての符号化データを選択的に分離し、その分離した符号化データを各々復号化する。そして、受信機２では、背景のみのコンテンツあるいは背景と代替オブジェクトまたはオブジェクトとを合成したコンテンツの映像データおよび音声データを生成し、ＴＶディスプレイＤに送信する。コンテンツの映像データおよび音声データが送信されたＴＶディスプレイＤでは、コンテンツの映像データおよび音声データにより、コンテンツを映像表示および音声出力する。
【０１３２】
したがって、ＴＶディスプレイＤでコンテンツを視聴していると、以下のような視聴環境となる。コンテンツにおいてキャラクタが登場する場面では、ＴＶディスプレイＤの画面からキャラクタが消えて背景か代替オブジェクトが表示されるとともに、キャラクタの音声も無くなる。しかし、端末Ｔの画面にキャラクタが表示されるとともに音声が出力されるか、あるいは、ぬいぐるみＳがＴＶディスプレイＤの状況に合わせて動き始めるとともに音声を発する。また、楽器が演奏する場合では、ＴＶディスプレイＤの画面から楽器が消えて背景か代替オブジェクトが表示されるとともに、楽器の演奏音も無くなる。しかし、端末Ｔの画面に楽器が表示されるとともに演奏音が出力されるか、あるいは、自動楽器ＭがＴＶディスプレイＤの状況に合わせて演奏を始める。このような視聴環境によって、視聴者は、臨場感や娯楽性に溢れるコンテンツを楽しむことができる。
【０１３３】
ここで、受信機２に接続されている提示装置（利用可能な提示装置）Ｔ，Ｓ．Ｍに応じて各オブジェクトをどの提示装置Ｄ，Ｔ，Ｓ，Ｍで提示するのかを、コンテンツ提供システム１Ａで配信する多重信号を受信した場合とコンテンツ配信システム１Ｂで配信する多重信号を受信した場合の例で説明する。
【０１３４】
図８を参照して、受信機２でコンテンツ提供システム１Ａで配信する多重信号を受信した場合の例を説明する。図８は、図１に示す場合における利用可能な提示装置と提示するオブジェクトとの関係を示す図である。
【０１３５】
受信機２にデフォルトの提示装置であるＴＶディスプレイＤしか接続されていない場合、キャラクタおよび楽器はＴＶディスプレイＤに提示される。
【０１３６】
受信機２に端末Ｔのみ接続されている場合、ぬいぐるみおよび楽器についてはＴＶディスプレイＤより端末Ｔのほうが優先度が高い（図２参照）。したがって、キャラクタおよび楽器は、端末Ｔに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。
【０１３７】
受信機２にぬいぐるみＳのみ接続されている場合、キャラクタについてはＴＶディスプレイＤよりぬいぐるみＳのほうが優先度が高い（図２参照）。したがって、キャラクタは、ぬいぐるみＳに提示される。そのため、ＴＶディスプレイＤでは、背景および楽器を提示する。
【０１３８】
受信機２に端末ＴおよびぬいぐるみＳが接続されている場合、キャラクタについてはＴＶディスプレイＤおよび端末ＴよりぬいぐるみＳのほうが優先度が高く、楽器についてはＴＶディスプレイＤより端末Ｔのほうが優先度が高い（図２参照）。したがって、キャラクタは、ぬいぐるみＳに提示される。また、楽器は、端末Ｔに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。
【０１３９】
受信機２に自動楽器Ｍのみ接続されている場合、楽器についてはＴＶディスプレイＤより自動楽器Ｍのほうが優先度が高い（図２参照）。したがって、楽器は、自動楽器Ｍに提示される。そのため、ＴＶディスプレイＤでは、背景およびキャラクタを提示する。
【０１４０】
受信機２に端末Ｔおよび自動楽器Ｍが接続されている場合、キャラクタについてはＴＶディスプレイＤより端末Ｔのほうが優先度が高く、楽器についてはＴＶディスプレイＤおよび端末Ｔより自動楽器Ｍのほうが優先度が高い（図２参照）。したがって、キャラクタは、端末Ｔに提示される。また、楽器は、自動楽器Ｍに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。
【０１４１】
受信機２にぬいぐるみＳおよび自動楽器Ｍが接続されている場合、キャラクタについてはＴＶディスプレイＤよりぬいぐるみＳのほうが優先度が高く、楽器についてはＴＶディスプレイＤより自動楽器Ｍのほうが優先度が高い（図２参照）。したがって、キャラクタは、ぬいぐるみＳに提示される。また、楽器は、自動楽器Ｍに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。
【０１４２】
受信機２に端末Ｔ、ぬいぐるみＳおよび自動楽器Ｍが接続されている場合、キャラクタについてはＴＶディスプレイＤおよび端末ＴよりぬいぐるみＳのほうが優先度が高く、楽器についてはＴＶディスプレイＤおよび端末Ｔより自動楽器Ｍのほうが優先度が高い（図２参照）。したがって、キャラクタは、ぬいぐるみＳに提示される。また、楽器は、自動楽器Ｍに提示される。そのため、ＴＶディスプレイＤでは、背景のみを提示する。ちなみに、端末Ｔには、オブジェクトが提示されない。
【０１４３】
図９を参照して、受信機２でコンテンツ提供システム１Ｂで配信する多重信号を受信した場合の例を説明する。図９は、図３に示す場合における利用可能な提示装置と提示するオブジェクトとの関係を示す図である。
【０１４４】
この例も、利用可能な提示装置と提示するオブジェクトとの関係は、前記した受信機２でコンテンツ提供システム１Ａで配信する多重信号を受信した場合の例と同様の関係となる。その上、この例では、ＴＶディスプレイＤでは、他の提示装置Ｔ，Ｓ，Ｍでキャラクタまたは／および楽器を提示する場合、その抜けた後に、キャラクタの代替オブジェクトまたは／および楽器の代替オブジェクトを表示する。また、この例では、端末Ｔでは、キャラクタまたは／および楽器を提示する場合、キャラクタの背景または／および楽器の背景も表示する。
【０１４５】
以上、本発明の実施の形態について説明したが、本発明は、前記の実施の形態に限定されることなく、様々な形態で実施される。
例えば、本実施の形態ではコンテンツ提供システムおよび受信機における各部をプログラムを実行することによってソフトウエア的に構成したが、電子回路によってハードウエア的に構成してもよい。
また、本実施の形態ではデジタルＴＶ放送による放送によってコンテンツを配信する構成としたが、インターネット等の通信によるコンテンツの配信やパッケージメディア等の蓄積媒体によるコンテンツの配信等の他の配信方法によってコンテンツを配信してもよい。
また、本実施の形態ではデジタルＴＶ放送によって映像および音声からなるコンテンツを対象としたが、ラジオ放送による音声のみからなるコンテンツや映像のみからなるコンテンツを対象としてもよい。
また、本実施の形態ではデジタルＴＶ放送を対象としたが、デフォルトのコンテンツの背景のみをアナログ放送で配信して、オブジェクトに関する情報をデジタル放送で配信することも考えられる。
【０１４６】
また、本実施の形態ではオブジェクトをキャラクタと楽器としたが、人、動物、電話、目覚まし時計等の様々なものが対象としてもよい。
また、本実施の形態では第１提示装置をＴＶディスプレイとしたが、パソコンの出力装置、ラジオ、ＰＤＡ等の他の装置でもよい。
また、本実施の形態では第２提示装置を端末、ぬいぐるみおよび自動楽器としたが、人形、ロボット、電話、目覚まし時計、照明機器、インターホン等の他の装置でもよい。
また、本実施の形態では受信機とＴＶディスプレイを別体で示しているが、一体でＴＶ受信機としてもよい。
また、本実施の形態では端末等においてオブジェクトの情報を復号化したが、オブジェクトの情報も受信機において復号化してもよい。
【０１４７】
また、本実施の形態では異なる提示装置間（例えば、ＴＶディスプレイと端末間）であっても同一の提示メディア間で符号化データを共有する構成としたが、異なる提示メディア間で符号化データを共有することも考えられる。例えば、キャラクタの形状や動作の符号化データがあれば、コンピュータグラフィックスでキャラクタを描画して主映像のオブジェクトとして用いたり、同様に、端末の映像のオブジェクトとして用いたり、ぬいぐるみの動作情報に用いたりと、このオブジェクトの全ての提示装置で共通に使用することが可能である。また、主映像のキャラクタの符号化データを端末の別映像として用いる以外に、さらに、主映像のキャラクタの符号化データからキャラクタの動作情報を抽出し、ぬいぐるみを動作させることも考えられる。
【０１４８】
また、本実施の形態ではデフォルトの提示メディアとして映像および音声でのＴＶ放送によるサービスに適用したが、映像や音声以外の提示メディアによるサービス、例えば、データ放送サービス等に適用してもよい。デフォルトの提示メディアであっても、移動先の提示メディアであってもよいが、データ放送サービスを提示メディアに導入することによって、インタラクティブな（双方向の）要素を有するオブジェクト移動コンテンツをサービスすることが可能になる。すなわち、利用者のインタラクティブな操作によってオブジェクトの動き等の提示が変化するコンテンツや、利用者のインタラクティブな操作によってオブジェクトの提示装置（提示メディア）が変化するコンテンツ等も可能である。
【０１４９】
また、本実施の形態以外にも本発明を利用して様々なサービスが可能であり、そのいくつかの例を挙げる。
その一例としては、キャラクタの指人形やあやつり人形が出演者と掛け合いをしながら番組を進行していくような子供向け番組がある。この例では、ＴＶディスプレイのみしかない環境においては、従来のＴＶ番組のようにキャラクタの人形がＴＶ画面の中でその役を演じる。ＴＶディスプレイの外部機器として動作するキャラクタのぬいぐるみが接続されている環境では、キャラクタの提示はそのぬいぐるみを用いて行う。この際、ＴＶ画面では人形が表示されなくなり、ＴＶ画面中の出演者とＴＶ画面外のぬいぐるみとが掛け合いをしているように番組が進行する。これは、最も簡単で現実的な例だが、コンテンツの制作に凝れば、さらに複雑な絡み合いをする番組も作製可能である。
【０１５０】
また、その他の例としては、アニメーションのアシスタントが学習の補助をしながら進行していく語学番組等がある。この例では、ＴＶディスプレイのみしかない環境においては、従来のＴＶ番組のようにアシスタントがＴＶ画面の中で指導をしていく。ＴＶディスプレイの外部機器として小型画面付き手元リモコン（例えば、ＰＤＡ）が接続されている環境では、アシスタントは小型画面の中で指導をしていく。この際、例えば、スキット等の映像はＴＶ画面に残したまま、学習のポイントとなる練習文や発音を移動可能オブジェクトとして小型画面付き手元リモコンで提示することが考えられる。
【０１５１】
また、アクション番組やアニメーション番組においては、変身（進化）用アイテムがよく登場し、変身（進化）の場面になると、このアイテムが動作する場面が登場する。そして、この変身（進化）シーンでは、ＴＶ画面の中で「ピカピカ」や「チカチカ」といったようにアイテムの動作シーンが展開される。また、人気のアクション番組やアニメ番組の場合、その変身（進化）用アイテムのおもちゃが販売されている。そこで、そのおもちゃをＴＶ受信機の外部機器として動作するように作っておく。そして、このおもちゃがＴＶディスプレイの近く（通信可能な領域）に置かれている場合には、変身（進化）シーンになると、このおもちゃのアイテムそのものが「ピカピカ」や「チカチカ」等と動作することにより、子供たちを喜ばせる。
【０１５２】
また、楽器が飛び出すサービスとして、いわゆるテレミュージックに応用したサービスも考えられるが、ここでは少し変わった新たなサービスの例を示す。その例は、劇場中継やコンサート中継等の生のオーケストラが登場する番組である。この例では、ＴＶディスプレイのみしかない環境においては、従来の中継として視聴することができる。ＴＶディスプレイの外部機器として家庭用の箱庭オーケストラを想定する。この箱庭オーケストラは、一般的なオーケストラの配置に、見た目の効果としての楽器のミニチュアと、各楽器近傍にその音域に適した再生能力を持つスピーカが配置され、各楽器のパートの演奏音を再生する機能を持っている。ＴＶディスプレイの外部機器としてこの箱庭オーケストラが接続されている場合には、オーケストラの音はＴＶディスプレイのスピーカからではなく、この箱庭オーケストラから提示される。そのため、定位のすばらしいステレオ感が得られる。
【０１５３】
また、その他の例として、ドラマ等もある。この例では、ＴＶディスプレイのみしかない環境においては、従来のドラマとして視聴することができる。しかし、ＴＶディスプレイの外部機器として制御機能を有する電話や目覚まし時計等が接続されている環境では、例えば、電話が鳴るシーン、目覚まし時計が鳴るシーン等の特徴的な音を発するシーンになると、映像のオブジェクトを移動させるのは現実的ではないが、音のオブジェクトだけでも、実際に居間にある電話や寝室の目覚まし時計によって提示する。そのため、非常にリアルなドラマの演出効果が期待できる。
【０１５５】
【発明の効果】
本発明の請求項１に係るコンテンツ提供システムは、第２提示装置で提示するために必要なオブジェクトの情報を簡単に取り出すことができるとともに、受信側においてオブジェクトの移動情報に基づいてそのオブジェクトを提示する第２提示装置を決定することができる。
【０１６０】
本発明の請求項２に係るコンテンツ受信装置は、オブジェクトの移動情報により、オブジェクトを提示する第２提示装置を決定することができる。
【０１６１】
本発明の請求項３に係るコンテンツ提供方法は、第２提示装置で提示するために必要なオブジェクトの情報を簡単に取り出すことができるとともに、受信側においてオブジェクトの移動情報に基づいてそのオブジェクトを提示する第２提示装置を決定することができる。
【０１６２】
本発明の請求項４に係るコンテンツ受信方法は、本発明に係るコンテンツ受信方法によって提供されたコンテンツにより、そのコンテンツに含まれるオブジェクトを第２提示装置に提示させることができる。
【０１６３】
本発明の請求項５に係るコンテンツ提供プログラムは、コンピュータで実行させることによって、本発明に係るコンテンツ提供方法を実現できる。
【０１６４】
本発明の請求項６に係るコンテンツ受信プログラムは、コンピュータで実行させることによって、本発明に係るコンテンツ受信方法を実現できる。
【図面の簡単な説明】
【図１】本実施の形態に係るコンテンツ提供システムの構成図の一例であり、オブジェクトが２つ（キャラクタと楽器）の場合である。
【図２】図１に示す場合の移動情報の構成を示す図であり、（ａ）がオブジェクト１（キャラクタ）の移動情報であり、（ｂ）がオブジェクト２（楽器）の移動情報である。
【図３】本実施の形態に係るコンテンツ提供システムの構成図の他の例であり、オブジェクトが２つ（キャラクタと楽器）で代替オブジェクトおよび付随オブジェクトがある場合である。
【図４】図３に示す場合の移動情報の構成を示す図であり、（ａ）がオブジェクト１（キャラクタ）の移動情報であり、（ｂ）がオブジェクト２（楽器）の移動情報である。
【図５】本実施の形態に係るコンテンツ提供システムの構成図の他の例であり、オブジェクトが１つ（キャラクタ）で従来のデジタルＴＶ放送受信機との互換性を考慮した場合である。
【図６】本実施の形態に係る受信機の構成図である。
【図７】図６の符号化情報選択部におけるオブジェクトの提示装置決定処理のフローチャートである。
【図８】図１に示す場合における利用可能な提示装置と提示するオブジェクトとの関係を示す図である。
【図９】図３に示す場合における利用可能な提示装置と提示するオブジェクトとの関係を示す図である。
【符号の説明】
１Ａ，１Ｂ，１Ｃ・・・コンテンツ提供システム
２・・・受信機（コンテンツ受信装置）
１１Ａ，１１Ｂ，１１Ｃ・・・オブジェクト符号化手段
１２Ａ，１２Ｂ，１２Ｃ・・・移動情報符号化手段
１４Ｃ・・・デフォルトコンテンツ符号化手段
２１・・・移動情報デコード部（移動情報復号化手段）
２４・・・符号化情報選択部（第２提示装置決定手段）
Ｄ・・・ＴＶディスプレイ（第１提示装置）
Ｍ・・・自動楽器（第２提示装置）
Ｓ・・・ぬいぐるみ（第２提示装置）
Ｔ・・・端末（第２提示装置）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a content providing system, a content receiving device, a content providing method, a content receiving method, a content providing program, and a content receiving program that provide content with a high level of entertainment.
[0002]
[Prior art]
In recent years, digital broadcasting and content distribution via the Internet have provided video and audio with a high degree of satisfaction for users compared to conventional television (hereinafter referred to as TV) broadcasting. Data broadcasting also enables two-way communication with the user, further enhancing user satisfaction.
[0003]
Data broadcasting is to perform various services by adding additional information based on data to the main service such as video and audio such as TV broadcasting, etc., and presenting the additional information based on the data is a device that presents video and audio of the main service (for example, , TV receiver). Recently, some data broadcasts control various devices other than the device that presents the video and audio of the main service, but the video and audio of the main service can be changed by additional information for controlling the various devices. It doesn't let you.
[0004]
In addition, a technique for extracting an object included in content and encoding video and audio has been developed. This encoding technique is mainly for the purpose of high-efficiency encoding, and is a technique for efficiently encoding object video and audio data. Therefore, this encoding technique is not encoded for the purpose of presenting an object on a presentation device other than a presentation device that outputs video and audio, but is enclosed in a presentation device that outputs video and audio. This is a data encoding technique.
[0005]
[Problems to be solved by the invention]
However, there is no conventional service that provides content by moving an object such as a character included in the content to various devices other than the device that presents video and audio of the main service. When such a service is realized, characters and the like can jump out of the TV screen, and the content is full of realism and rich in entertainment.
[0006]
The conventional technology in data broadcasting is a technology that can control various devices other than the device that presents the video and audio of the main service, and is premised on adding information to the video and audio of the main service. Therefore, it is not possible to take out an object from the video and audio of the main service and present the object to various devices other than the device that presents the video and audio of the main service. In addition, the conventional object encoding technology and the alternative technology for video and audio scene objects in server-type broadcasting can encode objects contained in content, but target data handled in one presentation device. Technology. Therefore, it is not possible to perform such encoding that the object is moved to a presentation device other than the main presentation device.
[0007]
Accordingly, an object of the present invention is to provide a content providing system, a content receiving device, a content providing method, a content receiving method, a content providing program, and a content receiving program capable of moving and presenting an object included in content between presentation devices. There is.
[0008]
[Means for Solving the Problems]
 The content providing system according to claim 1 of the present invention that solves the above-described problem isA second presentation device that is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio. A content providing system for providing the content to a connected content receiving device, wherein each object included in the content is set for each of the first presentation device and the second presentation device capable of presenting the object, The first presentation device and the second presentation device are means for presenting the object, a presentation medium showing video, audio, action, and performance information, and the one presentation object and the plurality of the second presentation objects. A priority indicating a priority order of presenting the objects when the presentation device can present them, and Movement information at least including the mobile information encoding means for encoding comprises, and providing a multiplexed signal including the mobile information encoded in the content receiving apparatus.
[0009]
 Claims of the invention2Pertaining toThe content receiving device is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio A content receiving device connected to a second presentation device and receiving the content from a content providing system, the first presentation device and the second presentation device capable of presenting the object for each object included in the content A presentation medium that is set for each of the images and is a means for presenting the object by the first presentation device and the second presentation device, and presents one object as the first presentation device, When the object can be presented by a plurality of the second presentation devices, the object is presented. A movement information decoding means for decoding movement information including at least a priority indicating a prior order; and a second presentation device for presenting the object based on the decoded movement information. Presentation device determining means, wherein the object is presented to the second presentation device determined by the second presentation device determination means.
[0010]
 Claims of the invention3Pertaining toThe content providing method is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio A content providing method for providing the content to a content receiving device connected to a second presentation device, wherein the first presentation device and the second presentation device are capable of presenting the object for each object included in the content. A presentation medium that is set for each of the images and is a means for presenting the object by the first presentation device and the second presentation device, and presents one object as the first presentation device, Priority order in which the objects are presented when the plurality of second presentation devices can present them Including at least movement information, a priority that indicates the the mobile information encoding step of encoding includes, and providing a multiplexed signal including the mobile information encoded in the content receiving apparatus.
[0011]
 Claims of the invention4Pertaining toThe content receiving method is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio A content receiving method for receiving the content from a content providing system to a content receiving device connected to a second presentation device, wherein the first presentation device is capable of presenting the object for each object included in the content, and A presentation medium which is set for each of the second presentation devices and is a means for presenting the object by the first presentation device and the second presentation device, and a presentation medium indicating video, audio, action and performance information, and one object In the case where presentation is possible with the first presentation device and the plurality of second presentation devices, A movement information decoding step for decoding movement information including at least a priority indicating a priority order for presenting objects; and a second presentation device for presenting the object based on the decoded movement information. A second presentation device determination step for determining, wherein the object is presented to the second presentation device determined in the second presentation device determination step.
[0012]
 Claims of the invention5Pertaining toThe content providing program is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio A content providing program for providing the content to a content receiving device to which the second presentation device is connected, wherein the computer provides the content providing method according to claim 3.
[0013]
 A content receiving program according to claim 6 of the present invention is a content receiving program for receiving content provided by the content providing method according to claim 3, wherein the content receiving program according to claim 4 is received by a computer. It is characterized by realizing the method.
[0014]
 The content providing system according to claim 7 of the present invention is the content providing system according to claim 1, wherein the first presentation device is a TV display including an audio output device, and the second presentation device is a limb. It is a stuffed toy capable of movement and voice output.
[0015]
 The content receiving device according to claim 8 of the present invention is the content receiving device according to claim 2, wherein the first presentation device is a TV display including an audio output device, and the second presentation device is a limb. It is a stuffed toy capable of movement and voice output.
[0016]
 The content providing method according to claim 9 of the present invention is the content providing method according to claim 3, wherein the first presentation device is a TV display including an audio output device, and the second presentation device is a limb. It is a stuffed toy capable of movement and voice output.
[0017]
 The content reception method according to claim 10 of the present invention is the content reception method according to claim 4, wherein the first presentation device is a TV display including an audio output device, and the second presentation device is a limb. It is a stuffed toy capable of movement and voice output.
[0019]
The first presentation device is a device that outputs content in video and / or audio, and includes, for example, a TV display (including an audio output device), a computer display and audio output device, a radio, and the like. The second presentation device is a device that can present video and / or audio of an object included in content by an alternative means and can be controlled from the outside. For example, a terminal such as a PDA [personal digital assistant] There are stuffed toys, operable stuffed animals, robots, automatic musical instruments that perform automatically, telephones, alarm clocks, and so on. In addition, the object can present the video and / or audio by an alternative means in the content presented by video and / or audio, for example, various characters such as humans, animals, animals and animation, dolls, There are musical instruments, telephones, alarm clocks, etc. Further, the substitute object is another object that is presented instead of the object that has been removed when the object is moved from the content presented by the first presentation device to the second presentation device. There are other objects hidden behind the object. The accompanying object is an object that is presented along with the object when the object is moved to the second presentation device and is not presented only with the accompanying object. For example, the background of the moved object is moved. There are sound effects for objects.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of a content providing system, a content receiving apparatus, a content providing method, a content receiving method, a content providing program, and a content receiving program according to the present invention will be described with reference to the drawings.
[0021]
According to the present invention, in order to further improve the satisfaction level of a user who enjoys video and audio of content, the object included in the content is moved from the presentation device presenting the content to another presentation device and presented. Therefore, in the present invention, the video and / or audio information obtained by separating the object from the content presented by the first presentation device is encoded, and the information for presenting the object by the second presentation device is the first destination. 2 Separately encode for each presentation device and for each object. Furthermore, in the present invention, in order to determine the second presentation device that presents the object on the receiving side, information that the object is a movement target, information on the second presentation device that can be moved and the second that can be moved and presented. When there are a plurality of presentation devices, movement information including movement priority information is encoded.
[0022]
In the present embodiment, the present invention is applied to a content providing system that distributes content (TV program) by digital TV broadcast and a receiver that receives content by the broadcast. In the present embodiment, in order to simplify the explanation, the object is a character such as an animal and a musical instrument such as a piano, the first presentation device is a TV display (including an audio output device), and the second presentation device is Is a terminal such as a PDA, a stuffed toy corresponding to a character (object), and an automatic musical instrument corresponding to an instrument (object). The character is presented on the TV display when the second presentation device is not connected, is presented on the terminal when the terminal is connected, or is stuffed when the stuffed character is connected Presented. The musical instrument is presented on the TV display when the second presentation device is not connected, is presented on the terminal when the terminal is connected, or is an automatic musical instrument when an automatic musical instrument is connected. Presented. The terminal is, for example, a remote controller with a small screen that a viewer has at hand, and can output video and audio. The stuffed toy is equipped with a control function, and can operate limbs and output voice. The automatic musical instrument has a control function and can automatically play the musical instrument.
[0023]
The content providing system according to the present embodiment is configured in a TV broadcasting station, and is a system that distributes content by terrestrial broadcasting or satellite broadcasting. A TV broadcast station is assigned with one channel of a transmission band of several MHz, and is a broadcast station that provides various TV program contents such as drama, sports, variety, news, and the like. In order to provide the content, the content providing system encodes data obtained by separating the object from the content, data of the object, and the like, and further generates a multiplexed signal (digital broadcast signal).
[0024]
In addition, the content providing system according to the present embodiment performs main processing for generating multiple signals by a computer. This computer has a content providing program installed therein, and constitutes means (units) described later by executing the content providing program.
[0025]
The configuration of the content providing system according to this embodiment will be described. In this embodiment, when there are two objects, when there are two objects and there are alternative objects and accompanying objects, there is one object and the conventional digital Three examples in consideration of compatibility with a TV broadcast receiver will be described. Note that the configuration of the content providing system appropriately changes depending on the number and type of objects, the number and type of presentation devices capable of moving and presenting objects, alternative objects, associated objects, and the like.
[0026]
With reference to FIG. 1, the structure of the content providing system 1A in the case where there are two objects (characters and musical instruments) will be described. FIG. 1 is a configuration diagram of the content providing system 1A, in which there are two objects.
[0027]
In the content providing system 1A, content objects (characters, musical instruments) to be presented on a TV display, background video and audio information, presentation devices capable of presenting objects (TV displays, terminals, stuffed animals, automatic musical instruments) and individual objects The information for making each presentation device present and the information on which presentation device the object is moved to are encoded respectively. Furthermore, in the content providing system 1A, all the encoded information is multiplexed to generate a multiplexed signal. Then, the content providing system 1A distributes this multiplexed signal. The objects include background objects in addition to characters and musical instruments. At this time, in encoding of each object including the background, it is necessary to encode as complete information including a portion which is behind other objects.
[0028]
In order to generate a multiplexed signal, the content providing system 1A includes an object encoding unit 11A, a movement information encoding unit 12A, and a multiplexing unit 13A.
[0029]
The object encoding unit 11A will be described.
The object encoding unit 11A is a unit that separates and encodes information on objects (background, character, musical instrument) that can be presented by each device for each TV display, terminal, stuffed animal, and automatic musical instrument presentation medium. For this purpose, the object encoding means 11A includes a background / main video encoding unit 11a, a background / main audio encoding unit 11b, an object 1 / main video encoding unit 11c, an object 1 / main audio encoding unit 11d, and an object. 2. Main video encoding unit 11e, Object 2 / main audio encoding unit 11f, main video / arrangement information encoding unit 11g, object 1 / different video encoding unit 11h, object 1 / different audio encoding unit 11i, object 2. Separate video encoding unit 11j, Object 2, separate audio encoding unit 11k, separate video / arrangement information encoding unit 11l, object 1 / stuffed motion encoding unit 11m, object 1 / plush audio encoding unit 11n, and object 2. A performance information encoding unit 11o is configured.
In the present embodiment, the background / main video encoding unit 11a and the background / main audio encoding unit 11b correspond to the object separation content encoding unit described in the claims.
[0030]
The background / main video encoding unit 11a encodes the background video data including the portion after the character and the musical instrument are missing. By the way, as for the background video data, only the static part was extracted by removing the moving part from the video data taken without the character and the musical instrument and the picture taken with the TV camera when shooting with the TV camera (not shown). Data, virtual studios, etc. use the background part data.
[0031]
The background / main audio encoding unit 11b encodes audio data that can be heard when there is no audio produced by the character and the musical instrument. Incidentally, audio data recorded in the absence of a character and a musical instrument when using a TV camera (not shown) is used as background audio data.
[0032]
The object 1 / main video encoding unit 11c, for example, separately captures each content object with a TV camera (not shown), and encodes the video data of the character.
[0033]
The object 1 / main audio encoding unit 11d separately collects sound for each content object using, for example, a microphone (not shown), and encodes the audio data of the character.
[0034]
The object 2 / main video encoding unit 11e shoots separately for each content object with a TV camera (not shown), for example, and encodes the video data of the instrument.
[0035]
For example, the object 2 / main audio encoding unit 11f separately collects sound for each content object using a microphone (not shown), and encodes audio data of the instrument.
[0036]
The main video / arrangement information encoding unit 11g encodes main video object arrangement information related to the arrangement of the object such as which object is in front of the object when the object is arranged in the background video. The arrangement information is the simplest information indicating in what order the objects overlap.
[0037]
The object 1 / separate video encoding unit 11h, for example, separately captures each content object with a TV camera (not shown), and encodes the video data of the character using an encoding method suitable for the terminal. . The encoded data may be shared with the data encoded by the object 1 / main video encoding unit 11c. In this case, the processing by the object 1 / separate video encoding unit 11h is not performed.
[0038]
For example, the object 1 / separate speech encoding unit 11i separately collects sound for each content object using a microphone (not shown), and encodes the speech data of the character using an encoding method suitable for the terminal. . The encoded data may be shared with the data encoded by the object 1 / main audio encoding unit 11d. In this case, the processing by the object 1 / separate audio encoding unit 11i is not performed.
[0039]
The object 2 / separate video encoding unit 11j, for example, separately captures each content object with a TV camera (not shown), and encodes the video data of the musical instrument using an encoding method suitable for the terminal. . The encoded data may be shared with the data encoded by the object 2 / main video encoding unit 11e. In this case, the processing by the object 2 / separate video encoding unit 11i is not performed.
[0040]
The object 2 / separate audio encoding unit 11k separately collects sound for each content object using, for example, a microphone (not shown), and encodes the audio data of the instrument using an encoding method suitable for the terminal. . The encoded data may be shared with the data encoded by the object 2 / main audio encoding unit 11f, and in this case, the processing by the object 2 / separate audio encoding unit 11k is not performed.
[0041]
The separate video / placement information encoding unit 11l separates the separate video object placement information related to the placement of the object, such as which object is in front of the object when placing the object on the terminal, according to the coding method suitable for the terminal. The video object arrangement information is encoded. However, when a dedicated terminal is provided for each object, the separate video object arrangement information is not necessary, so the processing in the separate video / arrangement information encoding unit 11l is not performed.
[0042]
The object 1 / stuffed motion encoding unit 11m generates information necessary for the motion possible with the stuffed toy corresponding to the motion of the character, and converts the motion information into information for controlling the stuffed toy. Further, the object 1 / stuffed motion encoding unit 11m encodes the control information of the motion by an encoding method suitable for the stuffed toy.
[0043]
The object 1 / stuffed voice encoding unit 11n separately collects sound for each object of the content using, for example, a microphone (not shown). Then, the object 1 / stuffed speech encoding unit 11n generates information necessary for speech that can be output by the stuffed toy corresponding to the speech of the character, and converts the speech information into information for controlling the stuffed toy. Furthermore, the object 1 / stuffed voice encoding unit 11n encodes the control information of the voice by an encoding method suitable for the stuffed toy. In some cases, the encoded data can be shared with the data encoded by the object 1 / main audio encoding unit 11d. In this case, the processing by the object 1 / stuffed audio encoding unit 11n is not performed.
[0044]
The object 2 / performance encoding unit 11o generates information necessary for a performance that can be output by an automatic musical instrument corresponding to the sound of the musical instrument, and converts the performance information into information for controlling the automatic musical instrument. Further, the object 2 / performance information encoding unit 11o encodes the performance control information by an encoding method suitable for the automatic musical instrument.
[0045]
In the above, the description has been made on the basis of shooting or sound collection separately for each object. However, the object is separated from the video shot using the object extraction technique and encoded, for example, in CG or virtual studio, the object portion. A method such as encoding may be used.
[0046]
The movement information encoding unit 12A will be described with reference to FIG. FIG. 2 is a diagram showing the structure of the movement information in the case shown in FIG. 1, where (a) is the movement information of the object 1 (character), and (b) is the movement information of the object 2 (instrument).
[0047]
The movement information encoding unit 12A is a unit that encodes movement information necessary for determining on which receiving device the object is presented on the receiving side. For this purpose, the movement information encoding means 12A includes an object 1 / movement information encoding unit 12a and an object 2 / movement information encoding unit 12b.
[0048]
The movement information will be described with reference to FIG.
The movement information is set for each object to be moved in order to indicate which object is the movement target. Furthermore, the movement information for each object is set for each presentation device that can be moved and presented to indicate which presentation device the object can be moved and presented. For each presentation device, priority, presentation media, logic It has information on presentation signals and physical presentation signals.
[0049]
The priority indicates a priority order to present when one object can be presented by a plurality of presentation devices (including a TV display). In the example of FIG. Is high.
[0050]
In the present embodiment, the presentation device includes a TV display, a terminal, a stuffed animal, an automatic musical instrument, and the like, and the information may be encoded and expressed.
[0051]
The presentation media represents a means (and thus a type of data necessary for presentation by the means) presented in each presentation device, and is an MPEG-2 multiplexing (ISO / IEC13818-1) or ARIB (Radio Industry Association) program. It may have functions equivalent to “stream format identification”, “data encoding system identification”, etc. in the array information system (ARIB STD-B10), and the information may be encoded and expressed. Incidentally, the presentation media of the TV display and the terminal are video and audio. The presentation medium of the stuffed animal is movement and sound. The automatic media presentation media is performance information.
[0052]
The logical presentation signal indicates a logical configuration of each piece of data separated and encoded by the object encoding unit 11A, and is a signal that is not particularly necessary when a physical presentation signal is set. Incidentally, the logical presentation signals of the TV display are object 1 main video and object 1 main audio for the character, and object 2 main video and object 2 main audio for the musical instrument. The logical presentation signals of the terminal are the video by object 1 and the audio by object 1 for the character, and the video by object 2 and the audio by object 2 for the musical instrument. The stuffed toy logic presentation signals are object 1 stuffed movement and object 1 stuffed voice for the character. The automatic musical instrument logical presentation signal is object 2 performance information for the musical instrument.
[0053]
The physical presentation signal indicates the substance of each data separated and encoded by the object encoding means 11A, and is substantially “ES_pid [Elementary Stream Packet Identifier] in the MPEG-2 multiplexing system or the ARIB program sequence information system. "Or" component tag "is information on pointers to encoded data. By the way, the physical presentation signal of the TV display is a pointer to each encoded data of the object 1 main video and the object 1 main audio for the character, and each code of the object 2 main video and the object 2 main audio for the musical instrument. Is a pointer to data. The terminal physical presentation signal is the same physical presentation signal as the TV display because the terminal shares the encoded data with the TV display. The physical presentation signal of the stuffed animal is a pointer to the encoded data of the object 1 plush movement and the object 1 main audio for the character because the stuffed animal shares the encoded data only with the TV display. The physical presentation signal of the automatic musical instrument is a pointer to the encoded data of the object 2 performance information for the musical instrument.
[0054]
Returning to the description of the movement information encoding means 12A, the object 1 / movement information encoding unit 12a generates the movement information of the character shown in FIG. Then, the object 1 / movement information encoding unit 12a encodes the movement information of the character.
[0055]
The object 2 / movement information encoding unit 12b generates movement information of the musical instrument shown in FIG. Then, the object 2 / movement information encoding unit 12b encodes the movement information of the musical instrument.
[0056]
The multiplexing means 13A will be described.
The multiplexing unit 13A multiplexes all the data encoded by the encoding units 11A and 12A by an optimum transmission method according to the encoded data, and converts it into a multiplexed signal. At this time, the multiplexing means 13A also multiplexes control information storing each data, information on the encoding method for each information, and the like. Further, in a modulator (not shown), the multiplexed signal is digitally modulated by an OFDM (Orthogonal Frequency Division Multiplexing) modulation method or the like. The digitally modulated multiplexed signal is distributed from an antenna (not shown).
[0057]
Here, the encoding method and the transmission method will be described in a little more detail. As an encoding method, an optimum method is adopted in accordance with each presentation medium, arrangement information, and movement information of each object in consideration of each presentation device and the type of data (information). In this way, by using an optimal encoding method, it is possible to perform encoding excellent in real-time performance and encoding efficiency. Also, as the transmission method, a method that is excellent in real-time property is adopted according to the encoding method.
[0058]
An object encoding transmission system will be described.
The encoding method of the object is not particularly limited, but an encoding method suitable for each video, audio, motion information, performance information and for each presentation device is adopted. For example, an MPEG-2 encoding method or an MPEG-4 code is used. System. In addition, the transmission method of the object adopts a transmission method according to the encoding method, and for example, a method that can synchronize between objects by PES format or the like is appropriate. Incidentally, when MPEG-4 is employed as the video encoding method, it is possible to encode a plurality of objects for one presentation medium without encoding each object separately. In addition, since it is finally necessary to present the objects in an overlapping manner at the receiver, in particular, in video coding, in addition to coding for the usual three information (in the case of color) of RGB and YPbPr Thus, it is also necessary to encode another piece of information for representing the shape of the object.
[0059]
A description will now be given of an encoded transmission method for object arrangement information.
The encoding method of the arrangement information is not particularly limited, but an encoding method suitable for the arrangement information and the presentation device is adopted. Further, the transmission method of the arrangement information adopts a transmission method according to the encoding method, for example, a method of encoding and transmitting to PSI / SI in the MPEG-2 multiplexing method or the ARIB program sequence information method, binary or XML [ There is a method of encoding by Extensible Markup Language] and transmitting by PES, a dedicated table, a DSM-CC (Digital Storage Media Command and Control) (data carousel, object carousel) method, or the like. At this time, although strictness is not required as much as synchronization between objects, in order to cope with a dynamic change in the arrangement of objects, a PSI / SI method or a PES method, which is a transmission method with some real-time property, is used. desirable. Incidentally, the PSI / SI system is a system up to the near real-time property on the order of seconds, and the PES method is suitable when real-time property with higher time accuracy is required. Note that, as one piece of information for video coding, it is also an option to handle this as arrangement information by coding the depth of the object. If the arrangement information is encoded by this method, not only real-time arrangement information but also complicated overlap of objects can be expressed.
[0060]
A coded transmission scheme for mobile information will be described.
The encoding method of the movement information is not particularly limited, but an encoding method suitable for the movement information is adopted. Further, the mobile information transmission method adopts a transmission method according to the encoding method, for example, a method for encoding and transmitting to PSI / SI in the MPEG-2 multiplexing method or the ARIB program sequence information method, binary or XML. There is a method of encoding and transmitting by PES, dedicated table, DSM-CC method and the like. At this time, although the strictness is not required as much as the synchronization between objects, the PSI / SI method or the PES method, which is a transmission method having some real-time property, is desirable in order to cope with the dynamic change of the object configuration. .
[0061]
Further, sharing of encoded data of the object will be described in a little more detail. For example, another video or another audio when presented using a terminal has the same TV display and presentation media, so the main video and main audio data presented on the TV display can be used as they are. Further, since the sound of the stuffed animal only needs to be output as if the stuffed animal is speaking, the same data as the main sound of the TV display may be used even if it is not a special audio signal. In such a case, it is not necessary to encode and transmit the same data as data for another presentation device, and the entity of the same encoded data may be used. For this purpose, the physical presentation signal is set with the same signal. For example, in the example of the character movement information shown in FIG. 2 (a), the physical presentation signal of the separate video and the separate voice of the terminal is set as the main video and the physical presentation signal of the main voice of the TV display, and the physical nature of the stuffed voice The presentation signal is set by the physical presentation signal of the main voice of the TV display. Further, in the example of the movement information of the musical instrument shown in FIG. 2B, the physical presentation signals for the separate video and separate audio of the terminal are set by the main video and main physical presentation signal of the TV display.
[0062]
The content providing system 1A having the above configuration operates as follows when distributing a certain content including a character and a musical instrument. In the content providing system 1A, the object encoding means 11A encodes the background, character, main video and main audio of the musical instrument and main video arrangement information to be presented on the TV display (however, this encoding is performed on the terminal). It also serves to encode different video and audio of the character and instrument for presentation and encoding of stuffed voice for presentation to the stuffed animal.), Encoding arrangement information of another video for presentation to the terminal, A stuffed animal operation to be presented to the stuffed animal is encoded, and performance information to be presented to the automatic musical instrument is encoded. Further, in the content providing system 1A, the movement information encoding means 12A generates movement information for the character and movement information for the musical instrument, and encodes each movement information. In the content providing system 1A, all the encoded data is multiplexed by the multiplexing unit 13A.
[0063]
According to the content providing system 1A, a character and a musical instrument, which are objects included in a certain content, are multiplexed including information necessary for moving and presenting them to a terminal, which is a presentation device other than a TV display, or a stuffed animal or an automatic musical instrument. A signal can be generated. Furthermore, according to the content providing system 1A, since movement information is set for the character and the musical instrument, it is possible to determine which object should be presented to which presentation device on the receiving side. Further, according to the content providing system 1A, since the arrangement information of the objects in the video is set, when the plurality of objects are displayed in an overlapping manner on the receiving side, the order of the overlapping can be determined.
[0064]
With reference to FIG. 3, the configuration of the content providing system 1 B when there are two objects (characters and musical instruments) and there are alternative objects and accompanying objects will be described. FIG. 3 is a configuration diagram of the content providing system 1B, in which there are two objects and there are alternative objects and accompanying objects. Note that, in the configuration of the content providing system 1B, the same components as those of the content providing system 1A shown in FIG.
[0065]
In the content providing system 1B, content objects (characters, musical instruments) to be presented on a TV display, background video and audio information, presentation devices capable of presenting objects (TV displays, terminals, stuffed animals, automatic musical instruments) and each object The information for making each presentation device present and the information on which presentation device the object is moved to are encoded respectively. Furthermore, in the content providing system 1B, all the encoded information is multiplexed to generate a multiplexed signal. Then, the content providing system 1B distributes this multiplexed signal. The object includes the background in addition to the character and the musical instrument. In addition, the objects to be presented on the TV display are provided with alternative objects that replace these objects after characters and musical instruments are removed from the content. Further, the object presented on the terminal is provided with an accompanying background as the background of the object.
[0066]
In order to generate a multiplexed signal, the content providing system 1B includes an object encoding unit 11B, a movement information encoding unit 12B, and a multiplexing unit 13B.
[0067]
The object encoding unit 11B will be described.
The object encoding unit 11B is a unit that separates and encodes information of objects (background, character, instrument) that can be presented by each device for each TV display, terminal, stuffed animal, and automatic musical instrument presentation medium. Therefore, the object encoding means 11B includes a background / main video encoding unit 11a, a background / main audio encoding unit 11b, an object 1 / main video encoding unit 11c, an object 1 / main audio encoding unit 11d, an object 2. Main video encoding unit 11e, Object 2 / main audio encoding unit 11f, main video / arrangement information encoding unit 11g, object 1 / different video encoding unit 11h, object 1 / different audio encoding unit 11i, object 2, separate video encoding unit 11j, object 2 / separate audio encoding unit 11k, separate video / arrangement information encoding unit 11l, object 1 / stuffed motion encoding unit 11m, object 1 / stuffed speech encoding unit 11n, object 2. Performance information encoding unit 11o, alternative object / alternative video encoding unit 11p and accompanying background / different video code Section 11q is configured.
[0068]
The substitute object / substitute video encoding unit 11p, for example, captures a character substitute object to be placed after a character is dropped with a TV camera (not shown), and is placed after a musical instrument is dropped with a TV camera (not shown). The video data of the musical instrument alternative object is captured. Then, the substitute object / substitute video encoding unit 11p encodes the video data of the character substitute object and the video data of the musical instrument substitute object. Examples of the character substitute object include an object in which the outline of the character is painted to express that the character has been lost, another character, and the like. Examples of the musical instrument alternative object include an object in which the outline of the musical instrument is painted in order to express that the musical instrument has been removed, another musical instrument, and the like. By the way, when objects are moved and presented, after these objects are omitted from the main video on the TV display, the space is basically only the background. However, for the convenience of the screen balance, it is necessary to change the angle of view, fill the space with another object, or create a video that expresses that the object has moved to the terminal, stuffed animal or automatic instrument. Since it is effective as a video if the object is arranged, an alternative object is provided.
[0069]
The accompanying background / separate video encoding unit 11q, for example, captures the accompanying background of the character to be presented to the terminal with a TV camera (not shown) and the accompanying background of the instrument to be presented to the terminal with the TV camera (not shown). Shoot. Then, the accompanying background / separate video encoding unit 11q encodes the video data of the accompanying background of the character and the video data of the accompanying background of the musical instrument by an encoding method suitable for the terminal. Incidentally, when moving and presenting an object to the terminal, an accompanying background is provided because there is a case where the terminal image also has a background in some cases.
[0070]
The movement information encoding unit 12B will be described with reference to FIG. FIG. 4 is a diagram showing the structure of the movement information in the case shown in FIG. 3, where (a) is the movement information of the object 1 (character), and (b) is the movement information of the object 2 (instrument).
[0071]
The movement information encoding unit 12B is a unit that encodes movement information necessary for determining on which receiving device the object is presented on the receiving side. For this purpose, the movement information encoding means 12B includes an object 1 / movement information encoding unit 12c and an object 2 / movement information encoding unit 12d.
[0072]
The movement information will be described with reference to FIG.
As described above, the movement information is set for each object to be moved in order to indicate which object is the movement target. Further, the movement information of an object is set for each presentation device that can be moved and presented in order to indicate which presentation device the object can be moved and presented. For each presentation device, priority, presentation media, logic It has information on a presentation signal, a physical presentation signal, a substitute signal and an accompanying signal. Here, only the priority, the presentation medium, the logical presentation signal, the alternative signal other than the physical presentation signal, and the accompanying signal described in the movement information illustrated in FIG. 2 will be described.
[0073]
The substitute signal indicates the substance of the video data of the character substitute object and the video data of the musical instrument substitute object separately encoded by the object encoding unit 11B, and is information of a pointer to each encoded data. Incidentally, the substitute signal is set only for the TV display, and is a pointer to the encoded data of the object 1 substitute video for the character and the pointer to the encoded data of the object 2 substitute video for the musical instrument. .
[0074]
The accompanying signal indicates the substance of the accompanying background video data of the character and the musical instrument accompanying background video data separated and encoded by the object encoding means 11B, and is information of a pointer to each encoded data. Incidentally, the accompanying signal is set only for the terminal, is a pointer to the encoded data of the object 1 accompanying background video for the character, and is a pointer to the encoded data of the object 2 accompanying background video for the musical instrument. is there.
[0075]
Returning to the description of the movement information encoding means 12B, the object 1 / movement information encoding unit 12c generates movement information of the character shown in FIG. Then, the object 1 / movement information encoding unit 12c encodes the movement information of the character.
[0076]
The object 2 / movement information encoding unit 12d generates movement information of the musical instrument shown in FIG. Then, the object 2 / movement information encoding unit 12d encodes the movement information of the musical instrument.
[0077]
The multiplexing means 13B will be described.
The multiplexing unit 13B multiplexes all the data encoded by the encoding units 11B and 12B by an optimal transmission method according to the encoded data and converts the data into a multiplexed signal. At this time, the multiplexing means 13B also multiplexes the control information that stores the data, the information of the encoding method for each information, and the like. Further, a modulator (not shown) digitally modulates the multiplexed signal by an OFDM modulation method or the like. The digitally modulated multiplexed signal is distributed from an antenna (not shown).
[0078]
In the content providing system 1B having the above-described configuration, when a certain content including a character, a musical instrument, an alternative object, and an accompanying background is distributed, the following operation is performed. In the content providing system 1B, the object encoding unit 11B encodes the background to be displayed on the TV display, the character, the main video and main voice of the instrument, the character alternative object, the alternative video of the instrument alternative character, and the arrangement information of the main video. (However, this encoding also serves as encoding of another video and audio of a character and a musical instrument to be presented to the terminal and encoding of stuffed voice to be presented to the stuffed animal) and presents it to the terminal. For this purpose, the background image of the character, the separate image of the background background of the musical instrument, and the arrangement information of the separate video are encoded, the stuffed movement for presentation to the stuffed animal is encoded, and the performance information for presentation to the automatic musical instrument is encoded. Further, in the content providing system 1B, the movement information encoding means 12B generates movement information for the character and movement information for the musical instrument, and encodes each movement information. In the content providing system 1B, all the encoded data is multiplexed by the multiplexing unit 13B.
[0079]
According to the content providing system 1B, in addition to the effects of the content providing system 1A, by providing an alternative object, it is possible to provide an effective video after the object is lost on the TV display and to provide an accompanying background. Thus, the object moved on the terminal can be provided as a more effective video.
[0080]
With reference to FIG. 5, the structure of the content providing system 1C when one object is considered and compatibility with a conventional digital TV broadcast receiver is considered will be described. FIG. 5 shows another example of the content providing system 1C, in which a single object is considered and compatibility with a conventional digital TV broadcast receiver is taken into consideration. In the configuration of the content providing system 1C, the same components as those in the content providing system 1A shown in FIG.
[0081]
Incidentally, a conventional digital TV broadcast receiver does not have a function of synthesizing an object with a background from which the object is separated as a video and audio presentation function. Therefore, in the conventional digital TV broadcast receiver, the video and audio of the default content is presented only by information obtained by separating and encoding the movable object as in the content providing systems 1A and 1B. I can't. Therefore, in the content providing system 1C, the default service that does not separate the objects is transmitted separately from the encoded information of the video and audio of the default content so that the default service can be provided to the conventional digital broadcast receiver. ing.
[0082]
At this time, the background video and audio, the video and audio obtained by separating and encoding the object, and the video and audio of the default content (that is, the content in which the object is synthesized) are transmitted, and the transmission efficiency decreases. It will be. However, when there is only one movable object or the like, the main video and main audio of the object to be moved are not presented on the TV display (main video and main audio). As the default content video and audio, or background video and audio after the movable object has moved), so there is no need to transmit and realistic transmission Service is possible in a range of quantities.
[0083]
In the content providing system 1C, the content object (character) to be presented on the TV display, the background video and audio information, and the presentation device (TV display, terminal, stuffed animal) that can present the object are presented on each presentation device. Information and information indicating which object the object is moved to, and video and audio of default content presented by a conventional digital TV broadcast receiver are encoded. Furthermore, in the content providing system 1C, all the encoded information is multiplexed to generate a multiplexed signal. Then, the content providing system 1C distributes this multiplexed signal. The object includes the background in addition to the character.
[0084]
In order to generate a multiplexed signal, the content providing system 1C includes an object encoding unit 11C, a movement information encoding unit 12C, a multiplexing unit 13C, and a default content encoding unit 14C.
[0085]
The default content encoding unit 14C will be described.
The default content encoding unit 14C is a unit that encodes video and audio of default content to be presented on the TV display. Therefore, the default content encoding unit 14C includes a default / main video encoding unit 14a and a default / main audio encoding unit 14b.
[0086]
For example, the default / main video encoding unit 14a takes in video data of content captured by a TV camera (not shown). Then, the default / main video encoding unit 14a encodes the video data of the default content.
[0087]
The default / main audio encoding unit 14b takes in audio data of content collected by a microphone (not shown), for example. The default / main audio encoding unit 14b encodes the audio data of the default content.
[0088]
The object encoding unit 11C will be described.
The object encoding unit 11C is a unit that encodes information of an object (background, character) that can be presented by each device for each TV display, terminal, and stuffed animal presentation medium. For this purpose, the object encoding means 11C includes a background / main video encoding unit 11a, a background / main audio encoding unit 11b, an object 1 / another video encoding unit 11h, an object 1 / another audio encoding unit 11i, an object 1. The stuffed animal motion encoding unit 11m and the object 1 / stuffed voice encoding unit 11n are configured. In the content providing system 1C of this example, there is one movable object, and the default content including the character is encoded and distributed in multiple signals. Therefore, the main video of the character to be presented on the TV display and There is no need to distribute main audio data. Also, there is no need for arrangement information. Therefore, the object encoding unit 11C of the content providing system 1C includes the object 1 / main video encoding unit 11c, the object 1 / main audio encoding unit 11d, and the main video / arrangement information encoding shown by the broken lines in FIG. The part 11g is not configured.
[0089]
The movement information encoding unit 12 C is a unit that encodes movement information necessary for determining on which receiving device the object is presented on the receiving side. For this purpose, the movement information encoding unit 12C includes an object 1 / movement information encoding unit 12a.
[0090]
The multiplexing means 13C will be described.
The multiplexing unit 13C multiplexes all the data encoded by the encoding units 11C, 12C, and 14C by an optimum transmission method according to the encoded data and converts the data into a multiplexed signal. At this time, the multiplexing means 13C also multiplexes control information that stores information of each data and encoding method for each information. Further, a modulator (not shown) digitally modulates the multiplexed signal by an OFDM modulation method or the like. The digitally modulated multiplexed signal is distributed from an antenna (not shown).
[0091]
In the content providing system 1 C having the above configuration, when delivering a certain content including a character, the following operation is performed. In the content providing system 1C, the object encoding means 11C encodes the main video and main audio of the background to be presented on the TV display, encodes the video and audio of the character to be presented to the terminal, and is stuffed Encode a stuffed animal operation to present. Further, in the content providing system 1C, movement information for the character is generated by the movement information encoding means 12C, and the movement information is encoded. In the content providing system 1C, the default content encoding means 14C encodes video and audio of default content that can be presented by a conventional digital TV broadcast receiver. In the content providing system 1C, all the data encoded by the multiplexing unit 13C is multiplexed.
[0092]
According to the content providing system 1C, by providing default content as well, content can be presented even by a conventional digital TV broadcast receiver.
[0093]
The configuration of the receiver 2 will be described with reference to FIG. FIG. 6 is a configuration diagram of the receiver 2. A TV display D, a terminal T, a stuffed toy S, an automatic musical instrument M, and the like are connected to the receiver 2 by wirelessly transmitting and receiving signals as presentation devices. Note that the presentation device connected to the receiver 2 is appropriately changed depending on the situation where the receiver 2 is installed.
In the present embodiment, the receiver 2 corresponds to the content receiving device described in the claims.
[0094]
The receiver 2 receives the modulated multiplexed signal with an antenna (not shown), and demodulates the modulated multiplexed signal with a demodulator (not shown). Multiplex signals generated by 1B, 1C, etc. are input. Then, the receiver 2 determines which object (character, musical instrument) to be presented to which presentation device (TV display D, terminal T, stuffed animal S, automatic musical instrument M) based on the movement information. Further, the receiver 2 synthesizes and outputs the video data and audio data of the contents on the TV display D, and moves them to other presentation devices (terminal T, stuffed toy S, automatic musical instrument M) that move and present the objects. Each encoded data of the object is output.
[0095]
The receiver 2 performs main processing for causing the other display devices T, S, and M to present the object while causing the microcomputer to present the content on the TV display D. This microcomputer is installed with a content receiving program, and constitutes each part described later by executing this content receiving program.
[0096]
The receiver 2 includes a movement information demultiplexing unit 20, a movement information decoding unit 21, a presentation device interface unit 22, a presentation device connection determination unit 23, an encoded information selection unit 24, an encoded information demultiplexing unit 25, and a video decoding unit 26. , An arrangement information decoding unit 27, a video synthesizing unit 28, an audio decoding unit 29, and an audio synthesizing unit 30.
In the present embodiment, the movement information decoding unit 21 corresponds to the movement information decoding unit described in the claims, and the encoded information selection unit 24 is the second presentation device determination unit described in the claims. It corresponds to.
[0097]
The movement information demultiplexing unit 20 will be described.
The movement information demultiplexing unit 20 separates the encoded movement information from the demodulated multiplexed signal. Incidentally, the character movement information and the movement information of the musical instrument are separated when the multiplexed signals from the content providing systems 1A and 1B are received, and the character moving information is received when the multiplexed signals from the content providing system 1C are received. Movement information is separated.
[0098]
The movement information decoding unit 21 will be described.
The movement information decoding unit 21 decodes the movement information of the encoded object separated by the movement information demultiplexing unit 20 in accordance with the movement information encoding method.
[0099]
The presentation device interface unit 22 will be described.
The presentation device interface unit 22 manages input / output of signals with presentation devices T, S, and M other than the TV display D connected to the receiver 2.
[0100]
The presentation device connection determination unit 23 will be described.
The presentation device connection determination unit 23 determines whether or not each presentation device T, S, M is connected based on a signal input via the presentation device interface unit 22.
[0101]
The encoded information selection unit 24 will be described with reference to FIGS.
Based on the movement information of each object decoded by the movement information decoding unit 21 and the information of the connected presentation devices T, S, M determined by the presentation device connection determination unit 23, the encoded information selection unit 24 To which presentation device D, T, S, M is to be presented. The presentation device determination process in the encoded information selection unit 24 will be described with reference to the flowchart of FIG. FIG. 7 is a flowchart of the object presentation device determination process in the encoded information selection unit 24. In the presentation device determination process described below, an object to be processed is an object i (i = 1, 2,...). In the present embodiment, the object 1 is a character and the object 2 is a musical instrument.
[0102]
First, the encoding information selection unit 24 sets object 1 as the first object i (S1).
[0103]
Subsequently, the encoding information selection unit 24 determines whether there is an object i to be moved (S2). If there is no object i, the encoding information selection unit 24 ends the process. Incidentally, in the present embodiment, the processing ends when the object i (= 3) is reached.
[0104]
When there is an object i, the encoded information selection unit 24 acquires the decoded movement information of the object i (S3).
[0105]
And the encoding information selection part 24 sets the highest priority j as a priority among the acquired movement information (S4). Incidentally, in this embodiment, as shown in FIGS. 2 and 4, priority 2 is the highest priority.
[0106]
Next, the encoding information selection unit 24 determines whether the value of the priority j is 0 (default value) (S5).
[0107]
When the priority j is 0, the encoding information selection unit 24 determines the presentation device that presents the object i as the default presentation device (TV display D) (S6), and adds 1 to i as the object i. The object i is set and the process returns to step S2 (S7).
[0108]
When the priority j is not 0, the encoding information selection unit 24 determines whether or not a presentation device corresponding to the priority j is connected to the receiver 2 (S8). For example, in the movement information shown in FIGS. 2 and 4, when the priority is 2, it is determined whether or not the stuffed animal is connected.
[0109]
When the presentation device corresponding to the priority j is connected, the encoding information selection unit 24 determines the presentation device that presents the object i as the presentation device corresponding to the priority j (S9), and sets it as the object i. The next object i obtained by adding 1 to i is set, and the process returns to step S2 (S7).
[0110]
When the presentation device corresponding to the priority j is not connected, the encoding information selection unit 24 sets the next priority j obtained by subtracting 1 from j as the priority j and returns to the process of step S5 (S10). ).
[0111]
When the presentation device is determined by the above processing, the encoding information selection unit 24 sets the physical presentation signal of the presentation device determined for each object (and the substitute object and accompanying background) from the movement information of each object. Is selected as an alternative signal or an accompanying signal.
[0112]
The encoded information demultiplexing unit 25 will be described.
The encoded information demultiplexing unit 25 encodes the demodulated multiplexed signal based on the physical presentation signal selected by the encoded information selecting unit 24 (and the accompanying signal when the accompanying background is set). The data of each object is selectively separated. In addition, when presenting it to the terminal, the arrangement information of another encoded video is also separated. Then, in the encoded information demultiplexing unit 25, each encoded data separated into the presentation devices T, S, M other than the TV display D determined by the encoded information selection unit 24 is sent via the presentation device interface unit 22. Output each.
[0113]
Also, in the encoded information demultiplexing unit 25, background main video data encoded from the demodulated multiplexed signal, alternative video data of the alternative object when the alternative object is set, arrangement information of the main video, When presenting an object on the TV display D, main video data and main audio data of each object are selected and separated. The encoded information demultiplexing unit 25 outputs the separated encoded data to the video decoding unit 26, the arrangement information decoding unit 27, and the audio decoding unit 29, respectively.
[0114]
The video decoding unit 26 will be described.
In the video decoding unit 26, the encoded main video data of the background from the encoding information demultiplexing unit 25 and the alternative video of the alternative object are set according to the encoding method of each data. When presenting data or objects on the TV display D, the main video data of each object is decoded.
[0115]
The arrangement information decoding unit 27 will be described.
The arrangement information decoding unit 27 decodes the encoded main video arrangement information from the encoded information demultiplexing unit 25 according to the encoding method of the main video arrangement information.
[0116]
The video composition unit 28 will be described.
When presenting an object on the TV display D on the background main video based on the decoded main video layout information, the video composition unit 28 sets the main video or alternative object for each object. Video data obtained by synthesizing the substitute video of the substitute object is generated and output to the TV display D.
[0117]
The audio decoding unit 29 will be described.
In the audio decoding unit 29, the main audio data of the encoded background from the encoding information demultiplexing unit 25 or the main of each object when presenting the object on the TV display D according to the encoding method of each data. Decrypt audio data.
[0118]
The speech synthesizer 30 will be described.
When presenting an object on the TV display D with the main voice of the background, the voice synthesis unit 30 generates voice data obtained by synthesizing the main voice of each object and outputs it to the TV display D.
[0119]
The TV display D will be described with reference to FIG.
The TV display D includes a large display, a speaker, an amplifier, and the like, and is a device that presents content distributed by digital TV broadcasting. In the TV display D, the video is displayed on the large display using the video data transmitted from the receiver 2, and the content is output as audio from the speaker using the audio data transmitted from the receiver 2.
[0120]
The terminal T will be described with reference to FIG.
The terminal T is a remote controller with a small screen as described above, and can output video and audio. In the terminal T, another video data and audio data of each object encoded from the receiver 2, arrangement information of another video, and other video data of the accompanying background are transmitted when the accompanying background is provided. Sometimes each object is presented with video and audio. For this purpose, the terminal T includes a presentation media decoding unit Ta and a presentation device Tb.
[0121]
The presentation media decoding unit Ta decodes the encoded different video data of each object, the different audio data of each object, and the arrangement information of the different video according to each encoding method. Then, the presentation media decoding unit Ta generates video data of the object based on the arrangement information of another video. In particular, when there is other video data of the accompanying background, the presentation media decoding unit Ta decodes the encoded video data of the accompanying background and generates video data by synthesizing the accompanying background with the other video of the object. To do.
[0122]
The presentation device Tb includes a small liquid crystal display, a speaker, an amplifier, and the like. The presentation device Tb displays an object on a small liquid crystal display using the video data generated by the presentation media decoding unit Ta, and outputs the object from the speaker using the audio data decoded by the presentation media decoding unit Ta.
[0123]
The stuffed animal S will be described with reference to FIG.
As described above, the stuffed toy S is a stuffed toy with a control function, and can operate the limbs and output sound. In the stuffed toy S, when the encoded control information of the stuffed toy operation and the stuffed toy voice data are transmitted from the receiver 2, the character is presented with the action and the voice. For this purpose, the stuffed toy S includes a presentation media decoding unit Sa and a presentation device Sb.
[0124]
The presentation media decoding unit Sa decodes the encoded stuffed operation control information and the stuffed voice data according to each encoding method.
[0125]
The presentation device Sb includes an operation mechanism such as an electrically controllable limb and a speaker and an amplifier. In the presentation device Sb, the stuffed limbs and the like operate according to the operation of the content character by the control information of the stuffed toy operation decoded by the presentation media decoding unit Sa, and the character from the speaker by the audio data decoded by the presentation media decoding unit Sa Is output.
[0126]
The automatic musical instrument M will be described with reference to FIG.
As described above, the automatic musical instrument M is a musical instrument with a control function, and can automatically play the musical instrument. The automatic musical instrument M presents the musical instrument in an automatic performance when the encoded performance information is transmitted from the receiver 2. For this purpose, the automatic musical instrument M includes a presentation media decoding unit Ma and a presentation device Mb.
[0127]
The presentation media decoding unit Ma decodes the encoded performance information according to the encoding method.
[0128]
The presentation device Mb is composed of a musical instrument that performs automatically under electrical control. In the presentation device Mb, the musical instrument is automatically played according to the performance of the musical instrument of the content based on the performance information decoded by the presentation media decoding unit Ma.
[0129]
When the receiver 2 having the above configuration receives a multiplexed signal distributed from the content providing systems 1A, 1B, 1C, etc., it operates as follows. The receiver 2 demodulates the received multiplexed signal. Subsequently, the receiver 2 separates the movement information for each object encoded from the multiplexed signal, and decodes the movement information (see FIGS. 2 and 4). And in the receiver 2, the presentation apparatus which presents each object is determined based on the presentation apparatuses T, S, and M connected to the movement information for each object.
[0130]
Subsequently, in the receiver 2, based on the presentation device determined for each object, the data of each object encoded from the multiplexed signal is selectively separated, and each separated encoded data is determined. To each. Each presentation device to which the encoded data is transmitted decodes the encoded data and presents the object at the transmission timing.
[0131]
Further, the receiver 2 selectively separates all encoded data necessary for presenting content on the TV display D from the multiplexed signal, and decodes the separated encoded data. Then, the receiver 2 generates video data and audio data of the background-only content or the content obtained by combining the background and the substitute object or object, and transmits the generated video data and audio data to the TV display D. On the TV display D to which the video data and audio data of the content are transmitted, the content is displayed and output as audio using the video data and audio data of the content.
[0132]
Therefore, when viewing content on the TV display D, the following viewing environment is obtained. In a scene where a character appears in the content, the character disappears from the screen of the TV display D, the background or alternative object is displayed, and the voice of the character disappears. However, a character is displayed on the screen of the terminal T and sound is output, or the stuffed toy S starts to move according to the situation of the TV display D and emits sound. Further, when the musical instrument is played, the musical instrument disappears from the screen of the TV display D, the background or the alternative object is displayed, and the musical instrument performance sound is also lost. However, a musical instrument is displayed on the screen of the terminal T and a performance sound is output, or the automatic musical instrument M starts playing in accordance with the situation of the TV display D. With such a viewing environment, the viewer can enjoy content that is full of realism and entertainment.
[0133]
Here, presentation devices (available presentation devices) T, S., etc. connected to the receiver 2. The presentation device D, T, S, and M to present each object according to M, when receiving a multiplexed signal distributed by the content providing system 1A and when receiving a multiplexed signal distributed by the content distribution system 1B An example will be described.
[0134]
With reference to FIG. 8, an example in which the receiver 2 receives a multiplexed signal distributed by the content providing system 1 A will be described. FIG. 8 is a diagram showing the relationship between the available presentation devices and the presented objects in the case shown in FIG.
[0135]
When only the TV display D, which is the default presentation device, is connected to the receiver 2, the character and the musical instrument are presented on the TV display D.
[0136]
When only the terminal T is connected to the receiver 2, the terminal T has a higher priority than the TV display D for the stuffed animal and the musical instrument (see FIG. 2). Therefore, the character and the musical instrument are presented to the terminal T. Therefore, only the background is presented on the TV display D.
[0137]
When only the stuffed animal S is connected to the receiver 2, the stuffed animal S has a higher priority than the TV display D for the character (see FIG. 2). Therefore, the character is presented to the stuffed animal S. Therefore, the TV display D presents a background and a musical instrument.
[0138]
When the terminal T and the stuffed toy S are connected to the receiver 2, the stuffed toy S has a higher priority for the character than the TV display D and the terminal T, and the terminal T has a higher priority for the instrument than the TV display D. (See FIG. 2). Therefore, the character is presented to the stuffed animal S. The musical instrument is presented on the terminal T. Therefore, only the background is presented on the TV display D.
[0139]
When only the automatic musical instrument M is connected to the receiver 2, the automatic musical instrument M has a higher priority than the TV display D for musical instruments (see FIG. 2). Therefore, the musical instrument is presented to the automatic musical instrument M. Therefore, the TV display D presents a background and a character.
[0140]
When the terminal T and the automatic musical instrument M are connected to the receiver 2, the terminal T has a higher priority than the TV display D for the character, and the automatic musical instrument M has a higher priority than the TV display D and the terminal T for the musical instrument. Is high (see FIG. 2). Therefore, the character is presented to the terminal T. The musical instrument is presented to the automatic musical instrument M. Therefore, only the background is presented on the TV display D.
[0141]
When the stuffed animal S and the automatic musical instrument M are connected to the receiver 2, the stuffed animal S has a higher priority than the TV display D for the character, and the automatic musical instrument M has a higher priority than the TV display D for the musical instrument ( (See FIG. 2). Therefore, the character is presented to the stuffed animal S. The musical instrument is presented to the automatic musical instrument M. Therefore, only the background is presented on the TV display D.
[0142]
When the terminal T, the stuffed toy S, and the automatic musical instrument M are connected to the receiver 2, the stuffed toy S has a higher priority than the TV display D and the terminal T for the character, and the musical instrument is more automatic than the TV display D and the terminal T. The musical instrument M has a higher priority (see FIG. 2). Therefore, the character is presented to the stuffed animal S. The musical instrument is presented to the automatic musical instrument M. Therefore, only the background is presented on the TV display D. Incidentally, no object is presented to the terminal T.
[0143]
With reference to FIG. 9, an example in which the receiver 2 receives a multiplexed signal distributed by the content providing system 1 B will be described. FIG. 9 is a diagram illustrating a relationship between an available presentation device and an object to be presented in the case illustrated in FIG. 3.
[0144]
Also in this example, the relationship between the available presentation device and the object to be presented is the same as the example in the case where the receiver 2 receives the multiplexed signal distributed by the content providing system 1A. In addition, in this example, when the character or / and the musical instrument is displayed on the TV display D with the other presentation devices T, S, and M, the substitute object of the character or / and the substitute object of the musical instrument are displayed after the presentation. To do. In this example, when presenting a character or / and musical instrument, the terminal T also displays the character background or / and the musical instrument background.
[0145]
As mentioned above, although embodiment of this invention was described, this invention is implemented in various forms, without being limited to the said embodiment.
For example, in the present embodiment, each unit in the content providing system and the receiver is configured by software by executing a program, but may be configured by hardware by an electronic circuit.
In this embodiment, the content is distributed by digital TV broadcast. However, the content is distributed by other distribution methods such as distribution of content by communication such as the Internet or distribution of storage media such as package media. You may distribute.
Further, in the present embodiment, content consisting of video and audio by digital TV broadcasting is targeted, but content consisting only of audio and radio video content may also be targeted.
Further, although the present embodiment is intended for digital TV broadcasting, it is also conceivable that only the default content background is distributed by analog broadcasting, and information about objects is distributed by digital broadcasting.
[0146]
In this embodiment, the object is a character and a musical instrument. However, various objects such as a person, an animal, a telephone, and an alarm clock may be used.
In the present embodiment, the first presentation device is a TV display, but other devices such as an output device of a personal computer, a radio, and a PDA may be used.
In the present embodiment, the second presentation device is a terminal, a stuffed animal, and an automatic musical instrument. However, other devices such as a doll, a robot, a telephone, an alarm clock, a lighting device, and an interphone may be used.
In this embodiment, the receiver and the TV display are shown separately, but may be integrated as a TV receiver.
In the present embodiment, the object information is decrypted in the terminal or the like, but the object information may also be decrypted in the receiver.
[0147]
Further, in the present embodiment, the encoded data is shared between the same presentation media even between different presentation devices (for example, between the TV display and the terminal). Sharing is also possible. For example, if there is encoded data of the character's shape and movement, the character is drawn by computer graphics and used as the main video object, or similarly used as the terminal video object, or used for stuffed movement information Or it can be used in common for all presentation devices of this object. In addition to using the encoded data of the main video character as another video of the terminal, it is also possible to extract the character motion information from the encoded data of the main video character and operate the stuffed toy.
[0148]
Further, in the present embodiment, the default presentation media is applied to a service based on TV broadcasting using video and audio, but may be applied to services based on presentation media other than video and audio, such as a data broadcasting service. Serving object moving content with interactive (bidirectional) elements by introducing a data broadcasting service into the presentation media, which may be the default presentation media or the destination presentation media Is possible. In other words, content in which presentation of an object motion or the like is changed by an interactive operation of the user, content in which an object presentation device (presentation media) is changed by an interactive operation of the user, or the like is also possible.
[0149]
In addition to this embodiment, various services are possible using the present invention, and some examples will be given.
As an example, there is a program for children in which a finger puppet or a puppet of a character proceeds with a program while interacting with a performer. In this example, in an environment having only a TV display, a character doll plays its role in the TV screen as in a conventional TV program. In an environment where a stuffed character operating as an external device of a TV display is connected, the character is presented using the stuffed toy. At this time, the doll is no longer displayed on the TV screen, and the program proceeds as if the performers on the TV screen are crossed with the stuffed toys outside the TV screen. This is the simplest and most realistic example, but once you've worked on the content, you can create a more complicated program.
[0150]
As another example, there is a language program or the like that an animation assistant proceeds while assisting learning. In this example, in an environment having only a TV display, an assistant provides guidance on the TV screen like a conventional TV program. In an environment where a handheld remote controller with a small screen (for example, a PDA) is connected as an external device of the TV display, the assistant provides guidance within the small screen. At this time, for example, it is conceivable to present a practice sentence or pronunciation as a learning point with a small remote controller with a small screen while leaving a video such as a skit on the TV screen.
[0151]
Also, in action programs and animation programs, transformation (evolution) items often appear, and when the transformation (evolution) scene occurs, a scene in which this item operates appears. In this transformation (evolution) scene, the operation scenes of items such as “shiny” and “flickering” are developed on the TV screen. In the case of popular action programs and animation programs, toys that are items for transformation (evolution) are sold. Therefore, the toy is made to operate as an external device of the TV receiver. And when this toy is placed near the TV display (communication area), when it becomes a transformation (evolution) scene, this toy item itself will operate as “shiny”, “flickering”, etc. To please children.
[0152]
Also, as a service for popping out musical instruments, a service applied to so-called telemusic can be considered, but here is an example of a new service that has changed slightly. An example is a program in which a live orchestra appears, such as a theater broadcast or a concert broadcast. In this example, in an environment having only a TV display, it can be viewed as a conventional relay. A home miniature garden orchestra is assumed as an external device of the TV display. This miniature garden orchestra is a general orchestral arrangement with musical instrument miniatures and speakers with playback capabilities suitable for the sound range in the vicinity of each instrument to reproduce the performance sound of each instrument part. Have the ability to When this miniature garden orchestra is connected as an external device of the TV display, the sound of the orchestra is presented from the miniature garden orchestra, not from the speaker of the TV display. As a result, the stereo image has a great stereo effect.
[0153]
Another example is a drama. In this example, in an environment having only a TV display, it can be viewed as a conventional drama. However, in an environment where a telephone having a control function or an alarm clock is connected as an external device of a TV display, for example, when a scene that emits a characteristic sound such as a scene where a telephone rings or an alarm clock sounds, It is not realistic to move the object, but only the sound object is presented by the telephone in the living room or the alarm clock in the bedroom. Therefore, a very realistic drama effect can be expected.
[0155]
【The invention's effect】
 Claims of the invention1The content providing system according to the present invention can easily extract information of an object necessary for presentation by the second presentation device, and can provide a second presentation device that presents the object on the receiving side based on the movement information of the object. Can be determined.
[0160]
 Claims of the invention2The content receiving device according to can determine the second presentation device that presents the object based on the movement information of the object.
[0161]
 Claims of the invention3The content providing method according to the present invention provides a second presentation device that can easily retrieve object information necessary for presentation by the second presentation device and presents the object on the receiving side based on the movement information of the object. Can be determined.
[0162]
 Claims of the invention4According to the content receiving method according to the present invention, the content provided by the content receiving method according to the present invention can cause the second presentation device to present an object included in the content.
[0163]
 Claims of the invention5The content providing method according to the present invention can be executed by a computer to realize the content providing method according to the present invention.
[0164]
 Claims of the invention6The content receiving program according to the present invention can be executed by a computer to realize the content receiving method according to the present invention.
[Brief description of the drawings]
FIG. 1 is an example of a configuration diagram of a content providing system according to an embodiment, in which there are two objects (a character and a musical instrument).
2 is a diagram showing a configuration of movement information in the case shown in FIG. 1, in which (a) is movement information of object 1 (character), and (b) is movement information of object 2 (instrument).
FIG. 3 is another example of a configuration diagram of the content providing system according to the present embodiment, in which there are two objects (a character and a musical instrument) and there are alternative objects and accompanying objects.
4 is a diagram showing a configuration of movement information in the case shown in FIG. 3, in which (a) is movement information of object 1 (character), and (b) is movement information of object 2 (instrument).
FIG. 5 is another example of a configuration diagram of the content providing system according to the present embodiment, in which one object (character) is considered and compatibility with a conventional digital TV broadcast receiver is considered.
FIG. 6 is a configuration diagram of a receiver according to the present embodiment.
7 is a flowchart of object presentation device determination processing in the encoded information selection unit of FIG. 6;
8 is a diagram showing a relationship between an available presentation device and a presented object in the case shown in FIG.
9 is a diagram illustrating a relationship between an available presentation device and an object to be presented in the case illustrated in FIG. 3;
[Explanation of symbols]
1A, 1B, 1C ... Content provision system
2 ... Receiver (content receiving device)
11A, 11B, 11C ... Object encoding means
12A, 12B, 12C ... movement information encoding means
14C ... default content encoding means
21 ... Movement information decoding unit (movement information decoding means)
24: Encoding information selection unit (second presentation device determining means)
D ... TV display (first presentation device)
M ... Automatic musical instrument (second presentation device)
S ... Stuffed toy (second presentation device)
T ... Terminal (second presentation device)

Claims

A second presentation device that is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio. a content providing system for providing the content to the connected content receiving device,
Means for each object included in the content set for each of the first presentation device and the second presentation device capable of presenting the object, wherein the first presentation device and the second presentation device present the object; Priority indicating the priority order for presenting the objects when the presentation medium showing a certain video, sound, action and performance information and one object can be presented by the first presentation device and the plurality of second presentation devices and degrees, including at least movement information, movement information encoding means for encoding comprises,
A content providing system for providing a multiplexed signal including the encoded movement information to the content receiving device .

A second presentation device that is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio. are connected, a content receiving apparatus that receives the content from the content providing system,
Means for each object included in the content set for each of the first presentation device and the second presentation device capable of presenting the object, wherein the first presentation device and the second presentation device present the object; Priority indicating the priority order in which the objects are presented when the presentation media showing a certain video, sound, action and performance information and one of the objects can be presented by the first presentation device and the plurality of second presentation devices Mobile information decoding means for decoding mobile information including at least
Based on the decrypted by said movement information, and a second presentation device determining means for determining a second presentation device for presenting the object,
A content receiving device , wherein the object is presented to a second presentation device determined by the second presentation device determination means .

A second presentation device that is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio. A content providing method for providing the content to a connected content receiving device ,
Means for each object included in the content set for each of the first presentation device and the second presentation device capable of presenting the object, wherein the first presentation device and the second presentation device present the object; Priority indicating the priority order for presenting the objects when the presentation medium showing a certain video, sound, action and performance information and one object can be presented by the first presentation device and the plurality of second presentation devices It includes a degree, including at least movement information, movement information encoding step of encoding, a,
A content providing method comprising providing a multiplexed signal including the encoded movement information to the content receiving device .

A second presentation device that is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio. A content receiving method for receiving the content from a content providing system to a connected content receiving device ,
Means for each object included in the content set for each of the first presentation device and the second presentation device capable of presenting the object, wherein the first presentation device and the second presentation device present the object; Priority indicating the priority order for presenting the objects when the presentation medium showing a certain video, sound, action and performance information and one object can be presented by the first presentation device and the plurality of second presentation devices A mobile information decoding step for decoding mobile information including at least
Based on the decrypted by said movement information, wherein the second presentation device determination step of determining a second presentation device for presenting the object,
The object, content receiving method, characterized that you come to the second presentation device determined in the second presentation device determination step.

A second presentation device that is integrated with a first presentation device that presents content in video and / or audio, corresponds to an object included in the content, and presents the content by an alternative means other than video and / or audio. A content providing program for providing the content to a connected content receiving device ,
A content providing program for causing a computer to realize the content providing method according to claim 3 .

A content receiving program for receiving content provided by the content providing method according to claim 3 ,
A content receiving program for causing a computer to realize the content receiving method according to claim 4 .

The first presentation device is a TV display including an audio output device,
The content providing system according to claim 1, wherein the second presentation device is a stuffed toy capable of limb movement and voice output.

The first presentation device is a TV display including an audio output device,
The content receiving apparatus according to claim 2, wherein the second presentation apparatus is a stuffed toy capable of limb movement and voice output.

The first presentation device is a TV display including an audio output device,
The content providing method according to claim 3, wherein the second presentation device is a stuffed toy capable of limb movement and voice output.

The first presentation device is a TV display including an audio output device,
5. The content receiving method according to claim 4, wherein the second presentation device is a stuffed toy capable of limb movement and voice output.