JP4279081B2

JP4279081B2 - コンテンツ再生システム

Info

Publication number: JP4279081B2
Application number: JP2003281433A
Authority: JP
Inventors: 康男遠藤; 豊富岡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2003-07-29
Filing date: 2003-07-29
Publication date: 2009-06-17
Anticipated expiration: 2023-07-29
Also published as: JP2005050126A

Description

本発明は、複数機器を用いたコンテンツ再生システム及び、それに関する、装置または方法または記録媒体またはプログラムに関するものである。

特にこの十数年の間に、インターネットでのデータ閲覧システムの普及によって、多様なデータ配信がインターネットを通じて実用化されてきた。

従来のコンテンツ再生システムとしては、例えば特開平８−６５３８９号公報に示すものがある。従来のコンテンツ再生システムを図２２を用いて説明する。２００１は、コンテンツを制作するオーサリング機能を含むコンテンツ制作装置で、２００２は、コンテンツ制作装置２００１から受け取ったコンテンツを管理・公開するデータ管理・公開部、２００３はデータ管理・公開部２００２が保持するデータを取得するリクエストに応じてデータを転送するデータ配信制御センターで、２００４は、表示端末２００５が備えるユーザ入力手段からの指示に従って前記データ配信センター２００３からコンテンツを取得するデータ取得制御部２０１１と、データ取得制御部２０１１が受信したコンテンツを表示端末２００５の画面へ表示するブラウザ部２０１２を有するデータ受信装置である。

以上のように構成されたコンテンツ再生システムについて、以下その動作を説明する。まず、コンテンツ制作装置２００１でコンテンツを制作し、データ管理・公開部２００２に転送して保持する。データ配信制御センター２００３は、データ管理・公開部２００２が保持するデータを、各端末からの取得依頼に応じて送信することによってコンテンツを配信する機能を果たす。一方、データ受信装置２００４では、ユーザが入力手段によって表示したいコンテンツを選択・指示し、データ取得制御部２０１１がその指示に従ってデータ管理・公開部２００２に対してコンテンツ取得依頼を出して必要なコンテンツを取得する。その後、ブラウザ部２０１２を通して画面上に表示する。以上の従来技術を利用することによってコンテンツ再生システムを構成することができる。

また、特許文献１では、あらかじめ、サービスエレメントを構造化して保持し、状態取得手段を備えることによって、利用者の端末装置やネット状況に応じて利用者の要求を満たすサービスをリアルタイムに提供可能な、状況適応サービス生成実行装置を提供するための技術を開示している。
特開平８−６５３８９号公報

しかしながら、上記従来のコンテンツ再生方法では、複数機器を連動させてコンテンツ再生をする場合に生じる問題点に対処できないという課題を有していた。また、特許文献１開示の技術は、サービス案を生成する元となる情報の開示がされておらず、また状況適応機能は本質的には条件分岐に従ってサービスを選ぶにすぎないという課題を有していた。

本発明は上記従来の課題を解決するもので、再生時の機器構成に適応して利用機器を決定して複数機器を連動させて融合視聴させるための対策を提供することを目的とするものである。

上記目的を達成するために、請求項１記載の発明は、複数のストリームメディアを複数の機器で同期させることを目的とした機器連動型コンテンツを再生するコンテンツ再生システムであって、コンテンツ再生時に各機器が保持する、機器の種別を識別するためのデバイス種別と機器のスペックとを記載した機器プロパティを収集し、各機器の状況を管理する機器管理部と、機器連動型コンテンツ再生時に必要な、操作対象機器とその要求スペックとを機器連動型コンテンツごとに記載したデバイス記述と、前記機器管理部が収集した機器プロパティとを比較することにより、機器連動型コンテンツ再生時に利用する機器を決定する機器適応部と、前記機器適応部で決定した機器に適した実行形式に機器連動型コンテンツを変換するコンテンツ変換部と、前記実行形式にしたがって連動動作を制御する実行制御部とを具備し、機器適応部は、デバイス記述に記載された操作対象機器と機器プロパティに記載されたデバイス種別とをマッチングし、機器プロパティに記載されたスペックとデバイス記述に記載された要求スペックとを比較することにより、使用機器を決定することを特徴とするものである。

また、請求項２記載の発明は、機器適応部は、機能の抽象的な記述から具体的なデバイス種別と操作に解決するための手順を記載した抽象記述ライブラリを参照することにより、機器連動型コンテンツに記載された機能の抽象的な記述を具体的なデバイス種別と操作に変換し、デバイス種別が合致する機器に各状態に移行するためのアクションを指示することを特徴とするものである。

本発明は、上記の構成により、機器連動型コンテンツ再生時の機器構成、機器動作の状況に適応的に利用機器を決定し、連動させることによって、適応的機器連動による複合コンテンツの融合視聴を可能とする。

（実施の形態１：適応的機器連動）
以下、本発明の第１の実施の形態について説明する。本発明の第１の実施の形態は、利用時の機器構成、機器動作の状況に適応的に利用機器を決定し、連動させることによって、適応的機器連動による複合コンテンツの融合視聴を可能とする機器連動型コンテンツ再生システムを示すものである。

図１は適応的融合視聴を実現する機器連動型コンテンツ再生システムの構成例を示すブロック図である。このコンテンツの配信を受けて動作する視聴システムにおいて、１０１は利用対象候補となる機器を管理し状況を把握するための機器管理部、１０２は機器管理部１０１の情報に応じて対象コンテンツの視聴のために利用する連動機器（後出の１０７）を決定する機器適応部、１０３はコンテンツを機器適応部１０２で決定した連動機器に適した実行形式に変換するためのコンテンツ変換部、１０４はコンテンツおよび実行形式にしたがって連動動作を制御するための実行制御部、１０５は機器管理部１０１を監視し、その情報に基いて機器適応部１０２を起動させる適応制御部、１０６は利用する機器の機能情報をまとめた抽象記述ライブラリ、１０７は機器管理部１０１に接続されコンテンツ再生の指令に連動して作動する連動機器である。連動機器１０７は機器管理部１０１の情報に応じて前記対象コンテンツの視聴のために利用される。

以上のように構成された機器連動型コンテンツ再生システムにおいて、コンテンツが再生される動作例を以下に示す。

《機器連動型コンテンツの説明》
まず機器連動型コンテンツについて説明する。機器連動型コンテンツは、複数のストリームメディアを複数の機器で同期させることを目的としたコンテンツである。ここで対象とするコンテンツは、W3C が定めるSMIL(Synchronized Multimedia Integration Language)のように複合視聴可能なコンテンツ記述がされたものを想定し、なおかつ、出力機器・・（デバイス）を指定できるように拡張されたものと考える。コンテンツ制作時に指定された出力対象機器は、再生時に機器適応により特定を行うものとする。

図２は、機器連動型コンテンツをSMIL風の記述言語で記述した例を示す図である。この例では、まず<operation> タグにより、操作対象機器(targetDeviceId)であるLIGHT1の操作(action)としてSW-ON(電源ON) を行う。そして、<par> タグで囲まれた<video> および<streamtext>タグは、属性として出力先機器(targetDeviceId)を指定できるようになっており、sample.mpeg （映像データ）をTV1 で再生しながら、同時にsample.rt （映像ストリーム）をPDA1に表示するよう記述している。

コンテンツを再生する際には、TV1 やPDA1で示す機器を再生環境に存在する機器に割り当ててやる必要がある。この割り当ては、図３に示す『デバイス記述』に記述された条件を満たす機器を再生環境のなかから探索・発見することにより実現する。例えば図３では、TV1 に対応する機器の条件として、「32インチ以上で解像度として1080p をサポートし、mpeg4 のcodec を持つTV」を指定している。

デバイス記述は、機器連動型コンテンツ自体に記述しても良いし、別のファイルに記述して機器連動型コンテンツ本体からそれを参照するようなことも考えられる。

コンテンツ制作者は、このデバイス記述にコンテンツ再生に必要な機器のスペックを記述しておけば、利用時に再生側の機器環境に応じて具体的な機器に割り当てを行うことによって、コンテンツ制作者が意図した再生を行うことが可能となる。デバイス記述の詳細および機器の探索・発見の方法については、後で述べる。

《機器適応》
次に、デバイス記述の詳細および機器の探索・発見の方法について述べる。
まず、デバイス記述に記述する項目、内容を図４に示す。デバイスIDは機器を識別するためのIDであり、このIDによりコンテンツ記述本体に記述された機器との対応をとる。デバイス種別は連動させる機器の種類であり、例えば TV・・やPDA,照明というように記述する。デバイス依存記述は、デバイス種別毎に固有のスペックを記述し、例えば図５に示すような内容を記述する。位置関係は、どの位置にある機器を選択するかを指定する。指定方法としては、他の機器や視聴者との相対位置を指定する方法や、緯度経度指定および地上２ｍ（メートル）以上に設置されている機器といった絶対位置を指定する方法が考えられる。なお、デバイス依存記述および位置関係に関しては、要求するスペックだけを記述すればよく、特に要求するものが無ければ記述不要である。

一方、機器連動させる機器は、機器ごとにその機器の属性を記述した情報を保持しており、これをここでは『機器プロパティ』と呼ぶこととする。機器プロパティの記述内容の例を図６に示す。デバイス種別, デバイス依存記述の記述内容は、デバイス記述と同じである。ただし、デバイス依存記述については、デバイス記述では要求スペックだけを書けばよかったが、機器プロパティではその機器の全ての情報（スペック）について記述する必要がある。位置については、機器の絶対位置を記述する。例えば、経度、緯度、高度を絶対位置記述とする。

《機器連動型コンテンツの視聴：実施例１の動作》
これらの情報記述に基づいて、機器連動型コンテンツの視聴手順について説明する。図７は、実施の形態１における機器連動型コンテンツ再生動作を説明するフローチャートである。このフローチャートにおいて、はじめにステップ７０１において、視聴者が、TVで機器連動型コンテンツの視聴を行うためにリモコンを操作すると、TVはサーバより、機器連動型コンテンツの文書を取得する。次にステップ７０２において、機器管理部１０１が連動機器１０７の定格仕様、属性、動作状況、環境状況を把握する。次にステップ７０３において、７０２で把握された機器構成の状態を参照して、機器適応部１０２が利用機器を決定する。次にステップ７０４において、コンテンツ変換部が対象機器に合わせてその実行形式に変換する。最後にステップ７０５において、実行制御部が機器管理部１０１を通じて対象機器群を制御することにより、複合コンテンツの連動再生を実行する。以上の手順によって、機器連動型のコンテンツ再生が可能となる。

次に機器の探索・発見の方法についてさらに詳細に述べる。ここでは、機器の探索・発見することを『機器解決』と呼ぶこととする。まず、前提として連動する機器は、相互にネットワークで接続されており、『機器プロパティ』をネットワーク経由で取得出来るものとする。これらの情報は、定期ポーリング、接続時情報取得、変更時の情報提供、等によって機器管理部１０１が収集する。

《機器発見の詳細：動作フロー》
機器の検索・発見処理手順について、図８を用いて説明する。図８は、機器の探索・発見処理動作を説明するフローチャートである。例として図３で示したデバイス記述に対する機器の探索・発見方法について説明する。機器連動型コンテンツ再生環境には、図９に示す機器が存在していることとする。

まず、デバイスIDが"LIGHT1"で指定された機器の機器解決について説明する。
ステップ８０１において、デバイスID"LIGHT1"に対応して、デバイス種別が "LIGHT"の機器を見つける。本例では、該当機器として実機器名である "LIGHT-a"が候補として挙げられる。続いてステップ８０２において、デバイス依存記述の内容から要求スペックとの比較を行うが、"LIGHT1"では特に指定されていないため、コンテンツ記述としての"LIGHT1"は実機器名である"LIGHT-a" に解決され、割り当てられる。

次に、デバイスID"TV1" の機器解決について説明する。同様にデバイス種別が"TV"の機器を見つける。本例では、該当機器として実機器名がそれぞれ"TV-a", "TV-b"の二つが候補として挙げられる。続いてデバイス依存記述の内容から要求スペックとの比較を行う。"TV1" では、「32インチ以上で解像度として1080p をサポートし、mpeg4 のcodec を持つこと」と記述されている。"TV-a"は、この条件を満たすので、"TV1" は"TV-a"に解決され、割り当てられる。

最後に、"PDA1"の機器解決について説明する。まずデバイス種別が"PDA" の機器を見つける。本例では、該当機器として、 "PDA-a", "PDA-b" の２つが候補として挙げられる。続いてデバイス依存記述の内容から要求スペックとの比較を行う。"PDA1"では、「解像度が640x480 」と記述されている。"PDA-b" は、この条件を満たすので、"PDA1"は"PDA-b" に解決され、割り当てられる。このようにして、コンテンツ記述中のデバイスID"LIGHT1","TV1","PDA1"は、それぞれ実機器名が"LIGHT-a", "TV-a", "PDA-b"の具体的機器に解決され、機器連動コンテンツは、これらの機器を使用して再生されるようになる。以上の処理により、図２で示したような機器連動型コンテンツの各コンテンツ要素が表示されるべき機器を決定することができた。

ここまでで機器適応部１０２が決定した機器を対応付けて、コンテンツ変換部１０３がコンテンツを実行形式に書き直し、実行制御部１０４に渡すことによって、再生の準備が完了し、実行制御部１０４が機器管理部１０１を通じて各指定機器のためのコンテンツ再生を開始する。なお、機器構成の変化に応じて機器解決を再適用することによって、再生中の機器の参加、離脱に応じた機器連動も実現できる。以上により、機器連動型コンテンツ再生の基本機能が実現される。

ここまでは、機器適応部１０２が実質的には機器検索発見部として機能する例を説明したが、以降ではさらに機器適応部１０２と抽象記述ライブラリ１０６とが連携して動作することによるコンテンツ再生の例を説明する。『抽象記述ライブラリ』は、抽象記述から実際の機器種別・操作を解決する手順を記述した手順書を複数集めてライブラリ化したものである。図１０は抽象記述ライブラリの具体例である。再生時（再生側）の処理として、機器適応部１０２が個々の利用機器を定める際に、機器適応部１０２は抽象記述ライブラリ１０６を参照して、コンテンツに記述された抽象記述に対応する手順をライブラリから検索し、機器種別・操作を解決し、再生を行う。例えば、「部屋を暗くする」との抽象記述に対して、「照明が消えていて、かつカーテンが閉まっている状態にする」との変換を行い、各状態に移行するためのアクションを指示する。

なお、上記では、再生側で抽象記述ライブラリを参照して利用機器を決定し、場合によっては再生環境に合わせてライブラリを入れ替えることも含めて適応的解決を図る例を記述したが、抽象記述ライブラリを制作者が参照し、機器連動型コンテンツを制作・記述する際に一部の機器割り当てを決定してもよい。この場合には、抽象記述ライブラリによって制作者の負担を軽くすることができる。さらに、適応制御部１０５を備え、再生機器の途中参加・離脱や資源状況変化等の動的環境変化に適応的に再生実行するために、機器適応を再生中にも必要に応じて実施して利用機器を変更しながら機器連動コンテンツ再生を行うことを可能にする例を説明する。この例では、別のPDA が無線通信により捕捉され、かつこれまでより広い通信帯域が確保できる予測がついた場合に、新PDA 側に出力先を切り換え、かつ静止画を映像に切り換えて表示する。構成に即して説明する。まず、機器管理部１０１が通信可能な新たなPDA の追加を検知する。そのとき、適応制御部１０５が機器適応の更新を行うために、機器適応部１０２に対して適応し直しの指示をおくる。その後の機器適応については上記の例と同様である。これらによって、利用時に動的に機器の構成が変わった場合に利用機器を入れ換えて再生を行うことができる構成が可能である。

さらに、別の機器構成の例として、無線通信機能を備えた個人端末を含む機器構成においてテレビとの連動再生を行う事例を考える。すでにテレビと１台もしくは複数台の個人端末とを連動させて、共通映像をテレビ上に再生し、個人向けの情報もしくは映像をそれぞれの個人端末に表示して連動再生を行っている場合に、新たな個人端末が無線サービスエリアに入ってきて通信が可能になったと適応制御部１０５が機器管理部１０１を介して検知したとする。その際に、該当個人端末の所有者情報に応じて、それが第三者の持ち物であれば新たなユーザ参加と捉えて新ユーザ向けの個人情報表示をするための機器適応の対応付けを機器適応部１０２に指示し、合わせて、表示すべき個人情報の生成をコンテンツ変換部に指示させる。一方、検知した端末がすでに参加しているユーザの所有であると検知した場合には、参加ユーザが視聴位置の移動や利用機器の変更を意図していると解釈して、機器適応部１０２に機器再割り当てを指示して個人情報表示機器の切り替えを行う。

なお、他の動的環境変化の事例として、利用していたPDA・が途中離脱して通信が出来なくなってしまった場合に、再適応を実施して別の端末に切り換える例、再生途中に大画面TVの利用が可能になった場合に、再適応を実施してそれまで表示していた小画面と新たに加わった大画面TVとに同時に映像を表示するよう変更する例等がある。

また、別の機器連動再生の例について述べる。ここでの例は、テレビと調理器具とを連動させて料理番組を視聴する事例である。テレビ上には、料理番組を再生し、映像に連動させて電子レンジ等の調理器具への操作指示を行うことによって、ユーザは料理番組を見ながら料理を進めることができるような「連動視聴」を実現する。ここで、ユーザが再生映像の早送りを行ったとすると、その操作に連動させて調理器具の温度制御をスピードアップさせるべく、コンテンツ変換部が調理器具への「配信コンテンツ」に相当する温度制御信号を変換し直して送り込む。ただし、この場合、スピードアップにも限度があるため、調理プロセスが間に合わない範囲においては、機器管理部１０１、適応制御部１０５を介して調理進行状況を映像操作側にフィードバックすることによって、映像操作である早送りを抑制して、早送りスピードを遅くしたり、映像再生を静止させたりする。以上のように、本実施形態によれば、機器連動を可能とするコンテンツ再生システムが構成できる。

《実施の形態６：QoS を考慮した先読み制御＋資源共有》
本発明の第２の実施の形態は、コンテンツのQoS(Quality of Service）を保証することにより、再生の品質を保証し、かつネット家電も含めた正確な連動を行うことを可能とする機器連動型コンテンツ再生システムを示すものである。

図１１はQoS 保証を含む適応的融合視聴を実現する機器連動型コンテンツ再生システムの構成例を示す。コンテンツの配信を受けて動作する視聴システムにおいて、１１０１は、コンテンツ再生のQoS を制御するためのQoS 制御部、１１０２は、構成機器上で利用する資源情報を把握し必要な資源を確保する資源管理部、である。以上のように構成された機器連動型コンテンツ再生システムにおいて、コンテンツが再生される動作例を以下に示す。

《ネットワーク環境》
連動する機器は、Ethernet（登録商標）, 無線LAN, Echonet( 電灯線通信) など異種ネットワークに跨って接続されていることが想定され、またそれぞれの通信速度(bit rate)もまちまちであることが考えられる。したがって、それぞれの環境に合わせたバッファ制御( 先読み処理) およびQoS 制御( ストリーム制御) を行うためにQoS 制御部を設けている。

《バッファリングリソース》
家電機器は、PCと比較して一般に再生に使えるリソースに乏しく、十分なバッファが確保できないケースが考えられる。また、通常は十分なリソースがある機器においても、処理の都合上、一時的にバッファ不足に陥る場合がある。それらの問題を回避するために、バッファリングリソースの共有を行う。例えば、メモリ量の乏しいPDA 用のバッファは、メモリ量の豊富なPC上に事前に領域を確保しておく、あるいは、過負荷時のバッファをネット上に接続されたリソース管理サーバに問い合わせた上で、指定された機器上に動的に確保する、などの対処が考えられる。具体的には、AV機器の場合、バッファ自体が無い可能性があるので、例えばPCがproxy 的にバッファリングを行うことが考えられる。

また、もともと十分なバッファサイズを有していたPCがフル稼働中でストリーミングのためにバッファを完全に占有し、残されたサイズがごくわずかしかない場合に、ネット上の身近なPDA ３台分のメモリを用いてストリーミングバッファを提供することが考えられる。

《既存技術との比較》
なお、従来技術であるSMIL2.0 <prefetch>タグを用いれば、どのタイミングでどれだけの量バッファリングをするのかを事前に明示的に記述できる。例えば、動画A の再生と同時に次の動画B を128kbps でバッファリングする、等の指定を行うことができる。しかしながら、<prefetch>でのバッファリング開始のタイミングは固定であり、実際の再生環境ではバッファリングが完了しないケースもありえる。したがって、本例では、利用時の領域確保の状況と、流量情報とを参照して、リソース確保方法およびバッファリング開始時期、容量を決定するのである。また、従来の 1台のPC内での再生だけであれば、さほど問題にはならないかもしれないが、本例のように異種の複数の機器を同期させて連動させようとした場合は、
（１）機器毎の能力の差異によるバッファスピードの違い
（２）再生開始までのレーテンシの違い（電源ONから利用可能になるまでの時間等も含む）
（３）連動機器１０７全体でのQoS の確保 (帯域幅の確保）
の各点を考慮する必要がある。

これらの問題を解決するため、
・機器毎の再生開始までの時間 (再生レーテンシ)
・システム全体でのQoS 確保
を考慮したバッファリング計画の自動化が必要となる。この場合、必然的に、再生時に利用する側で決定・解決する必要がある。

《解決方法》
図１１に示した構成において、具体的解決方法について述べる。まず、コンテンツ視聴開始時に全て解決する場合について図１４を用いて説明する。ステップ１４０１において、コンテンツ再生時に全メディアにわたる再生開始タイミング、同期タイミングを表した時間グラフを作成する。ステップ１４０２において、各対象機器の能力を取得する。端末能力の情報と必要な項目は、例えば以下のものである。
・再生可能になるまでの時間
・リンクのビットレート
・バッファサイズ・利用可能領域サイズ
・現在の動作状況（電源オン・待機中等；稼動負荷；等）
次に、ステップ１４０３において、機器単体がコンテンツが指定したタイミングで再生可能にするために必要なバッファリング計画を立てる。バッファリング計画に必要なパラメータは、
・ mediaSize
・ mediaTime
・ bandwidth
ここで、仮に再生するメディアの5%と仮定する（mediaSize=5%と設定する）。このとき、例えば、
・4MB のデータの場合、400KB バッファを行う。
・400Kbps の接続速度でバッファリングを行うと8 秒かかる。
・再生の8 秒以上前からバッファリングを開始すればよい。
等の基本計算が出来る。これらの基礎データを基に、確保すべきバッファ領域、確保すべき期間、転送レート、バッファリング開始時期をそれぞれ決定する。これらをすべての再生要素について決定し、バッファリング計画立案を完了する。

つづいて、ステップ１４０４において、全帯域を計算し、それがQoS 保証の範囲内におさまっていれば、バッファリング計画の立案を終了する。計算結果がQoS 保証の範囲内におさまっていない場合には、ステップ１４０３に戻って、バッファリング容量を大きくする、ビットレートを下げる等を行って、バッファリング計画立案をやり直す。以上によって、QoS 保証可能な再生計画をコンテンツ視聴開始時に全て解決する方法で実現することができる。

さらに、機器等の状況変化、例えば、
・機器構成の変動：使用（接続）可能機器の増加・減少、動作状況（利用可否等）の変動、等
・利用可能資源の変動：他プロセスによる資源利用との競合、等
の状況を、再生中も常に監視し、状況変化に応じて動的にバッファリング計画を変更することによって、再生時の動的な状況変化に対応可能な再生計画を与えることができる。

なお、バッファ領域を対象機器ではなく、ネットワーク上の遠隔資源として共有利用する解決手段も考えられる。特に、メモリの乏しいPDA やメモリをほとんど持たない機器のために、ローカルネットワーク上のPCにバッファを確保する方法は有効である。この場合には、上記のバッファリング計画において、対象機器のバッファを確保するネットワーク上の資源配置場所、確保責任機器を考慮し、かつ転送レート等の基礎データを計算時に勘案することによって、同様な再生計画を立案することが可能である。

さらに、機器適応を行う際に、他の機器配置との関係によっては、必ずしも最適な端末に配信されず、場合によっては、トランスコーダを通して再生する場合もありえる。その場合には、上記に加えて、トランスコーダでの遅延時間を考慮して同期を取らなくてはいけない。すなわち、遅延時間を見込んで再生開始時刻を決定することによって、適切な再生同期をとることになる。

以上のように、本実施形態によれば、QoS・・を保証する機器連動型コンテンツ再生装置を構成することができる。

《実施の形態３：フィードバック＋能動適応》
本発明の第３の実施の形態においては、機器適応部１０２が対象コンテンツの再生に適した利用機器を決定する過程で、利用しやすい方向に状態変化を各機器に指示することによって、あるいは、利用しやすい方向に状態変化をユーザに依頼することによって、適応度合いを向上させる機器連動型コンテンツ再生装置を示すものである。

図１５はフィードバックおよび能動適応を含む適応的融合視聴を実現する機器連動型コンテンツ再生装置の構成例を示す。本実施の形態に係るコンテンツの配信を受けて動作する視聴システムにおいて、１５２１は、機器適応部１０２の適応結果をフィードバックさせるための適応フィードバック部、１５２２は、対象機器に対して状態変更指示を行うための構成変更指示部、１５２３は、ユーザに対して問い合わせを行うユーザインタフェースである。

以上のように構成された機器連動型コンテンツ再生装置において、コンテンツが再生される動作例を以下に示す。まず、フィードバックの種類を整理する。すでに実施の形態１において、再生中の機器構成変化、環境変化が生じた際に、その変化を機器適応部１０２に“フィードバック”して再適応を実施し、動的変化に応じた再生を実現する例について、適応制御部１０５の例示を通じて説明を行った。本実施形態においては、それら以外に、第一に、機器適応部１０２から機器管理部１０１へのフィードバック、第二に、機器適応部１０２から配信センターおよび提供者・制作者へのフィードバック、について説明する。初めに、第一の機器管理部１０１へのフィードバックに関して説明する。図１５において、機器適応の結果を機器管理部１０１にフィードバックする適応フィードバック部１５２１は、機器適応の、特に失敗した際の不足機能、不足機器などの情報を把握し、機器適応成功に必要な機能要素の条件を持ってその結果を機器管理部１０１側にフィードバックして機器あるいは機能の再検索を行い、対応関係の結び付けを再編成する指示や、複数機器にまたがる機能の組み合せによって機器適応処理を再実行する指示を出す。例えば、大画面テレビにストリーム情報を表示していた場合に、途中でコンテンツの指示により放送番組の表示が必要となったとする。しかも、他に放送受信が可能な該当機器がなく受信機能の不足によって機器適応に失敗したとする。その場合に、適応フィードバック部は、放送受信機能が必要であるとの情報をもって機器管理部１０１を介して再生環境の全機器を再チェックして、機器適応のやり直しを指示する。その結果、ストリーム情報を別の映像表示機器に表示し直せば、同時に放送番組を表示できるような機器適応結果を得ることができ、コンテンツと機器との対応関係を変更することにより再生を続行することが可能となる。また、別の例として、コンテンツからの指示がステレオ音声の再生であるのに、単独でステレオスピーカーを備える機器が存在せず、なおかつスピーカー自体は複数存在している場合に、「同時に音声信号が送れる同等仕様の２台のスピーカーを必要とする」との情報を、適応フィードバック部から機器管理部１０１に渡して再生環境内を検索した上で、機器適応を再実施して複数機器にまたがった対応付けを行うことによって、再生を可能にすることができる。

加えて、適応フィードバック１５２１から、図１５では図示せぬコンテンツ配信側に機器適応の結果をフィードバックすることによって、コンテンツ配信者が配信内容、配信経路等を改善でき、またコンテンツを配信すべき対象者を絞り込むことが可能になるという効果を得る。ここでフィードバックすべき情報は、例えば、以下のような情報である。
・高帯域通信口を供える端末の台数／所有者数。
・広帯域通信が出来ないために機器適応に失敗している事例数。
・放送受信機能がないために機器適応に失敗している事例数。
・大画面テレビの機器適応が成功した（失敗した）利用者数。
・音声再生チャネル数の適応結果（モノラル、ステレオ、サラウンド等の種別）。
配信者はこれらを受けて、ストリーミングビデオのビットレートの変更（高画質ビデオの切換、あるいは低画質ビデオ、静止画への切換）、配信経路の変更（放送での一斉配信への変更、あるいは個別配信への変更）、配信時期の変更、受信資格の変更（会員のみへの変更、あるいは制限の解除）、等を行うことができる。

加えて、適応フィードバック１５２１から、図１５では図示せぬコンテンツ制作側に機器適応の結果をフィードバックすることによって、制作者が次期制作時に配慮できる効果を得る。ここでフィードバックすべき情報は、上記のような情報に加えて、例えば、以下のような情報である。
・コンテンツ記述の機器適応成功部分、失敗部分の情報。
・利用者の機器環境としては存在しているが機器適応の結果として利用しなかった機器種別の主なもの。
制作者はこれらを受けて、より使いやすいコンテンツ記述のための改良を施すことができる。

さらに、第三のフィードバック種別として、そのままでは機器適応に失敗する場合に、ユーザに指示をすることによって構成を変更し、その結果を機器管理部１０１を介して反映（フィードバック）することによって、機器適応の適合度を上げることができる。具体的構成としては、ユーザインタフェース１５２３としてユーザメッセージ生成手段とメッセージ表示手段とを備え、ユーザに機器設置に関する指示を出すことによって、機器適応により「位置関係が不適格」と判定された場合は、ユーザに機器の移動を促す旨の表示を行うことも考えられる。本例は、上述の機器適応失敗時に再検索・再適応を実施する例の変形版であり、失敗時に再検索をするだけでなく、構成自体を変更させるような構成となっている。

例えば、スピーカーの利用状況、利用可否に加えてスピーカーの設置位置、向きが把握できるような環境があるとする。そのような状況において、コンテンツ記述の指定で、「スピーカーがユーザから見てテレビ側に、ユーザの方を向けて配置されること」という趣旨の指定がされたケースで、最初の機器適応に失敗し、失敗条件を分析したところ、機器適応部１０２においてスピーカーの存在と利用可能状態であることは把握されたものの、設置位置が条件を満たさない（例えばユーザの側を向いていない場合）と判明したとする。この時に、収集した失敗条件を参照して、機器適応部１０２からの指示に応じてユーザメッセージ生成手段が収集した情報に即して「スピーカーを手前に向けて下さい」、「スピーカーを手前に置きなおして下さい」あるいは「あなたのうしろにあるテレビの電源を入れて下さい」等のメッセージを生成し、メッセージ表示手段がそれらのメッセージをユーザに提示することによって、能動的に機器配置を変更してコンテンツの指定に適合した機器環境を作り上げた上で、その環境に適応したコンテンツ再生を実現することができる。これにより、機器適応対象範囲を拡大する効果を得る。

以上の処理の流れを図１６および図１７のフローチャートを用いてさらに説明する。図１６はこの第３の実施の形態における再生環境内のフィードバック処理（機器適応処理）の流れを説明するフローチャートである。当該の再生環境内で、ステップ１６０１では機器適応部１０２において通常の機器適応処理を実行する。ステップ１６０２では、処理結果を判定し、成功の場合はそのままフィードバックなしに完了する。失敗の場合は、ステップ１６０３に進み、適応フィードバック部において失敗条件の収集、すなわち不足した機器、機能等の情報を収集し、ステップ１６０４にて、適応フィードバック部から機器管理部１０１に再検索を指示する。すなわち、上記で収集した条件を機器管理部１０１に渡して再生環境内の機器の再検索を実施する。もしも検索結果がヒットしない場合はステップ１６０５で判定して、適応失敗として処理全体を終了する。検索結果が得られた場合に、ステップ１６０６にて、適応フィードバック部から機器適応部１０２に再適応処理を指示する。この場合の機器適応処理は、通常の適応処理より条件を緩めて実施する。条件緩和ポイントは、「単一機器におさまらず複数機器にわたる対応付けも許す」等である。再適応に成功した場合は、そのまま処理全体を完了する。失敗した場合には、ステップ１６０３に戻って、失敗条件の分析を繰り返す。以上の処理によって、失敗条件フィードバックによる機器再適応処理が実現できる。

次に、図１７はこの第３の実施の形態における配信者、制作者へのフィードバック処理の流れを説明するフローチャートである。図１７において、まずステップ１６０８では、再生環境内の対象機器リスト、各機器の属性、および、利用者属性、等を記憶しておく。次に、ステップ１６０９では、機器適応部１０２において機器適応処理を実行する。機器適応に成功した場合にはステップ１６１１にて、機器適応に失敗した場合にはステップ１６１２にて、それぞれ適応フィードバック部にて適用条件、失敗条件を収集し、成功／失敗の結果とともに記憶しておく。最後に、ステップ１６１３にて、ここまでに記憶しておいた情報を組み合せて送信すべきフォームに作成し、ステップ１６１４にて、適応フィードバック部からフィードバック先である配信者あるいは制作者に向けて送信する。以上の処理によって、機器適応の結果をフィードバックして活用する系が実現できる。

以上のように、本実施形態によれば、適応度合いを向上させる機器連動型コンテンツ再生装置を構成することができる。

《実施の形態４：シナリオに応じて演出効果を連動表現する例：連動の詳細フローとともに記述する。》
※ シナリオ記述から解釈までの記述。
※ 機器の動的構成変化による適応効果の記述。

本発明の第４の実施の形態は、記述されたシナリオ通りに臨場感等の効果を生み出すように、家電機器を制御することにより、複合コンテンツの融合視聴を可能とする、機器連動型コンテンツ再生システムを示すものである。

図１８は適応的融合視聴を実現する機器連動型コンテンツ再生システムの構成例を示す。図１８に示された伝送路を利用してデータを送受信するコンテンツ再生システムにおいて、１７０１は、コンテンツ再生システムに接続されて連動して動作する家電を制御する家電制御部、１７０２は、個々の家電を制御している家電制御部１７０１を統合し、個々の家電の動作を連動、調整する家電動作連動制御部、１７０３は、個々の家電が連動して動作することにより、シナリオ通りの臨場感を生み出すための手順を記載したシナリオデータを入力するシナリオデータ入力部、１７０４は、シナリオデータ入力部１７０３から入力されたシナリオデータを解釈して、どのように家電に実行させるかを分析したシナリオ分析データを生成、管理するシナリオデータ生成管理部、１７０５は、シナリオデータ生成管理部１７０４で生成されたシナリオ分析データと、ネット家電システムに接続されている家電の構成情報や個々の家電の属性情報とから、個々の家電を連動させる手順、タイミングが記載されたネット家電再生コンテンツを生成、管理するネット家電再生コンテンツ生成管理部であり、ネット家電再生コンテンツ生成管理部１７０５で生成されたネット家電再生コンテンツにより、家電動作連動制御部１７０２から家電制御部１７０１に実行の指示が出され、連動して動作する。

以上のように構成された機器連動型コンテンツ再生システムにおいて、コンテンツが再生される動作例を以下に示す。初めに、シナリオデータの事例の概念図を図１９に示す。図１９に示した例は、いずれもシーン連動シナリオであり、シーンAの間に所定の照明パターンを指定するパターン記述型、シーンC・・の所定のタイミングに合わせてエアコンの温度設定を変更するイベント記述型等がある。各シーンとの対応付け方法については、コンテンツ時刻を直接記述する方法、相対オフセットで表示する方法、シーンのメタデータによるタグ付けをする方法等がある。また、これ以外に、環境連動シナリオとして、PDAが接近した環境変動に応じて、その場で、そのときのメインシーンに関連した補助情報を対象PDA に表示する、等の指定が可能である。

次に、上記のように入力されたシナリオデータに対して、シナリオデータ生成管理部では、対応する家電種類に応じた操作手順にしたがって、なおかつ、実際に利用する機器の機能に応じて、再生時に家電に対して具体的に発する制御データを作成する。家電種類に応じた操作手順とは、例えば次の手順をいう。
（１）タイプ１のエアコンであれば指定時刻に対しての温度設定予約を行えばエアコン側で自動的に指定時刻まで温度制御を行う機能を持つ、
（２）タイプ２のエアコンではその都度の温度設定に応じて起動する機能しか持たない、等の機種ごとの機能記述と操作インタフェースを与えたものであり、上記手順から機種ごとにシナリオに即した具体的な制御方法を与えるのがシナリオデータ生成管理部である。家電種類に応じた操作手順は、シナリオデータ生成管理部が持っている場合もあるが、最新情報をネット経由で取得してもよい。次に、上記で作成したシナリオ分析データを基にして、かつ、実際の再生環境の家電配置状況を取得して、環境に適応的に実際の制御データを作成するのがネット家電再生コンテンツ生成管理部である。

以上の処理の流れを図２０および図２１のフローチャートを用いてさらに説明する。図２０はこの第４の実施の形態における再生準備時の処理を説明するフローチャートである。ここでは、図２０のフローチャートとコンテンツ再生装置の構成を示すブロック図を用いて、再生準備時の処理について説明する。再生準備においては、ステップ１９０１にて、シナリオデータ入力部１７０３からシナリオを入力する。次に、シナリオデータ生成管理部１７０４では、まずステップ１９０２において、対応する家電類を特定し、その家電類に関する操作手順を参照する。もしも手元の操作手順が期限切れであったり存在しない場合には、ステップ１９０３において、このときにネットワーク等を介して新しい操作手順を入手する。次に、ステップ１９０４において、対応する操作手順にしたがって、入力されたシナリオを分析し、機種ごとの制御方法を記述したシナリオ分析データを作成する。ここまでは、実際の利用機器には個別には依存しない分析および記述である。次に、ネット家電再生コンテンツ生成管理部１７０５では、ステップ１９０５において、今回の再生コンテンツおよび再生環境に応じて、再生環境に適応したネット家電再生コンテンツを、シナリオ分析データとコンテンツとから作成する。これらをすべてのシナリオについて処理することによって、ネット家電再生コンテンツの再生準備が完了する。

次に、図２１はこの第４の実施の形態における再生時の処理を説明するフローチャートである。再生時においては、ステップ１９０７において再生開始指示を受信して再生処理をスタートする。次に、ステップ１９０８において、最寄りのタイミングの制御アクションを選択する。「最寄りのタイミング」は、環境状況変動等によって動的に変化することもある。例えば、再生中に新たなＰＤＡが接近してきて再生環境に加わる等の場合である。次に、ステップ１９０９において、今回選択したアクションが未確定の場合には、この場でアクションを具体化する。例えば、シーンに関連した補助情報の取得・確定、あるいは、そのときの室温に連動したエアコン温度設定等である。例えば、演出効果として「ひやっとさせる」と記述されていてアクション確定まで至っていない場合に、まずシナリオデータ生成管理部１７０４内に備える演出効果対応辞書を参照して「ひやっとする」ことが「指定タイミングまでに室温を３度下げること」であると特定し、次にネット家電再生コンテンツ生成管理部１７０５の機器ごとの処理として、まず現在の室温観測結果を取得した上で、対象機器情報から得られるエアコン温度制御方法にしたがって、具体的温度に指定するためのスクリプト（コンテンツの一部）を生成する。なお、他の演出効果として、「驚かせる」に対して電灯の光度を下げたり無意味な雑音を立てたり扇風機によって風を送ったりといった例、あるいは「明るい気分にさせる」に対して画面の彩度を上げたり部屋の光度を上げたりといった例、等が考えられる。次に、ステップ１９１０において、家電動作連動制御部１７０２にて、家電動作連動制御部から各対象家電に対して、上記までで具体化されたアクションを発行する。これらを再生が完了するまで続ける。

以上のように、本実施形態によれば、記述されたシナリオ通りに臨場感等の効果を生み出すようなコンテンツ再生が可能な、機器連動型コンテンツ再生システムを構成することができる。

本発明は、図面に示す好ましい実施の形態に基づいて説明されてきたが、当業者であれば、本発明の思想を逸脱することなく容易に各種の変更、改変し得ることは明らかである。本発明はそのような変更例も含むものである。

本発明の第１の実施の形態におけるコンテンツ再生装置の構成を示すブロック図第１の実施の形態における機器連動型コンテンツ記述の実現例を示す図第１の実施の形態におけるデバイス記述例を示す図第１の実施の形態におけるデバイス記述の項目例を示す図第１の実施の形態におけるデバイス依存関係の記述例を示す図第１の実施の形態における機器プロパティの記述例を示す図第１の実施の形態における処理の流れを示すフローチャート第１の実施の形態における機器の探索・発見処理の流れを示すフローチャート第１の実施の形態における再生環境に存在する機器プロパティの記述例を示す図第１の実施の形態における抽象記述ライブラリの記述例を示す図本発明の第２の実施の形態におけるコンテンツ再生装置の構成を示すブロック図第２の実施の形態における機器プロパティの記述項目例を示す図第２の実施の形態における機器プロパティの記述例を示す図第２の実施の形態における処理の流れを示すフローチャート本発明の第３の実施の形態におけるコンテンツ再生装置の構成を示すブロック図第３の実施の形態における再生環境内のフィードバック処理（機器適応処理）の流れを説明するフローチャート第３の実施の形態における配信者、制作者へのフィードバック処理の流れを説明するフローチャート本発明の第４の実施の形態におけるコンテンツ再生装置の構成を示すブロック図第４の実施の形態におけるシナリオデータの事例を示す概念図第４の実施の形態における再生準備時の処理の流れを説明するフローチャート第４の実施の形態における再生時の処理の流れを説明するフローチャート従来のコンテンツ再生装置の構成を示すブロック図

符号の説明

１０１機器管理部
１０２機器適応部
１０３コンテンツ変換部
１０４実行制御部
１０５適応制御部
１０６抽象記述ライブラリ
１０７連動機器
１００１コンテンツ制作装置
１７０１家電制御部
１７０２家電動作連動制御部
１７０３シナリオデータ入力部
１７０４シナリオデータ生成管理部
１７０５ネット家電再生コンテンツ生成管理部
２００１コンテンツ制作装置
２００２データ管理・公開部
２００３データ配信制御センター
２００４データ受信装置
２００５表示端末
２０１１データ取得制御部
２０１２ブラウザ部

Claims

複数のストリームメディアを複数の機器で同期させることを目的とした機器連動型コンテンツを再生するコンテンツ再生システムであって、
コンテンツ再生時に各機器が保持する、機器の種別を識別するためのデバイス種別と機器のスペックとを記載した機器プロパティを収集し、各機器の状況を管理する機器管理部と、
機器連動型コンテンツ再生時に必要な、操作対象機器とその要求スペックとを機器連動型コンテンツごとに記載したデバイス記述と、前記機器管理部が収集した機器プロパティとを比較することにより、機器連動型コンテンツ再生時に利用する機器を決定する機器適応部と、
前記機器適応部で決定した機器に適した実行形式に機器連動型コンテンツを変換するコンテンツ変換部と、
前記実行形式にしたがって連動動作を制御する実行制御部とを具備し、
機器適応部は、デバイス記述に記載された操作対象機器と機器プロパティに記載されたデバイス種別とをマッチングし、機器プロパティに記載されたスペックとデバイス記述に記載された要求スペックとを比較することにより、使用機器を決定することを特徴とするコンテンツ再生システム。
機器適応部は、機能の抽象的な記述から具体的なデバイス種別と操作に解決するための手順を記載した抽象記述ライブラリを参照することにより、機器連動型コンテンツに記載された機能の抽象的な記述を具体的なデバイス種別と操作に変換し、デバイス種別が合致する機器に各状態に移行するためのアクションを指示することを特徴とする、請求項１記載のコンテンツ再生システム。