JP5903010B2 - Cgストリーム配信装置、放送通信連携受信装置、cgストリーム配信プログラム、cg同期再生プログラムおよびcgストリーム同期システム - Google Patents

Cgストリーム配信装置、放送通信連携受信装置、cgストリーム配信プログラム、cg同期再生プログラムおよびcgストリーム同期システム Download PDF

Info

Publication number
JP5903010B2
JP5903010B2 JP2012163968A JP2012163968A JP5903010B2 JP 5903010 B2 JP5903010 B2 JP 5903010B2 JP 2012163968 A JP2012163968 A JP 2012163968A JP 2012163968 A JP2012163968 A JP 2012163968A JP 5903010 B2 JP5903010 B2 JP 5903010B2
Authority
JP
Japan
Prior art keywords
stream
broadcast
script
timing information
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012163968A
Other languages
English (en)
Other versions
JP2014027361A (ja
Inventor
浜口 斉周
斉周 浜口
馬場 秋継
秋継 馬場
浩之 金子
浩之 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2012163968A priority Critical patent/JP5903010B2/ja
Publication of JP2014027361A publication Critical patent/JP2014027361A/ja
Application granted granted Critical
Publication of JP5903010B2 publication Critical patent/JP5903010B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、放送で配信される放送番組と、通信で配信されるCGストリームとを同期させるCGストリーム配信装置、放送通信連携受信装置、CGストリーム配信プログラム、CG同期再生プログラムおよびCGストリーム同期システムに関する。
近年、放送で配信されるコンテンツ(以下、放送コンテンツ)と、インターネット等の通信回線で配信されるコンテンツ(以下、通信コンテンツ)とを連携して提示する放送通信連携サービスが提案されている(非特許文献1参照)。
このような放送通信連携サービスにおいては、放送と通信の各コンテンツを受信装置において同期させて提示する必要がある。
従来、放送と通信の各コンテンツを受信装置において同期させるには、放送コンテンツと通信コンテンツとに予め基準クロックに基づくタイムスタンプを埋め込んで、放送送信装置が放送コンテンツを配信し、ネットワークサーバが通信コンテンツを配信する。そして、受信装置において、各コンテンツをバッファに一旦蓄積し、両者のタイムスタンプを比較して同期させることで、放送コンテンツと通信コンテンツとの同期提示を可能にしている(特許文献1参照)。
一方、通信コンテンツとして、CG(コンピュータグラフィックス)を用いて番組用のコンテンツを生成し、ストリーミング配信する技術が存在する(例えば、特許文献2参照)。この技術によれば、番組台本を記述したテキストベースの言語であるTVML(TV program Making language)を、サーバで再生し、受信装置にストリーミングデータとして配信する。これによって、受信装置でのCG描画の負荷をなくすことができる。
特開2012−10009号公報 特開2011−119869号公報
武智秀,馬場秋継,大亦寿之,"Hybridcast(登録商標)を支える技術",NHK技研R&D,No.133,2012年5月発行
前記したように、従来の手法は、タイムスタンプによって同期をとるために、一旦、放送コンテンツおよび通信コンテンツを受信装置内のバッファに順次蓄積する必要がある。
この場合、従来の手法では、少なくとも放送コンテンツまたは通信コンテンツのいずれか遅い方に再生のタイミングを合わせることになり、受信装置におけるコンテンツ再生に遅延が発生してしまうという問題がある。
また、特に、通信コンテンツとして、CGをリアルタイムで描画しながらストリーミング配信する場合、近年の描画速度の高速化に伴い、リアルタイム性をある程度損なわないレベルに達している。
しかし、このようなリアルタイム描画でCGストリームを配信する場合は、従来の手法では、確実に放送コンテンツの表示タイミングがCGストリームの再生に合わせて遅延することになる。
本発明は、このような問題に鑑みてなされたものであり、放送コンテンツのリアルタイム性を損なうことなく、通信コンテンツであるCGストリームと放送コンテンツとを同期させることが可能なCGストリーム配信装置、放送通信連携受信装置、CGストリーム配信プログラム、CG同期再生プログラムおよびCGストリーム同期システムを提供することを課題とする。
本発明は、前記課題を解決するために創案されたものであり、まず、請求項1に記載のCGストリーム配信装置は、放送波で配信される放送コンテンツに通信回線で配信される通信コンテンツを連動させて提示する放送通信連携受信装置に前記通信コンテンツとしてCGをストリーミング配信するCGストリーム配信装置であって、通信送受信手段と、タイミング情報受信手段と、CGスクリプト読み出し手段と、CGストリーム生成手段と、CGストリーム送信手段と、を備える構成とした。
かかる構成において、CGストリーム配信装置は、タイミング情報受信手段によって、放送通信連携受信装置から、通信回線を介して、タイミング情報を受信する。このタイミング情報は、放送コンテンツに同期したCGの内容を記述したCGスクリプトを特定する識別情報として放送コンテンツに埋め込まれた情報である。すなわち、タイミング情報受信手段は、放送通信連携受信装置が放送コンテンツからタイミング情報を抽出したタイミングで、当該タイミング情報を受信する。
これによって、CGストリーム配信装置は、放送通信連携受信装置において放送コンテンツに同期して再生するためのCGとその再生タイミングを認識することができる。
そして、CGストリーム配信装置は、CGスクリプト読み出し手段によって、放送コンテンツに対応したCGスクリプトを予め記憶したCGスクリプト記憶手段から、タイミング情報で特定されるCGスクリプトを読み出す。そして、CGストリーム配信装置は、CGストリーム生成手段によって、CGスクリプト読み出し手段で読み出されたCGスクリプトからCGを再生し、CGストリームを生成する。
そして、CGストリーム配信装置は、CGストリーム送信手段によって、CGストリーム生成手段で生成されたCGストリームを、通信回線を介して、放送通信連携受信装置に送信する。
これによって、放送通信連携受信装置では、放送コンテンツからタイミング情報を抽出したタイミングで、CGを表示することができる。
また、請求項2に記載のCGストリーム配信装置は、請求項1に記載のCGストリーム配信装置において、割り込み受付手段をさらに備える構成とした。
かかる構成において、CGストリーム配信装置は、割り込み受付手段によって、放送通信連携受信装置から、通信回線を介して、CGストリームに対する割り込み要求を受信する。この割り込み要求は、CGスクリプトを特定する識別情報であって、放送通信連携受信装置から動作させたいCGスクリプトを要求するものである。
この割り込み要求を受信したCGストリーム配信装置は、CGスクリプト読み出し手段によって、割り込み要求で特定されるCGスクリプトをCGスクリプト記憶手段から読み出す。これによって、CGストリーム生成手段は、割り込み要求で指定されたCGスクリプトからCGストリームを生成することになり、CGストリーム配信装置は、割り込み要求に応じてCGストリームを放送通信連携受信装置に送信することができる。
また、請求項3に記載の放送通信連携受信装置は、放送波で配信される放送コンテンツに通信回線で配信される通信コンテンツであるCGを連動させて提示する放送通信連携受信装置であって、放送受信手段と、通信送受信手段と、タイミング情報抽出手段と、タイミング情報送信手段と、CGストリーム復号手段と、放送復号手段と、合成表示手段と、を備える構成とした。
かかる構成において、放送通信連携受信装置は、タイミング情報抽出手段によって、放送受信手段で受信した放送コンテンツから、タイミング情報を抽出する。このタイミング情報は、放送コンテンツに同期したCGの内容を記述したCGスクリプトを特定する識別情報として、放送を送信する放送送信装置において、予め埋め込まれた情報である。
そして、放送通信連携受信装置は、タイミング情報送信手段によって、タイミング情報抽出手段で抽出されたタイミング情報を、通信回線を介して、CGストリームを配信するCGストリーム配信装置に送信する。
これによって、放送通信連携受信装置は、放送コンテンツに同期して再生するためのCGをその再生タイミングで、CGストリーム配信装置に通知することができる。一方、CGストリーム配信装置は、そのタイミング情報で特定されるCGスクリプトから、CGストリームを生成し、放送通信連携受信装置に送信することができる。
そして、放送通信連携受信装置は、CGストリーム復号手段によって、CGストリーム配信装置から、通信回線を介して、CGストリームを受信し、表示装置で表示可能なデータであるCG表示データに復号する。
また、放送通信連携受信装置は、放送復号手段によって、放送コンテンツを表示装置で表示可能なデータである放送表示データに復号する。
そして、放送通信連携受信装置は、合成表示手段によって、放送復号手段で復号された放送表示データと、CGストリーム復号手段で復号されたCG表示データとを合成して表示する。なお、ここで、合成とは、映像においては、表示画面上の合成表示を意味し、音声においては、音声多重を意味する。例えば、それぞれの表示データを表示画面上で合成する場合、合成表示手段は、表示画面を区分した領域にそれぞれの表示データを表示するための画面データを生成する。
これによって、放送コンテンツに連動したCGが、放送コンテンツの表示と同期して表示されることになる。
また、請求項4に記載の放送通信連携受信装置は、請求項3に記載の放送通信連携受信装置において、割り込み情報記憶手段と、割り込み要求手段と、をさらに備える構成とした。
かかる構成において、放送通信連携受信装置は、割り込み情報記憶手段に、CGストリームに対する割り込み情報として、CGスクリプトを特定する識別情報を予め記憶しておく。
そして、放送通信連携受信装置は、割り込み要求手段によって、外部から操作制御手段を介して指示された割り込み指示に対応するCGスクリプトを特定する識別情報を、割り込み情報記憶手段から読み出し、割り込み要求として、通信回線を介して、CGストリーム配信装置に送信する。
これによって、放送通信連携受信装置は、CGストリーム配信装置に対して再生してもらいたいCGスクリプトを指示することができる。
また、請求項5に記載のCGストリーム配信プログラムは、放送波で配信される放送コンテンツに通信回線で配信される通信コンテンツを連動させて提示する放送通信連携受信装置に前記通信コンテンツとしてCGをストリーミング配信するために、前記通信回線を介してデータを送受信する通信送受信手段を備えたCGストリーム配信装置のコンピュータを、タイミング情報受信手段、CGスクリプト読み出し手段、CGストリーム生成手段、CGストリーム送信手段、として機能させる構成とした。
かかる構成において、CGストリーム配信プログラムは、タイミング情報受信手段によって、放送通信連携受信装置から、通信回線を介して、タイミング情報を受信する。このタイミング情報は、放送コンテンツに同期したCGの内容を記述したCGスクリプトを特定する識別情報として放送コンテンツに埋め込まれた情報である。
そして、CGストリーム配信プログラムは、CGスクリプト読み出し手段によって、放送コンテンツに対応したCGスクリプトを予め記憶したCGスクリプト記憶手段から、タイミング情報で特定されるCGスクリプトを読み出す。そして、CGストリーム配信プログラムは、CGストリーム生成手段によって、CGスクリプト読み出し手段で読み出されたCGスクリプトからCGを再生し、CGストリームを生成する。
そして、CGストリーム配信プログラムは、CGストリーム送信手段によって、CGストリーム生成手段で生成されたCGストリームを、通信回線を介して、放送通信連携受信装置に送信する。
また、請求項6に記載のCG同期再生プログラムは、放送波で配信される放送コンテンツに通信回線で配信される通信コンテンツであるCGを連動させて提示するために、前記放送コンテンツを受信する放送受信手段と、前記通信回線を介してデータを送受信する通信送受信手段と、を備えた放送通信連携受信装置のコンピュータを、タイミング情報抽出手段、タイミング情報送信手段、CGストリーム復号手段、放送復号手段、合成表示手段、として機能させる構成とした。
かかる構成において、CG同期再生プログラムは、タイミング情報抽出手段によって、放送受信手段で受信した放送コンテンツから、タイミング情報を抽出する。
そして、CG同期再生プログラムは、タイミング情報送信手段によって、タイミング情報抽出手段で抽出されたタイミング情報を、通信回線を介して、CGストリームを配信するCGストリーム配信装置に送信する。
そして、CG同期再生プログラムは、CGストリーム復号手段によって、CGストリーム配信装置から、通信回線を介して、CGストリームを受信し、表示装置で表示可能なデータであるCG表示データに復号する。
また、CG同期再生プログラムは、放送復号手段によって、放送コンテンツを表示装置で表示可能なデータである放送表示データに復号する。
そして、CG同期再生プログラムは、合成表示手段によって、放送復号手段で復号された放送表示データと、CGストリーム復号手段で復号されたCG表示データとを合成して表示する。
さらに、請求項7に記載のCGストリーム同期システムは、放送波で配信される放送コンテンツと、通信回線で配信される通信コンテンツであるCGストリームとを同期させるCGストリーム同期システムであって、放送コンテンツに予めCGを再生するタイミングを示すタイミング情報を埋め込んで配信する放送送信装置と、前記通信コンテンツとしてCGをストリーミング配信するCGストリーム配信装置と、前記放送コンテンツと前記CGストリームとを同期して表示する放送通信連携受信装置と、を備え、前記CGストリーム配信装置は、通信送受信手段と、タイミング情報受信手段と、CGスクリプト読み出し手段と、CGストリーム生成手段と、CGストリーム送信手段と、を備え、前記放送通信連携受信装置は、放送受信手段と、通信送受信手段と、タイミング情報抽出手段と、タイミング情報送信手段と、CGストリーム復号手段と、放送復号手段と、合成表示手段と、を備える構成とした。
かかる構成において、CGストリーム同期システムのCGストリーム配信装置は、タイミング情報受信手段によって、放送通信連携受信装置から、通信回線を介して、タイミング情報を受信する。
そして、CGストリーム配信装置は、CGスクリプト読み出し手段によって、放送コンテンツに対応したCGスクリプトを予め記憶したCGスクリプト記憶手段から、タイミング情報で特定されるCGスクリプトを読み出す。そして、CGストリーム配信装置は、CGストリーム生成手段によって、CGスクリプト読み出し手段で読み出されたCGスクリプトからCGを再生し、CGストリームを生成する。
そして、CGストリーム配信装置は、CGストリーム送信手段によって、CGストリーム生成手段で生成されたCGストリームを、通信回線を介して、放送通信連携受信装置に送信する。
また、CGストリーム同期システムの放送通信連携受信装置は、タイミング情報抽出手段によって、放送受信手段で受信した放送コンテンツから、タイミング情報を抽出する。
そして、放送通信連携受信装置は、タイミング情報送信手段によって、タイミング情報抽出手段で抽出されたタイミング情報を、通信回線を介して、CGストリーム配信装置に送信する。
そして、放送通信連携受信装置は、CGストリーム復号手段によって、CGストリーム配信装置から、通信回線を介して、CGストリームを受信し、表示装置で表示可能なデータであるCG表示データに復号する。
また、放送通信連携受信装置は、放送復号手段によって、放送コンテンツを表示装置で表示可能なデータである放送表示データに復号する。
そして、放送通信連携受信装置は、合成表示手段によって、放送復号手段で復号された放送表示データと、CGストリーム復号手段で復号されたCG表示データとを合成して表示する。
本発明は、以下に示す優れた効果を奏するものである。
請求項1,3,5〜7に記載の発明によれば、放送コンテンツの内容に同期して埋め込まれているタイミング情報によって、放送コンテンツとCGストリームとの同期をとることができる。これによって、本発明によれば、放送通信連携受信装置において、放送波で受信する放送コンテンツの表示を、通信回線を介して取得するCGストリームに合わせて遅延させる必要がなく、放送コンテンツのリアルタイム性を確保することができる。
請求項2,4に記載の発明によれば、放送コンテンツの内容に同期して埋め込まれているタイミング情報によって、放送コンテンツとCGストリームとの同期をとるとともに、放送通信連携受信装置からの割り込み要求によって、CGストリーム配信装置が当該割り込み要求で特定されるCGストリームを配信することができる。これによって、本発明によれば、放送コンテンツのリアルタイム性を確保するとともに、ユーザの指示に応じたインタラクティブなCGアプリケーションを実現することができる。
本発明の第1実施形態に係るCGストリーム同期システムの構成を示す構成図である。 本発明の第1実施形態に係るCGストリーム配信装置の構成を示すブロック構成図である。 本発明の第1実施形態に係る放送通信連携受信装置の構成を示すブロック構成図である。 TVMLで記述したCGスクリプトの例を示す図である。 タイミング情報の例を説明するための図である。 本発明の第1実施形態に係るCGストリーム同期システムにおいて、タイミング情報によってCGストリームを同期させる動作を示すフローチャートである。 本発明の第1実施形態に係るCGストリーム同期システムの放送通信連携受信装置において、タイミング情報に基づく、放送番組とCGコンテンツとの表示タイミングを説明するためのタイムチャートである。 本発明の第2実施形態に係るCGストリーム同期システムの構成を示す構成図である。 本発明の第2実施形態に係るCGストリーム配信装置の構成を示すブロック構成図である。 本発明の第2実施形態に係る放送通信連携受信装置の構成を示すブロック構成図である。 割り込み要求の例を説明するための図である。 割り込み情報の例を説明するための図である。 割り込みを発生させるユーザインタフェースの例を説明するためのリモコン装置の部分拡大図である。 本発明の第2実施形態に係るCGストリーム同期システムにおいて、割り込み要求によってCGストリームを配信する動作を示すフローチャートである。 本発明の第2実施形態に係るCGストリーム同期システムの放送通信連携受信装置において、タイミング情報および割り込み要求に基づく、放送番組とCGコンテンツとの表示タイミングを説明するためのタイムチャートである。
以下、本発明の実施形態について図面を参照して説明する。
≪第1実施形態≫
<CGストリーム同期システムの構成>
最初に、図1を参照して、本発明の第1実施形態に係るCGストリーム同期システムの構成について説明する。
CGストリーム同期システムSは、放送波Wを介して配信される放送コンテンツ(放送番組C)と、ネットワーク(通信回線)Nを介して配信される通信コンテンツ(CGストリームSt)とを、同期させるものである。
ここでは、CGストリーム同期システムSは、CGストリーム配信装置1と、放送通信連携受信装置2と、放送送信装置3と、を備える。なお、ここでは、CGストリーム配信装置1、放送通信連携受信装置2および放送送信装置3をそれぞれ1つずつ図示しているが、これらは、複数存在してもよいことはいうまでもない。
CGストリーム配信装置1は、放送番組Cに同期したCGの内容を記述したCGスクリプトScから、CGストリームStを生成し、通信コンテンツとして放送通信連携受信装置2にストリーミング配信するものである。
このCGスクリプトScは、CGの内容を番組台本として記述したテキストベースのスクリプト言語であって、例えば、TVML(TV program Making language)を用いることができる。このCGストリーム配信装置1は、放送局Bの図示を省略したサーバから、予めCGスクリプトScをダウンロードしておく。
このCGストリーム配信装置1は、放送通信連携受信装置2から、タイミング情報Tを取得した段階で、そのタイミング情報Tで特定されるCGスクリプトScから、CGストリームStを生成し、放送通信連携受信装置2に配信する。
放送通信連携受信装置2は、放送波Wで配信される放送コンテンツ(放送番組C)にネットワークNを介して配信される通信コンテンツであるCG(CGストリームSt)を連動させて提示するものである。
この放送通信連携受信装置2は、放送コンテンツ(放送番組C)から、CGを提示するタイミングを示すタイミング情報を抽出した段階で、そのタイミング情報Tを、CGストリーム配信装置1に送信する。
放送送信装置3は、放送波Wを介して、放送コンテンツ(放送番組C)を、放送通信連携受信装置2に配信するものである。
この放送送信装置3は、放送番組Cの内容に対応して表示させたいCGを特定する情報、すなわち、CGストリーム配信装置1が予めダウンロードしているCGスクリプトScで放送番組Cの内容に対応して再生させたいCGスクリプトを特定する情報を、タイミング情報として放送番組Cに埋め込んで、放送通信連携受信装置2に配信する。
例えば、放送番組Cに対応する手話CGを再生させたい場合、放送番組Cで発話している音声区間の先頭(しゃべり始め)にタイミング情報を埋め込んでおく。
このタイミング情報を放送番組Cに埋め込む手法は、特に限定しないが、例えば、ARIB STD−B23で規定されているアプリケーション情報テーブル(AIT:Application Information Table)にタイミング情報を記述し、当該AITを、放送番組を構成するエレメンタリストリーム(ES:Elementary Stream)としてセクション形式で放送TS(Transport Stream)に多重化する。また、例えば、ARIB STD−B10で規定されているイベント情報テーブル(EIT:Event Information Table)の新たな記述子としてタイミング情報を記述し、その記述子をEITの記述子領域に設定すればよい。もちろん、この記述子を特定する記述子タグは、放送通信連携受信装置2において既知のものであるとする。
そして、放送送信装置3は、放送コンテンツをストリーム配信する際に、CGを再生させたいタイミングでタイミング情報を記述したAITやEITを、放送コンテンツに多重化して送信する。
このように、CGストリーム同期システムSを構成することで、放送通信連携受信装置2は、放送送信装置3から配信される放送番組Cをリアルタイムで表示することができる。また、放送通信連携受信装置2は、放送番組Cに埋め込まれているタイミング情報を抽出した段階で、CGストリーム配信装置1からCGストリームStを取得するため、放送番組Cの内容に同期したCGを表示することができる。
以下、本発明の主要な構成であるCGストリーム配信装置1および放送通信連携受信装置2の構成および動作について詳細に説明する。
<CGストリーム配信装置の構成>
まず、図2を参照(適宜図1参照)して、本発明の第1実施形態に係るCGストリーム配信装置1の構成について説明する。ここでは、CGストリーム配信装置1は、通信送受信手段11と、CGスクリプト受信手段12と、CGスクリプト記憶手段13と、タイミング情報受信手段14と、CGスクリプト読み出し手段15と、CGストリーム生成手段16と、CGストリーム送信手段17と、を備える。
通信送受信手段11は、ネットワーク(通信回線)Nを介して、データを送受信するものである。なお、通信送受信手段11が送受信するデータは、放送局から受信するCGスクリプト、放送通信連携受信装置2から受信するタイミング情報、放送通信連携受信装置2に送信するCGストリーム等である。
CGスクリプト受信手段12は、放送局の図示を省略したサーバから、ネットワークNを介して、通信送受信手段11経由でCGスクリプトを受信するものである。このCGスクリプト受信手段12は、放送番組が配信される時刻よりも前に、放送局のサーバ(不図示)にCGスクリプトを要求して受信するものであってもよいし、定期的に放送局のサーバ(不図示)から配信されるCGスクリプトを受信するものであってもよい。
このCGスクリプト受信手段12は、受信したCGスクリプトをCGスクリプト記憶手段13に記憶する。
ここで、図4を参照して、CGスクリプトの例について説明する。図4は、CGスクリプトの例である、CGの内容を番組台本として記述したTVMLの記述例(xxxx.tvml)である。TVMLは、リターンで区切られた1行がひとつのイベントに対応する。そして、TVMLは、1行分のイベントを実行し、そのイベントが終了したら次の行に記述されたイベントを実行するように、その手順が記述されたテキストベースの言語である。
例えば、図4のCGスクリプトの例の場合、28〜29行目を再生すると、keyframename=S1001に割り当てられている動作(http://hybridcast.jp/Datafiles/Keyframe/S1001.bvh)をCGキャラクタ(CA)が実行する。
図2に戻って、CGストリーム配信装置1の構成について説明を続ける。
CGスクリプト記憶手段13は、CGスクリプト受信手段12で受信したCGスクリプトを記憶するものである。例えば、CGスクリプト記憶手段13は、ハードディスク、半導体メモリ等の一般的な記憶媒体で構成することができる。
タイミング情報受信手段14は、放送通信連携受信装置2からタイミング情報を受信するものである。ここでは、タイミング情報受信手段14は、ネットワークNを介して、通信送受信手段11経由でタイミング情報を受信する。このタイミング情報受信手段14は、受信したタイミング情報を、CGスクリプト読み出し手段15に出力する。
このタイミング情報は、放送通信連携受信装置2が、放送番組Cに同期したCGの内容を記述したCGスクリプトを特定する識別情報であって、放送通信連携受信装置2が、放送番組Cの表示に連動してCGストリームStの配信を要求するタイミングを示す情報である。
ここで、図5を参照して、タイミング情報の例について説明する。図5に示したタイミング情報の例では、2行目で、CGスクリプトの所在(http://hybridcast.jp/ch1/xxxx.tvml)を示し、3〜4行目で、当該CGスクリプトの再生箇所を示している。
例えば、2行目で特定されるCGスクリプトが、図4に示したCGスクリプト(xxxx.tvml)であった場合、3〜4行目で特定されるCGスクリプトの再生箇所は、図4に示したCGスクリプト(xxxx.tvml)の28〜29行目を示すことになる。
図2に戻って、CGストリーム配信装置1の構成について説明を続ける。
CGスクリプト読み出し手段15は、タイミング情報受信手段14で受信したタイミング情報で特定されるCGスクリプトを、CGスクリプト記憶手段13から読み出すものである。このCGスクリプト読み出し手段15は、読み出したCGスクリプトをCGストリーム生成手段16に出力する。
CGストリーム生成手段16は、CGスクリプト読み出し手段15で読み出されたCGスクリプトからCGの描画データとなるストリーミングデータ(CGストリーム)を生成するものである。このCGストリーム生成手段16は、予め定められたCGスクリプトの言語仕様に沿って、CGスクリプトからCGの描画データを生成する。例えば、CGスクリプトが、TVMLであれば、CGストリーム生成手段16は、TVMLプレイヤーを用いることができる。
なお、CGスクリプト内にファイルの参照先が記述されている場合、例えば、図4の22行目に記述されている「http://hybridcast.jp/〜」のように、ネットワーク上のファイルを参照する場合、CGストリーム生成手段16は、当該アドレスが、CGスクリプト記憶手段13内のアドレスであれば、CGスクリプト記憶手段13から、また、他のアドレスであれば、通信送受信手段11を介して他の記憶装置(不図示)から、ファイルデータを取得することとする。
このCGストリーム生成手段16は、CGの描画データを、ネットワークで配信可能なストリームデータ(CGストリーム)に変換し、CGストリーム送信手段17に出力する。例えば、CGストリーム生成手段16は、生成したCGの描画データを、MPEG2で規定されているトランスポートストリームに変換する。
CGストリーム送信手段17は、CGストリーム生成手段16で生成されたCGストリームを、タイミング情報を送信した放送通信連携受信装置2に送信するものである。ここでは、CGストリーム送信手段17は、通信送受信手段11経由で、ネットワークNを介してCGストリームを放送通信連携受信装置2に送信する。
以上説明したようにCGストリーム配信装置1を構成することで、CGストリーム配信装置1は、放送通信連携受信装置2からタイミング情報を受信した段階で、当該タイミング情報で特定されるCGを再生し、CGストリームとして放送通信連携受信装置2に送信することができる。
これによって、放送通信連携受信装置2では、放送番組に同期してCGを表示することが可能になる。
<放送通信連携受信装置の構成>
次に、図3を参照(適宜図1参照)して、本発明の第1実施形態に係る放送通信連携受信装置2の構成について説明する。ここでは、放送通信連携受信装置2は、放送受信手段21と、放送信号解析手段22と、映像・音声復号手段23と、データ放送復号手段24と、通信送受信手段25と、CGストリーム制御手段26と、操作制御手段27と、合成表示手段28と、を備える。
放送受信手段21は、アンテナAを介して、放送波Wとして送信される放送データ(放送信号)を受信するものである。この放送受信手段21は、放送データを受信、復調し、誤り訂正やTMCC(Transmission and Multiplexing Configuration Control)復号等の復号を行い、MPEG2のトランスポートストリーム(TS:Transport Stream)として、放送信号解析手段22に出力する。
なお、この放送受信手段21は、アンテナAを介して、電波によって放送信号を受信するものに限定されず、ケーブルを介して受信するものであってもよい。あるいは、通信データとして放送信号を受信するものであってもよい。
放送信号解析手段22は、放送受信手段21で復調されたストリームデータ(トランスポートストリーム)において、PSI/SI(Program Specific Information〔番組特定情報〕/Service Information〔番組配列情報〕)を解析し、現在選局されている編成チャンネルに対応する放送番組の映像、音声、データ放送用データ等の各種データを抽出するものである。なお、選局は、後記する操作制御手段27から通知されるチャンネル切替指示に基づいて行われる。
この放送信号解析手段22は、抽出した映像、音声等のデータであるPES(Packetized Elementary Stream)形式のデータについては、映像・音声復号手段23に出力し、抽出したデータ放送用データ等のデータであるセクション形式のデータについては、データ放送復号手段24に出力する。
また、ここで、放送信号解析手段22は、タイミング情報抽出手段22aを備える。
タイミング情報抽出手段22aは、放送番組に同期したCGの内容を記述したCGスクリプトを特定する識別情報として放送番組に埋め込まれているタイミング情報を、放送番組から抽出するものである。
このタイミング情報抽出手段22aが抽出するタイミング情報は、例えば、図5で説明したCGスクリプトの所在と、CGスクリプトの再生箇所を示す情報である。
なお、放送番組からタイミング情報を抽出するには、放送送信装置3において、放送番組にタイミング情報を埋め込む場所が予め定められており、タイミング情報抽出手段22aは、その埋め込み場所からタイミング情報を抽出すればよい。
例えば、放送送信装置3がES(エレメンタリストリーム)に多重化するAIT(アプリケーション情報テーブル)にタイミング情報を記述することとした場合、タイミング情報抽出手段22aは、当該AITからタイミング情報を抽出する。
また、例えば、放送送信装置3がEIT(イベント情報テーブル)の記述子内にタイミング情報を記述することとした場合、タイミング情報抽出手段22aは、当該EITからタイミング情報を抽出する。
これによって、タイミング情報抽出手段22aは、放送番組の内容に連動して埋め込まれているタイミング情報を、放送番組から抽出することができる。
このタイミング情報抽出手段22aは、抽出したタイミング情報をCGストリーム制御手段26に出力する。
映像・音声復号手段(放送復号手段)23は、放送信号解析手段22で抽出された映像・音声(映像ストリームおよび音声ストリーム)を復号するものである。この映像・音声復号手段23は、映像・音声が、例えば、MPEG2の符号化方式によって符号化されている場合、MPEG2の復号を行い表示可能な出力形式の映像・音声データ(放送表示データ)として、合成表示手段28に出力する。
データ放送復号手段(放送復号手段)24は、放送信号解析手段22で抽出されたデータ放送のデータを復号するものである。このデータ放送復号手段24は、BML(Broadcast Markup Language)を解析し、当該BMLを表示可能な出力形式に変換するBMLブラウザの機能を有し、変換したデータ放送データ(放送表示データ)を、合成表示手段28に出力する。
通信送受信手段25は、ネットワーク(通信回線)Nを介して、データを送受信するものである。この通信送受信手段25が送受信するデータは、CGストリーム配信装置1に送信するタイミング情報、CGストリーム配信装置1から受信するCGストリーム等である。
CGストリーム制御手段26は、放送番組(放送信号)からタイミング情報を抽出したタイミングで、CGストリーム配信装置1からCGストリームを取得し、CG表示データとして合成表示手段28に出力するものである。ここでは、CGストリーム制御手段26は、タイミング情報送信手段26aと、CGストリーム復号手段26bと、を備える。
タイミング情報送信手段26aは、タイミング情報抽出手段22aで抽出されたタイミング情報を、CGストリームを配信するCGストリーム配信装置2に送信するものである。ここでは、タイミング情報送信手段26aは、通信送受信手段25経由で、ネットワークNを介してタイミング情報をCGストリーム配信装置2に送信する。
CGストリーム復号手段26bは、CGストリーム配信装置2からCGストリームを受信し、復号するものである。ここでは、CGストリーム復号手段26bは、ネットワークNを介して、通信送受信手段25経由でCGストリームを受信する。そして、CGストリーム復号手段26bは、CGストリームを表示可能な出力形式に変換して、合成表示手段28に出力する。
例えば、CGストリームが、MPEG2の符号化方式によってトランスポートストリームとして符号化されている場合、CGストリーム復号手段26bは、MPEG2の復号を行う。
操作制御手段27は、外部のリモコン装置Re等の入力装置を介して、放送通信連携受信装置2に対するユーザの操作(チャンネル変更等)を制御するものである。
この操作制御手段27は、リモコン装置Reを介してユーザからチャンネルの変更が指示された場合、選択されたチャンネルのチャンネル番号を含んだチャンネル切替指示を放送信号解析手段22に通知する。これによって、現在視聴中のチャンネルが変更されることになる。
合成表示手段28は、映像・音声を合成して表示するものである。この合成表示手段28は、映像・音声復号手段23で復号された映像データ・音声データ(放送表示データ)、データ放送復号手段24で復号されたデータ放送の表示データ(放送表示データ)、および、CGストリーム復号手段26bで復号されたCG表示データをそれぞれ合成して表示する。
また、合成表示手段28は、合成した音声については、音声信号として外部に接続されたスピーカSp等の音声出力装置に出力し、合成した映像(画像)については、映像信号として外部に接続された液晶ディスプレイMo等の映像表示装置に出力する。
なお、合成表示手段28は、放送表示データとCG表示データとを画面上で合成する場合、表示画面上を予め定めた領域に区分して、それぞれの領域内で同一時間に放送表示データとCG表示データとをそれぞれ表示すればよい。あるいは、合成表示手段28は、放送表示データを画面全体に表示するとともに、表示画面に予め定めた大きさの窓領域を設け、その窓領域内にCG表示データを表示することとしてもよい。
以上説明したように放送通信連携受信装置2を構成することで、放送通信連携受信装置2は、放送番組に埋め込まれているタイミング情報を抽出した段階で、当該タイミング情報で特定されるCGストリームをCGストリーム配信装置1から取得することができる。これによって、放送通信連携受信装置2は、放送番組の内容に同期して、CGを表示することができる。
また、このとき、放送通信連携受信装置2は、放送番組については、CGストリームに同期させるような遅延処理を行わない。これによって、放送通信連携受信装置2は、緊急放送の表示について、リアルタイム性を確保することができる。
<CGストリーム同期システムの動作>
次に、図6を参照(構成については適宜図1〜図3参照)して、CGストリーム同期システムSの動作について説明する。
なお、放送通信連携受信装置2において、放送波Wを介して受信する放送番組を表示する動作については、一般的な動作であるため、ここでは説明を省略し、タイミング情報に基づいて、CGコンテンツをストリーム配信して、放送番組と同期させる動作について説明する。
まず、CGストリーム配信装置1は、CGスクリプト受信手段12によって、放送番組が配信される時刻よりも前に、放送局Bのサーバ(不図示)から、放送番組の内容に連動したCGスクリプトを受信し、CGスクリプト記憶手段13に予め記憶しておく(ステップS1)。
一方、放送通信連携受信装置2は、放送信号解析手段22によって、操作制御手段27で指示されたチャンネルの放送番組のデータを抽出中に、その放送番組にタイミング情報が埋め込まれていることを検出した場合(ステップS2でYes)、タイミング情報抽出手段22aによって、そのタイミング情報を抽出する(ステップS3)。なお、タイミング情報が埋め込まれていない場合(ステップS2でNo)、放送通信連携受信装置2は、以降の動作を行わない。
そして、ステップS3でタイミング情報が抽出された段階で、放送通信連携受信装置2は、CGストリーム制御手段26のタイミング情報送信手段26aによって、ネットワークNを介して、CGストリーム配信装置1に、抽出したタイミング情報を送信する(ステップS4)。
そして、CGストリーム配信装置1は、タイミング情報受信手段14によって、ステップS4で送信されたタイミング情報を受信する(ステップS5)。
そして、CGストリーム配信装置1は、CGスクリプト読み出し手段15によって、タイミング情報で特定されるCGスクリプトを、CGスクリプト記憶手段13から読み出し(ステップS6)、CGストリーム生成手段16によって、CGスクリプトからCGの描画データとなるストリーミングデータ(CGストリーム)を生成する(ステップS7)。
さらに、CGストリーム配信装置1は、CGストリーム送信手段17によって、ステップS7で生成されたCGストリームを、ネットワークNを介して、放送通信連携受信装置2に送信する(ステップS8)。
そして、放送通信連携受信装置2は、CGストリーム制御手段26のCGストリーム復号手段26bによって、ネットワークNを介して、ステップS8で送信されたCGストリームを受信し、復号する(ステップS9)。
そして、放送通信連携受信装置2は、合成表示手段28によって、ステップS9で復号されたCGコンテンツ(CG表示データ)を、放送番組と表示画面上で合成表示する(ステップS10)。
なお、この放送番組とCGコンテンツとの表示タイミングは、図7に示すようなタイムチャートで表すことができる。
図7に示すように、放送通信連携受信装置2が、時間経過に伴って放送番組を表示しているものとする。
ここで、放送通信連携受信装置2は、タイミング情報Tを抽出したタイミングで、タイミング情報TをCGストリーム配信装置1に送信する。そして、CGストリーム配信装置1は、タイミング情報Tに記述されているCGスクリプトを再生し、CGストリームとして放送通信連携受信装置2に送信する。
そして、放送通信連携受信装置2は、CGストリームを表示データCGとして表示することで、放送番組に連動してCGコンテンツを表示する。
同様に、放送通信連携受信装置2は、放送番組の内容に応じて放送番組に埋め込まれているタイミング情報T,T,Tを抽出した段階で、CGストリーム配信装置1からCGストリームを取得し、表示データCG,CG,CGとして表示することで、放送番組に連動してCGコンテンツを表示する。
このように、放送通信連携受信装置2は、放送局Bにおいて予め放送番組の内容に応じて任意のタイミングで埋め込まれているタイミング情報によって、放送番組に連動して(同期して)CGを表示することができる。
≪第2実施形態≫
<CGストリーム同期システムの構成>
次に、図8を参照して、本発明の第2実施形態に係るCGストリーム同期システムの構成について説明する。
CGストリーム同期システムSは、放送波Wを介して配信される放送コンテンツ(放送番組C)と、ネットワーク(通信回線)Nを介して配信される通信コンテンツ(CGストリームSt)とを、同期させるとともに、受信側のユーザの操作によって、インタラクティブにCGを再生するものである。
ここでは、CGストリーム同期システムSは、CGストリーム配信装置1Bと、放送通信連携受信装置2Bと、放送送信装置3と、を備える。なお、ここでは、CGストリーム配信装置1B、放送通信連携受信装置2Bおよび放送送信装置3をそれぞれ1つずつ図示しているが、これらは、複数存在してもよいことはいうまでもない。
CGストリーム配信装置1Bは、図1,図2で説明したCGストリーム配信装置1の機能をすべて含み、さらに、放送通信連携受信装置2から割り込み要求Rとして、CGを再生するCGスクリプトを指定されることで、そのCGスクリプトからCGストリームStを生成し、通信コンテンツとして放送通信連携受信装置2にストリーミング配信する機能を有する。
放送通信連携受信装置2Bは、図1,図3で説明した放送通信連携受信装置2の機能をすべて含み、さらに、ユーザの操作によって、CGをインタラクティブに変化させる機能を有する。
この放送通信連携受信装置2Bは、放送局Bの図示を省略したサーバから、割り込み処理を実行するCGスクリプトを特定するための情報を設定した割り込み情報Fを予めダウンロードしておく。そして、放送通信連携受信装置2Bは、ユーザの操作に応じて、割り込み情報Fに設定されているCGスクリプトを特定する割り込み要求Rを、CGストリーム配信装置1Bに送信することで、CGを変化させる。
放送送信装置3は、放送波Wを介して、放送コンテンツ(放送番組C)を、放送通信連携受信装置2に配信するものであって、図1で説明したものと同じものである。
以下、本発明の主要な構成であるCGストリーム配信装置1Bおよび放送通信連携受信装置2Bの構成および動作について詳細に説明する。
<CGストリーム配信装置の構成>
まず、図9を参照(適宜図8参照)して、本発明の第2実施形態に係るCGストリーム配信装置1Bの構成について説明する。ここでは、CGストリーム配信装置1Bは、通信送受信手段11と、CGスクリプト受信手段12と、CGスクリプト記憶手段13と、タイミング情報受信手段14と、CGスクリプト読み出し手段15Bと、CGストリーム生成手段16Bと、CGストリーム送信手段17と、割り込み受付手段18と、を備える。
CGスクリプト読み出し手段15B、CGストリーム生成手段16Bおよび割り込み受付手段18以外の構成は、図2で説明したCGストリーム配信装置1の構成と同一のものであるため、同一の符号を付して説明を省略する。以下、割り込み受付手段18、CGスクリプト読み出し手段15B、CGストリーム生成手段16Bの順に説明する。
割り込み受付手段18は、放送通信連携受信装置2から割り込み要求を受信するものである。ここでは、割り込み受付手段18は、ネットワークNを介して、通信送受信手段11経由で割り込み要求を受信する。この割り込み受付手段18は、受信した割り込み要求を、CGスクリプト読み出し手段15Bに出力する。
この割り込み要求は、CGスクリプト記憶手段13に予め記憶されているCGスクリプトを特定する識別情報である。
ここで、図11を参照して、割り込み要求の例について説明する。図11に示した割り込み要求の例では、2行目で、CGスクリプトの所在(http://hybridcast.jp/ch1/xxxx.tvml)を示し、3〜4行目で、割り込み処理として実行するCGスクリプトの再生箇所を示している。
例えば、2行目で特定されるCGスクリプトが、図4に示したCGスクリプト(xxxx.tvml)であった場合、3〜4行目で特定されるCGスクリプトの再生箇所は、図4に示したCGスクリプト(xxxx.tvml)の34行目、すなわち、カメラを切り替える処理を示すスクリプトを示している。
図9に戻って、CGストリーム配信装置1Bの構成について説明を続ける。
CGスクリプト読み出し手段15Bは、タイミング情報受信手段14で受信したタイミング情報で特定されるCGスクリプトおよび割り込み受付手段18で受信した割り込み要求で特定されるCGスクリプトを、CGスクリプト記憶手段13から読み出すものである。このCGスクリプト読み出し手段15Bは、読み出したCGスクリプトをCGストリーム生成手段16Bに出力する。
CGストリーム生成手段16Bは、CGスクリプト読み出し手段15Bで読み出されたCGスクリプトからCGの描画データとなるストリーミングデータ(CGストリーム)を生成するものであって、図2で説明したCGストリーム生成手段16と同じである。なお、CGストリーム生成手段16Bは、タイミング情報で特定されるCGスクリプトを再生中に、CGスクリプト読み出し手段15Bから、割り込み要求で特定されるCGスクリプトを通知された場合、2つのCGスクリプトを並列処理することとする。
例えば、タイミング情報に基づいて、ある手話動作のCGスクリプトからCGストリームを生成しているときに、キャラクタ変更の割り込み要求があった場合、CGストリーム生成手段16Bは、それぞれのCGスクリプトを並列して動作させる。すなわち、CGストリーム生成手段16Bは、一方のCGスクリプトで手話動作のCGを再生している途中で、他方のCGスクリプトでキャラクタを替える設定変更を行う。これによって、あるキャラクタが手話動作を行っている途中で、キャラクタが切り替わったCGが再生されることになる。
このように、タイミング情報に基づくCGスクリプトと、割り込み要求に基づくCGスクリプトとが、並列に処理されることで、生成されるCGは、一連の動作として混合したものとなる。
なお、CGストリーム生成手段16Bは、タイミング情報に基づくCGスクリプトと、割り込み要求に基づくCGスクリプトとを並列処理する場合であっても、CG描画の対象となるオブジェクトが同じで処理がコンフリクトする場合、前の処理を中止し、後の処理を優先することとする。
以上説明したようにCGストリーム配信装置1Bを構成することで、CGストリーム配信装置1Bは、放送通信連携受信装置2Bからタイミング情報を受信した段階で、当該タイミング情報で特定されるCGを再生し、CGストリームとして放送通信連携受信装置2に送信することができるとともに、放送通信連携受信装置2Bから割り込み要求を受信した段階で、当該割り込み情報で特定されるCGを再生し、CGストリームとして放送通信連携受信装置2に送信することができる
これによって、放送通信連携受信装置2Bでは、放送番組に同期してCGを表示するとともに、インタラクティブ処理を実現することが可能になる。
<放送通信連携受信装置の構成>
次に、図10を参照(適宜図8参照)して、本発明の第2実施形態に係る放送通信連携受信装置2Bの構成について説明する。ここでは、放送通信連携受信装置2Bは、放送受信手段21と、放送信号解析手段22と、映像・音声復号手段23と、データ放送復号手段24と、通信送受信手段25と、CGストリーム制御手段26Bと、操作制御手段27Bと、合成表示手段28と、割り込み情報記憶手段29と、を備える。
CGストリーム制御手段26B、操作制御手段27Bおよび割り込み情報記憶手段29以外の構成は、図3で説明した放送通信連携受信装置2の構成と同一のものであるため、同一の符号を付して説明を省略する。
CGストリーム制御手段26Bは、放送番組(放送信号)からタイミング情報を抽出したタイミング、および、ユーザから割り込みが指示されたタイミングで、CGストリーム配信装置1BからCGストリームを取得し、CG表示データとして合成表示手段28に出力するものである。ここでは、CGストリーム制御手段26Bは、タイミング情報送信手段26aと、CGストリーム復号手段26bと、割り込み情報取得手段26cと、割り込み要求手段26dと、を備える。タイミング情報送信手段26aおよびCGストリーム復号手段26bは、図3で説明したCGストリーム制御手段26の構成と同一であるため、同一の符号を付して説明を省略する。
割り込み情報取得手段26cは、放送局の図示を省略したサーバから、ネットワークNを介して、通信送受信手段25経由で割り込み情報を取得するものである。割り込み情報は、外部から指示される割り込み指示に対応して実行されるCGスクリプトを特定するための情報であって、当該指示とCGスクリプトの識別情報とを対応付けたものである。
この割り込み情報取得手段26cは、放送番組が配信される時刻よりも前に、放送局のサーバ(不図示)に割り込み情報を要求して取得するものであってもよいし、定期的に放送局のサーバ(不図示)から配信される割り込み情報を取得するものであってもよい。
この割り込み情報取得手段26cは、取得した割り込み情報を割り込み情報記憶手段29に記憶する。
ここで、図12を参照して、割り込み情報の例について説明する。図12に示した割り込み情報の例では、2行目で、CGスクリプトの所在(http://hybridcast.jp/ch1/xxxx.tvml)を示し、3〜6行目で、リモコン装置Reの青ボタン(”blue”)にCGスクリプトの21行目が割り当てられていることを示し、7〜10行目で、リモコン装置Reの赤ボタン(”red”)にCGスクリプトの34行目が割り当てられていることを示している。
図10に戻って、放送通信連携受信装置2Bの構成について説明を続ける。
割り込み要求手段26dは、操作制御手段27Bを介して指示された割り込み指示に対応するCGスクリプトを特定する識別情報を割り込み要求として、CGストリーム配信装置1Bに送信するものである。ここでは、割り込み要求手段26dは、割り込み指示に対応するCGスクリプトを特定する識別情報を、割り込み情報記憶手段29から読み出して、通信送受信手段25経由で、ネットワークNを介して、CGストリーム配信装置1Bに送信する。
例えば、図12に示した割り込み情報が割り込み情報記憶手段29に記憶されており、操作制御手段27Bから、割り込み指示として、リモコン装置Reの赤ボタンが押下されたことを通知された場合、割り込み要求手段26dは、図11に示した割り込み要求を生成して、CGストリーム配信装置1Bに送信する。
操作制御手段27Bは、外部のリモコン装置Re等の入力装置を介して、放送通信連携受信装置2に対するユーザの操作(チャンネル変更、割り込み指示等)を制御するものである。
この操作制御手段27Bは、図3で説明した操作制御手段27と同様に、リモコン装置Reを介してユーザからチャンネルの変更が指示された場合、選択されたチャンネルのチャンネル番号を含んだチャンネル切替指示を放送信号解析手段22に通知する。さらに、操作制御手段27Bは、リモコン装置Reを介してユーザから割り込みが指示された場合、その割り込みを特定する情報をCGストリーム制御手段26Bに通知する。
例えば、操作制御手段27Bは、図13に示したような一般的なリモコン装置Reの青ボタンB、赤ボタンB等を押下されることで、当該ボタンに割り当てられたコードをCGストリーム制御手段26Bに通知する。なお、ここでは、リモコン装置Reの一般的なボタンを用いた例を示しているが、専用のボタンを設けることとしても構わない。
割り込み情報記憶手段29は、割り込み情報取得手段26cが取得した割り込み情報(例えば、図12参照)を記憶するものである。例えば、割り込み情報記憶手段29は、ハードディスク、半導体メモリ等の一般的な記憶媒体で構成することができる。
なお、割り込み情報記憶手段29に記憶される割り込み情報によってどのような処理が行われるのかは、放送番組を配信する放送局で既知の情報であるため、どの割り込みで(例えば、リモコン装置Reのどのボタンで)、どのような処理(例えば、キャラクタの変更、カメラの切り替え等)を行うことができるのかは、放送番組の画面にメッセージで表示することとすればよい。
以上説明したように放送通信連携受信装置2Bを構成することで、放送通信連携受信装置2Bは、タイミング情報に基づいて、放送番組の内容に同期して、CGを表示することができるとともに、ユーザが指定したタイミングでユーザが指定したCGを表示することができる。
例えば、CGスクリプトとして、CGキャラクタを仮想的に撮影しているカメラの切り替え、CGキャラクタの変更、背景の変更等を予め記述しておき、CGストリーム配信装置1BのCGスクリプト記憶手段13に記憶しておくことで、割り込み要求で指示されたCGを、ユーザの指示によって変更させることができ、インタラクティブな処理を実現することができる。
<CGストリーム同期システムの動作>
次に、図14を参照(構成については適宜図8〜図10参照)して、CGストリーム同期システムSの動作について説明する。
なお、放送通信連携受信装置2Bにおいて、放送波Wを介して受信する放送番組を表示する動作については、一般的な動作であるため、ここでは説明を省略する。また、タイミング情報に基づいてCGコンテンツをストリーム配信して、放送番組と同期させる動作については、図6で説明した動作と同じであるためここでは説明を省略し、割り込み情報に基づいてCGコンテンツをストリーム配信する動作について説明する。
まず、放送通信連携受信装置2Bは、CGストリーム制御手段26Bの割り込み情報取得手段26cによって、放送番組が配信される時刻よりも前に、放送局Bのサーバ(不図示)から、放送番組の内容に連動したCGスクリプトに対応した割り込み情報を取得し、割り込み情報記憶手段29に予め記憶しておく(ステップS21)。
そして、放送通信連携受信装置2Bは、リモコン装置Reのボタン押下等によって、操作制御手段27Bを介して、割り込み指示が入力された場合(ステップS22でYes)、割り込み要求手段26dによって、割り込み指示に対応するCGスクリプトを特定する識別情報を割り込み情報記憶手段29から読み出す(ステップS23)。
そして、放送通信連携受信装置2Bは、割り込み要求手段26dによって、ステップS13で読み出された識別情報を、割り込み要求として、ネットワークNを介して、CGストリーム配信装置1Bに送信する(ステップS24)。
一方、CGストリーム配信装置1Bは、割り込み受付手段18によって、ステップS24で送信された割り込み要求を受信する(ステップS25)。
そして、CGストリーム配信装置1Bは、CGスクリプト読み出し手段15Bによって、割り込み要求で特定されるCGスクリプトを、CGスクリプト記憶手段13から読み出し(ステップS26)、CGストリーム生成手段16Bによって、CGスクリプトからCGの描画データとなるストリーミングデータ(CGストリーム)を生成する(ステップS27)。なお、CGストリーム生成手段16Bは、放送通信連携受信装置2Bから受信したタイミング情報に基づいてCGスクリプトからCGストリームを生成している場合(図6のステップS7に相当)、それぞれのCGスクリプトを並列処理する。
そして、CGストリーム配信装置1Bは、CGストリーム送信手段17によって、ステップS27で生成されたCGストリームを、ネットワークNを介して、放送通信連携受信装置2Bに送信する(ステップS28)。
そして、放送通信連携受信装置2Bは、CGストリーム制御手段26BのCGストリーム復号手段26bによって、ネットワークNを介して、ステップS8で送信されたCGストリームを受信し、復号する(ステップS29)。
そして、放送通信連携受信装置2Bは、合成表示手段28によって、ステップS29で復号されたCGコンテンツ(CG表示データ)を、放送番組と表示画面上で合成表示する(ステップS30)。
なお、この放送番組とCGコンテンツとの表示タイミングは、図15に示すようなタイムチャートで表すことができる。
図15に示すように、放送通信連携受信装置2Bが、時間経過に伴って放送番組を表示しているものとする。
ここで、放送通信連携受信装置2Bが、タイミング情報T,T,T,Tを抽出した段階で、CGストリーム配信装置1BからCGストリームを取得し、表示データCG,CG,CG,CGとして表示するシーケンスは、図7で説明した第1実施形態と同じである。
このとき、放送通信連携受信装置2Bは、ユーザのリモコン装置Reの操作によって、割り込みが指示されたタイミングで、割り込み要求RをCGストリーム配信装置1Bに送信する。そして、CGストリーム配信装置1Bは、割り込み要求Rで特定されるCGスクリプトを再生し、CGストリームとして放送通信連携受信装置2Bに送信する。
そして、放送通信連携受信装置2Bは、CGストリームを表示データCGとして表示することで、放送番組に連動してCGコンテンツを表示する。
同様に、放送通信連携受信装置2Bは、割り込み指示に応じて割り込み要求R,Rを送信した場合、CGストリーム配信装置1Bから、割り込み要求R,Rで特定されるCGスクリプトで生成されたCGストリームを取得し、表示データCG,CGとして表示することで、放送番組に連動してCGコンテンツを表示する。
以上、本発明の実施形態(第1実施形態、第2実施形態)について説明したが、本発明はこれらの実施形態に限定されるものではない。
例えば、ここでは、CGスクリプト記憶手段13を、CGストリーム配信装置1,1Bに備えることとしたが、このCGスクリプト記憶手段13は、CGストリーム配信装置1,1Bが参照可能なネットワークN上のどこに存在していても構わない。
すなわち、CGストリーム配信装置1,1Bは、CGスクリプト受信手段12およびCGスクリプト記憶手段13を省いて構成してもよい。この場合、CGスクリプト読み出し手段15,15Bは、タイミング情報に記述されているCGスクリプトの所在(例えば、図5のタイミング情報の2行目)に基づいて、CGスクリプトを、通信送受信手段11を介して読み出せばよい。
また、同様に、CGスクリプト読み出し手段15Bは、割り込み要求に記述されているCGスクリプトの所在(例えば、図11の割り込み要求の2行目)に基づいて、CGスクリプトを、通信送受信手段11を介して読み出せばよい。
また、CGストリーム配信装置1,1Bは、CGストリーム配信装置1,1Bの構成である前記した各手段として、コンピュータを機能させるためのCGストリーム配信プログラムで動作させることができる。この場合、CGストリーム配信装置1,1Bは、複数の放送通信連携受信装置2,2Bからタイミング情報を取得してCGストリーミングを配信するため、CGストリーム配信プログラムを、マルチタスクOS上で動作させればよい。
また、放送通信連携受信装置2,2Bについても、放送通信連携受信装置2,2Bの構成である前記した各手段として、コンピュータを機能させるためのCG同期再生プログラムで動作させることができる。
S CGストリーム同期システム
1 CGストリーム配信装置
11 通信送受信手段
12 CGスクリプト受信手段
13 CGスクリプト記憶手段
14 タイミング情報受信手段
15 CGスクリプト読み出し手段
16 CGストリーム生成手段
17 CGストリーム送信手段
2 放送通信連携受信装置
21 放送受信手段
22 放送信号解析手段
22a タイミング情報抽出手段
23 映像・音声復号手段(放送復号手段)
24 データ放送復号手段(放送復号手段)
25 通信送受信手段
26 CGストリーム制御手段
26a タイミング情報送信手段
26b CGストリーム復号手段
26c 割り込み情報取得手段
26d 割り込み要求手段
27 操作制御手段
28 合成表示手段

Claims (7)

  1. 放送波で配信される放送コンテンツに通信回線で配信される通信コンテンツを連動させて提示する放送通信連携受信装置に前記通信コンテンツとしてCGをストリーミング配信するCGストリーム配信装置であって、
    前記通信回線を介してデータを送受信する通信送受信手段と、
    前記放送コンテンツに同期したCGの内容を記述したCGスクリプトを特定する識別情報として前記放送コンテンツに埋め込まれたタイミング情報を、当該タイミング情報を前記放送コンテンツから抽出した前記放送通信連携受信装置から、前記通信回線を介して、受信するタイミング情報受信手段と、
    前記放送コンテンツに対応したCGスクリプトを予め記憶したCGスクリプト記憶手段から、前記タイミング情報受信手段で受信したタイミング情報で特定されるCGスクリプトを読み出すCGスクリプト読み出し手段と、
    このCGスクリプト読み出し手段で読み出されたCGスクリプトからCGストリームを生成するCGストリーム生成手段と、
    このCGストリーム生成手段で生成されたCGストリームを、前記通信回線を介して、前記放送通信連携受信装置に送信するCGストリーム送信手段と、
    を備えることを特徴とするCGストリーム配信装置。
  2. 前記CGストリームに対する割り込み要求として、CGスクリプトを特定する識別情報を、前記通信回線を介して、前記放送通信連携受信装置から受信する割り込み受付手段をさらに備え、
    前記CGスクリプト読み出し手段が、
    前記割り込み要求を受信した際に、前記割り込み要求で特定されるCGスクリプトを前記CGスクリプト記憶手段から読み出すことを特徴とする請求項1に記載のCGストリーム配信装置。
  3. 放送波で配信される放送コンテンツに通信回線で配信される通信コンテンツであるCGを連動させて提示する放送通信連携受信装置であって、
    前記放送コンテンツを受信する放送受信手段と、
    前記通信回線を介してデータを送受信する通信送受信手段と、
    前記放送コンテンツに同期したCGの内容を記述したCGスクリプトを特定する識別情報として前記放送コンテンツに埋め込まれているタイミング情報を、前記放送コンテンツから抽出するタイミング情報抽出手段と、
    このタイミング情報抽出手段で抽出されたタイミング情報を、前記通信回線を介して、CGストリームを配信するCGストリーム配信装置に送信するタイミング情報送信手段と、
    前記CGストリーム配信装置において前記タイミング情報で特定されるCGスクリプトから生成されるCGストリームを、前記通信回線を介して、前記CGストリーム配信装置から受信してCG表示データに復号するCGストリーム復号手段と、
    前記放送コンテンツを放送表示データに復号する放送復号手段と、
    この放送復号手段で復号された放送表示データと、前記CGストリーム復号手段で復号されたCG表示データとを合成して表示する合成表示手段と、
    を備えることを特徴とする放送通信連携受信装置。
  4. 前記CGストリームに対する割り込み情報として、CGスクリプトを特定する識別情報を予め記憶する割り込み情報記憶手段と、
    外部から操作制御手段を介して指示された割り込み指示に対応するCGスクリプトを特定する識別情報を、前記割り込み情報記憶手段から読み出して、割り込み要求として、前記通信回線を介して、前記CGストリーム配信装置に送信する割り込み要求手段と、
    をさらに備えることを特徴とする請求項3に記載の放送通信連携受信装置。
  5. 放送波で配信される放送コンテンツに通信回線で配信される通信コンテンツを連動させて提示する放送通信連携受信装置に前記通信コンテンツとしてCGをストリーミング配信するために、前記通信回線を介してデータを送受信する通信送受信手段を備えたCGストリーム配信装置のコンピュータを、
    前記放送コンテンツに同期したCGの内容を記述したCGスクリプトを特定する識別情報として前記放送コンテンツに埋め込まれたタイミング情報を、当該タイミング情報を前記放送コンテンツから抽出した前記放送通信連携受信装置から、前記通信回線を介して、受信するタイミング情報受信手段、
    前記放送コンテンツに対応したCGスクリプトを予め記憶したCGスクリプト記憶手段から、前記タイミング情報受信手段で受信したタイミング情報で特定されるCGスクリプトを読み出すCGスクリプト読み出し手段、
    このCGスクリプト読み出し手段で読み出されたCGスクリプトからCGストリームを生成するCGストリーム生成手段、
    このCGストリーム生成手段で生成されたCGストリームを、前記通信回線を介して、前記放送通信連携受信装置に送信するCGストリーム送信手段、
    として機能させるためのCGストリーム配信プログラム。
  6. 放送波で配信される放送コンテンツに通信回線で配信される通信コンテンツであるCGを連動させて提示するために、前記放送コンテンツを受信する放送受信手段と、前記通信回線を介してデータを送受信する通信送受信手段と、を備えた放送通信連携受信装置のコンピュータを、
    前記放送コンテンツに同期したCGの内容を記述したCGスクリプトを特定する識別情報として前記放送コンテンツに埋め込まれているタイミング情報を、前記放送コンテンツから抽出するタイミング情報抽出手段、
    このタイミング情報抽出手段で抽出されたタイミング情報を、前記通信回線を介して、CGストリームを配信するCGストリーム配信装置に送信するタイミング情報送信手段、
    前記CGストリーム配信装置において前記タイミング情報で特定されるCGスクリプトから生成されるCGストリームを、前記通信回線を介して、前記CGストリーム配信装置から受信してCG表示データに復号するCGストリーム復号手段、
    前記放送コンテンツを放送表示データに復号する放送復号手段、
    この放送復号手段で復号された放送表示データと、前記CGストリーム復号手段で復号されたCG表示データとを合成して表示する合成表示手段、
    として機能させるためのCG同期再生プログラム。
  7. 放送波で配信される放送コンテンツと、通信回線で配信される通信コンテンツであるCGストリームとを同期させるCGストリーム同期システムであって、
    前記放送コンテンツに予めCGを再生するタイミングを示すタイミング情報を埋め込んで配信する放送送信装置と、
    前記通信コンテンツとしてCGをストリーミング配信するCGストリーム配信装置と、
    前記放送コンテンツと前記CGストリームとを同期して表示する放送通信連携受信装置と、を備え、
    前記CGストリーム配信装置は、
    前記通信回線を介してデータを送受信する通信送受信手段と、
    前記放送コンテンツに同期したCGの内容を記述したCGスクリプトを特定する識別情報として前記放送コンテンツに埋め込まれたタイミング情報を、当該タイミング情報を前記放送コンテンツから抽出した前記放送通信連携受信装置から、前記通信回線を介して、受信するタイミング情報受信手段と、
    前記放送コンテンツに対応したCGスクリプトを予め記憶したCGスクリプト記憶手段から、前記タイミング情報受信手段で受信したタイミング情報で特定されるCGスクリプトを読み出すCGスクリプト読み出し手段と、
    このCGスクリプト読み出し手段で読み出されたCGスクリプトからCGストリームを生成するCGストリーム生成手段と、
    このCGストリーム生成手段で生成されたCGストリームを、前記通信回線を介して、前記放送通信連携受信装置に送信するCGストリーム送信手段と、を備え、
    前記放送通信連携受信装置は、
    前記放送コンテンツを受信する放送受信手段と、
    前記通信回線を介してデータを送受信する通信送受信手段と、
    前記放送コンテンツに同期したCGの内容を記述したCGスクリプトを特定する識別情報として前記放送コンテンツに埋め込まれているタイミング情報を、前記放送コンテンツから抽出するタイミング情報抽出手段と、
    このタイミング情報抽出手段で抽出されたタイミング情報を、前記通信回線を介して、CGストリームを配信するCGストリーム配信装置に送信するタイミング情報送信手段と、
    前記CGストリーム配信装置において前記タイミング情報で特定されるCGスクリプトから生成されるCGストリームを、前記通信回線を介して、前記CGストリーム配信装置から受信してCG表示データに復号するCGストリーム復号手段と、
    前記放送コンテンツを放送表示データに復号する放送復号手段と、
    この放送復号手段で復号された放送表示データと、前記CGストリーム復号手段で復号されたCG表示データとを合成して表示する合成表示手段と、
    を備えることを特徴とするCGストリーム同期システム。
JP2012163968A 2012-07-24 2012-07-24 Cgストリーム配信装置、放送通信連携受信装置、cgストリーム配信プログラム、cg同期再生プログラムおよびcgストリーム同期システム Active JP5903010B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012163968A JP5903010B2 (ja) 2012-07-24 2012-07-24 Cgストリーム配信装置、放送通信連携受信装置、cgストリーム配信プログラム、cg同期再生プログラムおよびcgストリーム同期システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012163968A JP5903010B2 (ja) 2012-07-24 2012-07-24 Cgストリーム配信装置、放送通信連携受信装置、cgストリーム配信プログラム、cg同期再生プログラムおよびcgストリーム同期システム

Publications (2)

Publication Number Publication Date
JP2014027361A JP2014027361A (ja) 2014-02-06
JP5903010B2 true JP5903010B2 (ja) 2016-04-13

Family

ID=50200665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012163968A Active JP5903010B2 (ja) 2012-07-24 2012-07-24 Cgストリーム配信装置、放送通信連携受信装置、cgストリーム配信プログラム、cg同期再生プログラムおよびcgストリーム同期システム

Country Status (1)

Country Link
JP (1) JP5903010B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170188062A1 (en) * 2014-04-09 2017-06-29 Lg Electronics Inc. Method and apparatus for transmitting/receiving broadcast signal
JP6043767B2 (ja) * 2014-09-26 2016-12-14 株式会社アステム 番組出力装置、補助情報管理サーバ、番組と補助情報の出力方法、及びプログラム
JP2016116065A (ja) * 2014-12-15 2016-06-23 日本放送協会 受信機、送信機、及びコンテンツの受信方法
JP6592309B2 (ja) * 2015-08-26 2019-10-16 日本放送協会 配信装置、情報提示装置、及び情報提示プログラム
JP2017055410A (ja) * 2016-10-03 2017-03-16 株式会社アステム 番組出力装置、番組管理サーバ、補助情報管理サーバ、番組と補助情報の出力方法、及びプログラム
JP6865131B2 (ja) * 2017-07-28 2021-04-28 日本放送協会 コンテンツ管理装置、コンテンツ管理方法及びコンテンツ管理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1158861C (zh) * 1998-06-17 2004-07-21 株式会社日立制作所 广播信号接收方法和广播信号接收装置
JP4252324B2 (ja) * 2003-01-28 2009-04-08 三菱電機株式会社 受信機、放送送出装置及び補助コンテンツサーバ
JP2006303938A (ja) * 2005-04-21 2006-11-02 Nippon Hoso Kyokai <Nhk> 放送番組受信装置および放送番組送信装置、並びに、放送番組受信プログラムおよび放送番組送信プログラム
JP2008033504A (ja) * 2006-07-27 2008-02-14 Nippon Hoso Kyokai <Nhk> 処理負荷発注装置、処理負荷受注装置、処理結果配信装置および処理結果出力装置、並びに、処理負荷発注受注システム
JP2011119869A (ja) * 2009-12-01 2011-06-16 Nippon Hoso Kyokai <Nhk> 番組制作システム及び番組制作プログラム

Also Published As

Publication number Publication date
JP2014027361A (ja) 2014-02-06

Similar Documents

Publication Publication Date Title
JP5903010B2 (ja) Cgストリーム配信装置、放送通信連携受信装置、cgストリーム配信プログラム、cg同期再生プログラムおよびcgストリーム同期システム
KR102529711B1 (ko) 수신 장치, 송신 장치, 및 데이터 처리 방법
JP6081984B2 (ja) 受信装置、放送通信連携システムおよび放送通信連携方法
JP5903924B2 (ja) 受信装置および字幕処理方法
KR101500440B1 (ko) 영상처리장치 및 영상처리방법
US8760579B2 (en) Video display apparatus, video display system and video display method
JP6399726B1 (ja) テキストコンテンツ生成装置、送信装置、受信装置、およびプログラム
WO2013190789A1 (ja) 受信装置およびその同期処理方法
JP2024096838A (ja) 放送サービス通信ネットワーク配信装置および方法
JP5907958B2 (ja) 放送機器
JP2020080481A (ja) インターネット経由で同時配信されるテレビ番組における字幕データの処理システム、処理方法およびプログラム
JP5864131B2 (ja) 放送通信連携システム、サーバ及びプログラム
JP5771098B2 (ja) 通信コンテンツ生成装置および通信コンテンツ生成プログラム
JP4755717B2 (ja) 放送受信端末装置
JP5466633B2 (ja) ストリーム切替方法およびデジタル放送送出システム
JP5846761B2 (ja) 受信機
JP5010102B2 (ja) 放送受信方式
JP2007215212A (ja) 受信装置
JP2006141015A (ja) 受信装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160311

R150 Certificate of patent or registration of utility model

Ref document number: 5903010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250