JP4042958B2 - External device-linked content playback apparatus, method and program thereof, and external device-linked content transmission method - Google Patents

External device-linked content playback apparatus, method and program thereof, and external device-linked content transmission method Download PDF

Info

Publication number
JP4042958B2
JP4042958B2 JP2002131330A JP2002131330A JP4042958B2 JP 4042958 B2 JP4042958 B2 JP 4042958B2 JP 2002131330 A JP2002131330 A JP 2002131330A JP 2002131330 A JP2002131330 A JP 2002131330A JP 4042958 B2 JP4042958 B2 JP 4042958B2
Authority
JP
Japan
Prior art keywords
external device
video
preparation
control signal
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002131330A
Other languages
Japanese (ja)
Other versions
JP2003324685A (en
Inventor
謙二郎 加井
和也 藤澤
宏和 小西
誠一 難波
光穗 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2002131330A priority Critical patent/JP4042958B2/en
Publication of JP2003324685A publication Critical patent/JP2003324685A/en
Application granted granted Critical
Publication of JP4042958B2 publication Critical patent/JP4042958B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、映像及び/又は音声のコンテンツに連動して外部機器を動作させる外部機器連動型コンテンツ再生装置、その方法及びそのプログラム、並びに外部機器連動型コンテンツ送信方法に関する。
【0002】
【従来の技術】
従来、家庭内の機器をLANで接続して制御することができるホームバスシステム(HBS:Home Bus System)が提唱され、例えばIEEE1394規格のインタフェースで、家庭内の照明器具やエアコン装置等を制御する技術が存在する。
【0003】
このような家庭内の機器を接続して動作させる環境において、放送番組に、その放送番組の内容に応じて受信機側の周辺機器(外部機器)を動作させる周辺機器動作指令情報を付加して、その放送番組の内容に応じて周辺機器を動作させる新しい放送方式の研究も行われている。
【0004】
例えば、「放送番組送受信システム、これに使用される放送装置及び受信装置、放送番組送受信方法、並びに、記録媒体再生システム、これに使用される記録媒体再生装置及び記録媒体(特開2001−333030号公報)」に、放送番組の内容に応じて、受信機側の周辺機器である照明器具、エアコン装置等を動作させる技術が開示されている。
【0005】
【発明が解決しようとする課題】
しかし、前記従来の技術は、放送番組の内容に応じて周辺機器(外部機器)を動作させると、その放送番組を視聴している視聴者の各家庭内の機器が一斉に動作するため、その放送番組を放送している放送エリア内で、大きな電力が必要になり、瞬時に集中して電力が必要になることから、電力供給不足等の事態を招くという問題がある。
【0006】
このため、従来、放送番組の内容に応じて外部機器を動作させるには、劇場等の予め決められた環境下で、同時に動作する外部機器を制限した状態で実現されており、放送サービスのような大規模なシステムでは実現することができないという問題があった。
【0007】
また、従来の技術では、外部機器を動作させてから、その効果が現れるまでに時間がかかり、映像や音声に連動させることが困難であるという問題がある。例えば、突風が吹いてきた場面を再現する場合、その時点で外部機器の1つである送風機を「強」の風力で動作させようとしても、風力が「強」になるまでには時間がかかり、いきなり吹いてきた突風を表現することができない。さらに、風力が「強」になった段階ではすでに場面が切り替わってしまう等の問題がある。
【0008】
本発明は、以上のような問題点に鑑みてなされたものであり、映像及び/又は音声の映像・音声コンテンツに連動して外部機器を動作させるときに、外部機器の電力消費の集中を抑え、また、外部機器の動作の効果を速やかに呈示することを可能にする外部機器連動型コンテンツ再生装置、その方法及びそのプログラム、並びに外部機器連動型コンテンツ送信方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の外部機器連動型コンテンツ再生装置は、送信装置から、映像及び/又は音声の映像・音声コンテンツに連動して外部機器を動作させる制御信号として、外部機器の準備動作が開始可能な準備可能時間を含み外部機器の準備を指示する動作準備指示信号、及び外部機器を動作させる動作実行指示信号を受信し、その制御信号の内容に基づいて、映像・音声コンテンツに連動して外部機器を動作させる外部機器連動型コンテンツ再生装置であって、以下の構成にかかるものとした。
【0010】
すなわち、映像・音声コンテンツと制御信号とを受信する受信手段と、この受信手段で受信した映像・音声コンテンツを再生する映像・音声コンテンツ再生手段と、受信手段で受信した制御信号を解析する制御信号解析手段と、制御信号が動作準備指示信号のときに、準備可能時間内で、当該外部機器連動型コンテンツ再生装置に固有の数値である識別番号から予め定めた演算により当該識別番号に対応した準備実行時刻を算出し、当該準備実行時刻に外部機器を動作可能な状態に準備する動作準備手段と、制御信号が動作実行指示信号のときに、外部機器を動作可能な状態から動作させる動作実行手段と、を備える構成とした。
【0011】
かかる構成によれば、外部機器連動型コンテンツ再生装置は、受信手段によって映像・音声コンテンツと制御信号とを受信し、映像・音声コンテンツ再生手段によって、映像・音声コンテンツを再生する。そして、外部機器連動型コンテンツ再生装置は、制御信号に基づいて、映像・音声コンテンツの再生に同期して、外部機器を動作させる。
【0012】
このとき、制御信号は、外部機器を動作可能な状態にする動作準備指示信号と、外部機器を動作させる動作実行指示信号とに分けて受信される。この外部機器連動型コンテンツ再生装置では、動作準備指示信号を受信したタイミングで、まず動作準備手段によって外部機器を動作可能な状態に準備する。ここで「外部機器を動作可能な状態に準備する」とは、例えば、ロボットの電源を入れておく、あるいは、送風機の風力を指定された風力にし、視聴者に呈示しないように出力を遮断した状態にしておく等、視聴者に外部機器の動作を呈示する直前の状態に設定することをいう。
【0013】
そして、動作実行指示信号を受信したタイミングで、動作実行手段によって外部機器を動作可能な状態から動作させて視聴者に呈示する。例えば、前記ロボットを動作させたり、前記送風機の風を遮断した状態から開放して視聴者に風を呈示する。これにより、動作実行指示信号のタイミングで、映像・音声コンテンツに同期して外部機器を動作させることができる。
なお、ここで、映像・音声コンテンツは、映像又は音声のいずれか一方、あるいは両方を含んだコンテンツを意味する。
【0016】
また、請求項2に記載の外部機器連動型コンテンツ再生方法は、送信装置から、映像及び/又は音声の映像・音声コンテンツに連動して外部機器を動作させる制御信号として、外部機器の準備動作が開始可能な準備可能時間を含み外部機器の準備を指示する動作準備指示信号、及び外部機器を動作させる動作実行指示信号を受信し、制御信号の内容に基づいて、映像・音声コンテンツに連動して外部機器を動作させる外部機器連動型コンテンツ再生方法であって、以下のステップを含むこととした。
【0017】
すなわち、映像・音声コンテンツと制御信号とを受信する受信ステップと、この受信ステップで受信した映像・音声コンテンツを再生する映像・音声コンテンツ再生ステップと、受信ステップで受信した制御信号を解析する制御信号解析ステップと、制御信号が動作準備指示信号のときに、準備可能時間内で、当該外部機器連動型コンテンツ再生装置に固有の数値である識別番号から予め定めた演算により当該識別番号に対応した準備実行時刻を算出し、当該準備実行時刻に外部機器を動作可能な状態にする動作準備ステップと、制御信号が動作実行指示信号のときに、外部機器を動作可能な状態から動作させる動作実行ステップと、を含むこととした。
【0018】
かかる方法によれば、外部機器連動型コンテンツ再生方法は、受信ステップにおいて、映像・音声コンテンツと制御信号とを受信し、映像・音声コンテンツ再生ステップにおいて、映像・音声コンテンツを再生する。そして、制御信号に基づいて、映像・音声コンテンツの再生に同期して、外部機器を動作させる。
【0019】
このとき、制御信号は、外部機器を動作可能な状態にする動作準備指示信号と、外部機器を動作させる動作実行指示信号とに分けて受信される。この外部機器連動型コンテンツ再生方法では、動作準備指示信号を受信したタイミングで、まず動作準備ステップにおいて外部機器を動作可能な状態に準備する。そして、動作実行指示信号を受信したタイミングで、動作実行ステップにおいて実際に外部機器の動作を視聴者に呈示する。なお、ここで、映像・音声コンテンツは、映像又は音声のいずれか一方、あるいは両方を含んだコンテンツを意味する。
【0022】
また、請求項3に記載の外部機器連動型コンテンツ再生プログラムは、送信装置から、映像及び/又は音声の映像・音声コンテンツに連動して外部機器を動作させる制御信号として、外部機器の準備動作が開始可能な準備可能時間を含み外部機器の準備を指示する動作準備指示信号、及び外部機器を動作させる動作実行指示信号を受信し、その制御信号の内容に基づいて、映像・音声コンテンツに連動して外部機器を動作させるために、コンピュータを、制御信号を解析する制御信号解析手段、制御信号が動作準備指示信号のときに、準備可能時間内で、当該外部機器連動型コンテンツ再生装置に固有の数値である識別番号から予め定めた演算により当該識別番号に対応した準備実行時刻を算出し、当該準備実行時刻に外部機器を動作可能な状態にする動作準備手段、制御信号が動作実行指示信号のときに、外部機器を動作させる動作実行手段、として機能させる構成とした。
【0023】
かかる構成によれば、外部機器連動型コンテンツ再生プログラムは、動作準備指示信号を受信したタイミングで、まず動作準備手段によって外部機器を動作可能な状態に準備する。そして、動作実行指示信号を受信したタイミングで、動作実行手段によって実際に外部機器の動作を視聴者に呈示する。なお、この外部機器連動型コンテンツ再生プログラムは、放送局等から各家庭の外部機器連動型コンテンツ再生装置にダウンロードして、動作させることもできる。
【0026】
また、請求項4に記載の外部機器連動型コンテンツ再生装置は、送信装置から、映像及び/又は音声の映像・音声コンテンツと、その映像・音声コンテンツに連動して外部機器を動作させる制御信号を受信し、映像・音声コンテンツに連動して外部機器を動作させる外部機器連動型コンテンツ再生装置であって、以下の構成にかかるものとした。
【0027】
すなわち、映像・音声コンテンツと制御信号とを受信する受信手段と、この受信手段で受信した映像・音声コンテンツを再生する映像・音声コンテンツ再生手段と、この映像・音声コンテンツ再生手段で再生された映像及び/又は音声の出力を当該外部機器連動型コンテンツ再生装置に固有の識別番号によりランダム化した時間で遅延させる映像・音声遅延手段と、この映像・音声遅延手段の遅延時間に合わせて、制御信号に対応する外部機器の動作を遅延させて実行させる外部機器制御手段と、を備える構成とした。
【0028】
かかる構成によれば、外部機器連動型コンテンツ再生装置は、受信手段によって映像・音声コンテンツと制御信号とを受信し、映像・音声コンテンツ再生手段によって、映像・音声コンテンツを再生する。ここで再生された映像・音声コンテンツは、映像・音声遅延手段によって、再生装置に固有の識別番号によりランダム化した時間で遅延させたのちに視聴者に呈示される。また、外部機器制御手段によって、この遅延された時間に合わせて、外部機器を動作させることで、映像、音声並びに外部機器の動作全体を遅延させる
【0029】
さらに、請求項5に記載の外部機器連動型コンテンツ再生装置は、送信装置から、映像及び/又は音声の映像・音声コンテンツと、その映像・音声コンテンツに連動して外部機器を動作させる制御信号とを多重化したデジタル放送データを受信し、映像・音声コンテンツに連動して外部機器を動作させる外部機器連動型コンテンツ再生装置であって、以下の構成にかかるものとした。
【0030】
すなわち、デジタル放送データを受信する受信手段と、この受信手段で受信したデジタル放送データを蓄積する蓄積手段と、受信手段で受信したデジタル放送データの受信時刻から当該外部機器連動型コンテンツ再生装置に固有の識別番号によりランダム化した時間で遅延させて、蓄積手段に蓄積されているデジタル放送データを読み出す遅延読み出し手段と、この遅延読み出し手段で読み出されたデジタル放送データを映像・音声コンテンツと、制御信号とに分離する分離手段と、この分離手段で分離された映像・音声コンテンツを再生する映像・音声コンテンツ再生手段と、分離手段で分離された制御信号に基づいて、外部機器を動作させる外部機器制御手段と、を備える構成とした。
【0031】
かかる構成によれば、外部機器連動型コンテンツ再生装置は、受信手段によって映像・音声コンテンツと制御信号と制御信号とを多重化したデジタル放送データを受信し、蓄積手段に蓄積する。この蓄積手段に蓄積されたデジタル放送データは、遅延読み出し手段によって、再生装置に固有の識別番号によりランダム化した時間で遅延したのちに読み出され、分離手段に出力され、映像・音声コンテンツと、制御信号とに分離される。そして、映像・音声コンテンツは、映像・音声コンテンツ再生手段によって再生され視聴者に呈示される。一方、制御信号は、外部機器制御手段によって、外部機器を動作させる信号として使用される
【0032】
また、請求項6に記載の外部機器連動型コンテンツ送信方法は、請求項1に記載の外部機器連動型コンテンツ再生装置に、映像及び/又は音声の映像・音声コンテンツと、その映像・音声コンテンツに連動して受信装置で制御可能な外部機器を動作させる動作制御信号とを送信する送信装置における外部機器連動型コンテンツ送信方法であって、外部機器の準備動作が開始可能な準備可能時間を含み外部機器の動作を準備させる動作準備指示信号を動作制御信号として送信する動作準備指示ステップと、映像・音声コンテンツに対応させて、外部機器を動作可能な状態から動作させる動作指示信号を動作制御信号として送信する動作実行指示ステップと、を含むこととした。
【0033】
かかる方法によれば、外部機器連動型コンテンツ送信方法は、動作準備指示ステップと、動作準備指示ステップとによって、外部機器を動作させるタイミングを外部機器の準備を行う動作と、外部機器を実際に動作させる命令に分けて送信する。これにより、動作実行指示ステップにおいて、外部機器を視聴者に呈示する状態に設定することができ、動作実行指示ステップにおいて、映像・音声コンテンツに同期して外部機器を速やかに実行させることができる。
【0034】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
(外部機器連動型コンテンツ放送システムの構成)
図1は、本発明における外部機器連動型コンテンツ送信方法及び外部機器連動型コンテンツ再生方法を実現するための外部機器連動型コンテンツ放送システムの概略構成を示したブロック図である。図1に示すように外部機器連動型コンテンツ放送システム10は、外部機器連動型コンテンツを送信する放送局の装置である外部機器連動型コンテンツ送信装置1と、外部機器連動型コンテンツを受信する各家庭の装置である外部機器連動型コンテンツ再生装置3と、この外部機器連動型コンテンツ再生装置3と家庭内ネットワーク7で接続された複数の外部機器9とで構成されている。
【0035】
外部機器連動型コンテンツ送信装置1は、映像及び音声と、その映像及び音声に連動して外部機器9を動作させる制御信号とを多重化した外部機器連動型コンテンツを、放送波5を介して各家庭に放送するものである。
外部機器連動型コンテンツ再生装置3は、放送波5を介して受信した外部機器連動型コンテンツを再生し、家庭内ネットワーク7に接続された外部機器9を映像や音声に同期させて動作させるものである。
【0036】
家庭内ネットワーク7は、視聴者の家庭内に敷設されたネットワークで、家庭内の機器を接続するものである。この家庭内ネットワーク7は、例えばIEEE1394規格のインタフェースによるホームバスシステム(HBS:Home Bus System)の形態であっても、また、シリアルポート等を用いたものでもよい。
【0037】
外部機器9は、外部機器連動型コンテンツ再生装置3からの動作命令に基づいて、映像や音声に同期して動作する機器である。例えば、送風機91は、送風によって映像中の場面における風の強さや、爽やかな雰囲気等を呈示するための装置であり、照明器具92は、照明の明るさによって映像中の場面と同様の照度を呈示したり、場面の明るい雰囲気等を呈示するための装置である。また、エアコン装置93は、設定された温度によって映像中の場面と同じ温度を呈示する装置である。また、人型ロボット94は、場面に登場する人物が踊ったり、うつむいたりする動作を再現することで、楽しい雰囲気や、人物の感情等を呈示する装置である。なお、この外部機器9は、家庭内ネットワーク7に接続可能な機器であれば、複数存在してもよい。
【0038】
(外部機器連動型コンテンツ再生装置の構成:第一の実施の形態)
以下、図2を参照して外部機器連動型コンテンツ再生装置3の構成について説明する。図2は、本発明における外部機器連動型コンテンツ再生装置3の全体構成を示すブロック図である。なお、図2では、外部機器連動型コンテンツ再生装置3に家庭内ネットワーク7を介して外部機器9が接続された構成を示している。図2に示すように、外部機器連動型コンテンツ再生装置3は、受信手段31と、分離手段32と、映像復号手段(映像・音声コンテンツ再生手段)33と、音声復号手段(映像・音声コンテンツ再生手段)34と、データ復号手段35と、外部機器制御手段36とを含む構成とした。
【0039】
この外部機器連動型コンテンツ再生装置3は、映像信号及び音声信号に、外部機器9を動作させる制御信号を付加した外部機器連動型コンテンツをデジタル放送データとして受信し、再生するものである。この外部機器連動型コンテンツ再生装置3は、この外部機器連動型コンテンツを再生することで、映像や音声に連動して外部機器を動作させ、臨場感あふれる放送番組の呈示を可能にするものである。
【0040】
受信手段31は、放送波を介して送信されてくるデジタル放送データを受信するものである。例えば、衛星デジタル放送では、一般に変調方式として8PSK(8−Phase Shift Keying)が用いられているが、この受信手段31は、その8PSKを復調するものである。ここで復調されたデジタル放送データは分離手段32に送出される。外部機器連動型コンテンツはこのデジタル放送データとして受信される。
【0041】
なお、この受信手段31は、アナログ放送にデータ信号を多重した放送信号を受信したり、インターネット等のネットワークを介して外部機器連動型コンテンツを受信する形態であっても構わない。
【0042】
分離手段32は、映像(符号化映像信号)、音声(符号化音声信号)及びデータ(符号化データ)を多重化したデジタル放送データを、それぞれの信号に分離するものである。例えば、衛星デジタル放送では、一般に多重化方式としてMPEG2(Moving Picture Experts Group 2)が用いられているが、この分離手段32は、MPEG2方式によって多重化されたTS(トランスポートストリーム)パケットを、符号化映像信号、符号化音声信号及び符号化データに分離するものである。
【0043】
ここで符号化データには、外部機器9をリアルタイムで動作させる命令データ(制御信号)と、外部機器連動型コンテンツ再生装置3で動作させるプログラムデータとがある。この命令データの伝送手順には、デジタル放送で使用されているデータ形式であるイベントメッセージやPES(Packetized Elementary Stream)データ等を利用することができる。また、プログラムデータは、デジタル放送で使用されているデータカルーセル等のファイル転送手順を用いることができる。
【0044】
映像復号手段33は、符号化された映像信号(符号化映像信号)を入力し、映像信号に復号するものである。ここで復号された映像信号はモニタ等の映像表示装置(図示せず)に送出され、映像として出力される。
【0045】
音声復号手段34は、符号化された音声信号(符号化音声信号)を入力し、音声信号に復号するものである。ここで復号された音声信号はスピーカ等の音声表示装置(図示せず)に送出され、音声として出力される。
【0046】
データ復号手段35は、分離手段32から送出される符号化データに基づいて、外部機器9を動作可能な状態にする動作準備命令や、外部機器9を動作させる動作実行命令を、指示信号として外部機器制御手段36に通知するものである。このデータ復号手段35は、制御信号解析手段35aと、動作準備手段35bと、動作実行手段35cとを備えて構成されている。
【0047】
この制御信号解析手段35aは、符号化データで示される命令データ(制御信号)の内容を解析し、その内容に基づいて外部機器9を動作可能な状態にする動作準備手段35bを起動させたり、外部機器9を動作させる動作実行手段35cを起動させたりするものである。なお、この外部機器9の準備動作と実行動作については、あとで図面を用いて説明する。
【0048】
また、動作準備手段35bは、符号化データで示される命令データが動作準備命令(動作準備指示信号)であるときに、制御信号解析手段35aから起動され、その動作準備命令に対応する外部機器9を動作可能な状態にする指示信号を外部機器制御手段36に通知するものである。なお、この動作準備手段35bは、外部機器9を動作可能な状態にする指示信号を任意の時間遅延させた後に外部機器制御手段36に通知する機能を有する。例えば、外部機器連動型コンテンツ再生装置3毎に固有に付された識別番号から遅延時間を算出する。
【0049】
また、動作実行手段35cは、符号化データで示される命令データが動作実行命令(動作実行指示信号)であるときに、制御信号解析手段35aから起動され、その動作実行命令に対応する外部機器9を動作させる指示信号を外部機器制御手段36に通知するものである。
【0050】
なお、制御信号解析手段35a、動作準備手段35b及び動作実行手段35cはプログラムとして動作する形態であっても構わない。例えば、符号化データとして、当該プログラムを受信し、そのプログラムをメモリ等の蓄積手段(図示せず)に蓄積し、CPUが読み出すことで処理を実行する。このプログラムは、ARIB(社団法人電波産業会)によって策定されたデータ放送サービス記述言語であるBML(Broadcast Markup Language)や、一般のプログラム言語であるJava(登録商標)等によって記述することが可能である。
【0051】
外部機器制御手段36は、データ復号手段35から通知される指示信号に基づいて、個々の外部機器9に合わせた動作制御信号を外部機器9に通知して、外部機器9を動作させるものである。この外部機器制御手段36は、外部機器9に対応した動作制御信号をテーブル形式で保持した動作制御テーブル(図示せず)を保持し、その動作制御テーブルを参照することで、外部機器9毎に異なる動作制御信号を出力する。
【0052】
(外部機器の準備動作及び実行動作について)
ここで、図2、図4及び図5を参照して、外部機器9の「準備動作」及び「実行動作」について説明する。ここでは、図2に示した電源バッファ部9aと、外部機器本体部9bと、出力バッファ部9cとを備えた外部機器9を参照して、具体的に説明する。また、図4は、電源バッファ部9aの例を示している。また、図5は出力バッファ9cの例を示している。なお、外部機器本体部9bは、送風機、照明器具等の外部機器本体を表わしている。
【0053】
電源バッファ部9aは、AC−DC変換部11と、蓄電部12と、DC−AC変換部13と、切り替え器14とを備え、外部から入力される電力を一時的に蓄えるものである。この電源バッファ部9aは、AC−DC変換部11によって交流電流(AC)を直流電流(DC)に変換し、蓄電部12に蓄積し、外部機器制御手段36から「準備動作」を示す動作制御信号を通知されたときに、蓄電部12に蓄積された電力をDC−AC変換部13によって交流電流に変換し、切り換え器14がDC−AC変換部13の出力を、外部機器本体部9bの電源とするものである。
そして、外部機器本体部9bが、外部機器制御手段36から「実行動作」を示す動作制御信号を通知されると、電源バッファ部9aからの出力を入力電源として動作を行う。
【0054】
このように電源バッファ部9aを用いて、外部機器9の動作を「準備動作」及び「実行動作」に分けて動作させることで、デジタル放送で各家庭に放送された外部機器連動型コンテンツを視聴しているときに、その外部機器9が一斉に動作するときの一時的なピーク電力の消費を吸収することができる。
【0055】
出力バッファ部9cは、外部機器本体部9bの出力を制御し、出力を停止したり、出力量を調整するものである。
例えば、図5(1)出力バッファ例1に示すように、外部機器本体部9bを送風機91、出力バッファ部9cを偏向板20とする。このように構成することで、外部機器制御手段36から風量「強」の強さの風を出力する「準備動作」を示す動作制御信号を通知されると、風を出力しないように偏向板20を閉じ、送風機91は、準備段階として風力を「強」まで上げる。そして、外部機器制御手段36から「実行動作」を示す動作制御信号を通知されると、偏向板20が開かれ、「強」の風が一斉に出力される。あるいは、偏向板20の向きや開閉量によって風の向きや風力を調整することも可能である。
【0056】
また、例えば、図5(2)出力バッファ例2に示すように、外部機器本体部9bを照明器具92、出力バッファ部9cを液晶シャッター21とする。このように構成することで、外部機器制御手段36から照明を灯す「準備動作」を示す動作制御信号を通知されると、光を出力しないように液晶シャッター21を閉じ、照明器具92を点灯する。そして、外部機器制御手段36から「実行動作」を示す動作制御信号を通知されると、液晶シャッター21が開かれ、その液晶シャッター21の開閉量によって光量を制御された光が出力される。
【0057】
さらに、図5(3)出力バッファ例3に示すように、外部機器本体部9bをにおい呈示装置95、出力バッファ部9cを気体貯蔵タンク23及び送風ファン24とする。このように構成することで、外部機器制御手段36から特定のにおいを生成する「準備動作」を示す動作制御信号を通知されると、におい呈示装置95は、香料気化器(22a,22b)によって、においの素となる香料を複数気化させ、気化香料注入パイプを通して一旦気体貯蔵タンク23に気化香料を蓄積する。そして、外部機器制御手段36から「実行動作」を示す動作制御信号を通知されると、送風ファン24が動作され、混合されたにおい(気化香料)が呈示される。
【0058】
このように、出力バッファ部9cを用いて、外部機器9の動作を「準備動作」及び「実行動作」に分けて動作させることで、「実行動作」時に映像や音声に連動した効果を瞬時に表わすことができる。なお、外部機器9が人型ロボットのように「準備動作」において動作を伴わない装置では、「準備動作」で電源をONにし、「実行動作」で実際に動作を行うこととしてもよい。
【0059】
また、「準備動作」はリアルタイム性を必要しないため、外部機器連動型コンテンツ再生装置3毎に異なったタイミングで外部機器9の「準備動作」を実行させることで、デジタル放送で各家庭に放送された外部機器連動型コンテンツを視聴しているときに、外部機器9の準備開始時間をずらすことができ、一時的なピーク電力の消費を抑えることができる。
【0060】
(外部機器連動型コンテンツ再生装置の動作)
次に、図2乃至図3を参照して、外部機器連動型コンテンツ再生装置3の動作について説明する。図3は、外部機器連動型コンテンツ再生装置3の外部機器制御動作(外部機器連動型コンテンツ送信方法の動作を含む)を示すフローチャートである。なお、この動作は、データ復号手段35に蓄積されているプログラム(外部機器連動型コンテンツ再生プログラム)の動作でもある。
【0061】
この外部機器連動型コンテンツ再生プログラムは、デジタル放送データで送信されてくる命令データに基づいて動作するものである。なお、この命令データには、動作準備命令、動作実行命令、動作準備解除命令があり、動作準備解除命令は、動作準備命令で行った外部機器9の準備動作を停止させるものとする。
【0062】
まず、外部機器連動型コンテンツ再生プログラムが起動されると、動作準備命令を受信するまで待ち受け状態になる(ステップS1)。そして、外部機器連動型コンテンツ送信装置1(図1)からデジタル放送データとして送信される動作準備命令を受信すると(ステップS2)、外部機器9に対して「準備動作」を実行させるための動作タイミング時間(準備実行時刻)を算出する(ステップS3)。タイマによる経過時間がこの準備実行時刻に達した段階で、外部機器制御手段36を介して、外部機器9に動作準備命令に対応する指示信号を通知し、外部機器9の準備を実行する(ステップS4)。
【0063】
そして、外部機器連動型コンテンツ再生プログラムは、動作実行命令を受信するまで待ち受け状態になる(ステップS5)。そして、外部機器連動型コンテンツ送信装置1(図1)からデジタル放送データとして送信される動作実行命令を受信すると(ステップS6)、外部機器制御手段36を介して、外部機器9に動作実行命令に対応する指示信号を通知し、外部機器9の動作を実行させる(ステップS7)。
【0064】
ここで、外部機器連動型コンテンツ再生プログラムは、デジタル放送データが終了(放送終了)したか、視聴者による視聴終了の指示(受信終了操作)があったか、あるいは、動作準備解除命令を受信したかどうかを判定し(ステップS8)、どの判定内容にも該当しない場合(No)は、ステップS5へ戻って動作実行命令の待ち受け状態に入る。
【0065】
一方、ステップS8でいずれかの判定内容に合致した場合(Yes)は、外部機器制御手段36を介して、外部機器9に動作準備解除命令に対応する指示信号を通知し、外部機器9の動作を停止(準備解除実行)し(ステップS9)、ステップS1へ戻って、動作準備命令の待ち受け状態に入る。
【0066】
(準備動作の分散処理について)
ここで、図6乃至図8(適宜図2参照)を参照して、外部機器9に対して「準備動作」を実行させる準備実行時刻を算出する方法について詳述する。図6は、準備実行時刻を算出するために必要な時間を時間軸(時間t)に沿って示したタイミング図である。図7は、準備実行時刻を算出する動作を示すフローチャートである。図8は、準備実行時刻を算出するために必要な、外部機器連動型コンテンツ送信装置1(図1)から送信される命令データの記述を説明するための説明図である。
【0067】
図6に示すように、外部機器9は「準備動作」に特定の時間(最低準備必要時間tr)を要するため、「準備動作」を実行する準備実行時刻T2は、「実行動作」を実行する動作実行時刻T3に比べ、最低準備必要時間tr以上の余裕をもって実行しなければいけない。ここで、「準備動作」を開始できる最も早い時刻(準備開始時刻T1)から、最低準備必要時間tr以上の余裕を持った時間間隔を準備可能時間Taとすると、準備実行時刻T2は、準備開始時刻T1以降で準備可能時間Taの間のどこで実行してもよいことになる。
【0068】
そこで、外部機器連動型コンテンツ再生装置3毎に遅延時間tdを変えることで準備実行時刻T2を分散させることができ、これによって、デジタル放送で各家庭に放送された外部機器連動型コンテンツを視聴し、外部機器9を動作させるときに使用される電力を分散させることが可能になる。
【0069】
図8は、図6に示した準備開始時刻T1や準備可能時間Taを命令データとして通知する際の命令データの記述例を示している。この命令データは、デジタル放送データの外部機器連動型コンテンツ内に多重化されて送られてくるデータ(制御信号)である。
【0070】
例えば、図8(1)に示すように動作準備命令は、動作準備コマンド(Prepare)と、外部機器種別(DeviceA)と、準備開始時刻T1と、準備可能時間Taと、分割数Nで構成される。ここで、動作準備コマンド(Prepare)は、この命令データが動作準備命令であることを示している。また、外部機器種別(DeviceA)は、動作させる外部機器の種類を特定するもので、これによって外部機器9が送風機であるか、照明器具であるか、ロボットであるか等の区別を行うことができる。準備開始時刻T1及び準備可能時間Taは図6で説明した内容と同一であるので説明を省略する。また、分割数Nは、準備可能時間Ta内で準備実行時刻T2をどれだけ分散させるかを設定する値である。
【0071】
また、動作実行命令及び動作準備解除命令の命令データの例も、動作準備命令に同様な形式で図8(2)及び図8(3)に示した。なお、ここで「“NOW”(即時指定)」は、この命令(動作実行命令又は動作準備解除命令)を受信したら、即時実行することを示している。例えば、ここに時間を設定することで、その時間経過後に動作を実行させることも可能である。
【0072】
次に、図7を参照して、準備実行時刻を算出する動作を説明する。なお、この動作は図3のステップS3を詳細に示したものである。
まず、動作準備命令(図8(1))から準備開始時刻T1、準備可能時間Ta、分割数Nを受信する(ステップS31)。そして(1)式によって準備可能時間Taを分割数Nで分割した最小分散時間間隔Δtを算出する(ステップS32)。
【0073】
Δt=Ta/N … (1)
【0074】
そして、外部機器連動型コンテンツ再生装置3に固有に付された識別番号(受信機ID)に基づいて、(2)式によって遅延時間tdを算出する(ステップS33)。
【0075】
td=(受信機ID mod N)×Δt … (2)
【0076】
ここで「A mod B」は、AをBで割った余りを示す。なお、(2)式は、(3)式のように受信機IDの代わりに乱数を用いてもよい。
【0077】
td=(乱数 mod N)×Δt … (3)
【0078】
なお、この乱数は、受信機IDを乱数シードとした擬似乱数である。(2)式又は(3)式で算出した遅延時間tdに基づいて、(4)式によって準備実行時間T2を算出する(ステップS34)。
【0079】
T2=T1+td … (4)
【0080】
以上のステップによって、外部機器連動型コンテンツ再生装置3が外部機器9を「準備動作」させる時刻である準備実行時刻T2を準備可能時間Ta内で分散させることができる。
【0081】
なお、この準備動作の分散処理は、外部機器連動型コンテンツを送出する側である外部機器連動型コンテンツ送信装置1(図1;以下送信装置という)で行うことも可能である。そこで、図6、図9及び図10を参照して、送信装置が、外部機器連動型コンテンツ再生装置(図2;以下再生装置という)の受信機ID毎に動作準備命令を送出する時刻である準備実行時刻T2を算出する方法について説明する。図9は、送信装置において、外部機器9を動作させる動作準備命令送出時刻を算出する動作を示すフローチャートである。図10は、送信装置で準備動作の分散処理を行う場合の命令データの記述を説明するための説明図である。
【0082】
図9に示すように、外部機器連動型コンテンツ制作者は、外部機器9毎(外部機器種別毎)に「準備動作」に要する時間(最低準備必要時間tr)を決定し(ステップS51)、制作する外部機器連動型コンテンツの番組シナリオから「準備動作」を開始できる最も早い時刻(準備開始時刻T1)と、「実行動作」を開始する動作実行時刻T3とを決定する(ステップS52)。
そして、(5)式によって準備可能時間Taを算出する(ステップS53)。
【0083】
Ta=T3−T1−tr … (5)
【0084】
そして、準備可能時間Ta内で準備実行時刻T2をどれだけの時間間隔で分散させるかを決める最小分散時間間隔Δtを設定し(ステップS54)、分割数Nを(6)式によって算出する(ステップS55)。
【0085】
N=Ta/Δt … (6)
【0086】
なお、この最小分散時間間隔Δtが小さいほど再生装置に接続された外部機器の動作時刻を分散させることができる。
そして、再生装置(受信機)に固有に付された識別番号(受信機ID)に基づいて、前記した(2)式又は(3)式によって遅延時間tdを算出する(ステップS56)。この(2)式又は(3)式で算出した遅延時間tdに基づいて、(4)式によって準備実行時間T2を算出する(ステップS57)。
【0087】
なお、ここで算出された準備実行時間T2や、ステップS52で決定した動作実行時刻T3を受信機ID毎に命令データの送信テーブルとする。そして、この送信テーブルによって、受信機ID毎に命令データの送出時刻が決定され、同じ送出時刻の受信機グループが決まることになる。例えば、受信機IDをある除数で割り算し、その余りによって受信機グループを決めることができる。そして、決定された受信機グループ毎に命令データを送出する。
【0088】
以上のステップによって、送信側で外部機器を「準備動作」させる時間である準備実行時刻T2を準備可能時間Ta内で分散させることができる。
このように、送信装置で準備実行時刻T2を遅延させる場合の送信装置から再生装置に送信する命令データの例を図10に示す。
【0089】
図10(1)は動作準備命令を示し、動作準備コマンド(Prepare)と、外部機器種別(DeviceA)と、即時指定(“NOW”)と、受信機IDとで構成されている。この動作準備命令を送信装置が送出することで、この受信機IDを持つ再生装置のみが、外部機器の「準備動作」を実行する。
なお、図10(2)の動作実行命令及び図10(3)の動作準備解除命令は、図8に示した命令データと同一であるので説明は省略する。
【0090】
(外部機器連動型コンテンツ再生装置の構成:第二の実施の形態)
次に、図11を参照して外部機器連動型コンテンツ再生装置の第二の実施の形態について説明する。図11は、本発明における外部機器連動型コンテンツ再生装置3Bの全体構成を示すブロック図である。なお、図11では、外部機器連動型コンテンツ再生装置3Bに家庭内ネットワーク7を介して外部機器9が接続された構成を示している。図11に示すように、外部機器連動型コンテンツ再生装置3Bは、受信手段31と、分離手段32と、映像復号手段(映像・音声コンテンツ再生手段)33と、音声復号手段(映像・音声コンテンツ再生手段)34と、データ復号手段35Bと、外部機器制御手段36Bと、映像遅延手段37と、音声遅延手段38とを含む構成とした。
【0091】
この外部機器連動型コンテンツ再生装置3Bは、図2の外部機器連動型コンテンツ再生装置3に映像遅延手段37及び音声遅延手段38を付加し、データ復号手段35及び外部機器制御手段36の機能を変更したデータ復号手段3B及び外部機器制御手段36Bを備えて構成している。他の構成は図2に示したものと同一であるので同一の符号を付し、その説明は省略する。
【0092】
データ復号手段35Bは、分離手段32から送出される符号化データに基づいて、外部機器9を動作可能な状態にする動作準備命令や、外部機器9を動作させる動作実行命令を、指示信号として外部機器制御手段36Bに通知するものである。なお、ここでは外部機器9の準備動作の分散処理は行なわず、命令データを指示信号として外部機器制御手段36Bに通知する。
【0093】
外部機器制御手段36Bは、データ復号手段35Bから通知される指示信号に基づいて、個々の外部機器9に合わせた動作制御信号を外部機器9に通知して、外部機器9を動作させるものである。この外部機器制御手段36Bは、映像遅延手段37又は音声遅延手段38から通知される遅延時間に基づいて、外部機器9へ通知する動作制御信号を遅延させる。
【0094】
映像遅延手段37は、映像復号手段33で復号された映像信号を遅延させて出力するものである。また、音声遅延手段38は、音声復号手段34で復号された音声信号を遅延させて出力するものである。ここで、映像遅延手段37及び音声遅延手段38の遅延時間は同時間とし、いずれか一方の遅延時間を外部機器制御手段36Bに通知する。なお、この遅延時間は、外部機器連動型コンテンツ再生装置3Bに固有の識別番号(受信機ID)に基づいてランダム化する。
【0095】
これによって、外部機器連動型コンテンツであるデジタル放送データを視聴した各家庭の外部機器9の動作開始時間を分散させることができ、一時的なピーク電力の消費を抑えることができる。
【0096】
(外部機器連動型コンテンツ再生装置の構成:第三の実施の形態)
次に、図12を参照して外部機器連動型コンテンツ再生装置の第三の実施の形態について説明する。図12は、本発明における外部機器連動型コンテンツ再生装置3Cの全体構成を示すブロック図である。なお、図12では、外部機器連動型コンテンツ再生装置3Cに家庭内ネットワーク7を介して外部機器9が接続された構成を示している。図12に示すように、外部機器連動型コンテンツ再生装置3Cは、受信手段31Bと、分離手段32と、映像復号手段(映像・音声コンテンツ再生手段)33と、音声復号手段(映像・音声コンテンツ再生手段)34と、データ復号手段35Bと、外部機器制御手段36と、蓄積手段39と、遅延読み出し手段40とを含む構成とした。
【0097】
この外部機器連動型コンテンツ再生装置3Cは、図2の外部機器連動型コンテンツ再生装置3に蓄積手段39及び遅延読み出し手段40を付加し、受信手段31及びデータ復号手段35の機能を変更した受信手段31B及びデータ復号手段35Bを備えて構成している。他の構成は図2に示したものと同一であるので同一の符号を付し、その説明は省略する。また、データ復号手段35Bは図11に示したものと同一であるので説明は省略する。
【0098】
受信手段31Bは、放送波を介して送信されてくるデジタル放送データを受信するものである。例えば、衛星デジタル放送においては、8PSKで変調されたデータをするものである。また、この受信手段31Bは復調したデータ(外部機器連動型コンテンツ)を蓄積手段39に蓄積し、受信があった旨(受信通知)を遅延読み出し手段40に通知するものである。
蓄積手段39は、外部機器連動型コンテンツを蓄積するもので、例えばハードディスク等で構成されている。
【0099】
遅延読み出し手段40は、蓄積手段39に蓄積されている外部機器連動型コンテンツを読み出して、分離手段32へ送出するものである。なお、この遅延読み出し手段40は、受信手段31Bから受信通知を通知された時間を基準として、蓄積手段39からの外部機器連動型コンテンツの読み出し開始時間を遅延させるものである。なお、この遅延時間は、外部機器連動型コンテンツ再生装置3Bに固有の識別番号(受信機ID)に基づいてランダム化する。
【0100】
これによって、外部機器連動型コンテンツであるデジタル放送データを視聴した各家庭の外部機器9の動作開始時間を分散させることができ、一時的なピーク電力の消費を抑えることができる。
【0101】
【発明の効果】
以上説明したとおり、本発明に係る外部機器連動型コンテンツ再生装置、その方法及びそのプログラム、並びに外部機器連動型コンテンツ送信方法では、以下に示す優れた効果を奏する。
【0102】
請求項1乃至請求項3又は請求項6に記載の発明によれば、映像及び/又は音声の映像・音声コンテンツに連動して動作する外部機器が、その動作を実行するための準備作業を事前に行うことができるので、コンテンツ制作者の意図する外部機器動作の効果を、映像や音声から遅延することなく速やかに視聴者に呈示することができる。これにより視聴者は、臨場感あふれる放送番組を満喫することができる。
【0103】
また、請求項1乃至請求項3又は請求項6に記載の発明によれば、各家庭の外部機器の準備動作時刻を分散させることができるので、電力消費の時間的集中を抑制することが可能になる。また、この準備動作時刻の分散を放送局側から制御することが可能になり、任意の分布で分散させることができる。これにより、外部機器に連動した放送サービスを提供することができ、放送における表現方法を大きく広げることができる。
【0104】
請求項4又は請求項5に記載の発明によれば、各家庭の外部機器の動作開始時刻を分散させることができるので、電力消費の時間的集中を抑制することが可能になる。これにより、人間の五感を最大限に利用した放送サービスを提供することができ、放送における表現方法を大きく広げることができる。
【図面の簡単な説明】
【図1】外部機器連動型コンテンツ放送システムの概略構成を示したブロック図である。
【図2】本発明の第一の実施の形態に係る外部機器連動型コンテンツ再生装置の構成を示すブロック図である。
【図3】本発明の第一の実施の形態に係る外部機器連動型コンテンツ再生装置の動作を示すフローチャートである。
【図4】電源バッファの構成例を示すブロック図である。
【図5】出力バッファの構成例を説明するための説明図である。
【図6】準備実行時刻を算出するために必要な時間を時間軸に沿って示したタイミング図である。
【図7】本発明の第一の実施の形態に係る外部機器連動型コンテンツ再生装置の準備実行時刻を算出する動作を示すフローチャートである。
【図8】準備実行時刻を算出するための命令データを説明するための説明図である。
【図9】送信側で外部機器を動作させる動作準備命令送出時刻を算出する動作を示すフローチャートである。
【図10】送信側で準備動作の分散処理を行うための命令データを説明するための説明図である。
【図11】本発明の第二の実施の形態に係る外部機器連動型コンテンツ再生装置の構成を示すブロック図である。
【図12】本発明の第三の実施の形態に係る外部機器連動型コンテンツ再生装置の構成を示すブロック図である。
【符号の説明】
1……外部機器連動型コンテンツ送信装置
3、3B、3C……外部機器連動型コンテンツ再生装置
7……家庭内ネットワーク
9……外部機器
31、31B……受信手段
32……分離手段
33……映像復号手段(映像・音声コンテンツ再生手段)
34……音声復号手段(映像・音声コンテンツ再生手段)
35、35B……データ復号手段
35a……制御信号解析手段
35b……動作準備手段
35c……動作実行手段
36、36B……外部機器制御手段
37……映像遅延手段(映像・音声遅延手段)
38……音声遅延時手段(映像・音声遅延手段)
39……蓄積手段
40……遅延読み出し手段
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an external device-linked content playback apparatus that operates an external device in conjunction with video and / or audio content, a method and program thereof, and an external device-linked content transmission method.
[0002]
[Prior art]
Conventionally, a home bus system (HBS: Home Bus System) capable of connecting and controlling devices in a home via a LAN has been proposed. For example, a home lighting system or an air conditioner is controlled by an interface of the IEEE 1394 standard. Technology exists.
[0003]
In such an environment where household devices are connected and operated, peripheral device operation command information for operating a peripheral device (external device) on the receiver side according to the content of the broadcast program is added to the broadcast program. Research on new broadcasting systems that operate peripheral devices according to the contents of the broadcast program is also being conducted.
[0004]
For example, “broadcast program transmission / reception system, broadcast apparatus and reception apparatus used therefor, broadcast program transmission / reception method, and recording medium reproduction system, recording medium reproduction apparatus and recording medium used therefor (Japanese Patent Laid-Open No. 2001-333030) Discloses a technique for operating lighting devices, air conditioners, and the like, which are peripheral devices on the receiver side, according to the content of the broadcast program.
[0005]
[Problems to be solved by the invention]
However, in the conventional technique, when a peripheral device (external device) is operated according to the content of a broadcast program, devices in each home of viewers viewing the broadcast program operate all at once. There is a problem in that a large amount of power is required in a broadcasting area where a broadcast program is broadcast, and power is concentrated in an instant, leading to a situation such as insufficient power supply.
[0006]
For this reason, conventionally, in order to operate an external device according to the contents of a broadcast program, it has been realized in a predetermined environment such as a theater in a state in which the external devices that operate simultaneously are limited. There is a problem that it cannot be realized in such a large-scale system.
[0007]
In addition, the conventional technique has a problem that it takes time until an effect appears after an external device is operated, and it is difficult to interlock with video and audio. For example, when reproducing a scene where a gust of wind is blowing, it takes time for the wind to become “strong” even if the blower, which is one of the external devices, is operated with “strong” wind. I can't express the gust of wind that suddenly blew. In addition, there is a problem that the scene is already switched when the wind power becomes “strong”.
[0008]
The present invention has been made in view of the above problems, and suppresses the concentration of power consumption of an external device when the external device is operated in conjunction with video and / or audio video / audio content. Another object of the present invention is to provide an external device-linked content playback apparatus, its method and program, and an external device-linked content transmission method that can quickly present the effects of the operation of the external device.
[0009]
[Means for Solving the Problems]
  The present invention was created to achieve the above object. First, the external device-linked content reproduction device according to claim 1 converts video and / or audio video / audio content from a transmission device. As a control signal to operate the external device in conjunction,The preparation time of the external device is included, including the ready time that can be started.External device-linked content that receives an operation preparation command signal for instructing preparation and an operation execution command signal for operating an external device and operates the external device in conjunction with video / audio content based on the contents of the control signal The playback apparatus has the following configuration.
[0010]
  Namely, receiving means for receiving video / audio content and control signal, video / audio content reproducing means for reproducing video / audio content received by the receiving means, and control signal for analyzing the control signal received by receiving means When the analysis means and the control signal are operation preparation instruction signals,Within the preparation possible time, a preparation execution time corresponding to the identification number is calculated from an identification number that is a numerical value unique to the external device-linked content reproduction apparatus by a predetermined calculation, and the preparation execution time isOperation preparation means for preparing the external device in an operable state and operation execution means for operating the external device from an operable state when the control signal is an operation execution instruction signal are provided.
[0011]
According to such a configuration, the external device-linked content reproduction apparatus receives the video / audio content and the control signal by the reception unit, and reproduces the video / audio content by the video / audio content reproduction unit. Then, the external device-linked content reproduction apparatus operates the external device in synchronization with the reproduction of the video / audio content based on the control signal.
[0012]
At this time, the control signal is received separately as an operation preparation instruction signal for making the external device operable, and an operation execution instruction signal for operating the external device. In this external device-linked content playback apparatus, at the timing when the operation preparation instruction signal is received, the external device is first prepared to be operable by the operation preparation means. Here, “preparing the external device to be operable” means, for example, turning on the power of the robot, or setting the wind power of the blower to the specified wind power and shutting off the output so that it is not presented to the viewer It means setting to the state immediately before presenting the operation of the external device to the viewer.
[0013]
Then, at the timing when the operation execution instruction signal is received, the external device is operated from the operable state by the operation execution means and presented to the viewer. For example, the robot is operated or released from a state where the wind of the blower is shut off, and the wind is presented to the viewer. Accordingly, the external device can be operated in synchronization with the video / audio content at the timing of the operation execution instruction signal.
Here, the video / audio content means content including one or both of video and audio.
[0016]
  Claim 2The external device-linked content playback method described in 1 is used as a control signal for operating an external device in conjunction with video and / or audio video / audio content from a transmission device.The preparation time of the external device is included, including the ready time that can be started.Receiving an operation preparation instruction signal for instructing preparation and an operation execution instruction signal for operating an external device, and based on the content of the control signal, external device-linked content playback for operating the external device in conjunction with video / audio content The method includes the following steps.
[0017]
  That is, a reception step for receiving video / audio content and a control signal, a video / audio content reproduction step for reproducing the video / audio content received at the reception step, and a control signal for analyzing the control signal received at the reception step When the analysis step and the control signal is an operation preparation instruction signal,Within the preparation possible time, a preparation execution time corresponding to the identification number is calculated from an identification number that is a numerical value unique to the external device-linked content reproduction apparatus by a predetermined calculation, and the preparation execution time isAn operation preparation step for bringing the external device into an operable state and an operation execution step for causing the external device to operate from an operable state when the control signal is an operation execution instruction signal are included.
[0018]
According to this method, the external device-linked content reproduction method receives the video / audio content and the control signal in the reception step, and reproduces the video / audio content in the video / audio content reproduction step. Based on the control signal, the external device is operated in synchronization with the reproduction of the video / audio content.
[0019]
At this time, the control signal is received separately as an operation preparation instruction signal for making the external device operable, and an operation execution instruction signal for operating the external device. In this external device-linked content reproduction method, at the timing when the operation preparation instruction signal is received, the external device is first prepared to be operable in the operation preparation step. Then, at the timing when the operation execution instruction signal is received, the operation of the external device is actually presented to the viewer in the operation execution step. Here, the video / audio content means content including one or both of video and audio.
[0022]
  Also,Claim 3The external device-linked content playback program described in 1 is used as a control signal for operating the external device in conjunction with video and / or audio video / audio content from the transmission device.The preparation time of the external device is included, including the ready time that can be started.In order to operate the external device in conjunction with the video / audio content based on the contents of the control signal, the computer receives the operation preparation instruction signal for instructing preparation and the operation execution instruction signal for operating the external device. , Control signal analysis means for analyzing the control signal, when the control signal is an operation preparation instruction signal,Within the preparation possible time, a preparation execution time corresponding to the identification number is calculated from an identification number that is a numerical value unique to the external device-linked content reproduction apparatus by a predetermined calculation, and the preparation execution time isIt is configured to function as an operation preparation unit that makes the external device operable, and an operation execution unit that operates the external device when the control signal is an operation execution instruction signal.
[0023]
According to such a configuration, the external device-linked content reproduction program first prepares the external device in an operable state by the operation preparation means at the timing when the operation preparation instruction signal is received. Then, at the timing when the operation execution instruction signal is received, the operation execution means actually presents the operation of the external device to the viewer. The external device-linked content playback program can be downloaded from a broadcasting station or the like to an external device-linked content playback device in each home and operated.
[0026]
  Also,Claim 4The external device-linked content playback device described in 1) receives video and / or audio video / audio content and a control signal for operating the external device in conjunction with the video / audio content from the transmitting device, and An external device-linked content playback apparatus that operates an external device in conjunction with audio content and has the following configuration.
[0027]
  That is, receiving means for receiving video / audio content and control signal, video / audio content reproducing means for reproducing video / audio content received by the receiving means, and video reproduced by the video / audio content reproducing means And / or audio outputRandomized time based on an identification number unique to the external device-linked content playback deviceThe video / audio delay means for delaying and the external device control means for delaying and executing the operation of the external device corresponding to the control signal in accordance with the delay time of the video / audio delay means.
[0028]
  According to such a configuration, the external device-linked content reproduction apparatus receives the video / audio content and the control signal by the reception unit, and reproduces the video / audio content by the video / audio content reproduction unit. The video / audio content played here is played by the video / audio delay means.Delayed by a randomized time with an identification number unique to the playback deviceLater presented to the viewer. In addition, the external device control means delays the entire operation of the external device by operating the external device in accordance with the delayed time..
[0029]
  further,Claim 5The external device-linked content playback device described in 1 is a digitally multiplexed video and / or audio video / audio content and a control signal for operating the external device linked to the video / audio content from the transmitting device. An external device-linked content playback apparatus that receives broadcast data and operates an external device in conjunction with video / audio content, and has the following configuration.
[0030]
  That is, the receiving means for receiving the digital broadcast data, the storage means for storing the digital broadcast data received by the receiving means, and the reception time of the digital broadcast data received by the receiving meansRandomized time based on an identification number unique to the external device-linked content playback deviceA delay reading means for delaying and reading out the digital broadcast data stored in the storage means; a separating means for separating the digital broadcast data read by the delay reading means into video / audio content and a control signal; The video / audio content reproduction means for reproducing the video / audio content separated by the separation means, and the external device control means for operating the external device based on the control signal separated by the separation means. .
[0031]
  According to such a configuration, the external device-linked content reproduction apparatus receives digital broadcast data obtained by multiplexing the video / audio content, the control signal, and the control signal by the reception unit, and accumulates the digital broadcast data in the accumulation unit. The digital broadcast data stored in the storage means is delayed by the readout means.Randomized time with an identification number unique to the playback deviceAfter being delayed, it is read out and output to the separating means, and separated into video / audio content and control signal. The video / audio content is reproduced by the video / audio content reproduction means and presented to the viewer. On the other hand, the control signal is used as a signal for operating the external device by the external device control means..
[0032]
  Also,Claim 6The external device-linked content transmission method described inIn the external device-linked content playback device according to claim 1,Video and / or audio video / audio content and an operation control signal for operating an external device that can be controlled by the receiving device in conjunction with the video / audio content are transmitted.In the transmitterAn external device-linked content transmission method,Includes ready time when external device ready operation can startAn operation preparation instruction step for transmitting an operation preparation instruction signal as an operation control signal for preparing an operation of the external device, and an operation control signal for operating the external device from an operable state in correspondence with the video / audio content. And an operation execution instruction step to be transmitted.
[0033]
According to this method, the external device-linked content transmission method includes an operation for instructing the external device to operate at an operation preparation instruction step and an operation preparation instruction step, and an operation for actually operating the external device. It is divided into commands to be transmitted. Accordingly, the external device can be set to be presented to the viewer in the operation execution instruction step, and the external device can be promptly executed in synchronization with the video / audio content in the operation execution instruction step.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(Configuration of external device-linked content broadcasting system)
FIG. 1 is a block diagram showing a schematic configuration of an external device-linked content broadcasting system for realizing an external device-linked content transmission method and an external device-linked content playback method according to the present invention. As shown in FIG. 1, an external device-linked content broadcasting system 10 includes an external device-linked content transmission device 1 that is a broadcasting station device that transmits external device-linked content, and each household that receives the external device-linked content. And an external device-linked content playback device 3, and a plurality of external devices 9 connected to the external device-linked content playback device 3 via a home network 7.
[0035]
The external device-linked content transmitting apparatus 1 transmits external device-linked content obtained by multiplexing video and audio and a control signal for operating the external device 9 in synchronization with the video and audio via the broadcast wave 5. Broadcast to home.
The external device-linked content playback device 3 plays back the external device-linked content received via the broadcast wave 5 and operates the external device 9 connected to the home network 7 in synchronization with video and audio. is there.
[0036]
The home network 7 is a network laid in a viewer's home and connects home devices. The home network 7 may be in the form of a home bus system (HBS: Home Bus System) with an interface of the IEEE 1394 standard, for example, or may use a serial port or the like.
[0037]
The external device 9 is a device that operates in synchronization with video and audio based on an operation command from the external device-linked content playback device 3. For example, blower 91Is a device for presenting the strength of the wind in the scene in the video, a refreshing atmosphere, etc. by the air blow.2Is a device for presenting the same illuminance as the scene in the video or the bright atmosphere of the scene depending on the brightness of the illumination. The air conditioner 9ThreeIs a device that presents the same temperature as the scene in the video according to the set temperature. In addition, humanoid robot 9FourIs a device that presents a fun atmosphere, a person's emotions, and the like by reproducing the actions of a person appearing in a scene dancing and feeling down. Note that there may be a plurality of external devices 9 as long as they can be connected to the home network 7.
[0038]
(Configuration of external device-linked content playback device: first embodiment)
Hereinafter, the configuration of the external device-linked content reproduction apparatus 3 will be described with reference to FIG. FIG. 2 is a block diagram showing the overall configuration of the external device-linked content reproduction apparatus 3 according to the present invention. Note that FIG. 2 shows a configuration in which an external device 9 is connected to the external device-linked content reproduction apparatus 3 via the home network 7. As shown in FIG. 2, the external device-linked content playback apparatus 3 includes a receiving unit 31, a separating unit 32, a video decoding unit (video / audio content playback unit) 33, and an audio decoding unit (video / audio content playback). Means) 34, data decoding means 35, and external device control means 36.
[0039]
This external device-linked content reproduction apparatus 3 receives and reproduces external device-linked content, which is a video signal and audio signal added with a control signal for operating the external device 9, as digital broadcast data. The external device-linked content playback apparatus 3 allows the external device to operate in conjunction with video and audio by playing back the external device-linked content, thereby enabling presentation of a broadcast program full of realism. .
[0040]
The receiving means 31 receives digital broadcast data transmitted via broadcast waves. For example, in satellite digital broadcasting, 8PSK (8-Phase Shift Keying) is generally used as a modulation method, but this receiving means 31 demodulates the 8PSK. The demodulated digital broadcast data is sent to the separating means 32. The external device-linked content is received as this digital broadcast data.
[0041]
The receiving means 31 may be configured to receive a broadcast signal obtained by multiplexing a data signal on an analog broadcast, or to receive external device-linked content via a network such as the Internet.
[0042]
The separating means 32 separates digital broadcast data obtained by multiplexing video (encoded video signal), audio (encoded audio signal) and data (encoded data) into respective signals. For example, in satellite digital broadcasting, MPEG2 (Moving Picture Experts Group 2) is generally used as a multiplexing method, but this separating means 32 encodes a TS (transport stream) packet multiplexed by the MPEG2 method. It is separated into a coded video signal, a coded audio signal and coded data.
[0043]
Here, the encoded data includes command data (control signal) that causes the external device 9 to operate in real time and program data that is operated by the external device-linked content reproduction apparatus 3. For the transmission procedure of the command data, an event message or PES (Packetized Elementary Stream) data which is a data format used in digital broadcasting can be used. The program data can use a file transfer procedure such as a data carousel used in digital broadcasting.
[0044]
The video decoding means 33 receives an encoded video signal (encoded video signal) and decodes it into a video signal. The decoded video signal is sent to a video display device (not shown) such as a monitor and output as a video.
[0045]
The voice decoding unit 34 receives an encoded voice signal (encoded voice signal) and decodes the voice signal. The decoded audio signal is sent to an audio display device (not shown) such as a speaker and output as audio.
[0046]
Based on the encoded data sent from the separating means 32, the data decoding means 35 externally uses an operation preparation command for operating the external device 9 or an operation execution command for operating the external device 9 as an instruction signal. This is to notify the device control means 36. The data decoding unit 35 includes a control signal analyzing unit 35a, an operation preparing unit 35b, and an operation executing unit 35c.
[0047]
The control signal analysis unit 35a analyzes the content of the instruction data (control signal) indicated by the encoded data, and activates the operation preparation unit 35b that makes the external device 9 operable based on the content, The operation execution means 35c for operating the external device 9 is activated. The preparation operation and execution operation of the external device 9 will be described later with reference to the drawings.
[0048]
The operation preparation unit 35b is activated by the control signal analysis unit 35a when the command data indicated by the encoded data is an operation preparation command (operation preparation instruction signal), and the external device 9 corresponding to the operation preparation command. Is sent to the external device control means 36. The operation preparation unit 35b has a function of notifying the external device control unit 36 after delaying an instruction signal for enabling the external device 9 to operate. For example, the delay time is calculated from the identification number uniquely assigned to each external device-linked content reproduction apparatus 3.
[0049]
The operation execution means 35c is activated by the control signal analysis means 35a when the instruction data indicated by the encoded data is an operation execution instruction (operation execution instruction signal), and the external device 9 corresponding to the operation execution instruction. The external device control means 36 is notified of an instruction signal for operating the device.
[0050]
The control signal analyzing unit 35a, the operation preparing unit 35b, and the operation executing unit 35c may be configured to operate as a program. For example, the program is received as encoded data, the program is stored in storage means (not shown) such as a memory, and the CPU executes the processing by reading it. This program can be described in BML (Broadcast Markup Language), which is a data broadcasting service description language formulated by ARIB (Radio Industry Association), Java (registered trademark), which is a general programming language, and the like. is there.
[0051]
The external device control means 36 notifies the external device 9 of an operation control signal tailored to each external device 9 based on the instruction signal notified from the data decoding means 35 to operate the external device 9. . The external device control means 36 holds an operation control table (not shown) holding operation control signals corresponding to the external device 9 in a table format, and refers to the operation control table for each external device 9. Output different operation control signals.
[0052]
(External device preparation and execution operations)
Here, the “preparation operation” and “execution operation” of the external device 9 will be described with reference to FIGS. 2, 4 and 5. Here, a specific description will be given with reference to the external device 9 including the power supply buffer unit 9a, the external device main body unit 9b, and the output buffer unit 9c shown in FIG. FIG. 4 shows an example of the power supply buffer unit 9a. FIG. 5 shows an example of the output buffer 9c. The external device main body 9b represents an external device main body such as a blower or a lighting fixture.
[0053]
The power supply buffer unit 9a includes an AC-DC conversion unit 11, a power storage unit 12, a DC-AC conversion unit 13, and a switch 14, and temporarily stores electric power input from the outside. The power supply buffer unit 9a converts an alternating current (AC) into a direct current (DC) by the AC-DC conversion unit 11, accumulates it in the power storage unit 12, and performs operation control indicating "preparation operation" from the external device control means 36. When the signal is notified, the power stored in the power storage unit 12 is converted into an alternating current by the DC-AC conversion unit 13, and the switcher 14 outputs the output of the DC-AC conversion unit 13 to the external device main body 9b. The power source.
When the external device main body 9b is notified of an operation control signal indicating "execution operation" from the external device control means 36, it operates using the output from the power buffer unit 9a as an input power supply.
[0054]
In this way, by using the power supply buffer unit 9a, the operation of the external device 9 is divided into “preparation operation” and “execution operation”, so that the external device-linked content broadcast to each home by digital broadcasting can be viewed. When the external devices 9 are operating at the same time, the temporary peak power consumption can be absorbed.
[0055]
The output buffer unit 9c controls the output of the external device main body unit 9b, stops the output, and adjusts the output amount.
For example, as shown in FIG. 5 (1) output buffer example 1, the external device main body 9b is connected to the blower 9.1The output buffer unit 9 c is a deflection plate 20. With this configuration, when the external device control unit 36 is notified of an operation control signal indicating a “preparation operation” for outputting a wind having a high air volume, the deflecting plate 20 does not output the wind. Close the blower 91Raises wind power to “strong” as a preparation stage. When the operation control signal indicating the “execution operation” is notified from the external device control means 36, the deflector plate 20 is opened, and “strong” wind is output all at once. Alternatively, the direction of wind and the wind force can be adjusted according to the direction of the deflection plate 20 and the amount of opening and closing.
[0056]
Further, for example, as shown in the output buffer example 2 in FIG.2The output buffer unit 9 c is the liquid crystal shutter 21. With this configuration, when the operation control signal indicating the “preparation operation” for lighting the illumination is notified from the external device control means 36, the liquid crystal shutter 21 is closed so as not to output light, and the lighting fixture 92Lights up. When an operation control signal indicating “execution operation” is notified from the external device control means 36, the liquid crystal shutter 21 is opened, and light whose light amount is controlled by the opening / closing amount of the liquid crystal shutter 21 is output.
[0057]
Further, as shown in FIG. 5 (3) output buffer example 3, the external device main body 9b is provided with an odor presenting device 9.FiveThe output buffer unit 9 c is a gas storage tank 23 and a blower fan 24. With this configuration, when an operation control signal indicating a “preparation operation” for generating a specific odor is notified from the external device control means 36, the odor presenting device 9FiveUses a fragrance vaporizer (22a, 22b) to vaporize a plurality of fragrances that become odor elements, and temporarily accumulates the vaporized fragrance in the gas storage tank 23 through a vaporized fragrance injection pipe. And if the operation control signal which shows "execution operation" is notified from the external apparatus control means 36, the ventilation fan 24 will be operate | moved and the mixed smell (vaporization fragrance | flavor) will be presented.
[0058]
As described above, by using the output buffer unit 9c to divide the operation of the external device 9 into the “preparation operation” and the “execution operation”, the effects linked to the video and audio can be instantaneously performed during the “execution operation”. Can be represented. Note that in an apparatus in which the external device 9 does not perform an operation in the “preparation operation” like a humanoid robot, the power may be turned on in the “preparation operation” and the operation may be actually performed in the “execution operation”.
[0059]
In addition, since the “preparation operation” does not require real-time property, the “preparation operation” of the external device 9 is executed at a different timing for each external device-linked content playback device 3, so that it is broadcast to each home by digital broadcasting. When viewing external device-linked content, the preparation start time of the external device 9 can be shifted, and temporary peak power consumption can be suppressed.
[0060]
(Operation of external device-linked content playback device)
Next, the operation of the external device-linked content reproduction apparatus 3 will be described with reference to FIGS. FIG. 3 is a flowchart showing the external device control operation (including the operation of the external device-linked content transmission method) of the external device-linked content reproduction apparatus 3. This operation is also the operation of the program (external device-linked content reproduction program) stored in the data decrypting means 35.
[0061]
This external device-linked content reproduction program operates based on command data transmitted as digital broadcast data. The instruction data includes an operation preparation instruction, an operation execution instruction, and an operation preparation release instruction. The operation preparation release instruction stops the preparation operation of the external device 9 performed by the operation preparation instruction.
[0062]
First, when the external device-linked content playback program is started, the system waits until an operation preparation command is received (step S1). When an operation preparation command transmitted as digital broadcast data is received from the external device-linked content transmission apparatus 1 (FIG. 1) (step S2), an operation timing for causing the external device 9 to execute a “preparation operation”. Time (preparation execution time) is calculated (step S3). When the elapsed time by the timer reaches the preparation execution time, the external device 9 is notified of an instruction signal corresponding to the operation preparation command via the external device control means 36, and the external device 9 is prepared (step). S4).
[0063]
Then, the external device-linked content reproduction program is in a standby state until an operation execution command is received (step S5). When an operation execution command transmitted as digital broadcast data is received from the external device-linked content transmission apparatus 1 (FIG. 1) (step S6), the external device 9 receives an operation execution command via the external device control means 36. The corresponding instruction signal is notified, and the operation of the external device 9 is executed (step S7).
[0064]
Here, the external device-linked content playback program determines whether the digital broadcast data has ended (broadcast end), the viewer has instructed viewing termination (reception end operation), or has received an operation preparation release command. (Step S8), and if it does not correspond to any determination content (No), the process returns to Step S5 and enters the standby state for the operation execution command.
[0065]
On the other hand, if any of the determination contents is met in step S8 (Yes), the external device 9 is notified of an instruction signal corresponding to the operation preparation release command via the external device control means 36, and the operation of the external device 9 is performed. Is stopped (preparation cancellation is executed) (step S9), the process returns to step S1 to enter a standby state for an operation preparation instruction.
[0066]
(About distributed processing of preparation operations)
Here, with reference to FIG. 6 to FIG. 8 (refer to FIG. 2 as appropriate), a method for calculating the preparation execution time for causing the external device 9 to execute the “preparation operation” will be described in detail. FIG. 6 is a timing diagram showing the time necessary for calculating the preparation execution time along the time axis (time t). FIG. 7 is a flowchart showing an operation for calculating the preparation execution time. FIG. 8 is an explanatory diagram for describing a description of command data transmitted from the external device-linked content transmission apparatus 1 (FIG. 1) necessary for calculating the preparation execution time.
[0067]
As shown in FIG. 6, since the external device 9 requires a specific time (minimum preparation time tr) for the “preparation operation”, the preparation execution time T2 for executing the “preparation operation” executes the “execution operation”. Compared to the operation execution time T3, it must be executed with a margin longer than the minimum preparation required time tr. Here, assuming that a time interval having a margin more than the minimum required preparation time tr from the earliest time at which the “preparation operation” can be started (preparation start time T1) is the preparation ready time Ta, the preparation execution time T2 is It may be executed anywhere between the time T1 and the ready time Ta.
[0068]
Therefore, the preparation execution time T2 can be distributed by changing the delay time td for each external device-linked content playback device 3, thereby allowing the external device-linked content broadcast to each home by digital broadcasting to be viewed. The power used when operating the external device 9 can be distributed.
[0069]
FIG. 8 shows a description example of the instruction data when the preparation start time T1 and the ready time Ta shown in FIG. 6 are notified as instruction data. This command data is data (control signal) that is multiplexed and sent in the external device-linked content of digital broadcast data.
[0070]
For example, as shown in FIG. 8 (1), the operation preparation command is composed of an operation preparation command (Prepare), an external device type (Device A), a preparation start time T1, a preparation ready time Ta, and a division number N. The Here, the operation preparation command (Prepare) indicates that this instruction data is an operation preparation instruction. The external device type (Device A) specifies the type of external device to be operated, and this allows the external device 9 to be identified as a blower, a lighting device, or a robot. it can. Since the preparation start time T1 and the preparation possible time Ta are the same as those described with reference to FIG. The division number N is a value for setting how much the preparation execution time T2 is distributed within the preparation possible time Ta.
[0071]
Further, examples of instruction data of the operation execution instruction and the operation preparation release instruction are also shown in FIGS. 8 (2) and 8 (3) in the same format as the operation preparation instruction. Here, “NOW” (immediate designation) indicates that if this command (operation execution command or operation preparation release command) is received, it is immediately executed. For example, by setting a time here, the operation can be executed after the time has elapsed.
[0072]
Next, the operation for calculating the preparation execution time will be described with reference to FIG. This operation shows step S3 in FIG. 3 in detail.
First, the preparation start time T1, the preparation possible time Ta, and the division number N are received from the operation preparation command (FIG. 8 (1)) (step S31). And the minimum dispersion | distribution time interval (DELTA) t which divided | segmented the preparation time Ta by the division number N by (1) Formula is calculated (step S32).
[0073]
Δt = Ta / N (1)
[0074]
Then, based on the identification number (receiver ID) uniquely assigned to the external device-linked content reproduction device 3, the delay time td is calculated by the equation (2) (step S33).
[0075]
td = (receiver ID mod N) × Δt (2)
[0076]
Here, “A mod B” indicates a remainder obtained by dividing A by B. In addition, the equation (2) may use a random number instead of the receiver ID as in the equation (3).
[0077]
td = (random number mod N) × Δt (3)
[0078]
This random number is a pseudo-random number with the receiver ID as a random number seed. Based on the delay time td calculated by the equation (2) or the equation (3), the preparation execution time T2 is calculated by the equation (4) (step S34).
[0079]
T2 = T1 + td (4)
[0080]
Through the above steps, the preparation execution time T2, which is the time when the external device-linked content reproduction apparatus 3 causes the external device 9 to “prepare operation”, can be distributed within the ready time Ta.
[0081]
Note that the distributed processing of the preparation operation can also be performed by the external device-linked content transmission device 1 (FIG. 1; hereinafter referred to as a transmission device) that is the side that transmits the external device-linked content. 6, 9, and 10, this is the time at which the transmission device sends an operation preparation command for each receiver ID of the external device-linked content reproduction device (FIG. 2; hereinafter referred to as the reproduction device). A method for calculating the preparation execution time T2 will be described. FIG. 9 is a flowchart illustrating an operation of calculating an operation preparation command transmission time for operating the external device 9 in the transmission apparatus. FIG. 10 is an explanatory diagram for describing the description of the instruction data when the transmitting apparatus performs the distributed process of the preparation operation.
[0082]
As shown in FIG. 9, the external device-linked content creator determines the time (minimum preparation time tr) required for the “preparation operation” for each external device 9 (for each external device type) (step S51). The earliest time at which the “preparation operation” can be started (preparation start time T1) and the operation execution time T3 at which the “execution operation” starts are determined from the program scenario of the external device-linked content to be performed (step S52).
Then, the preparation possible time Ta is calculated by the equation (5) (step S53).
[0083]
Ta = T3-T1-tr (5)
[0084]
Then, a minimum dispersion time interval Δt that determines how many times the preparation execution time T2 is to be distributed within the preparation possible time Ta is set (step S54), and the division number N is calculated by equation (6) (step). S55).
[0085]
N = Ta / Δt (6)
[0086]
The operation time of the external device connected to the playback device can be dispersed as the minimum dispersion time interval Δt is smaller.
Then, based on the identification number (receiver ID) uniquely assigned to the playback device (receiver), the delay time td is calculated by the above-described equation (2) or (3) (step S56). Based on the delay time td calculated by the equation (2) or (3), the preparation execution time T2 is calculated by the equation (4) (step S57).
[0087]
The preparation execution time T2 calculated here and the operation execution time T3 determined in step S52 are used as a command data transmission table for each receiver ID. The transmission table determines the transmission time of the command data for each receiver ID, and the receiver group having the same transmission time is determined. For example, the receiver ID can be divided by a certain divisor and the receiver group can be determined by the remainder. Then, command data is transmitted for each determined receiver group.
[0088]
Through the above steps, the preparation execution time T2, which is the time for the “preparation operation” of the external device on the transmission side, can be distributed within the preparation available time Ta.
FIG. 10 shows an example of command data transmitted from the transmission device to the playback device when the transmission device delays the preparation execution time T2 in this way.
[0089]
FIG. 10 (1) shows an operation preparation command, which includes an operation preparation command (Prepare), an external device type (Device A), immediate designation (“NOW”), and a receiver ID. When the transmission device sends out this operation preparation command, only the playback device having this receiver ID executes the “preparation operation” of the external device.
The operation execution command in FIG. 10 (2) and the operation preparation release command in FIG. 10 (3) are the same as the command data shown in FIG.
[0090]
(Configuration of External Device Linked Content Playback Device: Second Embodiment)
Next, a second embodiment of the external device-linked content reproduction apparatus will be described with reference to FIG. FIG. 11 is a block diagram showing the overall configuration of the external device-linked content playback apparatus 3B according to the present invention. Note that FIG. 11 shows a configuration in which an external device 9 is connected to the external device-linked content playback device 3B via the home network 7. As shown in FIG. 11, the external device-linked content playback device 3B includes a receiving unit 31, a separating unit 32, a video decoding unit (video / audio content playback unit) 33, and an audio decoding unit (video / audio content playback). Means) 34, data decoding means 35B, external device control means 36B, video delay means 37, and audio delay means 38.
[0091]
This external device-linked content playback device 3B adds the video delay means 37 and the audio delay means 38 to the external device-linked content playback device 3 of FIG. 2, and changes the functions of the data decoding means 35 and the external device control means 36. The data decoding means 3B and the external device control means 36B are provided. The other components are the same as those shown in FIG. 2, so that the same reference numerals are given and description thereof is omitted.
[0092]
Based on the encoded data sent from the separating unit 32, the data decoding unit 35B externally uses an operation preparation command for operating the external device 9 or an operation execution command for operating the external device 9 as an instruction signal. This is notified to the device control means 36B. Here, the distributed processing of the preparation operation of the external device 9 is not performed, and the command data is notified to the external device control means 36B as an instruction signal.
[0093]
The external device control unit 36B notifies the external device 9 of an operation control signal tailored to each external device 9 based on the instruction signal notified from the data decoding unit 35B to operate the external device 9. . The external device control unit 36B delays the operation control signal notified to the external device 9 based on the delay time notified from the video delay unit 37 or the audio delay unit 38.
[0094]
The video delay unit 37 delays and outputs the video signal decoded by the video decoding unit 33. The audio delay means 38 delays and outputs the audio signal decoded by the audio decoding means 34. Here, the delay times of the video delay means 37 and the audio delay means 38 are the same time, and one of the delay times is notified to the external device control means 36B. This delay time is randomized based on an identification number (receiver ID) unique to the external device-linked content playback device 3B.
[0095]
As a result, the operation start times of the external devices 9 in each household who have viewed the digital broadcast data that is external device-linked content can be distributed, and temporary peak power consumption can be suppressed.
[0096]
(Configuration of External Device Linked Content Playback Device: Third Embodiment)
Next, a third embodiment of the external device-linked content reproduction apparatus will be described with reference to FIG. FIG. 12 is a block diagram showing the overall configuration of the external device-linked content playback apparatus 3C according to the present invention. Note that FIG. 12 shows a configuration in which an external device 9 is connected to the external device-linked content reproduction apparatus 3C via the home network 7. As shown in FIG. 12, the external device-linked content playback apparatus 3C includes a receiving unit 31B, a separating unit 32, a video decoding unit (video / audio content playback unit) 33, and an audio decoding unit (video / audio content playback). Means) 34, data decoding means 35B, external device control means 36, storage means 39, and delayed reading means 40.
[0097]
This external device-linked content playback apparatus 3C is a receiving means in which the storage means 39 and the delayed reading means 40 are added to the external device-linked content playback apparatus 3 of FIG. 2, and the functions of the receiving means 31 and the data decoding means 35 are changed. 31B and data decoding means 35B are provided. The other components are the same as those shown in FIG. 2, so that the same reference numerals are given and description thereof is omitted. The data decoding means 35B is the same as that shown in FIG.
[0098]
The receiving means 31B receives digital broadcast data transmitted via broadcast waves. For example, in satellite digital broadcasting, data modulated by 8PSK is used. Further, the receiving means 31B accumulates demodulated data (external device-linked content) in the accumulating means 39 and notifies the delayed reading means 40 that there has been reception (reception notification).
The storage means 39 stores external device-linked content, and is composed of, for example, a hard disk.
[0099]
The delayed readout means 40 reads out the external device-linked content stored in the storage means 39 and sends it to the separation means 32. The delay reading means 40 delays the reading start time of the external device-linked content from the storage means 39 with reference to the time when the reception notification is notified from the receiving means 31B. This delay time is randomized based on an identification number (receiver ID) unique to the external device-linked content playback device 3B.
[0100]
As a result, the operation start times of the external devices 9 in each household who have viewed the digital broadcast data that is external device-linked content can be distributed, and temporary peak power consumption can be suppressed.
[0101]
【The invention's effect】
As described above, the external device-linked content playback apparatus, method and program thereof, and external device-linked content transmission method according to the present invention have the following excellent effects.
[0102]
  Claim 1Thru claim 3OrClaim 6According to the invention described in the above, an external device that operates in conjunction with video and / or audio video / audio content can perform preparatory work for executing the operation in advance. The effect of the intended external device operation can be promptly presented to the viewer without delay from video and audio. As a result, the viewer can enjoy a broadcast program full of realism.
[0103]
  Claims 1 to 3OrClaim 6According to the invention described in (4), since the preparation operation times of the external devices in each home can be distributed, it is possible to suppress temporal concentration of power consumption. Further, the distribution of the preparation operation time can be controlled from the broadcasting station side, and can be distributed in an arbitrary distribution. Thereby, it is possible to provide a broadcasting service linked to an external device, and to greatly expand the expression method in broadcasting.
[0104]
  Claim 4OrClaim 5Since the operation start times of the external devices in each home can be distributed, the time concentration of power consumption can be suppressed. As a result, it is possible to provide a broadcasting service that makes the best use of the human senses, and greatly expand the expression method in broadcasting.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an external device-linked content broadcasting system.
FIG. 2 is a block diagram showing a configuration of an external device-linked content reproduction apparatus according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing the operation of the external device-linked content reproduction apparatus according to the first embodiment of the present invention.
FIG. 4 is a block diagram illustrating a configuration example of a power supply buffer.
FIG. 5 is an explanatory diagram for explaining a configuration example of an output buffer;
FIG. 6 is a timing chart showing the time required for calculating the preparation execution time along the time axis.
FIG. 7 is a flowchart showing an operation of calculating a preparation execution time of the external device-linked content reproduction apparatus according to the first embodiment of the present invention.
FIG. 8 is an explanatory diagram for explaining command data for calculating a preparation execution time.
FIG. 9 is a flowchart showing an operation of calculating an operation preparation command sending time for operating an external device on the transmission side.
FIG. 10 is an explanatory diagram for describing command data for performing distributed processing of preparation operations on the transmission side;
FIG. 11 is a block diagram showing a configuration of an external device-linked content playback apparatus according to a second embodiment of the present invention.
FIG. 12 is a block diagram showing a configuration of an external device-linked content reproduction apparatus according to a third embodiment of the present invention.
[Explanation of symbols]
1. External device-linked content transmission device
3, 3B, 3C ... External device-linked content playback device
7 …… Home network
9 …… External equipment
31, 31B ... Receiving means
32 …… Separation means
33 …… Video decoding means (video / audio content playback means)
34 …… Audio decoding means (video / audio content playback means)
35, 35B Data decoding means
35a ...... Control signal analysis means
35b ...... Operation preparation means
35c ...... Action execution means
36, 36B ... External device control means
37 …… Video delay means (video / audio delay means)
38 …… Audio delay means (video / audio delay means)
39 …… Storage means
40: Delayed readout means

Claims (6)

送信装置から、映像及び/又は音声の映像・音声コンテンツに連動して外部機器を動作させる制御信号として、前記外部機器の準備動作が開始可能な準備可能時間を含み前記外部機器の準備を指示する動作準備指示信号、及び前記外部機器を動作させる動作実行指示信号を受信し、前記制御信号の内容に基づいて、前記映像・音声コンテンツに連動して前記外部機器を動作させる外部機器連動型コンテンツ再生装置であって、
前記映像・音声コンテンツと前記制御信号とを受信する受信手段と、
この受信手段で受信した前記映像・音声コンテンツを再生する映像・音声コンテンツ再生手段と、
前記受信手段で受信した前記制御信号を解析する制御信号解析手段と、
この制御信号解析手段の解析結果で前記制御信号が前記動作準備指示信号のときに、前記準備可能時間内で、当該外部機器連動型コンテンツ再生装置に固有の数値である識別番号から予め定めた演算により当該識別番号に対応した準備実行時刻を算出し、当該準備実行時刻に前記外部機器を動作可能な状態にする動作準備手段と、
前記解析結果で前記制御信号が前記動作実行指示信号のときに、前記外部機器を前記動作可能な状態から動作させる動作実行手段と、
を備えていることを特徴とする外部機器連動型コンテンツ再生装置。
As a control signal for operating the external device in conjunction with video and / or audio content of video and / or audio from the transmission device, the preparation of the external device is instructed including a ready time in which the preparation operation of the external device can be started. Receiving an operation preparation instruction signal and an operation execution instruction signal for operating the external device, and based on the content of the control signal, external device-linked content playback for operating the external device in conjunction with the video / audio content A device,
Receiving means for receiving the video / audio content and the control signal;
Video / audio content reproduction means for reproducing the video / audio content received by the reception means;
Control signal analyzing means for analyzing the control signal received by the receiving means;
When the control signal is the operation preparation instruction signal based on the analysis result of the control signal analysis means, a predetermined calculation is performed from an identification number that is a numerical value unique to the external device-linked content playback apparatus within the preparation time. An operation preparation means for calculating a preparation execution time corresponding to the identification number and making the external device operable at the preparation execution time ;
An operation execution means for operating the external device from the operable state when the control signal is the operation execution instruction signal in the analysis result;
An external device-linked content playback apparatus comprising:
送信装置から、映像及び/又は音声の映像・音声コンテンツに連動して外部機器を動作させる制御信号として、前記外部機器の準備動作が開始可能な準備可能時間を含み前記外部機器の準備を指示する動作準備指示信号、及び前記外部機器を動作させる動作実行指示信号を受信し、前記制御信号の内容に基づいて、前記映像・音声コンテンツに連動して前記外部機器を動作させる外部機器連動型コンテンツ再生方法であって、
前記映像・音声コンテンツと前記制御信号とを受信する受信ステップと、
この受信ステップで受信した前記映像・音声コンテンツを再生する映像・音声コンテンツ再生ステップと、
前記受信ステップで受信した前記制御信号を解析する制御信号解析ステップと、
この制御信号解析ステップの解析結果で前記制御信号が前記動作準備指示信号のときに、前記準備可能時間内で、当該外部機器連動型コンテンツ再生装置に固有の数値である識別番号から予め定めた演算により当該識別番号に対応した準備実行時刻を算出し、当該準備実行時刻に前記外部機器を動作可能な状態にする動作準備ステップと、
前記解析結果で前記制御信号が前記動作実行指示信号のときに、前記外部機器を前記動作可能な状態から動作させる動作実行ステップと、
を含むことを特徴とする外部機器連動型コンテンツ再生方法。
As a control signal for operating the external device in conjunction with video and / or audio content of video and / or audio from the transmission device, the preparation of the external device is instructed including a ready time in which the preparation operation of the external device can be started. Receiving an operation preparation instruction signal and an operation execution instruction signal for operating the external device, and based on the content of the control signal, external device-linked content playback for operating the external device in conjunction with the video / audio content A method,
A receiving step of receiving the video / audio content and the control signal;
A video / audio content reproduction step of reproducing the video / audio content received in the reception step;
A control signal analyzing step of analyzing the control signal received in the receiving step;
When the control signal is the operation preparation instruction signal in the analysis result of the control signal analysis step, a predetermined calculation is performed from an identification number that is a numerical value unique to the external device-linked content playback apparatus within the preparation time. An operation preparation step of calculating a preparation execution time corresponding to the identification number and making the external device operable at the preparation execution time ,
An operation execution step of operating the external device from the operable state when the control signal is the operation execution instruction signal in the analysis result;
An external device-linked content playback method comprising:
送信装置から、映像及び/又は音声の映像・音声コンテンツに連動して外部機器を動作させる制御信号として、前記外部機器の準備動作が開始可能な準備可能時間を含み前記外部機器の準備を指示する動作準備指示信号、及び前記外部機器を動作させる動作実行指示信号を受信し、前記制御信号の内容に基づいて、前記映像・音声コンテンツに連動して前記外部機器を動作させるために、コンピュータを、
前記制御信号を解析する制御信号解析手段、
この制御信号解析手段の解析結果で前記制御信号が前記動作準備指示信号のときに、前記準備可能時間内で、当該外部機器連動型コンテンツ再生装置に固有の数値である識別番号から予め定めた演算により当該識別番号に対応した準備実行時刻を算出し、当該準備実行時刻に前記外部機器を動作可能な状態にする動作準備手段、
前記解析結果で前記制御信号が前記動作実行指示信号のときに、前記外部機器を前記動作可能な状態から動作させる動作実行手段、
として機能させることを特徴とする外部機器連動型コンテンツ再生プログラム。
As a control signal for operating the external device in conjunction with video and / or audio content of video and / or audio from the transmission device, the preparation of the external device is instructed including a ready time in which the preparation operation of the external device can be started. In order to receive the operation preparation instruction signal and the operation execution instruction signal for operating the external device, and operate the external device in conjunction with the video / audio content based on the content of the control signal,
Control signal analyzing means for analyzing the control signal;
When the control signal is the operation preparation instruction signal based on the analysis result of the control signal analysis means, a predetermined calculation is performed from an identification number that is a numerical value unique to the external device-linked content playback apparatus within the preparation time. The operation preparation means for calculating the preparation execution time corresponding to the identification number and making the external device operable at the preparation execution time ,
An operation execution means for operating the external device from the operable state when the control signal is the operation execution instruction signal in the analysis result;
An external device-linked content playback program characterized by functioning as an external device.
送信装置から、映像及び/又は音声の映像・音声コンテンツと、その映像・音声コンテンツに連動して外部機器を動作させる制御信号を受信し、前記映像・音声コンテンツに連動して前記外部機器を動作させる外部機器連動型コンテンツ再生装置であって、
前記映像・音声コンテンツと前記制御信号とを受信する受信手段と、
この受信手段で受信した前記映像・音声コンテンツを再生する映像・音声コンテンツ再生手段と、
この映像・音声コンテンツ再生手段で再生された映像及び/又は音声の出力を当該外部機器連動型コンテンツ再生装置に固有の識別番号によりランダム化した時間で遅延させる映像・音声遅延手段と、
この映像・音声遅延手段の遅延時間に合わせて、前記制御信号に対応する前記外部機器の動作を遅延させて実行させる外部機器制御手段と、
を備えていることを特徴とする外部機器連動型コンテンツ再生装置。
Video and / or audio video / audio content and a control signal for operating the external device in conjunction with the video / audio content are received from the transmission device, and the external device is operated in conjunction with the video / audio content. An external device-linked content playback device,
Receiving means for receiving the video / audio content and the control signal;
Video / audio content reproduction means for reproducing the video / audio content received by the reception means;
Video / audio delay means for delaying the video and / or audio output reproduced by the video / audio content reproduction means by a time randomized by an identification number unique to the external device-linked content reproduction apparatus ;
In accordance with the delay time of the video / audio delay means, external device control means for delaying and executing the operation of the external device corresponding to the control signal;
An external device-linked content playback apparatus comprising:
送信装置から、映像及び/又は音声の映像・音声コンテンツと、その映像・音声コンテンツに連動して外部機器を動作させる制御信号とを多重化したデジタル放送データを受信し、前記映像・音声コンテンツに連動して前記外部機器を動作させる外部機器連動型コンテンツ再生装置であって、
前記デジタル放送データを受信する受信手段と、
この受信手段で受信した前記デジタル放送データを蓄積する蓄積手段と、
前記受信手段で受信した前記デジタル放送データの受信時刻から当該外部機器連動型コンテンツ再生装置に固有の識別番号によりランダム化した時間で遅延させて、前記蓄積手段に蓄積されている前記デジタル放送データを読み出す遅延読み出し手段と、
この遅延読み出し手段で読み出された前記デジタル放送データを前記映像・音声コンテンツと、前記制御信号とに分離する分離手段と、
この分離手段で分離された前記映像・音声コンテンツを再生する映像・音声コンテンツ再生手段と、
前記分離手段で分離された前記制御信号に基づいて、前記外部機器を動作させる外部機器制御手段と、
を備えていることを特徴とする外部機器連動型コンテンツ再生装置。
Digital broadcasting data obtained by multiplexing video / audio content of video and / or audio and a control signal for operating an external device in conjunction with the video / audio content is received from the transmission device, and the video / audio content is received. An external device-linked content playback device that operates the external device in conjunction with the external device,
Receiving means for receiving the digital broadcast data;
Storing means for storing the digital broadcast data received by the receiving means;
The digital broadcast data stored in the storage means is delayed by a time randomized by an identification number unique to the external device-linked content playback apparatus from the reception time of the digital broadcast data received by the receiving means. A delayed read means for reading;
Separating means for separating the digital broadcast data read by the delayed reading means into the video / audio content and the control signal;
Video / audio content reproduction means for reproducing the video / audio content separated by the separation means;
External device control means for operating the external device based on the control signal separated by the separation means;
An external device-linked content playback apparatus comprising:
請求項1に記載の外部機器連動型コンテンツ再生装置に、映像及び/又は音声の映像・音声コンテンツと、その映像・音声コンテンツに連動して受信装置で制御可能な外部機器を動作させる動作制御信号とを送信する外部機器連動型コンテンツ送信方法であって、
前記外部機器の準備動作が開始可能な準備可能時間を含み前記外部機器を動作可能な状態に準備させる動作準備指示信号を前記動作制御信号として送信する動作準備指示ステップと、
前記映像・音声コンテンツに対応させて、前記外部機器を前記動作可能な状態から動作させる動作指示信号を前記動作制御信号として送信する動作実行指示ステップと、
を含むことを特徴とする外部機器連動型コンテンツ送信方法。
An operation control signal for operating a video / audio content of video and / or audio and an external device that can be controlled by a receiving device in conjunction with the video / audio content in the external device-linked content playback device according to claim 1 External device-linked content transmission method for transmitting
An operation preparation instruction step of transmitting, as the operation control signal, an operation preparation instruction signal that prepares the external apparatus in an operable state, including a ready time during which the preparation operation of the external apparatus can be started ;
An operation execution instruction step of transmitting, as the operation control signal, an operation instruction signal for operating the external device from the operable state in correspondence with the video / audio content;
An external device-linked content transmission method comprising:
JP2002131330A 2002-05-07 2002-05-07 External device-linked content playback apparatus, method and program thereof, and external device-linked content transmission method Expired - Fee Related JP4042958B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002131330A JP4042958B2 (en) 2002-05-07 2002-05-07 External device-linked content playback apparatus, method and program thereof, and external device-linked content transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002131330A JP4042958B2 (en) 2002-05-07 2002-05-07 External device-linked content playback apparatus, method and program thereof, and external device-linked content transmission method

Publications (2)

Publication Number Publication Date
JP2003324685A JP2003324685A (en) 2003-11-14
JP4042958B2 true JP4042958B2 (en) 2008-02-06

Family

ID=29544006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002131330A Expired - Fee Related JP4042958B2 (en) 2002-05-07 2002-05-07 External device-linked content playback apparatus, method and program thereof, and external device-linked content transmission method

Country Status (1)

Country Link
JP (1) JP4042958B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6178994B2 (en) * 2013-12-02 2017-08-16 パナソニックIpマネジメント株式会社 Relay device, linkage system, distribution device, processing method and program for relay device

Also Published As

Publication number Publication date
JP2003324685A (en) 2003-11-14

Similar Documents

Publication Publication Date Title
US10869102B2 (en) Systems and methods for providing a multi-perspective video display
KR960004813B1 (en) Scent occurring television receiver
US20050226601A1 (en) Device, system and method for synchronizing an effect to a media presentation
JP2004180323A (en) Method and system for breaking audio-visual component
US8447824B2 (en) Environment information providing method, video apparatus and video system using the same
JP2004080476A (en) Digital video reproducing device
US11070869B2 (en) Method for controlling Internet of Things devices with digital TV receivers using transmission from a broadcaster in a transport stream flow
JP2008079114A (en) Synchronous reproduction system
JP4042958B2 (en) External device-linked content playback apparatus, method and program thereof, and external device-linked content transmission method
JP2013034227A (en) Content provision system, content generation apparatus, content reproduction apparatus, and content provision method
WO2010087153A1 (en) Data structure for perception effect information, device for outputting perception effect information, method of outputting perception effect information, perception effect information generating device, control device, system, program and recording medium
JP2004320215A (en) Video display device and method
JP3648322B2 (en) Information supply system, information supply apparatus and output terminal
JP2002101395A (en) Multiplexing device and method, and decoding device and method
KR101341485B1 (en) System and method for real-sense broadcasting service using device cooperation
JP2008131341A (en) Video/audio reproduction system and video reproduction apparatus
US20110110641A1 (en) Method for real-sense broadcasting service using device cooperation, production apparatus and play apparatus for real-sense broadcasting content thereof
JP2002314960A (en) Multi-view broadcasting service system and device or method or recording medium or its program related therewith
US20050204401A1 (en) Dvd virtual machine
JP2008136027A (en) Video and sound playback system and video player
JPH09312842A (en) Mpeg data reproducing device, and mpeg data supply/ reproduction system provided with the reproducing device
JP4186458B2 (en) Broadcasting method and receiving apparatus
JP2003163850A (en) Method for controlling reproduction of contents stored as stream
JP2000013759A (en) Device and method for transmitting information, device and method for receiving information, and providing medium
JP4189907B2 (en) Broadcast recording / viewing control system, broadcast station, receiver and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071109

R150 Certificate of patent or registration of utility model

Ref document number: 4042958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131122

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees