JPH0965300A

JPH0965300A - 情報送受信システムとこのシステムに用いられる送信情報生成装置及び受信情報再生装置

Info

Publication number: JPH0965300A
Application number: JP7220636A
Authority: JP
Inventors: Kiyoshi Hoshino; 潔星野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-08-29
Filing date: 1995-08-29
Publication date: 1997-03-07

Abstract

(57)【要約】【課題】参照したいデータに到達するまでの操作手順
と、不必要な推測・判断による選択を最小限に留めるこ
とができるようにする。【解決手段】送信情報生成装置は、入力動画像上の任
意の領域を動画像情報に時間的に同期して特定する領域
決定回路９８と、この回路の決定領域情報とこの決定領
域の内容に関連した付加情報との関係を示す情報とをテ
ーブル化してポインタ情報を作成するポインタ作成付加
回路１００と、作成されたポインタ情報を動画像情報に
時間的に同期関係を保ちながら付加情報と共に多重する
情報多重器１０２を具備したことを特徴とする。これに
より、受信側では、多重情報信号を受信して動画像情
報、付加情報、ポインタ情報を分離し、分離された動画
像情報とポインタ情報を時間的な同期関係を保って再生
し、そのポインタ情報をもとにして、動画像情報と関係
付けられた付加情報を再生することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、少なくとも動画像
情報とこの動画像情報の内容に関連した付加情報とを多
重して送信し、その多重情報を受信して情報別に分離し
再生する情報送受信システム、このシステムに用いられ
る送信情報生成装置及び受信情報再生装置に関する。

【０００２】

【従来の技術】近年のマルチメディアという表現に代表
されるように、様々な分野において、映像、音、データ
の電子化及び融合の応用が広がっている。例えば、コン
ピュータ、出版、教育などがあげられる。また、もとも
と映像と音声の複合メディアであるテレビジョン（以
下、ＴＶと記す）放送においても、それらに文字や簡単
なグラフィック情報を付加して、より多様な情報を送受
信する放送が、文字多重放送という形で既に実現されて
いる。さらに、既に米国で実用化が始まっているディジ
タルＴＶ放送システムにおいても、同等あるいはそれ以
上のサービスが可能である。

【０００３】映像信号をディジタル化して伝送するＴＶ
放送の１つの利点として、１つの伝送チャンネルに複数
の番組を伝送できることがあげられる。ここでいう伝送
チャンネルとは現行ＴＶ放送におけるチャンネルのこと
で、地上放送では６ＭＨｚの帯域がある。

【０００４】文献（１）「日経エレクトロニクスブック
ス、データ圧縮技術とディジタル変調技術」によれば、
一般的な１６ＱＡＭ変調を用いてディジタル伝送を行う
場合、１シンボルに４ビット（２⁴ ＝１６値）を割り当
て、４ビット／秒／Ｈｚで伝送することになる。従っ
て、現行地上波１チャンネルにおいて１６ＱＡＭ変調を
使用する場合には、６Ｍ×４＝２４Ｍ／秒で伝送できる
ことになる。但し、実際の伝送速度は隣接チャンネル間
の干渉を防ぐためのフィルタ特性や誤り訂正符号による
オーバーヘッドが必要になるため、これよりも若干小さ
くなる。

【０００５】１９９４年１１月に国際標準に制定された
ＭＰＥＧ２においては、圧縮後のレートが５Ｍｂｐｓ程
度で現行ＮＴＳＣ並みの品質、また、圧縮された音声信
号は数百Ｋｂｐｓなので、現行ＴＶのような番組であれ
ば、１つの伝送チャンネル内で４番組を同時に伝送でき
る。さらに、映像や音声の他に、番組内容を補足するた
めのデータや、文字多重放送と同様な各種データも多重
して伝送することが可能である。従って、従来の文字多
重放送のようなサービス形態のみならず、映像と音声か
ら構成される通常の番組を補足するために、別の映像を
送受信することも可能である。

【０００６】さて、こうした多様な情報を送受信するシ
ステムにおいて、映像と音声から構成される本来の番組
以外のデータ要素を参照するための手順について、ＭＰ
ＥＧ２を例にして以下説明する。

【０００７】まず、ＭＰＥＧ２において複数の番組とデ
ータ要素を送信するための多重方法と、多重データを受
けて所定の番組を選択し試聴する方法について、文献
（２）「INTERNATIONAL ORGANIZATION FOR STANDARDIZA
TION ORGANISATION INTERNATIONALE DE NORMALISATION
ISO/IEC JTC1/SC29/WG11 CODEING OF MOVING PICTURESA
ND ASSOCIATED AUDIO」に記述されているＭＰＥＧ２の
システムレイヤに準じて説明する。

【０００８】図１５を用いて、送信側の処理内容を説明
する。一般的に、番組は映像、音声、データなどいくつ
かのデータ要素のディジタルストリームから構成され
る。それぞれのデータ要素ストリームは、ＰＩＤ（Pack
et Initial Data ）と呼ばれるユニークな番号で識別さ
れる固定長のパケットとして多重される。また、１つの
番組がどのようなデータ要素ストリームから構成されて
いるかを示すため、ＰＭＴ（Program Map Table ）と呼
ばれるテーブルが定義されている。

【０００９】映像、音声データは、ディジタルストリー
ムのデータ圧縮処理を行い、ＰＥＳ（Packetized Eleme
ntary Stream）と呼ばれるパケット化されたデータスト
リームとした後に多重するのが一般的である。

【００１０】例えば番組Ａは２つの映像ストリーム（Ｖ
ｉｄｅｏ１，Ｖｉｄｅｏ２）、２つの音声ストリーム
（Ａｕｄｉｏ１，Ａｕｄｉｏ２）、１つのデータストリ
ーム（Ｄａｔａ１）の５つのストリームを適宜圧縮した
後、こうした内容を示すテーブルであるＰＭＴ（Ａ）と
共に多重器（ＭＵＸ）１１により多重して、一つのトラ
ンスポートストリームＴＳ（Ａ）にまとめたものであ
る。尚、ＰＭＴには、場合によっては番組内容の記述も
含まれる。

【００１１】同様にして、番組Ｂ、Ｃの映像、音声、デ
ータ、ＰＭＴについて多重器１２，１３によって多重し
て、トランスポートストリームＴＳ（Ｂ），ＴＳ（Ｃ）
が構成される。この場合、ＰＭＴは各番組に１づつ必要
となるが、これらＰＭＴを統括するテーブルとしてＰＡ
Ｔ（ Program Asociation Table ）がある。ＰＡＴは、
各番組とそれぞれのＰＭＴの対応を示すテーブルであ
る。

【００１２】例えば、３つの番組Ａ、Ｂ、Ｃの各トラン
スポートストリームＴＳ（Ａ），ＴＳ（Ｂ），ＴＳ
（Ｃ）を多重器（ＭＵＸ）１４により多重することでＴ
Ｓ（ＡＬＬ）が構成される。それぞれの番組にはＰＭＴ
（Ａ）、ＰＭＴ（Ｂ）、ＰＭＴ（Ｃ）があり、これらを
取りまとめるテーブルがＰＡＴである。尚、ＰＡＴ，Ｐ
ＭＴも、データ要素ストリームと同様にＰＩＤで識別で
きる固定長パケットとして多重され、特にＰＡＴはＰＩ
Ｄ＝０と規定されている。

【００１３】次に、多重ＴＳ（ＡＬＬ）のデコード方法
と視聴者による番組選択について、図１６を用いて説明
する。同図において、チューナー２１から出力される受
信信号は、復調後の多重ＴＳ（ＡＬＬ）である。多重Ｔ
Ｓ（ＡＬＬ）はＦＩＦＯメモリ２２〜２５、ＳＲＡＭ２
６、番組表メモリ２７に分配供給される。

【００１４】多重ＴＳ（ＡＬＬ）の各パケットには、先
に説明したようにパケット識別のためにＰＩＤやパケッ
ト同期を含むヘッダが含まれている。そこで、このデコ
ーダでは、図示しないパケット同期回路により、ヘッダ
中のパケット同期の周期性からパケットの切り出し位相
（固定長パケットの切れ目）を再生する。

【００１５】この位相情報をもとにして、同じくパケッ
トヘッダに含まれるＩＤ番号をデパケットコントローラ
２８で指示することで、各メモリ（ＦＩＦＯ２２〜２
５、ＳＲＡＭ２６、番組表メモリ２７）に必要なパケッ
トのみを抜き出して書き込むことが可能となる。

【００１６】尚、ＰＡＴパケットは、視聴選択に不可欠
であるという性質上、固定のＩＤ番号が割り当てられ
る。ＭＰＥＧ２では先に説明したようにそのＩＤを０と
している。

【００１７】まず、デパケットコントローラ２８は、Ｍ
ＰＵ２９からの指令を受けて、ＰＩＤ＝０を取り込むよ
うに番組表メモリ２７に指示する。番組表メモリ２７に
取り込まれるデータは、図１５に示したＰＡＴをパケッ
ト化したものである。このＰＡＴはバス３０を介してＭ
ＰＵ２９に読み込まれる。

【００１８】このとき、ＭＰＵ２９は、ＰＡＴを復元し
てメモリ３１に格納し、ＰＡＴをもとに３つの番組Ａ，
Ｂ，ＣのＰＭＴそれぞれのＰＩＤを取得し、デパケット
コントローラ２８を通じて取り込むように番組表メモリ
２７に指示する。

【００１９】さらに、ＭＰＵ２９は、バス３０を介して
ＰＭＴを読み込み、パケットを解いて復元してメモリ３
１に格納する。このようにしてメモリ３１に格納された
ＰＡＴとＰＭＴによるプログラム情報は、ＶＲＡＭ３
２、Ｄ／Ａ変換器３３、画面合成器３４を経由して表示
装置３５へ送られ表示される。

【００２０】図１７に番組構成テーブルの表示の一例を
示す。この例では、現在放送中の３つの番組名を表示し
ている。ＰＩＤの数値自体は視聴者が直接知る必要がな
いので、特に表示する必要はない。

【００２１】尚、上記の記載では、番組表メモリ２７に
番組Ａ，Ｂ，ＣのＰＭＴそれぞれのＰＩＤをパケット化
された状態で取り込んで、デパケット処理をＭＰＵ２９
が行うと説明したが、番組表メモリ２７にデパケットさ
れた状態で書き込むようにデパケットコントローラ２８
を通じて指示してもよい。

【００２２】こうして表示された番組構成より、視聴者
がリモートコントローラ３６を用いて番組Ａを選択した
とする。視聴者による番組選択指示は、赤外受光部３
７、マイコン（マイクロコンピュータの略）３８を介し
てＭＰＵ２９とデパケットコントローラ２８とに送られ
る。

【００２３】ＭＰＵ２９においては、番組Ａが選択され
たことを示すように、例えば図１７において番組Ａと表
示している部分の色を変更するなどして、視聴者による
リモコン操作を画面にフィードバックする処理を行うと
共に、メモリ３１上のＰＡＴ、ＰＭＴを参照して、番組
Ａを構成している映像及び音声のそれぞれのＰＩＤを得
る。図１５に示したように、１つの番組中に映像、音声
が複数存在する場合には、送信側で優先順位を付けるな
どしてデフォルトでデコードされるべき信号を指示して
送信する。

【００２４】受信側ではこの指示に従って映像、音声を
１組選択するか、あるいは、優先度が同一または優先度
が高い順に複数の映像、音声を同時に選択することがで
きる。ここでは前者の例で説明する。

【００２５】番組Ａを構成している映像及び音声のそれ
ぞれのＰＩＤを得ると、ＭＰＵ２９はデパケットコント
ローラ２８を通じて、指示された映像のＰＩＤを持つパ
ケットのみをデパケットして取り込むようＦＩＦＯ２２
を制御すると共に、指示された音声のＰＩＤパケットの
みをデパケットして取り込むようＦＩＦＯ２４を制御す
る。こうしてＦＩＦＯ２２，２４にはそれぞれ、圧縮さ
れた映像信号、音声信号が取り込まれる。

【００２６】ここで、ＰＣＲ（Program Clock Referenc
e ）を含むパケットヘッダはクロック再生回路４８に取
り込まれ、デコード処理に必要なクロックを再生する。
この再生クロックを基に、ＦＩＦＯ２２の映像データは
映像デコーダ３９により伸張され、画面合成器４１、Ｄ
／Ａ変換器４２、画面合成器３４を介して表示装置３５
に送られ表示される。

【００２７】１段目の画面合成器４１は、２つの映像デ
コーダ３９，４０からの映像信号を画面に同時に表示す
る場合にその処理を行い、２段目の画面合成器３４は、
映像信号とＶＲＡＭ３２から出力されるグラフィックデ
ータとを合成する。この画面合成器３４とＤ／Ａ変換器
３３の構成は、必ずしもこの順序でこの構成である必要
はない。

【００２８】一方、音声信号は、音声デコーダ４３で再
生クロックに基づいて伸張され、セレクタ４５、Ｄ／Ａ
変換器４６を介してスピーカー４７より音声出力され
る。次に、映像と音声をどのようにして同期させるかに
ついて説明する。ＭＰＥＧ２では文献（２）に詳細に説
明されているように、ＰＣＲとして４２ビット長の周波
数と位相情報を送信する。これは２７Ｍｈｚ精度で約２
６時間分の時刻を表現でき、その時刻を伝送しているこ
とを意味する。

【００２９】図１６に示したクロック再生回路４８の出
力信号は、再生されたクロックではなく、再生されたク
ロックによるカウンタ値出力である。つまり、２７Ｍｈ
ｚ精度での現在時刻出力である。もちろん、この場合の
時刻とはエンコーダが使用する仮想的な時刻であり、日
常使用している時刻とは必ずしも一致しない。

【００３０】ＰＥＳパケット中には、そのパケット中に
含まれるデータ要素ストリーム（映像、音声など）を再
生すべきタイミングが、上述したエンコーダ仮想時間軸
上の時刻として含まれている（タイムスタンプと呼
ぶ）。従って、映像デコーダ３９は、ＰＣＲにより再生
した仮想的な時間軸すなわちクロック再生出力と、ＦＩ
ＦＯ２２のＰＥＳ出力すなわちタイムスタンプとを入力
することで、映像信号のデコードを行って表示系に出力
するタイミングを得ることができる。全く同様にして、
音声デコーダ４３も適切なタイミングで音声を再生でき
る。このように映像、音声それぞれがＰＣＲとタイムス
タンプにより適正なタイミングでデコードすることで、
間接的に映像と音声の同期再生が実現される。

【００３１】尚、図１６で説明してきたマイコン３８と
ＭＰＵ２９との処理分担は、互いにカバーし合うことが
可能であり、１つのＭＰＵで構成することも、それぞれ
の分担を部分的に交換することも可能である。

【００３２】以上説明したようにして、パケット多重さ
れたディジタル放送を受信し、希望する番組を選択し試
聴することができる。引き続き、データ要素参照の手順
について説明する。一般的には、番組Ａを試聴している
状態において、視聴者がリモートコントローラ３６を用
いて、例えば［付加情報］というボタンを操作する。視
聴者による付加情報表示指示は、赤外受光部３７、マイ
コン３８を介してＭＰＵ２９へに送られる。

【００３３】ＭＰＵ２９においては、前述した映像や音
声と同様にメモリ３１上のＰＡＴ、ＰＭＴを参照して、
番組Ａを構成しているその他のデータストリームのＰＩ
Ｄとその内容を得る。この場合は、図１５において、試
聴している画面が映像（Ｖｉｄｅｏ１）、音声（Ａｕｄ
ｉｏ１）、その他のデータストリームが映像（Ｖｉｄｅ
ｏ２）、音声（Ａｕｄｉｏ２）、データ（Ｄａｔａ１）
である。

【００３４】次に、ＭＰＵ２９はデパケットコントロー
ラ２８を通じて、指示されたＰＩＤを持つパケットのみ
をデパケットして取り込むようＳＲＡＭ２６を制御す
る。ＳＲＡＭ２６に取り込まれたデータストリームパケ
ットは、ＭＰＵ２９において表示に適当な形式にデコー
ドされた後、ＶＲＡＭ３２、Ｄ／Ａ変換器３３、画面合
成器３４によって現在視聴中の画面と合成されて、例え
ば画面上に図１８に示すような付加情報メニューを表示
される。このようにして、リモートコントローラ３６で
指示することで、現在送信されている付加情報の内容を
表示できる。

【００３５】番組Ａが日本対韓国のサッカー中継番組で
あるとすれば、図１８の画面５１には試合中の動画が表
示され、さらに５２〜５５のようなメニューがオーバー
ラップして表示される。５２は同じサッカー中継を別ア
ングルのカメラで撮影しているもので、図１５における
Ｖｉｄｅｏ２，Ａｕｄｉｏ２に相当する。５３〜５５は
図１５におけるＤａｔａ１に相当するデータベース情報
であり、場合によっては非実時間的な映像、音声も含
む。

【００３６】さて、サッカーの試合にて日本チームに得
点が入ったときに、シュートした選手のプロフィールを
背番号を頼りにして表示する操作について説明する。ま
ず、以上説明したようにリモートコントローラ３６によ
り［付加情報］を指示して図１８の内容を表示する。次
に５５を選択指示すると、図１９（ａ）に示す情報が表
示される。さらにメニュー６１を選択指示すると、図１
９（ｂ）に示す情報が表示され、メニュー６２を選択指
示すると、図１９（ｃ）に示す情報が表示される。

【００３７】ここでシュートした選手の背番号（６３）
を選択指示すると、図１９（ｄ）に示す情報が表示さ
れ、希望する選手のプロフィールを得ることができる。
以上説明した図１８、図１９の表示を実現するためのデ
ータストリームＤａｔａ１に含まれるデータ構造につい
て、図２０を用いて説明する。

【００３８】図２０はデータストリームＤａｔａ１に含
まれるテキストデータであり、［］で囲まれた部分がメ
ニューＩＤ、それ以降に続いているのがメニュー内容を
示す。例えば、７１は図１８に示したメニューのＩＤで
あり、タイトルが７２によって示されている。さらにメ
ニューを構成するアイテム数がｎＩｔｅｍによって示さ
れ（７３）、その後ｎＩｔｅｍ分だけメニュー項目が続
く（７４〜７７）。

【００３９】各メニュー項目は、メニュータイトル及び
選択された場合に次に表示するメニューＩＤの組からな
る。例えば７７は図１８のメニュー５５に対応してお
り、「選手プロフィール」と表示し、選択されれば[Men
u1-3] ７８にジャンプする。[Menu1-3] ７８において、
タイトル、アイテム数、各メニュー項目等は［Ｍｅｎｕ
０］と同様であり、図１９（ａ）のようなメニューが表
示される。同図においてメニュー６１を選択すると、８
１を参照して[Menu2-1] ８３にジャンプする。以下同様
にして、[Menu4-2] ８４に到達し、図１９（ｄ）に示し
た選手のプロフィールを表示することができる。

【００４０】図２０の[Menu4-2] ８４において、８５は
選択された場合のジャンプ先メニューがＮＯＮＥとなっ
ている。この場合には選択されても何処にもジャンプし
ない。

【００４１】以上のような一連の操作によって、番組に
付加された情報を参照することができる。以上説明した
ように、多様な情報を送受信するシステムにおいて、映
像と音声から構成される本来の番組以外のデータ要素を
参照するための、従来のメニュー表示／選択方法では、
必要なデータに到達するまでの手続きが非常に多くなる
という問題点がある。

【００４２】上で説明した例では、参照までに４回のメ
ニュー選択を行なう必要があった。しかも、このように
手続きが増える程、単純な操作ミスの可能性が増大する
のはもちろん、それ以外にも、誤って不適切な選択肢を
選択してしまい、希望データに到達するまでの手順が必
要以上に増大する可能性も大きくなる。

【００４３】しかも、希望データが特定選手のプロフィ
ールであるにもかかわらず、図１９（ａ）においてはそ
の選手の所属チーム、同図（ｂ）においてはその選手の
背番号を選択するというように、その都度表示されるメ
ニュー項目のうち、本来参照したいデータがどれに含ま
れているかを推測、判断しながら選択しなければならな
い。言い換えれば、参照したいデータを、提供されてい
るメニューツリーというデータ構造に当て嵌めて分類す
る作業を行う必要があることになる。

【００４４】

【発明が解決しようとする課題】以上説明したように、
多様な情報を送受信する従来のシステムでは、映像と音
声から構成される本来の情報以外の付加情報を参照する
ためには、表示メニューの選択操作が繁雑で、操作ミス
を発生しやすく、不用意な操作を誘発して希望データに
到達するまでの手順が必要以上に増大してしまう可能性
が大きい。また、メニュー項目から本来参照したいデー
タがどれに含まれているかを推測、判断しながら選択し
なければならず、参照したいデータを提供されているメ
ニューツリーというデータ構造に当て嵌めて分類する作
業を行う必要があり、視聴者にとって利用しにくいもの
であった。

【００４５】この発明の課題は、上記の課題を解決し、
参照したいデータに到達するまでの操作手順と、不必要
な推測・判断による選択を最小限に留めることのできる
情報送受信システムと、このシステムに用いられる送信
情報生成装置及び受信情報再生装置を提供することにあ
る。

【００４６】

【課題を解決するための手段】上記課題を解決するため
に、この発明に係る情報送受信システムは、少なくと
も、動画像情報と、この動画像情報の内容に関連した付
加情報と、前記動画像情報と前記付加情報とを関係付け
るリンク情報とを、前記動画像情報と前記リンク情報と
の間の時間的な同期関係を保って多重する情報多重手段
を備え、多重された情報信号を送信する情報送信装置
と、前記送信装置から送出される多重情報信号を受信し
て前記動画像情報、付加情報、リンク情報を分離する情
報分離手段、この手段で分離された前記動画像情報とリ
ンク情報を時間的な同期関係を保って再生し、そのリン
ク情報をもとにして、動画像情報と関係付けられた付加
情報を要求に応じて再生する情報再生手段を備える情報
受信装置とを具備することを特徴とする。

【００４７】また、この発明に係る送信情報生成装置
は、動画像情報を入力して、動画像上の少なくとも１つ
の領域を動画像情報に時間的に同期して特定する領域特
定手段と、この手段で特定された画像領域情報と、この
情報により特定される画像領域の内容に関連した付加情
報との関係を示す情報とをテーブル化してリンク情報を
作成するリンク情報作成手段と、この手段で作成された
リンク情報を前記動画像情報に時間的に同期関係を保ち
ながら前記付加情報と共に多重する情報多重手段とを具
備したことを特徴とする。

【００４８】さらに、この発明に係る受信情報再生装置
は、少なくとも、動画像情報と、この動画像情報の特定
画像領域の内容に関連した付加情報と、前記特定画像領
域の動画像情報と前記付加情報とを関係付ける情報及び
前記特定画像領域情報とをテーブル化したリンク情報と
が、前記動画像情報と前記リンク情報との間の時間的な
同期関係を保って多重されて送信される多重情報信号の
受信信号を入力して、前記動画像情報、付加情報、リン
ク情報を分離する情報分離手段と、この手段で分離され
た前記動画像情報とリンク情報を時間的な同期関係を保
って再生し、そのリンク情報をもとにして、再生動画像
上の特定画像領域が指定されたとき、その領域に関係付
けられた付加情報を再生する情報再生手段とを具備する
ことを特徴とする。

【００４９】この発明に係る情報送受信システムでは、
送信側において、少なくとも、動画像情報と、この動画
像情報の内容に関連した付加情報と、動画像情報と前記
付加情報とを関係付けるリンク情報とを、動画像情報と
リンク情報との間の時間的な同期関係を保って多重し、
多重された情報信号を送信するようにし、受信側におい
て、多重情報信号を受信して動画像情報、付加情報、リ
ンク情報を分離し、分離された動画像情報とリンク情報
を時間的な同期関係を保って再生し、そのリンク情報を
もとにして、動画像情報と関係付けられた付加情報を要
求に応じて再生するようにしている。

【００５０】特に、この発明に係る送信情報生成装置
は、動画像情報を入力して、動画像上の少なくとも１つ
の領域を動画像情報に時間的に同期して特定し、特定さ
れた画像領域情報と、この情報により特定される画像領
域の内容に関連した付加情報との関係を示す情報とをテ
ーブル化してリンク情報を作成し、作成されたリンク情
報を動画像情報に時間的に同期関係を保ちながら付加情
報と共に多重するようにしている。

【００５１】また、この発明に係る受信情報再生装置
は、上記多重情報信号の受信信号を入力して、前記動画
像情報、付加情報、リンク情報を分離し、分離された動
画像情報とリンク情報を時間的な同期関係を保って再生
し、そのリンク情報をもとにして、再生動画像上の特定
画像領域が指定されたとき、その領域に関係付けられた
付加情報を再生するようにしている。

【００５２】

【発明の実施の形態】以下、図面を参照しながらこの発
明の実施の形態を詳細に説明する。［第１の実施形態］第１の実施形態は、以下の点を特徴
とする。まず、送信側において、現在放送されている動
画内容のうち、「ポイントするとデータにアクセスでき
る領域（以下、アクセス領域と称する）」を決定する。
この領域は、動画像内容と同期して変更する。例えばそ
の「アクセス領域」を長方形で表し、領域を特定できる
座標及びその領域ポイント時にアクセスされる付加情報
への「ポインタ」を作成する。ポインタが示す先に「付
加情報」( 画像・音声・文字データ) を作成する。

【００５３】このようにして作成された付加情報を、時
間情報を持つパケット (例えばＭＰＥＧ−２システムレ
イヤのＰＥＳ）にエンコードする。ＰＥＳではタイムス
タンプによって、多重されたパケットを同期して再生す
ることが可能である。続いて、「映像」「音声」パケッ
トと「付加情報」，「領域とポインタ」を多重（例えば
ＭＰＥＧ−２システムレイヤのＴＳ）して伝送する。

【００５４】次に、受信側において、ＴＳをデコードし
て、「映像」「音声」「領域とポインタ」のデータ要素
（ＰＥＳ）をそれぞれ得る。それぞれのＰＥＳをデコー
ドし、タイムスタンプに基づいて、「映像」「音声」
「領域とポインタ」の同期再生を行う。ここで、データ
の同期再生とは、ポイントするとデータにアクセスでき
る「領域」とその映像・音声とが、同期して再生できる
ことを意味する。

【００５５】視聴者がリモートコントローラなどによ
り、画面上のポインタを「領域」に内に移動した場合に
は、ポインタのカーソル形状を変更するなどして、「領
域」であることを示す。「領域」内で視聴者がデータ参
照を指示した場合、その領域に関連付けられた「付加情
報」パケットをデコードして画面に表示する。

【００５６】図１はこの発明に係る情報送受信システム
の第１の実施形態として、送信情報生成装置（以下、単
にデコーダと称する）の構成を示すもので、番組Ａは、
映像信号Ｖｉｄｅｏ１、Ｖｉｄｅｏ２及び音声信号Ａｕ
ｄｉｏ１、Ａｕｄｉｏ２からなる通常の番組に付加情報
Ｄａｔａ１を加えて構成される。映像信号Ｖｉｄｅｏ
１、Ｖｉｄｅｏ２、音声信号Ａｕｄｉｏ１、Ａｕｄｉｏ
２は、それぞれ圧縮回路９１，９２，９３，９４によっ
てデータ圧縮され、ＰＥＳエンコード回路９５，９６，
９７，９８によってＰＥＳにエンコードされる。

【００５７】一方、映像信号Ｖｉｄｅｏ１は領域決定回
路９８に入力され、動画内容のうち、ポイントするとデ
ータにアクセスできる領域（以下、アクセス領域と称す
る）を決定する。そのアクセス領域の一例を図２に示
す。

【００５８】図２（ａ）はある時刻での領域決定回路９
８への入力映像信号に相当する画面を示している。画面
右にはシュートしたサッカー選手、左上には得点経過が
表示されている。この画像において、指定したいアクセ
ス領域は、サッカー選手、得点、２つのチーム名であ
り、座標値として送信するのが容易なように、それぞれ
のアクセス領域は図２（ｂ）に示すように長方形で表現
している。

【００５９】この時、領域決定回路９８はアクセス領域
のみ黒レベル、それ以外はペデスタルレベルとして図２
（ｃ）に示すようなデータを出力する。この領域は、動
画像内容と同期して変更する。尚、領域決定回路９８で
行われるアクセス領域の動的な指定処理は、例えば現行
ＴＶ放送において個人のプライバシーを守る場合など、
既に行われている技術で実現できる。

【００６０】領域決定回路９８の出力（図２（ｃ））
は、座標作成回路９９に入力され、座標値に変換され
る。例えばアクセス領域２０１は、図２（ｄ）に示すよ
うに、頂点２０２の位置を示す(TOPx201，TOPy201)、幅
２０３及び高さ２０４を示す(WIDTH201 ，HEIGHT201)の
４つのパラメータにより表現できる。

【００６１】こうして数値データ化されたそれぞれのア
クセス領域に、ポインタ作成付加回路１００によって関
連する情報へのポインタを付加する。ポインタ作成付加
回路１００の出力データを図３（ａ）に示す。

【００６２】図３（ａ）において、３０１は図２（ｃ）
に示した各アクセス領域を記述している。３０２は図２
（ｃ）におけるアクセス領域２０１に関するもので、(T
OPx201，TOPy201)は領域２０１の頂点座標、(WIDTH201
，HEIGHT201)は領域２０１の幅及び高さ、1000は領域
２０１を選択したときに表示するデータパケットのＰＩ
Ｄ、Menu1-0 は上記データ内のメニュー名を示してい
る。その他、３０３，３０４，３０５も同様である。

【００６３】このように座標と付加情報へのポインタに
より構成された出力データは、ＰＥＳエンコード回路１
０１にてＰＥＳにエンコードされる。ＰＩＤが1000であ
るデータパケットに含まれる付加情報Ｄａｔａ１の内容
を図３（ｂ）に示す。この図３（ｂ）において、３０６
は図３（ａ）の３０２で示されているメニュー名[Menu1
-0] の内容を記述したものである。

【００６４】ＰＥＳエンコードされた映像信号、音声信
号、アクセス領域及びポインタデータ、付加情報はＰＭ
Ｔと共に多重器（ＭＵＸ）１０２によって多重され、こ
れによって番組ＡのトランスポートストリームＴＳ
（Ａ）が構成される。このＴＳ（Ａ）は、同様に多重器
１０３，１０４によって構成されたその他の番組Ｂ，Ｃ
のトランスポートストリームＴＳ（Ｂ），ＴＳ（Ｃ）及
びＰＡＴと共に多重器１０５によって多重され、送信ト
ランスポートストリームＴＳ（ＡＬＬ）が構成される。

【００６５】次にデコード処理について図４を用いて説
明する。尚、図４において、図１６と同一部分には同一
符号を付して示し、その説明を省略する。図４は本発明
に係る情報送受信システムの受信情報再生装置（以下、
単にデコーダと称する）の構成を示すものである。視聴
者による番組選択と、その選択に基づいた通常の番組デ
コード（映像、音声の同期再生）を行うデコーダの構成
は、図４から明らかなように、図１６に示した従来の構
成と全く同様である。但し、領域／ポインタデータのＰ
ＥＳパケット（図１のエンコーダ側でのＰＥＳエンコー
ド回路１０１の出力）に関しては、ＭＰＵ２９におい
て、映像や音声と同様にメモリ３１上のＰＡＴ、ＰＭＴ
を参照してＰＩＤを得ることができる。

【００６６】ＭＰＵ２９はデパケットコントローラ２８
を通じて、指示されたＰＩＤを持つパケットのみをデパ
ケットして取り込むようにＳＲＡＭ２６を制御する。Ｍ
ＰＵ２９では、ＳＲＡＭ２６に取り込まれたデータスト
リームパケットより図３（ａ）に示した領域座標情報を
得てメモリ３１に格納する。

【００６７】尚、ＭＰＵ２９におけるこれら一連のデー
タパケットデコード処理は、クロック再生回路４８から
出力される仮想的な時間軸情報とデータパケットに含ま
れるタイムスタンプ情報をもとにして適切な時刻に行わ
れる。このため、同一プログラム中の映像、音声などは
他のストリームと同期して再生されることになる。した
がって、この時点においては、表示装置３５には図２
（ａ）に示した画像が表示されている。

【００６８】次に、視聴者がリモートコントローラ３６
を用いて画面上のカーソル（カーソルはＶＲＡＭ３２、
Ｄ／Ａ変換器３３、画面合成器３４を介して表示装置３
５に表示される）を移動したときの動作について説明す
る。ここでの画面上のカーソルは、コンピュータのマウ
スカーソルに代表されるようなポインティングデバイス
を想定している。

【００６９】視聴者によるカーソル移動指示は、赤外受
光部３７、マイコン３８を介してＭＰＵ２９に送られ
る。ＭＰＵ２９では、画面上のカーソル位置とメモリ３
１に格納されている領域座標情報（図３（ａ））を比較
する。カーソルが領域内にあれば、カーソル形状や色を
変更することで、視聴者に付加情報が送信されているこ
とを通知する。例えば、図２（ｃ）の領域２０１中にカ
ーソルを移動させたときカーソル形状を変化させること
で、この選手に関する情報が参照できることがわかる。

【００７０】視聴者がこのリモートコントローラの例え
ば［データ］ボタンを操作して、そのデータを参照する
指示を出すと、その指示は上記の処理と同様にしてＭＰ
Ｕ２９に伝えられる。ＭＰＵ２９では、メモリ３１に格
納されている領域座標情報（図３（ａ））とカーソル位
置の座標とから、関連した情報がＰＩＤ1000の[Menu1-
0] に含まれることを判別する。

【００７１】次に、ＭＰＵ２９はデパケットコントロー
ラ２８を通じて、ＰＩＤが1000のパケットのみをデパケ
ットして取り込むようにＳＲＡＭ２６を制御する。ＭＰ
Ｕ２９では、ＳＲＡＭ２６に取り込まれたデータストリ
ームパケットより図３（ｂ）に示した選手プロフィール
のデータを得る。このデータを再生して表示装置３５に
送出することで、従来例で示した図１９（ｄ）と同様の
選手プロフィールを表示できる。

【００７２】尚、以上説明した実施形態においては、
「領域とポインタ」のデータと「付加情報」はＰＩＤが
異なる別のストリームとして説明したが、同一のストリ
ームに多重してもよいし、別チャンネルのＴＳの一部に
多重してもよい。後者の場合には、例えば図３（ａ）の
３０２において、２０１の幅、高さを示す(WIDTH201 ，
HEIGHT201)とデータパケットのＰＩＤを示す1000との間
に、領域２０１を選択したときに表示するデータパケッ
トを伝送しているチャンネル番号（例えば１）を追加す
ればよい。

【００７３】また、「付加情報」の伝送に、ＴＳという
「領域とポインタ」と共通の伝送系を用いているが、も
ちろん、アナログＴＶ放送中やＣＡＴＶ等の他の送信メ
ディアを使用しても、同様の手法で実現できる。

【００７４】また、「付加情報」として選手プロフィー
ルをいう文字情報を例にして説明したが、文字に限ら
ず、映像や音声などの他のデータを適応することも可能
である。［第２の実施形態］第１の実施形態が、視聴者によるデ
ータ参照の指示を受けて、「付加情報」パケットをデコ
ードするのに対して、第２の実施形態では、指示を受け
る前に予めデコードしてメモリに格納しておくことを特
徴とする。

【００７５】すなわち、送信側において、現在放送され
ている動画内容のうち、「アクセス領域」を決定する。
この領域は、動画像内容と同期して変更する。例えば、
その「領域」を長方形で表し、領域を特定できる座標及
びその領域ポイント時にアクセスされる付加情報への
「ポインタ」を作成し、ポインタが示す先に「付加情
報」（画像・音声・文字データ）を作成する。

【００７６】上記のようにして作成された情報を、時間
情報を持つパケット（例えばＭＰＥＧ−２システムレイ
ヤのＰＥＳ）にエンコードする。ＰＥＳではタイムスタ
ンプによって、多重されたパケットを同期して再生する
ことが可能である。「映像」「音声」パケットと「付加
情報」「領域とポインタ」を多重（例えばＭＰＥＧ−２
システムレイヤのＴＳ）して伝送する。

【００７７】一方、受信側において、ＴＳをデコードし
て、「映像」「音声」「領域とポインタ」「付加情報」
のデータ要素をそれぞれ得る。タイムスタンプに基づい
て、「映像」「音声」「領域とポインタ」のデコードと
同期再生を行う。データの同期再生とは、ポイントする
とデータにアクセスできる「領域」とその映像・音声と
が、同期して再生できることを意味する。「付加情報」
をデコードして、メモリに格納する。

【００７８】視聴者がリモートコントローラなどによ
り、画面上のポインタを「領域」に内に移動した場合、
ポインタのカーソル形状を変更するなどして、「領域」
であることを示す。「領域」内で視聴者がデータ参照を
指示した場合、その領域に関連付けられた「付加情報」
をメモリ上から得て画面に表示する。

【００７９】以下、本発明の第２の実施形態について、
第１の実施形態との相違点を中心に説明する。第１の実
施形態における受信側の処理が、視聴者によるデータ参
照の指示を受けてから「付加情報」パケットをデコード
するのに対して、第２の実施形態は、指示を受ける前に
予めデコードしメモリに格納しておき、視聴者によるデ
ータ参照の指示を受けるとそのメモリ上からデータを得
る。

【００８０】送信側のエンコード処理については、第１
の実施形態と全く同様であるので、エンコーダの構成及
び作用の説明を省略する。また、受信側のデコード処理
についても、第１の実施形態と共通するので、デコーダ
の構成及び作用を図４を参照して説明する。

【００８１】視聴者による番組選択と、その選択に基づ
いた通常の番組デコード（映像、音声の同期再生）を行
うデコーダの構成は、図４に示すように、第１の実施形
態と全く同様である。また、領域／ポインタデータのＰ
ＥＳパケット（図１のエンコーダ側でのＰＥＳエンコー
ド回路１０１の出力）に関しても、第１の実施形態と同
様に、ＭＰＵ２９において、映像や音声と同様にメモリ
３１上のＰＡＴ、ＰＭＴを参照してＰＩＤを得ることが
できる。

【００８２】ＭＰＵ２９はデパケットコントローラ２８
を通じて、指示されたＰＩＤを持つパケットのみをデパ
ケットして取り込むようにＳＲＡＭ２６を制御する。Ｍ
ＰＵ２９では、ＳＲＡＭ２６に取り込まれたデータスト
リームパケットより図３（ａ）に示した領域座標情報を
得てメモリ３１に格納する。

【００８３】尚、ＭＰＵ２９におけるこれら一連のデー
タパケットデコード処理は、クロック再生回路４８から
出力される仮想的な時間軸情報とデータパケットに含ま
れるタイムスタンプ情報をもとにして適切な時刻に行わ
れる。このため、同一プログラム中の映像、音声などは
他のストリームと同期して再生されることになる。した
がって、この時点においては、表示装置３５には図２
（ａ）に示した画像が表示されている。

【００８４】次に、視聴者がリモートコントローラ３６
を用いて画面上のカーソル（カーソルはＶＲＡＭ３２、
Ｄ／Ａ変換器３３、画面合成器３４を介して表示装置３
５に表示される）を移動したときの動作について説明す
る。ここでの画面上のカーソルは、コンピュータのマウ
スカーソルに代表されるようなポインティングデバイス
を想定している。

【００８５】視聴者によるカーソル移動指示は、赤外受
光部３７、マイコン３８を介してＭＰＵ２９に送られ
る。ＭＰＵ２９では、画面上のカーソル位置とメモリ３
１に格納されている領域座標情報（図３（ａ））を比較
する。カーソルが領域内にあれば、カーソル形状や色を
変更することで、視聴者に付加情報が送信されているこ
とを通知する。例えば、図２（ｃ）の領域２０１中にカ
ーソルを移動させたとき、カーソル形状を変化させるこ
とで、この選手に関する情報が参照できることがわか
る。

【００８６】視聴者がこのリモートコントローラの例え
ば［データ］ボタンを操作して、そのデータを参照する
指示を出すと、その指示は上記の処理と同様にしてＭＰ
Ｕ２９に伝えられる。ＭＰＵ２９では、メモリ３１に格
納されている領域座標情報（図３（ａ））とカーソル位
置の座標とから、[Menu1-0] に含まれることがわかる。
[Menu1-0] の内容は、すでにメモリ３１に格納されてい
るので、ＭＰＵ２９はメモリ３１から[Menu1-0] すなわ
ち、図３（ｂ）に示した選手プロフィールを得て、従来
例で示した図１９（ｄ）と同様のデータを表示できる。［第３の実施形態］第１、第２の実施形態が、「付加情
報」を送信されるＴＳから得るのに対して、第３の本実
施形態では、記憶媒体などにより予め配布されたデータ
をローカルに置き、そこからデータを参照する。

【００８７】すなわち、送信側において、現在放送され
ている動画内容のうち、「アクセス領域」を決定する。
この領域は、動画像内容と同期して変更する。例えばそ
の「アクセス領域」を長方形で表し、領域を特定できる
座標及びその領域ポイント時にアクセスされる付加情報
への「ポインタ」を作成する。ポインタが示す先に「付
加情報」( 画像・音声・文字データ) を作成し、フロッ
ピディスク、ＣＤ−ＲＯＭ、メモリカードなどの媒体に
より、視聴者に提供しておく。

【００８８】このようにして作成された付加情報を、時
間情報を持つパケット（例えばＭＰＥＧ−２システムレ
イヤのＰＥＳ）にエンコードする。ＰＥＳではタイムス
タンプによって、多重されたパケットを同期して再生す
ることが可能である。続いて、「映像」「音声」パケッ
トと「領域とポインタ」を多重（例えばＭＰＥＧ−２シ
ステムレイヤのＴＳ）して伝送する。

【００８９】次に、受信側において、予め配布された
「付加情報」は、受信機内のＣＤ−ＲＯＭドライブに挿
入する、メモリに転送するなどしておく。ＴＳをデコー
ドして、「映像」「音声」「領域とポインタ」のデータ
要素をそれぞれ得る。タイムスタンプに基づいて、「映
像」「音声」「領域とポインタ」のデコードと同期再生
を行う。ここで、データの同期再生とは、ポイントする
とデータにアクセスできる「領域」とその映像・音声と
が、同期して再生できることを意味する。

【００９０】視聴者がリモートコントローラなどによ
り、画面上のポインタを「領域」に内に移動した場合、
ポインタのカーソル形状を変更するなどして、「領域」
であることを示す。「領域」内で視聴者がデータ参照を
指示した場合、その領域に関連付けられた「付加情報」
をＣＤ−ＲＯＭドライブやメモリ上から得て画面に表示
する。

【００９１】以下、本発明の第３の実施形態について、
第１の実施形態との相違点を中心に説明する。第１の実
施形態が「付加情報」をトランスストリームＴＳ（ＡＬ
Ｌ）から得るのに対して、第３の実施形態では、情報記
憶媒体に選手プロフィールを含めた種々のデータを格納
して、予め視聴者に配布しておく。そして、配布された
データをローカルに置き、そこからデータを参照する。
情報記憶媒体としては、例えばフロッピディスク、ＣＤ
−ＲＯＭ、メモリカード等があげられる。

【００９２】以下、本発明の第３の実施形態における送
信側のエンコーダの構成について、図５を参照して説明
する。尚、図５において、図１と同一部分には同一符号
を付して示す。図１との相違点は、付加情報を多重器１
０２によって多重するのでなく、予め選手プロフィール
を含めた種々データが格納されている外部記憶メディア
１０７から、外部記憶装置１０６を介して提供されてい
る点である。

【００９３】この外部記憶メディア１０７は、トランス
ストリームＴＳ（ＡＬＬ）が送信される事前に、予め視
聴者に配布しておく。また、こうした記憶メディアによ
る配布のため、図５におけるポインタ作成付加回路１０
０の出力データは、図３（ａ）と異なり、図７に示すよ
うになる。ここで、図７において、３０７は図２（ｃ）
における２０１の領域に関して、(TOPx201,TOPy201) は
２０１の頂点座標、(WIDTH201,HEIGHT201)は２０１の幅
及び高さ、File1 は領域２０１を選択したときに表示す
るデータパケットを含む外部記憶メディア１０７内のフ
ァイル名、Menu1-0 は、上記ファイル内のメニュー名を
いう記述になっている。

【００９４】次に、デコード処理について図６を用いて
説明する。尚、図６において、図１６と同一部分には同
一符号を付して示し、その説明を省略する。視聴者によ
る番組選択と、その選択に基づいた通常の番組デコード
（映像、音声の同期再生）を行うデコーダの構成は、図
６から明らかなように、図１６に示した従来の構成と全
く同様である。また、領域／ポインタデータ（図５のエ
ンコーダ側でのＰＥＳエンコード回路１０１の出力）の
ＰＥＳパケットに関しても、ＭＰＵ２９において、映像
や音声と同様にメモリ３１上のＰＡＴ、ＰＭＴを参照し
てＰＩＤを得ることができる。

【００９５】ＭＰＵ２９はデパケットコントローラ２８
を通じて、指示されたＰＩＤを持つパケットのみをデパ
ケットして取り込むようＳＲＡＭ２６を制御する。ＭＰ
Ｕ２９では、ＳＲＡＭ２６に取り込まれたデータストリ
ームパケットより図３（ａ）に示した領域座標情報を得
てメモリ３１に格納する。

【００９６】尚、ＭＰＵ２９におけるこれら一連のデー
タパケットデコード処理は、クロック再生回路４８から
出力される仮想的な時間軸情報とデータパケットに含ま
れるタイムスタンプ情報をもとにして、適切な時刻に行
われるため、同一プログラム中の映像、音声など他のス
トリームと同期して再生されることになる。したがっ
て、この時点においては、表示装置３５には図２（ａ）
に示した画像が表示されている。

【００９７】さて、視聴者がリモートコントローラ３６
を用いて画面上のカーソルを移動したときの動作につい
て説明する。ここでの画面上のカーソルは、コンピュー
タのマウスカーソルに代表されるようなポインティング
デバイスを想定している。

【００９８】視聴者によるカーソル移動指示は、赤外受
光部３７、マイコン３８を介してＭＰＵ２９に送られ
る。ＭＰＵ２９では、画面上のカーソル位置とメモリ３
１に格納されている領域座標情報（図３（ａ））を比較
する。カーソルはＶＲＡＭ３２，Ｄ／Ａ変換器３３、画
面合成器３４を介して表示装置３５に表示される。

【００９９】カーソルが領域内にあれば、カーソル形状
や色を変更することで、視聴者に付加情報が送信されて
いることを通知する。例えば、図２（ｃ）の領域２０１
中にカーソルを移動するとカーソル形状が変化し、この
選手に関する情報が参照できることがわかる。

【０１００】リモートコントローラ３６の例えば［デー
タ］ボタンを操作して、そのデータを参照する指示を出
すと、その指示はこれまでと同様にＭＰＵ２９に伝えら
れる。ＭＰＵ２９は、メモリ３１に格納されている領域
座標情報（図３（ａ））とカーソル位置の座標とから、
関連した付加情報が外部記憶メディア１０８のファイル
Ｆｉｌｅ１中に含まれるMenu1-0 ，Menu1-1 ，Menu1-2
，Menu1-3 の４つであることが判り、外部記憶装置１
０９を介してメモリ３１に格納する。

【０１０１】このようにして図３（ｂ）に示した選手プ
ロフィールを得て、従来例で示した図１９（ｄ）と同様
のデータを表示できる。［第４の実施形態］第３の実施形態が、「付加情報」を
予めローカルに置くのに対して、第４の実施形態では、
電話回線やネットワークを通じて取得して参照する。

【０１０２】すなわち、送信側において、現在放送され
ている動画内容のうち、「アクセス領域」を決定する。
この領域は、動画像内容と同期して変更する。例えば、
その「領域」を長方形で表し、領域を特定できる座標及
びその領域ポイント時にアクセスされる付加情報への
「ポインタ」を作成する。ポインタが示す先に「付加情
報」( 画像・音声・文字データ) を作成し、電話回線や
ネットワークを通じて参照可能な場所に格納する。ある
いは、すでにそうした参照が可能なデータへのポインタ
を作成する。

【０１０３】このようにして作成された付加情報を、時
間情報を持つパケット（例えばＭＰＥＧ−２システムレ
イヤのＰＥＳ）にエンコードする。ＰＥＳではタイムス
タンプによって、多重されたパケットを同期して再生す
ることが可能である。「映像」「音声」パケットと「領
域とポインタ」を多重（例えばＭＰＥＧ−２システムレ
イヤのＴＳ）して伝送する。

【０１０４】次に、受信側において、ＴＳをデコードし
て、「映像」「音声」「領域とポインタ」のデータ要素
をそれぞれ得る。タイムスタンプに基づいて、「映像」
「音声」「領域とポインタ」のデコードと同期再生を行
う。ここで、データの同期再生とは、ポイントするとデ
ータにアクセスできる「領域」とその映像・音声とが同
期して再生できることを意味する。

【０１０５】視聴者がリモートコントローラなどによ
り、画面上のポインタを「領域」に内に移動した場合、
ポインタのカーソル形状を変更するなどして、「領域」
であることを示す。「領域」内で視聴者がデータ参照を
指示した場合、その領域に関連付けられた「付加情報」
を電話回線やネットワークを通じて取得し、画面に表示
する。

【０１０６】以下、本発明の第４の実施形態について、
第３の実施形態との相違点を中心に説明する。第３の実
施形態が「付加情報」を記憶媒体などに選手プロフィー
ルを含めた種々のデータを格納して、予め視聴者に配布
しておくのに対して、この実施形態では電話回線やネッ
トワークを通じて参照可能な遠隔地に置く。

【０１０７】以下、本発明の第４の実施形態におけるエ
ンコーダについて、図８を用いて説明する。図５との相
違点は、付加情報が外部記憶メディア１０７から外部記
憶装置１０６を介して提供されているのではなく、ネッ
トワークインタフェース回路１１０を介して、ネットワ
ーク１１１上のデータサーバ１１２上から提供されてい
る点である。

【０１０８】このデータサーバ１１２上のデータは、Ｔ
Ｓ（ＡＬＬ）が送信される事前に予めサーバ上に格納し
ておいてもよいし、付加情報を入力端子１１３から入力
し、ポインタ作成付加回路１００への入力と同時に、ネ
ットワークインタフェース回路１１０、ネットワーク１
１１を通じてデータサーバ１１２に格納するようにして
もよい。

【０１０９】また、ネットワーク１１１上のデータサー
バ１１２に格納するため、図８におけるポインタ作成付
加回路１００の出力データは、図７とは異なり、図１０
に示すようになる。図１０において、３０８は図２
（ｃ）における２０１の領域に関して、(TOPx201,TOPy2
01) は２０１の頂点座標、(WIDTH201,HEIGHT201)は２０
１の幅及び高さ、ServerNameは領域２０１を選択したと
きに表示するデータを格納するネットワーク上のサーバ
名、File1 は上記サーバ上のファイル名、Menu1-0は上
記ファイル内のメニュー名をいう記述になっている。

【０１１０】次にデコード処理について図９を用いて説
明する。尚、図９において、図１６と同一部分には同一
符号を付して示し、その説明を省略する。視聴者による
番組選択と、その選択に基づいた通常の番組デコード
（映像、音声の同期再生）を行うデコーダの構成は、図
９から明らかなように、図１６に示した従来の構成と全
く同様である。但し、領域／ポインタデータ（図８のエ
ンコーダ側でのＰＥＳエンコード回路１０１の出力）の
ＰＥＳパケットの映像・音声との同期再生、さらに、視
聴者によるデータ参照指示により、メモリ３１に格納さ
れている領域座標情報（図３（ａ））を参照する動作に
関しては、第３の実施形態で説明した通りである。

【０１１１】メモリ３１に格納されている領域座標情報
（図３（ａ））を参照し、関連した付加情報は、ネット
ワークサーバ１１２のServerName上のファイルFile1 中
に含まれるMenu1-0 ，Menu1-1 ，Menu1-2 ，Menu1-3 の
４つであることが判り、ネットワークインタフェース回
路１１４を通じて、ネットワーク１１５上のデータサー
バ１１６上からデータを得る。データサーバ１１６は、
図８中のデータサーバ１１２と同一のものであり、ネッ
トワーク１１５と１１１とは相互に接続されたものであ
る。

【０１１２】以上の実施形態では、領域を座標値として
伝送するために長方形を例にとって説明したが、円、多
角形その他、領域を表現できれば、長方形に限らず本発
明を適応できることはいうまでもない。また、付加情報
もＰＥＳパケットとして送受信するようにしても同様の
効果が得られる。

【０１１３】ところで、以上説明した第１、第３、第４
の実施形態は、それぞれ送信側から見た付加情報の提供
方法が、（ａ−１）放送等のメディアにより受信側に送
信する、（ａ−２）外部記憶メディアにより配布する、
（ａ−３）ネットワークなどのように送信・受信双方か
ら参照可能な場所に格納する、のように異なり、それぞ
れに対応して、付加情報を参照するためのポインタの記
述方法を変更している。

【０１１４】情報の格納場所を唯一に確定するために、
ポインタ記述に必要なパラメータとしては、（ｂ−１）
放送メディアの場合は伝送チャンネル（周波数）及びＰ
ＩＤ、（ｂ−２）外部記憶装置の場合は装置のデバイス
名及びファイル名（パス名）、（ｂ−３）ネットワーク
の場合はサーバーホスト名及びファイル名（パス名)で
あり、いずれも物理的な場所と、その場所内での論理的
な場所を示すパラメータからなる。

【０１１５】したがって、例えばインターネット上のＵ
ＲＬ（Uniform Resource Locator，文献(3) draft-ietf
-uri-url-03.txt ）が、異なるプロトコルを統合的に扱
うための記述を提供しているように、（ｂ−１），（ｂ
−２），（ｂ−３）を統合的に扱う記述文法を定義する
ことが可能である。

【０１１６】こうした場合、視聴者がデータを参照すべ
く「領域」を指定する操作は、第１、第３、第４の実施
形態でそれぞれ説明したように共通であるから、視聴者
には実際にデータがどのような経路で提供されるか意識
させることなく、受信装置内部にて適応的にそのポイン
タが示す宛先に応じて放送メディアや外部記憶装置やネ
ットワーク上のデータを参照することで、様々なデータ
へのシームレスなアクセスが可能となる。［第５の実施形態］第１の実施形態が「アクセス領域」
の座標変換を送信側で行なうのに対して、第５の実施形
態では受信側で行う。

【０１１７】すなわち、送信側において、現在放送され
ている動画内容のうち、「アクセス領域」を決定する。
この領域は、動画像内容と同期して変更する。例えば、
それら複数の「領域」を、それぞれ固有の固定レベル信
号とし、それ以外はペデスタルレベルする。また、その
領域ポイント時にアクセスされる付加情報への「ポイン
タ」を作成する。

【０１１８】ポインタが示す先に「付加情報」( 画像・
音声・文字データ) を作成する。「アクセス領域」を時
間情報を持つパケット（例えばＭＰＥＧ−２システムレ
イヤのＰＥＳ）にエンコードする。ＰＥＳではタイムス
タンプによって、多重されたパケットを同期して再生す
ることが可能である。「映像」「音声」パケットと「ポ
インタ」，「付加情報」，「領域ポインタ」を多重（例
えばＭＰＥＧ−２システムレイヤのＴＳ）して伝送す
る。

【０１１９】次に、受信側において、ＴＳをデコードし
て、「映像」「音声」「領域」のデータ要素（ＰＥＳ）
をそれぞれ得る。それぞれのＰＥＳをデコードし、タイ
ムスタンプに基づいて、「映像」「音声」「領域」の同
期再生を行う。ここで、データの同期再生とは、ポイン
トするとデータにアクセスできる「領域」とその映像・
音声とが、同期して再生できることを意味する。

【０１２０】視聴者がリモートコントローラなどによ
り、画面上のポインタを「領域」に内に移動した場合、
ポインタのカーソル形状を変更するなどして、「領域」
であることを示す。「領域」内で視聴者がデータ参照を
指示した場合、その領域に関連付けられた「ポインタ」
パケットをデコードし、さらにポインタをもとにして、
関連付けられた「付加情報」パケットをデコードして画
面に表示する。

【０１２１】尚、第１の実施形態の領域送受信方法のみ
を変更した手法が第５の実施形態であり、第２乃至第４
の実施形態も同様に変更することが可能である。以下、
本発明の第５の実施形態について、第１の実施形態との
相違点を中心に説明する。第１の実施形態においては、
「領域」の座標変換を送信側で行なうのに対して、第５
の実施形態は受信側で行う。

【０１２２】以下、図１１を参照しながら図１との相違
点を中心に説明する。図１１は第５の実施形態における
エンコーダの構成を示す。領域決定回路１１７の動作は
図１の９８とは異なる。図１２を用いてその動作を説明
する。

【０１２３】領域決定回路１１７は映像信号Ｖｉｄｅｏ
１を入力し、動画内容のうち、前述の「アクセス領域」
を決定する。図１２（ａ），（ｂ）はそれぞれ図２
（ａ），（ｂ）と同一画像である。第１の実施形態にお
いては、これら「領域」を全て黒レベルそれ以外はペデ
スタルレベルとなる信号（図２（ｃ））を出力するよう
にしたが、本実施形態においては、領域毎にそれぞれ固
有の固定レベル、ペデスタルレベルとなる信号（図１２
（ｃ））を出力する。

【０１２４】例えば、領域４１，４５，４６，４７をそ
れぞれ２０ＩＲＥ，４０ＩＲＥ，６０ＩＲＥ，８０ＩＲ
Ｅのレベルとする。領域決定回路１１７の出力は圧縮回
路１１８に入力されて圧縮された後、ＰＥＳエンコード
回路１１９にてＰＥＳにエンコードされる。

【０１２５】一方、領域決定回路１１７の出力は、同時
にポインタ作成回路１２０にも入力される。ここでは、
付加情報を参照しながら、領域４１，４５，４６，４７
とそれぞれに関連した情報へのポインタを付加する。ポ
インタ作成回路１２０の出力データを図１３に示す。図
１３において、３０９は図１２（ｃ）における４１の領
域に関して、10IRE-29IRE は領域４１の信号レベル、10
00は領域４１を選択したときに表示するデータパケット
のＰＩＤ、Menu1-0 は上記データ内のメニュー名をいう
記述になっている。その他４３，４４，４５も同様であ
る。ポインタ作成回路１２０の出力データは、ＰＥＳエ
ンコード回路１２１にてＰＥＳにエンコードする。

【０１２６】次にデコード処理について図１４を用いて
説明する。視聴者による番組選択と、その選択に基づい
た通常の番組デコード（映像、音声の同期再生）につい
ては、従来例で説明した通りである。「領域」データ
（図１１のエンコーダ側のＰＥＳエンコード回路１２１
の出力）のＰＥＳパケットは、ＭＰＵ２９において、映
像や音声と同様にメモリ３１上のＰＡＴ、ＰＭＴを参照
してＰＩＤを得ることができる。ＭＰＵ２９はデパケッ
トコントローラ２８を通じて、指示されたＰＩＤを持つ
パケットのみをデパケットして取り込むようＦＩＦＯメ
モリ２２，２３を制御する。ＦＩＦＯメモリ２２，２３
の映像データは映像デコーダ３９，４０により伸張さ
れ、図１２（ｃ）相当の画像データとなり、座標変換回
路１２２へと入力される。また、「ポインタ」データ
（図１１のエンコーダ側でのＰＥＳエンコード回路１２
１の出力）のＰＥＳパケットに関しても、ＭＰＵ２９に
おいて、映像や音声と同様にメモリ３１上のＰＡＴ、Ｐ
ＭＴを参照してＰＩＤを得て、デパケットコントローラ
２８を制御してＳＲＡＭ２６に取り込む。取り込まれた
データストリームパケットより図１３に示したテーブル
を得てメモリ３１に格納する。

【０１２７】座標変換回路１２２では、映像デコーダ４
０の出力信号から各領域の信号レベルと座標の関係を算
出する。さらに、ＭＰＵ２９から入力される「ポインタ
情報」（図１３）は、各領域の信号レベルと付加情報へ
のポインタの関係であるので、これらから領域座標とポ
インタの関係を得ることができる。したがって、以下に
第１の実施形態と同様の処理を行えば、従来例で示した
図１９（ｄ）と同様のデータを表示することができる。

【０１２８】すなわち、従来では、図１８、図１９に示
したように、５段階の選択手順が必要であった情報参照
が、本発明では直接参照可能となる。しかも、従来では
希望データが特定選手のプロフィールであるにもかかわ
らず、図１９（ａ）においてはその選手の所属チーム、
同図（ｂ）においてはその選手の背番号を選択するとい
うように、その都度表示されるメニュー項目のうち、本
来参照したいデータがどれに含まれているかを推測、判
断しながら選択しなければならなかった。

【０１２９】言い換えれば、参照したいデータを、提供
されているメニューツリーというデータ構造に当てはめ
て分類する作業を行う必要があったが、本発明によれ
ば、希望データ直接的・直感的に参照することができ
る。さらに、放送メディアや外部記憶装置やネットワー
ク上の様々なデータのシームレスな参照が可能となる。

【０１３０】すなわち、動画像とデータ要素とを関連付
ける送信することで、例えばシュートした選手をポイン
トするとその選手のプロフィール、得点表示をポイント
するとこれまでの得点経過のダイジェスト画像を参照で
きる、というような、操作手順を最低限に留めた効率的
・直感的なデータ参照が可能となる。尚、本発明は上記
実施形態に限定されず、種々変形しても実施可能である
ことはいうまでもない。

【０１３１】

【発明の効果】以上説明したように本発明によれば、参
照したいデータに到達するまでの操作手順と、不必要な
推測・判断による選択を最小限に留めることのできる情
報送受信システムと、このシステムに用いられる送信情
報生成装置及び受信情報再生装置を提供することができ
る。

【図面の簡単な説明】

【図１】本発明に係る情報送受信システムの第１の実施
形態の送信情報生成装置（エンコーダ）の構成を示すブ
ロック回路図である。

【図２】同実施形態のアクセス領域の決定方法を説明す
るための図である。

【図３】同実施形態の付加情報データ構造を説明する図
である。

【図４】同実施形態の受信情報再生装置（デコーダ）の
構成を示すブロック回路図である。

【図５】本発明に係る第３の実施形態の送信情報生成装
置の構成を示すブロック回路図である。

【図６】同実施形態の受信情報再生装置の構成を示すブ
ロック回路図である。

【図７】同実施形態の付加情報データ構造を説明する図
である。

【図８】本発明に係る第４の実施形態の送信情報生成装
置の構成を示すブロック回路図である。

【図９】同実施形態の受信情報再生装置の構成を示すブ
ロック回路図である。

【図１０】同実施形態の付加情報データ構造を説明する
図である。

【図１１】本発明に係る第５の実施形態の送信情報生成
装置の構成を示すブロック回路図である。

【図１２】同実施形態のアクセス領域決定方法を説明す
る図である。

【図１３】同実施形態の付加情報データ構造を説明する
図である。

【図１４】同実施形態の受信情報再生装置の構成を示す
ブロック回路図である。

【図１５】ＭＰＥＧ２方式におけるパケット多重構成を
示すブロック回路図である。

【図１６】従来の受信情報再生装置の構成を示すブロッ
ク回路図である。

【図１７】従来装置において、番組構成の表示例を示す
図である。

【図１８】従来装置において、付加情報を参照するため
の従来のメニュー表示例を示す図である。

【図１９】従来装置において、付加情報を参照するため
の従来のメニュー表示例を示す図である。

【図２０】従来装置において、付加情報を表示するため
のデータ構造を示す図である。

【符号の説明】

１１，１２，１３，１４…多重器（ＭＵＸ）２１…チューナー２２〜２５…ＦＩＦＯメモリ２６…ＳＲＡＭ２７…番組表メモリ２８…デパケットコントローラ２９…ＭＰＵ３０…バス３１…メモリ３２…ＶＲＡＭ３３…Ｄ／Ａ変換器３４…画面合成器３５…表示装置３６…リモートコントローラ３７…赤外受光部３８…マイコン（マイクロコンピュータの略）３９，４０…映像デコーダ４１…画面合成器４２…Ｄ／Ａ変換器４３，４４…音声デコーダ４５…セレクタ４６…Ｄ／Ａ変換器４７…スピーカー４８…クロック再生回路９０，９１，９２，９３…圧縮回路９４，９５，９６，９７…ＰＥＳエンコード回路９８…領域決定回路９９…座標作成回路１００…ポインタ作成付加回路１０１…ＰＥＳエンコード回路１０２，１０３，１０４，１０５…多重器（ＭＵＸ）１０６…外部記憶装置１０７…外部記憶メディア１０８…外部記憶メディア１０９…外部記憶装置１１０…ネットワークインタフェース回路１１１…ネットワーク１１２…データサーバ１１３…付加情報入力端子１１４…ネットワークインタフェース回路１１５…ネットワーク１１６…データサーバ１１７…領域決定回路１１８…圧縮回路１１９…ＰＥＳエンコード回路１２０…ポインタ作成回路１２１…ＰＥＳエンコード回路１２２…座標変換回路

Claims

【特許請求の範囲】

【請求項１】少なくとも、動画像情報と、この動画像
情報の内容に関連した付加情報と、前記動画像情報と前
記付加情報とを関係付けるリンク情報とを、前記動画像
情報と前記リンク情報との間の時間的な同期関係を保っ
て多重する情報多重手段を備え、多重された情報信号を
送信する情報送信装置と、前記送信装置から送出される多重情報信号を受信して前
記動画像情報、付加情報、リンク情報を分離する情報分
離手段、この手段で分離された前記動画像情報とリンク
情報を時間的な同期関係を保って再生し、そのリンク情
報をもとにして、動画像情報と関係付けられた付加情報
を要求に応じて再生する情報再生手段を備える情報受信
装置とを具備することを特徴とする情報送受信システ
ム。
【請求項２】動画像情報を入力して、動画像上の少な
くとも１つの領域を動画像情報に時間的に同期して特定
する領域特定手段と、この手段で特定された画像領域情報と、この情報により
特定される画像領域の内容に関連した付加情報との関係
を示す情報とをテーブル化してリンク情報を作成するリ
ンク情報作成手段と、この手段で作成されたリンク情報を前記動画像情報に時
間的に同期関係を保ちながら前記付加情報と共に多重す
る情報多重手段を具備したことを特徴とする送信情報生
成装置。
【請求項３】前記リンク情報作成手段は、前記領域特
性手段で特定された領域を座標情報に変換する手段と、
前記座標情報と当該情報により特定される領域の内容に
関連した付加情報との関係を示す情報を前記座標情報と
共にテーブル化する手段とを備え、そのテーブル化情報
を前記リンク情報として出力することを特徴とする請求
項２記載の送信情報生成装置。
【請求項４】前記リンク情報作成手段は、前記領域特
性手段で特定された領域を所定の信号レベル情報に変換
する手段と、前記座標情報と当該情報により特定される
領域の内容に関連した付加情報との関係を示す情報を前
記信号レベル情報と共にテーブル化する手段とを備え、
そのテーブル化情報を前記リンク情報として出力するこ
とを特徴とする請求項２記載の送信情報生成装置。
【請求項５】少なくとも、動画像情報と、この動画像
情報の特定画像領域の内容に関連した付加情報と、前記
特定画像領域の動画像情報と前記付加情報とを関係付け
る情報及び前記特定画像領域情報とをテーブル化したリ
ンク情報とが、前記動画像情報と前記リンク情報との間
の時間的な同期関係を保って多重されて送信される多重
情報信号の受信信号を入力して、前記動画像情報、付加
情報、リンク情報を分離する情報分離手段と、この手段で分離された前記動画像情報とリンク情報を時
間的な同期関係を保って再生し、そのリンク情報をもと
にして、再生動画像上の特定画像領域が指定されたと
き、その領域に関係付けられた付加情報を再生する情報
再生手段とを具備することを特徴とする受信情報再生装
置。
【請求項６】前記情報再生手段は、前記リンク情報に
含まれる特定画像領域情報が座標情報に変換されている
とき、この座標情報を再生動画像上の領域情報に変換す
る情報変換手段を備えることを特徴とする請求項５記載
の受信情報再生装置。
【請求項７】前記情報再生手段は、前記リンク情報に
含まれる特定画像領域情報が所定の信号レベル情報に変
換されているとき、この信号レベル情報を再生動画像上
の領域情報に変換する情報変換手段を備えることを特徴
とする請求項５記載の受信情報再生装置。
【請求項８】前記情報再生手段は、動画像再生時に、
特定画像領域をそれ以外の領域と区別することを特徴と
する請求項５記載の受信情報再生装置。
【請求項９】前記付加情報として、外部記憶メディア
上の記憶情報の参照データを用いることを特徴とする請
求項２記載の送信情報生成装置。
【請求項１０】前記情報再生手段は、前記付加情報が
外部記憶メディア上の記憶情報の参照データであると
き、前記外部記憶メディアの再生装置を備え、付加情報
再生によって得られる参照データに基づいて前記外部記
憶メディア再生装置により前記外部記憶メディアから該
当する情報を読出し再生することを特徴とする請求項５
記載の受信情報再生装置。
【請求項１１】前記付加情報として、送信側、受信側
双方からアクセス可能なデータベースの参照データを用
いることを特徴とする請求項２記載の送信情報生成装
置。
【請求項１２】前記情報再生手段は、前記付加情報が
送信側、受信側双方からアクセス可能なデータベースの
参照データであるとき、前記データベースをアクセスす
るデータベースアクセス手段を備え、付加情報再生によ
って得られる参照データに基づいて前記データベースア
クセス手段により前記データベースから該当する情報を
読出し再生することを特徴とする請求項５記載の受信情
報再生装置。