JP3548037B2 - ビデオ／オーディオ・ストリームの発生方法及びマーキングの記憶及びリコール方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はマルチメディア・ストリームに注釈情報を埋め込むシステムおよび方法に関する。
【０００２】
【従来の技術】
ビデオ（ディジタル及びアナログの双方）を編集するシステムは、当技術分野で知られている。これらのシステム（例えば、米国特許第５，５７７，１９１号、米国特許第５，５５９，５６２号、及び米国特許第５，６４７，０４７号）は、既存のビデオ・コンテンツから新しいビデオ素材を作成又は「オーサリング」することを許し、スプライシング、フェージング、及び他の特殊エフェクト機能の特徴をもつように設計されている。ビデオに関連したデータ（例えば、米国特許第５，６４９，１７１号の制御情報、又は米国特許第５，０１２，３３４号のビデオ索引情報）は、ビデオ・コンテンツから分離されている。
【０００３】
米国特許第５，５８５，８５８号、米国特許第５，５８９，８９２号、及び米国特許第５，０２７，４００号を含む多くの既存のビデオ配布システムは、信号及び制御データを搬送するために、アナログ・ビデオ放送の「垂直ブランキング・インターバル」（ＶＢＩ）期間を利用する。このようにして搬送される信号は、アナログ又はディジタルであるか（米国特許第５，５４３，８５２号のように）、どちらのタイプであってもよい（米国特許第４，８５５，８２７号のように）。この種のデータ埋め込みの最も普通の使用法は、アナログ・ビデオ放送で限定字幕テキストをトランスポートする場合である。これと対照的に、本発明はディジタル・ビデオ内で制御データ及び他のデータをトランスポートすることに焦点を当てている。このデータのトランスポートは、ビデオ／オーディオ・コンテンツそれ自体のトランスポートと同じであり、データの潜在的帯域幅はＶＢＩの使用を介して得られる帯域幅よりもはるかに大きい。
【０００４】
ビデオのみの視聴を改善するいくつかのシステムは、別個のデータ及びビデオ源を必要とし（例えば、米国特許第５，５８９，８９２号）、ビデオ・プログラムに関連した状況情報を提供する。
【０００５】
「マルチメディア・フォローアップ情報の配布方式」（Ａ ＳＣＨＥＭＥ ＦＯＲ ＴＨＥ ＤＩＳＴＲＩＢＵＴＩＯＮ ＯＦ ＭＵＬＴＩＭＥＤＩＡ ＦＯＬＬＯＷ−ＵＰ ＩＮＦＯＲＭＡＴＩＯＮ）と題する、１９９７年７月７日に出願された米国特許出願第０８／８８８，５７２号は、補足データを配布するためにディジタル・ビデオ・プログラムの中に補足情報を埋め込む方法を説明しているが、埋め込みが実際にどのように実行されるのかを具体的に説明していない。この埋め込みを実行するために使用される方法（例えば、ＭＰＥＧ−２ストリームの任意データとして私用データを使用すること）は、周知である。「２方向ディジタル・マルチメディア・ディジタル・マルチメディア放送及びインタラクティブ・サービス」（Ａ ＳＹＳＴＥＭ ＦＯＲ ＴＷＯ−ＷＡＹ ＤＩＧＩＴＡＬ ＭＵＬＴＩＭＥＤＩＡ ＤＩＧＩＴＡＬ ＭＵＬＴＩＭＥＤＩＡ ＢＲＯＡＤＣＡＳＴ ＡＮＤ ＩＮＴＥＲＡＣＴＩＶＥ ＳＥＲＶＩＣＥＳ）と題する、１９９７年１１月１２日に出願された米国特許出願第０８／９６８，４０４号は、視聴者の要求に応答してカスタマイズ・データを動的に提供する状況で、この埋め込み方法を同じように利用する。
【０００６】
「個別的にカスタマイズされたコンテンツをネットワークで提供する方法」（ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＩＮＤＩＶＩＤＵＡＬＬＹ ＣＵＳＴＯＭＩＺＥＤ ＣＯＮＴＥＮＴ ＩＮ Ａ ＮＥＴＷＯＲＫ）と題する１９９７年５月９日に出願された米国特許出願第０８／８５４，２２７号、及び「分散ウェブ変更システムで広告を頒布する方法」（ＭＥＴＨＯＤ ＦＯＲ ＤＩＳＴＲＩＢＵＴＩＮＧ ＡＤＶＥＲＴＩＳＩＮＧ ＩＮ Ａ ＤＩＳＴＲＩＢＵＴＥＤ ＷＥＢ ＭＯＤＩＦＩＣＡＴＩＯＮ ＳＹＳＴＥＭ）と題する、１９９７年５月９日に出願された米国特許出願第０８／８５４，２２５号は、ウェブ・ページ、ビデオ・ストリーム、又は他の媒体でカスタマイズされたコンテンツ（例えば、宛名広告）をユーザへ提供することを説明している。これらの２つの出願は、本特許出願と同じ譲受人へ譲渡されている。
【０００７】
前記の２つのパラグラフで説明された４つの特許出願（第０８／８８８，５７４号、第０８／９６８，４０４号、第０８／８５４，２２７号、及び第０８／８５４，２２５号）は、参照してここに組み込まれる。
【０００８】
【発明が解決しようとする課題】
本発明は、ディジタル・ビデオ・ストリームのために、使用の容易性に貢献し埋め込みプロセスを容易にする特徴を有するオーサリング・システムの必要性を満たす。それは、任意データのコンテンツをディジタル・ビデオ・ストリームへ埋め込む改善された方法及びシステムを与える。ここで提案されるオーサリング又は「注釈」システムは、各ビデオ・フレームを手作業で編集することによってディジタル・ビデオ・ストリームの私用データ能力を利用する「力に頼る」方法と比べて、データ注釈を実行するための、より効率的で時間を節約する手段を提供する。
【０００９】
本発明が有する、ビデオ・シーンの状況切り換え機能、及びマークされた場所をビデオ内で補間及び外挿する機能は、ビデオ／データ・プログラムの作成者（「編集者」）にそれぞれの埋め込みを指定させるのではなく、埋め込みの多くがシステムによって自動的に起こることを可能にする。従って、プログラムの編集は、既存のシステムにおけるよりも、かなり少ない時間及び労力を使って実行することができる。このシステムは、オンデマンド型ビデオ環境及び放送ビデオ環境の双方に適している。
【００１０】
従って、本発明の目的は、ディジタル・ビデオ・ストリームをデータで注釈し、注釈されたビデオ／データ・ストリームを作成するシステムを提供することである。
【００１１】
さらに、本発明の目的は、各フレーム又はサブフレームを手作業で注釈する単純な「力に頼る」方法と比べて、システムの使用者（「編集者」）の時間及び労力を節減する注釈システムを提供することである。
【００１２】
さらに、本発明の他の目的は、ビデオがデータの埋め込みのためにマークされる（時間的及び空間的に）「マーキング」プロセスの部分を自動化し、編集者によってなされたマーキングからの補間及び外挿がマーキングを自動的に与えるようにして、労力及び時間を節減することである。
【００１３】
さらに、本発明の他の目的は、前のビデオ・シーンの状況を編集者にリコール（ｒｅｃａｌｌ）させ、前のシーンと同様なシーンの注釈を再作成する努力を編集者に省かせることによって、労力及び時間を節減することである。
【００１４】
【課題を解決するための手段】
本発明は、注釈データをストリームに埋め込み、その注釈データをストリーム中でコンテンツのサブセットと調整する方法を説明する。ここで提案されるシステムは、注釈データの視聴者への提示及び視聴者による注釈データの抽出が非常に簡単になるような方式で、サービス・プロバイダが注釈データをディジタル・ビデオ／オーディオ（又はオーディオのみ）のストリームへ埋め込むことを可能にする。埋め込みは、編集アプリケーションを使用するビデオ／データ編集者によってオフラインで実行される。
【００１５】
編集者は、ビデオ／オーディオ・コンテンツのサブセット（例えば、人物又は建物のようなビデオで観察されるオブジェクト）を、記憶されたマルチメディア・ファイル（「注釈データ項目」とも呼ばれる）と関連づける。ビデオで観察されるオブジェクトは、これらのオブジェクトに関連したデータを視聴者に要求させるための可視アイコンとして使用される。代替的に、注釈データ項目は、オーディオ・オブジェクト（言語又は音楽など）、プログラムの時間セグメント、又はプログラム全体と関連づけることができる。
【００１６】
従って、本発明は、注釈がデータ・ストリーム内のコンテンツと調整されるビデオ／オーディオ・ストリームの注釈方法である。本発明を使用して、ストリーム内のデータ・コンテンツのサブセットのマーキングが、各サブセットを識別するために作成され、各サブセットはサブセット識別子を割り当てられる。一方、各サブセットＩＤはファイル識別子で識別され、ファイル識別子を関連づけられた各ファイルは注釈情報を含む。編集者によって明示的に指定されたファイル識別子の間で補間を行うか、そのようなファイル識別子から外挿することによって、新しいサブセット識別子をシステムで自動的に発生することができる。
【００１７】
一度、注釈（及び識別子の自動的発生）がなされると、ファイルは対応するサブセット識別子（又はサブセットＩＤ）によって指定されたストリーム内の場所に埋め込まれる。
【００１８】
「注釈データ」の用語は、ビデオ／オーディオ・ストリーム内の特定の場所及び時刻におけるビデオ／オーディオ・コンテンツに編集者が関連づけたい任意のデータ、任意のタイプを意味することに注意されたい。このコンテンツはテキスト、ビデオ、オーディオ、又は他の源素材であってよい。
【００１９】
【発明の実施の形態】
図１から図３までは、ディジタル・ビデオ／オーディオ・ストリームへ注釈データを埋め込む（及び、そこから抽出する）事象シーケンスを示す。図１は、編集者が、いつ及びどこで注釈データがビデオ／オーディオと関連づけられるかを示すために、編集ステーションでどのようにストリームをマークするかを示す。これらのマーキングは、ディスク上に記憶されるマーキング・ファイルに収集される。図２は、新しいマーキングを自動的に発生するために、マーキング・ファイルにおけるマーキングの補間及び外挿を示し、またマーキング・ファイルに基づいてビデオ／オーディオ・ストリームにデータを埋め込むことを示す。今や、「注釈」されたストリームは、ヘッド・エンドからセット・トップ・ボックス（ＳＴＢ）（図３を参照）へ送られ、データはユーザ制御のもとでＳＴＢによって抽出される。
【００２０】
図１を参照すると、埋め込みプロセスでは、編集者はディスク１に記憶されたビデオ／オーディオ・ファイルを選択する。編集者がこのファイルを注釈するために使用する編集システム２は、キーボード３、モニター９、及びポインティング・デバイス４のほかに、ビデオ・プレヤー５、編集（埋め込み）アプリケーション６（図２にのみ示される）、補間器／外挿器３３（図２に示される）、ユーザ・インタフェース７から構成される。このシステム（後に詳細に説明する）を使用して、編集者はプログラムを再生し、データを関連づけることによって注釈したいオブジェクトを、プログラム中に与えられたビデオ又はオーディオ・オブジェクトの中から選択する。この注釈は、ビデオ・オブジェクトの場合、ユーザ・インタフェースを用いてビデオを停止し、ポインティング・デバイスを用いて所望のビデオ・オブジェクトの周りに矩形８を描くことによってなされる。そのように描かれた矩形は、注釈データで関連づけられるべきプログラムのビデオ・コンテンツ（ビデオ・コンテンツの「サブセット」とも呼ばれる）内の画面領域を定義する。ユーザ・インタフェースは、この画面領域に関連づけられるデータを記述する情報、及びこの関連づけが有効である時間間隔を編集者に求める。任意の画面で、複数の領域（異なった関連づけデータを有する）を定義してよい。各サブセットはサブセット識別子（サブセットＩＤ）を割り当てられる。
【００２１】
オーディオ・オブジェクトの場合、編集者は、ビデオ・オブジェクトではなく「オーディオ注釈」アイコンを選択する。その選択は、注釈されるオーディオ・オブジェクト（言語又は音楽）が聞かれる時点で行われる。
【００２２】
時間セグメント関連づけは、プログラムの間に所与の時間間隔でデータを関連づけることを含む。例えば、一般的なプログラム情報（タイトル、長さ、製作情報、など）は、プログラム全体と関連づけることができ（また、その中に周期的に埋め込まれ）、プログラム中で観察される場所（家又は風景など）に関連したデータは、この場所がビデオに関連しているとき、それが画面上に存在しなくても、これらの時間セグメントの間に関連づけて埋め込むことができる。
【００２３】
このディジタル・ビデオ編集システムを使用して、編集者は注釈データを画面領域（例えば、シーン内の人物を囲む矩形）に関連づける特定のシーンを「マーク」する。この「マーキング」プロセスは画面領域名、矩形座標、シーンのタイムスタンプ、及び関連注釈データ項目を関連づける。
【００２４】
図６は、編集システムを使用するときに含まれるステップを詳細に示す。一度呼び出されると（ステップ３５）、編集者はシステム上でビデオ・ファイルの表示を与えられ（ステップ３６）、１つを選択する（ステップ３７）。このビデオを再生するため、要求がビデオ・プレヤー５へ送られる（ステップ３８）。もし編集者が画面上をクリックすると（注釈したいオブジェクトの近くで）、それは注釈の要求となり（ステップ３９）、この注釈は図７（後に説明する）に示されるように実行される（ステップ４０）。
【００２５】
図７を参照すると、注釈が実行されているとき、停止要求がビデオ・プレヤー５へ送られる（ステップ４３）。編集者によってなされた注釈を記録するために、マーキング・ファイルが開かれていなければ、それが開かれる（ステップ４４）。シーンを注釈するためにシーン・リコールが要求されると（ステップ４５）、この注釈が図９で示されるように実行される（ステップ４６）。通常の注釈では、編集者のクリックの座標が記憶される（ステップ４７）。矩形は、編集者が２回目をクリックするまで（ステップ４９）、この場所からカーソルの現在の場所まで描かれる。これらの座標も同様に記憶され（ステップ５０）、現在のＰＴＳ（ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅｓｔａｍｐ）がビデオ・プレヤーから得られる（ステップ５１）。編集者は注釈データ・ファイル名を求められる（ステップ５２）。ＰＴＳが記憶され（ステップ５３）、「注釈終了」アイコンが画面上に置かれる（ステップ５４）。ビデオ・プレヤーは再生を再開する要求を送られる（ステップ５５）。編集者は、「注釈終了」アイコンをクリックすることによって（ステップ５６）、注釈データ関連づけの期間がいつ終わるかを指示する。その時点で、ＰＴＳが再び獲得されて（ステップ５７）記憶される（ステップ５８）。
【００２６】
一度、すべての所望の領域が注釈データ項目と関連づけられると、マーキング・ファイルがディスク１へ書かれる。図２において、前に指定されたマーキングのほかに新しいマーキングを自動的に発生するため、マーキング・ファイルが補間器／外挿器３３へ入力される。新しいマーキング及び元のマーキングは埋め込みアプリケーション６へ入力され、埋め込みアプリケーション６は、そのマーキングを使用して、注釈されたビデオ／オーディオ・ファイル（又はビデオ／オーディオ／データ・ファイル）を作成するために、記憶された注釈データ・ファイルを元のビデオ／オーディオ・ストリーム・ファイルへ埋め込むことを命令する。注釈されたビデオ／オーディオ・ファイル（又はビデオ／オーディオ／データ・ファイル）はディスク１へ書き戻される。さらに、埋め込みアプリケーション６は、埋め込まれたデータと関連づけられるためにマークされた画面領域の説明を含むパケットを発生する。
【００２７】
埋め込みアプリケーション６はビデオ／オーディオ・ストリームの中へ注釈データを埋め込むが、その埋め込みは、注釈データが関連づけられるオブジェクトに関して、オブジェクトの提示よりも前の十分離れたストリーム内の場所でなされる。それは、クライアントの要求に応じて直ちに注釈データが記憶され利用可能になるためである。
【００２８】
埋め込みは、ストリームのビット・レートのバースト性を避けるために、バースト的ではなく滑らかになされる。例えば、１Ｋバイトの注釈データ・ファイルは各パケットが２００バイト以下の複数のパケットに分割され、これらのパケットは、１Ｋｂｐｓよりも大きなデータ・パケットのバーストとならないように、ストリーム内でビデオ・パケット及びオーディオ・パケットの中に介在するようにされる。
【００２９】
画面領域の定義を含むテーブルの内容及び構造を、以下に詳細に説明する。
【００３０】
埋め込みプロセスはいくつかの機能を含む。
【００３１】
・ データ項目と関連づけられる領域をマークするため、ビデオ・ファイルを編集する機能
・ マークされた複数領域の間で補間する機能
・ １つのマークされた領域から他の領域へ外挿する機能
・ 現在アクティブな領域をクライアント・システムに通知するために制御パケットを発生する機能
・ 注釈データが利用可能であることを視聴者に知らせるために、視聴者へ表示されるテキスト・メッセージ又はアイコンを含む制御パケットを発生する機能
・ 定義された領域に関連づけられる注釈データのための私用データ・ストリーム・パケットを発生する機能
・ 制御パケット及びデータ・パケットを、ストリーム内の適切な場所でビデオ・パケット及びオーディオ・パケットと多重化する機能
【００３２】
図８は、埋め込みアプリケーション６を使用するときの事象シーケンスを示す。一度呼び出されると（ステップ５９）、アプリケーションは出力ファイルを開く（ステップ６０）。出力ファイルは注釈されたビデオ／オーディオ／データ・ストリーム又はファイル（「出力ファイル」）を含む。入力ビデオ／オーディオ・ファイルが読まれ（ステップ６２）、各ＰＥＳ（ｐａｃｋｅｔｉｚｅｄ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ、すなわち、パケット化された基本ストリーム）ヘッダが発見される。これらのヘッダは、マーキング・ファイル中の項目による参照に使用されるＰＴＳを含む。もし入力ファイルから読まれたＰＴＳがマーキング・ファイル中の現在の項目のＰＴＳと一致すれば（ステップ６３）、「注釈開始」パケットが出力ファイルへ書かれる。注釈データはパケット化され、これらのパケットは、それらが無くなるまで（ステップ６６）出力ファイルへ書かれる（ステップ６８）。パケットが無くなると、前に読まれたＰＥＳヘッダを含むパケットが出力ファイルへ書かれる（ステップ６７）。従って、注釈データは、編集者によって指定された「開始ＰＴＳ」のところで出力ファイルへ書かれる。それは「終了ＰＴＳ」まで有効であり、従って埋め込みアプリケーションはこのＰＴＳを有するＰＥＳパケットを探し（ステップ６９）、それが発見されたとき、「注釈終了」パケットを出力ファイルへ書く（ステップ７１）。
【００３３】
注釈されたビデオ／オーディオ／データ・プログラムは、後の伝送のためにディスクに記憶される。図３において、プログラムは、ある伝送媒体（ケーブル又は衛星など）を介して「ヘッド・エンド」１０から伝送されるように示される。信号はクライアントの構内でセット・トップ・ボックス１１によって受け取られ、セット・トップ・ボックス１１はビデオ・コンテンツ及びオーディオ・コンテンツをデコードして、ビデオをディスプレイ１２上で提示する。
【００３４】
セット・トップ・ボックスでは、埋め込まれた制御情報が抽出され、画面領域情報が再構成される。制御パケット内に含まれるメッセージは、注釈データの利用可能性を通知するために視聴者へ表示される。この表示は画面領域におけるオンスクリーン・テキストの形式であるか、オンスクリーン・アイコンであってよい。
【００３５】
プログラムが視聴されており、埋め込まれたデータが利用できる点に達すると、視聴者のディスプレイは、埋め込みデータの利用可能を示すオンスクリーン・メッセージを表示する。次に、視聴者は、興味をもち注釈データを関連づけられているものとして指示されたビデオ・オブジェクト１６を指すためにオンスクリーン・カーソル１４を移動するオプションを有する。オンスクリーン・カーソルの移動は、赤外線遠隔制御１３を用いて実行される。１つの実施例では、これは遠隔制御ユニット上の専用「カーソル」ボタン１０１を使用してなされる。
【００３６】
遠隔制御上の専用「データ」ボタン３４を使用してビデオ・オブジェクトの上を「クリック」することによって（１つの実施例）、現在カーソルの下にあるビデオ・オブジェクトに関連づけられたデータが、その利用可能性に関して照会されることができる。ドット線１００は、遠隔制御ユニットからセット・トップ・ボックス１１への赤外線信号を示す。もしデータが利用可能であり、視聴者がオブジェクトに関する注釈データを要求すれば、そのデータは「データ」ボタン３４を使用して要求されることができる。データは表示され、出力ポートへ送られ、又は後の使用のために、オプションのセット・トップ・ボックス・ディスク記憶ユニット１５へ記憶することができる。ドット線１００を参照されたい。
【００３７】
オーディオ・オブジェクトの場合、オーディオ・オブジェクトに関連づけられたデータへアクセスするため、遠隔制御を同じように使用して視聴者画面上の「オーディオ情報」アイコンを選択することができる。もし視聴者がそれを要求すれば、注釈データが抽出されて画面に表示されるか、後で使用するために記憶される。
【００３８】
プログラム中の時間セグメントに関連づけられた一般情報の場合、「一般情報」アイコンを同じように使用できる。一般情報の複数の項目が利用可能であるから、項目のメニューがこのアイコンに関連づけられてよく、それが選択されたとき表示されてよい。
【００３９】
抽出プロセスは次のステップを含む。
・ 制御パケットを非多重化するステップ
・ 制御パケットから抽出された画面領域情報を維持するステップ
・ 注釈データの利用可能をユーザに知らせるオンスクリーン・テキスト・メッセージを表示するステップ
・ データ要求のユーザ「クリック」があったとき、赤外線インタフェースと交信するステップ
・ 私用データ・ストリーム・パケットを非多重化するステップ
・ 要求されたデータを画面に表示するステップ（画面テキスト情報の場合）
・ 要求されたデータをディスクに記憶するステップ
・ 要求されたビデオ又はオーディオを表示又は記憶するステップ
【００４０】
ＳＲＴエントリー内の「シーン識別子」（又はグループ識別子）３１パラメータは、前のシーンに定義された領域の再使用を許すが、これは状況切り換えの１つの形式である。これは元のシーンが戻されるときのシーンからの素早い「場面転換」の場合に有用である。所与のシーンに定義されたすべての領域は、「シーン記憶」プリミティブを使用してメモリに保持することができる。「シーン記憶」プリミティブはこの「シーン状況」を１つの単位として記憶する。シーン状況は、所望のシーンＩＤ番号に関連づけられて、「シーン復元」プリミティブを用いて復元することができる。パラメータ０を有するシーン復元プリミティブは、アクティブな領域がない、すなわち、ＳＲＴがクリアされるべきことを示す。
【００４１】
例えば、編集者は所与のシーン内の複数の人物の各々に注釈データ・ファイルを関連づけて、マークすることができる。このシーン（シーンＡ）は１０秒間続き、次に一人の人物のクローズアップが続き（シーンＢ）、次にシーンＡへ戻る。シーン・リコールは、編集者がシーンＡのシーン状況（すなわち、注釈及び関連づけ）を記憶し、それを再使用することを許す（その再現時に適切な修正を施して）。それは、力に頼る方法を用いる場合に必要であるように、シーンＡへ戻されるとき、編集者がシーンＡを再注釈しなければならないこととは異なる。
【００４２】
図９はシーン・リコール・アルゴリズムを示す。編集システムのユーザ・インタフェースによって呼び出されると（図７のステップ４６）、次のステップが起こる。
・ 記憶されたシーンのメニューが、グループ又はシーン識別子ごとにリストされて、編集者へ表示される。
・ 編集者はシーンを選択し、それがディスク記憶装置から読まれる。
・ 編集システムは、現在のタイムスタンプ（ＰＴＳ）をビデオ・プレヤー５に照会する。
・ ＳＲＴ内の「タイムスタンプ開始」項目２９は、シーン内のすべてのマークされた項目について、現在のＰＴＳを反映するように変更される。
・ リコールされたシーン内の項目の持続時間が計算され、それが、シーン内のすべてのマークされた項目についてＳＲＴ内の「タイムスタンプ終了」項目３０を変更するために使用される。
・ 変更された項目はマーキング・ファイルへ書かれる。
【００４３】
ＳＲＴ情報の記憶に使用される自然なデータ構造はツリーである。なぜなら、１つのビューでグループにされるオブジェクト（例えば、遠距離から眺められる家のグループ）は、後のビューでいくつかの個別的オブジェクトへ分散させることができるからである。
【００４４】
ＳＲＴエントリーは、注釈データ・ファイルそれ自身と同じく、プログラムによってパケット化され、ビデオ／オーディオ・ソース・ファイルへ多重化される。さらに、制御パケットが発生され多重化される。これらの制御パケットは、注釈データの利用可能を示すために視聴者へ表示されるテキスト・メッセージ（又はアイコン・ビットマップ）を含む。
【００４５】
実施例では、このマークされたシーンと他のマークされたシーンの間で、この領域の連続的で単調な移動及び／又は拡張／収縮が存在すれば、プログラムは領域のサイズ及び場所を中間シーンに補間することができる。この能力は、「パンニング」及び「ズーミング」がオブジェクトの単純な移動と同じように起こるシーンで、非常に有用である。マークされたシーン間のこの補間は、図４に示される。
【００４６】
図４に示されるように、それぞれ時刻０：１０及び０：４０で提示される、マークされたシーン＃１（１９）及び＃２（２０）のように、時間的に隣接していないシーンに現れるオブジェクトについて領域を定義することができる。図は、２つのマークされたビデオ・オブジェクト（１７の人物「ジョン・ドー」及び１８の自動車フォード）を示す。
【００４７】
限定された領域の間で連続的で単調な移動（例えば、図４のフォードの移動）があれば、これらの領域は補間を実行すべき「端点」として識別することができる。埋め込みアプリケーションは、介在テーマにおける「フォード」の予想される位置を計算することによって、これらの端点画面領域の明示指定サブセットＩＤのマーキング間に存在する関係に反応する。従って、編集者は介在シーンのマーキングに含まれる労力を省くことができる。従って、埋め込みアプリケーションは、これらのシーンにおけるフォードの予想される位置を計算することによって、介在シーン（時刻０：１１から０：３９まで）におけるその領域をマークするように命令され、それによって、編集者は介在シーンのマーキングに含まれる労力を節減される。マークされた領域のサイズは、この場合、シーン＃１、＃２、及び介在シーンのすべてについて一定である。
【００４８】
マークされた人物１７（「ジョン・ドー」）はマークされたシーン＃１及び＃２の間に左から右へ画面を横切って移動し、フォードの場合と同じように端点間で補間することができる。マークされたシーン＃２と＃３（２１）の間では、カメラは「ジョン・ドー」にズームインし、オブジェクト・サイズは線形様式で拡大する。この場合、マークされたシーン＃２及び＃３でマークされた「ジョン・ドー」オブジェクトの間で介在シーンのための補間を実行することができ、マークされた領域はズームと一致するように線形様式で拡張される。
【００４９】
図１０は、補間器／外挿器３３によって、補間がどのように実行されるかを示す。オリジナルのマーキング・ファイルが入力され、補間（外挿）の結果がオリジナルのマーキングに付け加えられ、出力マーキング・ファイル（ＯＭＦ）に記憶される。ＯＭＦが開かれ（ステップ７４）、各マーキング項目が順番に読まれる。もし項目が端点であれば（ステップ７６）（すなわち、補間として指示される）、次の項目が読まれ（ステップ７８）、対応する端点であると想定される。もしそれが対応する端点でなければ、誤りが表示される（ステップ８１）。
【００５０】
項目が補間にマークされていない場合、それは外挿にマークされているか、特別の処理にマークされていない。マークされていない場合、それは単純にＯＭＦへ書かれる（ステップ８２）。マークされている場合、次に説明するようにして外挿が実行される（ステップ７９）。
【００５１】
一対の端点が発見された場合（ステップ８０）、最初の端点がＯＭＦへ書かれ、自動的に発生されるマーキング項目の数Ｎが計算される（ステップ８３）。これらの項目のサイズと場所が計算され、それらが順番にＯＭＦへ書かれる（ステップ８４）。Ｎ個の項目の後に、終わりの端点がＯＭＦへ書かれる（ステップ８６）。
【００５２】
もし特定のオブジェクトが複数のシーンで再現し、編集者がこれらの再現に同じデータ関連づけをしたい場合には、オブジェクトの注釈を記憶してリコールすることができ、従って前のマーキングから外挿することができる。外挿はビデオ／オーディオ・コンテンツ内の特定オブジェクトの注釈を再使用することによって実行される。例えば、もし編集者がビデオ中の人物の詳細情報を注釈したのであれば、この人物の後のすべての出現は、オリジナルの注釈中に割り当てられたファイル識別子を参照することによって、同じように注釈することができる。これは、力に頼る方法では、この人物が現れる度に再注釈する必要がある労力を、編集者から免除する。もしＳＴＢが十分の記憶能力を有することが知られていれば、非常にまれにではあるが注釈データの所与の項目を埋め込み、キャッシングにより、プログラムの様々の時点でその項目を利用することができる。
【００５３】
図１１は、外挿がどのように実行されるかを示す。外挿アルゴリズムは、外挿準備完了として示されるマーキングが検出されたとき（図１０のステップ７７）、補間器／外挿器によって呼び出される。この場合（図１０のステップ７９）、参照マーキングのサブセットＩＤが現在のマーキングに含まれる。補間器／外挿器は探索を実行することによってサブセットＩＤのマーキングに反応する（ステップ８８）。その探索は、このサブセットＩＤを有する参照項目を求めてマーキング・ファイル内の前の項目について実行される。その参照項目が発見されると（ステップ８９）、そのコピーがスクラッチ・メモリで作られる。新しいマーキング項目は参照項目とは異なった時間及び場所のパラメータを有するかも知れないので、これらのパラメータはコピー内で変更される（ステップ９０）。次に、変更された項目は出力マーキング・ファイルに書かれる（ステップ９１）。
【００５４】
本発明の幾つかの実施例に対するオプションによって、ストリームが始めに編集されたときになされた元のデータ関連づけからオブジェクトのマーキングを切り離すことができる。この方法では、プログラム中の多くのオブジェクトがマークされ注釈データの所与のセットと関連づけられる単一編集を、各々のビデオ／オーディオ／データ放送がそれらのマークされたオブジェクトに関連づけられた注釈データの異なったセットを有するような多くの放送に使用することができる。これを行うためには、マークされたストリームはデータ項目の新しいセットと関連づけられ、埋め込みアプリケーションが再実行されなければならないが、オブジェクトを再マークする必要はない。
【００５５】
システムは任意のディジタル・ビデオ・フォーマットと共に使用することができる。ディジタル・ビデオの高いビットレート要件のために、ネットワークを介して伝送する前に、圧縮方法が通常ビデオに適用される。実施例では、ビデオ（及びオーディオ）コンテンツは、ビデオについてはＩＳＯ／ＩＥＣ １３８１８−２に指定され、オーディオについてはＩＳＯ／ＩＥＣ １３８１８−３に指定されるようなＭＰＥＧ−２（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮を使用して圧縮される。圧縮されたＭＰＥＧ−２ビデオ・ストリームの典型的なビットレートは、３から１５Ｍｂｐｓの範囲にある。本発明はＭＰＥＧ−２ストリームでの使用に制限されない。
【００５６】
さらに、ＭＰＥＧ−２標準は、プログラム（オーディオ及びビデオ基本ストリームから構成される）が、どのようにして「トランスポート・ストリーム」へ多重化されることができるかを指定する。これはＭＰＥＧ−２システム仕様ＩＳＰ／ＩＥＣ １３８１８−１に指定される。ＭＰＥＧ−２システム仕様は、「私用データ」ストリームの使用によって、非ビデオ及び非オーディオ・ストリームをプログラムのトランスポート・ストリームに入れることを認めている。すべてのトランスポート・ストリーム・パケットは、コンテンツがどのようなものであれ、均一のサイズ（１８８バイト）及びフォーマットである。トランスポート・ストリーム内で同じように搬送される「プログラム特定情報」は、どのような基本ストリームがトランスポート・ストリーム内で多重化されたか、それらがどのようなタイプのコンテンツを搬送するか、それらがどのようにして逆多重化されるかに関する情報を搬送する。
【００５７】
ダウンストリーム方向（ヘッド・エンドからクライアント構内へ）では、ケーブルＴＶ基幹施設のような共用放送媒体が実施例で使用される。使用される変調方法はＱＡＭ（直交振幅変調）及びＶＳＢ（残留側波帯変調）を含む。これらの復調型チップセットは広く供給されており安価である。この方向における実施例に必要な帯域幅は、高々１０Ｋビット／秒である。
【００５８】
埋め込みマルチメディア・データを抽出することのできるＳＴＢを放送配布ネットワークで使用することは、通常のＳＴＢを同じネットワークで使用することを妨害しない。
【００５９】
ＭＰＥＧ−２デマルチプレクサ、ＭＰＥＧ−２オーディオ・デコーダ、及びＭＰＥＧ−２ビデオ・デコーダは現在広く供給されている。実施例は、図３のセット・トップ・ボックスで示される機能を実行するため、これらの集積回路（ＩＣ）をＳＴＢ内で使用する。オーディオ及びビデオ・デコーダに組み込まれない場合、中間ＩＣが必要である。中間ＩＣは、ディジタルからアナログへ変換するために、またビデオの場合、所望のビデオ・アナログ信号形式（例えば、ＮＴＳＣ、ＰＡＬ、又はＳＥＣＡＭ）へエンコードするために、デコーダの出力に置かれる。これらのＩＣからのＳビデオ出力は任意である。実施例で使用されるＭＰＥＧ−２ビデオ・デコーダは「オンスクリーン表示」能力を有する。
【００６０】
ＳＴＢのマイクロコントローラは、命令記憶用のクロック及びＥＰＲＯＭを必要とする。実施例では、クロック・レートは２５ＭＨｚであり、ＥＰＲＯＭサイズは２５６Ｋバイトである。マイクロコントローラは、オーディオ及びビデオ・パケットのために作成される待ち行列のほかに注釈データ用の待ち行列を作成するために、ＭＰＥＧ−２デマルチプレクサをプログラムする。注釈データ待ち行列はポーリング又は割り込みによりマイクロプロセッサによってモニターされる。注釈データ待ち行列が空でないことを発見されると、その内容はマイクロプロセッサによって読まれる。もしそれらがメッセージ・パケットであれば、それらの内容はオンスクリーン表示用にビットマップへ変換される。この表示はビットマップの場所、サイズ、及びその他のパラメータに関してビデオ・デコーダをプログラムするマイクロプロセッサを含む。視聴者はデータ使用可能メッセージの表示を無能化してよい。
【００６１】
実施例のＳＴＢに必要なＲＡＭのサイズは４Ｋバイトである（最小）。コストを低減するために、ＤＲＡＭ（ダイナミックＲＡＭ）が使用される。ＳＴＢがパワーオフされるとき保存されなければならないデータ（例えば、視聴者プロフィル）に使用するため、不揮発性ＲＡＭの小量（１Ｋバイト）が使用される。このＲＡＭ及び時刻タイマを維持するために、バッテリーが必要である。
【００６２】
パワーオフを予測してＲＡＭデータを保存するため、又はＲＡＭサイズよりも大きなファイルを保存するため、ＳＴＢデータポートを使用してデータをＰＣへ転送する。このポートは、ヘッド・エンドへの途中で、ＰＣからＳＴＢへ大量の履歴レポートを転送するためにも使用することができる。実施例で使用されるデータポートはＲＳー２３２並列ポートである。
【００６３】
実施例では、オーディオ信号は２つのチャネルとしてエンコード及びデコードされ（ドルビー雑音低減及びサラウンド・サウンドの追加的オプションと共に）、ＳＴＢ出力で複数のスピーカを必要とする。
【００６４】
実施例では、ビデオ内のマーク領域に関連づけられるデータ利用可能時間を参照するために、ＭＰＥＧ−２定義プレゼンテーション・タイム・スタンプ（ＰＴＳ）が使用される。
【００６５】
実施例では、すべての画面領域定義情報は画面領域テーブル（ＳＲＴ）のエントリー形式で（図５を参照）ストリームに埋め込まれる。ＳＲＴは、関連づけられたデータを有する画面上のすべての領域を定義する。ＳＲＴの各エントリーは次のフィールドを含む。
・ 領域番号２２
・ 領域座標（矩形領域 − （ｘ_１，ｙ_１）及び（ｘ_２，ｙ_２））２３
・ 表示座標（矩形表示 − （ｘ_３，ｙ_３）及び（ｘ_４，ｙ_４））２４
・ オブジェクト名２５
・ 注釈データ・ファイル識別子２６
・ 注釈データ・タイプ２７（０ ＝ 画像テキスト、１ ＝ ファイル・テキスト、２ ＝ オーディオのみ、３ ＝ ビデオのみ、４ ＝ ビデオ／オーディオ、５ ＝ 電話番号、など）
・ 注釈データの説明２８
・ データ利用可能開始ＰＴＳ２９
・ データ利用可能終了ＰＴＳ３０
・ シーン識別番号３１
・ 単ファイル／多ファイル・フラグ３２ − 単一注釈データ・ファイル又は複数ファイルのいずれが、この領域に関連づけられているかを示す。
【００６６】
もし複数の領域が１つの領域に関連づけられていれば、オリジナル領域がクリックオンされたとき、オンスクリーン表示が二次の領域マップ又はメニューをポップアップし、ユーザは２回目をクリックしてファイルの選択を指示することができる。
【００６７】
これまで述べたことのほかに、オプションの「領域マップ」ビットマップを画面領域テーブル（ＳＲＴ）エントリーに入れて、視聴者に表示することができる。このマップは、現在画面上でアクティブな領域の小さくて簡単な図形で、画面の周辺部に表示される。
【００６８】
まとめとして、本発明の構成に関して以下の事項を開示する。
（１）注釈されたビデオ／オーディオ・ストリームを発生する方法であって、
（イ）前記ストリーム内のコンテンツの各サブセットを識別するため各サブセットにサブセット識別子を割り当ててサブセットのマーキングを作成するステップと、
（ロ）各サブセット識別子に、注釈情報のファイルを識別するファイル識別子を関連づけるステップと、
（ハ）他のサブセット識別子を自動的に発生するために使用される明示指定サブセット識別子の間の関係を指定するステップと、
（ニ）前記ストリームの中で、対応するサブセット識別子によって指定された場所に前記ファイルを埋め込むステップとを含む、
ビデオ／オーディオ・ストリームの発生方法。
（２）前記サブセットのマークされたものの間で時間的及び空間的に補間することによって前記サブセットの他のいくつかがマークされる、上記（１）に記載のビデオ／オーディオ・ストリームの発生方法。
（３）前記サブセットの１つが、前記サブセットの他のマークされた１つのマーキングから外挿することによってマークされる、上記（１）に記載のビデオ／オーディオ・ストリームの発生方法。
（４）マーキングのセットを記憶しリコールする方法であって、
マーキングの各セットがグループ識別子と関連づけられ、サブセットのいくつかが、前記グループ識別子を使用して前にマークされたサブセットを複製することによってマークされる、マーキングの記憶及びリコール方法。
（５）（ホ）前記コンテンツの前記サブセットのセットをグループ識別子に関連づけるステップと、
（ヘ）各セット中で前にマークされたサブセットを複製することによって前記セットの各々を作成するステップとを含み、
前記セットの任意のものが前記グループ識別子のそれぞれの１つを使用することによってリコール又は記憶されることができる、
上記（１）に記載のビデオ／オーディオ・ストリームの発生方法。
（６）前記サブセットの各セットがビデオ・ファイルのシーンである、上記（５）に記載のビデオ／オーディオ・ストリームの発生方法。
（７）前記サブセットのいくつかが同じファイル識別子と関連づけられる、上記（１）に記載のビデオ／オーディオ・ストリームの発生方法。
（８）各サブセットがビデオ・フレーム内のオブジェクトを含み、各サブセットが前記オブジェクトを取り囲む幾何図形の座標によってマークされ、更に前記ビデオ・フレームを識別するタイムスタンプによってマークされる、上記（１）に記載のビデオ／オーディオ・ストリームの発生方法。
（９）前記オブジェクトが複数のビデオ・フレームに現れる場合、前記オブジェクトが前記複数のフレーム内の同じファイル識別子で関連づけられる、上記（１）に記載のビデオ／オーディオ・ストリームの発生方法。
【図面の簡単な説明】
【図１】マルチメディア・データをディジタル・ビデオ／オーディオ・ストリームに埋め込む場合に使用される編集ステーションを示す図である。
【図２】編集システムの埋め込みアプリケーション及び補間器／外挿器を示す略図である。
【図３】クライアントの構内で、これらのストリームから、埋め込まれたマルチメディア・データを抽出することを示す図である。
【図４】実施例の一部として、ストリーム内のマークされた領域の間の補間が、どのように実行されるかを示す図である。
【図５】実施例で説明されるように、画面領域テーブルのデータ構造を示す図である。
【図６】データ注釈ビデオ編集者のユーザ・インタフェースの動作を示すフローチャートである。
【図７】データ注釈ビデオ編集者が、埋め込まれるデータを関連づける領域を選択するとき、編集者のユーザ・インタフェースの動作を示すフローチャートである。
【図８】埋め込みアプリケーションの動作を示すフローチャートである。
【図９】注釈中のシーン・リコール・アルゴリズムを示すフローチャートである。
【図１０】マークされた領域の補間アルゴリズムを示すフローチャートである。
【図１１】マークされた領域の外挿アルゴリズムを示すフローチャートである。
【符号の説明】
１ ディスク
２ 編集システム
３ キーボード
４ ポインティング・デバイス
５ ビデオ・プレヤー
６ 埋め込みアプリケーション
７ ユーザ・インタフェース
８ 矩形
９ モニター
１０ ヘッド・エンド
１１ セット・トップ・ボックス
１２ ディスプレイ
１３ 赤外線遠隔制御
１４ オンスクリーン・カーソル
１５ セット・トップ・ボックス・ディスク記憶ユニット
１６ ビデオ・オブジェクト
１７ 人物
１８ 自動車
１９ マークされたシーン
２０ マークされたシーン
２１ マークされたシーン
２２ 領域番号
２３ 領域座標
２４ 表示座標
２５ オブジェクト名
２６ 注釈データ・ファイル識別子
２７ 注釈データ・タイプ
２８ 注釈データの説明
２９ データ利用可能開始ＰＴＳ
３０ データ利用可能終了ＰＴＳ
３１ シーン識別番号
３２ 単ファイル／多ファイル・フラグ

Claims (9)

1. 注釈されたビデオ／オーディオ・ストリームを発生する方法であって、
   （イ）前記ストリーム内のコンテンツの各サブセットを識別するため各サブセットにサブセット識別子を割り当ててサブセットのマーキングを作成するステップと、
   （ロ）各サブセット識別子に、注釈情報のファイルを識別するファイル識別子を関連づけるステップと、
   （ハ）他のサブセット識別子を自動的に発生するために使用される明示指定サブセット識別子の間の関係を指定するステップと、
   （ニ）前記ストリームの中で、対応するサブセット識別子によって指定された場所に前記ファイルを埋め込むステップとを含む、
   ビデオ／オーディオ・ストリームの発生方法。
2. 前記サブセットのマークされたものの間で時間的及び空間的に補間することによって前記サブセットの他のいくつかがマークされる、請求項１に記載のビデオ／オーディオ・ストリームの発生方法。
3. 前記サブセットの１つが、前記サブセットの他のマークされた１つのマーキングから外挿することによってマークされる、請求項１に記載のビデオ／オーディオ・ストリームの発生方法。
4. マーキングのセットを記憶しリコールする方法であって、
   マーキングの各セットがグループ識別子と関連づけられ、サブセットのいくつかが、前記グループ識別子を使用して前にマークされたサブセットを複製することによってマークされる、マーキングの記憶及びリコール方法。
5. （ホ）前記コンテンツの前記サブセットのセットをグループ識別子に関連づけるステップと、
   （ヘ）各セット中で前にマークされたサブセットを複製することによって前記セットの各々を作成するステップとを含み、
   前記セットの任意のものが前記グループ識別子のそれぞれの１つを使用することによってリコール又は記憶されることができる、
   請求項１に記載のビデオ／オーディオ・ストリームの発生方法。
6. 前記サブセットの各セットがビデオ・ファイルのシーンである、請求項５に記載のビデオ／オーディオ・ストリームの発生方法。
7. 前記サブセットのいくつかが同じファイル識別子と関連づけられる、請求項１に記載のビデオ／オーディオ・ストリームの発生方法。
8. 各サブセットがビデオ・フレーム内のオブジェクトを含み、各サブセットが前記オブジェクトを取り囲む幾何図形の座標によってマークされ、更に前記ビデオ・フレームを識別するタイムスタンプによってマークされる、請求項１に記載のビデオ／オーディオ・ストリームの発生方法。
9. 前記オブジェクトが複数のビデオ・フレームに現れる場合、前記オブジェクトが前記複数のフレーム内の同じファイル識別子で関連づけられる、請求項１に記載のビデオ／オーディオ・ストリームの発生方法。

Images