JP4223099B2 - Method and system for providing enhanced content with broadcast video - Google Patents

Method and system for providing enhanced content with broadcast video Download PDF

Info

Publication number
JP4223099B2
JP4223099B2 JP21262698A JP21262698A JP4223099B2 JP 4223099 B2 JP4223099 B2 JP 4223099B2 JP 21262698 A JP21262698 A JP 21262698A JP 21262698 A JP21262698 A JP 21262698A JP 4223099 B2 JP4223099 B2 JP 4223099B2
Authority
JP
Japan
Prior art keywords
video
hyperlink
display
video stream
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21262698A
Other languages
Japanese (ja)
Other versions
JPH11155134A (en
Inventor
ローラ・ジェイ・バトラー
ジョージ・エム・ムーア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US08/902,005 external-priority patent/US20020007493A1/en
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JPH11155134A publication Critical patent/JPH11155134A/en
Application granted granted Critical
Publication of JP4223099B2 publication Critical patent/JP4223099B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6143Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots

Description

【0001】
【発明の属する技術分野】
本発明は、ビデオおよびオーディオの送信と共に、補助的なデータ・コンテンツ(ancillary data content)を提供し表示する方法およびシステムに関するものである。
【0002】
【従来の技術】
パーソナル・コンピュータ(PC)上におけるライブ・ビデオの表示は、増々一般的になってきている。多数の低コストのビデオ・キャプチャ・ボードによって、パーソナル・コンピュータのRGBディスプレイ面上にアナログ・ビデオ信号の表示が可能となっている。更に、高品質化したデジタル・ビデオの供給、および例えば、直接放送衛星(DBS:Direct Broadcast Satellite)を通じての分配も、間もなくPC上で利用可能となる。適正なハードウェアを用いれば、PCは、ローカル的に格納した(例えば、CDまたはVCR上の)アナログおよびデジタルのビデオ信号だけでなく、DBS信号、アナログ・ケーブル信号および空中信号(over-the-air-signal)の表示およびデコードも可能となる。
【0003】
今後、アナログ信号およびデジタル信号双方のためのテレビジョン信号デコーダ回路は、標準化されなくても、全てのPCの殆どで用いられるようになるであろう。更に、PCは、ユーザまたは視聴者によるデータおよびビデオ双方の同時操作、視認および使用を可能にすることによって、標準的なテレビジョンを超えて、ユーザまたは視聴者により良い体験を与えることになろう。
【0004】
この新たな放送環境において、テレビジョン放送業者は、デジタル・プログラムの強化を図ることによって、PCの機能を利用しようとしている。例えば、放送業者は、スポーツ放送の間に補助的な統計データを提供し、特定のチームまたはプレーヤに関する詳細な情報を視聴者が見ることができるようにすることが考えられる。同様に、放送業者は、ドキュメンタリのテーマ(topic)に関連する情報を提供することにより、視聴者が放送の最中または放送後に、更に詳しい情報にアクセスできるようにすることも考えられる。他の例として、子供向けの漫画番組の間に、人形やおもちゃのような、番組に関係する商品を番組の間に宣伝することを望む場合もあるであろう。
【0005】
データをPCに配信するこの方法は、世界のこれまで大量のデータ・インフラストラクチャ(data infrastructure)がなかった区域では、特に魅力的である。例えば、中流階級の人口が約3億人(アメリカ合衆国の全人口を上回る)のインドについて考える。個人ではPCを購入する余裕があり、多くの者が実際にPCを所有しているが、電気通信インフラストラクチャが未発達のために、インターネットや高速データ・ネットワーク処理を体験したことがある者は殆どいない。このような場所にデータ・サービスを配信することができれば、多くの機会を提供することになる。
【0006】
また、近年では、「双方向テレビジョン」と呼ばれるものを開発するために多大な努力も払われている。双方向テレビジョンは、視聴者がケーブル・テレビジョン・サービス・プロバイダとの双方向処理を可能にする。双方向テレビジョン・システムには、様々な機能強化が考えられる。例えば、視聴者のために対話型プログラム・ガイドを実施することができる。対話型プログラム・ガイドを用いて、視聴者はリモコン上のカーソル制御ボタンを通じてテレビジョン番組リスト全体のスクロールを行うことができる。また、視聴者は、番組の内容の対話型サーチを行うことも可能である。双方向TVシステムの中には、放送業者がビデオの供給と共に補助データを提供する機能を含むものもある。
【0007】
【発明が解決しようとする課題】
これまで、いずれの双方向テレビジョン・システムも、広く受け入れられなかった。このような広く受け入れられるのを阻害する理由の1つは、主となるビデオ・コンテンツに補助的なデータを提供する際に、各システムが異なった規格およびプロトコルを採用していることである。単一のシステムを標準として制定しなければ、放送業者は、多数の異なったフォーマットで補助データを提供せざるを得ない。これは重大な障害となる。
【0008】
本発明は、ビデオ放送と共に補助データを供給するための従来のフォーマットを、主ビデオ・ストリーム上にデジタル・データ・コンテンツを重ね合わせる方式と共に利用することによって、この障害を取り除こうとするものである。
【0009】
【課題を解決するための手段】
本発明は、放送業者に、補助データ・コンテンツをHTMLファイルとして用意することを可能にするものである。HTMLファイルは、所定のカラー・キーの背景を有するオーバーレイ(overlay)として用意し、カラー・キーイング機構(color keying features)を有するビデオ機器を用いて視認を行うようにする。受信機では、HTMLオーバーレイは、典型的なインターネット・ブラウザ技術を用い、放送したビデオと同じ表示領域にカラー・キーイングを用いてレンダリングを行う。これによって、オーバーレイ背景は透過的に見え、ビデオはHTMLオーバーレイの背景領域内にのみ現れるようになる。
【0010】
【発明の実施の形態】
図1は、本発明の一実施形態によるビデオ放送システムを示し、全体として参照番号10を付してある。放送システム10は、放送ソース12および複数の受信機14を含む。本発明のこの実施形態における放送ソースは、デジタル衛星システムであり、多数のRF周波数即ちチャネル上に、ビデオ・コンテンツを放送する。あるいは、放送ソースは、従来の地上テレビジョン局および付随するアンテナ、ケーブル・システム、あるいはビデオ・ストリームとおよびアナログまたはデジタル形態での添付データとを送信するように設置した同様の任意の機器とすることもできる。
【0011】
殆どの場合、放送ソース12は、単一方向通信のみをサポートし、受信機側の予見なく同時に多数の受信機に対して行う単一方向放送またはマルチ・キャスティング(multi-casting)に主に使用する。あるいは、放送ソース12は、双方向通信をサポートするようにしてもよい。説明目的のために1つの放送ソース12のみを示すが、放送システムは、多数の放送ソース12を含む場合もある。
【0012】
放送ソース12は、主ビデオ・ストリームおよび補助デジタル・データ・コンテンツを受信機14に送信またはその他の方法で搬送する手段を含む。デジタル衛星伝送の場合、補助データは、ビデオおよびオーディオのストリームと共に、デジタル形態で容易に伝送することができる。MPEG−2のようなプロトコルが、既に、補助デジタル・データをパケット内に組み込むことを可能にしており、衛星伝送設備を用いて、デジタル・オーディオ/ビデオ・コンテンツと共に、これらのパケットをダウンロードする。例えば、既存のDSSシステムは、MPEGストリームに「ヒント(hints)」を組み込んで、受信機による正しい表示のためのアスペクト比を示すようになっている。また、別の例がアナログの世界にあり、PhilipsがGhost Echo Cancellation Reference Signalと呼ぶ装置を販売している。既知のデジタル・ストリームを単一のアナログ・テレビジョンVBIラインに注入することにより、最新のテレビジョンまたはPCは、マルチパス(ゴースト)信号を受信したときを一層容易に検出して、画像をきれいにする処置を講ずることができる。米国には、この信号を実施するTV局が約800ある。
【0013】
アナログRFテレビジョン放送のような、旧来からの放送ソースを用いる場合、データは、テレビジョン信号の垂直ブランキング期間の間に送信することができる。この方法は、現在、難聴者のためにクローズド・キャプション(closed caption)を提供するために用いられている。このようにして送信したデジタル・データは、当該産業において既知の多数の方法によって、テレビジョン信号から抽出することができる。現在製造されているテレビジョンは、クローズド・キャプション情報を抽出し表示する機能を有している。この目的のためには、外部クローズド・キャプション・デコーダも使用可能である。加えて、クローズド・キャプション・データを抽出し、直列ケーブルを通じてこれをパーソナル・コンピュータまたはその他の装置に送る、多数の外部装置も入手可能である。更に最近では、テレビジョン信号をPC上に表示可能とする最新のビデオおよびビデオ・チューナ・ボードを用い、PC内部で直接クローズド・キャプション・データをデコードすることも可能になっている。
【0014】
また、受信機14にデジタル・データ・コンテンツを送信するために使用可能なその他の機構もある。例えば、モデムや、その他のデジタル・データ伝送用の従来からのネットワーク接続を用いることが可能である。これらのようなネットワーク接続は、従来のビデオ伝送媒体とは独立しており、これらは放送ソースと受信機との間の双方向通信を可能にするという利点がある。インターネットのような通信設備も利用することができる。ケーブル・テレビジョン・ネットワークも、同様の通信機能を提供することができる。加えて、高品位デジタル地上TVのための最新の計画は、19.3メガビット/秒でいかなる量のデジタルのビデオまたはデータをも伝送可能なチャネルを定めている。
【0015】
尚、オーディオ/ビデオ・ストリームおよびデジタル・データ・コンテンツは、それぞれ、異なった媒体を用いて分配可能であることを注記しておくべきであろう。空中伝送(over-the-air transmission)のような単一の媒体のみを用いることは便利であるが、ビデオは従来の放送を用いて配信しつつ、CD−ROMのような物理的媒体を用いてデジタル・データ・コンテンツを分配することも可能である。あるいは、場合によっては、CD−ROMのような物理的に運搬可能な媒体を用いて、ビデオおよびデータ双方を分配することも可能である。
【0016】
本発明の好適な実施形態では、放送ソース12は、アナログまたはデジタルのビデオ・ストリームを放送し、このビデオ・ストリームに添付するための補足デジタル・データ・ファイルを供給する。これらのデータ・ファイルはデジタル・コンテンツを有し、これは、ビデオ・ストリームとは別に、受信機14によってレンダリングすることができる。また、放送ソースは、補足データ・ファイルと共にタイミング仕様を提供し、ビデオ・ストリームに関連して、デジタル・コンテンツを表示する時刻を示す。
【0017】
デジタル・コンテンツは、標準的な、共通して使用されているグラフィカル・マークアップ言語(graphical markup language)で作成することが好ましい。本発明の好適な実施形態では、補足データ・ファイルは、Hypertext Markup Language(HTML)の最新バージョンで用意し、フォーマットする。このために、放送業者は、インターネットのワールド・ワイド・ウェブのコンテンツを書くのに使用されているような、標準的な、広く受け入れられているオーサリング・ツール(authoring tool)を用いることが可能となる。
【0018】
補足デジタル・データ・コンテンツは、1つ以上のハイパーリンク・オーバーレイから成ることが好ましい。各ハイパーリンク・オーバーレイは、1つ以上のハイパーリンクを含む。ハイパーリンクとは、視聴者によって選択または活性化可能な、表示された領域またはエンティティのことである。各ハイパーリンクはターゲットを有し、視聴者のためにレンダリングすることができるその他のコンテンツ(通常、データ・ファイルに格納してある)を示す。ハイパーリンクを活性化すると、そのターゲットを検索し、レンダリングを行う。例えば、ターゲットがテキスト文書である場合、この文書を表示する。ターゲットがデジタル化したサウンド・クリップを含むファイルである場合、このサウンド・クリップのレンダリングを行う。ハイパーリンクの最も一般的な使用は、ある文書またはオブジェクトから他のものへの移動即ち「ナビゲート」である。
【0019】
インターネット技術に精通している者には、上述のハイパーリンク・オーバーレイが、インターネットのワールド・ワイド・ウェブをブラウズするときに見ることができる文書(多くの場合、「ウェブ・ページ」と呼んでいる)と同様であることは明白であろう。これは、本発明の魅力的な特徴である。何故なら、このために、放送業者は、既存のインターネット・コンテンツ開発ツールを用いて、補助デジタル・データ・コンテンツの設計を行うことができるからである。
【0020】
従来のウェブ・ページとの相違の1つは、本発明によるハイパーリンク・オーバーレイが背景を有し、これを所定のキー・カラーに設定する点にある。キー・カラーに設定する背景領域には、透過的にするという意図がある。このような背景はまた、MicrosoftのFront Page(登録商標)ウェブ・デザイナのような標準的なインターネット・コンテンツ開発ツールを用いて容易に作成できる。
【0021】
本発明のこの実施形態では、受信機14は従来からのパーソナル・コンピュータ(PC)に、テレビジョン信号やデジタル・ビデオ放送のような放送ビデオ・ストリームを受信し表示するためのディスプレイ・ハードウェアを有する機器を設けたものである。また、PCには、デジタル衛星放送を受信する衛星パラボラアンテナ15、またはアナログTV信号を受信する通常のアンテナも関連させている。
【0022】
ディスプレイ・ハードウェアは、ビデオ表示機能に加えて、ビットマップ化グラフィック表示機能を含み、従来のアプリケーション・プログラムと共に、静止ビットマップ化画像を表示することができる。更に、PC14はビデオ・カラー・キーイング・ハードウェア(video color keying hardware)も含み、これはキー・カラーに設定した表示領域内にのみビデオを表示するように構成することができる。
【0023】
あるいは、受信機14は、ここに記述したPCと同様の機能を有する強化型テレビジョン・ユニット(enhanced television unit)のような、その他のタイプの装置から成ることも可能である。
【0024】
実施の一例として、PC14は、プロセッサ(例えば、Intel Corporationのx86またはPentium(登録商標)、メモリ、コンピュータ・モニタ(例えば、VGA,SVGA)、および1つ以上の入力装置(例えば、キーボード、マウス等)を有するパーソナル・コンピュータである。
【0025】
PC14は、MPEG符号化したデジタルのビデオ/オーディオ・データのようなパケット化フォーマット(packetized format)のデジタル放送データを受信するように構成したデジタル受信機を有する。このようなデジタル受信機は、衛星放送から受信した補足データ・ファイルを読み込むアクセス手段も有し、受信機は、ソフトウェア・プログラム、プログラミング情報、およびその他のデータ・ファイルの形態の補助データを含む、多くの異なった形態のデジタル・データを受信することができる。
【0026】
PCは、多くのアプリケーションをサポートするオペレーティング・システムを実行する。オペレーティング・システムは、多数のアプリケーションの同時実行を可能とする、マルチタスキング・オペレーティング・システムであることが好ましい。このオペレーティング・システムは、ウィンドウ処理環境(windowing environment)のグラフィカル・ユーザ・インターフェースを採用し、「ウィンドウズ」と呼ぶ、表示画面の特別の枠を設けた領域内にアプリケーションまたは文書を提示する。好適なオペレーティング・システムの1つは、Windows 95またはWindows NT、Windows CEあるいはWindows(登録商標)のその他の派生バージョンのような、Microsoft Corporationが販売するWindows(登録商標)ブランドのオペレーティング・システムである。しかしながら、Apple Computer, Inc.のMachintoshオペレーティング・システムや、IBM社のOS/2オペレーティング・システムのような、ウィンドウ処理環境を提供するその他のオペレーティング・システムを採用してもよいことを注記しておく。
【0027】
放送イネーブル型のPC(broadcast-enabled PC)の実現例の一例が、1996年1月29日に出願した、"Broadcast-Enabled Personal Computer"と題する同時係属中の米国特許出願第08/503,055号に記述されている。この出願はMicrosoft Corporationに譲渡されており、この言及によって本願に含めるものとする。
【0028】
図2は、PC14の実現例の一例を更に詳細に示している。放送テレビジョンおよび添付デジタル・データ・コンテンツを表示する目的のために、PC14は性能強化してある。PC14は、プロセッサ52(例えば、Intel Corporationのx86またはPentium(登録商標)マイクロプロセッサ)、および揮発性メモリ54を有するマザーボード(図示せず)を含む。揮発性メモリ54は、不揮発性メモリ55と共に、プログラム格納メモリ56を形成する。不揮発性メモリ55は、フロッピー・ディスク、ハード・ディスク、CD−ROM、またはその他の任意のコンピュータ読取可能記憶媒体から成る。ここに記述するステップを実行する命令を含むアプリケーション・プログラムは、この記憶媒体内に収容する。
【0029】
PC14は、衛星パラボラアンテナ受信機、RF受信機、マイクロ波受信機等のような、デジタル放送受信機58を含む。デジタル受信機58は、衛星ネットワークのような放送ネットワークを通じて放送されるデジタル・データを受信する。受信機58は、放送ネットワークの周波数またはチャネルへの同調を行うチューナ60に結合している。チューナ60は、1つまたは2つの主構成要素、即ち、特殊デジタル放送チューナおよび汎用デジタル放送チューナの一方または両方を有する。特殊デジタル放送チューナは、MPEG符号化デジタル・ビデオ/オーディオ・データのような特殊化したフォーマットのデジタル放送データを受信するように構成している。汎用デジタル放送チューナは、ソフトウェア・プログラムやその他の補助データを含む、多くの異なった形態のデジタル・データを受信するように構成している。
【0030】
チューナ60は、32ビットPCI(Peripheral Component Interconnect)バスのようなマルチ・ビット・バス62を通じて、マザーボードおよびデータ・プロセッサ52に接続している。オプションの暗号装置64は、暗号化、解読、認証、およびデジタル署名のような、暗号サービスをクライアントに提供する。
【0031】
PC14は、PCIバス62に接続したビデオ・サブシステム66を有する。ビデオ/オーディオ・データは、PCIバス62を通じてチューナ60からビデオ・サブシステム66に転送する。実施形態によっては、チューナ・ハードウェアが代わりにMPEGストリーム自体を復号化し、PCIバスを通じてデータを受け渡さない場合もある。このようなシステムでは、非圧縮の生のYUVビデオを、単純なワイヤ接続で、ビデオ・サブシステム66ボードに送る。しかしながら、図示の実施形態では、ビデオ・サブシステム66は、MPEG符号化またはその他のビデオ・データ・フォーマットを復号化する回路を含む。また、ビデオ・サブシステム66は、コンピュータ・モニタ68を駆動するビデオ・ディスプレイ・ドライバも含む。
【0032】
ビデオ・サブシステム66は、モニタ68に加えて、多くの周辺装置をサポートする。例えば、ビデオ・サブシステム66は、DVD(デジタル・ビデオ・ディスク)を再生するレーザ・ビデオ・プレーヤ70、ビデオ・ゲームを再生するゲーム機械72、および番組を記録するVCR(ビデオ・カセット・レコーダ)74に接続することも可能である。ビデオ・サブシステム66は、ケーブル・テレビジョン・システムまたはRF放送テレビジョン・システムから従来のTV信号を受信するため、アナログ放送テレビジョン・システム76に接続できるようにしてある。これによって、アナログ・テレビジョン・システムとの下位互換性(backwards compatibility)を得ることができる。
【0033】
また、ビデオ・サブシステム66は、カラー・キーイング機構も内蔵しており、これは、静止ビットマップ・グラフィックを用いてビデオを統合化する際に役立つ。カラー・キーイングを用いて、アプリケーション・プログラムまたはオペレーティング・システムは、ビデオ・サブシステムを構成することにより、ソフトウェアを実行することによって既に適所に配されているビットマップ化モニタ画像がいかなるものであれ、それと共に、モニタ68の矩形領域即ち「ビューポート」にビデオ・ストリームを表示する。実際に、ビデオ・サブシステムは、ビデオ・ストリームを用いて、通常のビットマップ表示画像に上書きする。しかしながら、このビデオ・サブシステムは、ビットマップ表示画像内の所定のカラー即ちクロマ・キー値を設定した区域のみに上書きするように構成している。したがって、ビットマップ画像は、「透過的な」区域即ちカラー・キー値を設定する領域を有するように作成することができる。ビデオ・ストリームは、これら透過的な領域においてのみ表示するので、ビットマップ画像がビデオ・ストリームにかぶさって見える。
【0034】
Tseng Labs, Cirrus Logic, Brooktree, AT1およびS3は、このようなビデオ・サブシステムを製造する会社の例である。
【0035】
モニタ68は、標準的なテレビジョンではなく、パーソナル・コンピュータで通常採用されているVGAまたはSVGAモニタとすることが好ましい。図示の実現例では、PC14はテレビジョン関連のデータをNTSC(National Television System Committee)フォーマットに変換しない。このために、PC14は、VGAモニタ上に表示した際に、優れた画質を有するテレビジョン・データを生成することができる。他の実施形態では、画像をVGAからNTSCに変換して、標準的なTV画面上に表示する場合もあるが、グラフィック解像度が比較的低いものとなろう。
【0036】
また、PC14は、ISA(Industry Standard Architecture)バスのような二次バス130も含み、これは、マザーボードおよびデータ・プロセッサ52に結合している。オーディオ・ボード132が、ISAバス130に結合して、従来のスピーカのような、多数のオーディオ出力装置とのインターフェースとして機能する。オーディオ・ボードおよびスピーカの間に、必要であれば、増幅器を結合してもよい。オーディオ・ボードは、ビデオ・サブシステム66にも結合して、復号化されたオーディオ信号を受信する。オーディオ・ボード132はステレオ・システム134にも結合することができるので、サウンド強化のためオーディオ・データをステレオ・システムに出力し、またその記録をすることができる。より新しいコンピュータ・システムには、代わりに、デジタル・オーディオ・ストリームをPC外部に送り出し、ユニバーサル・シリアル・バスまたはIEEE1394接続を通じて、外部の変換器に送出することをサポートするものもある。これによって、内部サウンド・カードの必要性をなくし、一層忠実度が高いオーディオを得ることができる。
【0037】
CD−ROM(またはDVD)ドライブ136は、ISAバス130に結合してある。CDROM(またはDVD)ドライブ136が生成するオーディオ出力は、オーディオ・ボード132に受け渡す。
【0038】
PC14は、14.4kbpsまたは28.8kbpsのファックス/データ・モデムのようなモデム138を含み、これはISAバス130に結合している。モデム138は、従来の電話回線に接続して、インターネットを含む公衆ネットワークへのアクセスを行う。モデム138は、独立したサービス・プロバイダから直接に、データや補足コンテンツにアクセスしそしてこれらをダウンロードするのに用いることができる。更に、放送ソースから発した補足データ・ファイルをダウンロードするのにも用いることができる。加えて、モデム138は、放送ソースまたは放送関連サービスを提供するその他のエンティティとの二方向通信にも使用可能である。
【0039】
入出力(I/O)アダプタ140は、ISAバス130に結合して、デジタル・テープ・ドライバ142、フロッピー・ディスク・ドライブ144、およびハード・ディスク・ドライバ146を含む、多数のI/O装置とのインターフェースを提供する。リモート受信機148もI/Oアダプタ140に結合し、リモート・コードレス・キーボード66およびリモコン(RC)ハンドセット63からの、IRまたはRFフォーマットの信号を受信する。あるいは、これらキーボードおよびハンドセットは、直接コンピュータに配線することも可能である。更に、I/Oアダプタ140は、COM1ポート150、COM2ポート152、およびLPT1ポート154を含む、従来のシリアル・ポートも備えている。IR送信機(図示せず)はCOM1ポート150に結合して、ステレオ機器、VCR等のような電子装置を制御するための赤外線信号を発生することができる。また、コンピュータ60は、これらの構成要素に直接連結(hook)することも可能である。
【0040】
本発明によれば、PC14は、放送ソースからのデジタル・ビデオ・ストリームおよび添付HTMLファイルを受信し、そしてHTMLファイルが定義するハイパーリンク・オーバーレイと共にビデオ・ストリームを表示するように、プログラムまたは構成する。
【0041】
図3には、これをどのようにして実現するかを示す。まず、ハイパーリンク・オーバーレイを表示するためのオーバーレイ・ウィンドウ200を開く。オーバーレイ・ウィンドウ200とサイズおよび位置が一致するビューポート201内に、ビデオ・ストリームを表示するように、ビデオ・サブシステム66を構成する。また、ハイパーリンク・オーバーレイの所定のカラー・キーを設定していない区域上のみに、そのビデオ・ストリームを表示するように、ビデオ・サブシステムを構成する。こうして、ハイパーリンク・オーバーレイの不透過区域が、ビデオ・ストリームを「通り抜けて(through)」現れ、ビデオ・ストリームにかぶさるように見える。おそらく、この挙動の最良の例は、天気図の前に「浮遊」しているように見えるTVの天気予報者である。フレーム・ウィンドウ202も利用して、オーバーレイ・ウィンドウ200およびビューポイント201の縁を規定する。これら3つの構成要素は、ユーザには単一のウィンドウとして見えるように構成する。オペレーティング・ソフトウェアは、ユーザがこれらの構成要素を単一のエンティティとしてサイズ変更や移動を行うことができるように構成する。
【0042】
オーバーレイ・ウィンドウ200は、HTMLフォーマットの文書を表示するために特に設計されたActiveXTMコントロールを用いて実装することが好ましい。このようなActiveXTMのHTMLコントロールは、ハイパーリンクを活性化することによって文書間のブラウジング即ちナビゲーションも可能とするように構成されている。ActiveXTMは、Microsoft Corporationが規定した相互交換可能なコンポーネントのための標準である。ActiveXTMコントロールは、ディスプレイ・エンティティであり、ディスプレイを通じてユーザまたは視聴者とプログラムとの対話型処理を可能にする。この場合、そのコントロールはHTMLフォーマットの文書を表示して、ユーザがハイパーリンクを活性化し、このようなハイパーリンクのターゲットを検索して表示させることができるようにする。あるいは、従来のHTMLブラウザを、ハイパーリンク・オーバーレイを表示するのに用いることも可能である。
【0043】
表示したアイコンをハイパーリンクと関連付ける代わりに、(HTML技術を用いて)ビデオ上にかぶさるように、完全に透過的なイメージマスクを作成することも可能である。この結果、画面上には「ホットスポット」が得られ、これをクリックすることによって、動作を起こさせることができる。これの一例は、俳優の体の上にホットスポットを作成し、そのホットスポット上でクリックすることによって、その人物が何を考えていたのかを明らかにするというようなものである。別の例として、ユーザが、"Tool Time"のエピソードの間に、Tim AllenのBinford鋸の上でクリックし、どこでそれを購入したのかというような、それについての更なる情報を得る、という場合である。
【0044】
ハイパーリンク・オーバーレイは、特定の1つのビデオ・ストリームに対応してグループで提供して、そのグループの様々な個々のオーバーレイ間でナビゲートできるようにする。例えば、週1回のテレビジョン・ショーの特定のエピソードの開始に先立って、オーバーレイの関連するグループをPCに提供することができる。これらオーバーレイの内最初のものを、エピソードの開始時に表示し、そして視聴者が望むならば、ハイパーリンクを追って行って、そのグループの他のオーバーレイを見ることができるようにする。
【0045】
あるいは、オーバーレイを伝送する通信パケットと共に、タイミングおよびその他の情報をPCに提供することができる。タイミング情報は、特定のオーバーレイを表示すべき時刻を、そのビデオ・ストリームに対し相対的に示す。ハイパーリンクを活性化することにより、この指定されたタイミングを無視することができる。ビデオ・ストリームに対する特定のタイミングに頼らずにビデオを同期させる別の方法に、クローズド・キャプション・テキストを用いるものがある。クローズド・キャプション・ストリームを調べることによって、基準マークとして機能するある言葉を、画面上の俳優が発音した時に基づいて特定のイベントが生じるようにトリガすることができる。このような技術は、1997年1月6日に出願した、"System and Method For Synchronizing Content With A Video Program Using Closed Captioning"と題する、同時係属中の米国特許出願第08/779,270号に記述されている。この特許出願は、Microsoft Corporationに譲渡されており、この言及によって本願に含めるものとする。
【0046】
PC14は、スタック系アルゴリズムを用いて多数のオーバーレイを処理するので、1つのオーバーレイを一時的に他のオーバーレイで上書きすることができる。例えば、緊急ニュース送信がオーバーレイを有し、規則的に予定されているショーに上書きするという場合があり得る。緊急ニュース送信が完了したならば、以前のオーバーレイを再現する。
【0047】
図4は、本発明にしたがって放送ソース12が実行する好適な方法ステップを示す。ステップ220は、ビデオ・ストリームを送信することから成っている。ビデオ・ストリームは、従来からのアナログRFテレビジョン・フォーマット、あるいは衛星またはケーブル・ヘッドエンドから発するデジタル・フォーマットのような、種々のフォーマットの1つとすることができる。
【0048】
ステップ222は、グラフィカル・マークアップ言語、好ましくはHTMLの補足データ・ファイルのフォーマッティングから成る。各補足HTMLデータ・ファイルは、指示した時刻にハイパーリンク・ページまたはオーバーレイをビデオ・ストリーム上にレンダリングする命令を有している。各オーバーレイは、キー・カラー即ちクロマ・カラーを設定した透過の区域あるいは領域を有することができる。また、オーバーレイは、他のオーバーレイへのハイパーリンク、またはその他のオーバーレイではない文書やオブジェクトへのハイパーリンクも含むことができる。
【0049】
ステップ224は、補足データ・ファイルをビデオ・ストリームと関連付けることから成っている。このステップは、ビデオ・ストリームと共に、タイミング・パラメータのような制御データを指定することにより実行して、このビデオ・ストリームに関連付けて、ハイパーリンク・オーバーレイを表示する時刻を示す。尚、データ伝送速度を考慮に入れて、補足データは、これらが必要とされる時刻に先立って送出することを注記しておく。ステップ226は、補足データ・ファイルを、ビデオ・ストリームと共に送信することから成っている。既に説明したように、これを行うには、デジタル伝送媒体に組み込まれている機能を用いるか、あるいは従来のアナログ・テレビジョン信号の垂直ブランキング期間を用いることができる。
【0050】
図5は、PC14または別の受信機が実行するステップを示す。ステップ230は、放送ソースからビデオ・ストリームおよび添付補足データを受信することから成っている。ステップ232は、カラー・キーイング技術を用いてビデオ・ストリームをディスプレイ装置上のビューポート内に表示することから成り、これによりディスプレイの所定のキー・カラー即ちクロマ・キーを設定した区域上にのみ、ビデオ・ストリームを実際に表示する。
【0051】
ステップ234は、補助データ・ファイルが規定するハイパーリンク・オーバーレイを、ビデオ・ストリームと共に表示装置上に表示することから成る。オーバーレイを予めキャッシュしてある場合、このステップは、それらをキャッシュ記憶部から検索することを含む。補足データ・ファイルと共に受信した制御データはこのステップで用いて、ハイパーリンクのページまたはオーバーレイをビデオ・ストリームと関連付ける。その結果、受信した時刻ではなく、制御データに含まれるタイミング仕様が指示する時刻に、オーバーレイを表示する。
【0052】
デフォルトの場合、ActiveXTMコントロールを用いて、ハイパーリンク・オーバーレイを表示し、オーバーレイ内のハイパーリンクを用いてナビゲーションを行うことができるようにする。ActiveXTMコントロールは、ビデオ・ストリーム・ビューポートと同じ区域を占有するように構成する。このようにして、ハイパーリンク・オーバーレイの透過区域内に、ビデオ・ストリームをレンダリングする。場合によって、PC14が実際にはActiveXTMコントロールの作成もしくはレンダリングを定刻より前に行うこともあるが、このコントロールは適切な時点まで可視状態としない。これは、オーバーレイを提示する際のどのような遅延をも回避するためである。
【0053】
あるいは、制御データで、透過的でないハイパーリンク・オーバーレイであるマルチメディア・オブジェクトを定義することも可能である。このような場合には、HTML互換ブラウザのような別個のアプリケーション・プログラムを起動し、補足データ・ファイルが定義するオブジェクトのレンダリングを行う。このようなアプリケーション・プログラムは、それ自体の独立したウィンドウ内で起動し、視覚指向オブジェクト(visually-oriented object)の場合、ビデオ・ストリームと並べて見ることができる。
【0054】
既に注記したように、補足データ・ファイルと共に伝送する制御データは、どのように補足データ・ファイルを扱うのかについて指示するものである。主に、制御データは、データ・ファイルのレンダリングを行う、即ち、可視状態にする時刻を示す。加えて、制御データは、視聴者があるオーバーレイ内からハイパーリンクを活性化した場合に何が発生すべきかを指示する。通常、ハイパーリンクを活性化すると、そのターゲットの表示を行うか、そうでなければレンダリングを行う。しかしながら、ハイパーリンクのターゲットが別の透過オーバーレイである場合、2つのオプションがある。即ち、ターゲットは現在表示中のオーバーレイと入れ換えるか、あるいはターゲットは、独立したブラウザによって、この目的のためにのみ開いた新しいウィンドウ内に表示することができる。ハイパーリンクのターゲットが透過オーバーレイでない場合、選択肢は1つだけである。即ち、適切なアプリケーション・プログラムを起動することによって、新しいウィンドウにターゲットを表示する。したがって、ステップ234は、必要に応じてアプリケーション・プログラムを起動して、ハイパーリングがターゲットとする非オーバーレイ・コンテンツのレンダリングを行うステップを含む。
【0055】
上述のPCの実施形態では、これらのステップは、プログラム・メモリ56に格納したプログラミング命令の実行の間に、データ・プロセッサ52の制御の下で実行する。
【0056】
これまで、本発明は、放送ビデオ・ストリームと共に用いる場合について主に説明したが、ビデオ・ストリームは、ローカルの記憶装置(ハード・ディスク、DVD、CD、VCR等)のようなその他の手段によっても利用可能な場合もあることを注記しておく。また、本発明は、これらのようなビデオ・ソースと共に用いても有用である。例えば、ムービーを、このムービーと共に使用するための1群の透過的HTMLオーバーレイ・ファイルと共にDVDで提供してもよい。あるいは、ムービーをDVD上で提供し、オーバーレイ・ファイルをインターネット・ソースからダウンロードしてもよい。
【0057】
また、放送ソースを用いる場合でも、補足データ・ファイルの送信は、ビデオ・ストリームの送信と同時に行う必要はないことも注記しておく。むしろ、システムによっては、オーバーレイ・ファイルを夜間にユーザ機器に放送し、そしてそれを翌日に使用できるようにすることが望ましい場合もある。制御データは、どの番組にオーバーレイ・ファイルを関連付けるべきかを示し、そしてユーザのPCにあるソフトウェアが、ユーザの視聴選択に応じて、適切な時刻に適切なファイルを検索する。
【0058】
本発明は、放送業者およびその他のビデオ・プロバイダが、補足文字データおよびグラフィック素材を供給し、かつこのような素材をビデオ・コンテンツと調整させる簡単な方法を提供する。従来のシステムとは対照的に、本発明は、広く用いられているハイパーテキスト・オーサリング・パッケージを利用するので、受入れおよび標準化を促進することになろう。
【0059】
法令にしたがって、本発明の構造および方法上の特徴について多少なりとも具体的な言葉で説明した。しかしながら、ここに開示した手段は本発明を実施する際の好適な形態を構成するものであるので、本発明は、この具体的に記述した特徴に限定されるものではないことは理解されるべきである。したがって、本発明は、均等論にしたがって適切に解釈されるべき特許請求の範囲の適正な範囲にあるその形態および変更のいずれについても、その保護を請求するものである。
【図面の簡単な説明】
【図1】本発明によるビデオ放送システムのブロック図。
【図2】本発明による受信機の一例のブロック図。
【図3】本発明にしたがってビデオ、HTMLオーバーレイ、およびフレーム・ウィンドウをどのように構成するのかを示す図。
【図4】本発明による好適な方法ステップを示すフローチャート。
【図5】本発明による好適な方法ステップを示すフローチャート。
【符号の説明】
10 ビデオ放送システム
12 放送ソース
14 受信機
52 プロセッサ
54 揮発性メモリ
55 不揮発性メモリ
56 プログラム格納メモリ
58 デジタル放送受信機
60 チューナ
62 マルチ・ビット・バス
66 ビデオ・サブシステム
68 モニタ
72 ゲーム機械
74 VCR(ビデオ・カセット・レコーダ)
76 アナログ放送テレビジョン・システム
130 二次バス
132 オーディオ・ボード
134 ステレオ・システム
136 CD−ROM(またはDVD)ドライブ
138 モデム
140 入出力(I/O)アダプタ
142 デジタル・テープ・ドライバ
144 フロッピー・ディスク・ドライブ
146 ハード・ディスク・ドライバ
148 リモート受信機
150 COM1ポート
152 COM2ポート
154 LPT1ポート
200 オーバーレイ・ウィンドウ
201 ビューポート
202 フレーム・ウィンドウ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and system for providing and displaying ancillary data content along with video and audio transmissions.
[0002]
[Prior art]
Displaying live video on personal computers (PCs) is becoming more and more common. A number of low cost video capture boards allow the display of analog video signals on the RGB display surface of a personal computer. In addition, the provision of high quality digital video and distribution through, for example, Direct Broadcast Satellite (DBS) will soon be available on the PC. With the right hardware, the PC can store not only locally stored analog and digital video signals (eg, on a CD or VCR), but also DBS signals, analog cable signals, and over-the- air-signal) can be displayed and decoded.
[0003]
In the future, television signal decoder circuits for both analog and digital signals will be used in most of all PCs, even if not standardized. Furthermore, the PC will give a better experience to the user or viewer beyond standard television by allowing the user or viewer to operate, view and use both data and video simultaneously. .
[0004]
In this new broadcasting environment, television broadcasters are trying to use the functions of PCs by strengthening digital programs. For example, a broadcaster may provide supplemental statistical data during a sports broadcast so that viewers can view detailed information about a particular team or player. Similarly, broadcasters may provide viewers with access to more detailed information during or after the broadcast by providing information related to the topic of the documentary. As another example, during a children's cartoon program, one may wish to promote a program related product, such as a doll or toy, during the program.
[0005]
This method of delivering data to PCs is particularly attractive in areas of the world that have not previously had a large amount of data infrastructure. For example, consider India with a middle-class population of about 300 million (more than the total population of the United States). Individuals can afford to purchase PCs, and many people actually own PCs, but those who have experienced Internet and high-speed data network processing because their telecommunications infrastructure is underdeveloped. Almost no. If a data service can be distributed to such a place, it will provide many opportunities.
[0006]
In recent years, great efforts have been made to develop what is called “interactive television”. Interactive television allows viewers to interact with cable television service providers. There are various enhancements to the interactive television system. For example, an interactive program guide can be implemented for the viewer. Using the interactive program guide, the viewer can scroll through the television program list through cursor control buttons on the remote control. The viewer can also perform an interactive search for program content. Some interactive TV systems include the ability for broadcasters to provide auxiliary data along with video supply.
[0007]
[Problems to be solved by the invention]
Until now, neither interactive television system has been widely accepted. One reason for hindering such wide acceptance is that each system employs different standards and protocols in providing ancillary data to the main video content. Unless a single system is established as a standard, broadcasters are forced to provide auxiliary data in a number of different formats. This is a serious obstacle.
[0008]
The present invention seeks to eliminate this obstacle by utilizing a conventional format for providing auxiliary data with a video broadcast, along with a scheme for superimposing digital data content on the main video stream.
[0009]
[Means for Solving the Problems]
The present invention enables broadcasters to prepare auxiliary data contents as HTML files. The HTML file is prepared as an overlay having a background of a predetermined color key, and is viewed using a video device having color keying features. At the receiver, the HTML overlay renders using color keying on the same display area as the broadcast video using typical Internet browser technology. This allows the overlay background to appear transparent and the video to appear only within the background area of the HTML overlay.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a video broadcasting system according to an embodiment of the present invention, which is generally designated by reference numeral 10. Broadcast system 10 includes a broadcast source 12 and a plurality of receivers 14. The broadcast source in this embodiment of the invention is a digital satellite system that broadcasts video content on multiple RF frequencies or channels. Alternatively, the broadcast source can be a conventional terrestrial television station and associated antenna, cable system, or any similar equipment installed to transmit video streams and attached data in analog or digital form. You can also.
[0011]
In most cases, the broadcast source 12 supports only unidirectional communication and is mainly used for unidirectional broadcasting or multi-casting to multiple receivers simultaneously without foreseeing the receiver side. To do. Alternatively, the broadcast source 12 may support bidirectional communication. Although only one broadcast source 12 is shown for illustrative purposes, a broadcast system may include multiple broadcast sources 12.
[0012]
Broadcast source 12 includes means for transmitting or otherwise carrying the main video stream and auxiliary digital data content to receiver 14. In the case of digital satellite transmission, auxiliary data can easily be transmitted in digital form along with video and audio streams. Protocols such as MPEG-2 already allow auxiliary digital data to be incorporated into the packets, and these packets are downloaded along with the digital audio / video content using a satellite transmission facility. For example, existing DSS systems incorporate “hints” in the MPEG stream to indicate the aspect ratio for correct display by the receiver. Another example is in the analog world where Philips sells a device called Ghost Echo Cancellation Reference Signal. By injecting a known digital stream into a single analog television VBI line, modern televisions or PCs can more easily detect when a multipath (ghost) signal is received and clean the image You can take action. There are about 800 TV stations in the United States that implement this signal.
[0013]
When using traditional broadcast sources, such as analog RF television broadcasts, data can be transmitted during the vertical blanking period of the television signal. This method is currently used to provide closed captions for the hearing impaired. The digital data transmitted in this way can be extracted from the television signal by a number of methods known in the industry. Currently manufactured televisions have a function of extracting and displaying closed caption information. An external closed caption decoder can also be used for this purpose. In addition, a number of external devices are available that extract closed caption data and send it to a personal computer or other device through a serial cable. More recently, it has also become possible to decode closed caption data directly inside the PC using modern video and video tuner boards that allow television signals to be displayed on the PC.
[0014]
There are also other mechanisms that can be used to transmit digital data content to the receiver 14. For example, a modem or other conventional network connection for digital data transmission can be used. Network connections such as these are independent of conventional video transmission media, which have the advantage of allowing bi-directional communication between the broadcast source and the receiver. Communication facilities such as the Internet can also be used. A cable television network can also provide similar communication functions. In addition, the latest plan for high definition digital terrestrial TV defines a channel capable of transmitting any amount of digital video or data at 19.3 megabits per second.
[0015]
It should be noted that the audio / video stream and digital data content can each be distributed using different media. While it is convenient to use only a single medium such as over-the-air transmission, video is distributed using conventional broadcasts, while using a physical medium such as CD-ROM. It is also possible to distribute digital data content. Alternatively, in some cases, both video and data can be distributed using a physically transportable medium such as a CD-ROM.
[0016]
In the preferred embodiment of the present invention, the broadcast source 12 broadcasts an analog or digital video stream and provides supplemental digital data files for attachment to the video stream. These data files have digital content, which can be rendered by the receiver 14 separately from the video stream. The broadcast source also provides a timing specification along with supplemental data files to indicate the time at which digital content is displayed in relation to the video stream.
[0017]
Digital content is preferably created in a standard, commonly used graphical markup language. In the preferred embodiment of the present invention, supplemental data files are prepared and formatted with the latest version of Hypertext Markup Language (HTML). To this end, broadcasters can use standard, widely accepted authoring tools, such as those used to write content for the Internet's World Wide Web. Become.
[0018]
The supplemental digital data content preferably consists of one or more hyperlink overlays. Each hyperlink overlay includes one or more hyperlinks. A hyperlink is a displayed area or entity that can be selected or activated by a viewer. Each hyperlink has a target and indicates other content (usually stored in a data file) that can be rendered for the viewer. When a hyperlink is activated, its target is searched and rendered. For example, when the target is a text document, this document is displayed. If the target is a file containing a digitized sound clip, the sound clip is rendered. The most common use of hyperlinks is moving or “navigating” from one document or object to another.
[0019]
For those familiar with Internet technology, the hyperlink overlay described above refers to documents that can be viewed when browsing the Internet's World Wide Web (often referred to as "web pages") It will be clear that this is the same as This is an attractive feature of the present invention. This is because, for this purpose, broadcasters can design auxiliary digital data content using existing Internet content development tools.
[0020]
One difference from a conventional web page is that the hyperlink overlay according to the present invention has a background and sets it to a predetermined key color. The background area set for the key color is intended to be transparent. Such a background can also be easily created using standard Internet content development tools such as Microsoft's Front Page® Web Designer.
[0021]
In this embodiment of the invention, the receiver 14 has display hardware for receiving and displaying a broadcast video stream, such as a television signal or digital video broadcast, on a conventional personal computer (PC). It has equipment that has it. Also associated with the PC is a satellite dish 15 that receives digital satellite broadcasts, or a normal antenna that receives analog TV signals.
[0022]
The display hardware includes a bitmapped graphic display function in addition to the video display function, and can display a static bitmapped image along with conventional application programs. In addition, the PC 14 also includes video color keying hardware, which can be configured to display video only within the display area set to key color.
[0023]
Alternatively, the receiver 14 can comprise other types of devices, such as an enhanced television unit that has similar functionality to the PC described herein.
[0024]
As an example of implementation, the PC 14 includes a processor (eg, Intel Corporation's x86 or Pentium®, memory, computer monitor (eg, VGA, SVGA), and one or more input devices (eg, keyboard, mouse, etc.). ).
[0025]
The PC 14 has a digital receiver configured to receive digital broadcast data in a packetized format such as MPEG encoded digital video / audio data. Such digital receivers also have access means for reading supplemental data files received from satellite broadcasts, the receivers including auxiliary data in the form of software programs, programming information, and other data files. Many different forms of digital data can be received.
[0026]
The PC runs an operating system that supports many applications. The operating system is preferably a multitasking operating system that allows multiple applications to run simultaneously. This operating system employs a graphical user interface of a windowing environment and presents an application or document in a special area of the display screen called “Windows”. One suitable operating system is a Windows® brand operating system sold by Microsoft Corporation, such as Windows 95 or Windows NT, Windows CE, or other derivative versions of Windows®. . However, it should be noted that other operating systems that provide a windowing environment may be employed, such as Apple Computer, Inc.'s Machintosh operating system or IBM's OS / 2 operating system. .
[0027]
An example of an implementation of a broadcast-enabled PC is shown in copending US patent application Ser. No. 08 / 503,055, filed Jan. 29, 1996, entitled “Broadcast-Enabled Personal Computer”. In the issue. This application is assigned to Microsoft Corporation and is hereby incorporated by reference.
[0028]
FIG. 2 shows an example of implementation of the PC 14 in more detail. For purposes of displaying broadcast television and attached digital data content, the PC 14 has enhanced performance. The PC 14 includes a processor 52 (eg, Intel Corporation's x86 or Pentium® microprocessor) and a motherboard (not shown) having volatile memory 54. The volatile memory 54 forms a program storage memory 56 together with the nonvolatile memory 55. Nonvolatile memory 55 comprises a floppy disk, hard disk, CD-ROM, or any other computer readable storage medium. An application program including instructions for executing the steps described herein is accommodated in this storage medium.
[0029]
The PC 14 includes a digital broadcast receiver 58, such as a satellite dish receiver, RF receiver, microwave receiver, and the like. The digital receiver 58 receives digital data broadcast over a broadcast network such as a satellite network. The receiver 58 is coupled to a tuner 60 that tunes to the frequency or channel of the broadcast network. The tuner 60 has one or two main components: one or both of a special digital broadcast tuner and a general-purpose digital broadcast tuner. The special digital broadcast tuner is configured to receive digital broadcast data in a specialized format such as MPEG encoded digital video / audio data. General purpose digital broadcast tuners are configured to receive many different forms of digital data, including software programs and other auxiliary data.
[0030]
The tuner 60 is connected to the motherboard and the data processor 52 through a multi-bit bus 62 such as a 32-bit PCI (Peripheral Component Interconnect) bus. Optional cryptographic device 64 provides cryptographic services to the client, such as encryption, decryption, authentication, and digital signature.
[0031]
The PC 14 has a video subsystem 66 connected to the PCI bus 62. Video / audio data is transferred from tuner 60 to video subsystem 66 over PCI bus 62. In some embodiments, the tuner hardware may instead decode the MPEG stream itself and not pass data over the PCI bus. In such a system, uncompressed raw YUV video is sent to the video subsystem 66 board with a simple wire connection. However, in the illustrated embodiment, the video subsystem 66 includes circuitry for decoding MPEG encoding or other video data formats. Video subsystem 66 also includes a video display driver that drives computer monitor 68.
[0032]
Video subsystem 66 supports many peripheral devices in addition to monitor 68. For example, the video subsystem 66 includes a laser video player 70 that plays a DVD (digital video disc), a game machine 72 that plays a video game, and a video cassette recorder (VCR) that records a program. It is also possible to connect to 74. Video subsystem 66 is adapted to connect to an analog broadcast television system 76 for receiving conventional TV signals from a cable television system or an RF broadcast television system. This provides backwards compatibility with analog television systems.
[0033]
The video subsystem 66 also incorporates a color keying mechanism, which is useful when integrating video using static bitmap graphics. Using color keying, an application program or operating system configures the video subsystem to do whatever bitmapped monitor image is already in place by running the software, At the same time, the video stream is displayed in a rectangular area or “viewport” of the monitor 68. In practice, the video subsystem uses the video stream to overwrite the normal bitmap display image. However, the video subsystem is configured to overwrite only the area in the bitmap display image where a predetermined color or chroma key value is set. Thus, a bitmap image can be created to have “transparent” areas, ie areas that set color key values. Since the video stream is displayed only in these transparent areas, the bitmap image appears to overlay the video stream.
[0034]
Tseng Labs, Cirrus Logic, Brooktree, AT1 and S3 are examples of companies that produce such video subsystems.
[0035]
The monitor 68 is preferably not a standard television but a VGA or SVGA monitor normally employed in personal computers. In the illustrated implementation, the PC 14 does not convert television-related data into the NTSC (National Television System Committee) format. Therefore, the PC 14 can generate television data having excellent image quality when displayed on the VGA monitor. In other embodiments, the image may be converted from VGA to NTSC and displayed on a standard TV screen, but the graphics resolution will be relatively low.
[0036]
The PC 14 also includes a secondary bus 130 such as an ISA (Industry Standard Architecture) bus, which is coupled to the motherboard and the data processor 52. An audio board 132 couples to the ISA bus 130 and functions as an interface with multiple audio output devices, such as conventional speakers. An amplifier may be coupled between the audio board and the speaker if necessary. The audio board is also coupled to the video subsystem 66 to receive the decoded audio signal. The audio board 132 can also be coupled to the stereo system 134 so that audio data can be output to the stereo system and recorded for enhanced sound. Some newer computer systems instead support sending digital audio streams out of the PC and out to an external converter over a universal serial bus or IEEE 1394 connection. This eliminates the need for an internal sound card and allows for higher fidelity audio.
[0037]
A CD-ROM (or DVD) drive 136 is coupled to the ISA bus 130. The audio output generated by the CDROM (or DVD) drive 136 is passed to the audio board 132.
[0038]
The PC 14 includes a modem 138, such as a 14.4 kbps or 28.8 kbps fax / data modem, which is coupled to the ISA bus 130. The modem 138 is connected to a conventional telephone line and accesses a public network including the Internet. The modem 138 can be used to access and download data and supplemental content directly from an independent service provider. It can also be used to download supplemental data files originating from broadcast sources. In addition, the modem 138 can also be used for two-way communication with broadcast sources or other entities that provide broadcast-related services.
[0039]
Input / output (I / O) adapter 140 couples to ISA bus 130 and includes a number of I / O devices including digital tape driver 142, floppy disk drive 144, and hard disk driver 146. Provides an interface. A remote receiver 148 is also coupled to the I / O adapter 140 to receive IR or RF format signals from the remote cordless keyboard 66 and remote control (RC) handset 63. Alternatively, the keyboard and handset can be wired directly to the computer. In addition, the I / O adapter 140 also includes conventional serial ports, including a COM1 port 150, a COM2 port 152, and an LPT1 port 154. An IR transmitter (not shown) can be coupled to the COM1 port 150 to generate infrared signals for controlling electronic devices such as stereo equipment, VCRs, and the like. The computer 60 can also be hooked directly to these components.
[0040]
In accordance with the present invention, the PC 14 is programmed or configured to receive a digital video stream and attached HTML file from a broadcast source and display the video stream with a hyperlink overlay defined by the HTML file. .
[0041]
FIG. 3 shows how this is achieved. First, an overlay window 200 for displaying a hyperlink overlay is opened. The video subsystem 66 is configured to display the video stream in a viewport 201 that matches the size and position of the overlay window 200. The video subsystem is also configured to display the video stream only on areas where the predetermined color key of the hyperlink overlay is not set. Thus, the opaque area of the hyperlink overlay appears “through” the video stream and appears to cover the video stream. Perhaps the best example of this behavior is a TV weather forecaster who appears to be “floating” in front of the weather map. A frame window 202 is also used to define the edges of the overlay window 200 and the viewpoint 201. These three components are configured to appear to the user as a single window. The operating software configures the user so that they can be resized and moved as a single entity.
[0042]
Overlay window 200 is an ActiveX designed specifically for displaying documents in HTML format. TM It is preferable to implement using controls. ActiveX like this TM The HTML controls are configured to enable browsing between documents or navigation by activating hyperlinks. ActiveX TM Is a standard for interchangeable components defined by Microsoft Corporation. ActiveX TM A control is a display entity that allows interactive processing between a user or viewer and a program through the display. In this case, the control displays a document in HTML format so that the user can activate hyperlinks and search for and display such hyperlink targets. Alternatively, a conventional HTML browser can be used to display the hyperlink overlay.
[0043]
Instead of associating the displayed icon with a hyperlink, it is also possible to create a completely transparent image mask so that it covers over the video (using HTML technology). As a result, a “hot spot” is obtained on the screen, and an operation can be caused by clicking the “hot spot”. An example of this would be to create a hot spot on the actor's body and reveal what the person was thinking by clicking on the hot spot. As another example, during a "Tool Time" episode, a user clicks on Tim Allen's Binford saw to get more information about it, such as where it was purchased. It is.
[0044]
Hyperlink overlays are provided in groups corresponding to a particular video stream so that they can be navigated between the various individual overlays of that group. For example, an associated group of overlays can be provided to the PC prior to the start of a particular episode of a weekly television show. The first of these overlays is displayed at the beginning of the episode, and if the viewer wants, it can follow the hyperlink to see other overlays in the group.
[0045]
Alternatively, timing and other information can be provided to the PC along with the communication packet carrying the overlay. The timing information indicates when the particular overlay should be displayed relative to the video stream. By activating the hyperlink, this specified timing can be ignored. Another way to synchronize video without relying on specific timing for the video stream is to use closed caption text. By examining the closed caption stream, certain words that act as fiducial marks can be triggered to cause specific events based on when the actor on the screen pronounces. Such a technique is described in co-pending US patent application Ser. No. 08 / 779,270, filed Jan. 6, 1997, entitled “System and Method For Synchronizing Content With A Video Program Using Closed Captioning”. Has been. This patent application is assigned to Microsoft Corporation and is hereby incorporated by reference.
[0046]
Since the PC 14 processes a large number of overlays using a stack-type algorithm, one overlay can be temporarily overwritten with another overlay. For example, an emergency news transmission may have an overlay and overwrite a regularly scheduled show. When the emergency news transmission is completed, the previous overlay is reproduced.
[0047]
FIG. 4 illustrates the preferred method steps performed by broadcast source 12 in accordance with the present invention. Step 220 consists of sending a video stream. The video stream can be in one of a variety of formats, such as a conventional analog RF television format or a digital format emanating from a satellite or cable headend.
[0048]
Step 222 consists of formatting a supplemental data file in a graphical markup language, preferably HTML. Each supplemental HTML data file has instructions for rendering a hyperlink page or overlay on the video stream at the indicated time. Each overlay can have a transparent area or region with a key or chroma color set. Overlays can also include hyperlinks to other overlays or other non-overlay documents and objects.
[0049]
Step 224 consists of associating the supplemental data file with the video stream. This step is performed by specifying control data, such as timing parameters, along with the video stream to indicate the time at which the hyperlink overlay is displayed in association with the video stream. It should be noted that taking into account the data transmission rate, supplemental data is sent prior to the time at which they are needed. Step 226 consists of sending the supplemental data file with the video stream. As already explained, this can be done using functions built into the digital transmission medium or using the vertical blanking period of conventional analog television signals.
[0050]
FIG. 5 shows the steps performed by the PC 14 or another receiver. Step 230 consists of receiving a video stream and attached supplemental data from a broadcast source. Step 232 consists of using a color keying technique to display the video stream in a viewport on the display device, thereby only on the area where the predetermined key color or chroma key of the display is set. Actually display the video stream.
[0051]
Step 234 consists of displaying the hyperlink overlay defined by the auxiliary data file along with the video stream on the display device. If overlays have been previously cached, this step includes retrieving them from the cache store. The control data received with the supplemental data file is used in this step to associate the hyperlink page or overlay with the video stream. As a result, the overlay is displayed not at the received time but at the time indicated by the timing specification included in the control data.
[0052]
ActiveX by default TM The control is used to display a hyperlink overlay so that navigation can be performed using the hyperlinks in the overlay. ActiveX TM The control is configured to occupy the same area as the video stream viewport. In this way, the video stream is rendered within the transparent area of the hyperlink overlay. In some cases, the PC 14 is actually ActiveX TM The control may be created or rendered before the scheduled time, but this control will not be visible until the appropriate time. This is to avoid any delay in presenting the overlay.
[0053]
Alternatively, the control data can define a multimedia object that is a hyperlink overlay that is not transparent. In such a case, a separate application program such as an HTML compatible browser is activated to render the object defined by the supplemental data file. Such an application program runs in its own independent window and can be viewed alongside the video stream in the case of a visually-oriented object.
[0054]
As already noted, the control data transmitted with the supplemental data file indicates how to handle the supplemental data file. Mainly, the control data indicates the time at which the data file is rendered, ie, made visible. In addition, the control data indicates what should happen if the viewer activates a hyperlink from within an overlay. Normally, when a hyperlink is activated, its target is displayed or otherwise rendered. However, if the hyperlink target is another transparent overlay, there are two options. That is, the target can replace the currently displayed overlay, or the target can be displayed by an independent browser in a new window that is opened only for this purpose. If the hyperlink target is not a transparent overlay, there is only one option. That is, the target is displayed in a new window by launching the appropriate application program. Thus, step 234 includes launching an application program as needed to render the non-overlay content targeted by the hyperring.
[0055]
In the PC embodiment described above, these steps are performed under the control of the data processor 52 during execution of programming instructions stored in the program memory 56.
[0056]
So far, the present invention has been mainly described for use with a broadcast video stream, but the video stream can also be obtained by other means such as a local storage device (hard disk, DVD, CD, VCR, etc.). Note that it may be available. The present invention is also useful with video sources such as these. For example, a movie may be provided on a DVD with a group of transparent HTML overlay files for use with the movie. Alternatively, the movie may be provided on a DVD and the overlay file downloaded from an internet source.
[0057]
It should also be noted that the transmission of the supplemental data file does not have to occur simultaneously with the transmission of the video stream, even when using a broadcast source. Rather, in some systems it may be desirable to broadcast the overlay file to the user equipment at night and make it available the next day. The control data indicates to which program the overlay file should be associated, and the software on the user's PC retrieves the appropriate file at the appropriate time in response to the user's viewing selection.
[0058]
The present invention provides a simple way for broadcasters and other video providers to supply supplementary character data and graphic material and coordinate such material with video content. In contrast to conventional systems, the present invention will facilitate acceptance and standardization because it utilizes a widely used hypertext authoring package.
[0059]
In accordance with the law, the structure and method features of the present invention have been described in somewhat more specific terms. However, it should be understood that the present invention is not limited to these specifically described features, as the means disclosed herein constitute preferred forms of practicing the present invention. It is. Accordingly, the present invention claims protection of any form and modification that are within the proper scope of the claims which should be properly construed according to the doctrine of equivalents.
[Brief description of the drawings]
FIG. 1 is a block diagram of a video broadcasting system according to the present invention.
FIG. 2 is a block diagram of an example of a receiver according to the present invention.
FIG. 3 illustrates how to configure video, HTML overlay, and frame windows in accordance with the present invention.
FIG. 4 is a flow chart illustrating preferred method steps according to the present invention.
FIG. 5 is a flow chart illustrating preferred method steps according to the present invention.
[Explanation of symbols]
10 Video broadcasting system
12 Broadcast source
14 Receiver
52 processor
54 Volatile memory
55 Nonvolatile memory
56 Program storage memory
58 Digital broadcast receiver
60 tuner
62 Multi-bit bus
66 Video Subsystem
68 monitors
72 game machines
74 VCR (video cassette recorder)
76 Analog Broadcast Television System
130 Secondary bus
132 Audio Board
134 Stereo system
136 CD-ROM (or DVD) drive
138 modem
140 Input / output (I / O) adapter
142 Digital Tape Driver
144 Floppy disk drive
146 hard disk driver
148 Remote receiver
150 COM1 port
152 COM2 port
154 LPT1 port
200 Overlay window
201 viewport
202 frame window

Claims (3)

ビデオ・ストリームを送るステップと、
グラフィカル・マークアップ言語で補足データ・ファイルをフォーマットするステップであって、各補足データ・ファイルは、前記ビデオ・ストリーム上にハイパーリンク・オーバーレイをレンダリングするための命令を有する、前記のステップと、
前記ビデオ・ストリームと共に、前記補足データ・ファイルを送るステップと、
前記補足データ・ファイルと共に、前記ハイパーリンク・オーバーレイを表示する時刻を示すタイミング仕様を送るステップと、
前記ビデオ・ストリームおよび添付補助データ・ファイルを受けるステップと、
前記ビデオ・ストリームと共に、前記ハイパーリンク・オーバーレイを表示するステップと、
前記フォーマットするステップは、前記ハイパーリンク・オーバーレイの透過区域をキー・カラーに設定するステップを含み、
前記表示するステップは、HTML互換ブラウザを起動して、前記ハイパーリンク・オーバーレイを表示するステップを含み、
前記表示するステップは、更に、キー・カラーに設定した表示区域内にのみビデオを表示するカラー・キーイング・ビデオ・ハードウェアを使用するステップを含むこと
から成る方法。
Sending a video stream;
Formatting supplemental data files in a graphical markup language, each supplemental data file having instructions for rendering a hyperlink overlay on the video stream;
Sending the supplemental data file with the video stream;
Sending together with the supplemental data file a timing specification indicating the time to display the hyperlink overlay;
Receiving the video stream and attached auxiliary data file;
Displaying the hyperlink overlay with the video stream;
The step of formatting includes setting a transparent area of the hyperlink overlay to a key color;
The step of displaying includes activating an HTML compatible browser to display the hyperlink overlay;
The step of displaying further comprises using color keying video hardware to display the video only within the display area set to the key color ;
A method consisting of:
ビデオ・ストリームを送るステップと、
ハイパーリンク・ページのレンダリングを行う命令を有するHTMLファイルをフォーマットするステップであって、前記ハイパーリンク・ページは、キー・カラーに設定した透過区域を有する、前記のステップと、
前記HTMLファイルを前記ビデオ・ストリームと関連付けるステップと、
前記ハイパーリンク・ページをディスプレイ上に表示するステップと、
表示したハイパーリンク・ページの内、キー・カラーに設定した区域内にのみ、前記ディスプレイ上で前記ビデオ・ストリームを表示するステップと、
前記HTMLファイルと共に前記ハイパーリンク・ページを表示する時刻を指示するタイミング仕様を送るステップと、
前記ハイパーリンク・ページを表示するステップを、前記タイミング仕様が指示する時刻に実行するステップと、
前記ハイパーリンク・ページを表示するステップは、HTML互換ブラウザを起動することを含み、
前記ビデオ・ストリームを表示するステップは、キー・カラーに設定した表示領域内にのみビデオを表示するカラー・キーイング・ビデオ・ハードウェアを使用するステップとを含むことを特徴とする方法。
Sending a video stream;
Formatting an HTML file having instructions for rendering a hyperlink page, the hyperlink page having a transparent area set to a key color;
Associating the HTML file with the video stream;
Displaying the hyperlink page on a display;
Displaying the video stream on the display only within an area of the displayed hyperlink page set to a key color;
Sending a timing specification indicating the time to display the hyperlink page with the HTML file;
Executing the step of displaying the hyperlink page at a time indicated by the timing specification;
Displaying the hyperlink page includes launching an HTML compatible browser;
Displaying the video stream comprises using color keying video hardware to display video only in a display area set to key color .
ビデオ・ストリームを受けるステップと、
1つ以上のハイパーリンク・ページを前記ビデオ・ストリームと関連付けるステップであって、前記ハイパーリンク・ページは、キー・カラーに設定した透過区域を有する、前記のステップと、
前記ハイパーリンク・ページをディスプレイ上に表示するステップと、
表示中のハイパーリンク・ページのキー・カラーに設定した区域内において、前記ディスプレイ上に前記ビデオ・ストリームを表示するステップと、
前記ハイパーリンク・ページを表示する時刻を指示するタイミング仕様を受けるステップと、
前記ハイパーリンク・ページを表示するステップを、前記タイミング仕様が指示する時刻に実行するステップと、
前記ハイパーリンク・ページを表示するステップは、HTML互換ブラウザを起動することを含み、
前記ビデオ・ストリームを表示するステップは、キー・カラーに設定した表示区域内にのみビデオを表示するように構成したカラー・キーイング・ビデオ・ハードウェアを使用 するステップを含むこと、
を特徴とする方法。
Receiving a video stream;
Associating one or more hyperlink pages with the video stream, wherein the hyperlink page has a transparent area set to a key color;
Displaying the hyperlink page on a display;
Displaying the video stream on the display within an area set to the key color of the hyperlink page being displayed;
Receiving a timing specification indicating a time to display the hyperlink page;
Executing the step of displaying the hyperlink page at a time indicated by the timing specification;
Displaying the hyperlink page includes launching an HTML compatible browser;
Displaying the video stream includes using color keying video hardware configured to display video only within a display area set to key color ;
A method characterized by .
JP21262698A 1997-07-29 1998-07-28 Method and system for providing enhanced content with broadcast video Expired - Fee Related JP4223099B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/902,005 US20020007493A1 (en) 1997-07-29 1997-07-29 Providing enhanced content with broadcast video
US902005 1997-07-29
DE19833053A DE19833053B4 (en) 1997-07-29 1998-07-22 Method for transmitting a video data stream, video sending and receiving systems

Publications (2)

Publication Number Publication Date
JPH11155134A JPH11155134A (en) 1999-06-08
JP4223099B2 true JP4223099B2 (en) 2009-02-12

Family

ID=26047622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21262698A Expired - Fee Related JP4223099B2 (en) 1997-07-29 1998-07-28 Method and system for providing enhanced content with broadcast video

Country Status (4)

Country Link
JP (1) JP4223099B2 (en)
DE (1) DE19833053B4 (en)
FR (1) FR2767005B1 (en)
GB (1) GB2327837B (en)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2794602A1 (en) * 1999-06-02 2000-12-08 Dassault Automatismes DIGITAL TELEVISION RECEIVER / DECODER DEVICE WITH INTERACTIVE READING OF PREVIOUSLY RECORDED TELEVISION PROGRAMS
US7100191B1 (en) 1999-08-23 2006-08-29 Xperex Corporation Distributed publishing network
US6952835B1 (en) 1999-08-23 2005-10-04 Xperex Corporation Integration of passive data content in a multimedia-controlled environment
US7254825B1 (en) 1999-08-23 2007-08-07 Xperex Corporation Method and device with DVD and HTML control environments
US7120871B1 (en) * 1999-09-15 2006-10-10 Actv, Inc. Enhanced video programming system and method utilizing a web page staging area
US7949722B1 (en) 1999-09-29 2011-05-24 Actv Inc. Enhanced video programming system and method utilizing user-profile information
US7010492B1 (en) 1999-09-30 2006-03-07 International Business Machines Corporation Method and apparatus for dynamic distribution of controlled and additional selective overlays in a streaming media
US8341662B1 (en) 1999-09-30 2012-12-25 International Business Machine Corporation User-controlled selective overlay in a streaming media
GB9930306D0 (en) * 1999-12-22 2000-02-09 Koninkl Philips Electronics Nv Broadcast enhancement system and method
WO2001076242A2 (en) 2000-03-31 2001-10-11 Intellocity Usa, Inc. System and method for local meta data insertion
AU2001249891A1 (en) * 2000-04-07 2001-10-23 America Online, Inc. Online/offline triggers
DE10038683A1 (en) * 2000-08-08 2002-02-21 Musicplay Gmbh Data broadcasting commerce system for selling products/services, transmits filled-in virtual ordering form after including additional data to server computer or network control center
CA2419409A1 (en) 2000-08-21 2002-02-28 Intellocity Usa, Inc. System and method for television enhancement
US6760043B2 (en) 2000-08-21 2004-07-06 Intellocity Usa, Inc. System and method for web based enhanced interactive television content page layout
AU2001286630A1 (en) * 2000-08-23 2002-03-04 Imagicast, Inc. Method and device with dvd and html control environments
AU2001286629A1 (en) * 2000-08-23 2002-03-04 Imagicast, Inc. Distributed publishing network
US7213255B2 (en) 2000-08-25 2007-05-01 Intellocity Usa, Inc. Set-top preview program
DE10042321A1 (en) * 2000-08-29 2002-03-14 Trend Network Ag Procedures for presenting information
DE10046826A1 (en) * 2000-09-20 2002-04-04 Trend Network Ag Presenting information on public transport vehicles by executing instructions sequentially according to instruction file, to display e.g. video or other information stored in files
DE10101750A1 (en) * 2000-09-21 2002-04-18 Matthias Zahn Method for the transmission of data with a television signal
US6774908B2 (en) 2000-10-03 2004-08-10 Creative Frontier Inc. System and method for tracking an object in a video and linking information thereto
KR20020065250A (en) * 2001-02-06 2002-08-13 강용희 Processing Method for overlaying Contents on Moving Picture and Processing Method for Electronic Mail using the same and A computer-readable Storage Medium for executing the above Method
EP1244310A1 (en) * 2001-03-21 2002-09-25 Canal+ Technologies Société Anonyme Data referencing system
JP3815599B2 (en) 2001-08-30 2006-08-30 株式会社ディーアンドエムホールディングス Data playback device
WO2004004304A2 (en) * 2002-06-27 2004-01-08 Thomson Licensing S.A. Television signal receiver capable of receiving updated information associated with an emergency alert function
US7009655B2 (en) 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
US20040111526A1 (en) * 2002-12-10 2004-06-10 Baldwin James Armand Compositing MPEG video streams for combined image display
US7930716B2 (en) 2002-12-31 2011-04-19 Actv Inc. Techniques for reinsertion of local market advertising in digital video from a bypass source
EP1855479A4 (en) * 2005-02-28 2009-10-14 Panasonic Corp Caption display device
DE102007033090A1 (en) * 2007-03-13 2008-09-18 Visual Bridges Ag Method of presenting information and film
US10210160B2 (en) 2010-09-07 2019-02-19 Opentv, Inc. Collecting data from different sources
US9699503B2 (en) 2010-09-07 2017-07-04 Opentv, Inc. Smart playlist
US8949871B2 (en) 2010-09-08 2015-02-03 Opentv, Inc. Smart media selection based on viewer user presence
EP3386207A1 (en) * 2017-04-05 2018-10-10 Clik S.A. Method of operating a data processing system for providing an interactive video content
CN112204950A (en) 2018-05-31 2021-01-08 连普乐士株式会社 Method and system for displaying personalized background using chroma-key at broadcast listening end and non-transitory computer-readable recording medium

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2565048B2 (en) * 1992-01-14 1996-12-18 日本電気株式会社 Scenario presentation device
JPH06208500A (en) * 1993-01-12 1994-07-26 Matsushita Electric Ind Co Ltd Device for preparing video data with hyper-text
JPH07129615A (en) * 1993-11-08 1995-05-19 Sony Corp Data processor and data processing method
JPH07225795A (en) * 1994-02-08 1995-08-22 Fujitsu Ltd Knowledge accumulating and sharing device
EP0680216B1 (en) * 1994-04-28 2007-11-21 OpenTV, Inc. Apparatus and method for formulating an interactive signal
JP2697646B2 (en) * 1994-12-15 1998-01-14 日本電気株式会社 Multimedia editing device
CA2173698A1 (en) * 1995-04-12 1996-10-13 Jakob Nielsen Method and system for comicstrip representation of multimedia presentations
JP3533811B2 (en) * 1995-05-17 2004-05-31 株式会社日立製作所 Data conversion device, network system including data conversion device, and data transmission method
JP3771949B2 (en) * 1995-06-22 2006-05-10 ソニー株式会社 Display control apparatus and display control method
JP3092496B2 (en) * 1995-07-11 2000-09-25 松下電器産業株式会社 Scenario editing device
JPH0944434A (en) * 1995-07-27 1997-02-14 Matsushita Electric Ind Co Ltd Information processor
EP0757485B1 (en) * 1995-07-31 2008-03-05 Kabushiki Kaisha Toshiba Interactive television system
JPH09128408A (en) * 1995-08-25 1997-05-16 Hitachi Ltd Media for interactive recording and reproducing and reproducing device
JPH0981447A (en) * 1995-09-12 1997-03-28 Toshiba Corp Data processor and information obtaining method
JPH0981361A (en) * 1995-09-12 1997-03-28 Toshiba Corp Image display method, data collection method and object specifying method
JPH09182038A (en) * 1995-10-24 1997-07-11 Sony Corp Television broadcast device and method, television receiver, television reception method and television signal receiver
JP2836550B2 (en) * 1995-11-14 1998-12-14 日本電気株式会社 Scenario editing device
DE19545882B4 (en) * 1995-12-08 2004-04-08 Yes International Ag System for displaying visual information
JPH09190409A (en) * 1996-01-10 1997-07-22 Nec Corp Information producing device
GB2309134A (en) * 1996-01-12 1997-07-16 Concept Dev Ltd Information inclusion in television broadcasting
US6788709B1 (en) * 1996-05-16 2004-09-07 Kabushiki Kaisha Infocity Method for transmitting and displaying information and device for displaying information

Also Published As

Publication number Publication date
JPH11155134A (en) 1999-06-08
DE19833053B4 (en) 2010-04-08
FR2767005B1 (en) 2004-09-17
GB9814514D0 (en) 1998-09-02
GB2327837B (en) 1999-09-15
DE19833053A1 (en) 2000-01-27
GB2327837A (en) 1999-02-03
FR2767005A1 (en) 1999-02-05

Similar Documents

Publication Publication Date Title
JP4223099B2 (en) Method and system for providing enhanced content with broadcast video
US20020007493A1 (en) Providing enhanced content with broadcast video
US6209132B1 (en) Host apparatus for simulating two way connectivity for one way data streams
EP1053641B1 (en) A hand-held apparatus for simulating two way connectivity for one way data streams
KR100342988B1 (en) A television companion device
US5818935A (en) Internet enhanced video system
US7133051B2 (en) Full scale video with overlaid graphical user interface and scaled image
JP4468489B2 (en) Apparatus and method for processing first and second type programs
JP4974249B2 (en) Method and apparatus for assisting user in selecting program to view
EP1110394B1 (en) Simulating two way connectivity for one way data streams for multiple parties
JP2004507989A (en) Method and apparatus for hyperlinks in television broadcasting
JP3898854B2 (en) Television apparatus and television system
KR100345529B1 (en) System and method for identifying and selecting portions of information streams for a television system
US6806913B2 (en) Apparatus and method for processing additional information in data broadcast system
JPH11164276A (en) Information processing unit, information processing method, broadcast system and broadcast method
JP4136384B2 (en) Data broadcast receiving / reproducing apparatus, data broadcast receiving / reproducing method, and control program
US20020124268A1 (en) Television programming with variable ancillary information
JPH11225299A (en) Television reception display device
WO2001019078A1 (en) Method and apparatus for synchronization of separate digital and analog video streams at a viewer's premise using closed captioning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050615

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050615

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080821

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080826

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081024

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081119

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees