JP3562575B2

JP3562575B2 - Systems, methods and media for personalizing the view of a broadcast environment.

Info

Publication number: JP3562575B2
Application number: JP2000169940A
Authority: JP
Inventors: エディス・エイチ・スターン; バリー・イー・ウィルナー; ジェームス・エム・ダン
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1999-06-10
Filing date: 2000-06-07
Publication date: 2004-09-08
Anticipated expiration: 2020-06-07
Also published as: JP2001036891A; SG108229A1; GB2352923A; GB2352923B; CA2309459A1; GB0013605D0

Description

【０００１】
【発明の属する技術分野】
本発明は、一般的にはブロードキャスト・システムの分野に関し、特に個別化した視野を提供するブロードキャスト・システムに関する。
【０００２】
【従来の技術】
現在のブロードキャスト媒体は、これまで以上に幅広い選択肢を提供している。例えばケーブル・テレビは幅広いプログラムを提供し、ペイ・パー・ビューでは、数ある最近の映画やイベントを選び、ユーザが選んだ時間に受信できる。ワールド・ワイド・ウェブ（ＷＷＷ）は、多数のテーマに及ぶ様々なコンテンツを提供している。しかしコンテンツのフォーマットとビューは、ほとんどの場合、コンテンツの作成者により管理されている。
【０００３】
通信事業者等のブロードキャスタにとっては、プログラムの内容を複数のカメラ・アングルから提供すると都合がよい。簡単な例では、フットボール・ゲームは多数のカメラにより記録される。リアルタイムで作業をする編集者は、解説と合わせて放送するカメラ・アングルを選択する。ブロードキャスタは、様々なカメラ・アングルに視聴者が興味を持ち得ることを知っている。ゲームが最も面白くなるアングルは同じではなく、視聴者が最も興味を持つチームにもよる。
【０００４】
【発明が解決しようとする課題】
従って、送られる内容の表示に関してユーザの選択肢やコントロール範囲が広いブロードキャスト・システムが求められる。
【０００５】
【課題を解決するための手段】
簡単には、本発明に従って、ビジネス・モデル、方法、及び通信システムに、少なくとも１つのビデオ・ソースと少なくとも１つのエンドユーザ装置とに接続されるビデオ処理個別化システム（ＶＰＰＳ）が含まれる。ＶＰＰＳは、２つ以上のイベント・ビューを表す複合ビデオ信号を受信するレシーバと、２つ以上のビデオ・ビューのうち選択された少なくとも１つのビューを表す信号を受信するエンドユーザ入力と、エンドユーザに表示するために個別化したビューを作成するレンダリング装置とを含む。ＶＰＰＳは、本発明に従って、ネットワーク配信チェーンに沿ったコンテンツ作成者ステーション、またはエンドユーザの装置（セットトップ・ボックス、テレビ等）に実装することができる。ビデオ信号はテレビ信号またはストリーミング・ビデオ（インターネットまたは他のパケット交換網を通して圧縮形式で送られ、届いたとき視聴者により表示される”動画像”のシーケンス）等である。音声を含むビデオも使用できる。従って本発明によれば、視聴者または加入者に様々な選択肢を提供でき、新しい事業化の方法を実行することができる。
【０００６】
【発明の実施の形態】
本発明に従ったシステムにより、ユーザはユーザ専用の仮想カメラ・アングルと視野を選択でき、事実上の仮想カメラによりイベントを自由に視聴できる。更にユーザは、ワイヤレスかどうか、狭帯域か広帯域か、インターネットか他のプロトコルかにかかわらず、ネットワークに接続することができる。ただしユーザが利用できる最大帯域幅には、即時か平均かにかかわらず限度がある。
【０００７】
ビューが個別化されるので、ブロードキャスタ、配信、及びセットトップ・ボックスやテレビのメーカにとって新しいビジネス・モデルが生まれる。本発明により、高度なエンタテインメント、高度な教育等を従来の放送と合わせてプレミアム・サービスとして販売することができる。またここでは、エンドユーザが個別化ビューを従来のテレビのコントロール方法により実現するビデオ処理個別化サーバという新しい概念、そのアーキテクチャ、及びその内部構成について説明する。
【０００８】
ユーザは、本発明に従ったシステムにより、放送等のビデオのユーザ専用のビューを”作成”することができる。現在は、アーティストにより様々なショーが作られているが、アーティストは、特定のカメラ・アングルやショットで特定のビューやメッセージを伝える。こうしたショーは必ずしもユーザによって作られる経験に従っていない。とはいえ、他のショーには他の目標がある。スポーツ・イベント、教育ビデオ等は、ユーザにとって興味のある部分をユーザが選択できるなら、従来よりはるかに価値のあるものになろう。スポーツ・イベント等の現在のショーについては、放送するビューを編集者が選択する。視聴者は皆このビューを見る。本発明は、デジタル・セットトップ・ボックス等の新しい技術の登場、ケーブル・モデム等の高速双方向通信技術、及びインターネットを利用し、ユーザがイベントやプログラムのブロードキャストの個別化ビューを要求できるようにする。ユーザは事実上、唯一の視聴者になる。
【０００９】
用途によっては視聴者を増やしたい場合がある。例えば、遠距離学習の場合、自然に関する映画を見るときに教師がクラスをリードしたいとする。映画には、ある地域の全ての動植物のシーンがあるが、教師は、植物について説明するため、撮影されている葉にクラスの焦点を当てたいとする。クラスは後で同じビデオを動物に焦点を当てて見ることができる。クラスは視聴者１人よりも多いが、ブロードキャストを利用できる視聴者よりも少ない。
【００１０】
本発明の実施例について説明するため、以下、”プロデューサ”はビデオの内容のソースを指し示すこととする。プロデューサは、ブロードキャスタ、ケーブル・プログラマ、フィルム・プログラマ、その他、従来型ではない新しいデジタル時代の創造的実体等である。”イベント”は、視聴者が利用できるよう作られているプログラムを指し示すこととする。スポーツ・イベント、政治集会、ニュース等のライブ・イベント、現在の映画、ビデオ、従来のテレビ・プログラム、インターネット・テレビ・プログラム、その他、複数の入力を総合して幅広いコンピュータ・オーディオ・イメージやコンピュータ・ビデオ・イメージを作るプログラム・ソースから発展させたもの等が含まれる。
【００１１】
本発明の原理の１つは、イベントに関する情報をできるだけ多くキャプチャし、ビデオ処理により加入者のために個別化したビューを作成することである。このように情報をキャプチャすることは、芸術的感覚に優れたオペレータにカメラを受け持たせるプロデューサの負担を軽減することになる。
【００１２】
周知の技術（遠隔地の複数のビューを表示するテレビ・システムに関する米国特許第５１８７５７１号等）により、複数のカメラの出力を結合して１つのビューが得られる。例えば、１つのカメラで部屋の左側をキャプチャし、もう１つのカメラで部屋の右側をキャプチャする場合を考える。米国特許第５１８７５７１号では、部屋の中央を見ることができるようにカメラ・ビューが結合される。部屋の中央のビューには、左のカメラにはなく、右のカメラにもないが、複合ピクチャにのみにあるイメージが含まれる。
【００１３】
他の従来のビデオ処理技術では、キャプチャしたデジタル・イメージやデジタル・ビデオ・ストリームからズームイン、ズームアウトができる。また従来の他の技術では、ビデオの合成ができ、複数のオーバラップしたカメラ・イメージから複合イメージを作成できる。ＳｔｕａｒｔＨｅｎｌｅｙによる米国特許第５６５７０７３号、ＳｅａｍｌｅｓｓＭｕｌｔｉ−ＣａｍｅｒａＰａｎｏｒａｍｉｃＩｍａｇｉｎｇｗｉｔｈＤｉｓｔｏｒｔｉｏｎＣｏｒｒｅｃｔｉｏｎａｎｄＳｅｌｅｃｔａｂｌｅＦｉｅｌｄｏｆＶｉｅｗはこの技術について説明している。米国特許第５４４４４７８号、ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇＭｅｔｈｏｄａｎｄＤｅｖｉｃｅｆｏｒＣｏｎｓｔｒｕｃｔｉｎｇａｎＩｍａｇｅｆｒｏｍＡｄｊａｃｅｎｔＩｍａｇｅｓは、隣接したイメージからターゲット・イメージを構成するイメージ処理の方法について説明している。
【００１４】
他の技術（Ｓｔｅｒｎ、Ｗｉｌｌｎｅｒ及びＤｕｎｎ）は、帯域幅が制限される接続形態で伝送するためのビデオ・ストリームの最適な処理方法について説明している。この特許は、第２５６５６７号、ＳｅｌｅｃｔｉｖｅＲｅｄｕｃｔｉｏｎｏｆＶｉｄｅｏＤａｔａ（ＢＣ９９８０３０）として９９年２月に出願された。
【００１５】
１例として、また簡単のため、ビデオ・プライベート・チャネル（またはビュー）について詳しく説明する。ビデオの信号と処理について説明するが、当業者には明らかなように、同様な手法を、現在ステレオ・レコーディングに用いられる複合化方式によりオーディオ信号に使用できる。現在の多くのステレオ装置は、信号処理方式によりオーディオ信号の結合、分割、リダイレクトを行い、ラウンドや空間位置を強調する。ビデオの例は、最も複雑なケースを代表するものを選んでいる。
【００１６】
プライベート・チャネルの概念：
本発明に従ったシステムは、エンドユーザつまり視聴者のためのプライベート・チャネルの概念を含む。視聴者のアクセス方法の性質によるが、プライベート・チャネルは、ビデオ・オン・デマンド（ＶＯＤ）向け広帯域アプリケーションの従来技術を使用したインターネット上のＷｅｂサーバ等、広帯域配信の集中管理ポイント、衛星、ＣＡＴＶヘッドエンド等で、または広帯域交換ｘＤＳＬ（高速デジタル伝送）用の中央電話局のＤＳＬＡＭ（ＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅＡｃｃｅｓｓＭｕｌｔｉｐｌｉｅｒ）で実現することができる。プライベート・チャネルはまた視聴者のセットトップ・ボックスにも実現できる。ＶＯＤソリューションを提供するベンダー、ＳｃｉｅｎｔｉｆｉｃＡｔｌａｎｔａ／Ｓｅａｃｈａｎｇｅは、ＳｃｉｅｎｔｉｆｉｃＡｔｌａｎｔａのＯｐｅｎＣａｂｌｅに準拠したデジタル広帯域システムにより提供されているプライベート・チャネルを実現する能力を持つ。プライベート・チャネルを実現するには、帯域幅と処理のバランスを考慮しなければならない。こうしたトレードオフの詳細については後述する。
【００１７】
本発明の１実施例として、プロデューサが、それぞれ超高解像度（ＨＤＴＶ以上等）の複数のカメラ・アングルからイベントを記録する。例えばカメラは固定位置でよく、イベントのあらゆる側面を高解像度で完全に記録する。イベントがフットボール・ゲームの場合、カメラは、例えば１０ヤード（約９ｍ）おきに配置でき、サイドラインにも、またスタジアムのビューを提供する位置にも配置できる。これらのカメラは、アリーナの全イベントを忠実に記録したビデオ・ストリームを生成する（未処理ビデオ）。それぞれ高解像度の多くのビデオ・ストリームが使用されるので、この帯域幅の全体は、ここでは、おおよそ既存の技術では視聴者側に送るには大きすぎるとする。カメラ伝送は、ビデオ処理個別化サーバ（ＶＰＰＳ）に向けられる。
【００１８】
ＶＰＰＳは、固定か可動で、ブロードキャスト・スタジオ、ケーブル・ヘッドエンド、または主なインターネット・ルーティング・ノードやサーバ位置、スポーツ・アリーナ、新しい特別な施設等に置ける。ＶＰＰＳは１つのシステムでよく、分散システムでもよい。ＶＰＰＳは、全てのカメラ・アングルの出力を記録し、それぞれが視聴者に送るのに適した多数の個別化ビデオ出力を生成する機能を持つ。ＶＰＰＳは、１実施例では、ユーザから最も遠いネットワーク内の場所に位置を占める。そこでそのユーザのためにプライベート・チャネルを実現できる。ＶＰＰＳの機能はケーブル・ヘッドエンドで、または遠距離のネットワーク内で実現できる。その場合ＶＰＰＳは多数の個別化ビデオ出力を生成する必要がある。他の実施例では、複数のビデオ・ストリームを処理して個別化ビデオ出力を生成する機能は、セットトップ・ボックスで実現できる。ＶＰＰＳをエンドユーザの装置（セットトップ・ボックス等）で実装する場合、ＶＰＰＳは１つのビデオ出力を生成するだけでよい。つまり複数のビデオ・ストリームをセットトップ・ボックスに向け、個別化処理により１つのビデオ・ストリームを生成することができ、セットトップ・ボックスはＶＰＰＳ機能を提供できる。デジタル・テレビの登場により、現在の１チャネルに割当てられるスペクトルから、複数のデジタル・ビデオ・ストリーム容量が得られる。この容量を利用して個別化ビューを提供することは、利用可能な”余った”チャネルに関する全く新しいアプローチである。他の実施例では、ＶＰＰＳ機能は分散アーキテクチャとして分けられ、その場合ＶＰＰＳの一部はイベントに近く、一部はエンドユーザに近い。
【００１９】
デフォルト・ビュー：
プロデューサは、専門家を採用して面白く有益なイベント・ビューを作成できる。このビューは、多くのカメラ・アングル、パースペクティブ、オーバレイ図形（Ｃｈｙｒｏｎ、ｈｔｔｐ：／／ｗｗｗ．ｃｈｙｒｏｎ．ｃｏｍ／ｐｒｏｄｕｃｔｓ／ｉｎｄｅｘ．ｈｔｍｌによる製品群ｉＮＦｉＮｉＴ！等）を採用し、視聴者を飽きさせない視聴経験を提供するという点で現在のプログラム作成に似ている。これは、デフォルトの視聴者経験として使用でき、その場合、視聴者が何もしていない場合はこれらのイメージを受信する。
【００２０】
エンドユーザのパースペクティブ：
視聴者ＶはＴＶ、ＰＣ、その他のデバイスで鑑賞する。Ｖが最初に見るゲーム・ビューは、プロデューサにより決まりＶＰＰＳにより送られる。Ｖは、そのビューに飽きたときには、別のカメラ・アングル、ズームの度合い、フォーカス、その他、選択可能なブロードキャスト属性を選択してビューを個別化する。Ｖは、キーボード、リモコン、セットトップ・ボックスのＩＲ、その他のデバイス等のユーザ・インタフェースによりディスプレイに表示するものを選択できる。これらのコマンドはＶＰＰＳまたは補助プロセッサにより受信され、未処理データから適切なカメラ・アングルが構成され、求められる個別化ビューが作成される。ＶＰＰＳはこのビューをディスプレイ等に表示するためＶに送る。Ｖが接続されているネットワークでＶが利用できる帯域幅に対応したビューが送られる。Ｖは、同じユーザ・インタフェースで受信するビューを続けて変更したり、プロデューサのデフォルト・ビューに戻すこともできる。図６に、様々な視聴者（Ａ乃至Ｆ）に提供されるカメラ・ビューを示す。
【００２１】
ズーム：
本発明の重要なメリットは、ズームイン、ズームアウトのビューを簡単に提供できることである。好適実施例では、複合ピクチャは、ユーザの受信装置（テレビ）よりも高解像度である。例えばカメラはＨＤＴＶフォーマットでユーザのテレビはＮＴＳＣ等である。カメラはＮＴＳＣでもよいが、それらの多くは、それぞれクローズアップのとき、合成解像度を作るため使用される。ズームは、ユーザのコマンドを解釈し、受信装置の視野を埋めるため画像処理される複合イメージ内の四角形を定義して得られる。この四角形はユーザの装置からの明示的指定から得られるか、またはユーザが興味を持つオブジェクトが含まれるように動的に導かれる。例えばフットボール・ゲームでは、ズームは自動的に変更されて、視聴者の好みのプレーヤとフットボールが含まれる。選択された解像度が複合イメージの解像度より低い場合、周知の平均化手法によりビットが消去され、高解像度から低解像度が生成される。選択された解像度が複合イメージより高い場合、周知のアップコンバージョン方式によりビットが導入されて低解像度から高解像度が生成される。この技術の例は、Ｓｎｅｌｌ−Ｗｉｌｃｏｘコンバージョン・チップ及び製品に応用されている（ビデオ・コンバージョンが可能なＡｌｃｈｅｍｉｓｔ、Ｋｕｄｏｓ等）。
【００２２】
対象オブジェクトのタグ付け：
多くの場合、視聴者は、移動するオブジェクトや人を注意深く凝視する。本発明は、視聴経験の質を高めるため、関心対象の人やオブジェクト（ＯＯＩ）に識別可能なビジュアル・タグ（色やエンブレム等）を付けるシステムを含む。視聴者がＯＯＩを追うことを選択すると、ＶＰＰＳが複合化されたビデオ信号を調べ、個別化チャネルで視聴者に表示するＯＯＩを含むサブセクションを選択する。他の実施例の場合、非ビジュアル・タグを使用する。例えばＲＦや赤外線のタグをＯＯＩに付け、イベントを記録するカメラをＯＯＩを機械的に追うことによってか、または所望のイメージが含まれるとのタグをビデオに付けることによってタグに応答するよう構成する。ＯＯＩに応じてタグを変えるか、複数のオブジェクトがＯＯＩとみなされるときは共通タグを使用できる。
【００２３】
複合化されたビデオ信号内のＯＯＩを見つけるため、オブジェクト認識も行える。従って、純粋にソフトウェア的アプローチによってＯＯＩを含む複合化されたビデオ信号のサブセットを選択することもできる。
【００２４】
例えば、ユーザはプレーヤ５６、ＯＯＩ及びフットボールの周囲１０フィート（約３ｍ）を含むビューを選択できる。対象グラウンドが動くと、ＶＰＰＳが連続的に変化するビューを指定された通りに選択する。
【００２５】
図１を参照する。現在行われているようなスポーツ・イベントを撮影し放送する複数のビデオ・カメラ１乃至３が示してある。プレーヤ１０、１１及びフットボール１２はグラウンドにある。プレーヤ１０の動きはカメラ１によりキャプチャされ、プレーヤ１１の動きはカメラ２によりキャプチャされる。フットボールはカメラ３が追う。キャプチャされるビデオ・ストリームはプロデューサがモニタ４、５、６で見ることができる。ビデオ・コンソール１５は各ビューを受信し、プロデューサ７に表示するため処理する。プロデューサ７はプロデューサが求めるビデオ・ストリームを、キャプチャされたストリームから選択する。ストリームは衛星アップリンク９を通してこのイベントの放送の視聴者へ送られる。
【００２６】
図２を参照する。スポーツ・イベントを放送するため、本発明を取り入れてＶＰＰＳ処理を行う分散ネットワークが示してある。プレーヤ１０、１１及びフットボール１２はグラウンドにある。プレーヤとフットボールは図１に示すように追跡される。３つのカメラからのビデオ・ストリームは現在のネットワーク・インフラ７０に送られる。インフラ７０には、それぞれネットワーク配信ポイント（ケーブル・ヘッドエンド等）３０、３１に関連付けられたＶＰＰＳ２０、２１が接続される。この例では、簡単のためケーブル・テレビ・ネットワークを使用しているが、充分な容量があれば任意の双方向ネットワークでもよい。ケーブル・ヘッドエンド３０は他に、放送チャネル（ＢＣ）４０、５０等の他のソースからの入力がある。ヘッドエンド３１には他に、放送チャネル４１、５１等の他のソースからの入力がある。ヘッドエンド３０と視聴者８０の間には、視聴者８０向けのパーソナル・チャネルの容量がある。ヘッドエンド３１と視聴者８１の間には、視聴者８１向けのパーソナル・チャネルの容量がある。放送ツリー６０は、ツリー６１と同様、双方向通信用に敷設されるケーブル・ネットワークのブランチとツリー構造を示す。ツリー６０のブランチに接続された視聴者８０は、カメラ１、３からのビデオ・ストリームの部分で構成されるイメージを選択して視聴し、プレーヤ１０とフットボール１２のイメージを見る。ツリー６１のブランチに接続された視聴者８１は、カメラ１、２からのビデオ・ストリームの部分で構成されたイメージを選択して視聴し、プレーヤ１０、１１のイメージを見る。この例では、ＶＰＰＳ機構はネットワークのブランチとツリー配信部分の上流（アップストリーム）にありイベントに近い。前記の他の実施例の場合、ＶＰＰＳはセットトップ・ボックスもしくはテレビ自体にあるか、または分散される。
【００２７】
図３は、本発明に従ったＶＰＰＳ設計を示す。ブロック１７、１８、１９はビデオ入力プロセッサを表す。ブロードキャスト・ネットワーク（図示せず）を通して、カメラ１、２、３の出力がそれぞれビデオ入力プロセッサ１７、１８、１９の入力に送られる。プロセッサは圧縮されたビデオ入力を圧縮解除されたデジタル・ビデオに変換し、バス２２を通して送り、ビデオ・メモリ１００に記憶する。ビデオ・メモリ１００は複数のイメージ・パイプラインで構成される。ここでは例として３つ示している（ブロック１１０乃至１４２に示す通りビデオ入力プロセッサ当たり１つ）。ブロック１１０、１２０、１３０、１４０は、カメラ１に対応するパイプラインを表す。つまりパイプラインが現在のフレームと各ビデオ入力プロセッサからの前の３つのフレームを含むように各ブロックがビデオの１フレームを含む。新しいフレームが入る度に最も古いフレームが上書きされる。メモリ１００は従って各ビデオ入力プロセッサからの最近の３つのフレーム及び進行中の１フレームを記憶する。従ってメモリ１００は、複合化プロセッサ（ＣＰ）１１乃至１４によるイメージ・データ処理のためのバッファとして機能する。このパイプライン方式により、３つの”フレーム時間”に各フレームを利用でき、後処理が容易になる。ビデオ・メモリ１００は２つの高速パラレル・バス２２、２３を通してアクセスできる。前記のように、バス２２はビデオ入力プロセッサに接続を供給する。バス２３は複合化プロセッサ１１乃至１４に接続を供給する。パイプラインを通して動作する複合化プロセッサは、オーバラップしたフレーム・イメージから１つの大きい複合化ビューを生成する。複合化ビューの４つのフレームが複合メモリ２００に記憶される。ブロック２１０乃至２４０はそれぞれ複合ビューの１フレームを収める。メモリ２００は最近の３つの複合フレーム及び進行中の１つのフレームを記憶する。新しいフレームが入力プロセッサ１７乃至１９により受信されると、処理されてビデオ・メモリ１００の４つのフレーム・バッファの１つに記憶される（１１０、１１１、１１２等）。複合化プロセッサの１つ（複合化プロセッサ１１等）はこのフレーム・バッファの処理をすぐに開始する。フレーム・バッファが新しい入力で上書きされるまでに、複合化プロセッサ１１は複合画像を形成し、複合メモリ２００の複合フレーム・バッファ（フレーム・バッファ２１０等）に書込んでいる。複合メモリ２００は２つの高速パラレル・バス２３、２４を通してアクセスできる。前記のようにバス２３は接続を複合化プロセッサ１１乃至１４に供給し、バス２４は接続をユーザ・プロキシ・プロセッサ（ＵＰＰ）３２０乃至３２５に供給する。ＵＰＰ３２０乃至３２５は、個別化ビューを現在受信しているユーザに動的に関連付けられる。加入者５万人をサポートする現実のヘッドエンドでは、数百のＵＰＰをＶＰＰＳに接続できよう。視聴者は通信プロセッサ３５０を通してＶＰＰＳと通信する。視聴者が、ＶＰＰＳにより処理されているブロードキャストに関連付けられた個別化ビューを初めて要求したとき、双方向ケーブル・システムはそのリクエストをＶＰＰＳ内の通信プロセッサ３５０に送る。このプロセッサ内のリソース管理機能により、利用できるＵＰＰがユーザに対応するよう割当てられる。ユーザからの入力が、割当てられたＵＰＰにルーティングされるよう、ルーティング・コマンドが双方向ケーブル・システムに送られる。双方向ケーブル・システムはユーザの装置に、個別化ビューを利用できる”チャネル”にチューニングすることを指示する。好適実施例の場合、この伝送はデジタルであるが、アナログでもよい。
【００２８】
先に述べたように、ＶＰＰＳは、ネットワークの機構内の様々なポイントに、もしくは端末装置に含めることができ、または複合化のステップが集中管理ポイントで実行され、ユーザ・プロキシ・プロセッサ（ＵＰＰ）を含むステップが端末装置で実行される階層型機能に分割してもよい。ＶＰＰＳ機能は、バス２４、通信プロセッサ３５０、及びそれぞれバス２４に接続されるＵＰＰ３２０乃至３２５で実行される。
【００２９】
バス２４は、ＵＰＰ３２０乃至３２５、通信プロセッサ３５０、及びインターネット・サーバ３５２間に通信リンクを提供する。インターネット・サーバ３５２はまたインターネット３５４にリンクされる。これによりユーザは標準Ｗｅｂページまたはインターネットで配信されるイベントや映画のいずれかを選択できる。従ってインターネットは複合化されていないが、個別化ビューを提供するためＵＰＰにより処理できるコンテンツのもう１つのソースになる。
【００３０】
例えば、視聴者は、インターネット等のデータ・ネットワークから供給される他のデータ・チャネルを、ブロードキャスト・プログラムと同時に表示するため選択してもよい。その場合ＵＰＰは、選択された複合ビューに、端末に送る前にオーバレイ領域または挿入領域を生成する。
【００３１】
図４、図５はそれぞれ、所望の視野（パースペクティブ）とズーム・レベルの視聴者による選択とビューの選択の流れを示す。図４は、所望の視野とズーム・レベルを視聴者が選択するプロセス４００を示す。視聴者は、スポーツ・イベントの視聴を選択し（ステップ４０２）、次に所望のカメラのアングルまたは位置とフォーカスを選択する（ズーム・レベルの選択）（ステップ４０４）。視聴者の装置はこの情報を双方向ケーブルを介してＶＰＰＳに送る（ステップ４０６）。通信プロセッサ３５０はＵＰＰ３２０を視聴者８０に関連付け、視聴者の初期選択内容を通信する（ステップ４０８）。従ってＶＰＰＳはユーザ・プロキシ・プロセス（ＵＰＰ）３２０を開始し、視聴者８０にサービスを提供し、視聴者のカメラ・アングルとズームの選択に関する情報で初期化を行う。ＵＰＰ３２０は複合ビデオを所望の視野とズーム・レベルに連結する（ステップ４１０）。ＵＰＰ３２０は、視聴者８０向けの個別化チャネルのチューニング位置を求め、所望の視野を作成し、視聴者８０の装置に個別化チャネルをどこで受信するかを伝え、その位置を視聴者８０の装置に送る（ステップ４１２）。装置はこの情報を受け取り、正しいチャネルにチューニングする（ステップ４１４）。
【００３２】
図５は、視聴者が視野を変更したときに、専用プロキシがプロセス５００で送られている視野を変更することで応答する様子を示す。視聴者が新しくチャネルを選択する必要はない。ステップ５０２で視聴者は、進行中のイベントについて所望の視野またはズーム・レベルを変更する。視聴者の装置は新しい情報を通信プロセッサ３５０に送る。新しい情報はＵＰＰ３２０に送られる（ステップ５０４）。ＵＰＰ３２０は次に、ユーザ・リクエストに応じて選択内容を変更し、新しいビューの転送を開始する（ステップ５０６）。
【００３３】
図６に、複合イメージから構成できる様々なビューを示す。
【００３４】
本発明の重要なメリットは、ズームイン、ズームアウトのビューを簡単に供給できることである。好適実施例の場合、複合イメージは、ユーザの受信装置（テレビ）よりも高解像度である。例えばカメラはＨＤＴＶフォーマットでよく、ユーザのテレビはＮＴＳＣでよい。カメラはまたＮＴＳＣでもよいが、その多くは、クローズアップのとき、合成解像度を作成するため使用される。ズームは、ユーザ・コマンドを解釈し、受信装置の視野を埋めるため画像処理される複合イメージ内の四角形を定義することで得られる。この四角形は、ユーザの装置から明示的に指定されるものでよく、ユーザが関心を持つオブジェクトが含まれるよう動的に導いてもよい。例えば、フットボール・ゲームのとき、ズームは自動的に変更され、視聴者が好むプレーヤやフットボールが含まれる。選択された解像度が複合イメージの解像度より低い場合、周知の平均化方式によりビットが消去され、高解像度イメージから低解像度イメージが生成される。選択された解像度が複合イメージの解像度より高い場合、周知のアップコンバージョン方式によりビットが導入され、低解像度イメージから高解像度イメージが生成される。この技術は、例えばビデオ・コンバージョンの可能なＳｎｅｌｌ−Ｗｉｌｃｏｘのチップに取り入れられている。
【００３５】
プライベート・チャネルへでのトレードオフ：
以下に述べるプライベート・チャネルを視聴者に近いところで実現する場合、全ての視聴者に対応するため配信ネットワークに必要な総帯域幅は少なくなる。ビデオ複合化デバイスに送られるカメラ・アングルは比較的少数である。ユーザは専用のピクチャをこのソースから構成する。これを図６に示す。３つのカメラ出力が結合され１つの複合化ピクチャが得られる（図３に関して開示した通り）。視聴者Ａ、Ｂ、Ｃは１つのカメラ・ビュー、つまりそれぞれカメラ１、２、３に満足しているが、視聴者Ｄ、Ｅ、Ｆはそれぞれ、複合イメージをカスタマイズしたビューを好む。それぞれ、Ｄ、Ｅ、Ｆのかっこの部分で伝えられる視野で表される異なる”仮想カメラ”を選択している。配信帯域幅を最小にするには、ＶＰＰＳ機能を加入者の装置（テレビ、セットトップ・ボックス等）に組み込むのが最適のソリューションである。
【００３６】
プライベート・チャネルをイベントの近くに実現した場合、視聴者に対応するため配信ネットワークに必要な総帯域幅が増加する。その場合、各プライベート・ビューが通過する配信ネットワークも増加し、その場合、比較的多くの”仮想カメラ”・ビューがイベントの近くで構成され、それぞれ見たいビューの順序が異なる多数の視聴者に対応するため配信ネットワークに必要な帯域幅（チャネル数）が増加する。この方法では、ＶＰＰＳ装置である程度の規模の経済が得られる可能性はあるが、いずれの場合でも、ＶＰＰＳ装置の部分が「１視聴者当たり」或いはまた「１ビュー当たり」になり、具体的にはユーザ・プロキシ・プロセッサに位置する。本発明の１実施例の場合、仮想カメラ・ビューの最大数がソースを複合系に提供する比較的少数の現実のカメラ・ビューから設定される。その場合、一定数のビュー・サーバが設定される。同じ仮想カメラ・ビューを共有する視聴者は全て同じビュー・サーバを共有する。視聴者ビューを変更しようとするとき、その視聴者に、そのビューを表す新しいビュー・サーバから出力が送られる。これを実現するためには、周知のビデオ配信機能を図３に追加する。受信局のピクセル数に応じて、実際にアクセス可能なビュー（それぞれビュー・サーバにより表示される）は少なくなる可能性がある。その場合、視聴者は、描画プログラムのスナップ機能によって、描かれたオブジェクトを予め決められたグリッドに揃えるように、最も近い一致するビューに”スナップ”する。本発明のこの実施例では、ズーム機能はＶＰＰＳ側では実行されない。セットトップ・ボックスで実行するか、または省略してもよい。
【００３７】
第３のオプションは、ビデオ処理操作全体を分散階層設計に分割することである。つまり処理の一部を集中管理位置にあるＶＰＰＳ側で行い、残りを端末ポイント（テレビ、セットトップ・ボックス等）に近いところ、または中間ＶＰＰＳ（ＩＶＰＰＳ）で行う。例えばケーブル環境なら、ＩＶＰＰＳはケーブル・ヘッドエンドに置ける。このような分割は、イベントの近くで複合ビューを生成／記憶し、複合ビューを配信ネットワークを通してＩＶＰＰＳに送ることにより実現できる。ＶＰＰＳとＩＶＰＰＳ間に必要な帯域幅は、複合ビューを送るのに充分でなければならない。これは、各カメラに必要なチャネル数より少ないが、２つ以上にはなる。ＩＶＰＰＳの外部では、プライベート・チャネルに帯域幅が必要である。ＩＶＰＰＳは、カスタマイズしたビューに対応するため前記のユーザ・プロキシ・プロセッサを使ってビデオ処理を終了する。図３に関して言えば、ＵＰＰ３２０乃至３２５の機能がＩＶＰＰＳに組み込まれる。
【００３８】
第４のオプションでは、セットトップ・ボックスをＩＶＰＰＳとして使用する。複合化されたビデオ信号を端末装置（セットトップ・ボックス、テレビ、ＰＣ等）に送る。これには、複合化されたビデオ信号を各端末装置に送るため複数のチャネル帯域幅が必要であるが、必要な帯域幅は、そこから作成できるカスタム・チャネルの量より少ない。ビデオ処理は端末装置が完了する。各装置が１つのＵＰＰを含む。図３ではブロック３２０乃至３２５が端末装置に組み込まれる。これらの実施例はそれぞれ実際に適用でき、それぞれ帯域幅とコストのトレードオフの問題があり、全て本発明の対象である。
【００３９】
その他の特徴と機能：
本発明では、ＶＰＰＳ機構の一部として、またはサービス・プロバイダ・ネットワークの一部として個別に、データベース（図示せず）を使用することができる。このデータベースは、あるイベントの発生時にはデフォルト・イメージがユーザ固有のデフォルトになるように、視聴者プロファイル及び視聴者プレファレンス履歴データを維持するため使用する。これは直接ユーザ入力（インターネットか電話でデータベースに接続してプレファレンスを設定する等）によるか、ＶＰＰＳの選択内容をもとに収集したヒューリスティック・データにより決定することができる。視聴機器の性能によるが、このデータベースは、先に述べたように、イメージ品質を高めるかまたは低めるデフォルト・パラメータを選択することもできる。
【００４０】
本発明では、複数のエンドユーザに総合複合イメージを配信することもできる。総合複合イメージは、図２、３に示すようにカメラ側で複数の出力を結合して形成される。複合化されたビデオ信号の伝送は次のようになる。イメージに必要な帯域幅は、個々のプライベート・ビューより多いが、個々のカメラ出力の合計よりは少ない。総合複合イメージは各エンドユーザに送られ、エンドユーザの端末装置内で処理され、エンドユーザのプライベート・ビューが生成される。総合複合イメージの伝送は、すでに言及した周知の伝送方式による。例えば総合複合イメージに必要な帯域幅は、プライベート・チャネルの１０倍にもなることがある。現在のデジタル圧縮方式では、５つのデジタル・チャネルを６ＭＨｚＮＴＳＣチャネル１つで送ることができる。総合複合ピクチャを送るには２つのチャネルを使用する。そのためには、端末機器にマルチチャネル・チューナ、マルチチャネル復調、及びデジタル処理機能が必要である。アナログの例として、ピクチャ・イン・ピクチャ・チューナが現在利用できる。
【００４１】
また本発明では、ＳＡＰ（ＳｅｃｏｎｄＡｕｄｉｏＰｒｏｇｒａｍ）チャネルを利用して、異なるカメラ・ビューに関連付けられる異なるオーディオ・ストリームを配信できる。各カメラの音声系はその音声機構（スポークスマン、カメラのマイク等）を使用してＶＰＰＳに送られる。ＶＰＰＳは現在のテレビ信号処理のようにオーディオ・ストリームを分離し、個別カメラ・ビューにか、または複合ビューの”一部”のいずれかに関連付ける。現在のテレビ設計では、２つのオーディオ・チャネルしか利用できないので、ＶＰＰＳは、視聴者が複合ビューの一部から別の部分へ”パン”を行ったときにオーディオ・プレゼンテーションを”切り替える”。将来のテレビで複数のオーディオ・ストリームがサポートされる場合、この方式はより細かい境界で使用されよう。或いはまたオーディオ入力を混合し、ビューのうち選択された領域に関して特定の入力を強調することもできる。
【００４２】
視聴者インタフェースと選択方法：
本発明の目標の１つは、ＶＰＰＳ機能の結果として先に述べたような豊富な機能を選択できるとき、視聴者インタフェースを可能な限り簡便にすることである。これを達成するため、セットトップ・ボックスまたはテレビ自体によりサポートされる他の機能が考えられる。これらの機能は、現在ケーブルや衛星のネットワークによりサポートされているような双方向通信機能を使って容易に達成される。現在のブロードキャスト・ネットワークには双方向機能はないが、電話のコールイン・システムにより同じ結果が得られる。その場合、呼び出し側ＩＤまたは同等の機能により呼び出し側を識別し、カメラを選択することができる。
【００４３】
いずれの場合でも、ＶＰＰＳは、使用できる処理機能やカメラ・アングルについて選択メニューを作成する。これらはＶＰＰＳ数、ＵＰＰ数、及びカメラ数と追跡のためカメラを割当てることのできるＯＯＩ数により制限される。このように制限される選択肢のリストは、コンピュータ・プログラムのグラフィカル・ユーザ・インタフェースに広く用いられており、ボックスが開かれたとき選択リストが表示される”ドロップダウン・ボックス”や”ダイアログ・ボックス”として表示できる。端末装置の機能によりボックスの外観とその内容を制御する。ユーザは所望の項目を、現在はリモコンのチャネル・ボタンを介して、または将来は、セットトップ・ボックスやテレビに搭載されるようになってきた機能を利用するため新しいリモコンが設計されるときは、機能／選択キーにより選択できる。
【００４４】
他の実施例の場合、視野またはＯＯＩをもとにＶＰＰＳによりビデオを選択可能な領域に分け、そのうち一定数を視聴者に表示することができる。画面を複数のブロックに分けることで、ＶＰＰＳによりカメラ・アングルを選択されたブロックに向けることができる。
【００４５】
他の実施例では、ズームとパンの機能の付いた新しいリモコンを使用し、興味のある領域を動的に選択できる。ここでも、双方向システムの戻りチャネルでこの情報をＶＰＰＳにリレーする。その場合ＵＰＰが要求されたコマンドを実行する。これらの機能は、現在のコンピュータ・ゲームのゲーム・コントロールと同じように動作する。
【００４６】
応答時間は、ＶＰＰＳ機能がセットトップ・ボックスやテレビのようにローカルか、集中管理の場合のようにリモートか、または先に述べたように階層型のセットに分割されているかによって異なる。
【００４７】
新しいビジネス・モデル：
個別化ビューは、ブロードキャスタに新しいビジネス・モデルを提供する。本発明により、高度なエンタテインメント、高度な教育等を従来の放送と合わせたプレミアム・サービスとして販売することができる。
【００４８】
本発明では、キャリアが競争ではなくブロードキャスト配信を協力して行う新しいビジネス・モデルを開発することができる。現在の環境では、ＡＢＣ等の放送ネットワークが、スポーツ・イベントを独占的に放送する権利を持ち得る。ほとんどの場合、放送ネットワークはこの権利を他のネットワークと共有しないが、１つ顕著な例外として、”プール”が必要な契約がある。放送ネットワークは、所有する局や提携している局の全てからブロードキャストを利用できるようにする。こうしたローカル局はしばしば、一定の領域で視聴者争奪戦を繰り広げる（南フロリダのチャネル１０、２５等）。伝送チャネルを増やす前記のニーズがあり、ピクチャの異なる部分を同時に送る異なるチャネルを使用する機能があれば、系列が異なる場合でも、それぞれ複合ピクチャの一部をそれぞれの標準ブロードキャスト・スペクトル（現在のアナログ・ネットワークで８ＭＨｚ）で送ることができる。それぞれ、高度なプライベート・チャネルと仮想カメラのサービスから利益の一部を得る。この利益は、単一のイベント・ビューしか送られない場合には得られない。ブロードキャスト媒体は電気通信回線に限らない。本発明の原理は、チャネルがブロードキャスト、ＣＡＴＶ、衛星、その他、高機能ＴＶやセットトップ・ボックス等のビジネス・モデルを介して配信されるかどうかにかかわらず有効である。コストは、使用帯域幅による（例えば、小さいセットトップ・ボックスのコストは、キャリア全体をＶＰＰＳにする必要のある実現形態より少ない）。
【００４９】
本発明の範囲は、特定の実施例に限定されず、特許請求の範囲は、本発明の範囲内の前記の用途を含めた用途、変更例、実施例をカバーするものである。従って、前記の例は、オーディオを伴うビデオのコンテンツ（好適にはデジタル）の配信に関する例であるが、個別化ビューは、様々なオーディオ、テキスト、その他、ネットワークを通して送られるコンテンツの範囲内にもある。
【００５０】
まとめとして、本発明の構成に関して以下の事項を開示する。
【００５１】
（１）少なくとも１つのビデオ・ソースと少なくとも１つのエンドユーザ装置とに接続されるビデオ処理個別化システム（ＶＰＰＳ）であって、該システムは、２つ以上のイベント・ビューを表す複合ビデオ信号を受信するレシーバと、
前記ビデオの２つ以上のビューのうち少なくとも１つを表す信号を受信するエンドユーザ入力装置と、
エンドユーザに表示するために個別化したビューを作成するレンダリング装置と、
を含む、システム。
（２）前記ビデオ信号はストリーミング・ビデオ信号である、前記（１）記載のシステム。
（３）前記レンダリング装置は、少なくとも１つの選択されたビューをエンドユーザに与える少なくとも１つのユーザ・プロキシ・プロセッサを含む、前記（２）記載のシステム。
（４）前記エンドユーザ入力装置は、選択されたビューに対するユーザ・リクエストを受信し、該ユーザ・リクエストを前記ビデオ信号のソースに転送する通信プロセッサを含む、前記（３）記載のシステム。
（５）複合ビューの少なくともいくつかのフレームを受信し記憶する複合メモリを含む、前記（４）記載のシステム。
（６）少なくとも１つの複合ビューを生成するためそれぞれ複数のオーバラップ・フレーム・イメージを受信する複数の複合化プロセッサを含む、前記（５）記載のシステム。
（７）各パイプラインが最も新しい複数の複合フレームを記憶する複数のイメージ・パイプラインを含むビデオ・メモリを含む、前記（６）記載のシステム。
（８）それぞれ複数のビデオ・カメラからイメージを受信し、該イメージを処理する複数のビデオ入力プロセッサを含む、前記（６）記載のシステム。
（９）前記ビデオは音声を含み、前記システムはスピーカを含む、前記（１）記載のシステム。
（１０）前記ビューはズーム・ビューを含む、前記（２）記載のシステム。
（１１）前記ビューは位置ベースのビューを含む、前記（２）記載のシステム。
（１２）前記ビューは、タグの付いた対象オブジェクトのビューを含む、前記（２）記載のシステム。
（１３）エンドユーザ向けのビデオ伝送を個別化する方法であって、
ビデオ・イベントの複数のビューを含むビデオ伝送を受信するステップと、
少なくとも１つのビューをレンダリングのため選択するエンドユーザから信号を受信するステップと、
選択されたビューを前記ユーザに対してレンダリングするステップと、
を含む、方法。
（１４）ビデオ伝送を受信した後、表示のためイベントを選択するエンドユーザ信号を受信するステップを含む、
前記（１３）記載の方法。
（１５）ビデオ伝送を受信する前、カメラのアングルとフォーカスを選択するエンドユーザ信号を受信するステップを含む、
前記（１３）記載の方法。
（１６）ユーザ・プロキシ・プロセスを前記エンドユーザに関連付け、前記複数のビューを複合化するため前記エンドユーザの初期選択内容を装置に送るステップを含む、前記（１３）記載の方法。
（１７）複数のビューを含むブロードキャスト伝送を受信し、
ユーザに表示するため少なくとも１つのビューを選択する該ユーザから信号を受信し、
選択されたビューを前記ユーザに対してレンダリングする、プログラム命令を含む、
コンピュータ可読媒体。
（１８）ブロードキャスト伝送を受信した後、表示のためイベントを選択するエンドユーザ信号を受信する命令を含む、
前記（１７）記載の媒体。
（１９）ブロードキャスト伝送を受信する前、カメラのアングルとフォーカスを選択するエンドユーザ信号を受信する命令を含む、
前記（１７）記載の媒体。
（２０）ユーザ・プロキシ・プロセスを前記エンドユーザに関連付け、前記複数のビューを複合化するため前記エンドユーザの初期選択内容を装置に送る、
前記（１７）記載の媒体。
（２１）所望の視野とズーム・レベルを視聴者が選択する方法であって、
選択されたイベント並びに選択されたカメラの所望のアングルまたは位置及びフォーカス（選択情報）を視聴するために視聴者が選択する内容を受信するステップと、
前記選択情報をビデオ・プロセッサに送るステップと、
ユーザ・プロキシ・プロセッサを前記視聴者に関連付け、前記視聴者の初期選択内容を送るステップと、
ユーザ・プロキシ・プロセスを開始して前記視聴者にサービスを提供し、前記視聴者が選択したカメラ・アングルとズームに関する情報で該プロセスを初期化するステップと、
ビデオを所望の視野とズーム・レベルとに統合するステップと、
前記視聴者のための個別化チャネルのチューニング位置を求めるステップと、前記所望の視野を作成し、前記個別化チャネルをどこで受信するかを前記視聴者の装置に知らせるステップと、
を含む、方法。
（２２）エンドユーザ・データ処理装置であって、
それぞれ異なるイベント・ビューを表すビデオ・イメージ・データを受信する複数のビデオ入力プロセッサと、
前記ビデオ・プロセッサに接続され、前記ビデオ・イメージ・データの最も新しい受信フレームの少なくともいくつかを含むビデオ・メモリと、
それぞれ前記ビデオ・メモリに接続され、前記ビデオ・メモリからオーバラップ・フレーム・イメージを受信し、１つの複合ビューを生成する、複数の複合化プロセッサと、
複数の複合ビューを記憶し、それぞれ複数の記憶域を含み、各記憶域は該複合ビューのフレームを記憶する、複合メモリと、
ユーザから視聴用選択内容を受信し、前記複合メモリと対話し、選択されたビューを該エンドユーザに対してレンダリングするユーザ通信プロセッサと、
を含む、装置。
（２３）テレビのヘッドエンド装置であって、
それぞれ異なるイベント・ビューを表すビデオ・イメージ・データを受信する複数のビデオ入力プロセッサと、
前記ビデオ・プロセッサに接続され、前記ビデオ・イメージ・データの最も新しい受信フレームの少なくともいくつかを含むビデオ・メモリと、
それぞれ前記ビデオ・メモリに接続され、前記ビデオ・メモリからオーバラップ・フレーム・イメージを受信し、１つの複合ビューを生成する複数の複合化プロセッサと、
複数の複合ビューを記憶し、それぞれ複数の記憶域を含み、各記憶域は該複合ビューのフレームを記憶する複合メモリと、
選択されたビューをユーザ・プロキシ・プロセッサから受信する手段と、
を含む、装置。
【図面の簡単な説明】
【図１】現在のブロードキャスト・システムを示すブロック図である。
【図２】本発明の側面に従ったビデオ処理個別化システムまたはサーバ（ＶＰＰＳ）を含むブロードキャスト・システムの図である。
【図３】本発明の側面に従ったＶＰＰＳの１実施例を示す図である。
【図４】本発明に従ったＶＰＰＳによる視聴者の所望の視野とズーム・レベルの選択を示すフロー図である。
【図５】本発明の側面に従って、視聴者が視野を変更したときに、送られている視野を変更することで専用プロキシが応答する様子を示す図である。
【図６】複合ビューからの複数ユーザの選択を示す図である。
【符号の説明】
１、２、３カメラ
４、５、６モニタ
７プロデューサ
９衛星アップリンク
１０、１１プレーヤ
１２フットボール
１５ビデオ・コンソール
１７、１８、１９プロセッサ
２０、２１ＶＰＰＳ
２２バス
２３、２４パラレル・バス
３０、３１ネットワーク配信ポイント（ケーブル・ヘッドエンド等）
４０、５０放送チャネル
６０、６１放送ツリー
７０ネットワーク・インフラ
８０、８１視聴者
１００ビデオ・メモリ
２００複合メモリ
２１０フレーム・バッファ
３２０、３２１、３２２、３２３、３２４、３２５ユーザ・プロキシ・プロセッサ（ＵＰＰ）
３５０通信プロセッサ
３５２インターネット・サーバ
３５４インターネット[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates generally to the field of broadcast systems, and more particularly to a broadcast system that provides a personalized view.
[0002]
[Prior art]
Current broadcast media offer a wider range of choices than ever before. For example, cable television offers a wide range of programs, while pay-per-view allows you to select from a number of recent movies and events and receive them at the time you choose. The World Wide Web (WWW) offers a variety of content that spans many themes. However, the format and view of the content is in most cases controlled by the creator of the content.
[0003]
For broadcasters such as telecommunications carriers, it is convenient to provide the contents of the program from a plurality of camera angles. In a simple example, a football game is recorded by multiple cameras. Editors working in real time select the camera angles to broadcast along with the commentary. Broadcasters know that viewers may be interested in various camera angles. The angle at which the game is most interesting is not the same, but also depends on the team the audience is most interested in.
[0004]
[Problems to be solved by the invention]
Therefore, there is a need for a broadcast system that has a wide range of user options and control over the display of content to be sent.
[0005]
[Means for Solving the Problems]
Briefly, in accordance with the present invention, business models, methods, and communication systems include a video processing personalization system (VPPS) connected to at least one video source and at least one end-user device. The VPPS includes a receiver for receiving a composite video signal representing two or more event views, an end-user input for receiving a signal representing at least one selected view of the two or more video views, and an end-user. A rendering device for creating a personalized view for display on a computer. The VPPS can be implemented in accordance with the present invention at a content creator station along a network distribution chain, or at an end-user device (set-top box, television, etc.). The video signal may be a television signal or streaming video (a "moving picture" sequence sent in a compressed form over the Internet or other packet switched network and displayed by a viewer when it arrives). Video with audio can also be used. Therefore, according to the present invention, a variety of options can be provided to a viewer or a subscriber, and a new commercialization method can be executed.
[0006]
BEST MODE FOR CARRYING OUT THE INVENTION
The system according to the present invention allows the user to select his own virtual camera angle and field of view, and the event is virtually free to watch with the virtual camera. In addition, users can connect to networks, whether wireless, narrowband or wideband, the Internet or other protocols. However, there is a limit to the maximum bandwidth available to a user, whether immediate or average.
[0007]
Personalized views create a new business model for broadcasters, distributors, and set-top box and television manufacturers. According to the present invention, advanced entertainment, advanced education, and the like can be sold as a premium service together with conventional broadcasting. In addition, here, a new concept of a video processing personalization server in which an end user realizes a personalized view by a conventional television control method, its architecture, and its internal configuration will be described.
[0008]
A user can "create" a user-specific view of a video, such as a broadcast, with a system in accordance with the present invention. Currently, various shows are made by artists, who communicate specific views and messages with specific camera angles and shots. These shows do not necessarily follow the experience created by the user. However, other shows have other goals. Sports events, educational videos, etc., will be much more valuable if they allow the user to select the parts of interest. For a current show, such as a sports event, the editor selects the view to broadcast. All viewers see this view. The present invention takes advantage of the emergence of new technologies such as digital set-top boxes, high-speed two-way communication technologies such as cable modems, and the Internet to enable users to request personalized views of event and program broadcasts. I do. The user is effectively the only viewer.
[0009]
Depending on the application, there may be a case where it is desired to increase the number of viewers. For example, in the case of distance learning, a teacher wants to lead a class when watching a movie about nature. The movie has scenes of all flora and fauna in an area, but the teacher wants to focus on the leaves being filmed to explain the flora. The class can later watch the same video focusing on animals. Classes are more than one viewer, but less than those who have access to broadcast.
[0010]
For purposes of describing an embodiment of the present invention, "producer" will hereinafter refer to the source of the video content. Producers are broadcasters, cable programmers, film programmers, and other non-traditional creative entities in the new digital age. An “event” refers to a program that is made available to a viewer. Live events such as sports events, political gatherings, news, current movies, videos, traditional television programs, Internet television programs, and a wide range of other computer audio images and computer Includes things evolved from program sources that make video images.
[0011]
One of the principles of the present invention is to capture as much information about an event as possible and create a personalized view for the subscriber through video processing. Capturing information in this manner reduces the burden on the producer to assign the camera to an operator with an excellent artistic feel.
[0012]
Known techniques (such as U.S. Pat. No. 5,187,571 for a television system displaying multiple views of a remote location) combine the outputs of multiple cameras into a single view. For example, consider a case where one camera captures the left side of a room and another camera captures the right side of the room. In U.S. Pat. No. 5,187,571, camera views are combined so that the center of the room can be seen. The central view of the room contains images that are neither on the left camera nor on the right camera, but only in the composite picture.
[0013]
Other conventional video processing techniques allow zooming in and out of a captured digital image or digital video stream. Other conventional techniques also allow for video compositing and the creation of composite images from multiple overlapping camera images. U.S. Patent No. 5,657,073 to Stuart Henley, Seamless Multi-Camera Panoramic Imaging with Distortion Correction and Selectable Field of View, describes this technology. U.S. Patent No. 5,444,478, Image Processing Method and Device for Construction from Image from Adjustable Images, describes an image processing method for constructing a target image from adjacent images.
[0014]
Other techniques (Stern, Willner and Dunn) describe how to optimally process video streams for transmission over bandwidth-limited topologies. This patent was filed in February 1999 as No. 256567, Selective Reduction of Video Data (BC998030).
[0015]
As an example and for simplicity, the video private channel (or view) will be described in detail. Although the video signal and processing will be described, it will be apparent to those skilled in the art that similar techniques can be used for the audio signal with the multiplexing scheme currently used for stereo recording. Many current stereo devices combine, split, and redirect audio signals using signal processing techniques to emphasize rounds and spatial positions. The video examples are chosen to represent the most complex cases.
[0016]
The concept of a private channel:
The system according to the invention includes the concept of a private channel for the end user or viewer. Depending on the nature of the viewer's access method, private channels may be centralized control points for broadband distribution, satellites, CATV heads, such as Web servers on the Internet using conventional techniques for broadband applications for video on demand (VOD). It can be realized at the end or the like, or by a DSLAM (Digital Subscriber Line Access Multiplier) of a central office for broadband switching xDSL (high-speed digital transmission). Private channels can also be implemented in the viewer's set-top box. Scientific Atlanta / Seachange, a vendor that offers VOD solutions, has the ability to implement the private channels provided by the Scientific Atlanta OpenCable compliant digital broadband system. To achieve a private channel, a balance between bandwidth and processing must be considered. Details of such a trade-off will be described later.
[0017]
In one embodiment of the present invention, a producer records events from multiple camera angles, each with ultra-high resolution (eg, HDTV or higher). For example, the camera may be in a fixed position and completely record all aspects of the event in high resolution. If the event is a football game, the cameras can be placed, for example, every 10 yards (about 9 m), at the sidelines, or at locations that provide a view of the stadium. These cameras produce a video stream that faithfully records all events in the arena (raw video). Since many video streams are used, each of high resolution, this overall bandwidth is here assumed to be too large for the existing technology to send to the viewer. The camera transmission is directed to a video processing personalization server (VPPS).
[0018]
VPPS can be fixed or mobile and can be located in broadcast studios, cable headends, or at major Internet routing nodes and server locations, sports arenas, new specialty facilities, and the like. The VPPS may be a single system or a distributed system. VPPS has the ability to record the output of all camera angles and generate a number of personalized video outputs, each suitable for sending to a viewer. The VPPS, in one embodiment, occupies a location in the network furthest from the user. Thus, a private channel can be realized for the user. The functionality of VPPS can be implemented at the cable headend or in a remote network. The VPPS would then need to generate a large number of personalized video outputs. In another embodiment, the ability to process multiple video streams to generate a personalized video output can be implemented in a set-top box. If the VPPS is implemented on an end-user device (such as a set-top box), the VPPS need only generate one video output. That is, a plurality of video streams can be directed to the set-top box, and one video stream can be generated by the individualization processing, and the set-top box can provide a VPPS function. With the advent of digital television, multiple digital video stream capacities are derived from the spectrum currently allocated to one channel. Utilizing this capacity to provide a personalized view is an entirely new approach to available "extra" channels. In other embodiments, the VPPS functionality is divided as a distributed architecture, where some of the VPPS are near events and some are near end users.
[0019]
Default view:
Producers can hire experts to create interesting and informative event views. This view employs many camera angles, perspectives, and overlay graphics (Chiron, http://www.chyron.com/products/index.html, product group iNFiNiT !, etc.), and a viewing experience that will not bore viewers. Is similar to current programming in that it provides This can be used as a default viewer experience, in which case the viewer will receive these images if they are not doing anything.
[0020]
End-user perspective:
The viewer V watches on a TV, PC, or other device. The game view that V first sees is determined by the producer and sent by VPPS. When V gets tired of the view, he selects another camera angle, degree of zoom, focus, and other selectable broadcast attributes to personalize the view. V can select what is displayed on the display by a user interface such as a keyboard, a remote controller, an IR of a set-top box, and other devices. These commands are received by the VPPS or auxiliary processor to construct the appropriate camera angle from the raw data and create the required personalized view. The VPPS sends this view to V for display on a display or the like. A view corresponding to the bandwidth available to V in the network to which V is connected is sent. V can continue to change the view received on the same user interface, or return to the producer's default view. FIG. 6 shows camera views provided to various viewers (A to F).
[0021]
zoom:
An important advantage of the present invention is that zoom-in and zoom-out views can be easily provided. In the preferred embodiment, the composite picture has a higher resolution than the user's receiving device (television). For example, the camera is in HDTV format and the user's television is in NTSC. The cameras may be NTSC, but many of them are used to create a composite resolution when each is in close-up. Zoom is obtained by interpreting the user's command and defining a rectangle in the composite image that is image processed to fill the field of view of the receiving device. This rectangle can be derived from an explicit designation from the user's device or can be dynamically derived to include objects of interest to the user. For example, in a football game, the zoom is automatically changed to include the viewer's favorite player and football. If the selected resolution is lower than the resolution of the composite image, bits are erased by well-known averaging techniques to generate a lower resolution from a higher resolution. If the selected resolution is higher than the composite image, bits are introduced by a well-known up-conversion scheme to produce a high resolution from a low resolution. Examples of this technology have been applied to Snell-Wilcox conversion chips and products (Alchemist, Kudos, etc., capable of video conversion).
[0022]
Tagging target objects:
In many cases, the viewer gazes closely at moving objects and people. The present invention includes a system for applying identifiable visual tags (such as colors and emblems) to a person or object of interest (OOI) to enhance the viewing experience. If the viewer chooses to follow the OOI, VPPS Composite video signal And select the subsection containing the OOI to display to the viewer on the personalization channel. In another embodiment, non-visual tags are used. For example, attach RF or infrared tags to the OOI and configure the camera that records the event to respond to the tag by mechanically following the OOI or by tagging the video with a video that contains the desired image. . Tags can be changed according to the OOI, or a common tag can be used when multiple objects are considered OOIs.
[0023]
Composite video signal In order to find the OOI in the object, object recognition can also be performed. Therefore, including OOI by pure software approach Composite video signal Can be selected.
[0024]
For example, the user can select a view that includes the player 56, the OOI and 10 feet around the football. As the target ground moves, the view in which the VPPS changes continuously is selected as specified.
[0025]
Please refer to FIG. A plurality of video cameras 1-3 for shooting and broadcasting a sporting event as currently taking place are shown. Players 10, 11 and football 12 are on the ground. The movement of the player 10 is captured by the camera 1, and the movement of the player 11 is captured by the camera 2. Camera 3 follows the football. The captured video stream is available to the producer on monitors 4,5,6. Video console 15 receives each view and processes it for display on producer 7. Producer 7 selects the video stream desired by the producer from the captured streams. The stream is sent via satellite uplink 9 to a viewer of the broadcast of this event.
[0026]
Please refer to FIG. A distributed network incorporating the present invention and performing VPPS processing for broadcasting sporting events is shown. Players 10, 11 and football 12 are on the ground. Players and football are tracked as shown in FIG. Video streams from the three cameras are sent to the current network infrastructure 70. Connected to the infrastructure 70 are VPPS 20, 21 associated with network distribution points (such as cable headends) 30, 31, respectively. In this example, a cable television network is used for simplicity, but any interactive network may be used as long as there is sufficient capacity. The cable headend 30 also has inputs from other sources, such as broadcast channels (BC) 40,50. Headend 31 also has inputs from other sources, such as broadcast channels 41 and 51. Between headend 30 and viewer 80 is the capacity of a personal channel for viewer 80. Between the head end 31 and the viewer 81, there is a capacity of a personal channel for the viewer 81. The broadcast tree 60, like the tree 61, shows the branch and tree structure of the cable network laid for two-way communication. A viewer 80 connected to a branch of the tree 60 selects and views an image composed of portions of the video stream from the cameras 1 and 3, and views images of the player 10 and the football 12. A viewer 81 connected to a branch of the tree 61 selects and views an image composed of a portion of a video stream from the cameras 1 and 2, and views images of the players 10 and 11. In this example, the VPPS mechanism is upstream (upstream) of the branch and tree distribution portions of the network and close to the event. In the other embodiments described above, the VPPS is on the set-top box or on the television itself, or is distributed.
[0027]
FIG. 3 shows a VPPS design according to the present invention. Blocks 17, 18, and 19 represent the video input processor. Through a broadcast network (not shown), the outputs of cameras 1, 2, 3 are sent to the inputs of video input processors 17, 18, 19, respectively. The processor converts the compressed video input to decompressed digital video, sends it over bus 22, and stores it in video memory 100. Video memory 100 is composed of a plurality of image pipelines. Three are shown here as examples (one per video input processor as shown in blocks 110-142). Blocks 110, 120, 130, 140 represent the pipeline corresponding to camera 1. That is, each block contains one frame of video so that the pipeline contains the current frame and the previous three frames from each video input processor. The oldest frame is overwritten each time a new frame is entered. Memory 100 thus stores the last three frames from each video input processor and one frame in progress. Therefore, the memory 100 functions as a buffer for processing image data by the complex processors (CP) 11 to 14. This pipeline allows each frame to be used in three "frame times", facilitating post-processing. Video memory 100 is accessible through two high speed parallel buses 22,23. As mentioned above, bus 22 provides a connection to the video input processor. Bus 23 provides connections to complex processors 11-14. A compounding processor operating through the pipeline generates one large compounded view from the overlapping frame images. The four frames of the composite view are stored in composite memory 200. Blocks 210 through 240 each contain one frame of the composite view. Memory 200 stores the last three composite frames and one frame in progress. As new frames are received by input processors 17-19, they are processed and stored in one of four frame buffers of video memory 100 (110, 111, 112, etc.). One of the compound processors (such as compound processor 11) immediately begins processing this frame buffer. By the time the frame buffer is overwritten with a new input, the composite processor 11 has formed a composite image and has written to a composite frame buffer (such as the frame buffer 210) of the composite memory 200. The composite memory 200 is accessible through two high speed parallel buses 23,24. As described above, bus 23 provides connections to multiprocessors 11-14, and bus 24 provides connections to user proxy processors (UPPs) 320-325. The UPPs 320-325 are dynamically associated with the user currently receiving the personalized view. In a real headend supporting 50,000 subscribers, hundreds of UPPs could be connected to VPPS. The viewer communicates with the VPPS through the communication processor 350. When a viewer first requests a personalized view associated with a broadcast being processed by VPPS, the two-way cable system sends the request to the communication processor 350 in VPPS. A resource management function within this processor allocates available UPPs to correspond to the user. A routing command is sent to the two-way cable system so that input from the user is routed to the assigned UPP. The two-way cable system instructs the user's device to tune to a "channel" where the personalized view is available. In the preferred embodiment, this transmission is digital, but may be analog.
[0028]
As mentioned earlier, the VPPS can be included at various points within the mechanism of the network or at a terminal, or the steps of compounding are performed at a centralized management point and a user proxy processor (UPP) May be divided into hierarchical functions executed by the terminal device. The VPPS function is performed by the bus 24, the communication processor 350, and the UPPs 320 to 325 connected to the bus 24, respectively.
[0029]
Bus 24 provides a communication link between UPPs 320-325, communication processor 350, and Internet server 352. Internet server 352 is also linked to Internet 354. This allows the user to select either a standard Web page or an event or movie delivered on the Internet. Thus, the Internet is an uncomplexed, yet another source of content that can be processed by the UPP to provide a personalized view.
[0030]
For example, the viewer may select another data channel provided from a data network such as the Internet to be displayed simultaneously with the broadcast program. In that case, the UPP creates an overlay area or insertion area in the selected composite view before sending it to the terminal.
[0031]
4 and 5 show the flow of viewer selection and view selection of a desired visual field (perspective) and zoom level, respectively. FIG. 4 shows a process 400 for a viewer to select a desired field of view and zoom level. The viewer selects to watch the sporting event (step 402), and then selects the desired camera angle or position and focus (select zoom level) (step 404). The viewer's device sends this information to the VPPS via a two-way cable (step 406). The communication processor 350 associates the UPP 320 with the viewer 80 and communicates the viewer's initial selection (step 408). Thus, the VPPS initiates a user proxy process (UPP) 320 to service the viewer 80 and initialize with information about the viewer's camera angle and zoom selection. UPP 320 links the composite video to the desired field of view and zoom level (step 410). The UPP 320 determines the tuning position of the personalized channel for the viewer 80, creates the desired field of view, tells the viewer 80's device where to receive the personalized channel, and sends the position to the viewer 80's device. Send (step 412). The device receives this information and tunes to the correct channel (step 414).
[0032]
FIG. 5 shows how the dedicated proxy responds by changing the field of view being sent in process 500 when the viewer changes the field of view. There is no need for the viewer to select a new channel. At step 502, the viewer changes the desired field of view or zoom level for the ongoing event. The viewer device sends the new information to the communication processor 350. The new information is sent to UPP 320 (step 504). UPP 320 then changes the selection in response to the user request and begins transferring a new view (step 506).
[0033]
FIG. 6 shows various views that can be composed from a composite image.
[0034]
An important advantage of the present invention is that zoom-in and zoom-out views can be easily provided. In the preferred embodiment, the composite image has a higher resolution than the user's receiving device (television). For example, the camera may be in HDTV format and the user's television may be in NTSC. The camera may also be NTSC, but many are used to create a composite resolution when in close-up. Zoom is obtained by interpreting user commands and defining rectangles in the composite image that are imaged to fill the field of view of the receiving device. This rectangle may be explicitly specified from the user's device and may be dynamically guided to include objects of interest to the user. For example, during a football game, the zoom is automatically changed to include the player or football the viewer prefers. If the selected resolution is lower than the resolution of the composite image, the bits are erased by a well-known averaging scheme, and a low resolution image is generated from the high resolution image. If the selected resolution is higher than the resolution of the composite image, bits are introduced by a well-known up-conversion scheme to generate a high-resolution image from the low-resolution image. This technology has been incorporated into, for example, Snell-Wilcox chips capable of video conversion.
[0035]
Trade-offs for private channels:
If the private channels described below are implemented close to the viewer, the total bandwidth required for the distribution network to accommodate all viewers will be reduced. A relatively small number of camera angles are sent to the video decoding device. The user composes a dedicated picture from this source. This is shown in FIG. The three camera outputs are combined into one composite picture (as disclosed with respect to FIG. 3). Viewers A, B, and C are satisfied with one camera view, cameras 1, 2, and 3, respectively, while viewers D, E, and F each prefer a customized view of the composite image. Each selects a different "virtual camera" represented by the field of view conveyed by the parentheses of D, E, and F. In order to minimize distribution bandwidth, the best solution is to incorporate VPPS functionality into the subscriber's equipment (television, set-top box, etc.).
[0036]
Implementing a private channel near an event increases the total bandwidth required by the distribution network to accommodate the audience. In that case, the distribution network through which each private view passes will also increase, in which case a relatively large number of "virtual camera" views will be configured near the event, and a large number of viewers will each want a different view order. To cope with this, the bandwidth (number of channels) required for the distribution network increases. In this method, there is a possibility that the economy of the VPPS device can be obtained to some extent, but in any case, the portion of the VPPS device becomes “per viewer” or “per view”. Is located in the user proxy processor. In one embodiment of the invention, the maximum number of virtual camera views is set from a relatively small number of real camera views that provide the source to the complex. In that case, a fixed number of view servers are set. All viewers sharing the same virtual camera view share the same view server. When an attempt is made to change a viewer view, the viewer is sent output from a new view server representing that view. To realize this, a well-known video distribution function is added to FIG. Depending on the number of pixels at the receiving station, the number of views actually accessible (each displayed by a view server) may be less. In that case, the viewer "snaps" to the closest matching view, using the snap function of the drawing program, to align the drawn objects to a predetermined grid. In this embodiment of the invention, the zoom function is not performed on the VPPS side. It may be performed in a set-top box or omitted.
[0037]
A third option is to split the entire video processing operation into a distributed hierarchical design. That is, part of the processing is performed on the VPPS side at the central management position, and the rest is performed near the terminal point (television, set-top box, etc.) or at the intermediate VPPS (IVPPS). For example, in a cable environment, the IPPPS can be located at the cable headend. Such partitioning can be achieved by generating / storing a composite view near the event and sending the composite view to the IPPPS through the distribution network. The required bandwidth between VPPS and IVPPS must be sufficient to send the composite view. This is less than the number of channels required for each camera, but more than two. Outside IVPPS, private channels require bandwidth. The IPPPS terminates video processing using the user proxy processor described above to accommodate the customized view. Referring to FIG. 3, the functions of UPPs 320-325 are incorporated into IVPPS.
[0038]
The fourth option uses a set-top box as the IPPPS. Composite video signal Send to terminal device (set-top box, television, PC, etc.). This includes Composite video signal To each terminal requires multiple channel bandwidths, but the required bandwidth is less than the amount of custom channels that can be created therefrom. The video processing is completed by the terminal device. Each device contains one UPP. In FIG. 3, blocks 320 to 325 are incorporated in the terminal device. Each of these embodiments can be applied in practice, each having the tradeoff of bandwidth and cost, all of which are the subject of the present invention.
[0039]
Other features and functions:
In the present invention, a database (not shown) can be used as part of the VPPS mechanism or separately as part of the service provider network. This database is used to maintain viewer profiles and viewer preference history data so that the default image becomes a user-specific default when certain events occur. This can be determined by direct user input (such as connecting to a database over the Internet or telephone to set preferences) or by heuristic data collected based on VPPS selections. Depending on the capabilities of the viewing device, this database may also select default parameters that increase or decrease image quality, as described above.
[0040]
In the present invention, a composite image can be distributed to a plurality of end users. The composite image is formed by combining a plurality of outputs on the camera side as shown in FIGS. Composite video signal Is transmitted as follows. The bandwidth required for the image is greater than the individual private views, but less than the sum of the individual camera outputs. The composite composite image is sent to each end-user and processed within the end-user's terminal to generate an end-user private view. The transmission of the total composite image is according to the well-known transmission method already mentioned. For example, the bandwidth required for an integrated composite image can be as much as ten times that of a private channel. With current digital compression schemes, five digital channels can be sent on one 6 MHz NTSC channel. Two channels are used to send the composite picture. For that purpose, a terminal device needs a multi-channel tuner, a multi-channel demodulation, and a digital processing function. As an analog example, a picture-in-picture tuner is currently available.
[0041]
Also, in the present invention, a different audio stream associated with a different camera view can be delivered using a second audio program (SAP) channel. The audio system of each camera is sent to the VPPS using its audio mechanism (spokesman, camera microphone, etc.). VPPS separates audio streams, as in current television signal processing, and associates them either with individual camera views or with "parts" of a composite view. Since only two audio channels are available in current television designs, VPPS "switches" the audio presentation when the viewer "pans" from one part of the composite view to another. If multiple audio streams are supported in future televisions, this scheme will be used at finer boundaries. Alternatively, the audio inputs can be mixed to emphasize particular inputs with respect to selected areas of the view.
[0042]
Viewer interface and selection method:
One of the goals of the present invention is to make the viewer interface as simple as possible when a rich set of features as described above can be selected as a result of the VPPS function. To achieve this, other functions supported by the set-top box or the television itself are conceivable. These functions are easily accomplished using two-way communication features, such as those currently supported by cable and satellite networks. Current broadcast networks do not have two-way capability, but the same results can be achieved with a telephone call-in system. In that case, the calling side can be identified by the calling side ID or equivalent function, and the camera can be selected.
[0043]
In either case, VPPS creates a selection menu for available processing functions and camera angles. These are limited by the number of VPPS, the number of UPPs, and the number of cameras and the number of OOIs to which cameras can be assigned for tracking. Lists of choices that are restricted in this way are widely used in computer program graphical user interfaces, such as "drop-down boxes" or "dialog boxes" that display a selection list when a box is opened. ". The appearance of the box and its contents are controlled by the functions of the terminal device. The user can select the desired item, now via the channel buttons on the remote control, or in the future, when a new remote control is designed to take advantage of the features that are becoming available on set-top boxes and televisions. , Function / select key.
[0044]
In another embodiment, the video can be divided into selectable regions by VPPS based on the field of view or the OOI, and a certain number of the regions can be displayed to the viewer. By dividing the screen into a plurality of blocks, the camera angle can be directed to the selected block by VPPS.
[0045]
In another embodiment, a new remote control with zoom and pan functions can be used to dynamically select the area of interest. Again, this information is relayed to the VPPS on the return channel of the interactive system. In that case, the UPP executes the requested command. These functions operate similarly to the game controls of current computer games.
[0046]
Response times vary depending on whether the VPPS function is local, such as a set-top box or television, remote, as in the case of centralized management, or divided into a hierarchical set as described above.
[0047]
New business model:
Personalized views provide a new business model for broadcasters. According to the present invention, advanced entertainment, advanced education, and the like can be sold as premium services combined with conventional broadcasting.
[0048]
With the present invention, a new business model can be developed in which carriers collaborate on broadcast delivery rather than competition. In the current environment, broadcast networks such as ABC may have the exclusive right to broadcast sporting events. In most cases, broadcast networks do not share this right with other networks, with one notable exception being contracts that require a "pool". The broadcast network makes the broadcast available to all of its owning and affiliated stations. These local stations often engage in audience competition in certain areas (South Florida channels 10, 25, etc.). Given the above need to increase the number of transmission channels and the ability to use different channels to send different parts of the picture simultaneously, even if the sequence is different, each part of the composite picture will have its own standard broadcast spectrum (current analog spectrum). -Can be sent at 8 MHz over the network. Reap some of the benefits of advanced private channels and virtual camera services, respectively. This benefit is not obtained if only a single event view is sent. Broadcast media is not limited to telecommunication lines. The principles of the present invention are valid regardless of whether the channel is delivered via broadcast, CATV, satellite, or other business models such as advanced TVs and set-top boxes. The cost depends on the bandwidth used (eg, the cost of a small set-top box is less than an implementation that requires the entire carrier to be VPPS).
[0049]
The scope of the invention is not limited to any particular embodiment, and the claims cover applications, modifications, and embodiments, including the above-described applications, within the scope of the invention. Thus, while the above example relates to the delivery of video content (preferably digital) with audio, personalized views may be used for a variety of audio, text, and other types of content sent over a network. is there.
[0050]
In summary, the following matters are disclosed regarding the configuration of the present invention.
[0051]
(1) A video processing personalization system (VPPS) connected to at least one video source and at least one end user device, wherein the system processes a composite video signal representing two or more event views. A receiving receiver,
An end-user input device for receiving a signal representing at least one of two or more views of the video;
A rendering device that creates a personalized view for display to end users;
The system, including.
(2) The system according to (1), wherein the video signal is a streaming video signal.
(3) The system of (2), wherein the rendering device includes at least one user proxy processor that provides at least one selected view to an end user.
(4) The system of (3), wherein the end user input device includes a communication processor that receives a user request for a selected view and forwards the user request to a source of the video signal.
(5) The system according to (4), further comprising a composite memory for receiving and storing at least some frames of the composite view.
(6) The system according to (5), comprising a plurality of compounding processors each receiving a plurality of overlapping frame images to generate at least one compound view.
(7) The system according to (6), wherein each pipeline includes a video memory including a plurality of image pipelines for storing a plurality of newest composite frames.
(8) The system of (6), further comprising a plurality of video input processors each receiving an image from a plurality of video cameras and processing the image.
(9) The system according to (1), wherein the video includes audio, and the system includes a speaker.
(10) The system according to (2), wherein the view includes a zoom view.
(11) The system according to (2), wherein the view includes a position-based view.
(12) The system according to (2), wherein the view includes a view of a tagged target object.
(13) A method for personalizing video transmission for end users,
Receiving a video transmission including a plurality of views of the video event;
Receiving a signal from an end user selecting at least one view for rendering;
Rendering a selected view to the user;
Including, methods.
(14) after receiving the video transmission, receiving an end-user signal selecting an event for display;
The method according to the above (13).
(15) receiving an end-user signal for selecting a camera angle and focus before receiving the video transmission;
The method according to the above (13).
(16) The method of (13), comprising the step of associating a user proxy process with the end user and sending the end user's initial selections to a device for compounding the plurality of views.
(17) receiving a broadcast transmission including a plurality of views;
Receiving a signal from the user selecting at least one view for display to the user;
Including program instructions for rendering a selected view to the user.
Computer readable medium.
(18) After receiving the broadcast transmission, including instructions for receiving an end-user signal for selecting an event for display.
The medium according to the above (17).
(19) including receiving an end-user signal for selecting a camera angle and focus before receiving a broadcast transmission;
The medium according to the above (17).
(20) associating a user proxy process with the end user and sending an initial selection of the end user to a device for compounding the plurality of views;
The medium according to the above (17).
(21) A method in which a viewer selects a desired field of view and a zoom level,
Receiving the content selected by the viewer to view the selected event and the desired angle or position and focus (selection information) of the selected camera;
Sending the selection information to a video processor;
Associating a user proxy processor with the viewer and sending an initial selection of the viewer;
Initiating a user proxy process to provide services to the viewer and initializing the process with information regarding the camera angle and zoom selected by the viewer;
Integrating the video into the desired field of view and zoom level;
Determining a tuning position of the personalized channel for the viewer; creating the desired field of view and informing the viewer's device where to receive the personalized channel;
Including, methods.
(22) An end-user data processing device,
A plurality of video input processors for receiving video image data, each representing a different event view;
A video memory connected to the video processor and containing at least some of the most recent received frames of the video image data;
A plurality of decoding processors, each connected to the video memory, receiving overlapping frame images from the video memory and generating a single composite view;
A composite memory storing a plurality of composite views, each including a plurality of storage areas, each storage area storing a frame of the composite view;
A user communication processor for receiving a viewing selection from a user, interacting with the composite memory, and rendering a selected view to the end user;
An apparatus, including:
(23) A television head-end device,
A plurality of video input processors for receiving video image data, each representing a different event view;
A video memory connected to the video processor and containing at least some of the most recent received frames of the video image data;
A plurality of composite processors each connected to the video memory for receiving overlapped frame images from the video memory and generating a composite view;
A composite memory storing a plurality of composite views, each including a plurality of storage areas, each storage area storing a frame of the composite view;
Means for receiving the selected view from the user proxy processor;
An apparatus, including:
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a current broadcast system.
FIG. 2 is an illustration of a broadcast system including a video processing personalization system or server (VPPS) in accordance with aspects of the invention.
FIG. 3 illustrates one embodiment of a VPPS in accordance with aspects of the present invention.
FIG. 4 is a flow diagram illustrating selection of a viewer's desired field of view and zoom level by VPPS according to the present invention.
FIG. 5 illustrates how a dedicated proxy responds by changing the field of view being sent when the viewer changes the field of view, in accordance with aspects of the present invention.
FIG. 6 is a diagram showing selection of a plurality of users from a composite view.
[Explanation of symbols]
1,2,3 camera
4, 5, 6 monitor
7 Producer
9 Satellite Uplink
10, 11 players
12 Football
15 Video console
17, 18, 19 processor
20, 21 VPPS
22 bus
23, 24 parallel bus
30, 31 Network distribution points (cables, headends, etc.)
40, 50 broadcast channels
60, 61 Broadcast Tree
70 Network Infrastructure
80, 81 viewers
100 video memory
200 complex memory
210 frame buffer
320, 321, 322, 323, 324, 325 User Proxy Processor (UPP)
350 communication processor
352 Internet server
354 Internet

Claims

A system capable of simultaneously providing a video image of a user-selected field of view and / or zoom level and an image distributed on the Internet in an interactive communication system,
A video input processor for receiving a plurality of different video signals from a plurality of video cameras;
A composite processor receiving the plurality of video signals from the video / input processor and generating a composite video signal from the plurality of video signals;
A plurality of user proxies that receive the composited video signal to create a video signal having a user selected field of view and / or zoom level, and determine a tuning position at which the user should receive the video signal. A processor,
Receiving a selected field of view and / or zoom level from the user and assigning each of the plurality of user proxy processors one-to-one to the user to set the selected field of view and / or zoom level to the user; A communication processor for transmitting to a user proxy processor and receiving the video signal of the selected field of view and / or zoom level from the user proxy processor and transmitting the video signal to a user's display device;
A bus connecting the user proxy processor and the communication processor to an Internet server for acquiring images distributed on the Internet;
Including
Users, and video image, if you choose to display the distribution image on the Internet at the same time, the user proxy processor, field and / or zoom level of the video signal selected by the user Overlaying or inserting images distributed over the Internet, obtained via the Internet server , prior to transmitting to the communication processor.
A system characterized in that:

The system of claim 1, wherein the video signal is a streaming video signal.

The system of claim 1 or 2, further comprising a composite memory coupled to the composite video processor for receiving and storing at least some frames of the composite video signal.

4. The system of any of the preceding claims, wherein the system comprises a video memory connected to the video input processor, each pipeline storing a plurality of newest frames.

The system according to claim 1, wherein the video signal includes audio, and the system includes a speaker.

6. The method of claim 1, wherein the selection by the user comprises tagging an object of interest to the user, and wherein the portion containing the object is selected from the composited video signal. 7. System.

The method of claim 1, wherein the interactive communication system routes input from a user via a communication processor to the user proxy processor and indicates to the user to tune to the tuning position. The system according to claim 1.

A method for simultaneously providing a video image of a field of view and / or zoom level selected by a user and an image distributed on the Internet in an interactive communication system, comprising:
A communications processor receives an indication from the user as to whether to simultaneously display the selected field of view and / or zoom level and an image distributed over the Internet, and configures each of the plurality of user proxy processors. Transmitting the selected view and / or zoom level to the user proxy processor , one-to-one assigned to a user;
A video input processor receiving a plurality of different video signals from the plurality of video cameras;
A decoding processor receiving the plurality of video signals from the receiving device and generating one decoded video signal from the plurality of video signals;
The user proxy processor receives the composited video signal, creates a video signal having a selected field of view and / or zoom level, determines a tuning position at which the user should receive the video signal; Overlaying or inserting images distributed over the Internet, obtained via an Internet server connected by a bus with the user proxy processor;
When said communication processor, had received an instruction to display the delivered image the selected field of view and / or zoom level of the video signal and on the Internet at the same time from a user, said communication processor, the Receiving a video signal of the selected field of view and / or zoom level and the image obtained via the internet server from the user proxy processor and transmitting to the user's display device;
A method that includes

The method of claim 8, wherein the video signal is a streaming video signal.

The method of claim 8 or 9, wherein the composite memory further comprises the step of receiving and storing at least some frames of the composited video signal.

The method of any one of claims 8 to 10, wherein the video memory further comprises storing a number of frames of a plurality of video signals from a plurality of video cameras.

The method according to claim 8, wherein the video signal comprises audio.

13. The method of any of claims 8 to 12, wherein the selection by the user comprises tagging an object of interest to the user, and further comprising selecting a portion containing the object from the composited video signal. The method of claim 1.

The system according to any one of claims 1 to 7, wherein the system is provided in a facility such as a broadcast studio, a cable headend, an internet routing node or server location, or a sports arena.

The system according to claim 1, wherein the system is located upstream of a cable television headend device.

A view server for providing a video signal having the same field of view selected by the plurality of users; and wherein, in each set-top box of the plurality of users, the image processing to each of the selected zoom levels is performed. The system according to claim 1, wherein the system is performed.