JPH10507321A - ビデオ放送のための装置及び方法 - Google Patents

Abstract

(57)【要約】 本発明は、一連の既存の画像の各々の一部分を新規な画像にによって置き換えるための装置について開示する。装置は、それぞれ一連の既存の画像を表す一連のフレームをつかむ（グラブする）ように作動するフレームグラバと、各既存の画像の中の新規画像を組み込もうとする少なくとも１つのサイト（場所，位置）を検出するように作動するローカライザと、それにより当該サイトの画像が作成される透視図を検出するように作動する透視図変形装置と、複数の遠隔ロケーションの各々に、フレーム内に既存の画像が表される各フレーム、当該サイトの座標、及び、それにより当該サイトの画像が作成される透視図に関して伝送するように作動する送信機とを有する。

Description

【発明の詳細な説明】 ビデオ放送のための装置及び方法 発明の分野 本発明はビデオ放送システムに関する。 発明の背景 国際的スポーツイベント、又は、他のショーは多くの国において通常観客の関 心および注意を引き付ける。例えば、オリンピック大会、スーパーボウル、ワー ルドカップ、主要なバスケットボール及びサッカーゲーム、及び、自動車レース がこの範疇に入れられる。この種のイベントは、一般に、大勢の国際的視聴者に 向かってビデオによって生放送される。例えば競技場またはコートのような、こ れらのイベントが行われる現場は、フェンス及び広告掲示板上、及び、実際には 、競技中のグラウンドの一部を含む適当な場所に位置する占有されていないスペ ースに提示されるあらゆる形のサイン、ポスター、又は、他のディスプレイに対 して広告するためのスペースを提供する。 殆どの場合に印刷物の形をとるディスプレイの性質により、この種ディスプレ イは、余り頻繁に変えられることがなく、少なくとも１日中、或いは、数日又は 一シーズン中はそのままの状態に保たれ、しかも、その局地的な聴衆に向けられ る。異なる国の２つのチームが相互に競技する場合、競技場の一方の側に一方の 国の観客に向けられた広告が配置され、もう一方の側にはもう一方の国の観客に 向けられた広告が配置されることがある。 これらの場合におけるビデオカメラは、競技場の反対側からそれぞれの観客の ために撮影する。この場合には、競技に参加している国のいずれかの立場から競 技を見る角度は記号論理学的に複雑であり、制限される。 現在の広告方法に加えられる別の制限条件は、競技を妨害せず、競技場におけ る観客の視界を妨げず、また、競技者に危険を及ぼさないと言う広告掲示板の位 置決定のための厳しい安全条件である。ディスプレイは、競技者の注意をそらさ ないために競技現場に近接し過ぎてはならない。 主要な世界的スポーツイベントにおいて広告するための現方式の最も深刻な欠 点は、イベントは全世界にテレビ生放送される国際的な非常に広範囲に亙る放映 であるので、当該競技場内に所在する実際の物理的な広告物体は、世界的な市場 性を持つ製品に限られると言う事実である。現地の広告主は、この種の世界的に テレビ放送されるイベントを、ＴＶスクリーン上に局所的にメッセージを重ねる か、或いは、イベントの実時間性を中断することによって利用することが出来る に過ぎない。 既存の方式の別の欠点は、テレビカメラの走査が長時間に亙るので、広告サイ ンが、ＴＶ視聴者が読取り難い程に不鮮明であると言うことである。他の多くの 場合に、サインの極く一部だけがＴＶ視聴者に見えるに過ぎず、サインの読取り が出来ない。 或る種の用途の場合には、コンピュータ資源に対する必要条件は非常に高く、 １００ ＢＯＰＳ（１秒当たり１０億オペレーション）の程度である。この性能 レベルを達成するためには、多重処理が用いられる。サイズ及び構成の異なる多 くの並列処理システムが開発された。並列システムのサイズ、ハードウェアの複 雑さ、及び、プログラミングの多様性が展開し続けているので、これらのシステ ムにおける並列タスクを実現するための代案の範囲は拡大する。並列方式のモデ ルには２つのタイプが有る。即ち、ＳＩＭＤ（単一命令多重データ）マシン、及 び、ＭＩＭＤ（多重命令多重データ）マシンである。図１Ａは、従来のＳＩＭＤ マシンの概賂図である。 ＳＩＭＤマシンは、それら自体の記憶装置へ接続された多重プロセッサを有す る。ＰＥ（処理要素）は、プロセッサ／メモリペアである。制御ユニットは、イ ンストラクション（命令）をプロセッサに同報通信する。全ての活動ＰＥは、そ れら自体のデータに関してロックステップにおいて同一インストラクションを同 期的に実行する。全てのマシンは、１つの単一プログラム及び１つの単一制御ス レッド（プロセス）をランする。ＡＭＴ ＤＡＰ、ＣＬＩＰ−４、Ｃｏｎｎｅｃ ｔｉｏｎ Ｍａｃｈｉｎｅ，Ｍａｓｐａｒ ＭＰ−１及びＭＰＰを含む学究的な 組織において種々のＳＩＭＤ装置が開発された。 図１Ｂに概略的に示すＭＩＭＤマシンはそれら自体の記憶装置へ接続された多 重プロセッサを有する。ＰＥはプロセッサ／メモリペアである。各ＰＥは、それ 自体のインストラクションを持ち、ＰＥはローカルデータに関してローカルプロ グラムを実行する。全てのマシンは、異なる多重プログラム及び多重制御スレッ ドをランする。ＭＩＭＤ装置の例は、ＢＢＮ Ｂｕｔｔｅｒｆｌｙ、Ｃｅｄａｒ 、ＣＭ−５、ＩＢＭ ＲＰ３、Ｉｎｔｅｌ Ｃｕｂｅ、Ｎｃｕｂｅ、ＮＹＵ Ｕ ｌｔｒａｃｏｍｐｕｔｅｒである。 混合ＭＩＭＤ／ＳＩＭＤマシンに適応するように作成されたシステムは、Ｐｕ ｒｄｕｒｅ大学のＰＡＳＭ、及び、Ｏｐｓｉｌａである。 画像処理に関連した並列コンピュータアーキテクチャに関する記述が記載されて いる出版物を次に示す。 Ｓｉｅｇａｌ Ｈ．Ｊ．著「大規模並列処理理論およびケーススタディ用相互 接続ネットワーク」再版、ＭｃＧｒａｗ−Ｈｉｌｌ、ニューヨーク１９９０年。 ＭＩＭＤ、及び／又は、ＳＩＭＤを含む画像処理のための並列方式による解決 方法について記載された出版物を次に示す。 １）Ｂａｌｍｅｒ等へ許可された米国特許５，２１２，７７７は、単一ＭＩＭ Ｄチップについて記述し、多重チップ構成アーキテクチャの詳細については一切 言及していない。 ２）Ｍｉｔｓｕｂｉｓｈｉに許可された英国特許Ｎｏ．２２５０３６２は、グ ラフィックス及びビデオ処理に関しては十分な融通性を提供しない比較的簡単な 処理要素の開発に基づく均質システムアーキテクチャについて記述する。 ３）Ｇｉｆｆｏｒｄへ許可された米国４，８７３，６２６は、ＭＩＭＤプログ ラミングモードの一般的な場合において作成されたＳＩＭＤモードの厳重な選択 について述べる。実時間ビデオ処理用Ｉ／Ｏブロックについては言及しない。 ４）ＩＢＭに許可された公表済み欧州出願５６４８４７（９３１０４１５４） は、一般的な画像処理を目的としないシステムについて記述する。このシステム はシングルまたはデュアルプロセッサアレイのみを有する。 次の出版物は、ガウスの縁検出について記述し、ここには、参考文献として採 用されている。 Ｊ．Ｆ．Ｃａｎｎｙ著「エッジ検出のコンピュータ的な方法」ＩＥＥＥ Ｔｒ ａｎｓ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ、及び、Ｍａｃｈｉｎｅ Ｉｎｔｅ ｌｌｉｇｅｎｃｅ、Ｖｏｌ．８ ｐｐ．６７９−６９８、１９８６年１１月。 出願者に譲渡済みのＰＣＴ特許出願Ｎｏ．ＷＯ ９５／１０９１９は、「ビデ オにおける広告の検出、識別、及び、組込みの方法、及び、装置」。 発明の要約 本発明は、画像処理及びグラフィックス用の改良された並列アーキテクチャマ シンを用いて画像処理を処理及び制御する方法及びその装置に関する。本発明は 、並列ビデオ及びグラフィックス処理に特に適した改良されたハードウェアアー キテクチャを提供することを意図する。 ハードウェア並列プロセッサは、通常、画像処理及びビジョンタスクを解決す るために学究的な研究及び幾つかの営利会社において用いられる。ビデオ信号処 理におけるリアルタイムの必要性は、同時実行を可能にする反復ハードウエアの 使用を促進した。同時実行、または、並列処理の必要性故に、並列方式を使用す るための順次処理方法の再公式化が可能である。 本発明は、改良されたビデオ放送システムの提供を意図する。ビデオシーケン スの中の広告または他のフレーム部分を置き換えるために、広告サイトの座標を 識別する情報、それによってサイトの画像が作られる透視図、及び、埋め込まれ る物体の画素データがビデオシーケンス自体と共に遠隔場所に伝送される。遠隔 場所においては、当該場所に特有な交換広告または他の画像が記憶される。交換 広告は、適切な縮尺および透視図を用いて、受信したビデオシーケンスの適切な サイトに組み込まれ、埋め込み物体によって適切に覆われる。 本発明は、再構成可能な並列処理アーキテクチャマシン、及び、マシンを自己 制御するための新規な方法に関する。マシンは、混合モード並列方式が可能なマ ルチプロセッサーシステムである。このシステムは、ＳＩＭＤ、又は、ＭＩＭＤ モード並列のいずれかにおいて作動可能であり、そして、モードの間で動的に切 り替わることが可能である。更に、このシステムは、独立した、或いは、交信す るサブマシンに分割することが出来る。この場合における、サブマシンのアーキ テクチャはもとのマシンのアーキテクチャに類似する。更に、このいシステムは 、 そのプロセッサの間において、融通性に富んだ多段式クロスバ相互接続ネットワ ークを使用する。更に、このシステムは、放送されるべきあらゆるデータ（例え ば、ビデオディジタル化データ）を、マシンの一切の部分をブロックすることな しに、制御された方法において、任意のプロセッサの集合に配分可能にする。プ ロセッサの個数、プロトコルのタイプ、及び、相互接続構造に関しては、かなり の変化に適応できる。 ここに図示して説明されるアーキテクチャに関する処理ルーチンのマッピング は、本発明によるマシンに関する処理ルーチンをシミュレート及びランすること を可能にする半自動のツールを用いて行われる。処理ルーチンは、混合モード並 列方式を用いて開発された。 図に示す実施例において、多重ＴＩ ＭＶＰ ３２０Ｃ８０チップは適応およ び拡張可能な、ユーザによって任意の個数のＭＶＰ（マルチメディアビデオプロ セッサ）まで拡張できるようなアーキテクチャを形成する。各ＭＶＰは、１つの ３０億インストラクションマシンＭＩＭＤ／ＳＩＭＤ ＶＬＳＩチップである。 各ＭＶＰは、それ自体の記憶ブロックへ接続され、そして、クロスバネットワー クに基づいた相互接続ネットワークによって他のＭＶＰへ接続される。 ここに図示して説明される本発明の部分を形成するＰＥ（処理要素）はＴＩ ＭＶＰである必要がないということ、及び、この特定の実現は単に一例として記 載されているに過ぎないことに注意されたい。 全てのプロセッサが、融通性に関して同じであることが好ましい。その場合に は、タスクの性質がＭＩＭＤであるか、又は、ＳＩＭＤであるかを考慮する必要 なしに、１組のＰＥを選定することが可能である。 一連の既存画像の各々の一部分を新規画像によって置き換えるための本発明に かかる装置の好ましい実施例に従い、装置は、それぞれ一連の既存画像を表す一 連のフレームをつかむように作動するフレームグラバと、新規画像が組み込まれ るべき各既存の画像内の少なくとも１つのサイトを検出するように作動するロー カライザと、当該サイトがそれによって画像作成される透視図を検出するように 作動する透視図変形装置（perspective transformer）と、各フレームに対して 、フレーム中に表される既存の画像、当該サイトの座標、及び、それによってサ イ トの画像が作られる透視図を、複数の遠隔場所の各々へ伝送するように作動する 送信機とを有する。 本発明の好ましい実施例に従い、次に示す過程を有する一連の既存画像の各々 の一部分を新規画像によって置き換えるための方法が提供される。前記の方法は 、新規画像を提供する過程と、既存画像がフレーム内に表されるような一連のフ レームの各々のフレーム、新規画像が組み込まれるべき既存画像内のサイトの座 標、及び、それにより当該サイトの画像が作成される透視図を表す透視図変形に かんして遠隔送信機から受信する過程と、透視図変形を新規画像に適用する過程 と、変形された新規画像を当該サイトにおける各既存画像に質感マッピングする 過程とを有する。 更に、本発明の好ましい実施例に基づき、サイトは背景サイトを有し、そして 、装置は少なくとも部分的に背景サイトを埋め込む前景物体を識別するように作 動する埋め込みアナライザを有し、送信機は、各フレームに関して、背景サイト の埋込みマップを伝送する。 更に、本発明の好ましい実施例に基づき、方法は、遠隔送信機から背景サイト の埋込みマップを受信し、そして、質感マッピングは、変形済みの新規画像を当 該サイト内の埋め込まれないロケーションにおいてのみ各既存の画像に質感マッ ピングする過程を有する。 更に、本発明の好ましい実施例に基づき、新規画像は広告を有する。 同様に、本発明の好ましい実施例に基づき、各既存画像は広告を有する。 更に、本発明の好ましい実施例に従い、装置は、既存の画像を記憶するように 作動する既存画像記憶装置を有し、そして、ローカライザは、サイトを記憶され た既存画像と比較するように作動する画像識別装置を有し、そして、送信機は、 当該サイトに表れる既存の画像を識別するラベルを伝送するように作動する。 更に、本発明の好ましい実施例に基づき、方法は、遠隔送信機から、当該サイ トに表れる既存の画像を識別するラベルを受信する過程と、ラベルに応じて新規 画像を選定する過程とを有する。 更に、本発明の好ましい実施例に基づき、ビデオデータソースから実時間にお いてビデオデータをインポートして処理するように作動する実時間ビデオ画像処 理装置が提供される。この装置は、複数の第１ビデオデータ入力／出力装置と、 それぞれ一連のＭＩＭＤユニット及び少なくとも１つの相互接続バスを有する相 互接続された複数の第２ＭＩＭＤ装置と、複数の第１ビデオデータ入力／出力装 置及びビデオデータ入力／出力装置からＭＩＭＤ装置までの少なくとも１つの同 報通信チャネルを定義する少なくとも幾つかの相互接続された複数の第２ＭＩＭ Ｄ装置を相互接続する少なくとも１つの同報通信バスと、相互接続された複数の 第２をＭＩＭＤ装置の少なくとも幾つかを相互接続する少なくとも１つの通信バ スとを有する。 更に、本発明の好ましい実施例に基づき、少なくとも１つの同報通信バスは複 数の同報通信バスを有する。本発明の好ましい実施例に基づき、実時間ビデオ画 像処理装置により多重ステップタスクのパイプライン動作を制御するための方法 が提供され、前記の方法は、複数の第１ビデオデータ入力／出力装置と、それぞ れ一連のＭＩＭＤユニット及び少なくとも１つの相互接続バスを有する相互接続 された複数の第２ＭＩＭＤ装置と、複数の第１ビデオデータ入力／出力装置及び ビデオデータ入力／出力装置からＭＩＭＤ装置までの少なくとも１つの同報通信 チャネルを定義する少なくとも幾つかの相互接続された複数の第２ＭＩＭＤ装置 を相互接続する少なくとも１つの同報通信バスと、少なくとも幾つかの相互接続 された複数の第２ＭＩＭＤ装置を相互接続する少なくとも１つの通信バスと、画 像処理プリミティブのライブラリとを提供する過程を有し、ライブラリにおける 少なくとも幾つかの画像処理プリミティブを有するユーザによって選定されたシ ーケンスを受信する過程と、利用可能な資源を能率的に利用するユーザによって 選定されたシーケンスを実施するためのパイプラインを作成する過程と、ユーザ によって選定されたシーケンスのパイプライン動作を制御する過程とを有する。 更に、本発明の好ましい実施例に基づく方法は、中間の結果に従って更にパイ プラインの深さを選定する過程を有する。本発明の好ましい実施例に基づき、各 ＰＥ上に提供された階層的に配分されたプログラム実体によってシステムコント ロールが提供される。システムの機能管理は、システムによって選定されたＰＥ の個数に関して実施される。制御ソフトウェアは次に示す機能成分を有すること が好ましい。 ａ．次の３つの基礎的な部分を結合してカプセルに入れる低レベルツールのラ イブラリである実時間監視。 ｉ．ＰＥ間においてデータを転送し、制御するメカニズム。 ｉｉ．アービトレーション（調停）。 ｉｉｉ．例えばセマフォ及びメッセージのような種々の制御構造のサポート 。 ｂ．例えばＰＥ間におけるタスクのパイプライン配分によりデータフローを容 易にするためにシステム構成及びジョブ配分をＰＥ間に適応させるように作動し 、ここではシステムタスクスケジューラとも呼ばれるジョブプランナ。 図面、及び、付録の簡単な説明 本発明は、次に示す図面及び付録と共に以下の詳細な説明によって理解かつ評 価されるはずである。 図１Ａは、先行技術による従来のＳＩＭＤ装置の簡素化された構成図である。 図１Ｂは、先行技術による従来のＭＩＭＤ装置の簡素化された構成図である。 図２は、本発明の好ましい実施例に従って作成され、かつ、作動するビデオ放 送装置の簡素化された構成図である。 図３は、図２の並列プロセッサ及びコントローラの簡素化された構成図である 。 図４は、ただ１つの単一広告サイトだけが識別され、そして、ただ１つだけの 単一広告だけが当該サイトに組み込まれる場合における図２の並列プロセッサ及 びコントローラの好ましい作動方法の簡素化された流れ図である。 図５は、複数の広告サイトが識別され、そして、対応する複数の広告が当該サ イトに組み込まれる場合における図２の並列プロセッサ及びコントローラの好ま しい作動方法の簡素化された流れ図である。この場合の広告内容は同じであって も異っても差し支えない。 図６は、図４及び５の分割過程を実施するための好ましい方法の簡素化された 流れ図である。 図７は、図４及び５の広告内容識別過程を実施するための好ましいモデル整合 方法の簡素化された流れ図である。 図８は、図４及び５の局所化過程を実施するための好ましい方法の簡素化され た流れ図である。 図９は、図４及び５の迫跡過程を実施するための好ましい方法の簡素化された 流れ図である。 図１０は、図４及び５の埋込み分析過程を実施するための好ましい方法の簡素 化された流れ図である。 図１１は、図２の広告組込みコントローラの好ましい作動方法の簡素化された 流れ図である。 図１２は、関心の的となっている移動物体を検出および追跡するための好まし い方法の簡素化された流れ図である。 図１３は、図２の並列プロセッサ及びコントローラの見本としての実時間実現 の高水準概略構成図であり、１０個の基板（「マルチＭＶＰブロック又はＭＭＢ とも呼ばれる）、そのうちの９個は同じであり（ＭＭＢ１−ＭＭＢ９）、そして 、第１０番目は入力／出力ＭＭＢ（ＭＭＢ０）であり、ここでは、「ＭＩＯＢ」 または「マルチ入力／出力ブロック」とも呼ばれ、一般に異なり、そして、図２ のフィールドグラバ及びフレームバッファを実現する。 図１４は、図１３の９個の同じＭＭＢ（マルチＭＶＰ基板）の個々の概略構成 図であり、個々のＭＭＢは９個の同じＳＭＢ（単一ＭＶＰブロック）を有し、そ のうちの１つはマスターとして使用され、８個は再構成を基調として任意のソフ トウェアを有するスレーブとして使用される。 図１５は、図１４のＳＭＢの個々の１つの概略構成図である。 図１６は、図１３の入力‐出力ＭＭＢ、ＭＭＢ０の概略構成図である。 好ましい実施例の詳細な説明 図２は、本発明の好ましい実施例に従って作成され、かつ、作動するビデオ放 送装置の簡素化された構成図である。 図２の装置は、通常、ビデオ収集装置、及び、そのうちの１つだけを図に示す 複数の遠隔放送局９４に物理的に近接して設置される広告処理センタ９０を有す る。例えばスポーツイベントのようなテレビ放送されつつあるシーンは、例えば 広告のような１つの新規な画像が重ね合わせられる少なくとも１つのロケーショ ンを含む。広告処理センタは、例えば、そこに広告が現れるべきサイトのロケー ション、その縮尺、サイトの画像を作るための透視図、及び、サイトに埋め込ま れる前景物体のロケーションなどのような、広告の上に新規な画像を重ね合わせ るために必要な全ての情報を生成し、そして、遠隔放送局９４に伝送することが 好ましい。組み込まれるべき新規な広告は各遠隔局９４において記憶され、そし て、これらの広告は、広告処理センタ９０によって生成された情報を用いて、到 着するビデオフレームに容易に組み込まれる。 図２の装置特有の利点は、既存のビデオフレームの分析機能が、新規な広告を フレームに組み込む機能から分離されることにある。新規な画像を広告に重ねる ために用いられる情報は、ただ１度だけ生成され、しかも、新規な広告のフレー ムへの組み込みを容易にするために、全ての放送局によって用いられる。 広告処理センタ９０は、例えば、ビデオカメラ、ビデオカセット、放送番組、 ビデオディスクのようなビデオ入力ソース１００、または、適当なコネクタを介 して、好ましくは、フィールドグラバ１１０に、又は、その代わりにフレームグ ラバに接続されるケーブル伝送番組を有する。今後、用語「フィールドグラバ」 にはフレームグラバが含まれるものとする。 フィールドグラバ１１０は、グラブされ、そして、ディジタル化されたフィー ルドを並列プロセッサ及びコントローラ１２０に供給する（後で、図３を参照し ながら更に詳細に説明する）。並列プロセッサ及びコントローラ１２０は、視界 内の所定の広告を、自動的に、検出し、識別し、位置付けし、そして、好ましく は、フレームバッファ１２４を介して、システムの広告サイト検出オペレーショ ンのユーザに対話型指示を提供するビデオディスプレイ１３０に関連付けられる 。ライトペン１４０はビデオディスプレイ１３０と関連付けられるか、又は、そ の代わりに、ビデオディスプレイ１３０がタッチスクリーンを有することが好ま しい。 本発明の代替実施例によれば、システムは、視界内における置き換えられるべ き１つ又は複数の広告の存在、及び、そのロケーションに関する表示についてユ ーザからの指示を受け取る。例えば、ユーザ入力は、ライトペン１４０によって 供給されても差し支えない。ユーザによって供給される指示は、例えば広告の概 略的な中心のような広告の内部的なロケーションの単一表示を含むか、或いは、 代置されるべき広告のそれぞれ２つの対面する反対側の２つの頂点、又は、４つ 全ての頂点に関する２つ又は４つの表示を含んでも差し支えない。 更に、ユーザは、随意に、広告の内容の表示も供給する。例えば、置き換えら れるべき広告を識別する題目のメニューを、表示フィールドのディスプレイに隣 接または重複するビデオディスプレイ１３０上に供給することが可能であり、更 に、ユーザは、該当する題名を識別するためにライトペンを使用することが出来 る。 広告画像および広告配列データベース１５０が提供されることが好ましく、供 給された場合には、例えばコンピュータ記憶装置のようなあらゆる適切なタイプ の記憶装置、又は、例えばハードディスクのような補助記憶装置に記憶可能であ る。広告画像および配列データベース１５０は、配置が事前に既知である場合に は、代置されるべき複数の広告の配置指示を記憶する。一般に、配置指示は、放 映中のフィールドに対する各広告のロケーションの指示を含まず、その代りに、 代置されるべき広告が当該フィールド内において配置されるべき順序の指示を含 む。例えば、一連の並置された２０件の広告は、放映フィールドの３辺の周りに 配置可能である。従って、データベース１５０は、広告が配置される順序に関す る指示を含むことが可能である。 更に、データベース１５０は、代置されるべき広告を認識することが出来るよ うに、これらの広告の画像を記憶することが好ましい。 データベース１５０内の広告画像は、フィールドグラバによるか、或いは、限 定的な意味を持つことなく、例えば画像処理ワークステーション、スキャナ、そ の他のカラー読取り装置、例えば、ハードディスク、ＣＤ ＲＯＭドライバのよ うな、あらゆるタイプの記憶装置、又は、上記の任意の装置への通信リンクのよ うな画像生成ユニットなどのような任意の適切な広告画像ソース１６０から供給 されても差し支えない。 ここでは補助出力とも呼ばれる並列プロセッサ及びコントローラ１２０の出力 は、各フレームに関して、広告が組み込まれるべきロケーションの指示、各広告 が組み込まれるべき透視図に関する指示、及び、該当する場合には、各広告の埋 め込み場所の前景物体のロケーションに関する指示を有する。補助出力は、その 代わりに、縮尺、ロケーション、及び、ビデオ画像内の他の識別される目印に関 する透視図的変換パラメータを含んでも差し支えない。 システムのビデオ及び補助出力は、衛星、または、その他の伝送９５を遠隔放 送局９４に提供するために適当なコネクタを介して適当な装置に供給することも 可能である。 例えば、衛星を介して、ＲＦ伝送を介して、または、ケーブル光学システムを 介するなどのあらゆる適切なビデオ放送技術を使用することができる。 ビデオ自体に関する補助情報量はビデオ自体に関する情報量に比較すると極め て少量である。補助情報は、オーディオチャネルによって送信することも出来る し、或いは、通常のタイムコードによってビデオ自体を送信しつつあるチャネル に同調した個別のチャネルによっても送信可能である。その代り、補助情報およ びビデオ自体を同一チャネルで送信するためにリンクのバンド幅は僅かに増大す る可能性がある。 放送局９４は、視聴者、および、付加的に、広告イメージソース（広告画像供 給源）１６６へアクセスする広告組込みコントローラ１６４への無線またはケー ブル伝送用の通常の放送設備（図示せず）を有する。イメージソース１６６は、 既存の広告に代置するか、或いは、広告によって現在占有されていないロケーシ ョンに配置することによって放映中のフィールドの画像に組み込むための一般的 には静止画像である複数の広告画像を記憶するハードディスクによって構成され ても差し支えない。広告組込みコントローラ１６４は、ビデオフレーム及び広告 処理センタ９０からの補助情報を受信し、そして、もとのロケーションにおける 前景物体による埋込み場所が組込まれた広告画像用として維持されるように適当 な部分が除去された状態における適切な透視図においてイメージソース１６６か らの１つ又は複数の広告画像を各ビデオフレーム内の適切なロケーションに組込 むように作動する。オプションとして、所定の広告組込みスケジュールに従い異 なる広告が同一ロケーションに組み込まれることもある。この場合、各広告は、 ゲーム内の所定の時間的長さに亙り、或いは、例えばゴールのようなゲーム内の 所定の出来事の発生に際して組み込まれる。 コントローラ１６４操作の好ましい方法については、図１１を参照して説明す る。 図３は、図２の並列プロセッサ及びコントローラ１２０の簡素化された構成図 である。並列プロセッサ／コントローラ１２０は、広告サイト検出／内容識別ユ ニット１７０、複数の並列追跡モジュール１８０、埋込み場所分析ユニット１９ ０、及び、コントローラ２１０を備えることが好ましい。 図３の広告サイト検出／内容識別ユニット１７０は、適当な個数の適当な画像 処理基板を基調として実現可能である。分割タスクを実施するために、これらの 基板には特殊設計された双対プロセッサを付加することが好ましい。画像処理基 板は、図６及び７に示す広告サイト検出および内容識別方法に基づいてプログラ ムされる。各々の並列追跡モジュール１８０は、１つ又は複数の画像処理基板を 基調として実現可能である。画像処理基板は、図９に示す追跡方法に基づいた並 列操作用にプログラムされる。埋め込み場所分析ユニット１９０は、同様に、図 １０に示す埋込み場所分析に基づいてプログラムされた１つ又は複数の多重ＤＳ Ｐ（デジタル信号処理）基板を基調とすることも可能である。例えば、コントロ ーラ２１０は、図４から５までに示す制御方法に基づいてプログラムされたシリ コン・グラフィックス・インディ・ワークステーションを備えても差し支えない 。 図４は、１つの単一広告サイトに限って識別する場合における、図２に示す並 列プロセッサ及びコントローラ１２０の好ましい操作方法の簡素化された流れ図 である。 図５は、複数の広告サイトを識別する場合における、図２に示す並列プロセッ サ及びコントローラ１２０の好ましい操作方法の簡素化された流れ図である。 図５の方法は、通常、図４の過程に類似する次に示す過程を有する。従って、 説明を簡潔にするために、図４の過程については個別に説明しないこととする。 過程２９０：ディジタル化されたビデオフィールドが、図２のフィールドグラ バ１１０から受信される。 過程３００：判断は、現行電流磁界磁場における 少なくとも１つの広告が前 のフィールドにおいて所在した（そして、同一カメラによってテレビ放送された ）かどうかを判定する。所在した場合には、現行フィールドを「連続」フィール ド と称し、そして、分割、内容識別、及び、局部化過程３２０、３３０、及び、３ ４０は、ただ１つの追跡過程３１０によって置き換えられることが好ましい。存 在しない場合には、現行フィールドは「新規」フィールドと称される。 フィールドが「連続」フィールドである場合には、現行フィールドは「連続」 フィールドであるので、前のフィールドに所在した少なくとも１つの広告に基づ いて複数の広告が追跡される（過程３１０）。 フィールドが「新規」フィールドである場合には、広告がそこに組み込まれる べき広告サイトは、過程３２０、３３０、及び、３４０において識別される。処 理されるべき複数の広告の中の各広告に関してループが実施される。好んで、分 割、及び、内容識別過程３２０、及び、３３０は、処理された最初の広告に関し てのみ実施される。 過程３２０において、通常、全体的に並列な１対の線が検出され、そして、フ ィールドの画像が分割される。詳細には、通常、一連の広告の最上および最低境 界に対応する検出された２本の平行線の内側に位置するフィールドの部分は、フ ィールドの残りの部分から分割される。 一般に、分割過程３２０は、結像カメラレンズのズーム状態、視界（ビデオフ ィールド）内における広告のロケーション、大地に対する結像カメラの角方位、 及び、ＴＶカメラのロケーションには無関係に広告を分割するように作動する。 分割過程３２０は、例えば、ただし限定的意味を持つことなく、次に示す条項 に個別的または任意の組合わせとして、通常、空の、或いは、占有された広告サ イトを識別するように作動する。 ａ．例えば実質的に最上および最低境界に平行であるか、或いは、例えば実質 的に矩形を構成する図形に配置された４つの頂点のような広告の境界の幾何学的 属性。 ｂ．広告画像内に提示される以前に既知であるような１つの色、又は、色の組 み合わせ、又は、カラーパターン。 ｃ．一般に前もって既知である広告画像の空間周波数帯域。通常、既知の空間 周波数帯域は、広告の高さによって正規化される。この場合の広告の高さは、一 連の広告の最上、及び、最低境界として既知である１対の検出済み水平線の間隔 を計算することによって求められる。 過程３３０において、実質的に平行な２本の線の間の部分の内容は、置換えら れるべき広告の記憶済み表現に適合される。 過程３２０、及び、３３０は、スポーツイベント期間中にカット（同時にスポ ーツイベント同時に結像中の複数のカメラの出力の間における、通常、突発的な 遷移）が起きた場合であっても、広告サイトを識別可能にし、そして、その内容 を記憶済みモデルに適合可能にする。一般に、各カットに際して、過程３２０、 及び、３３０は、当該カットの最初の２、３個のフィールド内において広告を識 別するように実施される。その次のカットが発生する時まで、通常、識別済みの 広告が追跡される（過程３１０）。 過程３４０において、広告は、サブピクセルの精度において局所化される。 最終的に、各広告に関して、埋め込み場所分析が実施される（過程３５０）。 本発明の代替実施例によれば、その内容が前以て既知であるような置き換えら れるべき広告のロケーションを識別する物理的な目印が、放映中のフィールド内 において時間的に先に位置決め及び捕捉される場合、分割及び広告内容識別過程 ３２０及び３３０は各々省略しても差し支えない。 図６は、図４および５に示す分割過程３２０を実施するための好ましい方法の 簡素化された流れ図である。 図６に示す方法は、次の過程を有することが好ましい。 過程３８０：新規フィールドが受信され、そして、先行過程がより低い解像度 において適切に実施可能であるので、その解像度が低下されることが好ましい。 ７５０ｘ５００画素フィールド１２８ｘ１２８画素に低下させるために、例えば 、ローパスフィルタを使用しても差し支えない。 過程３９０：オプションとして、長いか、或いは、実質的にの水平な線を検索 するというタスクと無関係な情報を除去するように、例えば、中間濾波またはロ ーパス濾波によって、低い解像度の画像が平滑化される。 過程４００：例えば、ＩＥＥＥ変換パターン分析及び機械知能、第８巻、６７ ９−６９８頁、１９８６年１１月に、Ｊ．Ｆ．Ｃａｎｎｙによって発表された「 縁検出のための計算的な方法」の場合のように、任意の適当な縁検出方法を用 いて、縁および線が検出される。 過程４０４：過程４００において検出された縁は薄くされ、そして、その成分 は、接続性分析のための従来の技法を用いて接続される。勾配の小さすぎる縁を 廃棄するように縁に関して限界が設けられる。 過程４０８：過程４００及び４０４において検出された縁は、細片、即ち、比 較的長い並列または殆ど平行な線の対を発見するために、対として比較される。 この種の対が無い場合には、方法は終了する。 過程４１２：各細片内において空間周波数スペクトルを見付け、そして、その 空間周波数内容が、広告に関して予測される空間周波数帯域と互換性のない細片 を拒絶する。一般に、拒絶基準は、例えば３個または４個の細片のように複数の 細片が残ることである。 過程４１６：残っている細片を等級付けし、そして、最も高い等級の細片を選 定する。細片に割り当てられる等級は、当該細片が広告を有する確率に依存する 。例えば、フィールドの上側半分内の最も低いロケーションにおける細片には、 それよりも高い所に所在する細片よりもより高い等級が与えられる。理由は、そ れよりも高い所に所在する細片は競技場の一部分の画像である可能性が大きいこ とに因る。最も低い位置に有る細片は、一般に競技場よりも低い位置に配置され る広告である可能性が大きい。 フィールドの底部に隣接する細片には低い等級が与えられる。理由は、競技が 行われているフィールドが全然映されていない場合には、広告はビデオフィール ドの底部に向かってのみ画像が作られ、このような状況が発生する可能性は非常 に小さいことに因る。 図７は、図４及び５に示す広告内容識別過程３３０を実施するための好ましい モデル整合方法の簡素化された流れ図である。その代りに、図２を参照して既に 説明したように、広告内容の識別は、ユーザによって提供されても差し支えない 。 図７の方法は、図６の過程３８０に関して既に説明したように、低い解像度に おいて実施されることが好ましい。図７の方法は、次に示す過程を含むことが好 ましい。 過程４２０：前述の過程４２４、４３０、４３６、４４０、４４４、及び、４ ５２は、図４及び５に示す分割過程３２０において識別される各々が殆ど平行な 細片に関して実施される。 過程４２４：各細片の２本の線の間の距離および角度が算定され、そして、細 片が画像化される場合に用いられる縮尺および概略の透視図が算定結果から決定 される。 過程４３０：準備に際して、各広告モデルは複数のウィンドウに分割される。 過程４３６、４４０、及び、４４４は、各広告モデルの各ウィンドウに関して実 施される。例えば、各々が６個のウィンドウに分割された５個のモデルが有る場 合には、この過程は３０回実施される。 過程４３６：１次元類似性探索は、現行の殆ど平行な細片に沿って、適宜縮尺 された現行モデルウィンドウｋに関して実施される。一般に、相互相関関数は、 現行ストリップ細片に沿って、各画素に関して算定可能である。 過程４４０：過程４３６において求められた相互相関関数値には限界が設けら れる。例えば、０．６を越える値には値１（相互関係有り）を割り当て、０．６ 以下の値には値０（相互関係なし）を割り当てても差し支えない。１は、それら の対応するウィンドウの「重要度」に応じて重み付けされる。各ウィンドウの「 重要度」は、より多くの情報を含むウィンドウは殆ど情報を含まないウィンドウ よりも重要度が高いように、準備に際して決定されることが好ましい。 過程４４４：この段階において、重み付けして限界設定された相互相関関数値 が算定済みである。これらの値は、細片に沿った各位置の内容（例えば、１つの 単一画素の距離に相当する間隔を保って細片に沿って配列された複数のウィンド ウの各々の内容）を、当該細片内において発生することが既知である各モデル広 告の各ウィンドウに整合させた場合の結果を表す。 重み付けされて限界設定された相互相関関数値は、モデルサイン又はモデル細 片を構成する全てのウィンドウについて蓄積される。 過程４５２：細片内における一連の広告モデルの概略ロケーションに関して決 定が行われる。１つの広告モデルのロケーションが一度決定されると、同一シー ケンス内の他の広告モデルのロケーションも同様に決定され、画像作成された細 片の縮尺およびお概略の透視図が分かることに注意されたい。 図８は、図４及び５に示す精密な局所化過程３４０を実施するための好ましい 方法の簡素化された流れ図である。図７の方法によっておおよそ局所化された広 告モデルは、図８において、サブピクセルの精度まで局所化される。精密な局所 化は、一般に、新規フィールドに関してのみ実施される。「連続」フィールドに 関しては、広告のロケーションはビデオ追跡によって測定されることが好ましい 。 図８の方法は、次に示す過程を有することが好ましい。 過程４６０：次に示す情報は、検出済みの広告に関して図７から入手できる。 即ち、例えば広告の１つの頂点のような広告内の１つのロケーション、画像にお ける広告縮尺高さ、及び、その概略の透視図である。この情報は、それぞれ検出 された広告（サイン）の４つの頂点を計算するために用いられる。 過程４６４：一般的な矩形モデルを検出済み広告エリアに「変形」する方法に ついて記述する透視図変形が計算される。この場合の検出済み広告エリアは、結 像カメラに関係する当該エリアの姿勢に関係して、通常、非矩形である。 過程４６８：準備に際して当該モデルが分割される複数のモデル追跡ウィンド ウの各々の内容が、過程４６４において算定された透視図変形を用いてビデオフ ィールドにマップされる。 過程４７０：過程４７２及び４７６が、各々のモデル追跡ウィンドウに関して 実施される。 過程４７２：現行モデル追跡ウィンドウが、ビデオフィールドにおいて定義さ れた探索エリアによって翻訳される。探索エリア内のモデル追跡ウィンドウのそ れぞれの位置に関して、類似性誤差関数（相関相互関係または差の絶対合計に類 似する）が計算される。一般に、モデル追跡ウィンドウは、探索エリア内にいて ８ｘ８、または、１６ｘ１６の異なる位置を有する。 過程４７６：現行モデル追跡ウィンドウに関する最小類似性誤差関数が求めら れる。最小値は、例えば、過程４７２において生成された類似性誤差関数に２次 元放物線を適合させ、そして、サブピクセルの精度で求めることが好ましい。こ の最小値は、電流に関してために用、ビデオフィールド内における現行モデル化 追跡ウィンドウに関する、「サブピクセル精度」における最良位置に相当する。 類似性誤差関数の最小値（過程４８０）が全ての追跡ウィンドウに関して高い 場合、即ち、どの追跡ウィンドウもビデオフィールドに良く整合出来ない場合に は、現行フレームの処理（過程４８２）が終了し、そして、図４の方法は、過程 ３２０からその次のフレームに向かって前進方向に実施される。 過程４８４：高い類似性誤差関数最小値を持つ追跡ウィンドウが拒絶される。 一般に、約３０個の追跡ウィンドウが残る。 過程４８８：追跡ウィンドウを整合することにより、局所化の他の反復操作を 実施するかどうかを決定する停止判断基準である。一般に、追跡ウィンドウの中 心が、最後の反復において識別される中心に対して収斂する場合には、本過程は 終了する。そうでない場合には、方法は過程４６４へ戻る。 過程４９０：追跡ウィンドウロケーションが一度収斂してしまうと、画像の広 告とそのモデルとの間の透視図変形が再計算される。 図９は、図４及び５の追跡過程３１０を実施するための、好ましい方法の簡素 化された流れ図である。図９の方法は、次に示す過程を有することが好ましい。 過程４９２：透視図変形はモデル追跡ウィンドウに関して実施され、そして、 それらの内容はビデオフィールドにマップされる。この過程は、その前のフィー ルドにおける広告のロケーションに関するシステムの知識を用い、そして、スポ ーツイベントをカメラ結像する予測走査速度を用いることが好ましい。 過程４９６：それぞれ図８の過程４７２及び４７６に類似する過程４９８及び ５００は、各モデル追跡ウィンドウに関して実施される。 過程５０８及び５１２は、図８の過程４８８及び４９０と同様であっても差し 支えない。 過程５１０：ウィンドウ中心のロケーションが未だ収斂しない場合には、過程 ４９２が再度実施される。ただし、この場合、基本構造的なマッピングは、その 前の反復操作における透視図変形に基づくものとする。 過程５２０：カメラの走査動作が平滑であるために、不連続性はノイズである と仮定出来るので、透視図変形の係数は一時的に平滑化されることが好ましい。 図１０は、図４及び５に示す埋込み場所分析過程３５０を実施するための好ま しい方法の簡素化された流れ図である。図１０の方法は次に示す過程を有するこ とが好ましい。 過程５３０：ビデオフィールドにおける広告画像が、図９の過程５１２におい て計算されたように、或いは、図８の過程４９０における新規フィールドに関し て、その遠近図的に変形されたモデルから差し引かれる。 過程５３４：広告画像と記憶済み広告との同一性は、過程５３０において算定 された差の値を検査することによって立証される。広告画像と記憶済み広告が同 じでない場合には、現行フィールドはそれ以上処理されない。その代りに、その 次のフィールドが、図５の過程３２０から開始して処理される。 過程５３８：内部縁は人工物であると仮定されるので、過程５３０において計 算された差画像から内部縁効果が濾過される。 過程５４２：差画像における大きい非黒色部分は埋め込み部分であるものと定 義される。 過程５４６：埋め込み過程は連続的であると仮定しても差し支えないので、埋 め込みマップ一時的に平滑化されることが好ましい。 図１１は、図２の広告組み込み過程１６４を実施するための好ましい方法の簡 素化された流れ図である。図１１の方法は、次に示す過程を含むことが好ましい 。 過程５６０：広告モデル、即ち、記憶装置内の広告の置き換えの解像度が置き 換えられるべき広告の画像が作られた時の解像度に対応するように調節される。 一般に、１つの単一広告モデルが幾つかの異なる解像度において記憶される。 過程５７０：３線補間法を用いて、置き換え広告が変形され、そして、ビデオ フィールドポーズに質感マップされる。この過程は、一般に、図９の過程５１２ の結果に基づくか、或いは、新規フィールドの場合には、伝送リンクを経て組み 込みユニット９４に中継された図８の過程４９０の結果に基づく。 過程５８０：エイリアシング効果が除去される。 過程５８４：置き換え画素が埋め込みマップに応じてキー入力される。置き換 え画素の値は、既存の値に完全に置き換わるか、又は、重み付け平均を用いて既 存の値と組み合わせても差し支えない。例えば、第１の代替は中間画素のために 使用されるが、第２の代替は縁画素のために使用することが出来る。 上述の装置および方法の適用可能性は広告の検出、追跡、及び、置換え、また は、強化のみに制限されない。例えば、開示された装置および方法は、図１２に 示すように、例えば、関心の的となっている競技者、及び、例えば、ボール、ラ ケット、クラブ、及び、例えば他のスポーツ用具のような関心の対象となる動く 物体を検出および追跡するために使用することも出来る。次に、これらの動く物 体の画像は、例えばメーカのロゴのような広告を含む「トレール」を付加するこ とによって修正しても差し支えない。 図１３は、図２に示す並列プロセッサ及びコントローラのサンプル実時間実現 の高水準の概略図である。図に含まれる１０個の基板（ＭＭＢ）のうちの９個は 同じ（ＭＭＢ１−ＭＭＢ９）６００であり、１０番目の入力‐出力ＭＭＢ（ＭＭ Ｂ０）６０１は、通常、他と異なり、そして、図２のフィールドグラバ及びフレ ームバッファを実現する。 図１４は、図１３に示す９個の同じＭＭＢ（マルチＭＶＰ基板）の個々の１つ の概略構成図であり、個々のＭＭＢは９個の同じＳＭＢ（単一ＭＶＰブロック） を有し、９個のうちの１個はマスターとして役立ち、そして、８個は動的に再構 成可能なスレーブとして役立つ。 図１５は、図１４に示すＳＭＢの個々の１個の概略構成図である。 図１６は、図１３の入力‐出力ＭＭＢ、ＭＭＢ０の概略構成図である。本発明 によって提供される機械視覚法は、非常に多量かつ多様な並列方式を用いる。視 覚には３つの処理レベルがある、即ち、低（感覚的）、中間（象徴的）、及び、 高（知識ベースの）レベルである。 視覚タスクに加えて、本発明は、新規に作られた画像の統合を提供する。画像 処理及びコンピュータグラフィックスオペレーションの組合わせが用いられる。 ここに図示し、説明した装置の特徴は、実時間ビデオ画像処理（視覚）オペレー ション、並びに、人工的に作られた画像を加えることにより画像が修正されるグ ラフィックスオペレーションを実施する能力を持つことである。例えば、複雑な 質感マッピングオペレーションが実施され、この場合、新規に計算された真の透 視図質感マップされたサインが画像内の既存のサインに置き換わる。 視覚における一般的なセンサは、例えば、赤、緑、及び、青の３色成分によっ て表される７２０ｘ５６０画素の解像度を持つカメラを備える。画像を構成する 複数のブロックは、一般に、並列処理される。ビデオソースからの画像は、パイ プライン並列方式を必要とすることが好ましい機械内に着実に流入する傾向があ る。本発明は、多重センサデータの開発を可能にし、従って、更に可能性を持っ た他の並列方式のソースを提供する。ここに図示および説明されたシステムは、 例えば線、領域、テクスチャパッチ、及び、運動パラメータのような１つの画像 または画像の集合から多くの特徴を抽出する。これらの処理過程は、平行して実 施されることが好ましい。 ここに図示および説明されたシステムは、一連のビデオ内の１つの画像内にお いて認識された物体を、正しい透視図、照明、及び、ぼかし効果を用いて画像平 面に投影された新規に作られた３Ｄ物体に対して、加えるか、或いは、交換する ように作動する。 ここに図示および説明されたシステムは、次に示すハードウェアの３つの主要 ブロックを有する。 ａ．各ＰＥが記憶装置を備えた１個のＭＶＰ ＴＩチップを有することが好ま しい複数のＰＥ（処理要素元）、及び、別のＰＥを用いてデータを交換するよう に作動する１つのデータ交換モジュールを有する処理ブロック。 ｂ．処理ブロックに対して複数のビデオ信号を入力および出力する入力／出力 モジュール。 ｃ．各ＰＥブロック及び各モジュールカードに埋め込まれ、そして、クロスバ スイッチによってデータの交換を可能にし、更に、ハードウェアによって１つの ＰＥからＰＥの任意の集合にあらゆるタイプのデータを放送することを可能にす る相互接続ブロック。 視覚の３レベル（低、中間、及び、高）、及び、グラフィックスは、ＴＩ Ｍ ＶＰチップによって実現可能な同一ＰＥ上で扱われる。各ＴＩ ＭＶＰチップは 、全てが幾つかの記憶装置に連結する通信リンクを備えた幾つかの個別プロセッ サによって構成されたＶＬＳＩである。クロスバスイッチは、プロセッサ記憶装 置リンクを確立するために用いられる。各プロセッサは、同時に同一インストラ クションを実行するか（ＳＩＭＤモード）、または、同時に異なるインストラク ションを実行する（ＭＩＭＤモード）ように作動する。 本発明は、階層アーキテクチャに基づいた多重ＴＩチップを使用する効果的な 方法を提供する。特に、各基板は、１つのマスターＭＶＰを有し、基板の各集合 はシステムマネージャＭＶＰチップを有する。従って、特定のアプリケーション に応じてハードウェア及びソフトウェアを再構成する可能性を提供する。 図１３は、好ましいアーキテクチャの概観である。システムは、１つのボック ス、または、ボックスの集合に含まれ、各ボックスは、この場合にも「ＭＭＢ」 （多重ＭＶＰブロック）と称する多数の同じ基板を含む。システムは、９個のＰ Ｅの間の通信チャネルを有し、そのうちの１つは、他の８個のマスターとして用 いられる。任意のＰＥを任意のタイプの処理用に使用出来る。各々のＰＥは、ク ロスバーブロック用の記憶装置および通信手段と共に、１つのＭＶＦに関する全 ての環境を含むＳＭＢ（単一ＭＶＦブロック）上に構成される。各基板上の全て のＳＭＢはクロスバーによって相互接続され、このクロスバーは、ＰＥの間に少 なくとも４つの同時に異なるチャネルを提供し、同様に、１つのＰＥ（ＴＩ−Ｍ ＶＦ）の間のデータブロックの任意の集合を他のＰＥの１つの集合に放送する能 力を提供する。 各通信チャネルは、基板上において共用記憶装置に接続される。システムは、 各々のＰＥの動作を妨害することなしに、ビデオＩ／Ｏブロックからの生ビデオ 信号を全てのＰＥへ転送することが好ましい。 図１４は、個々のＭＭＢの簡素化された構成図である。図に示すように、各Ｍ ＭＢは以下の項目を有する。 １）ビデオＩ／Ｏブロックからのビデオデータを実時間において受信し、そし て、それを、基板上の任意のスレーブに放送するビデオバス制御ブロック６０８ 。ビデオバス制御ブロック６０８は、ＳＭＢ＃９（６０６）によって制御される 。 ２）複数のＳＭＢ（ＰＥ）６０４及び６０６。図に示す実施例においては、例 えば９個のＳＭＢ。各ＳＭＢは、ＰＥを有し、そして、２つのバス６２２及び６ ２４（図１５）を有する。そのうちの一方はスレーブバス６２４であり、そして 、他方はマスターバス６２２である。各々のバスは異なる記憶装置ブロックへ接 続され、その結果、データはスレーブバス及びマスターバスを同時に通って移動 することができる。 ３）ＣＢＴ−（クロスバトランシーバ）は、ここでは、クロスバースイッチ６ １０とも呼ばれ、マスターＳＭＢ（ＰＥ）６０６を介して、融通性に富むチャネ ル選択を提供する。ＣＤＴ ６１０はマスターバス６２２（図１５）を有する。 従って、チャネルは調停され、そして、ＣＤＴ ６１０は、再構成される。１組 のＳＭＢ ６０４だけが接続される。それによって、ＳＭＢ ６０４のうちの任 意のＳＭＢ間における通信は、ポイント・ポイント、或いは、同報通信オペレー ションのいずれかである。１つのＣＤＴは、各ＳＭＢへ接続され、それによって 、マスターバスが４個の通信チャネル６１１、６１２、６１３、及び、６１４の うちの１つに接続可能になる。１つのＳＭＢが１組の他のＳＭＢに接続使用とす る場合には、自由なチャネルに関して調停する。ＳＭＢが自由なチャネルを受信 すると、マスターＳＭＢ ６０６に応答し、その後で、必要なデータパケットを 自体から他の全てのＳＭＢに送る。ＣＢＴは、記憶装置を共用することが好まし く、共用ブロック６１５の１つは記憶ブロック６００と共有する。 ＳＭＢは、ＳＭＢの間で通信を提供するためにマスターバスを使用するマスタ ープロセッサを介してＳＭＢ間で交信可能である。接続が形成された後では、デ ータのブロックをチャネルにおける成員に同報通信するために、マスターによっ て１つのＰＥが選定可能である。その代りに、ＳＭＢのうちの任意の１つがネッ トワークを介してパケットを直列に送信可能である。 図１５は、個々のＳＭＢの構成図である。各々のＰＥ−ＭＶＰチップ６２０は 、実質的にあらゆるタイプの画像処理及びグラフィックス処理に適合するに充分 な融通性を備える。ここに図示して説明済みの制御方法は、１つの単一プロセス が同一ＭＭＤ、及び／又は複数のＭＭＢ上の幾つかのＭＶＦ上で実行可能である よな融通性を持つことを容易にする実時間監視を有する。 各ＳＭＢに関して、４つの３２ビットＰＥ整数プロセッサ及び１つの３２ビッ トＭＦ ＲＩＳＣ（節減インストラクションセットコンピュータ）プロセッサを 含み、１つの浮遊プロセッサを有する１つの ＭＶＰが使用される。各ＭＶＦは 、１サイクル当たり最大６０までの同時発生ＲＩＳＣオペレーション（１秒当た り３０億オペレーション）及び１００ ＭＦＬＯＦＳ ＲＩＳＣを可能にする。 ２００個のＭＶＰを有する１つのボックスは、１秒当たり６０００億オペレーシ ョン、および、１秒当たり２００億浮遊オペレーションを実施可能である。 図１６は、図１３のＩ／Ｏ ６０１の構成図であり、このステージングモジュ ールは１つ又は複数のセンサがビデオバッファ６４０に画像を入力することを可 能にする。バッファ６４０は、パイプラインにおける各センサに関して幾つかの フレームを保持し、そして、それらのうちの任意の集合をＭＭＢの任意の集合に 同報通信することが出来る。入力ビデオは、ビデオを大域コネクタ６３３を介し て大域バスへ転送するブロック６３２へ接続する。 システムからの出力ビデオは、システムにおけるデジタルビデオを標準ＣＣＩ Ｒ ６０１ Ｄ１信号に翻訳する出力ブロック６３４を介して転送される。ＬＡ Ｎ（ローカルエリアネットワーク）接続ブロック６３６は、例えばＬＡＮ（ロー カルエリアネットワーク）接続６３８を経由するコンピュータ６４２（図１３） のように任意の外部ホストコンピュータからのシステム制御を可能にする。シス テムは、そのパイプライン深さに再構成可能である。換言すれば、プロセスにお けるそのタスクに基づいた各ＭＭＤは所要数の画像を記憶する。ここに図示して 説明した実施例においては、パイプライン深さ６が必要とされる。このブロック は、ＮＴＳＣ（米国ビデオ規格）において毎秒３０フレームで全解像度放送ビデ オ信号、または、ＰＡＬ（欧州ビデオ規格）発信の２５フレームを持続可能であ る。オペレーションは、フィールドレベル或いはフレームレベルのいずれかにお いて実施可能である。 システム制御は、各ＰＥ上に装備される階層配分されたプログラム実体によっ て提供される。システムの機能管理は、システムが選定したＰＥの個数に関して 実施される。制御ソフトウェアは、次に示す機能成分を有することが好ましい。 ａ．次の３つの基礎的な部分を結合してカプセルに入れる低レベルツールのラ イブラリである実時間監視。 ｉ．ＰＥ間におけるデータ転送および制御のメカニズム。 ｉｉ．アービトレーション（調停）。 ｉｉｉ．例えばセマフォ及びメッセージのような各種制御構造のサポート。 ｂ．例えばＰＥ間のパイプラインタスク配分によってデータフローを容易にす るためにシステム構成及びＰＥ間のジョブ配分を適応させるように作動するジョ ブプランナ。ここでは、システムタスクスケジューラとも称する。 広告置換えアプリケーションにおいては、現行画像における物体のロケーショ ン及び他の属性に従って、ジョブプランナは、一連のマクロオペレーション選定 する。各マクロオペレーション自体は、ライブラリにおける一連の低レベルツー ルを有する。更に、ジョブプランナは、特定のマクロオペレーションを実施する ために特定のＰＥを動的に任命する。例えば、サイン又はサインの部分を埋め込 むためのプレーヤ数および埋め込まれたエリア全体は、それぞれ、ＰＥ間のタス ク配分に影響する。一方、ハードウェアシステムは適応性に乏しく、従って、効 果も劣る。 ここに図示して説明したアーキテクチャは、殆ど無制限に拡張可能であること に注意されたい。 本発明のソフトウェア成分は、必要に応じて、ＲＯＮ（固定記憶装置）の形に おいて実現可能であるか、或いは、ＲＡＭ（等速呼出記憶装置）にロードするこ とが可能であることに注意されたい。一般に、ソフトウェア成分は、必要に応じ て、従来の技法を用いることにより、ハードウェアにおいて実現可能である。 説明を明瞭にするために個別の実施例の文脈において記述された本発明の種々 の特徴は、１つの単一実施例として組合わされた形で提供することも可能である ことに注意されたい。逆に、簡潔にするために１つの単一実施例の文脈において 記述した本発明の種々の特徴は、別々に、或いは、適当な部分的組み合わせとし て提供することも可能である。 当該技術分野における熟達者にとっては、本発明が以上に図示して説明した範 囲にのみ制限されるものでないことが理解されるはずである。本発明の適用範囲 は、次に述べる特許請求の範囲によってのみ定義される。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)， ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ Ｈ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ， ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＴ， ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ

Claims (1)

1. 【特許請求の範囲】 １．一連の既存画像の各々の一部分を新規画像によって置き換えるための装置 において、 それぞれ一連の既存画像を表す一連のフレームをつかむように作動するフレー ムグラバと、 新規画像をそこに組み込むために各既存の画像内の少なくとも１つのサイトを 検出するように作動するローカライザと、 当該サイトの画像が作成される透視図を検出するために作動する透視図変形装 置と、 複数の遠隔場所の各々へ、各フレームに対して、フレームに表された既存の画 像、当該サイトの座標、及び当該サイトの画像が作成される透視図を伝送するよ うに作動する送信機 を有することを特徴とする装置。 ２．一連の既存画像の各々の一部分を新規画像によって置き換えるための方法 において、 新規画像を供給する過程と、 遠隔送信機から、一連のフレームにおける各フレームに対して、当該フレーム に表された既存の画像と、既存画像内において、新規画像を組み込むためのサイ トの座標と、サイトの画像が作成される透視図を表す透視図変換を受信する過程 と、 透視図変換を新規画像に適用する過程と、変形された新規画像を当該サイトに おける各既存の画像に質感マッピングする過程と、 を有することを特徴とする方法。 ３．請求項１記載の装置において、当該サイトが背景サイトを有し、当該装置 が少なくとも部分的に背景サイトに埋め込まれる前景物体を識別するように作動 する埋込み場所アナライザを有し、各フレームに関して、背景サイトの埋込み場 所のマップを送信機が同様に伝送することを特徴とする装置。 ４．請求項２記載の方法において、遠隔送信機から背景サイトの埋込み場所マ ップを受信する過程を有し、前記の質感マッピングする過程が変形済みの新規画 像を各既存両像に前記サイト内の埋め込まれないロケーションにおいてのみ質感 マッピングする過程を有することを特徴とする方法。 ５．請求項１または請求項３記載の装置において、新規画像が広告を有するこ とを特徴とする装置。 ６．請求項１または請求項３記載の装置において、各既存の画像が同様に広告 を有することを特徴とする装置。 ７．請求項１、３、５、または、６のうちのいずれかに基づく装置において、 既存の画像を記憶装置に記憶するように作動する既存の画像記憶装置を有し、ロ ーカライザが当該サイトを記憶されている既存の画像と比較するように作動する 画像識別装置を有し、送信機が各サイトに関して当該サイトにおいて現れる既存 の画像を識別するラベルを同様に伝送するように作動することを特徴とする装置 。 ８．請求項２または請求項４記載の方法において、 当該サイトにおいて現れる既存の画像を識別するラベルを遠隔送信機から受信 する過程と、 前記のラベルに基づいて新規画像を選定する過程と、 を有することを特徴とする方法。 ９．請求項１記載の装置におけるローカライザにおいて、 それぞれ一連のＳＭＢユニット及び少なくとも１つの相互接続バスを有する多 重ビデオデータ入力／出力装置、及び、多重相互接続ＭＩＭＤ装置と、 ビデオデータ入力／出力装置を選定された幾つかのＳＭＢ装置と相互接続する ための少なくとも１つの放送バスと、 を有することを特徴とする装置。 １０．請求項９記載の装置において、画像処理プリミティブのライブラリを含 む記憶装置と、ライブラリ内の画像処理プリミティブの少なくとも幾つかを有す る選定されたシーケンスを受信するための手段と、利用可能な資源を能率的に利 用する選定済みシーケンスを実施するためのパイプラインと、選定済みシーケン スのパイプライン動作を制御するための手段とを有することを特徴とする装置。 １１．ビデオデータソースからビデオデータを実時間でインポートして処理す るように作動する実時間ビデオ画像処理装置において、 複数の第１ビデオデータ入力／出力装置と、 それぞれが一連のＭＩＭＤユニット及び少なくとも１つの相互接続バスを有す る相互接続された複数の第２ＭＩＭＤ装置と、 複数の第１ビデオデータ入力／出力装置、及び、ビデオデータ入力／出力装置 からＭＩＭＤ装置までの少なくとも１つの同報通信チャネルを定義する少なくと も幾つかの相互接続された複数の第２ＭＩＭＤ装置を相互接続する少なくとも１ つの同報通信バスと、 少なくとも幾つかの相互接続された複数の第２ＭＩＭＤ装置を相互接続する少 なくとも１つの通信バスと、 を有することを特徴とする装置。 １２．請求項１１記載の装置において、少なくとも１つの同報通信バスが複数 の同報通信バスを有することを特徴とする装置。 １３．実時間ビデオ画像処理装置により多重過程タスクのパイプライン動作を 制御するための方法において、 複数の第１ビデオデータ入力／出力装置と、それぞれ一連のＭＩＭＤユニット 及び少なくとも１つの相互接続バスを有する相互接続された複数の第２ＭＩＭＤ 装置と、複数の第１ビデオデータ入力／出力装置、及び、ビデオデータ入力／出 力装置からＭＩＭＤ装置までの少なくとも１つの同報通信チャネルを定義する少 なくとも幾つかの相互接続された複数の第２ＭＩＭＤ装置を相互接続する少なく とも１つの同報通信バスと、少なくとも幾つかの相互接続された複数の第２ＭＩ ＭＤ装置を相互接続する少なくとも１つの通信バスと、画像処理プリミティブの ライブラリとを提供する過程と、 ライブラリにおける少なくとも幾つかの画像処理プリミティブを有するユーザ によって選定されたシーケンスを受信する過程と、利用可能な資源を能率的に利 用するユーザによって選定されたシーケンスを実施するためにパイプラインを作 成する過程と、ユーザによって選定されたシーケンスを実施するためのパイプラ イン動作を制御する過程と、 を有することを特徴とする方法。 １４．請求項１３記載の方法において、更に、中間結果に基づいて、パイプラ インの深さを選定する過程を有することを特徴とする方法。 １５．請求項１２記載の装置において、システムの機能管理が、システムによ って選定された個数のＰＥに関して、制御ソフトウェアを用いて実施され、前記 の制御ソフトウェアにおいて、 基礎的部分を結合してカプセルに入れる低レベルツールのライブラリを有する 実時間監視と、 データフローを容易にするために、システムの構成及びＰＥ間におけるジョブ の配分を適応させるように作動するジョブプランナと、 を有することを特徴とする装置。 １６．請求項１５記載の装置における、基礎的な部分において、 ＰＥの間においてデータを転送し、そして、制御するメカニズムと、 アービトレーション（調停）装置と、 制御構造サポート手段と、 を有することを特徴とする装置。 １７．請求項１５または請求項１６記載の装置において、ＰＥ間にタスクをパ イプライン配分することによりデータフローが容易になることを特徴とする装置 。