JP4641566B2 - 物理的なセンサーおよびパターン認識の結合を用いたビデオストリームへの画像挿入 - Google Patents
物理的なセンサーおよびパターン認識の結合を用いたビデオストリームへの画像挿入 Download PDFInfo
- Publication number
- JP4641566B2 JP4641566B2 JP52482198A JP52482198A JP4641566B2 JP 4641566 B2 JP4641566 B2 JP 4641566B2 JP 52482198 A JP52482198 A JP 52482198A JP 52482198 A JP52482198 A JP 52482198A JP 4641566 B2 JP4641566 B2 JP 4641566B2
- Authority
- JP
- Japan
- Prior art keywords
- landmark
- image
- camera
- coordinates
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Endoscopes (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【0001】
発明の属する技術分野
発明の技術分野
本発明は、ビデオ画像に現実的な指標を挿入する追跡画像フレームのためのシステムと方法に関する。
【背景技術】
【0002】
従来の技術
関連出願の参照
本出願は、「物理的なセンサーおよびパターン認識の結合を用いたビデオストリームへの画像挿入」と称する1996年11月27日に出願されたアメリカの暫定的な出願シリアル番号第60/038,143号に関連し、その利益を主張するものである。
【0003】
本出願は、以下の共通に所有される出願中の出願にも関連する。
【0004】
「ライブビデオ放送に静的および動的な画像を挿入するシステムと方法」と称する1995年11月28日に出願されたシリアル番号第08/563,598号、「ライブビデオ挿入システムの追跡シーン運動の方法」と称する1995年12月29日に出願されたシリアル番号第08/580,892号、「合成共通参照画像を有する適応オクルージョンを用いたビデオへのリアルタイム挿入のシステムおよび方法」と称する1996年6月12日に出願されたシリアル番号第08/662,089号および「持続的に選択された画像構造テンプレートを用いたカメラ追跡」と称する1996年11月27日に出願されたシリアル番号第60/031,883号、前述の出願は、本願明細書に引用した全てである。
【0005】
関連技術の説明
ライブビデオ信号に電子画像を挿入するための電子装置は、例えば、米国特許5,264,933号において、ロッサー等によって説明されているように、主にスポーツ大会といった放送イベントに広告および他の指標を挿入する目的で開発され使用された。これらのデバイスは、オリジナルのシーンがズームされ、パンされ、逆にサイズや遠近が変わったとしても、継ぎ目なくそして現実的にロゴまたは他の指標をリアルタイムにオリジナルビデオに組み込むことができる。その他の例としては、ハンナに与えられた米国特許第5,488,675号とクレイトマン等に与えられた米国特許第5,491,517号がある。
【0006】
挿入された指標が実際にシーン内に存在するかのように見せることは重要であるが、その技術でこれを満足させるのには難しい状況にある。問題となる様相は、平均的な視聴者の目がフィールドからフィールドまでの目標物の相対位置の僅かな変化に非常に敏感であるということである。NTSCテレビ画像の1画素の1/10と同じくらの小さで挿入されたロゴの相対的な動きは、視聴者に認識できるという事実が経験的にわかっている。放送環境に挿入された指標を配置したり、絶えず高精度に維持したりすることは、商業上実用可能なビデオ挿入技術を作る上で重要である。放送環境は、画像ノイズ、突然の速いカメラ移動の存在、画像の重要なフラクションを不明瞭にする移動している目標物の離散的な発生、自然条件やオペレータ調整のどちらでも誘発されるレンズ特性と光レベルの変化による画像の歪み、およびテレビジョン信号の垂直インターレスを含む。
【0007】
従来技術においては、画像移動の自動追跡は、一般的に2つの異なる方法によって実行している。
【0008】
第1の方法は、画像自体のパターン認識と、相関あるいは差分手法を用いてビデオシーンの公知のランドマークを追跡し、または周知のオプティカルフロー手法を用いて動きを計算するといういずれをも用いたものである。ホーン、B.K.Pとシャンク、B.G.の「オプティカルフローの決定」、人工知能、pp185−203、(1981)参照。ランドマークは、一時的または永久のものであるかもしれず、シーンの自然の部分または人工的に導かれるものであるかもしれない。ランドマークの形状および配置の変更は、要求された指標を挿入するために測定され用いられる。
【0009】
第2の方法は、たとえば、D.W.クレインに特許された米国特許第4,084,184号に説明され、焦点距離、方位角、および高さの情報を提供するためにカメラに配置されたセンサーを用いている。これらのセンサーは、与えられたカメラの視野内において類似のランドマーク位置データを提供するために存在する。
【0010】
パターン認識システム
ロッサー等によって開発された画像挿入システムのパターン認識のタイプは、たとえば、2つのはっきりしたモードを持っている。1番目はサーチモードであり、ライブビデオのそれぞれの新しいフレームは、個々のターゲット画像を検出し確認するために探索される。2番目は追跡モードであり、ビデオの前のフレームにおいて、システムは、ターゲット画像が存在したということを知る。システムは、その前のフレームの位置および方向をいくつかの定義済み参照座標系に関して更に知る。
【0011】
ターゲット画像位置は、追跡され予め定義された参照座標系に関して最新のものにされる。
【0012】
サーチモードは、一定の画像を識別するためにパターン認識技法を使用する。
【0013】
カメラセンサーを使用することに対抗してパターン認識によって位置のデータを得ることは、ビデオ放送チェーンのどんな位置ででも挿入できるライブビデオ挿入システムとなるので、重大なシステム自在性を提供する。たとえば、実際の挿入は、国あるいは世界中のスタジアムあるいはアリーナから、異なるビデオ供給を受け取る中央側で実行できる。多様な供給は、衛星または電線または公知技術のあらゆる他の手段によって受信することができる。一旦挿入が加えられると、ビデオフィードは衛星または電線によってそれが始まる放送位置にまたは直接視聴者に送り返される。
【0014】
しかしながら、このようなパターン認識検索および追跡システムは、一部のイベントには実行することが難しく、ライブビデオ挿入システム操作の間のエラーの傾向がある非常に弱いものである。ここでの譲受人であるプリンストンビデオイメージIncは、多くの会場や、たとえば野球、フットボール、サッカーおよびテニスのイベントのための強力な検索を工夫しプログラムした。しかしながら、類似した検索アルゴリズムを実行する時間とコストは、他のタイプのイベントに対しては非常に高くなる。パターン認識の検索は、会場の様子に対する大きな変化が時間または落ち着いた日内でされるイベントにとっては困難である。これは、会場の様子は不変ではないので、予め定義された会場の共通参照画像を得ることが困難だからである。そのような場合、検索の問題に対するより有効な処置は、カメラの一台以上にターゲットの位置データを得るために取り付けられたセンサーを利用することである。
【0015】
カメラセンサーシステム
単にカメラセンサーシステムだけに頼る欠点は、以下に詳述される。テレビ放送された野球およびフットボールゲームの実地試験において、以前のシステムは、以下に詳述する重大な問題に遭遇した。
【発明の概要】
【発明が解決しようとする課題】
【0016】
1.カメラの動き
たとえばフットボールや野球のような特有のスポーツにおいては、クローズアップショットは、動作から数百ヤードの距離まで離れたところで長い焦点距離カメラ操作で捕らえられる。これらの両スポーツとも、ボールを打ったり蹴ったりする突然の動作を有し、ゲーム中に静かなシーンから速く移動する動作のシーンに急に変わる。長い焦点距離のカメラがこの動作に反応するとき、記録される画像は動きの追跡を困難にするいくつかの特徴を示す。例えば、画像の動きは1フィールド当たり10画素と同じくらい速い。これは、10×10未満の画素ウインドウを吟味するシステムの範囲外にとどまるだろう。加えて、静的な画像の1ラインは数画素幅であり、ぼけているのは10画素幅であるために、画像は焦点が合わなくなり、ぼけている厳しい動きを被るかもしれない。これは、システムの追跡は狭いラインであり、実際に急速なパニングだけが発生してズームが変更されると、突然に整合しなくなったり推定をしなくなったりすることを意味する。ぼけている動きは、パターン構造と同様に、照明レベルおよび色の変化を引き起こし、その全ては画像処理技術を基礎とするパターンを使用するシステムの問題である。2フィールドと同じくらいの僅かなカメラの動きでさえ、ローカルなおよび大規模な画像の幾何学的構造の突然の変化を引き起こす。画像の照明レベルおよび色は、カメラの動きによっても影響を受ける。
【0017】
2.移動する目標物
スポーツシーンには通常、一般的に誰がいつ突然、意外な動きをするかもしれない、予測性の一部の段階を追跡する多くの参加者がいる。これは、現実のスポーツ大会のいかなる自動的な移動追跡でも画像のさまざまな部分の突然のおよび予想外のオクルージョンに対処することが可能でなければならないことを意味する。加えて、ユニフォームの相違およびプレーヤによってゲームの間にとられるポーズは、シーンのどんな純粋な幾何学的なパターンでも追跡する試みが、類似したパターンの多数の発生数に対抗することができなければならないことを意味する。
【0018】
3.レンズ歪み
全ての実用的なカメラレンズは、それらの目標物が画像のエッジの方へ移動するように、画像の目標物の相対位置を変える幾何学的なレンズ歪みがある。画素精度の10分の1が要求されるときに、これによって問題が生じる可能性がある。
【0019】
4.信号のノイズ
実際のテレビジョン信号は、たとえばナイターのように、特にカメラが低光レベルのイベントを報道するために電子的に高められたときにノイズを示す。このノイズは、信号の強度にかかわらず、これらの整合パターン形状のような標準の正規化相関認識に依存する画像解析手法について大混乱を来す。ノイズの種類がランダムであるので、ビデオ(あるいは特有の3時間ゲーム)の数十万フィールドの間、ノイズパターンを実質上のパターンと間違える可能性があることは重大な問題である。
【0020】
5.フィールド間インターレス
共にフレームを構成する2つの垂直にインターレスされたフィールドにおいて、NTSCおよびPAL規格のテレビ画像は伝送される。これは、テレビは画像の単一のストリームではなく、密接に関係するが僅かに異なる画像の2つのストリームであることを意味する。その問題は、特に狭い水平ラインで顕著である。そして、それは他方を除く一方のフィールドにあまり明らかでないかもしれない。
【0021】
6.照度および色の変更
屋外のゲームは、特に照度と色が変化する傾向にある。典型的に夏のナイターは、明るい太陽光線の下で始まり、暗い照明灯の下で終わる。2つ以上の要素の照度変化は、このような環境において特有である。加えて、自然から人工的な照明への変更は、視野内の目標物の色を変える。たとえば、フロリダのプロプレーヤ公園では、壁は、自然の照明の下では青く見え、人工照明の下では緑に見える。
【0022】
7.差分の設定
カメラは、夜から夜への、小さいが検出可能な差分を準備するのに役立つ。たとえば、カメラのチルトは、プラスマイナス1%まで典型的に変化するが、これは視聴者にとって直ちに明らかにはならない。しかしながら、これはプラスマイナス7画素を意味し、8画素×8画素の特有のテンプレートでの測定に対する問題である。
【0023】
カメラセンサーの利点は、カメラがどこを示しているのか、カメラがどんな倍率で画像を見ているのか、というカメラが使用されている合理的な確かな能力を含むことである。ギアのバックラッシュのように、機械の本来の不確実性によるカメラセンサーデータの不正確があるかもしれないにもかかわらず、これらの不正確は、決して大きくないであろう。
【0024】
たとえば、カメラセンサーシステムは、審判員をゴールポストとして誤認識したり、また、ズームアウトされたスタジアムの景色が、後ろの壁の景色の拡大であると思ったりすることはない。それは、決して前景における目標物の移動をカメラ自体の移動と混同しないであろう。
【0025】
必要なことは、不利な点の各々を除去しまたは最小限にする一方、探索するためのパターン認識システムおよびカメラセンサーシステムおよび追跡シーン移動の利点を結合するシステムである。パターン認識/カメラセンサーハイブリッド挿入システムを実現する際の第1の障害は、2つの完全に異なる方法によって得られるデータとの間の結合および/または切り替えである。正しく行なわれないとき、全体的な画像の中で、挿入された画像をひょいと動かしたり、振動させたりするようなことを際立たせ、結合あるいはスイッチは不安定な結果を与える。この問題点を克服することは、十分な放送品質のハイブリッドシステム動作にとって至難である。
【発明の効果】
【0026】
発明の要約
背景として、LVIS、またはライブビデオ挿入システムは、「ライブビデオ放送に静的および動的画像を挿入するためのシステムと方法」と称する1995年11月28日に出願された共有の出願シリアル番号第08/563,598号において説明される。LVISは、現実的な様式のライブビデオ放送に、リアルタイムを基準に、静的又は動的画像を挿入するためのシステムと方法である。
【0027】
まず、次の検出および追跡に適しているシーンの自然のランドマークが選ばれる。ランドマークは、パンしたりズームしたりするビデオカメラに見えるシーン内で、好ましくは鋭い、太いおよび貴重な垂直、水平、斜めのまたはコーナーの機能を備える。典型的に、少なくとも3つ以上の自然のランドマークが選ばれる。たとえば、野球場あるいはフットボールスタジアムのように、ランドマークが全てのシーンの全体にわたって分配されることと、どんな瞬間でもカメラの視野は通常はパンされる全部のシーンより小さいことは、よく理解されている。ランドマークは、挿入領域は典型的に多数の定義可能なランドマークを含むにはあまりに小さく、したがって、挿入可能な画像は動的なものであるかもしれず、それは一つの固定されたターゲットの行き先を持たないので、行き先位置あるいは領域の外側にたびたび設置される。システムモデルは、変形可能な2次元のグリッド上で自然のランドマークを認識できる。特殊活字、非ランドマーク、参照点は、シーン内で選択される。参照点は、数学上自然のランドマークと関連しておよび挿入領域を設置するためにその後使用される。
【0028】
挿入プロセスの前に、挿入される画像のアートワークは、配景、すなわち形状のために調節される。システムが数学的な関係をシーンのランドマークとの間に知覚するので、ズーム比と適用されなければならないX,Y位置調整を自動的に決めることができる。その後は、カメラが内と外にズームし、パンしながらその視野を変更したときでも、ホーム視聴者が自然に見えるように、挿入可能な画像は適切に基準化され、視野の他の機能に関連して調和される。システムは、シーンの内外に動かすことができ、一部の従来技術システムの場合のような「ポップアップ」よりはむしろシーン内に自然に現れる挿入可能な画像を有する。システムは、どんな位置ででも簡単に挿入可能な画像を配置できる。
【0029】
本発明は、まさに他のものやターゲットデータを設置し、確認しおよび追うためのカメラセンサーデータと同様に説明されるパターン認識技術の結合を用いた複合型ライブビデオ挿入システム(LVIS)である。カメラセンサーは、検索および検出、すなわち認識、パターン認識および「永続的に選択された画像構造テンプレートを用いたカメラ追跡」と称する1996年11月27日に出願された出願中の暫定的な出願シリアル番号第60/031,883号を含むランドマーク追跡技術に対するLVISの要求事項によく適合している。
【0030】
本発明の背景の概念は、ビデオ画像の解析がカメラセンサーデータを安定させ、改良させるように、カメラセンサーデータと光学パターン技術を結合することである。この安定化および改良は、ランドマークデータを探索し、追跡するために標準のLVISシステムで用いられる予測方式のためのカメラセンサーデータを安定化することによって、または標準のLVISシステムによって実行された模範的な計算において該当する重み関数で他のランドマークのセットのカメラセンサーデータを用いることによって行なわれる。一旦カメラセンサーがシーンのランドマークに対応する必要なデータを得ると、データは、標準のLVISの追跡関数について互換性がありおよび有用であるフォーマットに変換され、残りの挿入プロセスは標準通りに実行される。
【0031】
したがって、本発明はイベント位置の細部から独立している大きな検索能力を有するLVISを提供するためにカメラセンサーデータを利用する。さらに、上記のようなカメラセンサーシステムに関連する不利な点の多くは克服される。
【0032】
本発明は、ズーム、レンズのフォーカス、固定された台に関するカメラのパンとチルトを検知するセンサーを含む1台以上のイベントカメラを有する特有のLVISを構成する。不安定な位置のカメラのために、より安定なスタジアムの参照に関して、実質的に固定された台の動きを測定する付加センサーが含まれる。
【0033】
ハンドヘルドまたはモバイルカメラのため、予め決められた参照位置の設定に関するカメラの位置と方向を測定するために、さらに設置されたセンサーが含まれる。それぞれのカメラからのセンサーデータ、必要ならば、プロダクションスイッチャからのタリーデータと一緒に、LVISによってランドマークデータを検索し検出するために用いられ、現在画像において生ずべきだいたいの挿入の位置を示すために用いられる。タリーデータは、ビデオスイッチャによって供給されるプログラムとしてカメラまたはビデオ供給源が出力する表示として電子的信号の形式をとる。
【0034】
センサーデータとタリーデータは、本質的に従来のパターン認識ライブビデオ挿入システムのサーチモードにとって代わる。挿入位置の正確な最終的な決定は、実際のビデオ画像の機能および/または構造解析を使用することによって決められる。この解析は、「ライブビデオ挿入システムのための追跡シーン移動の方法」と称する1995年12月29日に出願された出願中の出願第08/580,892号および「永続的に選択された画像構造テンプレートを用いたカメラ追跡」と称する1996年11月27日に出願された第60/031,883号に記載されているように、ビデオフレーム内の特徴および/または構造の位置を、共通参照画像または前の画像の挿入位置および周囲に対応する位置と比較する。
【図面の簡単な説明】
【0035】
図面の簡単な説明
【図1】図1は、シーンの参照ビデオ画像を示す概略構成図である。
【図2】図2は、図1の参照ビデオ画像のライブビデオ画像を示している概略構成図である。
【図3】図3は、参照配列の特有の表現のエレメントを示すテーブルである。
【図4】図4は、インターレスビデオフィールド内のy画像位置に対する視野数の概略構成図である。
【図5a】図5aは、ゼロ平均エッジテンプレートの横断面図である。
【図5b】図5bは、ゼロ平均エッジテンプレートの平面図である。
【図6】図6は、相関面を示す図である。
【図7】図7は、表面の測定されたおよび予測された位置を示す図である。
【図8】図8は、トラック、参照および参照配列の階層が使用されるコードが適応参照配列を管理する方法の模式的な流れ図である。
【図9】図9は、ランドマークとカラーベースのオクルージョンのために使用される関連したセンサー位置の概略図である。
【図10】図10は、カメラセンサーおよび画像追跡システムの結合を用いたイベント放送の概略構成図である。
【図11】図11は、カメラデータがランドマーク位置を予測するために用いられる本発明のシステムを示すブロックダイヤグラムである。
【図12】図12は、カメラデータがカメラデータエラーを補正するために適切に重み付けされた特別な「仮想」ランドマークを提供するために使用される本発明のシステムを説明するブロックダイヤグラムである。
【図13】図13は、パン、チルト、ズーム、フォーカスのセンサーが取り付けられたカメラを示す図である。
【図14】図14は、光学的にエンコードされたセンサーからのデータ出力の表現を示す図である。
【図15】図15は、センサートラックAの推移とセンサートラックBの状態およびセンサーの時計回り(CW)、反時計回り(CCW)の回転方向との間の関係を示す図である。
【図16】図16は、放送画像から取得される共通参照画像を示す図である。
【図17】図17は、固定して保持されたレンズのフォーカスエレメントを有するZ(カウンタからのカウント数がズームレンズのズームエレメントドライバに属する)に対するズーム(画像拡大)のプロットを示す。他の3つのプロットは、Zプロットに対してこれらの上にオーバーレイされる。3つのオーバーレイは、3つのZ(ズームエレメントドライバからのカウント)のはっきりした、異なるおよび固定された設定でのF(計数器からのカウント数はズームレンズのフォーカスエレメントドライバに属する)に対するズーム(画像拡大)のプロットを示す。
【図18】図18は、カメラ動きを検出するための加速度計(センサー)を取り付けたカメラを示す図である。
【図19】図19は、送信機を付けているモバイルカメラの動きを追うために使用される3つの固定された受信局を示す図である。
【図20】図20は、イベントのカメラとテニスボールのような目標物の関心のいずれもが送信機に相応しい放送状況を示す図である。
【発明を実施するための形態】
【0036】
好適な実施例の詳細な説明
この説明の過程を通じて、同一の符号は、本発明を説明する異なる図について同一の要素を示すために用いられる。
【0037】
「ライブビデオ挿入システムのための追跡シーン移動の方法」と称する1995年12月29日に出願されたシリアル番号08/580,892号の標準LVIS検索/検出および追跡方法は、シーン内の予め指定されたランドマークのグループまたはグループの幾つかの部分集合を得るためにエッジのようなズームに無関係のテンプレートのテンプレート相関を用いている。ランドマークのテンプレート相関は、シーンの動きを得るために用いられる生の位置情報を提供する。
【0038】
代表的に用いられるランドマークは、野球場の構造の一部であったりプレイのフィールド上のマーキングであったりする。そのシーンの理想的な数学的公式を創造することは、追跡アルゴリズムのキー部分である。この理想的な数学的表示は、参照配列として参照される単なるx、y座標値のテーブルである。配列を連想させる用語「画像」は、オペレータの便宜のためである。現在イメージまたはシーンは、この参照配列に関連する。典型的に、使用されるランドマークは、球場の構成あるいはグラウンド上のマークの一部であるかもしれない。追われるシーンの理想的な数学的な公式化をすることは、追跡アルゴリズムのキー部分である。この理想的な数学的な表現は、参照配列と称される単なるx,y座標値のテーブルである。配列と関連する用語「画像」は、オペレータの都合のためにある。
【0039】
参照配列の対応箇所に現在シーンの位置をマップする数学的な変換を定義する一組のワープパラメータによって、現在画像またはシーンはこの参照配列に関係づけられる。回転が無視されてあるいは一定にしておかれる単純な場合において、現在画像は、次のように参照配列にマップされる。
【0040】
【数1】
x’=a+bx
y’=d+by
【0041】
ここで、x’とy’は、現在シーンにおけるランドマークの座標、xとyは、参照配列における同じランドマークの座標、bは、参照配列と現在シーンとの間の拡大、aは、x方向の移動、dは、参照配列と現在シーンとの間のy方向の移動である。
【0042】
実体の適応、地理的な階層的な追跡は、予期された模範的な推論された位置の近くに見出されるランドマークに対して最も多くの注意を払っている。
【0043】
第1のステップは、予期された模範的な推論された位置を設定するために正確な速度予測方式を得ることである。このような前のフィールドあるいはシーンからのワープパラメータによる推定は、現在画像内にランドマークがなければできない。インターレスビデオの速度予測の第1の障害は、本発明は、前の同じフィールドからの位置を用いることによって、および最後の2つの異なるフィールド間の相違する動きを用いることによってこれを取り扱う。
【0044】
現在画像内で予測されたランドマークが持つべき15×15画素領域に渡るテンプレート相関は、この予測された位置の中心に置かれる。これらの相関パターンは、スレッショルド基準を上回るファーストマッチを中央から外側に探索される。さらにそれぞれのランドマークは、距離に反比例する値の重み関数を有し、ランドマークは、その予期された模範的な推論された位置から離れる。現在シーンに対する新しいワープパラメータを計算するときに、それぞれのランドマークの現在位置は、この関数によって重み付けされて使用される。これは、予測された位置により接近しているランドマークにより多くの重みを与える。
【0045】
シーンの動きのため、カメラの歪みを補正するのに必要なさらなるステップは、それらの現在位置に基づいてランドマークの参照配列座標を動的に最新のものにすることである。この更新は当てはまるランドマークだけにされ、それ自体距離エラー重み関数によって重く重み付けされる。この適応参照配列は、ランドマークがレンズと歪んだ配景を通過したとしても、ランドマークの非常に正確な追跡を許す。適応参照配列を有する際の危険は、それが汚染されるかもしれないということである。この危険は参照座標の3つのセットを有することによって和らげられる。そして、それらはコード、ゲームおよび追跡参照座標と称する。システムが、最初にロードされるとき、コード参照座標はオリジナルの参照座標にセットされる。ゲームおよび追跡座標は、最初にコード参照座標と等しくセットされる。一旦システムがシーンを設定して追跡を開始すると、追跡座標が使用される。しかしながら、切れるシーンが発生するごとに、追跡座標は自動的にゲーム参照座標にリセットされる。オペレータはいつでも、現在追跡座標をゲーム参照座標と等しく設定したり、あるいはゲーム参照座標をコード参照座標に戻したりすることを選択できる。この方式は、オペレータの優先権限で適応参照の更新を許す。
【0046】
追跡方式の最終的なエレメントは、システムのスプリアスデータを避けるため、ランドマークがいくつかの目標物によって不明瞭にされたときに決定する方法である。カラーベースのオクルージョン方法は、ランドマークが見出される周囲のパターン内の一組のセンサー位置を計算するために使用される。それらの領域で予想された色とは異なることが判ったときは、ランドマークは遮られ、以降の計算には使用されない。適したランドマークからのセンサー位置は、システムが、放送の過程の間、太陽光線から人工的な光に徐々に変更していくような状況の変更に適応できるように、予測されるセンサー位置の色に対する参照値を最新のものにするために使用される。
【0047】
この戦略の適応、階層的な追跡は、実質的な生放送テレビの世界環境において、雑音の多いビデオシーケンス内のランドマークの高精度および強力な追跡の手段であることがわかった。
【0048】
図1を参照すると、ビデオ画像の移動追跡は、本発明によって実践されるように継ぎ目のない挿入を許し、挿入が配置されるシーンの参照配列10を起動する。実際の画像を有することは有用な精神的補助であるにもかかわらず、この参照配列は参照配列10内で多くのキーランドマークセット16および18の位置を表示する一組の理想とされたx,y座標値以外の何物でもない。特有のテーブルは図3に示され、xあるいは水平座標31を記載していることとyあるいは垂直座標位置33を記載していることを示している。キーランドマークセット16および18の位置31および33は、動きが測定される参照としておよび挿入が正しい位置に置かれる関係において、いずれも使用される。センターフィールドカメラからの野球シーンの特有の参照配列10は、ピッチャーマウンド12、後ろの壁14、後ろの壁14を作るパッドとの間の垂直ライン15、後ろの壁と1組の水平ランドマーク18をセットとするグラウンドとの間の水平ライン17のような撮影場所の特徴から成る。
【0049】
現在画像あるいはシーン20は、現在考慮されているビデオシーケンスからのフィールドである。主な特徴または参照配列10からのランドマークセット16および18の位置もまた、位置26および28を測定したように、現在画像20において示される。測定された位置26および28は、セット16および18から一組のワープパラメータまでの一致する参照配列ランドマーク位置に関係がある。一組のワープパラメータは、参照配列10内の点の位置に、現在画像20内の点の位置を非常に正確にマップするという数学的な変換として定義される。このようなマッピングは数学上周知である。「デジタル画像処理における幾何学的な画像修正」W.K.プラット第2版、1991年、ジョンワイリーおよび息子(ISBN0−471−85766)参照。
【0050】
固定されたテレビジョンカメラ、特に、非常にスポーツ性の高いイベントにおいて合理的に長い焦点距離を有するカメラからの配景の追跡は、ある2次元面に他の2次元面をマッピングするものとして考えることができる。画像に対する画像移動、ズーム、ずれ、および回転を考慮したマッピングを果たす一般的な数学的な変換は、以下の6つのパラメータモデルによって与えられる。
【0051】
【数2】
x’=a+bx+cy
y’=d+ex+fy
【0052】
ここで、xとyは、参照配列10の座標であり、
x’とy’は、現在画像10の変換された座標であり、
aは、x方向における画像移動、
bは、x方向における画像倍率、
cは、x方向における回転、スキューの結合、
dは、y方向における画像移動、
eは、y方向における回転、スキューの結合、
fは、y方向における画像倍率である。
【0053】
ここで論議される追跡アルゴリズムと方法は、他のより一般的な変換と同様に上記の変換についても使用できる。しかしながら、経験では、動的に更新された参照配列で示され、ずれまたは回転がないと仮定した単純なx、yマッピング機能は満足される。したがって、回転が無視されるかまたは定数(c=e=0)を保ち、およびx、y方向の倍率が現在画像20内の点の同一(b=f)位置である単純な場合には、以下の式を用いた参照配列10内の点の位置にマッ
プされる。
【0054】
【数3】
x’=a+bx
y’=d+by
【0055】
ここで、x’とy’は、現在画像20内のランドマークの座標であり、
xとyは、参照配列10内の同一ランドマークの座標であり、
bは、参照配列10と現在画像20の倍率であり、
aは、x方向の移動であり、
dは、y方向の移動である。
【0056】
この単純なマッピング方式は、経験では、動的に更新された参照配列が使用されるときに、テレビスポーツ放送内で示す限定されたずれ、回転および配景の歪みを取り扱う強力な能力があるために使用される。
【0057】
動きの追跡は、現在画像20のランドマークセット26および28の位置を測定する方法であり、これらの測定量は、上式によって明らかにされたワープパラメータa,d,bを計算するため使用される。適応性のある幾何学的な階層的な追跡の重要な部分は、それぞれのランドマークに重みを割り当てる概念である。
【0058】
重みは、それぞれのランドマークが、見出されると予測され予期されるところから離れて検出されるため、反比例して割り当てられる。より近いランドマークは、予測される位置に見出され、そのランドマークには、現在画像20の位置を参照配列10の位置にリンクさせるワープパラメータの計算においてより大きな重みが与えられる。
【0059】
第1ステップは、現在画像20において、ランドマーク26および28がなければならないところを予測している。これは、3つの前のフィールドのランドマーク位置を分析することによってなされる。前のモデルから推論されるランドマークの前の位置および速さは、現在画像20において現れるランドマークを評価するために用いられる。位置および速さの計算は、NTSCおよびPALの両方の現在の標準的なテレビ伝送の方法が複合され、2つの垂直にインターレスされたフィールドに送り出される。したがって、1つおきの水平走査は別々のフィールドに含まれ、慣習的に奇数および偶数のフィールドと称される。NTSCシステムにおいて、それぞれのフィールドは/60秒(16.6msec)で送り出され、1つのフレームは1/30秒ごとに結合される。
【0060】
速さ推定の1つの重要な実際的な考察は、速さ推定において使用され、測定された位置ではない前のフィールド(−1、−2および−3)のxおよびy位置であり、それらのフィールドのそれぞれにおいて、推論される最終的なワープパラメータを用いて計算される位置であるということである。ランドマークの全ては、現在および参照配列間にマッピングを与えるワープパラメータa,b,とdの単一のセットを推論するために使用される。ワープパラメータの単一のセットは、現在画像20に参照配列座標10を投影するために使用され、現在画像におけるランドマーク位置の理想的なセットを与える。それは、速さ予測において使用される模範的な推論された位置と称されるそれぞれのフィールドのランドマーク位置の理想的なセットである。
【0061】
図4に示したように、ランドマークの現在yあるいは垂直位置は、前の3つのフィールドから予測される。現在フィールド(フィールド0)のy位置は、両方のそれぞれが奇数あるいは均一である「同じ」フィールドであるフィールド−1とフィールド−3のランドマークの模範的な推論された位置の差分として速さのy成分を測定することにより予測される。y速度成分は、それから現在フィールドと「同じ」前のフィールドであるフィールド−2の模範的な推論されたy位置に加えられ、現在フィールドのランドマークを見出すための推定に達する。
【0062】
x方向の予測は同じアルゴリズムを使用することができ、インターレスがないので、x方向の計算はより単純かつ僅かなものとすることができる。より単純な方式において、速さのx成分は、フィールド−1のランドマークの模範的な推論された位置とフィールド−2のランドマークの模範的な推論された位置との間の差分として計算される。この差分は、フィールド−1の模範的な推論された位置に加えられ、現在フィールドのランドマークを見出すための推定に達する。
【0063】
現在画像の全てのランドマークの予測された最も適当な位置を有し、ランドマークの位置は、その予測された位置で中央に位置された15×15画素領域の全面に8×8画素テンプレートとの相関をとることによって見出される。相関あるいはテンプレートマッチングは周知の手法であって、その標準形において、目標物の検出の最も基本的な手段のうちの1つである。W.K.プラットによる「デジタル画像処理の画像検出および認識」(第2版、1991年、ジョンワイリーおよび息子ISBN0−471−85766)、20章参照。テンプレートが、それが使用されているシーンの1部に近似しているために行なわれる相関あるいはテンプレートマッチングの多くの標準的な方法と違って、本発明のテンプレートは、合成でできたものであり、形状および値の両方において理想化されたものであり、「ゼロ−平均」である。
【0064】
たとえば、画像から捕られるゴールポストの部分に用いるよりもむしろ直立したフットボールのゴールポストの追跡において、使用されるテンプレート54は、負に導かれるライン56と正に導かれるライン58の均一な値のエッジであり、8×8のテンプレートの加算値は、図5aの断面図と図5bの平面図に概略的に示されるように、ゼロである。
【0065】
このテンプレートは、独自のズームが存在する利点を有し、均一な輝度の表面上にゼロ値を与えるだろう。この手法は、8×8画素テンプレートは限定されず、15×15画素領域に限定して相関がとられる領域ではない。更に、この手法は、ゼロ平均テンプレートにも限定されない。垂直および水平ラインとエッジだけが追われている状況において、水平の細部を理解するための(1×n)相関面と、垂直の細部を理解するための(n×1)相関面とを有することによって計算を減らすことが可能である。ここで、nは、通常、5〜50画素の範囲の合理的な値である。
【0066】
理想とされた、ゼロ−平均エッジテンプレート54は、図6に概略的に示されるように、相関面60を生成するために拡大され、フィールターにかけられ、10分の1にされた複製または現在画像の15×15画素領域の全面に関連する。この相関面60は、15×15画素の配列から成り、この明るさは、その位置が中央におかれたときに、テンプレートに対する画像の相関に対応する。典型的に、ラインを含む画像の領域の全面に相関しているエッジテンプレート54は、完全な整合を示すポジティブゴーイングラインレスポンス66と、不整合を示す該当ネガティブゴーイングラインレスポンス67との両方を与える。この不整合ライン67は、ポジティブゴーイングマッチライン66から離れたその位置および距離がラインの幅の測定を与えるという点で、およびその周囲よりも明るいか暗いかという点で用いることができる。加えて、現在画像の特徴のような明るいエッジに対応する相関面60上の他の明るい画素68がある。
【0067】
適応性のある幾何学的な階層的な追跡方法の指導原理は、ランドマークをフォーカスすることであり、最も接近していると予測されるポテンシャルランドマークの示す相関ピークである。15×15の相関面60のどこかにピークを探すというよりも、これらのパターンはセンタから外へ探索される。最も単純に非常に効果的にこれを行なう方法は、最初に中央の3×3画素領域64において中央の9画素値を見ることである。これらの画素のいずれかがスレッショルドより大きい相関値を有する場合、画素が探し求めているランドマークを表示し、相関面の更なる調査がされないと仮定される。スレッショルドは、通常予期される普通のランドマーク相関の50パーセントである。この3×3の最初の検索は、マークされた画素68がライン66の画素より明るいときのように、それらの明るさあるいは形状によるランドマーク相関を混乱させるかもしれない近くの目標物の面前でも動きの追跡によって行なわれる。一旦ピーク輝度を有する画素が見出されると、出願中の米国特許出願番号08/381,088号において論議されるように、副画素位置の推定は、三角形を再構成する周知の方法を使用して見出される。より高い次数の曲線をデータに付けるような使用がされるかもしれない他の副画素位置を評価する方法がある。
【0068】
加えて、あるシーンにおいて見出されるそれぞれのランドマークは、予想される位置からの距離に基づいた、関連するエラー重みを有している。ここで図7を参照すれば、このエラー重みは、座標xp、ypでの画像70の予測位置と、座標xm、ymでの画像72の測定位置とに基づき、次の一般的な式を使用して計算される。
【0069】
【数4】
【0070】
ここで、g、h、i、j、kおよびlは、重み関数の強さを変化させるために選択される定数である。
【0071】
好適な実施形態において、式のパラメータは次の通りである。
【0072】
【数5】
【0073】
しかしながら、特別な環境においては、重みの強調点を変化させるために、異なる値をとるかもしれない。たとえば、定数iおよびjは、短い距離の間一定を保ち、それから急に低下する関数を提供するように変化するかもしれない。
【0074】
このエラー重みは、それから、参照配列20の位置に現在画像20の位置を作るワープパラメータの計算において、使用される。好適な実施形態において、この計算は、次のマトリックスを使用する重み付けされた最小二乗平均の適用操作である。
【0075】
【数6】
【0076】
ここにおいて、
【0077】
【数7】
C1=nx・ErrorWeight・xp+ny・ErrorWeight・yp
C2=nx・ErrorWeight・xm+ny・ErrorWeight・ym
【0078】
である。
【0079】
純粋に水平線上のランドマークの場合、nx=0およびny=1であり、純粋に鉛直線上のランドマークの場合、nx=1およびny=0である。より一般的な場合、nxおよびnyは、ランドマークの支配的な方向に対する法線を表示するベクトルの方向余弦である。
【0080】
動き追跡方式の適応性のある部分は、カメラひずみを考慮するのに必要である。それは、システムが小さな遅い回転および/または切り取りを取り扱うことを許容するのと同様に、システムが保存されている理想的な参照配列と実際のシーンとの間の小さな相違を補うことを許容する。それは、更に、システムが任意の小さなゆっくり発生する歪みも取り扱うことを許容する。この適応は、参照配列座標をそれらの現在位置に基づいて動的に最新のものにすることによってなされる。本発明では、動き追跡の適応性のある部分は、次の基準により安定化される。1)それが起こることが許容されるとき、非常に慎重であること。2)ランドマークが良好であるという点でシステムがどのように確信的であるかに基づいて、いずれのランドマークが関与することを許容されているか選択すること。3)全体の計算を、距離エラー重み関数によって重く重み付けして行うこと。加えて、参照配列は、どのシーンがカットされた後にもリセットされる。
【0081】
異なる値が全てのこれらのパラメータに使用されるかもしれないけれども、好適な実施形態において、参照配列座標の動的更新は、6フィールドの追跡後に開始され、どのオクルージョンチェックでもフラグがあがらなかった、予想参照値の20%より大きく200%より小さい相関値を有するランドマークでなされるだけである。
【0082】
測定されたランドマーク位置は、現在フィールドの全ての良好なランドマークにより次式を用いて計算されるワープパラメータを使用して、参照配列の位置に戻り投射される。
【0083】
【数8】
Xnr=(Xm-a)/b
Ynr=(Ym-d)/b
Xr=Xor+(ErrorWeight)2(Xnr-Xor)
Yr=Yor+(ErrorWeight)2(Ynr-Yor)
【0084】
ここにおいて、
Xmは、ランドマークの測定X座標、
Ymは、ランドマークの測定Y座標、
aは、水平移行ワープパラメータ、
dは、鉛直移行ワープパラメータ、
bは、拡大ワープパラメータ、
Xnrは、このフィールドデータに基づき提案された新参照点の計算X座標、
Ynrは、このフィールドデータに基づき提案された新参照点の計算Y座標、
Xorは、更新すべき旧参照点のX座標、
Yorは、更新すべき旧参照点のY座標、
Xrは、新参照点としてテーブルに入れられるX座標、
Yrは、新参照点としてテーブルに入れられるY座標、
インターレスビデオでの追跡性能を改善するために、奇数および偶数フィールドに対して別々の追跡参照配列を使用することもまた可能である。適応性のある参照配列の潜在的に不安定な性質のため、好適な実施形態は、コード参照、ゲーム参照および追跡参照として言及される、3つの関連する参照配列を有している。
【0085】
図8の模式的な流れ図は、これらの3つの参照がどのように使用されるかを示す。開始時に、最初のシステムがロードされるとき、全てのこれらの参照は、同じに、すなわちコード参照、ゲーム参照および追跡参照が等しく、セットされ、換言すれば、それぞれの参照配列におけるランドマークのxおよびy座標は、コード参照配列におけるランドマークの座標と同じものであるようにセットされる。
【0086】
動作時に、画像処理がなされるとき、3つの参照配列は、以下のように使用される。ゲーム参照は、検索および検査モードにおいて使用され、そして追跡モードにおいて追跡参照が使用される。
【0087】
まず、追跡参照配列が、ゲーム参照配列と等しくセットされる。
【0088】
これは、好適な実施形態において、追跡がなされる最初のフィールドで起こる。次のフィールドにおいて、追跡参照は、上記で詳述したように変更される。別々の追跡参照配列が奇数および偶数のフィールドに使用されている場合、それらは両方とも最初に、ゲーム参照配列にセットされるであろう。
【0089】
追跡モードの間はいつでも、オペレータは、例えばスクリーン、キーボード、マウス、グラフィックユーザーインターフェース、トラックボール、タッチスクリーンあるいはこのようなデバイスの結合等の標準的なコンピュータインターフェースツールを用いて、現在の追跡参照をゲーム参照の中にコピーすることを選ぶかもしれない。この機能は、ゲームの開始時に役に立つ。例えば、オペレータは、特定のスタジアムで挿入を実行するライブビデオ挿入システムをセットアップしているかもしれない。コード参照座標は、そのスタジアムでの前のゲームに基づいたランドマーク位置を有するが、そのランドマークの位置は、その間の時間で僅かに変えられているかもしれない。しかしながら、コード参照は、ほとんどの間、検索および追跡に十分良好な状態に保たれる。選択的に、ショットを待つこと、あるいは全てのランドマークが障害のないゲーム前にディレクターがセットアップすることによって、および追跡参照の調整を考慮することによって、その特定のゲームのためのより正確なゲーム参照が実現され得る。
【0090】
追跡あるいは検索モードにおいてはいつでも、オペレータは、ゲーム参照をコード参照にリセットすることを選ぶことができる。これは、だめになった追跡参照を参照してゲーム参照をリセットするというオペレータエラーからの回復を与える。
【0091】
適応性のある参照プロセスの重要な部分は、プレーヤ等の対象によってオクルードされないことがわかっているランドマークに更新することを制限している。
【0092】
好適な実施形態におけるこのランドマークオクルージョン検出に使用される方法は、色をベースにしており、大部分のスポーツは、かなり統一された色でうまく定義された領域の面上で、あるいは、野球場の背壁のように統一された色の実質的特徴を有するスタジアムの中で、プレイされる、という事実を利用している。図9に示されるように、各ランドマーク90は、それに関連したセンサーポイント92を有する。これらのセンサーポイント92は、好適な実施形態においてはランドマーク90につき3〜9個のセンサーポイントに変化するが、それらが関連するランドマークに近接した、あるいは好ましくは取り囲むあらかじめ決められた位置の画素である。より重要なことには、センサーポイントはすべて、合理的に統一された色の領域上にある。ランドマークがオクルードされるかどうかの決定は、センサーポイントに注目してそれらの平均値からの偏差を測定することに基づく。この偏差がプリセット値を上回る場合、ランドマークはオクルードされると考えられる。一方、それは、例えばモデル計算や参照配列の更新等の他の計算用に、利用可能である。
【0093】
この点までの議論は、「ライブビデオ挿入システムのための追跡シーン移動の方法」の名称で1995年12月29日に出願された同時係属中の米国出願第08/580,892号のLVIS検索/検出およびトラック機能を説明している。
【0094】
本発明の概念は、カメラセンサーデータで標準的なLVISの速度予測方式を論じるものである。このような動作は些細に聞こえるかもしれない一方で、それは事実、異なるデータフォーマット間での同時発生を要求する複合的な仕事である。カメラセンサーデータは、全画像配列が直ちにすなわち単一の瞬間に早く入れられる二次元の画像座標配列に変えることが可能な、完全な画像フィールドの「スナップショット」を提供する。換言すれば、配列の左側の画素は、同じ瞬間に、配列の右側の画素として表示する。しかしながら、標準的なLVIS技術を使用する動き追跡は、画像配列座標に関して絶えず更新するプロセスである。したがって、いかなる与えられた瞬間でも、画像配列の左側の画素は、画像配列の右側の画素として、時間の同じ瞬間を表示しない。継ぎ目なく実行するための本発明のハイブリッドシステムにとって、このような矛盾は、説明され、補償されねばならない。
【0095】
図10を参照すれば、レンズ112を有するカメラ110が三脚111に取り付けられ、テニスコート115上でのテニスマッチを記録するためにセットアップされる。カメラ110およびレンズ112には、レンズ112およびカメラ110のパン、チルト、ズームおよびフォーカスを計測するように設計された、一組のセンサー群113が装着される。センサー群113はまた、2倍拡大の光学部品が使用されているかどうかを決定する。放送用カメラは、通常、ノブの回転で光学素子のレンズ列を切り換えることができる「倍化」要素を有している。この倍化の使用により、レンズのズーム要素のいかなる与えられたセッティングでも、効果的に画像倍率を二倍にすることができる。これは、Z(ズーム要素駆動部からの計数)の一つの測定値が、ズームあるいは映像拡大の2つの異なる値に関連しているということを意味する。データ捕集部114は、データインタプリタ116を有するライブビデオ挿入システム(LVIS)118に同じものを供給する前に、カメラセンサー群113からデータを受け取る。データインタプリタ116は、データ捕集部114によって送られるデータを、LVISシステムによって使用され得る形に変換する。センサー群を備えた他の類似のカメラが、動作の異なるビューを記録するために、イベントサイトの全体にわたって配置される。
【0096】
図10はまた、テレビジョン制作に使用される例えばスイッチャ120等の、一般的な放送用設備のいくつかを示す。スイッチャにより、ディレクターは、現在放送中のものとしていくつかのビデオソースの中から選択をすることができる。図10に示される他のビデオソースの例としては、付加したカメラ110あるいはビデオ記憶装置122を含んでいる。スイッチャ120はまた、例えばディジタルビデオ効果マシン等の効果マシンを含んでいてもよい。これにより、ディレクターは、一方のビデオの供給からワーパを介して他方へ、あるいは他の画像操作デバイスへ移すことができる。ワーパは、例えばズーム、パンあるいはチルトにおける変化等のように、ある画像を、一の視界から他へ変換する画像操作デバイスである。
【0097】
プログラムの供給は、次にLVIS118に送られる。典型的なライブビデオ挿入システムの検索/検出、すなわち認識および追跡能力に加えて、本発明の好適な実施形態のLVIS118はさらに、データインタプリタ116を含んでいる。このデータインタプリタ116は、データ捕集部114からのカメラセンサーデータと、スイッチャ120から受けとった照合情報とを解釈し、LVIS118にどのビデオソースが現在放送されているかを知らせる。LVIS118はさらに、ソフトウェアおよびハードウェア決定モジュール126を備える。決定モジュール126は、LVIS118に、前述したパターン認識技術により得られる伝統的な検索モードデータの代わりに、センサーデータを使用することを許容する。決定モジュール126は、従来のパターン認識追跡モード、あるいはカメラセンサーデータとパターン認識との結合により追跡がなされるモードの間で切り換えることができる。
【0098】
一旦ビデオがLVIS118を通過すると、指標136はビデオの流れにおいて、継ぎ目無く現実的に挿入される。挿入は、静的でも、動的でも、あるいは別個のビデオソース128からのライブビデオ供給でもよい。結果ビデオ信号はそれから、衛星、アンテナ放送あるいはケーブル等である適切な手段130によって、挿入された指標136を有するシーン135が従来のテレビジョン受信機134に表示されるホームレシーバ132に送られる。
【0099】
ここで、図13を参照すれば、カメラ110のパンおよびチルトを決定する一組のセンサー群は、水平軸146および鉛直軸142のまわりの回転を測定するために設計された精密ポテンショメータあるいは光学式エンコーダを備えている。類似のセンサーはまた、レンズ112内での光学素子の移行を測定することによって、レンズ112のフォーカスとズームとを決定する。フォーカスおよびズームの動きは、フォーカスおよびズームを規定する光学素子を動かす軸の回転を測定することによって決定される。これは、ズームを変えるためにカメラオペレータにより使用されるハンドル148の軸150まわりの、およびフォーカスの変化をきたすためにカメラオペレータにより使用されるハンドル152の軸154まわりの回転を測定することによってなされる。
【0100】
パンセンサー140、チルトセンサー144、ズームセンサー149およびフォーカスセンサー153からのデータは、データ捕集部114によって集められる。データ捕集部114はそれから、種々のセンサーにより発生させられる生の電圧および/またはセンサーパルスを受けとり、それらをLVIS118のデータインタプリタ116に伝達可能なフォーマットの一連の数に変換する。データインタプリタ116は、離れたところにあるいは現場に設置してもよい。データ捕集部114は、例えば標準的なアナログ/デジタル(A/D)コンバータカード等の適当な通信および処理カードや、シリアルおよびパラレル通信ポートを備えたパーソナルコンピュータという形をとってもよい。
【0101】
ズームセンサー149およびフォーカスセンサー153等のポテンショメータのデータに対し、データ捕集部114は、典型的には−3〜+3ボルトのアナログ電圧を、レンズの位置を表示する一連の数であるデジタル信号に変換する。これらの数は、例えばビデオフィールドごとに1回あるいは各6ミリ秒に1回の、あらかじめ決められた割合データで、LVIS118のデータインタプリタ116に送られる。あるいは、LVIS118は、使用される1またはそれ以上のパラメータの更新を要求する命令を、データ捕集部114に送ってもよい。
【0102】
典型的な光学式エンコーダからのデータを、図14に3つのトラックで示す。各トラックは、一連の2値パルスからなる。トラックAおよびBは、同一であるが、お互いに4分の1周期だけ位相がずれている。1周期は、ローおよびハイのパルスの結合したものである。典型的な光学式エンコーダでは、360度を通過するセンサー装置の1回転は、結果として、1カウントはエンコーダ出力が0から+1に、あるいは+1から0になる各時間であるところの、概ね40,000カウントになる。4分の1周期だけ位相がずれた2つのデータトラックを有する理由は、データインタプリタ116に、センサーがどの方向に回転させられているか知らせるためである。図15に示されるように、トラックAが遷移する場合、そのときトラックBの状態が、センサーが時計まわりに回転しているか、反時計まわりに回転しているかを決定する。例えば、トラックAがハイ状態からロー状態へ遷移し、トラックBがハイ状態である場合、そのときセンサーは時計まわりに回転している。逆にトラックBがロー状態である場合、そのときセンサーは反時計まわりに回転している。
【0103】
トラックAおよびBを調査することによって、データ捕集部114は、必要に応じてカウントを加えあるいは減ずることにより、簡単にセンサー位置を監視できる。必要なことは、カウントを開始する参照ポイントだけである。参照ポイントは、トラックCにより与えられる。トラックCは、+1か0の2つの状態のみ有している。これにより、0度位置と180度位置とを有効に規定することができる。実際には、据え付けられたカメラは、カメラが回転される角度が180度より小さい角度にセットアップされるので、ゼロ設定の場合を考慮するだけでよい。
【0104】
トラックCの遷移を監視することによって、データ捕集部114は、回転カウンタをゼロにすることができ、それからトラックAおよびBを連続的に監視することによってカウンタを増加あるいは減少させることができる。例えばフィールドごとに1回あるいは各6ミリ秒に1回等の適切な間隔で、光センサーの回転位置は、データインタプリタ116に転送され得る。選択的に、いつでも、LVIS118は、監視されている1またはそれ以上のパラメータの現在の測定のために、データ捕集部114に要求を送ってもよい。
【0105】
データインタプリタ116の機能は、デジタル化された位置および/またはデータ捕集部114からの回転の情報を、典型的なLVIS追跡システムと互換性があって使用可能なフォーマットに変換することである。図16を参照すれば、カメラおよびレンズからのセンサーデータは、共通参照画像によって、LVISトラッキングシステムと互換性があるようにされる。
【0106】
共通参照画像は、共通して所有する「ライブビデオ挿入システムのための追跡シーン移動の方法」の名称の米国出願第08/580,892号に記載されているような従来のLVIS追跡システムと、カメラセンサーデータだけに頼るシステムとの間の、数学的なモデル化あるいは移行を許容する保存された画像である。典型的には、共通参照画像は、選択された追跡方法、すなわち例えば適応性のある地理的、階層的、あるいはテクスチャ解析によってモデル化され、カメラセンサーデータはその選択された追跡モデルに転換される。
【0107】
共通参照画像についていくつかの重要な側面がある。第1は、原点である。原点は、カメラレンズの光軸が共通参照画像を通過する位置に選択される。これは、2つの理由で、典型的にはビデオ画像の中心ではない。第1に、レンズのズーム素子の軸と主要なレンズ構成部品の光軸との間に、わずかな誤った位置合せがあるかもしれない。第2に、カメラのCCD配列は、レンズの光軸に対して正確には垂直でないかもしれない。
【0108】
このオフセットは、2つの方法のうちの一方で処理することができる。第1に、ズームに従属するスキューパラメータを、データの解釈に加えることが可能である。あるいは、第2に、共通参照画像内のゼロ点を、カメラレンズの光軸が共通参照画像と交差する位置で定義することができる。ゼロ点は、実際には多くの方法で決定され得る。好適な方法では、第1に、画像の中心に画像上の十字マークをセットする。第2に、標準点でズームインする。標準点は、固定点あるいは参照点である。次に、十字マークが標準点に中心合わせされるまで、パンあるいはチルトさせる。それからできるだけズームアウトする。ここで、画像上の十字マークが再び標準点に中心合わせされるまで、十字マークを移動させる。最後に、カメラをズームインおよびアウトさせたときに十字マークが標準点に中心合わせされるまで、第2および第3のステップを繰り返す。今や標準点および十字マークのx,y座標は、共通参照画像の(0,0)ポイント、すなわち原点である。
【0109】
図16に示される共通参照画像は、パン、チルト、ズームおよびフォーカスのカメラパラメータのよく知られた設定にて、ある中間ズームでとられたスタジアムあるいはイベントの画像である。共通参照画像は、オペレータにとって好都合である。便宜のために、我々は以下の定義を行う。ずなわち、P=パンカウント(パンエンコーダ40がデータインタプリタに送信する数)、T=チルトカウント(チルトエンコーダ44がデータインタプリタに送信する数)、Z=ズームカウント(ズームエンコーダ49がデータインタプリタに送信する数)、およびF=フォーカスカウント(フォーカスエンコーダ53がデータインタプリタに送信する数)である。カメラセンサーの読みはまた、共通参照画像に同時に記録され、以下の指示が与えられる。すなわち、Z0=共通参照画像をとるときのZ、F0=共通参照画像をとるときのF、T0=共通参照画像をとるときのT、P0=共通参照画像をとるときのZ、および(X0,Y0)は上記で定義された(0,0)ポイントの共通参照画像における座標である。
【0110】
3つのキャリブレーション定数が、カメラセンサーデータを従来のLVIS画像追跡システムにより使用可能な形に転換するために必要とされる。これらの定数は、xp(Z0,F0においてパンセンサーのカウントごとに移動されるx画素の数)、yt(Z0,F0においてチルトセンサーのカウントごとに移動されるy画素の数)、およびzf(Z0においてFカウントセンサーと同等なZカウントの数)である。xpおよびytは、簡単な定数によって関係づけられるが、明確さのため、別々に識別している。
【0111】
図17は、x軸に沿ってズームカウンタからのカウントを取り、y軸に沿ってズームを取った、Zの線状の並んだプロットである。共通参照画像でのズームのセッティングは、単一のズームである。破線で示すように、カメラフォーカス素子を調整することの副作用は、画像の拡大あるいはズームにおける変化である。その変化の性質は、ズーム調整によって生み出される画像の拡大における変化と非常に類似している。しかしながら、全範囲にわたってフォーカス素子を調整することによっておよそもたらされる画像の拡大(ズーム)における変化は、全範囲にわたってカメラズーム素子を調整することによっておよそもたらされる画像の拡大における変化よりも、かなり小さい。
【0112】
これは、2セットの図を考えることによって、視覚的に理解され得る。第1に、画像の拡大(ズーム)と、ズームレンズのフォーカス素子が固定されたセッティングに保たれた状態での(ズームレンズのズーム素子を動かすスクリューシャフトの回転の数Zをカウントすることにより測定されるような)レンズのズーム素子の調整と、の関係のグラフが作られる。この第1の図は、拡大対ズームの図と称される。
【0113】
第2に、画像の拡大と、ズーム素子の位置であるZが数多く明瞭にセッティングされる(ズームレンズのフォーカス素子を動かすスクリューシャフトの回転の数Fをカウントすることにより測定されるような)レンズのフォーカス素子の調整と、の関係の数多くのグラフが作られる。これらのグラフは、拡大対フォーカスの図と称される。
【0114】
それから拡大対フォーカスの図を、拡大対ズームの図に重ねることができる。拡大対フォーカスの図のフォーカス軸を圧縮することにより、拡大対フォーカスのカーブの形状は、図17に示されるように、拡大対ズームの図の局所的な曲率に適合させることができる。
【0115】
重要なポイントは、フォーカスカーブをズームカーブに適合させるために必要なフォーカス軸の圧縮度合いは、Zが異なった固定値とされているにもかかわらず、各々の拡大対フォーカスのカーブと同じであるということである。これは、ズームおよびフォーカス調整を同様に扱うことによって、画像のサイズでのズームおよびフォーカスの相互作用の数学的処理の簡単化が可能であることを意味する。特に、画像のサイズあるいは拡大を決定するとき、フォーカスセンサー(フォーカス素子の位置を測定するカウンタ)からのデータを、ズームセンサー(ズーム素子の位置を測定するカウンタ)からのデータと同等に解釈することが可能である。ズームおよびフォーカスデータを同等にするために必要とされることは、一つのオフセット値および一つの増幅要素によるフオーカスデータの簡単な変形だけである。同等なズーム定数は、次式によって定義される。
【0116】
【数9】
ZEC=zf(F-F0)
【0117】
zfは、Zカウントに対するズームをプロットすることによって決められるキャリブレーション定数あり、個々のズームについてのFカウントに対してズームをオーバーレイしている。フォーカスからのズームがズームカーブにフィットするようにFカウントを調節することによって、一定のzfは、見いだされることができる。同じことが、ズームとZカウント間の関係を最初に決め、そして、zfを調節することによって、Fカウントにズームをフィットするためにその関係を使うことによって分析的にすることができる。
【0118】
好適な実施例では、ズームは、以下の最小2乗を使用している指数関数が使うZにフィットした。
【0119】
【数10】
【0120】
ズームをロウズームに変換するルックアップテーブル、または、上の方程式の式と同様でもよいルックアップテーブルと数学的な補間の結合もあってもよい。
【0121】
キャリブレーション定数xpおよびytは、カメラを共通参照画像の一つ以上の位置に向けることにより測定される。そして、すなわち十字マークをレンズの光軸に集中させて、PおよびT値を記録する。選ばれた位置および(0、0)位置との間で共通参照画像の画素距離を測定することによって、キャリブレーション定数xpおよびytは以下の2つの方程式によって計算される。
【0122】
【数11】
xp=(X−X0)/(Y−Y0)
yt=(Y−Y0)/(T−T0)
【0123】
定数xp、yt、zf、a、bおよびcは参照定数(P、Z、TおよびFを従来のLVIS画像追跡ソフトウェアに使われるアファイン係数と関係づけるための、または、共通参照画像の参照配列に関して知られている現在画像の点の位置を計算するためのZ0、F0、P0、T0、X0およびY0)と使われる。
【0124】
最も単純なアファイン表現で、回転を無視することとズームを仮定することは、xおよびy方向の中で、方程式によって、対象の位置が共通参照画像での位置と関係づけられるのと同じである:
【0125】
【数12】
xi=Zxr+tx
yi=Zyr+ty
【0126】
xiおよびyiは、現在画像で、対象のxおよびy位置にあり、xrおよびyrは、共通参照画像で、同じ対象のxおよびy位置にあり、Zは、現在画像および共通参照画像の間のズームであり、そして、txおよびtyは、現在画像および共通参照画像の間のxおよびy移行である。従来のLVIS追跡方程式では、Z、txおよびtyは、重み平均最小2乗を利用して、一組の知られているランドマークの位置を測定することによって解かれる。
【0127】
見出されたZ、txおよびtyを有して、共通参照画像の他のどの位置も、xiおよびyiのための方程式を使用している現在画像にマップされうる。
【0128】
以上の方程式から、Zは簡単にあることが分かる。
【0129】
【数13】
【0130】
ここで、μはズームおよびフォーカスカウントを結合して以下のように定義される。
【0131】
【数14】
μ=Z+zf(F−F0)
【0132】
txおよびtyは関係を使用しているカメラセンサーから見いだされる。
【0133】
【数15】
tx=xp(P−P0)
ty=yt(T−T0)
【0134】
好適な実施例では、データ翻訳装置116は、ソフトウェアもしくはハードウェアインプリメンテーション、または、ソフトウェアとセンサーデータP、T、Z、FをZ、tx、tyに変換する方程式のハードウェアインプリメンテーションとの結合であり、P0、T0、Z0、F0、X0、Y0、zf、xp、ytを定義することによって調整される。
【0135】
点のxおよびy位置はP0、T0、Z0、F0、X0、Y0、zf、xp、ytに関して、以下の式によって直接表わされうる。
【0136】
【数16】
xi=xiZ+xp(P−P0)
yi=yiZ+yt(T−T0)
【0137】
どのインプリメンテーションが使用されても、ハードウェアあるいはソフトウェアのインプリメンテーションは、上で詳述される解析式、または明示するルックアップテーブルもしくは近似式、実験データから推論された式、または、ルックアップテーブル、解析式、実験データの結合によってあってもよい。
【0138】
LVISは、現在多くの方法の翻訳されたカメラセンサーデータを使用できる。しかしながら、どの方法が使用されても、使用されている個々のレンズのレンズ歪みのために補正しなければならない。
【0139】
翻訳されたカメラデータを使用する1つの方法は、検索のためだけのZ、tx、tyのアファイン変換を使い、それから、従来の追跡への切り替えをすることである。この手段は、米国特許シリアル番号第08/563598号および第08/580892号の「ライブビデオ放送への静的動的画像の挿入のためのシステムと方法」および「ライブビデオ挿入システムのための追跡シーン動作の方法」とそれぞれ名付けて共通に所有された出願中の出願で詳細に説明したように、変形可能な共通参照画像を有することによって、一般的に、レンズの歪みを補正することができる。
【0140】
翻訳されたカメラデータを使用する第2の出願は、Z、tx、tyのアファイン変換を1つ以上の画像中心のランドマーク(それは常に見える。しかし、それは常に約2つの画素のエラーを与える重み係数を有する。)を作成するために使用し、システムの追跡能力を補うためにそれを使用し、それからマトリックスベースのランドマーク追跡システムに、シリアル番号第08/580892号の「ライブビデオ挿入システムのための追跡シーン動作の方法」と名付けた1995年12月29日に出願の出願中の特許出願細部で述べたように、これらの余分なランドマークを供給する。フレキシブル共通参照画像は、フレキシブルカメラ参照パラメータを含むために拡張されようとしなければならなかった。
【0141】
翻訳されたカメラデータを使用する第3の方法は、予測または予測の一部としてZ、tx、tyのアファイン変換を使用し(ここで、光学追跡ランドマークは、現在画像になければならない)、システムの追跡能力を補うことであり、それから、認識できる構成が得られるというほどに、現在画像を参照配列に関連づけるために使用されているどんなモデルをも改善するために、ランドマークあるいはテクスチャ追跡を使用する。テクスチャ追跡は、シリアル番号第60/031,883号の「持続的に選択された画像構造テンプレートを用いたカメラ追跡」と称する1996年11月27日に出願の出願中の特許出願に記載されている。
【0142】
この処理法は、フルアファインおよび背景を含むどんな表現モデルのためにも使われうる。歪み補正は、特にもし補正がモジュラ形になったら、すなわち、利用可能な、たとえば、ズーム、xオフセット(あるいは水平移行)、yオフセット(あるいは垂直移行)が、別々で、および、いかなる結合でもより難しくなる。一つの強力な方法は、関数あるいは歪みをマップするルックアップテーブルを有することである。
【0143】
共通参照画像を現在画像に関連付ける決定されたモデルを有し、挿入オクルージョンを含むLVISの剰余は、シリアル番号第08/662,089号の「合成共通参照画像を有する適応オクルージョンを使用しているビデオへのリアルタイム挿入のシステム及び方法」と称する出願中の特許出願の細部にて説明したように、通常、使用できる。
【0144】
図18において図示される本発明の別の実施例では、パン、チルト、ズームおよびすでに説明されるフォーカスセンサー113を加えて、2つの付加センサー160と164が推移モジュールの中にはめ込まれてあり、その推移モジュールによってカメラ110とレンズ112が三角形マウント111に取り付けられる。これらの付加センサー160および164は、2つの直角の方向162および166の加速度を測定する加速時計である。加速時計からのデータは、データ収集装置114に供給され、データ収集装置でそのデータは、xおよびy方向でのカメラの現在変位を提供する時間に関して2度統合される。変位データは、データ判断装置116に供給される、データ判断装置で、変位データは、ある前もって決定されたキャリブレーション定数によって増加され、翻訳されたアファイン変換のtxおよびty成分に加えられ、または関連付けられた異なるキャリブレーション定数によって増加され、そして画像座標に直接変換で使うためにパンおよびチルトカウントにそれぞれ直接加えられる。
【0145】
この別の実施例の簡略なバージョンでは、垂直方向の加速度を測定している加速度計160だけがパン、チルト、ズームおよびフォーカスセンサー113に加えられ、仮定の固定された複数のカメラの共通の問題として、それらのカメラは不安定なプラットホームや垂直シフトに取り付けられることが重大な問題である。
【0146】
別の実施例の簡略なバージョンの改良では、第2の加速度器163がレンズ112の先頭に取り付けられるので、垂直方向のカメラコンプライアンスあるいは振動(軸146についてのチルトから独立している)はまた、測定され、カメラ110およびレンズ112がどんな与えられた時間ででも位置する方向の確認のために使用される。
【0147】
他に、図19に図示される本発明の別の実施例では、レンズ112に取り付けられるズームおよびフォーカスセンサー149と153は、好ましい実施例と同じである。しかし、チルトおよびパンセンサー140と144は変更され、付加回転センサー174と付加無線周波数(RF)送信機もしくは付加インフラレッド(IR)送信機170が取り付けてある。そのチルトセンサー144は、プラムボブ電位差計であり、地球の表面を重力で定義し、通常からローカルまでチルトを測定する。
【0148】
その回転センサー174もまた、プラムボブ電位差計、または、軸176のまわりをカメラの回転を測定するために設計された重力に敏感なゼロ表示を有する光学エンコードセンサーである。そのパンセンサー140は、ローカルな磁軸から離れて水平回転を測定する敏感な、電子コンパスである、磁軸とは、たとえばローカルマグネチックノースであるかもしれない。RFもしくはIR送信機170は、前もって決められた正確に一定な時間に、適当な形作られたパルスを出す、そのパルスは、スタジアムの適切な位置に設置される2つ以上のレシーバ172によって拾われる。レシーバ172でパルスの到着時間の差分を測定することによって、スタジアム内のカメラの位置を2、3ミリメートルの範囲で計算することができる。レシーバ172およびカメラセンサー140、144、149、153からのデータは、それからLVISシステムのデータインタプリタ116に供給される。データを結合することによって、レンズ112のフォーカスおよびズームと同様に、システムは、カメラ110の位置と方位を計算することができる。このような方法で、手で保持するカメラあるいはモバイルカメラは、適応することができる。アファイン表現モデルにおいて、以前の方程式は、回転を取り扱うためのクロスタームを含むために拡張された。たとえば、
【0149】
【数17】
xi=Zxr+βyr+tx
yi=Zyr+βxr+ty
【0150】
ここで(変数)は、手で保持するカメラによって許される余分な回転の自由度を計算するための変換定数である。
【0151】
他に、図20に図示されている本発明の実施例では、システムは、手で保持するカメラもしくはモバイルカメラを扱うことができ、プレイ中のスポーツのインタレストの対象の位置を決めることができる。たとえば、コート15でプレイ中のテニスの試合では、ボール80は送信機を隠し得る、その送信機は、単純な無線周波数(RF)あるいはインフラレッド(IR)送信機であるかもしれない、それは、前もって決められた最適な形づくられたパルスを送り出し、タイミングか、振動数か、パルスの形か、他の適当な手段のどれかによって、正確に計られた一定の時間とモバイルカメラ110に取り付けてある送信機170を識別する。
【0152】
レシーバ172はスタジアムの適当な位置に設置され、今、カメラ送信機170およびオブジェクト送信機180によって出されるパルスの到着時間の両方の差を測定する。システムは、今、送信機180でカメラ110とボールの両方の瞬間的な位置を示すことができる。カメラ110およびレシーバからのデータは、データ収集114およびそれからデータインタプリタ116に供給される。データインタプリタ116は、今、カメラ110とレンズ112の位置、方位、ズームおよびフォーカスを推定でき、前に細部を説明したように、検索情報をLVISシステムに提供しLVISシステムのトラックモードの利点に使用されるかもしれない。さらに、データインタプリタ116がまた、現在画像のインタレスト180の対象の位置についての情報を提供でき、それは、たとえば、インタレストの対象の直交切線182を示す最終的な出力で、グラフィック84のような高品質を視聴者に提供するために使用されてもよい。
【0153】
ここで教示した装置および操作方法は、本発明の実例となることは理解された。改良は、本発明の思想または有効範囲から逸脱することなく、当業者によって、容易にされるかもしれない。
Claims (18)
- 1つ以上のカメラセンサーを備えた少なくとも1台のカメラによってスキャンされた次々と関連するビデオ画像のフィールドからフィールドへの追跡動作のための方法であって、
a) それぞれのランドマークが唯一のxとy座標を持つ複数のランドマークを有する参照配列を表す理想的なxとy座標の配列を確立するステップと、
b) 現在画像のxとy座標を前記参照配列の前記xとy座標にマッピングするステップと、
c) 前記カメラセンサーからカメラの位置と方位を表すカメラセンサーデータを取得するステップと、
d) 前記カメラセンサーデータを用いて前記ランドマーク配列の将来の位置x’とy’を予測するステップとからなり、
2つの連続するフィールド間の変化に対応する予測の誤りは、(i)前記カメラセンサーデータから計算されたランドマーク配列におけるフィールド間の相違を(ii)それぞれ配置されたランドマーク位置x,yに加えることによって、最小化されることを特徴とする方法。 - 前記マッピングは、以下の関係によって達成されることを特徴とする請求項1に記載の方法。
【数1】
x’=a+bx+cy
y’=d+ex+fy
ここで、xは、参照配列におけるランドマークの水平座標
yは、参照配列におけるランドマークの垂直座標
x’は、現在シーンにおけるランドマークの水平座標
y’は、現在シーンにおけるランドマークの垂直座標
aは、目的物をx方向に水平に移行する画像移動
bは、現在配列と現在画像との間をx方向に拡大するための画像倍率
cは、x方向における回転とスキューとの結合
dは、目的物をy方向に垂直に移行する画像移動
eは、y方向における回転とスキューとの結合
fは、現在配列と現在画像との間をy方向に拡大するための画像倍率 - 前記ビデオ画像は、似ているフィールドと似ていないフィールドの間を交互にフィールドからフィールドまで垂直にインターレスされることを特徴とする請求項2に記載の方法。
- 前記インターレスされたビデオ画像のための予測する将来の前記ランドマーク座標x’とy’は、所定の似ているフィールドから検出された前記ランドマークの位置の変化に基づくことを特徴とする請求項3に記載の方法。
- 請求項4に記載の方法は、
e) 前記ランドマークの予測位置を見渡す実在範囲に関して案内され、テンプレートを使用した相関の手段によって前記現在画像における前記ランドマークの1つをサーチするステップと、
f) 重みづけされた相関面をもたらす前記ランドマークの予測位置への距離の相関に近付くさらに大きな重みを与える重み関数によってステップ(e)における前記相関サーチの結果を掛けるステップと、
g) 前記重みづけされた相関面のピーク値をサーチするステップと、
をさらに有することを特徴とする方法。 - 請求項5に記載の方法は、
h) ランドマークに対する前記重み関数によって重みづけされた現在画像内のランドマークの現在位置に基づいて現在画像に対する新たなワープパラメータa,b,c,d,eとfを検出するステップをさらに有し、
重みは、ランドマークに与えられ、それらの予測位置に近付けることを特徴とする方法。 - 請求項7に記載の方法は、
i) 前記参照配列における前記ランドマークの位置を前記現在画像における前記ランドマークの位置により最新のものにするステップをさらに含み、前記最新のものにすることは、良く一致されるランドマークに基づき、また、前記ランドマーク重み関数により実行されることを特徴とする方法。 - 請求項8に記載の方法は、
(j) 以前の放送に含まれる
(i) 前記参照ランドマーク座標と等しいランドマーク座標を持つコード参照配列と、
(ii) 前記コード参照配列座標と等しく初期設定されたランドマーク座標を持つゲーム参照配列と、
(iii) 前記コード参照配列座標と等しく初期設定されたランドマーク座標を持つ追跡参照配列と、
の3種類の参照配列を確立するステップからなることを特徴とする方法。 - 請求項9に記載の方法は、
k) 前記追跡参照配列の座標を放送中に変化させるステップと、
l) シーンが切れた後に追跡参照配列の座標を前記ゲーム参照配列の座標にリセットするステップとから構成されることを特徴とする方法。 - 前記ビデオシステムがオペレータによって制御される請求項10に記載の方法は、
m) 前記現在追跡参照配列の座標を前記ゲーム参照配列の座標に等しくセットしたり、前記ゲーム参照配列の座標をコード参照配列の座標に戻してセットしたりすることを選択的に選択するステップから構成され、前記オペレータは、ゲームまたは追跡の参照配列の座標を最新のものにするか無効にできることを特徴とする方法。 - 請求項11に記載の方法は、
n) それぞれの前記ランドマーク位置の周りのパターンにおける色と照度の変化を検出できる前記カメラセンサー位置の前記カメラセンサー位置のセットを確立するステップと、
o) 前記カメラセンサー位置が予想された色または照度から色または照度において異なるかを決定するステップと、
p) 前記色または照度が予想されたものから大きく異なる場合に、前記ランドマークを将来の計算から除外するステップとから構成され、
前記ランドマークは、前記カメラセンサー位置における前記色または照度が予想された色または照度から大きく異なる場合に、遮られることを特徴とする方法。 - 前記相関テンプレートは、15×15画素のウインドウであることを特徴とする請求項12に記載の方法。
- 前記マッピングは、以下の関係によって達成されることを特徴とする請求項1に記載の方法。
【数3】
x’=a+bx
y’=d+by
ここで、xは参照配列におけるランドマークの水平座標
yは、参照配列におけるランドマークの垂直座標
x’は、現在シーンにおけるランドマークの水平座標
y’は、現在シーンにおけるランドマークの垂直座標
bは、現在配列と現在画像との間をx方向に拡大するための倍率
aは、目的物をx方向に水平に移行するための移動
dは、目的物をy方向に垂直に移行するための移動 - 請求項4に記載の方法は、
q) サーチの開始位置が前記ランドマークの予測位置の実質的に中心に置かれ、テンプレートを使用した相関の手段によって前記現在画像における前記ランドマークの1つをサーチするステップと、
r) 前記予測された位置から開始し一致を検索して外に向かって進む前記サーチを実行するステップと、
s) 前記調和がスレッショルド値を越えた時に前記ランドマークのサーチを停止するステップとから構成されることを特徴とする方法。 - 1つまたはそれ以上のカメラセンサーを備えた少なくとも1台のカメラによってスキャンされた次々と関連するビデオ画像のフィールドからフィールドへの追跡動作のための方法であって、
hh) メモリ内に捕らえられている基準のおよび格納されている画像テンプレートと確実に合うイメージ現在ビデオ画像から画像テンプレートのセットを得るステップと、
ii) 前記カメラセンサーからカメラの位置と方位を表すカメラセンサーデータを取得するステップと、
jj) それぞれ格納された現在画像に関連する画像テンプレートの位置を決定する前記カメラセンサーデータを用いるステップと、
kk) 現在画像に関連する決定されたテンプレート位置を用いて参照位置データと現在画像位置データを一致させる変換モデルを計算するステップと、
ll) メモリから保持している基準とは確実に合わない画像テンプレートを一掃するステップと、
mm) 一掃された画像テンプレートに代えて前記現在画像から新たな画像テンプレートを得るステップとから構成されることを特徴とする方法。 - 加速度計を含むカメラセンサーを備えた少なくとも1台のカメラによってスキャンされた次々と関連するビデオ画像のフィールドからフィールドへの追跡動作のための方法であって、
nn) それぞれのランドマークが唯一のxとy座標を持つ複数のランドマークを有する参照配列を表す理想的なxとy座標の配列を確立するステップと、
oo) 現在画像のxとy座標を前記参照配列の前記xとy座標にマッピングするステップと、
pp) 前記カメラセンサーからカメラの位置、方位と振動を表すカメラセンサーデータを取得するステップと、
qq) 前記カメラセンサーデータを用いて前記ランドマーク配列の将来の位置x’とy’を予測するステップとからなり、
2つの連続するフィールド間の変化に対応する予測の誤りは、(i)前記カメラセンサーデータから計算されたランドマーク配列におけるフィールド間の相違を(ii)それぞれ配置されたランドマーク位置x,yに加えることによって、最小化されることを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US3814396P | 1996-11-27 | 1996-11-27 | |
US60/038,143 | 1996-11-27 | ||
PCT/US1997/021607 WO1998024242A1 (en) | 1996-11-27 | 1997-11-25 | Image insertion in video streams using a combination of physical sensors and pattern recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001506819A JP2001506819A (ja) | 2001-05-22 |
JP4641566B2 true JP4641566B2 (ja) | 2011-03-02 |
Family
ID=21898302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP52482198A Expired - Lifetime JP4641566B2 (ja) | 1996-11-27 | 1997-11-25 | 物理的なセンサーおよびパターン認識の結合を用いたビデオストリームへの画像挿入 |
Country Status (12)
Country | Link |
---|---|
EP (1) | EP0943211B1 (ja) |
JP (1) | JP4641566B2 (ja) |
CN (1) | CN1238888A (ja) |
AT (1) | ATE405102T1 (ja) |
AU (1) | AU5457598A (ja) |
BR (1) | BR9714970A (ja) |
DE (1) | DE69738908D1 (ja) |
DK (1) | DK0943211T3 (ja) |
ES (1) | ES2313738T3 (ja) |
PT (1) | PT943211E (ja) |
RU (1) | RU99110735A (ja) |
WO (1) | WO1998024242A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2344714A (en) * | 1998-09-22 | 2000-06-14 | Orad Hi Tec Systems Ltd | Method and apparatus for creating real digital video effects |
US6525780B1 (en) | 1998-12-18 | 2003-02-25 | Symah Vision, Sa | “Midlink” virtual insertion system |
US7075556B1 (en) | 1999-10-21 | 2006-07-11 | Sportvision, Inc. | Telestrator system |
US6993245B1 (en) | 1999-11-18 | 2006-01-31 | Vulcan Patents Llc | Iterative, maximally probable, batch-mode commercial detection for audiovisual content |
US6909438B1 (en) | 2000-02-04 | 2005-06-21 | Sportvision, Inc. | Video compositor |
US6968565B1 (en) | 2000-02-25 | 2005-11-22 | Vulcan Patents Llc | Detection of content display observers with prevention of unauthorized access to identification signal |
AU2001249994A1 (en) | 2000-02-25 | 2001-09-03 | Interval Research Corporation | Method and system for selecting advertisements |
US8910199B2 (en) | 2000-02-25 | 2014-12-09 | Interval Licensing Llc | Targeted television content display |
WO2003022369A2 (en) | 2001-09-12 | 2003-03-20 | Pillar Vision Corporation | Trajectory detection and feedback system |
US10360685B2 (en) | 2007-05-24 | 2019-07-23 | Pillar Vision Corporation | Stereoscopic image capture with performance outcome prediction in sporting environments |
US8409024B2 (en) | 2001-09-12 | 2013-04-02 | Pillar Vision, Inc. | Trajectory detection and feedback system for golf |
US8617008B2 (en) | 2001-09-12 | 2013-12-31 | Pillar Vision, Inc. | Training devices for trajectory-based sports |
GB2408164A (en) * | 2003-11-12 | 2005-05-18 | Alastair Breward | Controlling a dynamic display apparatus |
US7590310B2 (en) | 2004-05-05 | 2009-09-15 | Facet Technology Corp. | Methods and apparatus for automated true object-based image analysis and retrieval |
JP2006005659A (ja) * | 2004-06-17 | 2006-01-05 | Canon Inc | 画像符号化装置及びその方法 |
CN1312924C (zh) * | 2004-12-16 | 2007-04-25 | 上海交通大学 | 基于纹理信息的视频图象运动检测方法 |
US7451041B2 (en) | 2005-05-06 | 2008-11-11 | Facet Technology Corporation | Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route |
US7383728B2 (en) | 2005-07-13 | 2008-06-10 | Ultimate Balance, Inc. | Orientation and motion sensing in athletic training systems, physical rehabilitation and evaluation systems, and hand-held devices |
US8408982B2 (en) | 2007-05-24 | 2013-04-02 | Pillar Vision, Inc. | Method and apparatus for video game simulations using motion capture |
RU2443070C1 (ru) * | 2007-12-13 | 2012-02-20 | Суппонор Ой | Способ изменения содержания телевизионного изображения |
JP5471224B2 (ja) * | 2009-09-15 | 2014-04-16 | ソニー株式会社 | 撮像システム、撮像装置、情報処理装置及び撮像方法 |
US20120180084A1 (en) * | 2011-01-12 | 2012-07-12 | Futurewei Technologies, Inc. | Method and Apparatus for Video Insertion |
JP6050258B2 (ja) | 2011-02-21 | 2016-12-21 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | カメラを持つリモコンからの制御フィーチャの推定 |
EP2689589A1 (en) * | 2011-03-25 | 2014-01-29 | Thomson Licensing | Method to hide and recover data in a video stream |
US8948457B2 (en) | 2013-04-03 | 2015-02-03 | Pillar Vision, Inc. | True space tracking of axisymmetric object flight using diameter measurement |
KR102081087B1 (ko) | 2013-06-17 | 2020-02-25 | 삼성전자주식회사 | 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서 |
CN117369197B (zh) * | 2023-12-06 | 2024-05-07 | 深圳市安思疆科技有限公司 | 3d结构光模组、成像系统及获得目标物体深度图的方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0595808B1 (en) * | 1991-07-19 | 1999-06-23 | Princeton Video Image, Inc. | Television displays having selected inserted indicia |
GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
IL108957A (en) * | 1994-03-14 | 1998-09-24 | Scidel Technologies Ltd | Video sequence imaging system |
US5488675A (en) * | 1994-03-31 | 1996-01-30 | David Sarnoff Research Center, Inc. | Stabilizing estimate of location of target region inferred from tracked multiple landmark regions of a video image |
US5436672A (en) * | 1994-05-27 | 1995-07-25 | Symah Vision | Video processing system for modifying a zone in successive images |
US5564698A (en) * | 1995-06-30 | 1996-10-15 | Fox Sports Productions, Inc. | Electromagnetic transmitting hockey puck |
-
1997
- 1997-11-25 AU AU54575/98A patent/AU5457598A/en not_active Abandoned
- 1997-11-25 RU RU99110735/09A patent/RU99110735A/ru not_active Application Discontinuation
- 1997-11-25 CN CN97180124A patent/CN1238888A/zh active Pending
- 1997-11-25 WO PCT/US1997/021607 patent/WO1998024242A1/en active Application Filing
- 1997-11-25 EP EP97948522A patent/EP0943211B1/en not_active Expired - Lifetime
- 1997-11-25 AT AT97948522T patent/ATE405102T1/de active
- 1997-11-25 PT PT97948522T patent/PT943211E/pt unknown
- 1997-11-25 JP JP52482198A patent/JP4641566B2/ja not_active Expired - Lifetime
- 1997-11-25 BR BR9714970-5A patent/BR9714970A/pt not_active IP Right Cessation
- 1997-11-25 DE DE69738908T patent/DE69738908D1/de not_active Expired - Lifetime
- 1997-11-25 ES ES97948522T patent/ES2313738T3/es not_active Expired - Lifetime
- 1997-11-25 DK DK97948522T patent/DK0943211T3/da active
Also Published As
Publication number | Publication date |
---|---|
RU99110735A (ru) | 2001-03-10 |
DE69738908D1 (de) | 2008-09-25 |
ATE405102T1 (de) | 2008-08-15 |
EP0943211A1 (en) | 1999-09-22 |
ES2313738T3 (es) | 2009-03-01 |
BR9714970A (pt) | 2001-11-06 |
JP2001506819A (ja) | 2001-05-22 |
EP0943211B1 (en) | 2008-08-13 |
AU5457598A (en) | 1998-06-22 |
DK0943211T3 (da) | 2008-12-15 |
PT943211E (pt) | 2008-11-19 |
EP0943211A4 (en) | 2002-02-06 |
CN1238888A (zh) | 1999-12-15 |
WO1998024242A1 (en) | 1998-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4641566B2 (ja) | 物理的なセンサーおよびパターン認識の結合を用いたビデオストリームへの画像挿入 | |
US6100925A (en) | Image insertion in video streams using a combination of physical sensors and pattern recognition | |
US5808695A (en) | Method of tracking scene motion for live video insertion systems | |
JP3644688B2 (ja) | ビデオ画像におけるビルボードの自動電子式置換方法および装置 | |
US7154540B2 (en) | System for enhancing video | |
US20070085908A1 (en) | A method and apparatus for enhancing the broadcast of a live event | |
US9756277B2 (en) | System for filming a video movie | |
WO1999035503A2 (en) | System for determining the position of an object | |
US20230237747A1 (en) | Registration for augmented reality system for viewing an event | |
US11880953B2 (en) | Augmented reality system for viewing an event with distributed computing | |
US11645819B2 (en) | Augmented reality system for viewing an event with mode based on crowd sourced images | |
CN109120901B (zh) | 一种摄像机间画面切换的方法 | |
US20230118280A1 (en) | Use of multiple registrations for augmented reality system for viewing an event | |
GB2305051A (en) | Automatic electronic replacement of billboards in a video image | |
MXPA99004800A (en) | Image insertion in video streams using a combination of physical sensors and pattern recognition | |
GB2589904A (en) | A device, computer program and method | |
US20230306682A1 (en) | 3d reference point detection for survey for venue model construction | |
Collins et al. | Acquiring multi-view video with an active camera system | |
MXPA97010192A (en) | Method for tracking movement of scenes parasystems of video insertion in "vi | |
MXPA97010191A (en) | System and method for inserting static and dynamic images in a v devide transmission |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080118 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080215 |
|
A72 | Notification of change in name of applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A721 Effective date: 20080606 |
|
A72 | Notification of change in name of applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A721 Effective date: 20080821 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090902 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101102 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101130 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |