JP3738035B2

JP3738035B2 - ビデオ画像におけるビルボードの自動電子式置換方法および装置

Info

Publication number: JP3738035B2
Application number: JP51100397A
Authority: JP
Inventors: イツハクウィルフ，; アヴィシャリル，; ミカエルタミール，
Original assignee: オラドハイ−テックシステムズリミテッド
Priority date: 1995-09-08
Filing date: 1996-09-09
Publication date: 2006-01-25
Anticipated expiration: 2016-09-09
Also published as: AU695857B2; EP1056281B1; ES2157456T3; CA2231374A1; DE69607631T2; AU6935296A; WO1997009822A1; CN1199530A; DE69612666D1; US6384871B1; CN1198865A; MX9801849A; DE69607631D1; CA2231376C; JPH11512263A; AU6935096A; EP0848884A1; TR199800395T1; CA2231374C; DE69635558D1

Description

この発明は、ビデオ画像におけるビルボードを自動的に置換するための方法および装置に関する。
この発明は、スタジアムまたは他の開催場所内でのビルボードの電子式置換における特別な用途を有しているが、他の目的としては、カメラの方向に関連する正確なデータを提供するために使用され得る。
従来のシステムにおいて、テレビの視聴者により見られるスタジアム内のビルボードを電子式に置換することが提案されてきた。スタジアム内のビルボードは、ＴＶカメラによりテレビ放送され、家にいるＴＶ視聴者が、スタジアムまたは他の開催場所にいる観客とは異なるボードをみるように、ボードは電子式に変更された。
米国特許第５２６６９３３号明細書に開示されたような公知のシステム、ビデオ画像を電子式に変更する装置および方法が開示されている。この米国特許および米国特許第５３５３３９２号に開示された装置および方法は、理論的にビルボードの置換を許容しているけれども、実際の環境において遭遇する多くの実際の問題を解決するものではない。これらの問題の多くは、認識および置換処理に関連している。
置換のためにビルボードを認識しかつ突きとめるためのビデオ信号のみを利用するパターン認識技術に完全に依存することは、そのようなシステムの実際の価値に影響する大きな問題点を導くことになる。
明らかに、米国特許第５２６４９３３号明細書および米国特許第５３５３３９２号明細書に開示されているようないくつかのパターン認識方法は、予め定められた描写と比較され得る画像における有用な目に見える特徴に依存しなければならない。そのような特徴は、ビルボード内またはその近傍に配置されなければならない。
現実的な状況において、これらの特徴の視覚可能性は、連続的に、またそうでなければゼロからパターン認識方法が適正に作動することを許容する一定のしきい値の視覚可能性まで変化する。これらの変化は、視覚可能性の成長または現象の方向に生じ得る。
そのような状況は、
・巨大な量のぼけを導く、カメラ動作の加速、減速、
・ビルボードの過度のズームインまたはズームアウト、
・プレーヤによる過度の閉鎖、
・パン、チルト、ズーム操作のどれかの結合によりカメラの視覚内への出入り、
・上述した機構のどれかの組み合わせ
である。
したがって、実際の状況では、ビルボードの連続的な置換は不可能である。たとえ、割り込まれた置換が許容されたとしても、結果として生ずる置換間隔が受容可能か否かを判断するために少なくとも数秒の遅延が必要とされる。そのような遅延は、スポーツの試合の生放送においては、通常は許されない。
任意のビルボードを置換することは、他の問題を導く。継ぎ目のない置換には、遮断(occlusion)位置における置換を禁止するために、ビルボードを遮る前景の物体を識別することが必要である。前景の物体は、主としてプレーヤであるが、ボールまたは他の物体であることもある。今、赤いシャツを着たプレーヤを想定すると、ビルボードの同様に赤い部分の一部を遮る。色のコントラストは遮断を識別するために、ロバストに使用することはできない。さらに、プレーヤは、硬質な物体ではなく、動作または形状情報は、完全な置換を保証するのに十分に正確には使用することができない。
実際の状況において生ずることがある他の問題は、ビルボード識別の分解能である。２つの同一のビルボードがアリーナの異なる位置に配置されることを考える。異なる置換ビルボードが、これらの物理的なビルボードの各々に対して割り当てられることを想定すると、どちらがどちらであるかを見分けなければならない。このことは、特に、曖昧でない特徴を全く見ることができない場合には、きわめて困難であることがわかる。
この発明は、ビルボード置換のためのロバストシステムを、以下のキー要素のいくつかまたは全てに基づいて説明している。
・クロマキー技術により遮断の効率的な検知を可能とするように適正に色づけされた物理的なビルボード。
・画像処理方法の性能をさらに向上するための物理的ビルボード内の色の変化または模様。
・カメラに取り付けられたパン、チルト、ズームおよびフォーカスセンサ。これらは、適正なセットアップ手続の後に、任意の所定のビデオフィールドにおけるビルボードの存在および位置を推測することを可能とする。
・センサの推測を洗練することを可能とする、画像処理方法およびそれらの環境。
したがって、この発明は、第１の目的として、クロマキー面を具備し、かつ、電子式置換ビルボードがクロマキーボードの代わりに用いられることを可能とするための手段をも提供する物理的ビルボードを提供することを有している。
したがって、この発明は、ビルボードを見るためのビデオカメラを含むビデオ画像におけるビルボードの自動置換のための装置を提供するものであり、ビルボードはクロマキー面を有し、前記装置は、さらに、少なくとも１つのクロマキー色を検知するように動作するクロマキーユニットを含み、クロマキー色がクロマキー面の色に順応させるように調節可能であることを特徴としている。
この発明は、カメラの任意のパン速度およびカメラパラメータの他の全ての変更により、全ての天候条件においてスタジアムまたは他の開催場所内のビルボード、または他の静止した物体の位置の識別を可能とする方法および装置をも提供するものである。
したがって、この発明は、ビデオ画像におけるビルボードの自動電子式置換のための装置であって、既知の参照位置に対するＴＶカメラの視界（ＦＯＶ）を測定するように作動する動作測定手段を含む自動カメラ方向測定装置を具備する装置を提供する。
また、この発明は、ビデオ画像におけるビルボードの自動電子式置換のための装置であって、ＴＶカメラにより生成されたビデオ信号を処理するための画像処理手段を含み、該処理手段が前記動作測定手段を定期的に自動的に較正するキャリブレーション手段を含み、動作測定手段が既知の参照位置に対するカメラのパン、チルト、ズームまたはフォーカスを測定する手段を含む装置を提供する。
したがって、この発明は、完全なモデルにおける残留センサ誤差または収差、および、時間にわたるセンサドリフトの補正のために動的リキャリブレーションを使用する。したがって、この発明によれば、より安定でないセンサを使用することが可能であり、この発明に係る装置および方法は、カメラ位置における動作を適応させることができる。センサのキャリブレーションのための画像補正処理は、ビデオ画像に対して自動的にリキャリブレーションすることにより、機械的手段によってセンサの安定性を保持する必要をなくすものである。
最初のセットアップ手続において、補正には、例えば視界の中心にないビルボードのためのキャリブレーションが組み込まれ、例えばスクリーンの左上隅に配されるビルボードが、例えば、カメラ内の収差を考慮に入れるように、３画素によって調節され得る。
従来のシステムにおいて生ずる問題点は、第１に、ビルボードが実質的に全体的に遮断されているか、第２に、ビルボードの実際の掲示と同じ色のプレーヤのような物体により遮られているときに生じる。
このことは、第１に、上述したように、ビルボードの不認識につながり、第２に、ビルボードの満足のいく置換の困難性にもつながる。
第１の場合において、現実のビルボードは、ビデオ画像において既に置き換えられ得るが、カメラがクローズアップ内にズームする場合、または、異なるカメラがクローズアップのために使用される場合には、視界におけるビルボードの非常に小さい部分だけによってロックが失われる。第２の場合において、プレーヤは、ビルボードと同じ色のストリップ(strip)上に配される。従来のシステムは、色が同じ場合には、動作に基づいてプレーヤからビルボードを識別すること、および遮断を決定するために「移動している」画素を解析することを提案している。このことは理論的には筋が通っているが、全てのプレーヤが全ての時間において移動している訳ではないので、実際には役に立たない。したがって、多くのプレーヤがビルボードの前で移動し、一プレーヤが他が移動した後に残る場合には、電子技術は、移動基盤を識別することができないであろう。投光照明、陰、反射率の相違、および前景のプレーヤおよび背景ビルボードのための異なる照明条件によって色が歪められるので、システムが働かなくなる場合も実際にはあるであろう。そのような場合には、元のビルボードがビデオ画像上に再現するか、または、置換ビルボードが適正に遮断されないかのいずれかである。
電子式信号処理をより正確にすることを可能にするためにビデオ送信に遅延を導入することも可能であるが、多くのプレーヤがビルボードを遮るように異なる方向に移動する場合の実際の問題を解決するものではない。必要な遅延は、受け入れられないと考えられ、全ての場合において上述した問題の全てを解決するものではない。
この発明の好適な実施形態によれば、実際のビルボードをクロマキーパネルまたはクロマキーパネルを形成する輪郭を描かれた領域で置換することが提案されている。
クロマキーは、本質的には、例えば、通常、青または他の適当な色に色づけられたクロマキーボードの前でニュースの読み手が起立し移動することを可能とする遮断技術である。ニュースの読み手（前景）は、色分化によりクロマキーボード（背景）から区別され、これにより、前景および背景の通常の遮断とともに置換背景の前で移動することができる。この技術は、テレビスタジオシステムに周知の技術であり、米国特許第２９７４１９０号明細書および同第４２００９８０号明細書を含む多くの米国特許に開示されている。
米国特許第５３５３３９２号明細書は、現実のビルボードがビデオ画像において仮想的なまたは電子式のビルボードにより置換される電子式置換ビルボードシステムを開示している。ビデオカメラとビルボードとの間に配置される遮断物体はビルボードの色または輝度を有する遮断のロックにより識別される。
国際公開第９４／０５１１８号公報は、背景クロマキーパネルを利用した仮想スタジオシステムが開示されている。パネルは、異なる色合いまたは明るさを有する２つのクロマキー色の均一な模様を有しており、それによって、最初のカメラ位置が既知である場合に背景クロマキーパネルに対するカメラの位置決めを可能としている。
この発明において、ビルボードは、クロマキーパネルまたはクロマキーパネルを形成する輪郭を描かれた領域により置換される。
従来技術においては、しかしながら、ただ１つのクロマキー領域が識別され、かつ、この領域は正確に照らされている。この発明においては、数多くのビルボードがスタジアム内の種々の位置に配置され、この発明は、電子式ビルボードを複数のビルボードと置き換えることを可能としている。
仮想的に設定されたスタジオアプリケーションにおいてもカメラは典型的には前景から２〜１０ｍ離れており、全視界が通常置き換えられる。これと比較すると、ビルボードはカメラから数１００ｍ離れることもあり、したがって、センサを用いた置換システムがより一層センサ誤差に影響されやすい。
・大きな焦点距離によって、同じセンサ精度は大きな幾何学的レジストレーション誤差に変換される。８１０００パルス／回転のロータリエンコーダを想定すると、角度精度は、０．００４４°または７５マイクロラジアンである。繰り返し精度は２倍悪い。４ｍの視界の１００ｍの撮影範囲を想定すると、ＦＯＶは４０ミリラジアンである。誤差は７６８＊１５０／２００００＝２．８８画素にに変換される。
・視界には、置換されない多くの静止物体（ビルボードを含む）を含むので、人間の監視者が、レジストレーション誤差に、より一層敏感になる。追加の誤差がレンズの歪み、焦点を通らない回転軸、非ゼロロール角度等から生ずる。
クロマキーは、基本的には、証明が注意深く設計されかつ制御され、クロマキー装置の制御が、青色スクリーンの色および証明の特別な配置のために注意深く調節されたスタジオのための技術である。
スポーツ競技において、条件は、非常に非理想的であり、クロマキーアルゴリズムに対する何らかの調整が必要である。特に、キー装置のパラメータは、アリーナを横切る照明における変化によって、置換される特定のビルボードに適合されるべきである。
したがって、この発明においては、クロマキーパネルを使用すること、および置換ビルボードによってビデオ画像においてこれらを置換することを提案している。
プレーヤまたは他の遮断物体がクロマキーパネルと異なる色であるということが完全な遮断のために必要であるので、さらなる好適な実施形態においては、パネルの色が、例えば、当業者に公知の回転式ビルボード構造を用いることにより、変更され得るクロマキーパネルを提供することを提案している。一側は、例えば、青色であり、他側は緑色である。プレーヤは運動面の背景に対して目立たないために緑色を着ない傾向にあるので、緑色はスポーツ環境において好ましい色である。
さらなる好ましい実施形態において、特に、複数のビルボードの置換が要求される実施形態においては、模様づけされたクロマキーボードが使用される。この模様は、任意の好適な形状でよいが、ビルボードまたは一連のビルボードの大きさおよび形状に対して、そして前もって処理されたビデオ条件に対しても適合されるように選択されることが好ましい。このように、ビルボードが、単に、遠い距離から見られ得る場合には、クローズアップして見られるビルボードに対しては、異なる模様が選択されることになる。
模様は、異なる色からなっていてもよく、また、同じ色の異なる色調であってもよい。模様は、垂直および水平線からなっていてもよく、または、装飾的模様、識別できる広告、会社のロゴまたはより審美的に受容可能な他の好適な言葉遣いからなっていてもよい。
模様の使用は、カメラの位置のより一層の識別を可能とし、固定位置からのカメラの移動をも許容する。
カメラの方向データは、ビデオ信号とともに送信され、いかなる天候、照明または遮断条件においてもビルボードの位置を識別することになる。ビルボードの位置を識別するために、スポーツ開催場所内のいかなる特徴に対しても参照は必要とされない。
カメラセンサは、数画素に対して、または約１００ｍの範囲における約１ｃｍに対する物理的な項において正確であることができ、任意のビルボードの正確な置換が可能である。リキャリブレーションは、連続してまたは周期的のみに、特に、ＦＯＶの中心にないビルボードのキャリブレーションの最初の調節がセットアップに記録される場合に、実施することができる。
クロマキー技術の使用により、受信器および通常の方法で挿入された遮断において容易に挿入され得るので、いかなる遮断データの送信も必要ではない。
しかしながら、スタジアムの異なる位置に配置されたときには、クロマキーボードとして輪郭を描かれたクロマキー色の領域を含み、以下ビルボードとして言及されるボードは、照明条件を変更されかつ相違させられることになる。
発明者が理解した問題は、クロマキー装置が、指定されたクロマキー色を検知するように設定され、かつ、異なる照明条件下においてビルボードが（ビルボードが挿入されるべき領域を含むように画定されたものとして）変更されることである。したがって、この装置は、スタジアム中に配置された種々のビルボードを正確に識別することはできない。
したがって、この発明は、多くのビルボードの位置を記録し、かつ、それによってスタジアムに対するクロマキー色マップを提供するために置換されるべき各ビルボードのクロマキー色を記録するためのビルボードマップメモリを具備する装置をも提供している。
発明者が理解している他の問題は、複数の異なるクロマキー色が、ローカル分配センターにおいて置換されたビルボードを供給するために遠隔受信器に送信される場合に、そのようなセンターにおけるクロマキー装置にも選択的クロマキーマッピングが設けられていなければならないということである。このことは、実質的に、ローカル受信装置を複雑にし、この問題を解決することがこの発明の目的である。
したがって、この発明は、各ビルボードに対して完全な背景色キー信号が置き換えられるように送信するための手段をさらに含む装置を提供する。
この発明は、さらに、置換されるべき各ビルボードの座標を送信するための手段をさらに含む装置、および、ビルボード座標および完全な背景クロマキー色の受信のための受信装置をさらに含み、完全な背景クロマキー色により識別される座標領域における遮断を組み込んだ結合されたビデオ画像を提供するための手段を含む装置をさらに提供する。
スタジアムまたは他のスポーツ開催場所内の好適な配置において、通常の広告材料を伴う現実のビルボードは、第１の複数のカメラにより見られるようにスタジアムの位置側に配置され、クロマキービルボードは、第２の複数のカメラにより見られるべき他側または反対側に配置される。これにより、例えば、自国の国民は、通常のビルボードを見ることになり、国際的なＴＶ視聴者は、置換されたボードのみを見ることになる。
この発明は、カメラにより生成されたビデオ画像表示におけるビルボードの電子式の置換のための方法をも提供するものであり、その方法は、以下のステップを具備する。
ａ．スタジアムまたは他の開催場所における矩形状のクロマキー色ビルボードの位置を識別するステップ。この識別ステップは、第１のカメラ位置におけるその４個の角の識別により置換されるべきクロマキービルボードをビデオ表示上で特定することを含む。
ｂ．識別情報を記憶するステップ。
ｃ．パン、チルトおよびズームにおけるカメラの動作を監視するステップ。
ｄ．視界ごとを基礎として、カメラの監視された動作を記憶するステップ。
ｅ．現在のビデオフィールドにおけるクロマキービルボードの大きさ、遠近関係および位置に関連する情報を提供するために、その最初の既知の位置およびカメラの記憶された動作における記録された情報から置換されるべきクロマキービルボードの大きさおよび位置を解析するステップ。
ｆ．スタジアムにおけるクロマキービルボードの置換において使用されるべき置換ビルボードをビルボード置換記憶部に記憶するステップ。
ｇ．置換されるべきクロマキービルボードの大きさおよび遠近関係を現在のビデオフレームに適合させるためにカメラの動作情報に従って置換ビルボードの大きさおよび遠近関係を電子式に変更するステップ。
ｈ．現在のビデオフレーム内のクロマキービルボードを置換ビルボードによって電子式に置換するステップ。
好ましい実施形態においては、置換されるべきクロマキービルボードの大きさおよび位置を解析するステップは、置換されるべきビルボードの正確な大きさ、遠近関係および位置に関連する情報の微調節を提供するために、複数のビデオ走査線を解析するステップをさらに含んでいる。
さらに好ましい実施形態においては、置換されるべきクロマキービルボードは、青色または緑色の色調のものでよく、それは、これらの色が人間の皮膚または髪には滅多に見られないという事実によるものである。
さらに他の好ましい実施形態においては、クロマキービルボードは、上述した微調節処理を容易にする目的で、好適な形状の模様を有する模様づけされたものである。ビルボードの大きさおよび位置を解析するステップは、ビルボードの正確な位置を突きとめるために、模様を解析することを含んでいる。
さらなる実施形態においては、模様の解析によるセンサに基づく推測の補正が、自動的に計算されることになる、解析に対するメリット（精度推定）の形態により制御されることになる。
さらなる実施形態においては、現在のビデオフィールドにおけるビルボードを置換ビルボードにより電子式に置換するステップは、クロマキー技術を使用することにより遮断物体を重ね合わせるステップを含んでいる。
さらに好ましい実施形態において、置換されるべきビルボードは、該ビルボードとプレーヤとの良好なコントラストを提供する目的で、プレーヤの衣装における色および色調に最も良好に合致するように変更され得る。例えば、これらの衣装が青色の色調を含んでいる場合には、緑色のビルボードが選択され得る。
背景色は、青色、緑色および赤色の中から選択され得る。クロマキー装置に適正な画像合成を達成するために必要な全てのパラメータを計算させるために、システムは、参照として背景色のサンプルを要求する。このステップは、画像を走査し、最も純粋かつ明るい色を検知することにより、自動的に実施され得る。先進のクロマキー装置は、ユーザが、採取されるべき領域を手動で選択することを可能としている。
より好ましい実施形態においては、クロマキー装置は、非常にたくさんのセットアップ条件を有しており、各々がスタジアムの異なる領域に対応している。カメラのパン、チルトおよびズーム情報は、対応するセットアップ条件をロッドすることを可能としている。
他の実施形態において、微調節情報が、センサのドリフト誤差を補償するために用いられ得る。現実の状況において、センサ誤差は、ビデオフィールド速度よりずっと低い時間周波数に、実質的な部分を有している。これにより、これらのセンサ誘発誤差が、良好なビデオフィールドから高い信頼性で推定されかつその後の測定値から差し引かれ得る。
この発明は、上述したようなビルボードの電子式置換方法を実行するための装置をも提供している。
この発明の実施形態を、添付図面を参照した例として、以下に説明する。
図１は、この発明に係る装置を図解するスタジアムまたは他の開催場所を示している。
図２は、第１の位置においてカメラにより見られるようなスタジアムのビデオ画像を示している。
図３は、複数の異なる位置にビルボードを有するスタジアムを示している。
図４は、従来技術のシステムにおける問題点を示す、ビルボードのズームされたカメラ撮影を示している。
図５は、この発明で使用される模様を付けたクロマキービルボードを示している。
図６は、ビデオデータおよびカメラ方向データを送信するための図１のカメラ配置に関連する回路を、ブロック図の形態で示した図である。
図７は、図６の送信回路と協動する受信回路をブロック図の形態で示した図である。
図８は、図７の回路の動作のための流れ図を示している。
図９は、ビルボードセットアップデータ記憶部のための配置を示している。
図１０は、ビルボードセットアップデータのための配置を示している。
図１１は、透視変換の計算のための流れ図を示している。
図１２は、カメラ固有パラメータ記憶部のための配置を示している。
図１３は、動的リキャリブレーションのための式を示している。
図１４は、動的リキャリブレーションのための流れ図を示している。
図１５は、リキャリブレーションの処理を示している。
図１６は、照明条件を異ならせたスタジアム内の異なる位置におけるビルボードの敷地に関連する問題を示している。
図１７は、クロマキー装置の動作を示すＵとＶに対する最小および最大値レベルのグラフを示している。
図１８は、ビルボードに対するクロマキー色の調節の原理を示す遮断物体を伴うビルボードを示す図である。
図１９は、ビルボード座標データおよび完全なクロマキー色、クロマキー技術により達成される遮断を受信するための例示的な遠隔受信器を示している。
図２０は、他の実施形態を示すビルボードセットアップデータ記憶部のための他の配置を示している。
図２１は、図２０のビルボードセットアップデータ記憶部とともに使用するためのカメラのパンのための動的セットアップ手続の流れ図を示している。
図２２は、図２０のビルボードセットアップデータ記憶部とともに使用するためのカメラのチルトのための動的セットアップ手続の流れ図を示している。
図１から図４を参照して、以下にこの発明の原理を説明する。
スタジアムまたは他の開催場所１０には、マーキング１２により表されるピッチ側に、ビルボード１４，１６，１８が据え付けられている。これらのビルボードは、カメラ２０により見ることができる。ビルボード１５，１７，１９は、他のカメラ２１により見るためにスタジアムの反対側に配置されている。スタジアムの立見席／座席は線１１により模式的に示されている。
カメラ２１は、好ましい実施形態では、通常のＴＶビデオカメラであり、その出力ビデオ信号を第１のフィードに直接送信し、該第１のフィードはローカルな住民に配送する。カメラ２０，２１に言及しているけれども、異なる視界を提供するためにスタジアムの各側に複数のカメラが配置され得ることは明確に理解できる。
好ましい実施形態において、カメラ２１は、ボード１５，１７，１９をテレビ放送し、それらは変更しない方法でローカルな住民に発送される。
この好ましい実施形態において、カメラ２０は、フィードを国際的な視聴者に発送する。カメラ２０には、好ましくは以下の１つ以上のものを具備する方向感知手段が備えられている。
パン測定手段２４；
チルト測定手段２５；
ズーム測定手段２６；および
フォーカス測定手段２８である。
好適なセンサは、ＲＡＤＡＭＥＣＥＰＯ，Bridge Road, Chertsey, Surrey KT16, 8LJ, Englandから供給されるバーチャルリアリティエンコーダを具備していてもよい。カメラの許容された可動性に依存して、ただ１つ、複数またはこれらの全てが必要とされる。例えば、遠隔制御された無人カメラの場合のように、カメラ２０がパン、チルトおよびフォーカスにおいて固定され、ズームだけが可能である場合には、ズームパラメータのみを測定する必要がある。
スポーツスタジアムにおける多くのカメラ、ズーム、チルトおよびパンをすることができ、これらのパラメータは各カメラに対して、以下に説明されるように測定されると仮定されている。フォーカスは固定されていると仮定されているが、必要であれば、同様の方法で、パラメータが加えられ得る。
図２は、観察者、特に装置のオペレータにより見られるようなビデオ画像を示している。カメラ２０は、好適な位置および妥当な大きさにおいてビルボード１４を「中心合わせ」するために、ズームされ、パンされかつ／またはチルトされる。図７を参照すると、各ビルボードは、その後受信者により見られ、その位置が、タッチスクリーン７００またはキーボードマウス７０２の使用および４隅のマーキングにより完全にマークされる。位置は記憶部７０４に記憶される。
符号３０（図３）のようなスタジアムのより高いビルボードに対して、カメラのための補正因子がカメラのチルト位置に依存して記憶され得る。
各ビルボード位置は、ビルボード位置が記憶された時刻において正確なカメラパラメータ情報から得られるカメラ２０のための参照位置におけるカメラパラメータ情報とともに記憶部７０４内に記憶される。
以下の手続は、好ましくは、ターゲットビルボードの各々に対して各カメラごとに繰り返される。
１．ターゲットの安定した遮られていない視界を得るためにターゲットにおいてカメラを指定する。視界内に全ターゲットを保持しながら、ターゲットの広い視界を得るためにズームを調節する。
２．カメラを移動しないで、ターゲットの画像および対応するセンサの読みを捕らえるために取得装置を起動する。
３．ビデオ画像上において、ターゲットの隅をマークする。
１画素以下の精度でターゲットの隅を指摘するために隅検知器が使用されることが好ましい。
このカメラパラメータ情報は、カメラに備えられたセンサから得られ（図６）、カメラの動作は、各パラメータごとに、第１のまたは固定した参照位置を参照する。カメラの動作は感知されかつ信号が結合器(combiner)回路２４に供給され、その後、そこから結合されたビデオおよび位置データ信号が発信される送信バッファ３６に供給される。
セットアップ中に、受信器（図７）において、受信器バッファ７０６は信号を受信して、これらをスプリッタ７０８に供給する。ビデオ信号は、好適な記憶部７１０に記憶されかつ遅延され、カメラパラメータデータは抽出されて、記憶部７１２に記憶される。
セットアップにおいて、ＶＤＵ７００が、置換が必要となる各ビルボードをマークするために使用される。カメラ２０は、各ビルボードをスクリーン上の適当な位置に移動するためにパン等され、その位置が、プロセッサ７１４を介して記憶部７１２から得られるカメラパラメータとともにビルボード記憶部７０４内に記憶される。
置換ビルボード記憶部７１６は、多くの置換ビルボードを記憶し、これらは、元のビルボードを置換することができるように選択可能である。
置換ビルボードは、動作時に、調節された出力ビデオ信号７２０を提供するために、結合器７１８内のビデオ信号内に挿入される。
セットアップ手続は、ビルボード位置および多くのカメラに対するカメラパラメータを、ソース３０（図６）からのカメラＩＤを記憶することにより識別することもできる。このように、ビルボード位置記憶部７０４は、各カメラごとに別々のビルボードデータのリストを記憶することになる。
システムの動作を、単一のビルボードおよび単一のカメラ２０を参照して以下に説明する。
図４を参照すると、カメラ２０が図３の位置からのズーム後にパンするとき、ビルボードが、スクリーンの左側に拡大した形態で視界に入っている。
カメラ方向データは、絶えず、受信器により受信され、プロセッサ７１４は絶えず画素ごとに、ビデオ画像と、記憶部７０４内に記憶されている既知のビルボード位置とを整合させる。ビルボードがビデオ画像内に現れるとすぐに、ビルボードを表す画素が識別されかつこれらの画素に関連する置換ビルボード画素が結合器７１８内に置換される。画素の識別は、実質的に瞬間的なアドレス相関処理によるために、遅延は最小となる。
一定時間後、カメラセンサはドリフトし、かつこの場合には、置換ビルボードは元のビルボードとは正確には整列されない。このことは、単に１画素または２画素によるものであり、見る人に認識されることはない。これを補正するために、２つの解決策が可能である。第１に、ビルボード位置を適当な時間に、例えば、カメラが動作していないときに定期的に手動で記憶する。これには、オペレータの協力が必要である。
第２に、元の記憶されたビルボードに対するビルボードの比較が画素ごとに行われ、参照カメラパラメータの調節がビルボード位置記憶部７０４において行われる。この処理は、設定間隔またはプロセッサ７１４が適当な時間スロットを有するときのいずれかにおいて自動的に行われる。
好ましいリキャリブレーション処理の本質的なステップは、推定された変換後のモデルを供給するために、カメラデータを用いて現在のビデオ画像を透視変換することである。ビルボードの記憶された画像は、その後、残留ビデオフィールドを提供するために、変換されたモデルと比較される。変換されたモデルと残留ビデオフィールドとの間の残留歪みは、推定された変換を更新する更新情報を供給し、それによって、カメラ感知情報に従い記憶部内の各ビルボードの位置をリキャリブレーションするためのキャリブレーション補正因子を供給するために決定される。
各ビルボードの置換は、以下により詳細に説明されるような適当なソフトウェアプログラムを使用する、プロセッサ７１４（図７）、種々のパラメータおよびビルボード記憶部の使用により達成される。
図８は、カメラの視界内の各ビルボードの位置を決定することができ、ビルボードの対応する部分をフレームバッファ内に渡す完全な処理を開示している。引き渡しおよびクロマキーによる画像バッファのビデオバッファとの合成は、公知であるので、我々は、図６および図７をも参照したビルボードの位置決定に集中することにする。
各ビデオフィールドの初めにおいて、パン、チルト、ズームおよびフォーカスセンサ（２４，２５，２６）が読み出される（８００）。これらの値は、ビルボードセットアップデータ記憶部７０４からのビルボードデータおよびカメラ固有パラメータ記憶部７１２からのカメラデータと結合され、ビデオ信号とは独立に、カメラの視界内の全てのビルボードを検知しかつ認識することができる。図１の処理は、全てのビルボードにおけるループ（ｍ）（８０２，８０４）から構成されている。各ビルボードに対して、そのセットアップデータはビルボードセットアップデータ記憶部７０４から引き出され（８０６）、ビルボードｍから現在のフィールドへの透視変換を計算するために、カメラ固有パラメータとともに使用される（８０８）。置換ビルボード情報は、その後、フレームバッファ内に記憶される（８１２）。
図９は、アリーナ内の各ビルボードごとに別々のレコード９０２…９０４からなるビルボードセットアップデータ記憶部９００を開示している。そのようなレコードは、好ましい条件において捕獲された静止画像９０６と、対応する静的セットアップデータ９０８からなっている。また、レコードは、動的セットアップデータ９１０を具備している。これは、上記に簡潔に説明され、かつ、図１１を参照してさらに開示される動的リキャリブレーションとして知られる処理において、画像処理手段を使用して計算される。静的および動的キャリブレーションを提供する、これに代えた手続が図２０〜図２２を参照して説明される。
図１０は、単一のビルボードについてのセットアップデータ（静的または動的のいずれか）１０００を開示している。これは、セットアップの瞬間におけるセンサの読み１００２、ビルボード四辺形頂点座標１００４およびセットアップの瞬間の時間コード１００６からなっている。
動的リキャリブレーションの方法は、以下のように説明される。
センサのドリフトおよび不正確さ、最後のキャリブレーションテーブルおよび他の実際の理由により、所定の瞬間において見ることのできる全てのビルボードの正確な位置を予測することは不可能である。しかしながら、多くのビデオフィールドにおいて、ビルボードの可視性は、正確な幾何学的位置補正が実施され得るようなものでよい。位置が、時間的および空間的に後続のビデオフィールドに近いので、センサの読みおよび正確な四辺形の座標に対するビルボードの位置を予測することにより「ラックショット」に頼ることが好ましい。カメラのパンにより視界に存在するビルボードを想定する。それがなおも非常に明らかなものであるときにラックショットを有することは、その可視性がいかなる画像処理手段も適用されることが許されないときに、センサのみによるビルボードのスムーズな追跡を可能とする。
図１１は、透視変換の計算のための流れ図１１００を表している。セットアップデータ選択ロジック１１０２は静的１１０３または動的１１０５なセットアップデータのいずれかをセットアップデータ記憶部８０６から上述したように選択する。このセットアップデータは、カメラ固有パラメータとともに、ビデオ信号とは関わりなく、透視変換１１０４のセンサに基づく予測を計算するために使用される。
画像処理手段に基づく動的リキャリブレーション１１０６は、その後予測に適用される。それは、ビデオ１１０８およびクロマキー１１１０信号のみならず、セットアップデータ記憶部８０６（図８）からのビルボードモデル画像１１１２を利用する。画像処理手段から得られる品質因子に基づいて、センサに基づく変換（１１１８）または補正された変換（１１１６）のいずれかが出力される。推測された幾何学的補正の品質が高い場合には、動的セットアップデータが更新される（１１１４）。
図１２，１３，１４は、ビデオフィールドにおけるセンサに基づくビルボード座標の推測を説明している。そのような推測は、センサの読みのみならず、カメラ固有パラメータをも利用する。これらのパラメータは、図１２に示されており、（ズーム、フォーカス）空間の密度の濃いサンプリングについて作表されなければならない。これらのパラメータの意味は、以下に参照する図１３から明白である。
パン、チルト、ズームおよびフォーカスセンサにより得られる測定値の組をベクトル（Ｐ，Ｔ，Ｚ，Ｆ）により表すことにする。チルト角度は、水平線に対するものと仮定する。
いずれかのセットアップ瞬間における画像の目的点が、フレームバッファ座標（ｘ_S，ｙ_S）であると想定する。また、その瞬間におけるセンサ測定値ベクトルは（Ｐ_S，Ｔ_S，Ｚ_S，Ｆ_S）とする。
他の瞬間、すなわち、推測瞬間において、センサ測定値ベクトルは（Ｐ_P，Ｔ_P，Ｚ_P，Ｆ_P）とする。フレームバッファ座標（あるいは、実際のフレームバッファの外側）（ｘ_P，ｙ_P）における目的点の位置を予測する必要がある。
この手続を可能とするために、我々は、符号６００において示されるようなセットアップ回転マトリクスを定義し、かつ、予測回転マトリクスが符号６０２において示されるように定義される。
その後、２つの画像平面座標系の間の透視変換マトリクスが符号６０４，１４０２（図１４）に示されるように与えられる。
Ｒ_SPは、０〜２の範囲を示す行および列を有する３＊３マトリクスである。Ｒ_SP[i][j]は、マトリクスの行ｉ、列ｊの項を表している。このように、目的点（ｕ_S，ｖ_S）のセットアップ画像平面座標が与えら得ると、画像平面座標における目的点の予測位置（ｕ_P，ｖ_P）が、符号６０６，１４０４において示されるように与えられる。
画像平面からフレームバッファ座標への変換は、符号６０８，１４０６に示されるように達成される。収差補償は、予測されたフレームバッファビルボード座標および透視変換データを供給するために、符号６０８，１４０６（図１４）に示されるように達成される。
特定の対（ズーム、フォーカス）のためのこれらのパラメータの引出における効率的な方法が、［J. Weng et al., Calibration of stereo cameras using a non-linear distortion model, IEEE 10th Intl. Conf. Pattern Recognition (1990), pp. 246-253］に開示されている。リキャリブレーションの処理をも可能とする幾何学的補正のための画像処理手段が図１５を参照して以下に説明される。
センサに基づく予測の幾何学的補正のための画像処理手段は、動作推測のための異なる方法に基づいている[C. Cafforio and F.Roca, The differential method for motion estimation, in: T.S. Huang, eg., Image sequence processing and dynamic scene analysis, Spring, Berlin, 1983, PP.104-124]。Ｃを現在のビデオフィールドとし、Ｍを、センサに基づく予測に従って透視的に変換された静的ビルボードセットアップ画像とする。ここで、我々は、輝度画像のみを考慮する。理想的には、ＭおよびＣは、ビルボード四辺形のサポート(support)の中で同一である。実際の相違は、
・Ｃに存在しＭに存在しない遮断、
・センサおよび固有のカメラパラメータ誤差による幾何学的誤差、
・輝度の変化
である。
幾何学的誤差によらない全ての相違を、さしあたり無視して、ビルボード四辺形のサポート内の点（ｘ，ｙ）を考える。（ｐ，ｑ）を局所的な幾何学的誤差とすると、各画像の輝度信号を、
M(x＋p,y＋q)＝C(x,y)
と記述することができる。
誤差が小さいと仮定すると、テーラー展開を以下のように記述することができる。

２次項を無視して空間微分を以下のように表すことにより、
dM/dx＝H
dM/dy＝V
以下の式を得ることができる。
C(x,y)-M(x,y)＝pH＋qV
また、差分Ｃ（ｘ，ｙ）−Ｍ（ｘ，ｙ）をＤと表すことにより、以下の式を得る。
D＝pH＋qV
上記式は局所的に保持される。全体的なビルボードの解のために、そして、誤差が小さいと過程して、我々は透視モデルを使用することができる[G. Adiv,Determining Three-Dimensional Motion and Structure from Optical Flow Generated by several moving objects, IEEE Trans. Pattern Analysis and Machine intelligence, 7, pp.384-401,1985]。

係数ａ₁，…ａ₈は、以下の式を最小化することにより計算される。

ここで、（センサの予測に基づく）透視変換マトリクスは、

を掛けられる。
得られたマトリクスは、ビルボード透視の更新された予測であると考えられ得る。
実際の環境においては、以下の考慮が適用されてもよい。
・遮断および移動物体からの画素が上記式の最小化に関係する場合に、その解をかなり偏らせなければならないので、遮断はこの定式化に大きな問題を生ずることになる。そのような画素はクロマキーパネルを使用することにより処理から捨てられることが好ましい。クロマキー装置によるキー信号出力は、これらの画素を放棄するために利用されることが好ましい。
・輝度の変化は、現在のビデオフィールドをヒストグラム整合技術を用いて前処理することにより最小化され得る。
・予測補正処理は、収束させるために２〜３回の繰り返しが必要である。
・ノイズ免除および収束は、両方とも、画像の予備平滑化(pre-smoothing)により向上される。
このように、ビルボード１４等は、この発明に従ってクロマキーボードであり、遮断は通常のクロマキー技術を使用した色識別による。これらの技術は、プレーヤがボードと同じ任意の色を身につけていない場合には、完全な遮断を可能とすることになる。このことは、必ずしも可能なことではなく、この発明の特定の実施形態に従って、回転しさもなければ第２または第３の色に変化するボードを使用することが提案されている。例えば、３つの色は、青色、緑色および赤色であり、プレーヤのストリップ(strip)の色が既知であるときには選択され得る。
これに代えて、ピッチの領域または周辺領域のビルボードを表示する必要がある場合には、そのような領域は、クロマキー装置にクロマキー色として記録され得る既知の色のものであるように選択されなければならない。
好ましい実施形態において、クロマキー装置は、ULTIMATTE Corp., 20554 Plummer St., Chatsworth, CA91311, USAから供給されるＵＬＴＩＭＡＴＴＥ−７デジタルビデオ画像構成装置を具備している。
背景色は、青色、緑色および赤色の中から選択され得る。クロマキー装置が適正な画像構成を実施するために必要な全てのパラメータを計算するために、システムは、参照として、背景色のサンプルを必要とする。このステップは、画像を走査して最も純粋かつ最も明るい色を検知することにより自動的に実施される。先進のクロマキー装置は、ユーザが手動でサンプルされるべき領域を選択することを可能としている。
特定の実施形態において、模様を付けられたクロマキーパネルを使用することが提案されている。カメラセンサのキャリブレーションは、その模様を画素ごとに基づいて比較することにより容易に達成され得る。ビルボードパネル上の模様は、（ワールド座標に投影される）予想されたセンサ誤差より小さい臨界寸法を有していることが好ましい。
要約すると、上述したシステムは、電子式処理回路が各ビルボードがどこに配置されているかを正確に知っており、ビルボードを検知するためにビデオ画像のいかなる解析にも頼っていないので、極めてひどい気候条件においてさえも作動することができる。ビデオ画像が非常に歪んでいるためにリキャリブレーションが妥当な確実性をもって実施できない場合には、視聴されるようなビデオ画像は低品質のものであり、したがって低品質のビデオ画像に整合する等価な品質で表示されることが必要とされる置換ビルボードの位置決めにおいて、見る人が１画素または２画素の誤差を発見することはないので、元のカメラパラメータ設定が使用し続けられ得る。
この発明の他の好ましい実施形態において、注意を向けられる問題は、図１６に示されるようにスタジアム内の異なる位置に配置された複数のビルボードを有することの問題である。
そのような条件下において、ビルボード１，３，５の照明は、光源７，９，１３の位置のために異なっている。また、この照明は、試合の間中変化することもある。
そのようなビルボードが全て同じ色のクロマキーボードである場合には、該キーボードは異なる照明条件によって、全てが微妙に異なる色となって現れる。
全体的な背景色の固定した調節は、クロマキー装置により部分的な物体背景分離に帰結することになる。
この発明では、クロマキー装置が正確に各ビルボードを認識することができるように、背景色マップの空間的適合を供給することを提案している。このことは、記憶部７０４（図７）内に、各クロマキーボードの色に関連する情報を提供する空間的マップを記憶することにより提供される。
このように、クロマキー装置は、各ビデオ位置における色と、その位置におけるビルボードに関連する特定の色とを比較することになる。
好ましい実施形態において、ビルボードの位置は、位置を識別するためにビルボードを取り囲む若干拡大された箱を「ペインティング」することにより識別されてもよい。そのような箱は、図１６における破線により符号１′，３′，５′として識別される。
システムは、常に背景色を追跡し、したがって、正確な識別が、一旦正確にセットアップされることを確実にするために、連続的に更新される。
システムの動作は以下の通りである。
第１に、図１７を参照すると、最小レベルおよび最大レベルがＵ，Ｖについて設定される。これらは、適度に照らされた全てのビルボードを取り囲むのに十分に広くあるべきである。
その後、各ビルボードについて、照明条件が変化するときに、図１８に示されるように、物体１３によるビルボード１の遮断を想定するその記憶された値が調節され得る。内側の箱１″は、１の範囲内からの画素のみが確実に考慮されるように画定されている。多くの遮断画素は、これらが異なる色であるために放棄され得る。その後、ＦＯＶ内の全ての画素（ＹｕＶ）およびビルボードの四辺形１″が測定され、かつ、以下の場合、すなわち、
Ｕ_min≦Ｕ≧Ｕ_max
またはＶ_min≦Ｖ≧Ｖ_max
である場合に、（ビルボード全体にわたる背景色の平均値ＵＶである）平均値への追加がなされる。
スタジアム内のクロマキービルボードを使用することにより生ずる他の問題を発明者は認識している。上述したように変化する照明によって、各ビルボードは、微妙に異なる色としてビデオ画像上に現れることになる。正確な遮断情報を送信するために、各ビルボードに対する遮断マップを送信することが必要である。
この発明の好ましい実施形態によれば、各ビルボードに対して完全な背景色を送信し、かつ、その後、各受信局におけるクロマキー装置が通常のクロマキー処理によって遮断された部分を導入することを可能にすることを提案している。
ここで、図１６に示されたようなビルボード配置を考える。各ビルボード１，３，５は、異なる照明条件のために、たとえ、この色が、図１７において打ち立てられた最小値制限と最大値制限との間にあるとしても、異なる色のものとして現れる。
この発明の好ましい実施形態によれば、送信装置（図６参照）は、ビルボードの領域内の完全なクロマキー色を送信し、ビルボードにより形成された四辺形の座標をも送信する。
この方法においては、受信局は、ビルボードの四辺形の座標を復号／抽出しなければならないだけであり、その後、その四辺形の範囲内において、完全なクロマキー色であるそれらの画素を置換ビルボードに置き換える。完全なクロマキー色でない画素は、置換されない。
このシステムによれば、遠隔の受信局におけるクロマキー装置が、異なるビルボードを認識することができかつ各ビルボードに対して異なるクロマキー値を記憶しなければならないということは必要ではない。また、クロマキー装置による遮断が各遠隔位置において比較的簡易なものとなるために、何らかの遮断状況を送信することも必要ではない。
図７を参照すると、ビルボード位置および背景色記憶部７０４は、各ビルボードの位置を知り、かつ、記憶部からの制御出力７０４２が、記憶部７０４により提供される座標内でビルボードの色を変更することができる背景色プロセッサ７０４４への入力を供給するためにビデオ出力７１０２とともに使用される。プロセッサ７０４４の出力は、要求された座標内でビルボードの色を変更し、遠隔受信者のためのビデオ出力７２０への座標をも提供することができる背景色記憶部７０４６を制御するために使用される。これらは、標準的なビデオデータ送信システムによって送信される。
例としての遠隔受信器は、図１９に示されている。ビデオデータは、受信器バッファ１９００において受信され、分割され（１９０２）、遅延される（１９０４）。ビルボード座標記憶部１９０６は、送信されたビルボード座標を記憶し、図形発生器１９０８および置換ビルボード画像記憶部１９１０とともに、所望の遮断されたビルボードをスクリーン上に生成するために、結合器／クロマキー装置１９１２に出力信号を供給する。
ここで、図２０〜図２２を参照すると、さらなる実施形態において、記憶部７０４に記憶されたセットアップデータは、何らかの競技がテレビ放送される前に修正される。
修正は、動的セットアップデータのみならず図９に示された静的画像および静的セットアップデータの追加を含んでいる。
追加のデータは、図９に示される動的リキャリブレーションセットアップデータ９１０の代わりに使用されてもよく、これに加えて使用されてもよい。
好ましい実施形態においては、追加のデータは動的リキャリブレーション手続の代わりに用いられ、これについて、以下に説明する。
序文として、ビルボードを仮想的なビルボードに置換することに関連する問題が議論された。この問題は、元のビルボードの位置、大きさ、遠近関係を識別することおよびその後にこれを仮想的なまたは置換ビルボードと置換することと同じである。
静止したカメラ条件においては、現実的な問題はなく、カメラセンサが常に実質的にドリフトしない場合には、一旦元の座標が記録される。
しかしながら、発明者は、カメラの急速なパンまたはチルトの間に、記憶部９００に記録されたような置換ビルボードの座標９０８がスタジアムまたは他の開催場所におけるビルボードの現実の位置と一致しないことを見いだした。これは、カメラセンサが、ある程度のヒステリシスを示しているからである。これは、既に述べた動的リキャリブレーション処理により補償され得るが、目標ビルボードの実質的な遮断を伴う急速なパンの間のような状況においては現実的ではない。
ヒステリシスは、あるいは、カメラの動作に組み込まれた低い割合の誤差により取り消されるかも知れないが、各ビルボードに関するカメラ角度を考慮に入れていないのみならず、角度によるカメラパラメータセンサにおける変化性をも考慮していないのであまりよい結果を生み出すものではない。
したがって、この発明においては、他の実施形態において、静的ビルボードセットアップデータに加えて、ビルボードセットアップデータ記憶部９００が各ビルボードに対するデータを各カメラごとに、少なくとも、左から右（Ｌ−Ｒ）のパン２００２、右から左（Ｒ−Ｌ）のパン２００４、上から下へのチルト２００８、下から上へのチルト２００６に関して記憶している。データは、この明細書において図２０〜図２２を参照して以下に説明されるように、得られかつ記憶される。
図２０は、記憶部９００を、ビルボード１〜Ｍに対する静的画像データおよびビルボード１〜Ｍに対する静的セットアップデータに加えて、各ビルボード１〜Ｍに対するさらに４組のデータを供給するように修正して示しており、各カメラに対してこのデータを提供するために掛けられる。
各カメラに対して、各ビルボードの位置が、左から右へのカメラのパン２００２と右から左へのカメラのパン２００４とともに記録される。パンの速度は、テレビ放送される試合のための通常の速度として選択され得る。このように、例えば、競馬に対してはそれは低いけれども、自動車レースに対してはそれはより高くされ得る。各ビルボードの位置は、その後、各ビルボードを横切る上方に向かうカメラのチルト２００６および下方に向かうカメラのチルト２００８とともに記録される。
各測定値に対して、カメラのズームおよびフォーカスは、解析されたビルボードが適当な視野に適当な大きさで配される既知のレベルに設定されることが好ましい。ズームおよびフォーカスは、例えば、静的セットアップデータとの直接比較をすることができるように、各ビルボードについての静的セットアップデータの取得中と同じとすることができる。この場合、誤差補正画像のみが記録されることが必要である。
非常に高い速度では、どんな場合でもビルボードがぼけてしまい、従って、置換の精度を得ることができないため、あまりに高いパンまたはチルト速度を選択することは好ましくない。この手続は、各ビルボードごとに、各カメラに対して行われ、データはその後、試合中に、カメラがパンまたはチルトするときに各ビルボードの位置を補正するために使用される。
各ビルボードが各カメラによって異なる角度で見られ、かつ、各カメラ上の各センサの出力はカメラがビルボードを見るために回らなければならない角度に依存して変化し得るということがわかる。静的データおよび両方向におけるパンおよびチルトに関連するデータの記録によって、置換ビルボードは、静止撮影およびカメラが移動しているときの両方に対する元のまたは現実のビルボードの正確な位置に正確に位置決めされることになる。
上述したように、試合中の動的リキャリブレーションは、大きな遮断を伴う非常に速いカメラの動作を除き、置換ビルボードが正確に位置決めされることを保証するが、静的および動的セットアップデータの使用も、このことを、カメラセンサが試合中に実質的にドリフトしない限り確実にする。このように、カメラセンサが、設計の観点から妥当な品質のものである場合には、それらは、パンおよびチルトの間の精度に関して種々の品質のものとなり得る。カメラの動作に関する全ての変化が記憶された動的セットアップデータにより補償されるので、カメラセンサの注意深い選択により、したがって、極めて正確なセンサは必要でない。
データは、図２１および図２２を参照して以下に説明されるように得られる。
各ビルボード画像に関する静的データ及びその静的セットアップデータ（９０６，９０８，図９）が一旦得られると、シーケンス２１００が開始され、カメラは、通常のパン速度に対する所望の速度で、オペレータによりパンされる（２１０２）。
センサがパンの方向を示しており（２１０６）、その方向に依存して、動的データが記憶部２００２，２００４内にステップ２１０６またはステップ２１０８においてその記憶部の選択により記憶される。両Ｌ−ＲおよびＲ−Ｌ記憶部２００２，２００４は同様のものであり、両記憶部の参照番号を用いているが、説明はＬ−Ｒ記憶部について行うことにする。
カメラが左から右にパンすると、各ビルボードが、ステップ２１１０，２１１２において記憶部９０６に記憶されたデータから識別される。システムは、ステップ２１１４，２１１６において、ビルボードが以前に動的に記録されたものであるかを尋ね、そうである場合には、シーケンスの開始ステップに戻り、動的に走査されたことのないビルボードを見つけるまでステップ２１０４〜２１１０を繰り返す。新しいビルボードが一旦見つかると、パンの間のビルボードの位置（座標）が記録され、以前に記憶された（９０８）静的ビルボードパラメータと、ステップ２１１８，２１２０において比較される。何らかの誤差が計算され（ステップ２１２２，２１２４）、ステップ２１２６，２１２８において、その誤差がビルボードごとにＬ−Ｒ記憶部およびＲ−Ｌ記憶部に記憶される。システムは記憶部９０８に記録された全てのビルボードが、Ｌ−ＲおよびＲ−Ｌの両方に対して動的に走査されたかを尋ねる（ステップ２１３０，２１３２）。そうでない場合には、シーケンスは最後のビルボードが動的に走査されるまで継続され、その後プログラムは終了する（ステップ２１３４，２１３６）。
図２２に示された同様のプログラムシーケンスが、各カメラのチルトのために提供される。明らかに、カメラがチルトすることを許容されないか、ある程度傾けられることが望まれないかのいずれかの場合には、このシーケンスおよび記憶部２００６，２００８内へのデータの記録は必要ではない。
シーケンスは、ステップ２２００において開始され、各カメラは、今度は、ステップ２２０２においてチルトされ、チルトの方向がカメラセンサによって、ステップ２２０４において決定される。カメラが上方にチルトされるか下方にチルトされるかのいずれかによって、動的セットアップデータは、ステップ２２０６，２２０８において記憶部２００６，２００８内に記憶される。両シーケンスは同様であり、かつ、カメラを下方にチルトするシーケンスのみが、両シーケンスを参照して以下に説明される。
各ビルボードは、ステップ２２１０，２２１２において、静的画像データから、そしてカメラパラメータからも識別され、特に、そこでは、全ての現実のビルボードは同一である。プログラムは、ステップ２２１４，２２１６において、ビルボードデータが、既に記録されたかどうかを見るためにビルボードデータを尋ねる。もしそれが既に記録されていた場合には、プログラムは再スタートされるが、記録されていない場合には、チルト中のビルボードの座標データが、ステップ２２１８，２２２０において、静的データと比較される。誤差は、それがある場合には、ステップ２１２２，２１２４において計算され、ステップ２２２６，２２２８において、記憶部２００６，２００８（図２０）内に記憶される。
プログラムはその後、上昇（ステップ２２３０）、下降（ステップ２２３２）の両方において、チルト誤差に対して、全てのビルボードが動的に記録されたか尋ねられ（２００６，２００８）、その場合、ステップ２２３４，２２３６にてプログラムが終了する。そうでない場合には、全てのボードが記録されるまでシーケンスの開始ステップから開始することにより、プログラムが継続される。
通常、カメラズームおよびフォーカスは同じ形式の動的セットアップデータが記録されることを必要としない。しかしながら、もし特定のカメラ収差が既知であるならば、これらは同様の動的セットアップデータの使用により補償され得る。
記憶部２００２〜２００８に記憶された動的データは、図９を参照して説明されたように得られた動的リキャリブレーションデータに代えて、またはこれとともに使用され得る。通常は、しかしながら、動的セットアップデータは、多くの形式の競技の間におけるリキャリブレーションの必要性を回避することになる。
使用中に、システムはカメラセンサを読み取ることにより、ビルボードがどこに静止した状態で見えるか、または、過去にＬ−ＲまたはＲ−Ｌパンされたかまたは過去に上昇または下降チルトされたかを知る。そのような場合、ビルボードの位置は、静的データ記憶部から採取され、その後、パンまたはチルトが生じる場合には、必要な誤差補正が適用される。一旦カメラの動作が終了すると、静的ビルボードパラメータが復旧される。

Claims

ビデオ画像内のビルボードを自動的に置換する装置であって、
前記ビルボードがクロマキー面を備えて成り、
前記ビルボードを見るためのビデオカメラと、
前記ビルボードのクロマキー面の少なくとも１つのクロマキー色を検知するように作動するクロマキー装置であって、前記クロマキー装置の参照色が、前記クロマキー面の色に順応するように調節可能であり、それによって、前記クロマキー装置が、前記ビルボード面を正確に識別し、かつ、該ビルボードのクロマキー面を、任意の前景物体による正確な遮断とともにビデオ画像内において仮想的な広告により正確に置換可能であるクロマキー装置と、
を備えてなる装置。
複数のビルボードの位置を記録し、かつ、それによって、スタジアムごとのクロマキー色マップを提供するために、置換されるべき各ビルボードのクロマキー色を記録するビルボードマップ記憶部をさらに具備することを特徴とする請求項１記載の装置。
スタジアム内の照明条件の変化に従って、前記クロマキー色マップを自動的に調節するための手段をさらに具備することを特徴とする請求項２記載の装置。
前記カメラが、自動カメラ方向測定手段を具備し、該自動カメラ方向測定手段が既知の参照位置に対するカメラの視界（ＦＯＶ）を測定するように作動する動作測定手段を含むことを特徴とする請求項１から請求項３のいずれかに記載の装置。
カメラにより生成されるビデオ信号を処理するための画像処理手段を含み、
該画像処理手段が、前記動作測定手段を定期的に自動的にキャリブレーションするキャリブレーション手段を含むことを特徴とする請求項４記載の装置。
置換されるべき各ビルボードごとに、完全な背景色キー信号を送信するための手段をさらに具備することを特徴とする請求項４に記載の装置。
置換されるべき各ビルボードの座標を送信するための手段をさらに具備することを特徴とする請求項６記載の装置。
各ビルボードの座標および前記完全な背景色キー信号を受信するための受信装置をさらに含み、かつ、前記完全な背景色キー信号により識別される座標領域内に遮断を組み込んだ結合されたビデオ画像を供給するための手段を具備することを特徴とする請求項７記載の装置。
カメラがパンまたはチルトするときに、ビルボードの測定された位置における全ての変化を記録するための動的ビルボード記憶部をさらに具備することを特徴とする請求項２記載の装置。
スポーツスタジアム内のビルボードの自動的な電子式の置換方法であって、該ビルボードがビデオ画像内のクロマキー面を有し、
i. 第１のビルボードのクロマキー面の定められた第１のクロマキー色を有し、ビデオ画像内のビルボードに対応する第１の指定された領域を識別するステップと、
ii. 前記第１の指定された領域の第１の色をクロマキー色記憶部に記録するステップと、
iii. 前記第１の指定された領域内への代用のための第１の電子式の置換ビルボードを識別するステップと、
iv. 前記ビデオ画像内の前記第１の置換ビルボードを、クロマキー技術により置換するステップであって、前記ビデオ画像内において遮断物体により遮られている前記第１の指定された領域の部分を遮断するステップを含むステップとを具備することを特徴とする置換方法。
i. ビデオ画像内における、関連するクロマキー色を有するさらなるビルボードを具備するさらなる指定された領域を識別するステップと、
ii. 全ての指定された領域の色を該指定された領域の各位置に関連する情報とともに、クロマキー色記憶部に記録するステップと、
iii. 前記指定された領域の各々内への代用のための置換ビルボードを識別するステップと、
iv. 前記置換ビルボードを、遮断物体による遮断とともに、それぞれの正確な位置に置換するステップとを含むことを特徴とする請求項１０記載の方法。
スタジアム内の照明の変化を補償するために、適当な時間間隔で、各指定された領域のための記録されたクロマキー色を更新するステップを含むことを特徴とする請求項１０記載の方法。
i. 複数のビルボードの各々の位置および大きさを含む指定された領域を識別する情報をビデオ画像とともに送信するステップと、
ii. ビルボードとして識別された各指定された領域のために、完全なクロマキー色を送信するステップと、
iii. 置換されるべき複数のビルボードの各々を識別する受信器データおよび前記指定された領域のための完全なクロマキー色情報を受信するステップと、
iv. 前記受信器内のクロマキー装置において、前記完全なクロマキー色と予め選択された整合用の完全なクロマキー色とを比較するステップと、
v. 前記受信器において局所的に選択された複数のビルボードを、各ビルボードについて識別された前記指定された領域内へ置換するステップと、
vi. 前記クロマキー色が完全なクロマキー色を検知するように設定されたクロマキー装置を使用して、各ビルボードについてクロマキー技術により遮断物体を挿入するステップとをさらに具備することを特徴とする請求項１１または請求項１２に記載の方法。