JP4732659B2 - テレビカメラによって撮影された可視対象物を修正するための方法 - Google Patents

Description

【０００１】
本発明は、テレビカメラによって撮影された可視対象物を修正するための方法に関する。
【０００２】
本発明の方法は、ある機会に見ることおよび有効にテレビに表示されるテレビ放送と広告が処理全体としての収益性の相当の部分を構成する、特に種々のスポーツ競技および同様の公共のイベントにおける利用を対象としている。
【０００３】
現在、広告は、国家的および地域的な制限をますます受けやすくなっている。アルコールまたはタバコの広告は多くの国で禁じられている。異なる国の人々は広告に対し異なる態度を示す。ある国では、特定の広告が非常に成功し、効果的であることがあり、これに対し、異なる文化環境では不快感を呼び起こすか、あるいは非合法になる場合さえもある。
【０００４】
したがって、広告は比較的特色のないものとなるか、あるいはつまらないものとなり、また非合法の広告がテレビ放送されるという理由のみで、ある国では特定の公共のイベントをまったくテレビ放送することができない。
【０００５】
特に大規模な国際放送の別の問題は、広告される製品が世界的規模で配布される場合にのみ広告が効果を有し、また広告主による投資に値することである。したがって、このような放送においては、限定された市場エリアでのみ入手可能な広告製品には利益性がない。
【０００６】
テレビ放送の問題の他の原因はスポーツ競技の高速のテンポであり、このことが、特にボールゲームにおいて、例えばアイスホッケー（ｐｕｃｋ）のようなプレー手段がテレビジョン映像で見分けにくい理由である。このことは、スポーツイベントについて行くことより難しくし、かくしてテレビのイベント視聴者の数を減少させる効果を有し、再びこれが、イベントの主催者にとって明白な経済的重要性を有する。
【０００７】
本発明の目的は、上に指摘した不都合を除去することである。本発明の特定の目的は、テレビジョン映像内に見られる広告および高速移動対象物、例えばプレー手段の両方に関して所望の仕方でテレビジョン映像を修正できる新しい形態の方法を開示することである。
【０００８】
本発明に特有の特徴については、請求の範囲を参照する。
【０００９】
本発明の方法では、テレビカメラによって撮影された可視対象物は、その領域またはそのすぐ近傍に配置された１つ以上のマーク面によってマークされ、マーク面は、撮影される領域の他の放射（radiation）とは異なる放射により識別できる。これらのマーク面の少なくとも１つは、可視光の色以外の特性により、周囲からの放射とは異なる。本方法において、マーク面は、テレビカメラの検出器とは別個の少なくとも１つの識別検出器を用いて識別され、これによって、対象物は、実質的にテレビカメラの撮影方向から撮影される。さらに、テレビカメラの映像座標と識別検出器の映像座標との間の関係を決定することによって、検出されたマーク面を用いて対象物のテレビジョン映像内の可視領域を決定することができる。この後に、対象物に対応する領域のテレビジョン映像のビデオ信号が、所定の方法で修正され、次に、修正されたビデオ信号が伝送される。
【００１０】
かくして、本発明の方法において、テレビジョン映像内の所望の領域を、例えば、映像内に見ることができる広告を異なる広告に変更できるように、テレビカメラによって撮影された可視対象物を画像処理技術によって修正できる。同じように、テレビジョン映像内の修正すべき対象物が比較的小さい移動対象物であるならば、テレビジョン映像内の対象物の視認性は、テレビジョン映像内の対象物の色の陰影を強めるかまたは変更することによって向上することができる。
【００１１】
本発明の方法では、対象物のテレビジョン映像内の可視領域は、検出されたマーク面の位置と形状と、マーク面と対象物との相対位置と、テレビカメラの座標と識別検出器の座標との間の関係とに基づき決定される。
【００１２】
本発明の方法に使用されるマーク面は、周囲の放射とは異なる放射を反射、通過または放出する。かくして、対象物上またはその近傍のマーク面は、スペクトルまたは偏光特性のようなその特性に関して周囲の他の部分とは異なる放射を反射、通過または放出する１つ以上のフィルム、表面または放射源から構成され得るので、マーク面を検出することが容易である。マーク面の放射は、例えば、赤外光の範囲の１つまたは複数の所定の波長を有する放射を吸収する点において、周囲の放射とは異なる。
【００１３】
映像が、テレビカメラと同一の対物レンズによって識別検出器に焦点を合わされるならば、識別検出器の映像座標とテレビカメラの映像座標との間の関係は、カメラが回されるときに、あるいは撮影距離またはズームが変化するときに、一定のままである。かくして、固定の相関関係が、識別検出器の座標系とテレビジョン映像の座標系との間に支配し、したがって、識別検出器の座標は、簡単な変換機能を介してテレビジョン映像の座標に変換される。他方で、識別検出器がテレビカメラと異なる対物レンズを有するならば、検出器の座標系の間の関係は、対物レンズの特性、それらの互いの位置およびそれらの照準とズームに関係する。
【００１４】
対物レンズがほぼ同一であり、互いに近くに配置されるならば、またそれらが共に移動され、ほぼ同じ方法でズームされるならば、検出器の座標系との間の関係には小さい差異のみが存在し、また検出器座標を使用することによってテレビジョン映像の座標に関する近似値を得ることができる。対物レンズの位置とズーム、および座標系に対するそれらの効果が既知であることを前提としてのみ、対物レンズが異なる場合、あるいはそれらが同じように移動またはズームされない場合でも、近似値を決定することができる。
【００１５】
テレビジョン映像内のマーク面および対象物の位置が近似値として決定されると、それらの位置は、次のようにより正確に規定することができる。
【００１６】
対象物およびマーク面に関して既知の位置に配置され、また輝度、コントラスト、色または形に基づきテレビジョン、映像から識別できる１つ以上の基準対象物が、対象物にまたはその近傍に存在するならば、テレビジョン映像内の１つまたは複数の位置は、ソフトウェアベースの配置機能を介して明らかにされる。基準対象物の画像はテレビジョン映像の座標にほぼ一致させるように配置の前に修正することができる。配置機能は近似位置の近傍でのみ実行される。
【００１７】
所定の基準対象物を使用できないほど対象物の映像および周囲が変化するならば、対象物またはマーク面の領域あるいは近傍から、識別検出器またはそれに結合された検出器から獲得される画像からまた同一の対物レンズを使用して、モデル映像を得ることができる。モデル映像は、テレビジョン映像の座標にほぼ一致するように修正され、また配置機能は、近似位置の近傍のみのテレビジョン映像で実行される。
【００１８】
テレビジョン映像内のマーク面の位置が明らかにされると、対象物に関する位置および他のデータは、マーク面および対象物の相対位置に基づき決定することができる。
【００１９】
本発明の方法では、識別すべき対象物およびそれらの性質に応じて、すなわち前記対象物によって放出される放射に応じて、１つ以上のビームスプリッタを使用することが可能であり、これによって所望の放射を１つ以上の識別検出器に導く。このようにして、異なる特性を有する放射成分をビームスプリッタによって異なる検出器に導くことができる。ビームスプリッタに加えて、またはそれの一部の代わりに、適切なフィルタを使用することも可能である。
【００２０】
本発明の方法では、テレビジョン映像内の対象物のエッジおよびその可視領域を、それぞれの状態の必要性に応じて次の情報を利用することによって、上述のように決定することができる。
対象物の形状
マーカの位置と対象物との関係
対象物および／またはマーカによって放出される放射の特性
基準対象物の特性、および基準対象物とテレビジョン映像から識別できる対象物との相対位置
対象物によって放出される放射に基づき識別される視覚障害物
識別検出器によって生成される画像内の対象物またはマーカによって放出される放射の座標
テレビカメラの対物レンズおよび識別検出器の対物レンズの位置およびズーム状態
テレビジョン映像の座標と識別検出器によって生成される映像座標との間の関係
テレビジョン映像内の対象物またはマーカの正確なまたは近似の位置
テレビジョン映像内の基準対象物の位置。
【００２１】
本発明の方法では、どの広告または広告場所が当該となっているかを示すコード付きの広告を提供することが可能である。コードは任意の可視コードであり得るか、放射特性に関して周囲とは異なる１つまたは複数の表面から構成することが可能であり、前記１つまたは複数の表面は、識別システムによって検出されかつ判断される。コードは、例えば、当該の広告に取って代わるために使用される映像を規定する。
【００２２】
広告の領域全体またはその一部は、それによって放出される放射が検出デバイスによって検出できるように他の放射とは異なるように、処理することも可能である。これに基づき、システムは、対象物のどの部分が可視であるか、また対象物のどの部分が視覚障害物の後ろに隠されているかを決定することができる。この場合、映像の強調または変更は、可視の対象物のその部分のみで実行される。かくして、広告の一部のみが可視であるならば、システムは、その場所に置換映像の対応部分を挿入する。
【００２３】
本発明の方法は、公知の技術と比較して相当の利点を有する。例えば広告のような対象物の場所は、テレビジョン映像内で他の映像で満たされているので、異なる広告または広告主の間で、時間と目標地域に関して同一の広告スペースを共有することができる。置換映像は静止画または動画であることが可能であり、システム内の記憶装置からまたは他のカメラから獲得し得る。
【００２４】
映像は、テレビジョンプログラムに生じるイベントに応じて、または所定のスケジュールに従って変更することができる。例えば、フォーミュラ１のレースでは、自動車は同一のトラックの周囲を数十回レースしているので、トラックに沿ってあるタバコまたはアルコールの広告は、テレビジョン映像において、ある国への放送では他の広告に変更される。同じように、異なる広告を、異なるラウンドにおいて同一の広告スペースに表示することができる。
【００２５】
同様に、例えばアイスホッケーでは、特に、識別検出器で使用された露光時間がテレビカメラで使用された露光時間よりも著しく短い場合、テレビカメラによって通常生成されている高速に動くパックの不明瞭な映像は、より良く焦点が合わされ、またより鮮明なパックの映像に置換することができ、さらにこの映像は、色または彩度を強調してあるいは追従がより容易になるように点滅対象物として表示し得る。
【００２６】
以下に、添付図面を参照して、本発明についてより詳細に説明する。
【００２７】
図１において、撮影される対象物１は長方形の固定された広告であり、放射が広告の領域全体を透過するように広告の後方に配置された赤外光を照射するランプ２を有する。周囲の照明は大きな赤外光成分を含まない。広告の隅部には、テレビカメラ４に向かって光を放出する青色ランプ３が配置される。
【００２８】
補助カメラ５には、短い距離にある赤外光を識別する識別検出器６が設けられる。補助カメラは広告１に固定照準される。さらに、補助カメラ５とテレビカメラ４は、映像を撮影するときに同時露光を使用する。
【００２９】
テレビカメラ４から獲得される信号７は、共に遅延素子８とコンピュータ９とに行くように分岐される。コンピュータ９には、補助カメラ５から獲得される信号１０も接続される。
【００３０】
コンピュータシステム９は、補助カメラ５の画素の照射値を所定の、例えば予め決定された基準限界と比較して、広告１の領域のどの部分がカメラに可視でないかを示すマスク映像を生成する。換言すれば、マスク映像は、例えば、広告１とカメラとの間に歩いているか、または立っている人間１１のような視覚障害物が存在する領域を規定する。
【００３１】
コンピュータシステムは、テレビカメラの位置およびズームを識別し、この情報に基づいて、テレビジョン映像内の広告１の近似的な位置を定めることができる。広告の隅部点の正確な位置は、画素の異なる色成分の輝度値に基づき青色ランプ３の位置を決定することによって決定される。広告１の隅部点の位置が定められると、テレビジョン映像内の広告の領域が識別される。さらに、補助カメラ５によって生成されるマスク映像に基づき、視覚障害物１１の後方に隠されている映像領域内の領域が識別される。
【００３２】
コンピュータ９のメモリは、広告の領域に取って代わって使用される記憶映像を含み得る。置換映像は、広告映像の領域に適合するように修正される。同時に、視覚障害物の位置が考慮されている。他の方法は、例えば適切な場所に配置され、振替すべき広告を撮影するテレビカメラのような外部ソースからコンピュータ内に置換映像が取り入れられることである。
【００３３】
補助カメラ５およびテレビカメラ４からの画像を処理するためにコンピュータシステムによって使用された時間だけ、テレビカメラによって撮影された映像のコピーは、遅延素子８に保持されている。修正された置換映像および遅延素子内で待機維持されたテレビカメラ映像は、コンバイナ１２に送られ、ここで、置換映像は、広告の可視領域に置き代わるように元の映像に追加される。この後、修正されたテレビジョン映像は放送１３に送られる。
【００３４】
図２は、同一の対物レンズ１４を介して、映像がテレビカメラの検出器１５および識別検出器１６の両方に焦点合せされる本発明の他の実施形態である。この場合、対物レンズ１４を通過した放射１７は、ビームスプリッタ１８で分岐され、テレビカメラの検出器１５と、識別検出器１５とに渡す。さらに、識別検出器の前にフィルタ１９を使用して、所定の種類の放射のみを識別検出器に通過させることが可能である。この場合、識別検出器の映像座標とテレビカメラの映像座標との間の関係は、一定のままであり、識別検出器の座標が、簡単な変換機能を介してテレビジョン映像の座標に変換されることを可能にする。
【００３５】
図３は、撮影および修正すべき広告領域をマークできる種々の方法を示している。この図は、基準対象物２０、例えば所定の色の円によってすべての隅部をマークした長方形の広告を示し、前記基準対象物によって、テレビジョン映像内の対象物の位置を正確に規定することができる。
【００３６】
広告面全体は、フレーム２１、すなわち、可視光の色以外の特性に基づいた放射において周囲とは異なるマーク面によって囲み得る。同様に、フレームは、当該の広告ボードを識別するために使用できる独立したコード２２を収納し得る。さらに、広告面のフレームまたは他の部分には、この対象物の当該位置のより正確な指標を与える位置コード２３を設け得る。さらなる方法は、可視光に対し透過性であるが、表面からの放射が偏光特性において周囲の放射とは異なるという効果をなお有するフィルムで、広告面２４全体を被覆することである。上述の実施例から理解できるように、処理かつ修正すべき映像面は、種々の方法でマークまたは構成をすることができる。本質的な点は、適切な手段を用いてマーク面を正確に識別し、位置決めできるような程度に、マーク面が、周囲の放射とは異なる放射を反射、通過または放出することのみである。
【００３７】
上述のごとく、本発明について、実施例によって添付図面を参照して説明してきたが、本発明と異なる実施形態が、請求の範囲に規定された創意の範囲において可能である。
【図面の簡単な説明】
【図１】 本発明の方法を示した図である。
【図２】 本方法の他の実施形態を示した図である。
【図３】 本方法で撮影された対象物に関するある構造的代替例を示した図である。

Claims (23)

1. テレビカメラによって撮影された可視対象物を修正するための方法において、
   前記対象物が、その領域またはその近傍に配置された１つ以上のマーク面によってマークされ、前記マーク面が、撮影された領域の他の放射とは異なる放射により識別可能であり、前記マーク面の少なくとも１つが、可視光の色以外の特性によって、周囲からの放射とは異なり、
   映像として見える前記マーク面が、前記テレビカメラの検出器から別個の少なくとも１つの識別検出器を用いて識別され、これによって、前記対象物が、前記テレビカメラと同一の撮影方向から実質的に撮影され、
   テレビ映像として見える前記対象物の領域位置、形状、大きさが、前記テレビカメラの映像座標と前記識別検出器の映像座標との間の既知の関係により決められることで、
   前記対象物の可視領域に対応する領域の前記テレビジョン映像のビデオ信号が、所定の方法で修正可能となることを特徴とする方法。
2. 前記対象物の可視領域に対応する領域の前記テレビジョン映像のビデオ信号が、所定の方法で修正されることを特徴とする請求項１に記載の方法。
3. 前記映像として見えるマーク領域は、前記テレビカメラの前記検出器と分離された１つ以上の前記識別検出器を使って識別され、前記識別検出器より前記対象物は、前記テレビカメラと同一のレンズにより撮影されることを特徴とする請求項１に記載の方法。
4. 前記テレビジョン映像内の前記可視対象物のそれらの領域が、検出されたマーク面の位置と形状と、前記マーク面と前記対象物との相対位置と、前記テレビカメラの座標と前記識別検出器の座標との間の関係とに基づき決定されることを特徴とする請求項１に記載の方法。
5. 修正すべきおよび撮影される前記対象物が、広告であり、その広告は異なる広告に変更されることを特徴とする請求項１に記載の方法。
6. 前記マーク面が、周囲の放射とは異なる放射を反射、通過または放出することを特徴とする請求項１に記載の方法。
7. 前記映像が、前記テレビカメラと同一の対物レンズによって前記識別検出器に焦点合わせされ、この結果、前記識別検出器の映像座標と前記テレビカメラの映像座標との間の関係が、カメラを回したときに、あるいは撮影距離またはズームが変化するときに、一定のままであることを特徴とする請求項１に記載の方法。
8. 前記映像が、前記テレビカメラと別個の対物レンズによって前記識別検出器に焦点合わせされ、この場合、前記テレビジョン映像の座標と前記識別検出器の座標との間の関係が、カメラの位置、焦点およびズームを与えるデータに基づき近似値として獲得され、また前記テレビジョン映像内の前記対象物の位置が、前記テレビジョン映像内において、コントラスト、輝度、色または形に基づき、前記対象物内のまたはその近傍の少なくとも１つの基準対象物を検出することによって規定されることを特徴とする請求項１に記載の方法。
9. 前記テレビジョン映像内に検出される前記基準対象物の外観が、あらかじめ知られていることを特徴とする請求項８に記載の方法。
10. 前記テレビジョン映像内に配置された前記基準対象物が、前記識別検出器内の画像から、または前記識別検出器と同一の対物レンズによる画像が焦点合わせされる検出器内の画像から得られることを特徴とする請求項８に記載の方法。
11. 前記画像が、前記テレビカメラの対物レンズと前記画像検出器との間に配置された少なくとも１つのビームスプリッタを用いて、１つ以上の識別検出器に導かれることを特徴とする請求項７に記載の方法。
12. 異なる特性を有する放射成分を、ビームスプリッタによって異なる検出器に導くことを特徴とする請求項７〜１１のいずれか一項に記載の方法。
13. 異なる放射特性を有する放射を、前記識別検出器の前に置かれたフィルタによってフィルタ処理することを特徴とする請求項７〜１２のいずれか一項に記載の方法。
14. 前記テレビカメラによって撮影されたビデオ信号の伝送が、前記対象物に対応する領域に対するビデオ信号の伝送前に修正を可能にするように遅延されることを特徴とする請求項１に記載の方法。
15. 前記対象物の位置を示すデータが記憶されることを特徴とする請求項１に記載の方法。
16. マーク面の放射が、偏光特性において周囲の放射とは異なることを特徴とする請求項１に記載の方法。
17. マーク面の放射が、赤外光の範囲の１つまたは複数の所定の波長を有する放射を吸収する点において、前記周囲の放射とは異なることを特徴とする請求項１に記載の方法。
18. 前記対象物が、それを識別するコードによってマークされることを特徴とする請求項１に記載の方法。
19. 前記対象物の領域またはそのエッジが、前記対象物に関するコードの位置を示すコード２３を含むことを特徴とする請求項１に記載の方法。
20. 前記識別検出器の画像内の１つまたは複数のマーク面の位置が、画素の輝度を隣接の画素と比較することによって、画素の輝度を記憶された基準映像と比較することによって、および／または異なる識別検出器の画素の輝度を互いに比較することによって決定されることを特徴とする請求項１〜１３のいずれか一項に記載の方法。
21. 前記基準対象物の映像を、前記テレビジョン映像の座標にそれを適合するように検索の前に修正することを特徴とする請求項８〜１０のいずれか一項に記載の方法。
22. 前記識別検出器の露光時間が、前記テレビカメラの露光時間よりも実質的に短く維持されることを特徴とする、請求項１に記載の方法。
23. テレビカメラにより撮影された目に見える対象物を修正する方法であって、該方法において、
    前記対象物が、前記対象物の領域に配置されたマーク面によりマークされ、前記マーク面は、撮影された前記領域の他の放射と異なる放射により識別され、前記マーク面は、可視光の色と別の特性により周囲から異なった放射であり、
    前記マーク面は、前記テレビカメラの検出器とは別の少なくとも１つの識別検出器を使って識別され、前記対象物は前記識別検出器により前記テレビカメラの撮影方向と実質的に同じ方向で撮影され、
    前記テレビカメラの映像座標と前記識別検出器の映像座標との間の関係が決定され、
    前記テレビ映像で見える前記対象物の領域が、検出された前記マーク面により決定され、
    前記対象物に対応する領域に対し前記テレビ映像のビデオ信号が、所定の方法で修正され、
    前記方法において、
    前記映像は、前記テレビカメラと同一の対物レンズにより前記識別検出器に焦点を合わせ、その結果前記識別検出器と前記テレビカメラとの映像座標の関係が、カメラを回した時にも、撮影距離やズーミングを変えた時にも一定に保たれること及び、
    修正され、撮影される前記対象物が、比較的小さく、動く対象物であり、テレビ映像におけるその視認性がテレビ映像の対象物の色の陰を強調又は変更することにより改良することに特徴とする方法。

Images