JP3406313B2 - 連続画像の内容変更を行う方法および装置 - Google Patents

連続画像の内容変更を行う方法および装置

Info

Publication number
JP3406313B2
JP3406313B2 JP50819991A JP50819991A JP3406313B2 JP 3406313 B2 JP3406313 B2 JP 3406313B2 JP 50819991 A JP50819991 A JP 50819991A JP 50819991 A JP50819991 A JP 50819991A JP 3406313 B2 JP3406313 B2 JP 3406313B2
Authority
JP
Japan
Prior art keywords
image
pattern
target area
region
continuous image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP50819991A
Other languages
English (en)
Other versions
JPH05501184A (ja
Inventor
ルキュエ，アンドレ
レブッフェ，ミッシェル
Original Assignee
マルチ メディア テクニックス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=9395673&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3406313(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by マルチ メディア テクニックス filed Critical マルチ メディア テクニックス
Publication of JPH05501184A publication Critical patent/JPH05501184A/ja
Application granted granted Critical
Publication of JP3406313B2 publication Critical patent/JP3406313B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S345/00—Computer graphics processing and selective visual display systems
    • Y10S345/949—Animation processing method
    • Y10S345/96—Iterative display of preconfigured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、シーケンスを形成し、動画によるシーン
を提供する連続画像であってカメラなどによって得られ
る画像の領域の内容を変更する方法および装置に関す
る。
【０００２】
【従来の技術および発明が解決しようとする課題】
以下において現れる用語“画像シーケンス”は、カメ
ラあるいはビデオコントローラによってリアルタイムに
生成される画像信号（デジタル信号、アナログ信号のい
ずれか）のみならず、光学的、磁気的な媒体、書き込み
可能な媒体に、各々を記録時の速度と同じ速度で遂次表
示し、出力し、あるいは放送することが可能なように時
系列的に順序付けて記録されたシーケンス（時系列情報
としてのシーケンス）をも含んだ広い意味に用いる。
【０００３】 さらに詳しくは、この発明は、ある特定領域あるいは
シーンにおけるある特定の物に対応した画像の一部（以
下、このような画像の一部を目的領域を呼ぶ）を、実体
あるいは空虚なものからなる他の領域の画像あるいは他
の物に対応した画像（以下、このような画像をパターン
と呼ぶ）によって置き換える方法および装置に関する。
【０００４】 本発明の適用分野は極めて多岐に亙る。適用分野とし
ては以下のものが挙げられるがこれらに限定されるもの
ではない。 （１）広告 本発明によれば、活動する表示物あるいはその他の表
示物を送信あるいは再送を行いながら、広告を追加ある
いは広告による置換を行うことができる。 （２）オーディオ・ビジュアル技術、特に架空映像技術 本発明によれば、あるシーンを撮影している時に特定
の物あるいは背景を置換することができる。 （３）シミュレーション 本発明によれば、合成画像によって構成された背景の
中に実在の物の画像を挿入することができる。
【０００５】 画像における目的領域を変更するのに用いられる数学
的手法が知られている。目的領域は例えば特定の色によ
って識別し得る。しかし、この方法は、例えばカメラの
動き等、画像の捕捉に関する条件を考慮していない。従
って、パターンをシーンの動きに流動的に追従させるこ
とができない。
【０００６】 画像合成においては、目的領域の位置、焦点距離、焦
点は変らないという条件で、目的領域に位置するパター
ンを生成することがある。
【０００７】 これらの方法は、実在の背景に関する動画像と活動す
る漫画とを生成するスーパインポーズ技術を用いてお
り、画像を捕捉するための条件が時間的に大きく変化す
る場合にはその使用あるいは特殊効果を中断せねばなら
ないという制限を有している。
【０００８】 ヨーロッパ特許第0,360,576号によって知られている
方法は、２種の映像の時系列画像データからこれらを合
成した複合画像データを生成することを可能にしてい
る。この方法を実施する場合、使用者は多角形のコーナ
にあるすべてのリファレンスポイントを少なくとも指定
する。変換回路は、結合を可能にするため、多角形にお
ける画素のアドレスを修飾する。
【０００９】 この方法は各画像についてマニュアル操作を必要とす
る。
【００１０】 この発明の目的は、従来からある技術に増して技術的
要求を満たす連続した画像の同一領域の内容を変更する
方法であって、補足のための条件、特にフレーム、照
準、倍率（拡大縮小）および焦点が変化した場合であっ
ても、手動による操作を必要とせず、上記変化を考慮に
入れて自動的に画像内容を変更することができる方法を
提供することにある。
【００１１】
【課題を解決するための手段】
この目的を達成するため、画像のパターンのはめ込み
に先立ち、画像における目的領域の表示に正確に対応す
るようにその画像の適応化を行う。
【００１２】 このため、本発明は、目的領域を所定のパターンで置
換することによって連続画像内の領域を変更するための
方法であって、（ａ） 目的領域を選択し、かつ、前記
目的領域から特徴データを抽出し、かつ、前記特徴デー
タを記憶するステップと、（ｂ） 所定のパターンを生
成し、かつ、前記パターンを記憶するステップと、
（ｃ） 連続画像を撮影するステップと、（ｄ） 連続
画像から目的領域の特徴データを抽出するステップと、
（ｅ） 前記パターンの特徴データと連続画像から抽出
された特徴データとの間のデジタル相関解析によって、
各画像における前記目的領域を探索するステップと、
（ｆ） 表示データをその時点の目的領域に最もよく整
合させる目的領域の表示スケールを探索することによっ
て、幾何学的モデルを演算するステップと、（ｇ） 前
記幾何学的モデルに基づいて前記パターンを変形するス
テップと、（ｈ） 変形されたパターンをはめ込むステ
ップとを具備することを特徴とする方法を提供するもの
である。
【００１３】 ここで、用語“ショット”は急激な時間的空間的変化
を伴わない同一のカメラによって捉らえられた同一のシ
ーンを提供する１つの画像を意味する。
【００１４】 本発明が時間的な遅れを伴って使用される場合、処理
を簡単にするため、各ショットの最初の画像にマークが
指示される。その処理はライトペンによる指示によって
行われる。全体の画像について、より好ましくは予め決
められた部分について探索が行われる。
【００１５】 最初の画像の後、目的領域の移動およびある画像から
次の画像への大きさの変化にはカメラの特性によって制
限されるので、画像処理による探索は容易に行われる。
目的領域には“特徴点”（通常、輪郭線のコーナであ
る）があり、これらの特徴点の探索が行われる。目的物
が英数字を伴った広告である場合、特徴点は極めて重要
な意義を持ち文字の垂直部および水平部の結合体である
グラフを形成する。各々のサイズが６×６画素である隣
接する各要素について、従来公知のパターン認証技術に
よる認識が行われる。この種のパターン認識は認識対象
の規模と拘わりなく有効である。画像に雑音が重畳して
いる場合、認識の回数を持つため、10乃至20個の特徴点
を探索することが好ましい。特徴点の位置から特徴的な
幾何学的配置を有する少なくとも４個のマーク、例えば
広告の４隅を表わす４個のマークが得られる。
【００１６】 本発明は、カメラと目的領域との間に静止したあるい
は移動する障害物がある場合についても適用可能であ
る。この場合、障害物に対応した部分は、障害物の明る
さおよび／または色が周囲、すなわち、目的領域におけ
る障害物によってマスクされたいない部分のそれらと異
なってるといった具合に周囲との相関が欠如しているこ
とを検出することにより認識される。
【００１７】 本発明による方法は、あらゆる場合において、同一シ
ョットにおけるシーンの空間的時間的連続性を利用する
ものである。
【００１８】 また、本発明は上記方法を具現するための装置を提供
するものであり、本発明による装置は、目的領域を所定
のパターンで置換することによって連続画像内の領域を
変更するための装置であって、（ａ） 目的領域を選択
し、かつ、前記目的領域から特徴データを抽出し、か
つ、前記特徴データを記憶する手段と、（ｂ） 所定の
パターンを生成し、かつ、前記パターンを記憶する手段
と、（ｃ） 連続画像を撮影する手段と、（ｄ） 連続
画像から目的領域の特徴データを抽出する手段と、
（ｅ） 前記パターンの特徴データと連続画像から抽出
された特徴データとの間のデジタル相関解析によって、
各画像における前記目的領域を探索する手段と、（ｆ）
表示データをその時点の目的領域に最もよく整合させ
る目的領域の表示スケールを探索することによって、幾
何学的モデルを演算する手段と、（ｇ） 前記幾何学的
モデルに基づいて前記パターンを変形する手段と、
（ｈ） 変形されたパターンをはめ込む手段とを具備す
るものである。
【００１９】 本発明に関しては以下図面を参照して説明する実施例
によりさらによく理解されよう。
【００２０】
【発明の実施の形態】
本発明による方法をある広告パネルにおける固定の大
きさおよび位置を有する目的領域に別のパターンをはめ
込むパターンの取替へ応用する場合について説明する。
長方形をなす２枚の広告掲示板あるいはパネルの各々の
エッジによって輪郭が認識される。目的領域について通
常10乃至20個の特徴点が定義される。これらの特徴点は
識別が容易なグラフを形成する。目的領域が英数字を含
む場合、グラフは予め例えば６×８画素の各々を区切る
ように定義された各直線と交差する。
【００２１】 本実施例は各国において行われる各々異なった広告を
伴ったスポーツ中継に特に用いられる。
【００２２】 ［予備処理］ 予備処理は目的領域あるいはそれを含んだ目的領域を
選択し複数の表示形態で記憶する処理を含んでいる。こ
こで、表示形態は以下に示すように多様なものがある。 （１）例えばカメラの焦点距離の変化によって様々な倍
率で撮影された画像が含まれている。相関解析を容易に
するため、他からある値に倍率が変化させる場合、 が乗算される。 （２）カメラから見た目的領域の見込角が異なった画像
が含まれる。
【００２３】 そして、コンピュータにより、各々異なった所定の倍
率について、目的領域に対応した特徴データが抽出され
る。特徴データは、輪郭線の角部であり、次のものから
なる。 （１）目的領域それ自体の要素、例えば各部の相対的な
位置関係が変化しないグラフ、周辺の角を構成する点、
色の分布。 （２）シーンにおいて目的領域を囲み、上記基準によっ
て容易に識別可能な位置の固定された要素。
【００２４】 また、予備的処理は、デジタル画像データの中からパ
ターンを選択すること、あるいはパターンが存在してい
ない場合にはグラフィックパレットタイプのハードウェ
ア／ソフトウェア装置（例えばHariette of Quantel−1
990−あるいはTIPS on ATT board−1998）を介して設計
者にそれを作成させること、あるいはテレビカメラある
いはスキャナによって撮像された画像をデジタイジング
することによりそれを生成することを含んでいる。
【００２５】 この画像から目的領域と同じスケールに対応した幾つ
かの第２の画像が生成される。
【００２６】 ［画像の獲得］ 演算処理速度に対する要求を緩和するため、本願方法
を具現する装置は画像の記憶の後に処理を行う。第２図
は本願による画像の撮影および変更を行う装置を示す。
【００２７】 第１図において、テレビカメラ10は置換されるべき目
的領域を含んだシーン12に向けられており、目的領域は
２個の対象物16および18に関して位置が固定されてお
り、部分的あるいは全体的に障害物20によってマスクさ
れている。カメラ10は磁気記録等によるレコーダに接続
され、遅れ時間を伴った変換が行われる。リアルタイム
に処理を行う場合であって、カメラが画像の輝度および
色差を表す多数のビットからなるワードをマトリックス
を構成する各画素について出力するのではない場合、カ
メラはアナログ／デジタル変換器を介しコンピュータ22
に画像データを直接送る。
【００２８】 本発明による方法は、各ショットを他と独立に処理す
る。すなわち、各ショットについて、連続した同一画像
は同じカメラ10によって撮影される。これらの画像はそ
の変化が連続的であり、各々が互いに強い相関を有して
いる。第２図に示すように、目的領域14は大きさが変化
し、部分的に障害物15によってマスクされている（画像
1,2および３）。
【００２９】 コンピュータは目的領域を特徴付けるデータを抽出す
る一方、同一スケールによるパターンを作成する。
【００３０】 カメラ10は、目的領域の特徴点とこれに対応する要素
であって補間によって得られあるいは記憶された移動す
る要素の各々異なった表示内容との照合のため、自身に
関するパラメータ、例えば焦点距離の変化をコンピュー
タ10に伝える手段を有している。このような仕方による
目的領域の完全な追跡は、避けられない振動、誤差の累
積が生じると共に非標準型のビデオ装置を必要とするこ
とから、必ずしも満足のいくものとはならない。焦点距
離の変更および数学的モデルによってカメラが目的領域
を見込むときの見込角の調整を見積もることが好まし
い。
【００３１】 モデルは目的領域の角のｘ座標値およびｙ座標値を用
いて設定することができる。焦点距離は、ｘが変化した
とき次のようになる。 Ｘ＝ax＋ｂ （１）
【００３２】 また、カメラと目的領域の周囲とを結ぶ直線が円錐を
形成する場合、見込角の変化は、 Ｘ＝（cx＋ｄ）／（ex＋ｆ） （２） と表される。ただし、a,...,fは一定値である。モデル
（２）は２次の多項式に変形される。
【００３３】 コンピュータによって画像に対して行われる第１の処
理は、目的領域の探索であり、この探索は記憶された特
徴と最も良く符合するものを探索することにより行われ
る。この探索は、パターンの特徴点と各画像から取り出
された特徴点との間の相関を評価する従来公知のデジタ
ル相関解析の手法を用いてもよい。その際、障害物が特
徴点の幾つかをマスクし得ることをも考慮に入れる。
【００３４】 探索は下記制限事項を考慮に入れると簡略化すること
ができる。 （１）装置に起因した幾何学的形状の時間的変化に関す
る制限（焦点距離および視点の回転には制限がある） （２）装置により、あるいはシーンの変化により挿入さ
れる形の時間的変化に対する制限
【００３５】 回転が僅かであり、焦点距離を変えることによって生
じた幾何学的に類似な形状の通信のみを考慮する場合に
は、画像から画像への移動の検出に用いられる幾何学的
変形の数学的モデルが有効である（例えばATG（Atelier
de Traitement Geometrique du CNES−1986−availabl
e from Societe Europeenne de Propulsion）システム
が挙げられる）。それは、目的物が極めて近くにある場
合に歪みを生じるが、この歪みを生じせしめないような
レンズの長さと同程度の長さに１次あるいは２次の多項
式の残余を最小化することにより得られる。
【００３６】 一方、輪郭の位置の大きな変化がある場合には、幾何
学的変形の数学的モデルは現時点の画像における目的領
域の形状の変更を招き、この場合、２個の多項式の比と
してのモデリングが用いられる。
【００３７】 同一ショットにおける数個の連続画像から生じる幾何
学的モデルに対するローパスフィルタ処理（例えば４個
の画像に対し、連続した２個の数学的平均を行うこと）
により、数学的モデルの時間的安定性、およびそれらの
品質を向上させることがある。数個のモデルの中から最
も良く幾何学的変換を呈するモデルを選択することが可
能である。目的領域の特徴点として、領域内の広い範囲
に分布した多数の特徴点を用いることにより、特徴点の
幾つかが障害物の影に隠れている場合であっても目的領
域を識別することが可能である。
【００３８】 焦点距離および方向に関する情報がカメラのセンサか
ら供給されず、一方、目的領域のサイズが既知である場
合には、幾何学的変形の数学的モデルにより、焦点距離
および見込角を評価することが可能となる。
【００３９】 目的領域が白地の背景を有した水平な矩形の広告パネ
ルであり、上昇および水平方向縮小の動作のみを有して
いる場合には、パネルの４コーナによって形成される４
個のグラフが焦点距離および見込角を評価するための特
徴データとなるであろう。背景にパターンをはめ込む場
合、それらは背景（例えば壁、衣類）上の特定形状のマ
ーク（例えばドット、交差した直線）となり得る。この
場合、マークの分布は、パターンにおける特定のグラフ
の分布と同族の分布となる。
【００４０】 ［色解析］ 幾何学的変換の数学的モデルが決定されると、通常の
目的領域（主な画像および表示物）と各時点の画像にお
ける対応する領域との間の色の変化を評価すること、す
なわち、数学的な記述による色変化パターンを求めるこ
とが必要となる。このような変化は、多くの場合、光の
変化およびカメラの応答性によるものである。数学的モ
デルは、隣接物と目的領域の点との比較結果に基づく線
形変換モデルであり、照合にとって効果的な探索手段を
提供するものである。このモデルは、強度および色信号
Ｒ、Ｇ、Ｂに対する線逆変換によって得られる。実際
は、挿入された障害物（第２図における画像１、２およ
び３）に分布する点を排除する必要がある。
【００４１】 この場合、色の量子化によって造り出される雑音の影
響を排除するために時間的安定性を向上させるフィルタ
リングが行われる。
【００４２】 以上説明した処理は、第３図のフローチャートにおい
てメインパスとして描かれており、記憶された目的物の
表示画像から目的領域の実際の画像に変化させる２個の
幾何学的形状間の変化を造り出す。
【００４３】 ［MTF（Moduration Transfer Function）の可能性評
価］ MTF、すなわち、当該画像における目的領域とそれに
対応する記憶された表示データとの間の鮮明度の差が有
用である。このため、隣合った相互に対応する点の周波
数スペクトルが比較される。この解析により、画像の動
き、すなわち、動きの効果および焦点の狂いを大雑把に
把握することができる。
【００４４】 ［変換］ 記憶された目的領域の表示データに基づき、（１）幾
何学的変換モデル、および（２）明暗変換モデルが作成
され、最終的に信頼できる環境において、（３）変調伝
達関数が作成される。
【００４５】 これらの変換の各々は線形変換であり、それらの適用
は結合されることがある。
【００４６】 ここで、シーケンスにおける変換された画像は、目的
領域が目的領域に対応した表示データ（既に生成された
目的物の画像）によって置換された可能状態となってい
る。
【００４７】 初期の画像とは異なった、変換された画像の各画素
は、目的領域以外の部分の表示データにおける各画素
と、カメラおよび目的領域間に挿入された障害物に対応
している。
【００４８】 各点の集合は障害物に係るマスクを構成する。パター
ンにおけるマスクされていない領域（不透明な障害物）
に対応した部分のみをはめ込むこと、あるいは（半透明
な障害物の）はめ込みの前にパターンを部分的に変調す
ることが可能である。パターンの置換は画素単位で行わ
れる。
【００４９】 特に移動する障害物は半透明効果を呈し、隙間の空い
た障害物（テニスのネット）あるいはサイズの小さな障
害物（ボール）も同様な効果を呈する。
【００５０】 このような場合を取り扱うために、本発明による方
法、特に本実施例は、先験的評価に基づいた、あるいは
実際のシーンに合せて調整された透明度マップを使用す
る。例えば、透明度１はパネルにおけるマスクされてい
ない点に割り当てられ、透明度０は障害物に対応した点
に割り当てられる。半透明な障害物あるいは素早く移動
する障害物については各点に対し、透明度として中間値
が割り当てられる。シーンが撮影されるスケールにおい
て、不透明な障害物はコンパクトであり、このことが従
来の数学的形態学における“closing"法による透明度マ
ップに対する空間フィルタ処理を可能にする。
【００５１】 透明度マップは固定の障害物についての時間領域フィ
ルタ処理が施される。また、素早く移動する障害物につ
いてもそれらのサイズの変化がゆっくり変化するものと
仮定することにより時間領域フィルタ処理が可能であ
る。そして、従来からある数学的形態学における開閉法
が用いられる。この方法については、「“image analys
is and mathematical morphology"1982.Academic Pres
s,London」に説明がある。
【００５２】 障害物の色と障害物によってマスクされた目的領域上
の各点の色との間に対立がある場合、３スペクトル帯域
よりはむしろ４スペクトル帯域を取り扱うカメラを用い
ると観測すべきシーンの各点の放射能の測定能力を際立
たせることができ、障害物の識別能力が向上する。この
方法は人工衛星からの地表の解析に既に利用されてい
る。ここで、４スペクトル帯域における第４の帯域は赤
外線の帯域の近くである。
【００５３】 ［置換］ 以上の処理が完了することにより目的領域のパターン
パネルによる置換の準備が完了する。
【００５４】 置換は（ａ）記憶されたパターンパネルの処理と
（ｂ）カメラによって得られて記憶された画像のそれら
のために得られた画素の置換とを連続的に行うことを必
要とする。
【００５５】 上記（ａ）の処理は、目的領域の識別に使用されたス
ケールに対応したスケールにより、幾何学的、色彩的お
よび画像の移動に関する変換をパターンパネルに施す処
理を含んでおり、透明度関数（透明度１の場合は識別可
能状態、透明度０の場合は隠れた状態、透明度が中間値
である場合は減衰された状態）が適用される。それによ
って得られた結果は、記憶あるいは放送される前のその
時点における画像にはめ込まれる。
【００５６】 時間領域フィルタ処理は、過去の画像を考慮に入れた
予想を行う。それは部分的にあるいは全体的に経験的な
または再帰的なフィルタ処理を使用するものであり、遅
延線を形成する巡回アクセス型のメモリであって数画面
分の容量を有するものを用いる。
【００５７】 時間領域フィルタリングを行う場合、この時間領域フ
ィルタ処理は、同一ショットにあって定常的でありかつ
連続的な移り変りにおいて不連続を生じるショットの変
化の各々を検出することを要求する。
【００５８】 ショットの変化は、中央制御部を有するセンサによっ
て検知される。観測されたシーンの画像の内容の不連続
性からショットの変化を自動的に検出することができ、
これは一般的に採用されている解法である。
【００５９】 例えば、ズーム調整の場合、目的領域の表示スケール
を探索することによる再評価があり、これは表示データ
をその時点におけるシーンの目的領域に最も良く整合さ
せる。この処理は“branch and bound"法と呼ばれる特
徴点のリストに相関解析を適用する方法により行われ
る。そして、上述した処理が続けられる。撮影の高さお
よび水平方向の歪みの評価もまた比較され、直前のショ
ットから移動しない新たなショットをどのカメラが撮影
するかを決定することを可能にする。この処理は第３図
および第４図に示されている。
【００６０】 上記実施例は特に平坦な表面に形成された目的物の場
合によく適用される。また、表面を分割して得られ平坦
とみなすことができる小平面の目的物についてもこの発
明を著しい変更を伴うことなく用いることができる。
【００６１】 コンピュータ22は第１図に示す構成を有しており、そ
の幾つかの要素は既に述べたヨーロッパ特許第0360576
号において説明されている。コンピュータ22は、信号プ
ロセッサ26に個々の画像データを供給する大容量の画像
メモリ24（例えばハードディスク）を有する。信号プロ
セッサはメモリ28に記憶された目的物の特徴点を識別し
配置するようにプログラムされている。また、信号プロ
セッサは、コンパレータ30に対しメモリ28に記憶された
適切な目的領域の表示データを選択するために必要な要
素を供給すると共にその表示データをバッファメモリ32
に送る。コンパレータ34は、目的領域における障害為に
よってマスクされた部分を識別し、マスクされていない
画素を適切なパターンによって置き換えるのに必要な画
素であって、メモリ38から読み出される画素を結合回路
36に供給する処理を画素単位で行う。その結果得られる
画像は大容量メモリ40に記憶され、モニタ42に表示され
る。
【００６２】 第５図〜第９図は焦点距離可変であり回転可能な１眼
カメラによってシーンが撮影される場合の処理フローを
詳細に示したものである。 第５図は例えばグラフィックタブレットおよびスタイ
ラスによって目的物の対角線上の２点を指示することに
よって各ショットについて行うマグネットスコープから
の目的物の準備を行うステップを示す。 第６図は目的領域の獲得および配置の処理フローを示
すものである。 第７図は色変換の能力を向上させ、障害物あるいは影
を検出する場合にステップを示している。 第８図は画像の中にパターンを適切なスケールではめ
込むステップを示している。 第９図はマグネットスコープへ格納するステップを示
している。 ［図面の簡単な説明］
【図１】 撮影されたシーン、目的領域、障害物および
撮影用カメラを示す全体図である。
【図２】 第２図は連続した動きのある画像を示す図で
ある。
【図３】 本発明による方法を説明するフローチャート
である。
【図４】 本発明による方法を説明するフローチャート
である。
【図５】 本発明による方法を各種用途に適用する場合
の動作を説明するフローチャートである。
【図６】 本発明による方法を各種用途に適用する場合
の動作を説明するフローチャートである。
【図７】 本発明による方法を各種用途に適用する場合
の動作を説明するフローチャートである。
【図８】 本発明による方法を各種用途に適用する場合
の動作を説明するフローチャートである。
【図９】 本発明による方法を各種用途に適用する場合
の動作を説明するフローチャートである。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 レブッフェ，ミッシェル フランス国 92500 リュイル マルメ ゾン リュ フィリィエッテ ニコラ フィリベール ５ (56)参考文献 特開 昭63−271664（ＪＰ，Ａ) 特開 平２−306782（ＪＰ，Ａ) 特開 昭64−65984（ＪＰ，Ａ) 欧州公開360576（ＥＰ，Ａ１)

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項１】目的領域を所定のパターンで置換すること
    によって連続画像内の領域を変更するための方法であっ
    て、 （ａ） 目的領域を選択し、かつ、前記目的領域から特
    徴データを抽出し、かつ、前記特徴データを記憶するス
    テップと、 （ｂ） 所定のパターンを生成し、かつ、前記パターン
    を記憶するステップと、 （ｃ） 連続画像を撮影するステップと、 （ｄ） 連続画像から目的領域の特徴データを抽出する
    ステップと、 （ｅ） 前記パターンの特徴データと連続画像から抽出
    された特徴データとの間のデジタル相関解析によって、
    各画像における前記目的領域を探索するステップと、 （ｆ） 表示データをその時点の目的領域に最もよく整
    合させる目的領域の表示スケールを探索することによっ
    て、幾何学的モデルを演算するステップと、 （ｇ） 前記幾何学的モデルに基づいて前記パターンを
    変形するステップと、 （ｈ） 変形されたパターンをはめ込むステップと を具備する ことを特徴とする方法。
  2. 【請求項２】各々倍率および見込角の異なった前記目的
    領域の複数の表示データおよび各々倍率および見込角が
    同じである前記パターンの複数の表示データを記憶する
    ステップと、モデルに関係する表示データをそれらの置
    換の前に各変換に提供するため、現時点における画像の
    前記目的領域を１つの表示データに変換させる最適な幾
    何学的変換を決定するステップとを具備することを特徴
    とする請求項１記載の方法。
  3. 【請求項３】現時点における画像の前記目的領域をそれ
    と関係する前記パターンの表示データに取り込むための
    １つの表示データに変換する最適な色変換を決定するス
    テップを具備することを特徴とする請求項１乃至２のい
    ずれか１項に記載の方法。
  4. 【請求項４】前記最適な幾何学的変換は、複数の異なっ
    た変換を実行すると共にそれらの結果を比較することに
    より、あるいは最善の結果をもたらすそれらの変換結果
    の合成を採用することにより決定することを特徴とする
    請求項２乃至３のいずれか１項に記載の方法。
  5. 【請求項５】現時点における変換された画像と現時点に
    おける画像とを比較し、大きな差異を生じない領域のモ
    デルを提供する画素を置換することにより、画像のシー
    ンを撮影する撮影装置との間にある障害物の存在を検出
    することを特徴とする請求項１乃至４のいずれか１項に
    記載の方法。
  6. 【請求項６】予測型時間領域フィルタ処理あるいは再帰
    型時間領域フィルタ処理を数学的変換モデルに対して施
    すことを特徴とする請求項１記載の方法。
  7. 【請求項７】目的領域を所定のパターンで置換すること
    によって連続画像内の領域を変更するための装置であっ
    て、 （ａ） 目的領域を選択し、かつ、前記目的領域から特
    徴データを抽出し、かつ、前記特徴データを記憶する手
    段と、 （ｂ） 所定のパターンを生成し、かつ、前記パターン
    を記憶する手段と、 （ｃ） 連続画像を撮影する手段と、 （ｄ） 連続画像から目的領域の特徴データを抽出する
    手段と、 （ｅ） 前記パターンの特徴データと連続画像から抽出
    された特徴データとの間のデジタル相関解析によって、
    各画像における前記目的領域を探索する手段と、 （ｆ） 表示データをその時点の目的領域に最もよく整
    合させる目的領域の表示スケールを探索することによっ
    て、幾何学的モデルを演算する手段と、 （ｇ） 前記幾何学的モデルに基づいて前記パターンを
    変形する手段と、 （ｈ） 変形されたパターンをはめ込む手段と を具備する ことを特徴とする装置。
JP50819991A 1990-04-11 1991-04-10 連続画像の内容変更を行う方法および装置 Expired - Lifetime JP3406313B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9004663A FR2661061B1 (fr) 1990-04-11 1990-04-11 Procede et dispositif de modification de zone d'images.
FR9004663 1990-04-11

Publications (2)

Publication Number Publication Date
JPH05501184A JPH05501184A (ja) 1993-03-04
JP3406313B2 true JP3406313B2 (ja) 2003-05-12

Family

ID=9395673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50819991A Expired - Lifetime JP3406313B2 (ja) 1990-04-11 1991-04-10 連続画像の内容変更を行う方法および装置

Country Status (9)

Country Link
US (2) US5353392A (ja)
EP (1) EP0477351B1 (ja)
JP (1) JP3406313B2 (ja)
DE (1) DE69107267T2 (ja)
DK (1) DK0477351T3 (ja)
ES (1) ES2068581T3 (ja)
FR (1) FR2661061B1 (ja)
HK (1) HK165895A (ja)
WO (1) WO1991015921A1 (ja)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2661061B1 (fr) * 1990-04-11 1992-08-07 Multi Media Tech Procede et dispositif de modification de zone d'images.
ATE181631T1 (de) * 1991-07-19 1999-07-15 Princeton Video Image Inc Fernsehanzeigen mit ausgewählten eingeblendeten zeichen
US5459830A (en) * 1991-07-22 1995-10-17 Sony Corporation Animation data index creation drawn from image data sampling composites
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
IL102289A (en) * 1992-06-24 1997-08-14 R Technologies Ltd B V Method and system for processing moving images
US7721307B2 (en) 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
US5903317A (en) 1993-02-14 1999-05-11 Orad Hi-Tech Systems Ltd. Apparatus and method for detecting, identifying and incorporating advertisements in a video
WO1995010915A1 (en) * 1993-10-12 1995-04-20 Orad, Inc. Sports event video
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
US5488675A (en) * 1994-03-31 1996-01-30 David Sarnoff Research Center, Inc. Stabilizing estimate of location of target region inferred from tracked multiple landmark regions of a video image
CA2144253C (en) * 1994-04-01 1999-09-21 Bruce F. Naylor System and method of generating compressed video graphics images
IL109487A (en) * 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
FR2719965B1 (fr) * 1994-05-13 1996-07-26 Symah Vision Procédé et dispositif de modification d'une même zone d'une scène dans des images successives de télévision.
US5436672A (en) * 1994-05-27 1995-07-25 Symah Vision Video processing system for modifying a zone in successive images
IL110573A (en) * 1994-08-04 1998-10-30 Orad Hi Tec Systems Ltd Video transmission device and method
US5767845A (en) * 1994-08-10 1998-06-16 Matsushita Electric Industrial Co. Multi-media information record device, and a multi-media information playback device
CA2158384C (en) * 1994-12-27 1999-09-28 Alexander Gibson Fraser Multimedia program editing system and method
US5581629A (en) * 1995-01-30 1996-12-03 David Sarnoff Research Center, Inc Method for estimating the location of an image target region from tracked multiple image landmark regions
US5627915A (en) * 1995-01-31 1997-05-06 Princeton Video Image, Inc. Pattern recognition system employing unlike templates to detect objects having distinctive features in a video field
US5706421A (en) * 1995-04-28 1998-01-06 Motorola, Inc. Method and system for reproducing an animated image sequence using wide-angle images
EP0832537A4 (en) * 1995-06-16 2000-10-18 Princeton Video Image Inc SYSTEM AND METHOD FOR INSERTING DYNAMIC AND STATIC IMAGES IN A LIVE VIDEO BROADCAST
US5808695A (en) * 1995-06-16 1998-09-15 Princeton Video Image, Inc. Method of tracking scene motion for live video insertion systems
US5892554A (en) * 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
ES2134625T3 (es) * 1995-06-16 1999-10-01 Princeton Video Image Inc Sistema y metodo para introducir inserciones, en tiempo real, en video, utilizando oclusion adaptativa con una imagen de referencia sintetica.
US5912700A (en) * 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
DE69635347T2 (de) 1995-07-10 2006-07-13 Sarnoff Corp. Verfahren und system zum wiedergeben und kombinieren von bildern
GB2305050A (en) 1995-09-08 1997-03-26 Orad Hi Tec Systems Ltd Determining the position of a television camera for use in a virtual studio employing chroma keying
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
GB2305051B (en) * 1995-09-08 2000-06-21 Orad Hi Tec Systems Ltd Method and apparatus for automatic electronic replacement of billboards in a video image
US5828369A (en) * 1995-12-15 1998-10-27 Comprehend Technology Inc. Method and system for displaying an animation sequence for in a frameless animation window on a computer display
GB2312582A (en) * 1996-01-19 1997-10-29 Orad Hi Tech Systems Limited Insertion of virtual objects into a video sequence
CA2248909A1 (en) 1996-03-15 1997-09-25 Zapa Digital Arts Ltd. System for producing an animation sequence according to character behaviour characteristics
JP2900308B2 (ja) * 1996-03-18 1999-06-02 日本テレビ放送網株式会社 画像置換システム、画像置換装置及び画像置換方法
JPH09252429A (ja) * 1996-03-18 1997-09-22 Nippon Television Network Corp 画像置換システム、及び画像置換方法
GB2312347A (en) * 1996-04-15 1997-10-22 Discreet Logic Inc Image transformation using a graphical entity
WO1997041683A1 (en) 1996-04-29 1997-11-06 Princeton Video Image, Inc. Audio enhanced electronic insertion of indicia into video
US6480204B1 (en) * 1996-04-30 2002-11-12 Sun Microsystems, Inc. Transparent sunpad for home shopping
WO1997047130A1 (es) * 1996-06-04 1997-12-11 Rafael Calvo Beca Plato virtual movil
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US5917553A (en) * 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US5892691A (en) * 1996-10-28 1999-04-06 Reel/Frame 8218/0138 Pacific Data Images, Inc. Method, apparatus, and software product for generating weighted deformations for geometric models
EP0941614A4 (en) 1996-11-27 2004-10-13 Princeton Video Image Inc MOTION IMAGE LOCATION SYSTEM USING IMAGE TEXTURE MODELS
US6252632B1 (en) 1997-01-17 2001-06-26 Fox Sports Productions, Inc. System for enhancing a video presentation
US5953077A (en) * 1997-01-17 1999-09-14 Fox Sports Productions, Inc. System for displaying an object that is not visible to a camera
ATE331390T1 (de) * 1997-02-14 2006-07-15 Univ Columbia Objektbasiertes audiovisuelles endgerät und entsprechende bitstromstruktur
US6061659A (en) * 1997-06-03 2000-05-09 Digital Marketing Communications, Inc. System and method for integrating a message into a graphical environment
US7199836B1 (en) 1998-02-13 2007-04-03 The Trustees Of Columbia University In The City Of New York Object-based audio-visual terminal and bitstream structure
US6657637B1 (en) * 1998-07-30 2003-12-02 Matsushita Electric Industrial Co., Ltd. Moving image combining apparatus combining computer graphic image and at least one video sequence composed of a plurality of video frames
US6266100B1 (en) 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
US6229550B1 (en) 1998-09-04 2001-05-08 Sportvision, Inc. Blending a graphic
GB9907943D0 (en) 1999-04-07 1999-06-02 Pandora Int Ltd Digital manipulation of video images
US6778211B1 (en) 1999-04-08 2004-08-17 Ipix Corp. Method and apparatus for providing virtual processing effects for wide-angle video images
WO2000060853A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Method and apparatus for providing virtual processing effects for wide-angle video images
US6466275B1 (en) 1999-04-16 2002-10-15 Sportvision, Inc. Enhancing a video of an event at a remote location using data acquired at the event
ES2286875T3 (es) * 1999-04-22 2007-12-01 Leo Vision Procedimiento y dispositivo de tratamiento y de restitucion de imagenes, con nuevo muestreo.
EP1074943A3 (en) * 1999-08-06 2004-03-24 Canon Kabushiki Kaisha Image processing method and apparatus
US7075556B1 (en) * 1999-10-21 2006-07-11 Sportvision, Inc. Telestrator system
US7230653B1 (en) 1999-11-08 2007-06-12 Vistas Unlimited Method and apparatus for real time insertion of images into video
US6909438B1 (en) 2000-02-04 2005-06-21 Sportvision, Inc. Video compositor
GB2360581A (en) * 2000-03-15 2001-09-26 Television Monitoring Services Quantification of brand exposure on screen
US7353267B1 (en) 2000-04-07 2008-04-01 Netzero, Inc. Targeted network video download interface
KR20000054328A (ko) * 2000-06-01 2000-09-05 이성환 방송 중계 영상 화면의 광고교체방법
WO2002013516A1 (en) * 2000-06-28 2002-02-14 Koninklijke Philips Electronics N.V. Method of and unit for processing an image
US20020059629A1 (en) * 2000-08-21 2002-05-16 Markel Steven O. Detection and recognition of data receiver to facilitate proper transmission of enhanced data
WO2002017627A2 (en) * 2000-08-25 2002-02-28 Intellocity Usa, Inc. Personalized remote control
US20020057286A1 (en) * 2000-08-25 2002-05-16 Markel Steven O. Device independent video enhancement scripting language
DE10103768A1 (de) * 2001-01-27 2002-08-14 Daimler Chrysler Ag Ballerkennung
JP4649050B2 (ja) 2001-03-13 2011-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及び制御プログラム
US20020141657A1 (en) * 2001-03-30 2002-10-03 Robert Novak System and method for a software steerable web Camera
WO2002080521A2 (en) * 2001-03-30 2002-10-10 Digeo, Inc. System and method for a software steerable web camera with multiple image subset capture
US7206434B2 (en) 2001-07-10 2007-04-17 Vistas Unlimited, Inc. Method and system for measurement of the duration an area is included in an image stream
ES2324817T3 (es) * 2001-07-12 2009-08-17 Dxo Labs Procedimiento y sistema para calcular una imagen transformada a partir de una imagen digital.
ATE310284T1 (de) * 2001-07-12 2005-12-15 Do Labs Verfahren und vorrichtung zur erzeugung formatierter information, die mit den fehlern zumindest eines geräts einer kette verbunden ist, insbesondere der bildschärfeverzerrung
FR2827460B1 (fr) * 2001-07-12 2004-10-29 Poseidon Procede et systeme pour fournir, selon un format standard, a des logiciels de traitement d'images des informations liees aux caracteristiques des appareils de capture d'image et/ou des moyens de resti
FR2827459B1 (fr) * 2001-07-12 2004-10-29 Poseidon Procede et systeme pour fournir a des logiciels de traitement d'image des informations formatees liees aux caracteristiques des appareils de capture d'image et/ou des moyens de restitution d'image
US7444656B2 (en) 2001-08-02 2008-10-28 Intellocity Usa, Inc. Post production visual enhancement rendering
AU2002318948C1 (en) * 2001-08-02 2009-08-13 Opentv, Inc. Post production visual alterations
US7341530B2 (en) * 2002-01-09 2008-03-11 Sportvision, Inc. Virtual strike zone
DE10211723C1 (de) * 2002-03-18 2003-07-24 Marga Duemmen Kulturplatte zum Bewurzeln von Jungpflanzen
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
SE0300286D0 (sv) * 2003-02-05 2003-02-05 Axis Ab Method and apparatus for combining video signals to one comprehensive video signal
GB2399248B (en) * 2003-03-07 2006-03-29 British Broadcasting Corp Video production
US20040194123A1 (en) * 2003-03-28 2004-09-30 Eastman Kodak Company Method for adapting digital cinema content to audience metrics
US20040194128A1 (en) * 2003-03-28 2004-09-30 Eastman Kodak Company Method for providing digital cinema content based upon audience metrics
US20040194127A1 (en) * 2003-03-28 2004-09-30 Eastman Kodak Company Method and system for modifying digital cinema frame content
KR100513294B1 (ko) * 2003-04-09 2005-09-09 삼성전자주식회사 컨텐츠 내부 객체정보 제공을 위한 장치와 시스템 및컨텐츠 내부 객체정보 제공 방법
US7064830B2 (en) * 2003-06-12 2006-06-20 Eastman Kodak Company Dental color imaging system
US7116342B2 (en) * 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
GB2404512B (en) * 2003-07-28 2008-02-27 Visualize It Ltd Surface mapping arrangement and method
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7590310B2 (en) 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
US9210312B2 (en) * 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
US20050270372A1 (en) * 2004-06-02 2005-12-08 Henninger Paul E Iii On-screen display and privacy masking apparatus and method
FR2872943B1 (fr) * 2004-07-07 2006-10-27 Leo Vision Soc Par Actions Sim Procede d'obtention d'une succession d'images sous la forme d'un effet tournant
US20060078162A1 (en) * 2004-10-08 2006-04-13 Dynapel, Systems, Inc. System and method for stabilized single moving camera object tracking
PT1864505T (pt) * 2005-03-29 2020-05-18 Sportvu Ltd Rastreamento de objetos e captura de movimento em tempo real em eventos desportivos
US7451041B2 (en) 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
FR2875038B1 (fr) 2005-06-29 2007-04-06 Leo Vision Soc Par Actions Sim Procede pour tracer des objets graphiques virtuels sur des images d'un terrain notamment un terrain de jeu pour un evenement sportif
FR2889753A1 (fr) * 2005-08-09 2007-02-16 Total Immersion Sa Systeme permettant a un utilisateur de visualiser un cockpit virtuel dans un environnement video
IL170320A (en) * 2005-08-17 2010-04-29 Orad Hi Tec Systems Ltd System and method for managing the visual effects insertion in a video stream
US7596540B2 (en) 2005-12-01 2009-09-29 Exent Technologies, Ltd. System, method and computer program product for dynamically enhancing an application executing on a computing device
US7596536B2 (en) 2005-12-01 2009-09-29 Exent Technologies, Ltd. System, method and computer program product for dynamically measuring properties of objects rendered and/or referenced by an application executing on a computing device
US8629885B2 (en) 2005-12-01 2014-01-14 Exent Technologies, Ltd. System, method and computer program product for dynamically identifying, selecting and extracting graphical and media objects in frames or scenes rendered by a software application
US20070296718A1 (en) * 2005-12-01 2007-12-27 Exent Technologies, Ltd. Dynamic resizing of graphics content rendered by an application to facilitate rendering of additional graphics content
FR2912026B1 (fr) * 2007-01-29 2010-03-12 Cineact Procede de generation d'un signal de modification et d'une sequence infographique, signal source, sequence infographique, procede et dispositif de diffusion et systeme de gestion correspondants
US8335345B2 (en) 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
DE102007028029A1 (de) * 2007-06-14 2008-12-24 Spheron Vr Ag Kameraanordnung und Aufnahmeverfahren
US8331697B2 (en) * 2007-11-06 2012-12-11 Jacob Samboursky System and a method for a post production object insertion in media files
KR20100133356A (ko) * 2007-12-13 2010-12-21 수포너 리미티드 텔레비전 이미지의 콘텐츠를 수정하는 방법
US8655718B2 (en) 2007-12-18 2014-02-18 Yahoo! Inc. Methods for augmenting user-generated content using a monetizable feature
US8109829B1 (en) * 2008-04-10 2012-02-07 Acme Embedded Solutions Inc. Compositing device for combining visual content
US8786415B2 (en) 2010-02-24 2014-07-22 Sportvision, Inc. Tracking system using proximity and/or presence
WO2012006356A2 (en) 2010-07-06 2012-01-12 Mark Lane Apparatus, system, and method for an improved video stream
US10210160B2 (en) 2010-09-07 2019-02-19 Opentv, Inc. Collecting data from different sources
US9699503B2 (en) 2010-09-07 2017-07-04 Opentv, Inc. Smart playlist
US8949871B2 (en) 2010-09-08 2015-02-03 Opentv, Inc. Smart media selection based on viewer user presence
PE20140057A1 (es) 2010-09-20 2014-03-01 Fraunhofer Ges Forschung Metodo para diferenciar entre el fondo y el frente del escenario y tambien metodo para reemplazar un fondo en las imagenes de un decorado
US8861890B2 (en) 2010-11-24 2014-10-14 Douglas Alan Lefler System and method for assembling and displaying individual images as a continuous image
US9215383B2 (en) 2011-08-05 2015-12-15 Sportsvision, Inc. System for enhancing video from a mobile camera
US9514381B1 (en) 2013-03-15 2016-12-06 Pandoodle Corporation Method of identifying and replacing an object or area in a digital image with another object or area
JP6187811B2 (ja) * 2013-09-09 2017-08-30 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US10290119B2 (en) 2016-09-15 2019-05-14 Sportsmedia Technology Corporation Multi view camera registration
CN111144478B (zh) * 2019-12-25 2022-06-14 电子科技大学 一种穿帮镜头的自动检测方法

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE25679E (en) * 1955-02-14 1964-11-10 System for analysing the spatial distribution of a function
US2921124A (en) * 1956-12-10 1960-01-12 Bell Telephone Labor Inc Method and apparatus for reducing television bandwidth
US3140710A (en) * 1960-02-29 1964-07-14 Douglas Aircraft Co Inc Method and apparatus for automatically analyzing disorders of the human body
US3051778A (en) * 1960-10-20 1962-08-28 Bell Telephone Labor Inc Sequential scan television with line interpolation
US3315222A (en) * 1965-04-12 1967-04-18 Exxon Production Research Co Elimination of undesired components of seismograms
US3470468A (en) * 1965-07-06 1969-09-30 Melpar Inc Synthesis and wave generation with compactly carried waveforms
US3473121A (en) * 1966-04-06 1969-10-14 Damon Eng Inc Spectrum analysis using swept parallel narrow band filters
US3582957A (en) * 1969-02-26 1971-06-01 Us Navy Frequency analyzer
US3742201A (en) * 1971-02-22 1973-06-26 Raytheon Co Transformer system for orthogonal digital waveforms
US3715477A (en) * 1971-03-11 1973-02-06 Rca Corp Video signal noise-limiting apparatus
US3731188A (en) * 1971-04-19 1973-05-01 Tracor Signal analysis of multiplicatively related frequency components in a complex signal
US3737855A (en) * 1971-09-30 1973-06-05 Ibm Character video enhancement system
JPS4934385A (ja) * 1972-07-28 1974-03-29
JPS5637586B2 (ja) * 1973-07-02 1981-09-01
US3973239A (en) * 1973-10-17 1976-08-03 Hitachi, Ltd. Pattern preliminary processing system
JPS5723295B2 (ja) * 1973-12-28 1982-05-18
US4055756A (en) * 1975-02-03 1977-10-25 Societe Anonyme De Telecommunications Image coder-decoder using a matrix transform with weighted contribution of several points of the image to the formation of one point of the transform
US3983328A (en) * 1975-03-07 1976-09-28 Westinghouse Electric Corporation Television system for the display of visuals with high resolution
US3996421A (en) * 1975-09-02 1976-12-07 Hughes Aircraft Company Television display utilizing local area brightness control
US4057828A (en) * 1975-11-17 1977-11-08 Harris Corporation Contrast compression circuits
JPS5279747A (en) * 1975-12-26 1977-07-05 Sony Corp Noise removal circuit
US4286330A (en) * 1976-04-07 1981-08-25 Isaacson Joel D Autonomic string-manipulation system
DE2625973C3 (de) * 1976-06-10 1981-12-24 Philips Patentverwaltung Gmbh, 2000 Hamburg Verfahren und Anordnung zur redundanzvermindernden Transformation von Bildern
US4205341A (en) * 1978-01-24 1980-05-27 Nippon Telegraph And Telephone Public Corporation Picture signal coding apparatus
US4222076A (en) * 1978-09-15 1980-09-09 Bell Telephone Laboratories, Incorporated Progressive image transmission
GB2033190B (en) * 1978-09-21 1983-02-09 Sony Corp Video noise reduction system
US4245248A (en) * 1979-04-04 1981-01-13 Bell Telephone Laboratories, Incorporated Motion estimation and encoding of video signals in the transform domain
US4261018A (en) * 1979-06-18 1981-04-07 Bell Telephone Laboratories, Incorporated Progressive image transmission
US4261043A (en) * 1979-08-24 1981-04-07 Northrop Corporation Coefficient extrapolator for the Haar, Walsh, and Hadamard domains
US4463381A (en) * 1980-04-16 1984-07-31 Eastman Kodak Company Image processing apparatus including a partitioned low pass channel
US4447886A (en) * 1981-07-31 1984-05-08 Meeker G William Triangle and pyramid signal transforms and apparatus
US4405943A (en) * 1981-08-19 1983-09-20 Harris Corporation Low bandwidth closed loop imagery control and communication system for remotely piloted vehicle
JPS58156273A (ja) * 1982-03-11 1983-09-17 Hajime Sangyo Kk 画像情報のマスキング装置
US4566126A (en) * 1982-04-30 1986-01-21 Fuji Electric Company, Ltd. Pattern discriminator
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US4442454A (en) * 1982-11-15 1984-04-10 Eastman Kodak Company Image processing method using a block overlap transformation procedure
GB8317407D0 (en) * 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US4674125A (en) * 1983-06-27 1987-06-16 Rca Corporation Real-time hierarchal pyramid signal processing apparatus
US4750211A (en) * 1983-07-29 1988-06-07 Polaroid Corporation Method and apparatus for image processing with field portions
GB8329109D0 (en) * 1983-11-01 1983-12-07 Rca Corp Perceived signal-to-noise ratio of displayed images
US4591897A (en) * 1984-03-08 1986-05-27 Edelson Steven D System for generating a display of graphic objects over a video camera picture
GB8420890D0 (en) * 1984-08-16 1984-09-19 Quantel Ltd Video editing systems
GB8518803D0 (en) * 1985-07-25 1985-08-29 Rca Corp Locating target patterns within images
US4667236A (en) * 1985-04-26 1987-05-19 Digital Services Corporation Television perspective effects system
US4698843A (en) * 1985-08-19 1987-10-06 Rca Corporation Method for compensating for void-defects in images
US4724543A (en) * 1985-09-10 1988-02-09 Beckman Research Institute, City Of Hope Method and apparatus for automatic digital image analysis
JPH0762794B2 (ja) * 1985-09-13 1995-07-05 株式会社日立製作所 グラフイツク表示装置
US4817175A (en) * 1986-08-26 1989-03-28 Schlumberger Systems And Services, Inc. Video stream processing system
US4700232A (en) * 1986-10-24 1987-10-13 Grass Valley Group, Inc. Interpolator for television special effects system
DE3704289A1 (de) * 1987-02-12 1988-08-25 Broadcast Television Syst Verfahren zur ueberpruefung eines farbstanzsignal-decoders
JPH01116589A (ja) * 1987-10-29 1989-05-09 Sharp Corp 画像の平行・回転移動方式
US4907700A (en) * 1988-02-08 1990-03-13 New England Machinery, Inc. Apparatus for testing the release torque of container caps
JP2683008B2 (ja) * 1988-02-16 1997-11-26 株式会社リコー 矩形図形内部塗りつぶし方法
GB8822062D0 (en) * 1988-09-20 1988-10-19 Quantel Ltd Video processing
US5060068A (en) * 1988-10-31 1991-10-22 James E. Lindstrom Audio/video distribution system
GB2230399B (en) * 1989-04-07 1993-09-08 Sony Corp Controlling the combining of video signals
US4947256A (en) * 1989-04-26 1990-08-07 The Grass Valley Group, Inc. Adaptive architecture for video effects
US4979021A (en) * 1989-11-30 1990-12-18 Thomas Milton L Optical chromakey field
FR2661061B1 (fr) * 1990-04-11 1992-08-07 Multi Media Tech Procede et dispositif de modification de zone d'images.
ATE181631T1 (de) * 1991-07-19 1999-07-15 Princeton Video Image Inc Fernsehanzeigen mit ausgewählten eingeblendeten zeichen

Also Published As

Publication number Publication date
JPH05501184A (ja) 1993-03-04
US5353392A (en) 1994-10-04
EP0477351A1 (fr) 1992-04-01
DK0477351T3 (da) 1995-04-10
HK165895A (en) 1995-11-03
DE69107267D1 (de) 1995-03-23
US5515485A (en) 1996-05-07
FR2661061A1 (fr) 1991-10-18
WO1991015921A1 (fr) 1991-10-17
DE69107267T2 (de) 1995-06-08
ES2068581T3 (es) 1995-04-16
EP0477351B1 (fr) 1995-02-08
FR2661061B1 (fr) 1992-08-07

Similar Documents

Publication Publication Date Title
JP3406313B2 (ja) 連続画像の内容変更を行う方法および装置
US6181345B1 (en) Method and apparatus for replacing target zones in a video sequence
US5436672A (en) Video processing system for modifying a zone in successive images
KR100271384B1 (ko) 패턴 키 삽입 기법을 이용하는 비디오 합성방법 및 장치
AU2002305387B2 (en) Image sequence enhancement system and method
US5471535A (en) Method for detecting a contour of a given subject to be separated from images and apparatus for separating a given subject from images
KR100415266B1 (ko) 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
Matsuyama et al. 3D video and its applications
US6914599B1 (en) Image processing apparatus
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
WO2019135916A1 (en) Motion blur simulation
US20070285575A1 (en) Foreground detection
US9576335B2 (en) Method, device, and computer program for reducing the resolution of an input image
CN102334141B (zh) 利用融合的红外线分辨率与对比度增强
HU220409B (hu) Eljárás, berendezés és rendszer betétkép videoképbe ültetésére
KR20030059399A (ko) 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
TWI464705B (zh) 產生合成影像之方法
EP0903695B1 (en) Image processing apparatus
CN111105351B (zh) 一种视频序列影像拼接方法及装置
JP7489960B2 (ja) 画像の合成のための方法及びデータ処理システム
Caner et al. Local image registration by adaptive filtering
CN112312041B (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
JP7265825B2 (ja) 生成装置、生成方法およびプログラム
KR20040042470A (ko) 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법
Martín et al. Automatic players detection and tracking in multi-camera tennis videos

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080307

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090307

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100307

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 9