JP3496680B2 - ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法 - Google Patents

ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法

Info

Publication number
JP3496680B2
JP3496680B2 JP52578295A JP52578295A JP3496680B2 JP 3496680 B2 JP3496680 B2 JP 3496680B2 JP 52578295 A JP52578295 A JP 52578295A JP 52578295 A JP52578295 A JP 52578295A JP 3496680 B2 JP3496680 B2 JP 3496680B2
Authority
JP
Japan
Prior art keywords
size
scene
location
image
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP52578295A
Other languages
English (en)
Other versions
JPH08511409A (ja
Inventor
ハンナ，キース・ジエイムズ
Original Assignee
サーノフ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーノフ コーポレイション filed Critical サーノフ コーポレイション
Publication of JPH08511409A publication Critical patent/JPH08511409A/ja
Application granted granted Critical
Publication of JP3496680B2 publication Critical patent/JP3496680B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】 本発明の技術分野 本発明は、ビデオイメージのような背景イメージ中の
目標領域に、外部からのイメージデータであるパターン
キーを挿入するのに適した改良技術に関する。
本発明の背景 出願中の米国特許出願第08/115,810号、1993年９月３
日提出、発明の名称「パターンキー挿入を用いたビデオ
マージング（Video Merging Employing Pattern−Ke
y Insertion）」を参考文献として挙げる。その特許出
願によると、パターンキー挿入は、前景と背景のマージ
ングにより合成イメージを作るのに用いられる。このた
めの用いられる実現技術では、目標領域の場所が、背景
イメージ中の複数の基準領域のうちの幾つかの追跡され
た場所から推定できる。複数の基準領域の各々の場所
は、目標領域の場所から異なる方向に移動できる。その
結果、目標領域自身が部分的に又は完全にイメージの特
定の端を越えて動くようなビデオ場面ならば、複数の追
跡基準領域のうちの少なくとも一つがイメージ内に残
る。そして、たとえ目標領域自身の場所が部分的に又は
完全に視野イメージフィールドの外にあっても、目標領
域自身の推定的追跡は依然として連続して維持できる。
加えて、イメージ中の複数の追跡された基準領域のうち
の幾つかは、場面中の前景物のためにしばしば遮られる
ので、そのようなときは、目標領域の場所を推定するの
に使用できない。そのような場合には、イメージ中の複
数の追跡された基準領域のうちの他のものが代わりに使
用されなければならない。しかしながら、目標パターン
の場所を推定するために、複数の追跡基準領域のうちの
一つから他の追跡領域基準領域に切り換えると、モデル
誤差が生じ、目標バターンの場所の推定が不安定とな
る。
より高次のオーダーのモデルを複数の追跡基準領域の
各々に当てはめることにより、上記のようなモデル誤差
を小さくでき、その結果、それらの基準領域はよりよく
追跡される。そのようなより高次のオーダーのモデル
は、一つのイメージフレームから推定するには不安定で
あり、局所的な推定におけるバイアスのかかった誤差
が、先験的にモデル化するのが困難な推定誤差を導く。
本発明は、目標パターンの場所を推定するために、複
数の追跡された基準領域のうちの一つが他の追跡基準領
域に切り換えられたとき、目標パターンの場所の安定し
た推定を導くための改良された技術に関する。
本発明の概略 本発明は、テレビカメラのようなイメージセンサーで
撮された場面中の特定の場所にある目標領域に、与えら
れたパターンを挿入するためのイメージ処理方法の改良
に関するものである。その場面には、互いに場所が移動
させられた少なくとも２つの基準領域が含まれる。本発
明は２つの計算工程を含み、一つは、場面の各連続イメ
ージフレーム内の特定の場所のサイズと位置を、場面の
各連続イメージフレーム内に表された第１の基準領域の
サイズと位置から推定するための計算工程であり、もう
一つは、場面の各連続イメージフレーム内の特定の場所
のサイズと位置を、場面の各連続イメージフレーム内に
表された第２の基準領域のサイズと位置から独立に推定
するための計算工程である。このことにより、第１基準
領域のサイズと位置から推定された、場面の各連続フレ
ーム内の特定の場所のサイズと位置に対して、第２基準
領域のサイズと位置から推定された、場面の各連続フレ
ーム内の特定の場所のサイズと位置における相違が発生
しがちである。
この方法は改良として、少なくとも一つの連続イメー
ジフレーム内の前記第２基準領域のサイズと位置から推
定された、特定の場所のサイズと位置を修正する更なる
工程を含む。その結果、第１基準領域のサイズと位置か
ら推定された、場面中の連続イメージフレームのうちの
少なくとも一つのフレーム内の特定の場所のサイズと位
置に実質的に同じものとなる。
図面の簡単な説明 図１は上述の特許出願における図６と同じものであ
り、基準領域の追跡の例を示す。
図2aは、特定の場所に物理的に配置された所与のロゴ
（Logo）パターンを有する実際のテニススタジアムの塀
を図示している。図2bは、ロゴを配置していない実際の
テニススタジアムの塀を図示している。
図3aと3bは共に、進行中のテニスの試合のイメージ表
示に存在する安定化の問題を図示したものであり、挿入
されたロゴパターンの場所を連続的に推定するために、
複数の基準領域が追跡されている。図3cは、この安定化
の問題の解決策を図示したものである。
好適実施例の説明 上述の特許出願は、ビデオイメージのようなイメージ
内の第１目標パターンを挿入された第２目標パターンと
置き換える種々の方法に広く係るものである。（この第
１目標パターンは広告板に配置され得る。）それによる
と、場面中の１つ又は複数の基準の夫々の位置から第１
目標パターンの位置を推定することにより、第１目標パ
ターンの場所は直接的にもしくは間接的に検出できる。
図１（上記特許出願の図６と同じもの。）は、実施可能
な一つの間接的方法を示している。
図１を参照すると、背景場面304Aは、テレビカメラの
ようなイメージセンサー300Aの現在の視野フィールドか
ら成っている。示されているように、現在の視野フィー
ルドは、目標（ロゴパターン「Ａ」を含んだ広告板30
2）並びに基準Ｂ（木）及び基準Ｃ（家）を含み、目標
や基準の各々は相互に位置が移動する。ブロック330、
現在の視野フィールド、及びワールドマップ332により
示されているように、目標Ａと基準Ｂ及びＣは、基準領
域の現在の視野フィールド330を含めて、記憶された相
対的位置の一部のみと、基準領域のワールドマップ332
のパターンのポーズ（pose）を形成する。これらの記憶
されたパターンはまた、基準ＤおよびＥを含み、これら
の基準は基準領域の現在の視野フィールドの外側にたま
たま存在しているが、遅かれ速かれ基準領域の視野フィ
ールドに含まれ得る。手段310A（１）はセンサー300Aと
ブロック332の両方からの入力に応答し、パターンＡが
視野フィールドの中に完全に存在するか、又は部分的に
存在するか、又は１つ又は１以上の基準のみが存在する
かに関わらず、目標Ａの場所を示す出力を与えることが
できる。パターンＢ及び／又はＣを検出し、ワールドマ
ップ332を使ってパターンＡの位置を推定することによ
り、手段310A（１）はパターンＡを検出する。手段310A
（１）の出力であるパターンＡの場所は、手段310A
（２）に与えられ、図示されてはないが、上述した様に
ポーズを除去する。手段310A（２）の出力はそれから
（図示されてない）ビデオスイッチに接続される。
目標自身が現在の視野フィールドでたまたま遮られた
ときには、基準領域を追跡することもまた有効であり、
その目標領域の場所は遮られていない１つまたは１以上
の基準の場所から推定しなければならない。
もし目標パターンが視野フィールドから特定の方向に
外れるならば、又はフィールドに入っていくならば、基
準領域追跡が唯一問題を解決するものとなる。図１に示
された例では、基準領域内の基準パターンの各々は目標
パターンの右に位置しており、目標パターンがイメージ
の左手側を視野フィールドから出て行くならば、基準パ
ターン追跡が唯一問題を解決する。
複数の基準追跡により、その問題が克服される。一つ
の基準（又は目標）を検出する代わりに、目標パターン
の位置を推定するのに最も寄与するパターンに依存し
て、システムは異なる基準領域内の１又は１以上の基準
パターンを検出できる。例えば、もし目標パターンが視
野フィールドを左手側にはみ出ていくならば、システム
は目標パターンの右にある基準パターンを検出するのを
選択できる。一方、もし目標パターンが視野フィールド
の右手側にはみ出ていくならば、システムは目標パター
ンの左にある基準パターンを検出するのを選択できる。
もし１より多くの基準パターンが見えているならば、シ
ステムは目標パターンの位置をさらに正確に推定するた
めに、いつでも一度に１より多くの基準パターンを検出
することを選択できる。従来技術から分かるように、こ
のシステムは背景シーケンス中の前のイメージでのパタ
ーン検出の結果を用いて、シーケンス中の次のイメージ
でのパターン検出を制御することにより実施できる。特
に、システムは前のイメージで検出された基準パターン
の位置を用いて、前のイメージ内の他の基準パターンの
近似位置を推定する。これらの位置は、目標パターンの
位置が一つの基準パターンから推定されるのと同じ方法
で推定される。それから、システムは、前のイメージで
は目標パターンに最も近く、前のイメージの境界からは
十分離れていた基準パターンを現在のイメージ中に検出
することを選択する。その結果、検出された基準領域が
背景場面中の視野フィールドからはみ出すようになると
き、システムはイメージ境界からさらに離れた他の基準
領域を検出することを選択する。
上述のタイプのパターン挿入は、テレビ放送されるス
ポーツ試合の表示されたイメージ中に特定の宣伝ロゴパ
ターンを挿入するのに有効であることが分かった。その
ロゴパターンは、テレビ放送されている場面の物理的な
一部として現れているが、実際はその特定のロゴパター
ンはそこにはない。説明のため、テニスの試合がテニス
スタジアムからテレビ放送されていて、テレビ放送され
る試合のスポンサーは第１の宣伝ロゴパターンを有して
いるが、スポンサーの競争相手が第２の宣伝ロゴパター
ンＬをテレビ放送されている場面中のスタジアムの塀に
物理的に取り付けていると仮定する（図２参照）。この
場合、スポンサーは競争相手の宣伝ロゴパターンを自分
の挿入すべき第１の宣伝ロゴパターンに置き換えてテレ
ビ放送イメージ内に表示することを望む。スタジアムの
塀に物理的に取り付けられたロゴパターンが無い場合で
も（図2b参照）、スポンサーは自分自身の第１の宣伝ロ
ゴパターンをテレビ放送されるスタジアムの塀に挿入す
ることをなお望む。
図2aと図2bは、テニススタジアムの塀200上のグラフ
ィックデータのタイプの簡素化された仮定の例を示して
いる。特に、テニススタジアムの塀自身は、その上に基
準領域Ａ、Ｂオフセットを含み、それぞれは挿入される
べきロゴの位置の左又は右までの特定の測定された距離
である。示されているように、基準領域ＡはラインA1,A
2,A3のセットにより定められ、それぞれ上部水平ライ
ン、上部水平ラインから所与の距離だけ下の下部水平ラ
イン、およびこれらの水平ラインを接続する垂直ライン
からなる。基準領域ＢはラインB1,B2,B3のセットにより
定められ、それぞれ上部水平ライン、上部水平ラインか
ら所与の距離だけ下の下部水平ライン、およびこれらの
水平ラインを接続する垂直ラインからなる。
物理的な塀自身上の基準領域Ａの実際に測定されたラ
インA1,A2,A3のセットから計算された挿入ロゴの位置
は、物理的な塀上の基準領域Ｂの実際に測定されたライ
ンB1,B2,B3のセットから独立に計算された挿入ロゴの位
置に等しいことは明らかである。しかしながら、物理的
な塀自身上のこれらの領域から挿入ロゴの位置を計算で
きることよりむしろ、イメージセンサーで撮された塀の
連続するイメージ内の基準領域ＡまたはＢから挿入ロゴ
の位置を推定する必要がある。オペレータが塀を撮して
いるセンサーの方向を僅かに左か右に変えるときは常
に、一つのイメージから次のイメージへの相対的位置に
おける変化（平行移動）を考慮することが必要であり、
一つのイメージからの次のイメージでの基準領域の相対
的サイズにおけるオペレータに起因する変化（ズーム）
を考慮する必要もある。
図3aではイメージ300aが示され、テニスプレーヤ302a
が基準領域Ｂの画像を遮っている。この場合には、ロゴ
LAの位置は基準領域Ａから推定される。図3bではイメー
ジ300bが示され、テニスプレーヤ302bが基準領域Ａの画
像を遮っている。この場合には、ロゴLBの位置は基準領
域Ｂから推定される。しかしながら、図3bに示されてい
るように、基準領域Ｂから導かれたロゴLBの推定位置
は、基準領域Ａから導かれたロゴLAの推定位置とは合わ
ない。このことは、塀を撮像しているセンサーの指向ア
ングルが塀に対して正確には直角でないとき、基準領域
ＡとＢに対する平行移動およびズーム値が互いに幾らか
異なっていることより起こる。従って、これらの基準領
域のうちの一つがイメージ中で遮られたときはいつでも
基準領域ＡとＢのうちの一方と、そのもう一方の基準領
域の間で使用を切り換えてロゴの位置を推定することに
より、ロゴの位置の望ましくないジッターがイメージ表
示内に起こるようになる。本発明は図3cに示されている
ように適当な誤差修正Δb1、Δb2、Δb3をB1、B2、B3に
加えることによりそのようなジッターを避けるように
し、その結果、テニスプレーヤ302cがイメージ300c中の
基準領域Ａを遮っているにも関わらず、イメージ300c中
のロゴLBの推定位置がロゴLAの推定位置と同じになる。
図2a、2bや図3a、3b、3cに示された単純化された仮定
の例のタイプでのグラフィックデータでは、ほんの６パ
ラメータ（即ち、線）A1、A2、A3、B1、B2、B3の全てが
２つの基準領域ＡとＢを定めるのに利用されている。し
かしながら、実際には実質的により多くの数の（例えば
20の）パラメータ（例えば、線やかど点）が利用でき
る。このことにより、非常に多くの基準領域が定められ
るようになり、各基準領域は非常に多くの利用可能パラ
メータのうちの僅かのものから成る別々の部分集合によ
り定められる。この場合には、基準領域のうちのどの一
つから推定されたロゴ位置でも、以下に説明するように
計算可能な適当な誤差修正を加えることにより、その他
の基準領域から推定されたロゴの位置と合わせることが
できる。
イメージ中の線や点の位置（Xm,Ym）は、上述の特許
出願の方法に従って各線や点のサブピクセル測定精度で
回復できる。一つの線は一つの点では定まらない。従っ
て、信頼重みWx,Wyが各Xm,Ymと共に考慮される。垂直の
端に対しては、水平位置のみが回復可能なのでWy＝0,Wx
＝１である。水平の端に対しては、垂直位置のみが回復
可能なのでWx＝0,Wy＝１である。かど（即ち、垂直及び
水平の線の交点）に対しては、その垂直及び水平位置の
両方が回復可能なのでWx＝1,Wy＝１である。これらの重
みは、線や点の自動修正イメージの第２モーメントを計
算することにより回復可能となり、または手動で選択可
能である。
モデルイメージ中の各々の線や点の位置を（Xp,Yp）
とする。図3a、3b、3cに示された例では、基準領域Ａか
ら推定されたロゴLAはモデルイメージである。幾何学的
移動での誤差を補償するために、誤差修正項が各（Xp,Y
p）に加えられて（Xpp,Ypp）を与える。図3a、3b、3cに
示された例では、基準領域Ｂから推定されたロゴLB内の
各々の線や点の位置はXpp,Yppである。（Xpp,Ypp）の組
はズームや平行移動の幾何学的変形により（Xm,Ym）の
組に関係する。ズーム誤差Ｋ、Ｘ方向での平行移動誤差
Tx、及びＹ方向での平行移動誤差Tyは、最小二乗法を用
いて次の誤差関数を最小にするＫ、Tx、Tyの値を求める
ことにより回復できる。
ε＝ΣWx（Xm−（KXpp＋Tx））２＋ΣWy（Ym−（KYpp＋Ty））２ この誤差関数は、Ｋ、Tx、Tyの各々に関してεを微分
することにより解くことができ、マトリックス形式でα
＊Ｓ＝βと表せる３つの式を与える。ここで、 解Ｓはマトリックスαの逆行列により計算でき、Ｓ＝
α-1＊βとなる。
実際には、本発明を行うのに２つの別々の方法があ
る。第１の方法では、リアルタイムで発生する連続イメ
ージフレームを用いるダイナミックな方法が使用され、
一方第２の方法では、図１に関して上述したのと類似の
「ワールドマップ」方法が使用される。
これらの実行可能な方法の双方において、誤差がセン
サー位置に関して滑らかに変化すると仮定されている。
このことは適切である。というのは、ａ）同じイメージ
部分からのバイアスのかかった評価誤差は、略同一のセ
ンサー位置でイメージフレームからイメージフレームに
再生され得、そして、ｂ）モデル誤差は普通、レンズ歪
みやセンサー回転により引き起こされた低周波誤差であ
り、例えば、これらの誤差成分はセンサーが動くときに
滑らかに変わるからである。
上記ダイナミックな方法では、オペレータが挿入パタ
ーンのイメージ内の位置を推定するのに用いられるとき
の第１基準領域が遮られようとしていることに気づく度
に、 （１）遮られてない第２の基準領域が選択され、 （２）挿入パターンの位置が遮られてない第２基準領域
から推定されモデルイメージ位置（Xp,Yp）を与え、 （３）遮られてない第２基準領域から推定された挿入パ
ターンの位置と、遮られた第１基準領域の間の誤差εが
計算され、 （４）計算された誤差εが記憶され、そして （５）その後、挿入パターンの位置が、記憶された誤差
εを遮られてない第２基準領域から推定された挿入パタ
ーンの位置に加えることにより求められ、それにより、
修正されたモデルイメージ位置（Xpp,Ypp）が与えられ
る、 一方で、第１基準領域が１または１以上の付加イメージ
フレームに続けて使用される。
「ワールドマップ」方法では、異なるズームや異なる
平行移動位置での幾つかのイメージは各々別々に記録さ
れ保存される。それからこれらの記憶されたイメージの
各々に対して、挿入されたパターンの位置は挿入パター
ン自身の位置にまたは非常に近くに置かれた基準領域の
点（Xm,Ym）から推定され、誤差修正はこれらの点では
必要でなくなる。従って、この場合には、Xpp＝Xp,Ypp
＝Ypであり、修正された点の位置は実際の点の位置に等
しい。このことにより、そのイメージ中の挿入パターン
の基準位置を与える変形解Ｓが与えられる。しかしなが
ら、上述のように計算された位置修正は、各イメージ中
の他の基準領域の点（Xm,Ym）に対して要求される。こ
こで、各イメージは、Xpp≠Xp,Ypp≠Ypであり、そのイ
メージ中の挿入パターン位置に近くない。異なるズーム
や平行移動位置で記録された各イメージに対する、他の
基準領域の各々に対する誤差修正された位置（Xpp,Yp
p）が記憶される。このことにより、システムが運転中
でも現在のイメージの測定されたズームや平行移動位置
に依存して適当に誤差修正された位置に切り換えること
ができる。
ここで示された操作をする装置および方法は本発明を
説明するものであることが分かる。本発明の趣旨または
範囲を逸脱することなく、修正が当業者により容易に案
出され得る。例えば、場面や他のソースイメージが、フ
ィルム上の一連のイメージとでき、これはテレビカメラ
などのイメージセンサーにより撮像される。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/262 G09G 5/00 - 5/40

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項１】イメージセンサーで撮像された場面に関し
    て特定の位置を占める目標領域に所与のパターンを挿入
    するためのイメージ処理方法において、前記場面は互い
    の位置が移動される少なくとも２つの基準領域を含み、
    前記方法は、 （ａ）連続イメージフレームの各々の内の前記特定の場
    所のサイズと位置を、前記場面の連続イメージフレーム
    の各々内に表される前記基準領域のうちの第１のものの
    サイズと位置から推定する計算工程、及び （ｂ）前記場面の連続イメージフレームの各々の内の前
    記特定場所のサイズと位置を、前記場面の前記連続イメ
    ージフレームの各々内に表された前記基準領域のうちの
    第２のもののサイズと位置から独立に推定する計算工
    程、 を含み、それにより、前記基準領域のうちの前記第１の
    もののサイズと位置から推定された、前記場面の連続イ
    メージフレームの各々内の前記特定の場所のサイズと位
    置に対する、前記基準領域の前記第２のもののサイズと
    位置から推定された、前記場面の連続イメージフレーム
    の各々の内の前記特定の場所のサイズと位置における相
    違が存在し得、改良として、 （ｃ）前記連続イメージフレームのうちの一つ内の前記
    基準領域の前記第２のもののサイズと位置から推定され
    た、前記場面の前記連続イメージフレームの少なくとも
    一つ内の特定の場所のサイズと位置を修正して、前記基
    準領域の前記第１のもののサイズと位置から推定され
    た、前記場面の前記連続イメージフレームのその一つ内
    の特定場所のサイズと位置と実質的に同じとする工程 を含んだ上記イメージ処理方法。
  2. 【請求項２】工程（ｃ）が （ｄ）ズーム、水平位置平行移動、及び垂直位置平行移
    動の所与の誤差関数の最小二乗法を用いて、前記場面の
    前記連続イメージフレームの少なくとも前記一つ内の前
    記特定の場所のサイズと位置における前記相違を計算す
    る工程、及び （ｅ）前記場面の前記連続イメージフレームの前記一つ
    内の前記特定場所のサイズと位置における前記計算され
    た相違を、前記基準領域の前記第２のもののサイズと位
    置から推定された、前記場面の前記連続イメージフレー
    ムのそのもの内の特定場所に加え、それにより、前記基
    準領域の前記第２のもののサイズと位置から推定され
    た、前記場面の前記連続イメージフレームのそのもの内
    の特定場所のサイズと位置を修正して、前記基準領域の
    前記第１のもののサイズと位置から推定された、前記場
    面の前記連続イメージフレームのそのもの内の特定場所
    のサイズと位置に実質的に同一となるようにする工程 を含む、請求の範囲第１項に記載の方法。
  3. 【請求項３】（ｅ）工程（ａ）により推定された１又は
    １以上の連続イメージフレームの組の各々の所定の場所
    に前記パターンを初めに挿入する工程、 （ｆ）前記第１の組のイメージフレームが現れる間、工
    程（ｂ）を用いて所定の場所を推定し、そして工程
    （ｄ）を用いて前記相違を計算する工程、 （ｇ）前記相違を記憶する工程、および （ｈ）その後、前記第１の組に続いて起こる少なくとも
    一つのイメージフレームの間、前記記憶された相違を工
    程（ｂ）で推定された所定の場所に加えることにより計
    算された、前記一つのイメージフレームの修正所定場所
    に前記パターンを挿入する工程 を含む、請求の範囲第２項に記載の方法。
  4. 【請求項４】（ｅ）異なるズーム及び／又は平行移動位
    置の各々で前記場所の複数のイメージを記録し、前記場
    面の「ワールドマップ」を導出する工程、 （ｆ）前記複数の記録されたイメージのうちの各々のも
    のに対して、工程（ａ）、（ｂ）、及び（ｃ）を用いて
    前記複数の記録されたイメージのうちのそのものに対す
    る前記相違を個別に導出する工程、 （ｇ）前記複数の記録されたイメージのうちの各々のも
    のに対して、その記録されたイメージに対する前記相違
    を、工程（ｂ）により推定された前記所定の場所に加え
    て、前記複数の記録されたイメージのうちのそのものに
    対する、修正された所定場所を導出する工程、 （ｈ）前記複数のそれに関連した記録イメージのうちの
    各々のものに対する修正された所定場所を記憶する工
    程、 （ｉ）現在のイメージフレームを前記記録されたイメー
    ジと比較して、どの記録イメージが最もよく現在のイメ
    ージフレームに対応しているかを求める工程、及び （ｊ）最もよく現在のイメージフレームに対応する前記
    記録イメージの記憶され修正された所定場所を用いて、
    前記記憶され修正された所定場所に対応する現在のイメ
    ージフレームの場所に前記パターンを挿入する工程 を含む、請求の範囲第２項に記載の方法。
  5. 【請求項５】前記複数の記録イメージのうちの各々内の
    前記基準領域の前記第１のものが、前記目標領域の前記
    所定場所に実質的に配置される、請求の範囲第４項に記
    載の方法。
JP52578295A 1994-03-31 1995-03-30 ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法 Expired - Fee Related JP3496680B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/222,207 1994-03-31
US08/222,207 US5488675A (en) 1994-03-31 1994-03-31 Stabilizing estimate of location of target region inferred from tracked multiple landmark regions of a video image
PCT/US1995/003775 WO1995027260A1 (en) 1994-03-31 1995-03-30 Stabilizing estimate of location of target region inferred from tracked multiple landmark regions of a video image

Publications (2)

Publication Number Publication Date
JPH08511409A JPH08511409A (ja) 1996-11-26
JP3496680B2 true JP3496680B2 (ja) 2004-02-16

Family

ID=22831316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52578295A Expired - Fee Related JP3496680B2 (ja) 1994-03-31 1995-03-30 ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法

Country Status (6)

Country Link
US (1) US5488675A (ja)
EP (1) EP0701721B1 (ja)
JP (1) JP3496680B2 (ja)
AU (1) AU2230795A (ja)
DE (1) DE69516959T2 (ja)
WO (1) WO1995027260A1 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621807A (en) * 1993-06-21 1997-04-15 Dornier Gmbh Intelligent range image camera for object measurement
WO1995012282A1 (en) * 1993-10-27 1995-05-04 Princeton Electronic Billboard, Inc. Downstream control of electronic billboard
IL109487A (en) 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
JPH11507797A (ja) * 1995-06-16 1999-07-06 プリンストン ビデオ イメージ，インコーポレイテッド 合成基準画像を用いる適応形オクルージョンを用いた映像内へのリアルタイム挿入システムおよび方法
US5892554A (en) * 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
GB2305050A (en) 1995-09-08 1997-03-26 Orad Hi Tec Systems Ltd Determining the position of a television camera for use in a virtual studio employing chroma keying
DE19605218C1 (de) * 1996-02-13 1997-04-17 Dornier Gmbh Hinderniswarnsystem für tieffliegende Fluggeräte
EP0896772A4 (en) 1996-04-29 2001-12-05 Princeton Video Image Inc ELECTRONIC INSERTION OF VISUAL ELEMENTS ASSORTED WITH SOUND EFFECTS IN VIDEO SIGNALS
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
US5917553A (en) * 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
JP3480648B2 (ja) * 1996-11-12 2003-12-22 ソニー株式会社 ビデオ信号処理装置及びビデオ信号処理方法
JPH10145674A (ja) 1996-11-12 1998-05-29 Sony Corp ビデオ信号処理装置及びビデオ信号処理方法
ES2313738T3 (es) * 1996-11-27 2009-03-01 Princeton Video Image, Inc. Insercion de imagenes dentro de flujos de video utilizando una combinacion de sensores fisicos y reconocimiento de patrones.
US6097850A (en) * 1996-11-27 2000-08-01 Fujitsu Limited Measuring method and apparatus of photographic parameter and computer memory product
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
US6252632B1 (en) 1997-01-17 2001-06-26 Fox Sports Productions, Inc. System for enhancing a video presentation
US5953077A (en) * 1997-01-17 1999-09-14 Fox Sports Productions, Inc. System for displaying an object that is not visible to a camera
JPH10232940A (ja) * 1997-02-20 1998-09-02 Sony Corp コーナ検出装置及びコーナ検出方法
US6750919B1 (en) 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
US6278479B1 (en) 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system
US6266100B1 (en) 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
US6229550B1 (en) 1998-09-04 2001-05-08 Sportvision, Inc. Blending a graphic
US20010017671A1 (en) * 1998-12-18 2001-08-30 Pierre Pleven "Midlink" virtual insertion system and methods
US7075556B1 (en) * 1999-10-21 2006-07-11 Sportvision, Inc. Telestrator system
US6573945B1 (en) * 2000-01-12 2003-06-03 General Instrument Corporation Logo insertion on an HDTV encoder
IL134182A (en) 2000-01-23 2006-08-01 Vls Com Ltd Method and apparatus for visual lossless pre-processing
US6909438B1 (en) 2000-02-04 2005-06-21 Sportvision, Inc. Video compositor
GB0004499D0 (en) * 2000-02-26 2000-04-19 Orad Hi Tec Systems Ltd Television illustration system
US6753929B1 (en) * 2000-06-28 2004-06-22 Vls Com Ltd. Method and system for real time motion picture segmentation and superposition
DE10141521C1 (de) * 2001-08-24 2003-01-09 Siemens Ag Darstellung von Anwenderinformationen
US7277558B2 (en) * 2001-11-27 2007-10-02 Lockheed Martin Corporation Method and system for estimating the position of moving objects in images
US7903902B2 (en) 2004-07-26 2011-03-08 Sheraizin Semion M Adaptive image improvement
US7639892B2 (en) * 2004-07-26 2009-12-29 Sheraizin Semion M Adaptive image improvement
US7526142B2 (en) * 2005-02-22 2009-04-28 Sheraizin Vitaly S Enhancement of decompressed video
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US7801335B2 (en) * 2005-11-11 2010-09-21 Global Rainmakers Inc. Apparatus and methods for detecting the presence of a human eye
US8659704B2 (en) 2005-12-20 2014-02-25 Savant Systems, Llc Apparatus and method for mixing graphics with video images
US8364646B2 (en) * 2006-03-03 2013-01-29 Eyelock, Inc. Scalable searching of biometric databases using dynamic selection of data subsets
US7748839B2 (en) * 2006-05-09 2010-07-06 Lexmark International, Inc. Handheld printing with reference indicia
US7682017B2 (en) * 2006-05-10 2010-03-23 Lexmark International, Inc. Handheld printer minimizing printing defects
US8604901B2 (en) * 2006-06-27 2013-12-10 Eyelock, Inc. Ensuring the provenance of passengers at a transportation facility
US8965063B2 (en) * 2006-09-22 2015-02-24 Eyelock, Inc. Compact biometric acquisition system and method
EP2100253A4 (en) 2006-10-02 2011-01-12 Global Rainmakers Inc FRAUDY BIOMETRIC SYSTEM AND METHOD FOR FINANCIAL TRANSACTIONS
US8335345B2 (en) * 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US8953849B2 (en) 2007-04-19 2015-02-10 Eyelock, Inc. Method and system for biometric recognition
WO2008131201A1 (en) 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
US20120239458A9 (en) * 2007-05-18 2012-09-20 Global Rainmakers, Inc. Measuring Effectiveness of Advertisements and Linking Certain Consumer Activities Including Purchases to Other Activities of the Consumer
US9036871B2 (en) 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
US9002073B2 (en) 2007-09-01 2015-04-07 Eyelock, Inc. Mobile identity platform
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
US8212870B2 (en) 2007-09-01 2012-07-03 Hanna Keith J Mirror system and method for acquiring biometric data
US8553948B2 (en) * 2007-09-01 2013-10-08 Eyelock, Inc. System and method for iris data acquisition for biometric identification
WO2009032279A1 (en) * 2007-09-05 2009-03-12 Savant Systems Llc. Multimedia control and distribution architechture
WO2009158662A2 (en) 2008-06-26 2009-12-30 Global Rainmakers, Inc. Method of reducing visibility of illimination while acquiring high quality imagery
US8477246B2 (en) * 2008-07-11 2013-07-02 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for augmenting video content
US8306279B2 (en) * 2008-09-15 2012-11-06 Eyelock, Inc. Operator interface for face and iris recognition devices
US8195044B2 (en) 2009-03-30 2012-06-05 Eyelock Inc. Biometric camera mount system
US20110119141A1 (en) * 2009-11-16 2011-05-19 Hoyos Corporation Siccolla Identity Verification Architecture and Tool
US8884741B2 (en) 2010-02-24 2014-11-11 Sportvision, Inc. Tracking system
WO2012006356A2 (en) 2010-07-06 2012-01-12 Mark Lane Apparatus, system, and method for an improved video stream
US10043229B2 (en) 2011-01-26 2018-08-07 Eyelock Llc Method for confirming the identity of an individual while shielding that individual's personal data
CN103477351B (zh) 2011-02-17 2019-06-28 眼锁有限责任公司 用于采用单个传感器采集场景图像和虹膜图像的高效方法和系统
EP2678847B1 (en) 2011-02-21 2020-07-01 Koninklijke Philips N.V. Estimating control feature from remote control with camera
US20120268241A1 (en) 2011-04-19 2012-10-25 Eyelock Inc. Biometric chain of provenance
US8582821B1 (en) * 2011-05-23 2013-11-12 A9.Com, Inc. Tracking objects between images
US9215383B2 (en) 2011-08-05 2015-12-15 Sportsvision, Inc. System for enhancing video from a mobile camera
EP2748768A4 (en) 2011-08-22 2016-05-11 Eyelock Llc SYSTEMS AND METHODS FOR IMAGE CAPTURE WITHOUT ARTIFACT
US9495526B2 (en) 2013-03-15 2016-11-15 Eyelock Llc Efficient prevention of fraud
WO2015100335A1 (en) 2013-12-23 2015-07-02 Eyelock, Inc. Methods and apparatus for power-efficient iris recognition
WO2015103595A1 (en) 2014-01-06 2015-07-09 Eyelock, Inc. Methods and apparatus for repetitive iris recognition
EP3192009A4 (en) 2014-09-12 2018-04-25 Eyelock Llc Methods and apparatus for directing the gaze of a user in an iris recognition system
CN107111811B (zh) 2014-11-19 2021-02-26 眼锁有限责任公司 用于授权交易的最佳便利性度量的基于模型的预测
WO2016118473A1 (en) 2015-01-20 2016-07-28 Eyelock Llc Lens system for high quality visible image acquisition and infra-red iris image acquisition
EP3269082B1 (en) 2015-03-12 2020-09-09 Eyelock Llc Methods and systems for managing network activity using biometrics
DE102015013174A1 (de) * 2015-10-09 2017-04-13 Kolja Sangkuhl Austausch von Inhalten während der Fernsehausstrahlung
WO2017112662A1 (en) 2015-12-21 2017-06-29 Eyelock Llc Reflected optic camera module for iris recognition in a computing device
EP3458997A2 (en) 2016-05-18 2019-03-27 Eyelock, LLC Iris recognition methods and systems based on an iris stochastic texture model
US10534969B2 (en) 2017-02-24 2020-01-14 Eyelock Llc Systems and methods for providing illumination for iris biometric acquisition
US11068711B2 (en) 2017-08-31 2021-07-20 Eyelock Llc Systems and methods of biometric acquisition using positive optical distortion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US4393394A (en) * 1981-08-17 1983-07-12 Mccoy Reginald F H Television image positioning and combining system
FR2661061B1 (fr) * 1990-04-11 1992-08-07 Multi Media Tech Procede et dispositif de modification de zone d'images.
DE69131384T2 (de) * 1991-07-19 2000-04-06 Princeton Video Image, Inc. Fernsehanzeigen mit ausgewählten eingeblendeten zeichen
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion

Also Published As

Publication number Publication date
EP0701721B1 (en) 2000-05-17
EP0701721A4 (en) 1997-03-12
EP0701721A1 (en) 1996-03-20
AU2230795A (en) 1995-10-23
US5488675A (en) 1996-01-30
WO1995027260A1 (en) 1995-10-12
JPH08511409A (ja) 1996-11-26
DE69516959D1 (de) 2000-06-21
DE69516959T2 (de) 2000-12-07

Similar Documents

Publication Publication Date Title
JP3496680B2 (ja) ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法
US5892554A (en) System and method for inserting static and dynamic images into a live video broadcast
KR100271384B1 (ko) 패턴 키 삽입 기법을 이용하는 비디오 합성방법 및 장치
AU714317B2 (en) Method and apparatus for automatic electronic replacement of billboards in a video image
JPH11508099A (ja) 生映像挿入システムに対するシーンの動き追跡方法
US5581629A (en) Method for estimating the location of an image target region from tracked multiple image landmark regions
US20030090593A1 (en) Video stabilizer
US6181345B1 (en) Method and apparatus for replacing target zones in a video sequence
US6784927B1 (en) Image processing apparatus and image processing method, and storage medium
EP0832537A1 (en) System and method for inserting static and dynamic images into a live video broadcast
US11128815B2 (en) Device, method and computer program for extracting object from video
WO2003036384A2 (en) Extendable tracking by line auto-calibration
GB2305051A (en) Automatic electronic replacement of billboards in a video image
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
KR20050061115A (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
KR20000054328A (ko) 방송 중계 영상 화면의 광고교체방법
KR100466587B1 (ko) 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법
JP2900308B2 (ja) 画像置換システム、画像置換装置及び画像置換方法
JP2005184266A (ja) 撮像装置
JP3523064B2 (ja) ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体
JPH01109970A (ja) 動画ぶれ除去装置
Burt et al. Video mosaic displays
MXPA97010191A (en) System and method for inserting static and dynamic images in a v devide transmission
EP1751711A1 (en) Creating an output image

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081128

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees