JP6665277B2 - 画像を別の画像でデジタル式にオーバーレイするシステム及び方法 - Google Patents
画像を別の画像でデジタル式にオーバーレイするシステム及び方法 Download PDFInfo
- Publication number
- JP6665277B2 JP6665277B2 JP2018511335A JP2018511335A JP6665277B2 JP 6665277 B2 JP6665277 B2 JP 6665277B2 JP 2018511335 A JP2018511335 A JP 2018511335A JP 2018511335 A JP2018511335 A JP 2018511335A JP 6665277 B2 JP6665277 B2 JP 6665277B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- overlay
- camera
- model
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 230000005855 radiation Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000013178 mathematical model Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 230000003068 static effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
Description
実世界空間のモデルを記憶するための記憶装置であって、モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含む記憶装置と、
カメラパラメータを受け取るためのカメラパラメータインタフェースであって、少なくとも1台のカメラをモデルの座標に対して較正するカメラパラメータインタフェースと、
それぞれ前記少なくとも1台のカメラによって実質的に同時に取得された少なくとも1つの取得画像を受け取るためのカメラインタフェースと、
前記少なくとも1つの取得画像内のオーバーレイ面の位置を、モデルとカメラパラメータに基づいて決定するためのポジショナと、
前記少なくとも1つの取得画像の選択取得画像内のオーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、遮蔽オブジェクトの画像特性と、前記少なくとも1つの取得画像の画像である検出画像とに基づいて検出するためのディテクタと、
選択取得画像内のオーバーレイ面の非遮蔽部分をオーバーレイ画像でオーバーレイして出力画像を得るオーバーレイヤと、
出力画像を出力するための出力インタフェースとを含むシステムが提供される。
実世界空間のモデルを作成するステップであって、モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含むステップと、
少なくとも1台のカメラをモデルの座標に対して較正するカメラパラメータを識別するステップと、
少なくとも1つの画像をそれぞれ前記少なくとも1台のカメラによって実質的に同時に取得するステップと、
前記少なくとも1つの取得画像内のオーバーレイ面をモデルとカメラパラメータに基づいて位置決めするステップと、
前記少なくとも1つの取得画像の選択取得画像内のオーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、遮蔽オブジェクトの画像特性と、前記少なくとも1つの取得画像の画像である検出画像とに基づいて検出するステップと、
選択取得画像内のオーバーレイ面の非遮蔽部分をオーバーレイ画像でオーバーレイするステップとを含む方法が提供される。
実世界空間のモデルを記憶するステップであって、モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含むステップと、
少なくとも1台のカメラをモデルの座標に対して較正するカメラパラメータを受け取るステップと、
それぞれ前記少なくとも1台のカメラによって実質的に同時に取得された少なくとも1つの画像を受け取るステップと、
前記少なくとも1つの取得画像内のオーバーレイ面の位置をモデルとカメラパラメータに基づいて決定するステップと、
前記少なくとも1つの取得画像の選択取得画像内のオーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、遮蔽オブジェクトの画像特性と、前記少なくとも1つの取得画像の画像である検出画像とに基づいて検出するステップと、
選択取得画像内のオーバーレイ面の非遮蔽部分をオーバーレイ画像でオーバーレイして出力画像を得るステップと、
出力画像を出力するステップとを実行させるための命令を含むコンピュータプログラム製品が提供される。
デジタルオーバーレイアプリケーションでは、実世界を表わす数学的モデルが使用される。この数学的モデルは、三次元世界内の点の集合とそれらの相互接続性によって構成されうる。多数の接続された三次元点が、三次元世界内の面を記述できる。デジタルオーバーレイアプリケーションは、そのような三次元モデルを使用して実世界を表す。この文書全体にわたって、この技術をどのように使用できるかを説明する例は、サッカー競技の文脈になる。典型的な高度なサッカー競技では、例えばLEDスクリーン上で観客に提供されるピッチサイド広告がある。特定の実施態様では、実世界内のそのようなLEDスクリーンだけが、デジタルオーバーレイアプリケーションによって置き換えられる。三次元モデルが実世界モデルにできるだけ密に対応することが重要である。例えば、個々のスクリーンの位置は、X、Y及びZに関してレーザ測定装置によって測定されうる。測定前に原点を選択することが重要である。サッカー競技の場合、適切な選択は、4つの角のうちの1つである。ボードの手動測定に加えて、スクリーン上に一連のバイナリパターンを投影し、これらの変化を1台の較正済みカメラ又は水平方向にずらされた1組の較正済みカメラによって識別することにより、LEDスクリーンを活用してボードの実際の位置を計算できる。
実世界の数学的モデルが分かっているとき(又は、少なくとも部分的に)、この情報を使用して遮蔽オブジェクトを識別できる。数学的モデルは、実世界の既知形状を表す。実世界の実形状を実時間で計算できる場合は、アルゴリズムを実施して、予想三次元数学的モデルを計算済み数学的モデルと突き合わせできる。2つの数学的モデルに大きい差がある場合は、既知の数学的モデルの前に遮蔽オブジェクトがある。この位置は、数学的三次元モデルで分かっているので、この位置は、カメラ空間内の実世界に再投影され、カメラ画像内の個々の画素と突き合わせされうる。このアルゴリズムには実時間デプスマップが使用される。これは、高速平面掃引法(fast plane sweep method)又は差異照合アルゴリズムを使用して、1対の較正済みステレオカメラによって計算されうる。2つの数学的モデルを突き合わせるアルゴリズムは、入力として2つの数学的モデルを取得し、それを個々のデプスマップにラスタライズする。典型的には、ラスタ要素サイズは、画素サイズと同じ大きさになる。これらのデプスマップを計算した後で、十分に大きい差をマークするしきい値演算を使用して、ラスタ要素ごとの比較を行える。それらの結果は、ラスタ要素ごとに、画像に容易に変換できる中間データオブジェクトに記憶される。この画像は、更に、形状を開くか閉じるために、例えばメジアンフィルタ又は幾つかの形態論的演算によって間違った応答をフィルタリングするために改良されうる。中間画像の各画素が、デプスマップのラスタ要素に対応するので、画像をカメラ空間に再投影し、遮蔽オブジェクトマスクとして使用できる。
サッカーのような多くの高価なスポーツ競技では、典型的には、スタティック又は木製広告ボードを使用することを望まず、広告収入を増やすために多数の広告をある期間にわたって表示できる動的なアクティブボードを使用することを望む。そのようなボード(典型的にはLEDボード)は、静止画像並びにビデオ画像を表示できる。これらのボードは、更に、実際の等身大のサッカー選手のビデオも表示できる。LEDボードは、少なくとも3つの個別の色を混合することによって色を生成する。したがって、LEDボードの各画素は、少なくとも3つの個別のLEDからなりうる。それらのLEDは、表面実装素子(SMD)内にまとめられうる。画素の各LEDは、固有色(例えば、最も知られた構成では、赤、緑及び青になる)を有しうる。これらは、基本色と呼ばれる。これらの基本色を混合することによって、これらのボードは、任意の他の色を生成できる視覚知覚を、作成できる。LEDは、それぞれの基本色の個々の周波数応答が、きわめて狭く、スペクトル内の近傍又は非近傍領域への漏れが実質的にないように選択されうる。LEDボードは、図5aに示されたものと類似の周波数応答を有する。LEDボードによって放射される光は、赤色周波数範囲ではピーク601、緑色周波数範囲ではピーク602、及び青色周波数範囲ではピーク603として見える、3つの別個の周波数帯を有する。特殊なスペクトルフィルタ(例えば、制御された小さい周波数スペクトルの光だけを通す帯域フィルタ)を備えたカメラによってLEDボードを取得する場合、このスペクトル帯域フィルタを、可視光内のLEDボードのスペクトル応答の間になるように選択できる。これは図5bに示される。フィルタは、赤色周波数帯と緑色周波数帯の間の周波数応答604、又は緑色周波数帯と青色周波数帯の間の周波数応答605を有しうる。この装置によって取得された画像は、LEDスクリーンに表示される変化による影響を受けず、したがって、スクリーンの性質により、LEDスクリーンは、取得された検出画像上でアクティブでないかのように均一な単調分布を有する。遮蔽オブジェクトが、典型的には、実世界オブジェクトであり、きわめて複雑な周波数応答曲線を有するので、これらのオブジェクトは、取得された検出画像内でまだ目に見える。静的バックグラウンドと移動フォアグラウンドの間の変化は、アルゴリズムのうちの1つに送られ、遮蔽オブジェクトの特性及び/又はバックグラウンドモデルに基づいて、遮蔽オブジェクトが計算されうる。
仮説は、実世界の数学的モデルが分かっており、かつ少なくとも1台のカメラが較正されている場合に、組み合わせた情報を使用して、デジタルオーバーレイアプリケーションによって置き換えられるべき面の位置を識別できるというものでよい。前節で述べたように、この面(実世界内にあるか実世界内にないアクティブな面又はアクティブでない面)は、面上のテクスチャが、取得画像内で静的に見えると同時に人間の目で見ているときに移動又は静的内容を有するように、センサによって取得されうる。
ディスクリプタは、局所的近傍を表す情報を含む多次元ベクトルである。ディスクリプタは、例えば、縁、角、ファーストオーダグラジェント(first order gradient)、形状、色、テクスチャ、モーション情報を含みうる。ディスクリプタの適切な選択は、局所的テクスチャ情報及び領域均一性を記述可能なスケール及び回転不変量ディスクリプタである。これらのディスクリプタの典型的な例は、均一テクスチャディスクリプタ、エッジヒストグラムディスクリプタ、SIFT/SURFディスクリプタ、領域ベースディスクリプタ、時空的ロケータディスクリプタであり、他が存在する。ディスクリプタは、典型的には、検出画像の入力画像内の画素ごとに計算される。この計算から、画素のまわりの局所的テクスチャ情報のディスクリプタを含むパー画素バックグラウンドモデルを、画素ごとに計算できる。このバックグラウンドモデルは、過去を表し、したがって(この節の最初での仮説に基づいて)期待値も表わす。次に、後に続く各入力検出画像とこの画像の各画素について、局所的テクスチャディスクリプタが再び計算される。この局所的テクスチャディスクリプタが、バックグラウンドモデルの対応ディスクリプタと比較される。この比較に基づいて、この画素がバックグラウンドに属する可能性が計算される。モデル内のそれぞれの画素は、同じ可能性関数に基づいて更新される。画素がバックグラウンドに属する可能性が高い場合は、バックグラウンドモデルが、変化したバックグラウンドを考慮するために早く更新され、高くない場合は、バックグラウンドモデルは、更新されるとしても、ゆっくりと更新される。
空間周波数は、FFT関数を使用するか、画素のまわりの小領域の解析しその領域に多帯域畳み込みフィルタを適用することによって、計算されうる。多帯域畳み込みフィルタは、空間周波数を選択的にサンプリングすることによって構成されうる。例えば、近傍画素だけが使用される場合、できるだけ高い空間周波数を表わす。特定距離(例えば、5画素離れた)にある画素が使用される場合は、より低い周波数を表わす。様々な畳み込みサイズを有する複数の畳み込みフィルタを組み合わせることによって、多帯域畳み込みフィルタが生成される。例えば、多帯域畳み込みフィルタは、最高周波数では、より低い空間周波数帯域ごとに高いサンプル領域を有する単純なラプラシアンフィルタから構成されうる。
各画素と各カラーチャネルに関して、バックグラウンドモデルは、ガウス混合アルゴリズムに基づいて作成される。新しく入って来る取得検出画像の画素を対応するモデルの画素と比較することによって、画素がバックグラウンドモデルに属する可能性を表わす関数が生成される。統計解析に基づいて、モデルを画素の新しい情報によって更新できる。このようにして、モデルは、新しい状況を学習できる。
サッカー競技の際に、デジタルオーバーレイアプリケーションは、典型的には、ホスト放送業者の機器と組み合わせて使用される。ホスト放送業者は、画質、機器の構成及び送出ストリームに責任を負う。したがって、デジタルオーバーレイアプリケーションは、ホスト放送業者の構成のワークフローの妨害を制限するように実施されうる。
実世界空間のモデルを作成するステップ200であって、モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含むステップ200と、
少なくとも1台のカメラをモデルの座標に対して較正するカメラパラメータを識別するステップ201と、
少なくとも1つの画像を、それぞれ前記少なくとも1台のカメラで実質的に同時に取得するステップ202と、
モデルとカメラパラメータに基づいて、前記少なくとも1つの取得画像内のオーバーレイ面を位置決めするステップ203と、
前記少なくとも1つの取得画像の選択取得画像内のオーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、遮蔽オブジェクトの画像特性と、前記少なくとも1つの取得画像の画像である検出画像とに基づいて検出するステップ204と、
選択取得画像内のオーバーレイ面の非遮蔽部分をオーバーレイ画像でオーバーレイするステップ205とを含む方法。
必要に応じて、選択取得画像をオーバーレイした後で、その画像が出力されうる206。
遮蔽オブジェクトの検出が、更に、バックグラウンドのモデルに基づく、節1の方法。
バックグラウンドのモデルを更新するステップが、検出画像に基づいて画素のまわりのテクスチャの特徴を調整するステップを含む、節3の方法。
Claims (15)
- 画像を別の画像でデジタル式にオーバーレイするためのシステムであって、
実世界空間のモデルを記憶するための記憶装置であって、前記モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含み、前記モデル内の前記オーバーレイ面が、前記実世界空間内の表示装置を表し、前記表示装置が、1つ以上の所定の周波数範囲内の放射を放射することによって、前記実世界空間内の前記表示装置に移動画像を表示するように構成された記憶装置と、
少なくとも1台のカメラを前記モデルの座標に対して較正するカメラパラメータを受け取るためのカメラパラメータインタフェースと、
それぞれ前記少なくとも1台のカメラによって実質的に同時に取得された少なくとも1つの取得画像を受け取るためのカメラ画像インタフェースであって、前記少なくとも1つの取得画像が検出画像を含み、前記検出画像を取得するために使用されるカメラが、前記1つ以上の所定の周波数範囲全ての外側の周波数を有する放射を検出し、前記1つ以上の所定の周波数範囲全ての外側の検出放射を、前記1つ以上の所定の周波数範囲の内側の放射から区別するように構成された、カメラ画像インタフェースと、
前記少なくとも1つの取得画像内の前記オーバーレイ面の位置を、前記モデルと前記カメラパラメータとに基づいて決定するためのポジショナと、
前記少なくとも1つの取得画像の選択取得画像内の前記オーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、前記遮蔽オブジェクトの画像特性と前記検出画像とに基づいて検出するためのディテクタと、
前記選択取得画像内の前記オーバーレイ面の非遮蔽部分を前記オーバーレイ画像でオーバーレイして出力画像を得るためのオーバーレイヤであって、前記実世界空間内の前記表示装置に表示された前記移動画像を、前記選択取得画像内の前記オーバーレイ画像でオーバーレイするように構成されたオーバーレイヤと、
前記出力画像を出力するための出力インタフェースとを含むシステム。 - 前記遮蔽オブジェクトの前記画像特性が、画素の近傍のディスクリプタに関連し、前記ディスクリプタが、空間周波数を含み、前記ディテクタが、前記検出画像の画素のディスクリプタを前記遮蔽オブジェクトのディスクリプタと比較するように構成された、請求項1に記載のシステム。
- バックグラウンドのモデルを前記検出画像に基づいて更新するためのモデルアップデータを更に含み、
前記ディテクタが、前記バックグラウンドの前記モデルに基づいて前記遮蔽オブジェクトを更に検出するように構成された、請求項1に記載のシステム。 - 前記バックグラウンドの前記モデルが、前記バックグラウンドのテクスチャの特徴のモデルを含み、
前記モデルアップデータが、画素のまわりの前記テクスチャの特徴のモデルを前記検出画像に基づいて調整するように構成された、請求項3に記載のシステム。 - 前記ディテクタは、以前に取得された検出画像と比較した現在の検出画像の変化を検出することによって前記遮蔽オブジェクトを検出するように構成された、請求項1に記載のシステム。
- 前記検出画像が、前記選択取得画像と異なり、カメラインタフェースが、異なるカメラから前記検出画像と前記選択取得画像を受け取るように構成された、請求項1に記載のシステム。
- 前記検出画像を取得するために使用されるカメラと、前記選択取得画像を取得するために使用されるカメラとが、互いから離れて取り付けられ、それにより、前記選択取得画像と前記検出画像が、1対のステレオ画像を構成し、前記遮蔽オブジェクトの前記画像特性が、2つのステレオ画像の間の差異に関係する、請求項6に記載のシステム。
- 前記検出画像を取得するために使用されるカメラが、可視光以外の放射を検出するように構成された、請求項6に記載のシステム。
- 前記検出画像を取得するために使用されるカメラと、前記選択取得画像を取得するために使用されるカメラが、同じ対物レンズ又は2つの異なる対物レンズを通して放射を受け取るように構成された、請求項6に記載のシステム。
- 前記表示装置が、前記実世界空間内の前記表示装置に静止画像を表示するように構成され、前記オーバーレイヤが、前記静止画像を前記選択取得画像内の前記オーバーレイ画像でオーバーレイするように構成された、請求項1に記載のシステム。
- 前記検出画像を取得するために使用されるカメラが、前記1つ以上の所定の周波数範囲全ての外側の可視光を検出し、前記1つ以上の所定の周波数範囲全ての外側の検出可視光を、前記1つ以上の所定の周波数範囲の内側の可視光と区別するように構成された、請求項1に記載のシステム。
- 前記オーバーレイ面が、前記実世界空間内に実在しない仮想面を表す、請求項1に記載のシステム。
- 前記オーバーレイ面が、前記実世界空間内の前記オーバーレイ面の少なくとも形状、位置及び向きの指示によってモデル内に表わされる、請求項1に記載のシステム。
- 画像を別の画像でデジタル式にオーバーレイする方法であって、
実世界空間のモデルを作成するステップであって、前記モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含み、前記モデル内の前記オーバーレイ面が、前記実世界空間内の表示装置を表し、前記表示装置が、1つ以上の所定の周波数範囲内の放射を放射することによって、前記実世界空間内の前記表示装置に移動画像を表示するように構成されたステップと、
少なくとも1台のカメラを前記モデルの座標に対して較正するカメラパラメータを識別するステップと、
それぞれ前記少なくとも1台のカメラによって実質的に同時に少なくとも1つの画像を取得するステップであって、前記少なくとも1つの取得画像が検出画像を含み、前記検出画像を取得するために使用されるカメラが、前記1つ以上の所定の周波数範囲全ての外側の周波数を有する放射を検出し、前記1つ以上の所定の周波数範囲全ての外側の検出放射を、前記1つ以上の所定の周波数範囲の内側の放射と区別するように構成されたステップと、
前記少なくとも1つの取得画像内のオーバーレイ面を、前記モデルと前記カメラパラメータとに基づいて位置決めするステップと、
前記少なくとも1つの取得画像の選択取得画像内の前記オーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、前記遮蔽オブジェクトの画像特性と前記検出画像とに基づいて検出するステップと、
前記実世界空間内の前記表示装置に表示された移動画像を前記選択取得画像内の前記オーバーレイ面でオーバーレイすることによって、前記選択取得画像内の前記オーバーレイ画像の非遮蔽部分を前記オーバーレイ画像でオーバーレイするステップとを含む方法。 - コンピュータプログラムであって、コンピュータに、
実世界空間のモデルを記憶するステップであって、前記モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含み、前記モデル内の前記オーバーレイ面が、前記実世界空間内の表示装置を表し、前記表示装置が、1つ以上の所定の周波数範囲内の放射を放射することによって前記実世界空間内の前記表示装置に移動画像を表示するように構成されたステップと、
少なくとも1台のカメラを前記モデルの座標に対して較正するカメラパラメータを受け取るステップと、
それぞれ前記少なくとも1台のカメラによって実質的に同時に取得された少なくとも1つの画像を受け取るステップであって、少なくとも1つの取得画像が検出画像を含み、前記検出画像を取得するために使用されるカメラが、前記1つ以上の所定の周波数範囲全ての外側の周波数を有する放射を検出し、前記1つ以上の所定の周波数範囲全ての外側の検出放射を、前記1つ以上の所定の周波数範囲の内側の放射から区別するように構成されたステップと、
前記少なくとも1つの取得画像内の前記オーバーレイ面の位置を、前記モデルと前記カメラパラメータに基づいて決定するステップと、
前記少なくとも1つの取得画像の選択取得画像内の前記オーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、前記遮蔽オブジェクトの画像特性と前記検出画像とに基づいて検出するステップと、
前記実世界空間内の前記表示装置に表示された前記移動画像を、前記選択取得画像内の前記オーバーレイ画像でオーバーレイすることによって、前記選択取得画像内の前記オーバーレイ面の非遮蔽部分を前記オーバーレイ画像でオーバーレイして出力画像を得るステップと、
前記出力画像を出力するステップとを実行させる命令を含むコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15167637.6A EP3094082A1 (en) | 2015-05-13 | 2015-05-13 | Digitally overlaying an image with another image |
EP15167637.6 | 2015-05-13 | ||
PCT/EP2016/060443 WO2016180827A1 (en) | 2015-05-13 | 2016-05-10 | Digitally overlaying an image with another image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018522509A JP2018522509A (ja) | 2018-08-09 |
JP6665277B2 true JP6665277B2 (ja) | 2020-03-13 |
Family
ID=53189665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018511335A Active JP6665277B2 (ja) | 2015-05-13 | 2016-05-10 | 画像を別の画像でデジタル式にオーバーレイするシステム及び方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US10565794B2 (ja) |
EP (2) | EP3094082A1 (ja) |
JP (1) | JP6665277B2 (ja) |
CN (1) | CN108141547B (ja) |
AR (1) | AR104578A1 (ja) |
CA (1) | CA2985880C (ja) |
ES (1) | ES2743491T3 (ja) |
HK (1) | HK1252160A1 (ja) |
WO (1) | WO2016180827A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3071123B1 (fr) * | 2017-09-14 | 2019-09-27 | Jean-Luc AFFATICATI | Methode de masquage d'objets dans un flux video |
CN108198222B (zh) * | 2018-01-29 | 2021-09-03 | 大连东软信息学院 | 一种广角镜头标定及图像矫正方法 |
CN108960126A (zh) * | 2018-06-29 | 2018-12-07 | 北京百度网讯科技有限公司 | 手语翻译的方法、装置、设备及系统 |
US11039122B2 (en) * | 2018-09-04 | 2021-06-15 | Google Llc | Dark flash photography with a stereo camera |
EP3691277A1 (en) * | 2019-01-30 | 2020-08-05 | Ubimax GmbH | Computer-implemented method and system of augmenting a video stream of an environment |
FR3093886B1 (fr) | 2019-03-14 | 2022-04-01 | Affaticati Jean Luc | Méthode de masquage d’objets dans un flux vidéo |
FI20206224A1 (en) * | 2020-12-01 | 2022-06-02 | Teknologian Tutkimuskeskus Vtt Oy | Obstructing object detection |
TWI798840B (zh) * | 2021-09-23 | 2023-04-11 | 大陸商星宸科技股份有限公司 | 視訊資料處理方法及裝置 |
CN114500871B (zh) * | 2021-12-15 | 2023-11-14 | 山东信通电子股份有限公司 | 一种多路视频分析方法、设备及介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL108957A (en) * | 1994-03-14 | 1998-09-24 | Scidel Technologies Ltd | Video sequence imaging system |
WO1997000581A1 (en) * | 1995-06-16 | 1997-01-03 | Princeton Video Image, Inc. | System and method for inserting static and dynamic images into a live video broadcast |
AU3180501A (en) | 2000-01-31 | 2001-08-14 | Erkki Rantalainen | Method for modifying a visible object shot with a television camera |
US7116342B2 (en) * | 2003-07-03 | 2006-10-03 | Sportsmedia Technology Corporation | System and method for inserting content into an image sequence |
FI20090040A0 (fi) * | 2009-02-09 | 2009-02-09 | Mika Daniel Letonsaari | Videon käsittely |
KR20130136566A (ko) * | 2011-03-29 | 2013-12-12 | 퀄컴 인코포레이티드 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
WO2012160531A1 (en) * | 2011-05-25 | 2012-11-29 | Koninklijke Philips Electronics N.V. | An identification system for a surface |
GB201204129D0 (en) * | 2012-03-08 | 2012-04-25 | Supponor Oy | Apparatus and method for image content detection and image content replacement system |
KR101793628B1 (ko) * | 2012-04-08 | 2017-11-06 | 삼성전자주식회사 | 투명 디스플레이 장치 및 그 디스플레이 방법 |
EP2851900B1 (en) * | 2013-09-18 | 2017-08-23 | Nxp B.V. | Media content real time analysis and semi-automated summarization for capturing a fleeting event. |
CN103985148B (zh) * | 2014-04-21 | 2017-03-22 | 芜湖航飞科技股份有限公司 | 一种基于近海面飞行的旋翼下洗视景仿真方法及系统 |
WO2017028010A1 (zh) * | 2015-08-14 | 2017-02-23 | 富士通株式会社 | 背景模型的提取方法、装置以及图像处理设备 |
-
2015
- 2015-05-13 EP EP15167637.6A patent/EP3094082A1/en not_active Withdrawn
-
2016
- 2016-05-10 AR ARP160101338A patent/AR104578A1/es unknown
- 2016-05-10 US US15/573,681 patent/US10565794B2/en active Active
- 2016-05-10 ES ES16722173T patent/ES2743491T3/es active Active
- 2016-05-10 WO PCT/EP2016/060443 patent/WO2016180827A1/en active Application Filing
- 2016-05-10 JP JP2018511335A patent/JP6665277B2/ja active Active
- 2016-05-10 CA CA2985880A patent/CA2985880C/en active Active
- 2016-05-10 CN CN201680036016.5A patent/CN108141547B/zh active Active
- 2016-05-10 EP EP16722173.8A patent/EP3295663B1/en active Active
-
2018
- 2018-09-07 HK HK18111553.6A patent/HK1252160A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN108141547B (zh) | 2020-10-09 |
HK1252160A1 (zh) | 2019-05-17 |
EP3094082A1 (en) | 2016-11-16 |
CN108141547A (zh) | 2018-06-08 |
US10565794B2 (en) | 2020-02-18 |
EP3295663A1 (en) | 2018-03-21 |
ES2743491T3 (es) | 2020-02-19 |
EP3295663B1 (en) | 2019-05-29 |
JP2018522509A (ja) | 2018-08-09 |
WO2016180827A1 (en) | 2016-11-17 |
US20180122144A1 (en) | 2018-05-03 |
AR104578A1 (es) | 2017-08-02 |
CA2985880C (en) | 2023-09-26 |
CA2985880A1 (en) | 2016-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6665277B2 (ja) | 画像を別の画像でデジタル式にオーバーレイするシステム及び方法 | |
US11019283B2 (en) | Augmenting detected regions in image or video data | |
US11115633B2 (en) | Method and system for projector calibration | |
RU2108005C1 (ru) | Способ имплантации изображения и устройство для его осуществления | |
US8922718B2 (en) | Key generation through spatial detection of dynamic objects | |
US8624962B2 (en) | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images | |
US10939034B2 (en) | Imaging system and method for producing images via gaze-based control | |
CN108289220B (zh) | 虚拟图像处理方法、图像处理系统及存储介质 | |
US20120180084A1 (en) | Method and Apparatus for Video Insertion | |
CN104702928B (zh) | 修正图像交叠区的方法、记录介质以及执行装置 | |
CA2766143A1 (en) | Apparatus and method for tracking the location of a pointing element in a cropped video field | |
KR20030082889A (ko) | 텔레비젼 카메라를 이용한 가시적 대상물 촬영화면 수정방법 | |
CN107241610A (zh) | 一种基于增强现实的虚拟内容插入系统和方法 | |
AU2020277170A1 (en) | Realistic illumination of a character for a scene | |
US9906769B1 (en) | Methods and apparatus for collaborative multi-view augmented reality video | |
US20230306611A1 (en) | Image processing method and apparatus | |
US20230306613A1 (en) | Image processing method and apparatus | |
US20230306612A1 (en) | Image processing method and apparatus | |
US20230326031A1 (en) | Image processing method and apparatus | |
US20230326030A1 (en) | Image processing method and apparatus | |
CN107194308B (zh) | 视频中球员追踪方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6665277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |