JP6665277B2 - 画像を別の画像でデジタル式にオーバーレイするシステム及び方法 - Google Patents

Description

本発明は、取得画像のデジタルオーバーレイに関する。

サイネージ（ｓｉｇｎａｇｅ）は、公共空間、詳細には空港、ショッピングモール、鉄道駅、スポーツアリーナなどの注目度の高い場所に配置されることが多い。看板には、印刷や塗装などによる固定画像が提供された木板などのスタティックボードが含まれる。最近の表示技術の進歩は、ＬＥＤボードなどの表示装置が提供されたアクティブボードの導入をもたらした。１つの典型的用途では、アクティブ又はスタティックボードは、広告や他の告知を表示するために運動場の脇に沿って延在しうる。アクティブスクリーンによって表示されるメッセージは、テレビカメラによって取り込まれ、実際のスポーツ競技と共に放送又は記録され、それにより、多数の観客にメッセージが届けられうる。同時に、イベント自体の場所にいる観客は、そこに表示される表示と画像を見ることが可能となる。

スタティックボードに関連して、特許文献１は、テレビカメラによって撮影された目に見えるオブジェクトを修正する方法を開示している。オブジェクトは、オブジェクトの領域又はその近くに配置された１つ以上のマーキング面によってマークされる。特許文献１は、全ての角が基準オブジェクト（例えば、所定色の円）によってマークされ、それによりテレビ画像内のオブジェクトの位置が正確に定義されうる矩形広告を開示している。マーキング面は、撮影されている領域内で放射が他の放射と異なることに基づいて識別でき、前記マーキング面の少なくとも１つは、可視光の色以外の特性に基づいて環境からの放射が異なる。マーキング面は、テレビカメラのディテクタとは別の少なくとも１つの識別ディテクタを使用して識別され、それにより、オブジェクトは、テレビカメラによって実質的に同じ撮影方向から撮影される。テレビカメラの映像座標と識別ディテクタの座標との関係が決定され、テレビ映像内に見えるオブジェクトの領域が、検出されたマーキング面よって決定され、オブジェクトに対応する領域のテレビ映像のビデオ信号が、所定の方式で修正され、修正ビデオ信号が送信される。

国際公開第０１／５８１４７号明細書

取得画像にデジタルオーバーレイを提供可能な改善されたサイネージシステムを有すると好都合である。

本開示の一態様によれば、画像を別の画像でデジタル式にオーバーレイするためのシステムにおいて、
実世界空間のモデルを記憶するための記憶装置であって、モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含む記憶装置と、
カメラパラメータを受け取るためのカメラパラメータインタフェースであって、少なくとも１台のカメラをモデルの座標に対して較正するカメラパラメータインタフェースと、
それぞれ前記少なくとも１台のカメラによって実質的に同時に取得された少なくとも１つの取得画像を受け取るためのカメラインタフェースと、
前記少なくとも１つの取得画像内のオーバーレイ面の位置を、モデルとカメラパラメータに基づいて決定するためのポジショナと、
前記少なくとも１つの取得画像の選択取得画像内のオーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、遮蔽オブジェクトの画像特性と、前記少なくとも１つの取得画像の画像である検出画像とに基づいて検出するためのディテクタと、
選択取得画像内のオーバーレイ面の非遮蔽部分をオーバーレイ画像でオーバーレイして出力画像を得るオーバーレイヤと、
出力画像を出力するための出力インタフェースとを含むシステムが提供される。

実世界空間の三次元モデルと、三次元モデルの座標に対するカメラ較正とによって、オーバーレイされるオブジェクトの全ての角にマーカを提供する必要がなくなる。また、広告板にマーキング面を適用する必要がない。代わりに、遮蔽オブジェクトは、遮蔽オブジェクト自体の画像特性に基づいて検出される。

本開示の別の態様によれば、方法は、画像を別の画像でデジタル式にオーバーレイするための方法であって、
実世界空間のモデルを作成するステップであって、モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含むステップと、
少なくとも１台のカメラをモデルの座標に対して較正するカメラパラメータを識別するステップと、
少なくとも１つの画像をそれぞれ前記少なくとも１台のカメラによって実質的に同時に取得するステップと、
前記少なくとも１つの取得画像内のオーバーレイ面をモデルとカメラパラメータに基づいて位置決めするステップと、
前記少なくとも１つの取得画像の選択取得画像内のオーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、遮蔽オブジェクトの画像特性と、前記少なくとも１つの取得画像の画像である検出画像とに基づいて検出するステップと、
選択取得画像内のオーバーレイ面の非遮蔽部分をオーバーレイ画像でオーバーレイするステップとを含む方法が提供される。

本開示の別の態様によれば、コンピュータプログラム製品は、コンピュータに、
実世界空間のモデルを記憶するステップであって、モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含むステップと、
少なくとも１台のカメラをモデルの座標に対して較正するカメラパラメータを受け取るステップと、
それぞれ前記少なくとも１台のカメラによって実質的に同時に取得された少なくとも１つの画像を受け取るステップと、
前記少なくとも１つの取得画像内のオーバーレイ面の位置をモデルとカメラパラメータに基づいて決定するステップと、
前記少なくとも１つの取得画像の選択取得画像内のオーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、遮蔽オブジェクトの画像特性と、前記少なくとも１つの取得画像の画像である検出画像とに基づいて検出するステップと、
選択取得画像内のオーバーレイ面の非遮蔽部分をオーバーレイ画像でオーバーレイして出力画像を得るステップと、
出力画像を出力するステップとを実行させるための命令を含むコンピュータプログラム製品が提供される。

当業者は、前述の特徴が有効と思われる任意の仕方で組み合わせられうることを理解するであろう。更に、システムに関して記述された修正及び変更が、方法及びコンピュータプログラム製品に同様に適用され、また方法に関して記述された修正及び変更が、システム及びコンピュータプログラム製品に同様に適用されうる。

以下では、本発明の態様は、図面を参照して例として説明される。図は概略的であり、一律の縮尺で描かれないことがある。

画像を別の画像でデジタル式にオーバーレイするためのシステムのブロック図である。 画像を別の画像でデジタル式にオーバーレイする方法のフローチャートである。 スポーツスタジアムとカメラの概略図である。 画像を別の画像でデジタル式にオーバーレイする方法の別のフローチャートである。 表示スクリーンの周波数応答の概略図である。 表示スクリーンの周波数応答とフィルタの周波数応答の概略図である。

以下の記述では、幾つかの例示的実施形態がより詳細に記述される。しかしながら、これらの実施形態の記述は、保護範囲を限定するものではない。また、以下でシステムの特定の構成要素の例が記述される。しかしながら、本開示を考慮して、その例に関して記述される技術が、代替又は修正構成要素を使用して類似の方法で適用されうることに注意されたい。また、システムに関して記述される特徴は、方法及びコンピュータプログラムにも同様に適用され、方法に関して記述される特徴は、システム及びコンピュータプログラムによっても同様に実現されうる。

図１は、画像を別の画像でデジタル式にオーバーレイするためのシステムを示す。システムの幾つかの構成要素は、単一のデジタルオーバーレイ装置１に実装されうる。しかしながら、これは限定ではない。構成要素と各構成要素によって実行される機能は、複数の装置に分散されうる。

画像を取得するための少なくとも１台のカメラ１４，１５が提供される。２つのカメラが例として示されている。取得された画像は、カメラインタフェース３によって受け取られる。このカメラインタフェース３は、例えばＨＤＭＩポートなどの１つ以上のデータ通信ポートを備えうる。更に、カメラ１４，１５それぞれのカメラパラメータが、本質的に当該技術分野で知られ、本文書の他の箇所で記述されたディテクタによって検出される。カメラパラメータは、カメラパラメータインタフェース２によって受け取られる。これは、ＵＳＢインタフェースなどの１つ以上の更に他のデータ通信ポートを含みうる。インタフェース１４，１５が、単一のデータ通信ポートに組み合わされてもよく、異なるカメラのデータを個別に受け取るために幾つかのデータ通信ポートを備えてもよいことを理解されよう。システムは、ランダムアクセスメモリ、及び／又はフラッシュ及び／又は磁気ディスクなどの不揮発性メモリを含みうるメモリ又は記憶装置４を備えうる。記憶装置４は、実世界空間のモデル５、１つ以上の取得画像６、オーバーレイ画像７及び他のデータのための記憶空間を含む。

システムは、ポジショナ８、ディテクタ９及びオーバーレイヤ１０を含む。これらの構成要素は、例えば、例えば記憶装置４に記憶されうるソフトウェアモジュールによって実現されうる。あるいは、これらのモジュールは、専用電子回路又は例えばＦＰＧＡによって実現されうる。システムは、システムの構成要素の動作を制御しプログラムコードを実行可能なコントローラ１２を備えうる。システムは、更に、得られた画像を出力する出力インタフェース１１を備える。この出力インタフェースは、ＨＤＭＩインタフェース又は他のデジタル通信インタフェースなどの通信インタフェースを含みうる。本明細書で言及されるインタフェースは、例えばネットワーク接続によって実現されうることに注意されたい。

図３は、例示的な実世界シーン（具体的には、運動場又はサッカー場４０２）をボード４０５，４０７と共に示している。更に、カメラ４００が示されている。

図１と図３を参照すると、実世界空間のモデル５は、実世界内の１つ以上のオブジェクトの表現を、形状モデルによって、又は実世界内に存在するある特定のマーカを識別する座標によって含みうる。例えば、競技場４０２の角４０６、及び／又は１つ以上のオーバーレイ面４０５，４０７（例えば、アクティブスクリーンの広告板でよい）の位置、向き、形状及び寸法が、実世界モデル５内に表わされうる。

動作において、カメラ４００は、一連の画像を取得し、それらをカメラ画像インタフェース３に送り、カメラ画像インタフェース３は、それらの画像を受け取って（少なくとも一時的に）記憶装置４に記憶する。カメラ４００、及び／又はカメラ４００と連携する付加装置が、カメラのＸ、Ｙ及びＺ座標、向きパラメータ、ズームパラメータなどのカメラパラメータを生成し、それらのパラメータをカメラパラメータインタフェース２に送り、カメラパラメータインタフェース２は、受け取ったカメラパラメータを、場合によっては記憶装置４を介してポジショナ８に転送する。ポジショナ８は、取得画像内のオーバーレイ面を位置決めする。即ち、オーバーレイ面４０７が、カメラ４００の視界４０１内にあるとき、オーバーレイ面は、取得画像内に取得され、ポジショナは、実世界モデル５内のオーバーレイ面の座標とカメラパラメータに基づいて、取得画像内のどこにオーバーレイ面があるかを決定する。ディテクタ９は、カメラ４００によって取得されたオブジェクト４０８がオーバーレイ面４０７を遮るかどうか検出する。したがって、画像解析技術が使用されうる。例えば、視覚モデル１７は、実世界内に現われうる遮蔽オブジェクトのディスクリプタを含みうる。即ち、遮蔽オブジェクトの位置は演繹的に決定されえないが、潜在的遮蔽オブジェクトの画像特徴が事前に決定され、その表現が視覚モデル１７に記憶されうる。例えば、プレーヤ及び／又はボールや他のオブジェクトの形状、色及びテクスチャ特徴が事前に決定され、視覚モデル１７内に記憶されうる。オーバーレイヤ１０は、ポジショナ８とディテクタ９の出力を組み合わせることによって、取得画像内のオーバーレイ面の非遮蔽部分を決定する。オーバーレイヤ１０は、オーバーレイ面の非遮蔽部分をオーバーレイ画像７によって置き換え、オーバーレイ画像７は、記憶装置４に事前に記憶されてもよく、別のビデオインタフェース（図示せず）を介して受け取られてもよい。

オーバーレイヤ１０は、画像をオーバーレイと共に出力し、それを出力インタフェース１１に転送する。処理された画像は、出力インタフェース１１から、例えば放送事業者(broadcaster)１３に送られるか後で使用するために記憶されうる。

システムの動作を単一画像に関して説明してきたが、システムは、典型的には、一連の画像（例えば、ビデオデータ）を処理するように構成されうる。更に、カメラパラメータインタフェース２とカメラ画像インタフェース３が、２台以上のカメラ１４，１５のデータを受け取ってもよい。これらの異なるカメラから受け取った画像のパラメータデータと画像データを組み合わせて、例えばディテクタ９による遮蔽オブジェクトの検出を改善できる。例えば、カメラ１５から受け取った画像（検出画像と呼ばれる）の１つを使用して遮蔽オブジェクトを検出でき、カメラ１４から受け取った他の画像（選択画像と呼ばれる）を使用して、カメラ１５からの画像内に検出された遮蔽オブジェクトをオーバーレイすることなく、オーバーレイ面をオーバーレイできる。

遮蔽オブジェクトの画像特性は、画素の近傍のディスクリプタに関連し、ディスクリプタは空間周波数を含み、ディテクタは、検出画像の画素のディスクリプタを遮蔽オブジェクトのディスクリプタと比較するように構成される。

潜在的遮蔽オブジェクトのモデルに加えて、視覚モデル１７は、バックグラウンドの視覚モデルも含みうる。バックグラウンドモデルは、検出画像内に現われるときのバックグラウンドのモデルである。バックグラウンドのモデルは、バックグラウンドのテクスチャの特徴のモデルを含みうる。本開示内の他の場所で検討されるように、検出画像は、例えば、カラービデオ画像又は赤外線画像でよい。ディテクタ９は、バックグラウンドのモデルに基づいて、更に遮蔽オブジェクトを検出するように構成されうる。例えば、新しく受け取った検出画像内の画像特徴が、バックグラウンドモデルに記憶された画像特徴と比較される。

バックグラウンドモデルは、現在受け取っている画像内のバックグラウンドに従って更新されうる。その目的のため、システムは、検出画像に基づいてバックグラウンドのモデルを更新するためのモデルアップデータ１６を含みうる。モデルアップデータ１６は、画素のまわりのテクスチャの特徴のモデルを検出画像に基づいて調整するように構成されうる。これは、更に、この開示内の他の場所で記述される。

ディテクタ９は、以前に取得された検出画像と比較した現在の検出画像の変化を検出することによって、遮蔽オブジェクトを検出するように構成されうる。この変化は、移動オブジェクトを表し、即ち、遮蔽オブジェクトは、多くの場合、バックグラウンドに対する移動オブジェクトである。画像シーケンスにおける移動オブジェクトの検出自体は、当該技術分野で知られている。

検出画像は、選択された取得画像と異なってもよく、カメラインタフェース３は、異なるカメラ１４，１５から検出画像と選択取得画像を受け取るように構成されうる。同様に、カメラパラメータインタフェース２は、２台の異なるカメラ１４，１５のカメラパラメータを受け取るように構成されうる。

検出画像を取得するために使用されるカメラ１５と、選択取得画像を取得するために使用されるカメラ１４は、選択取得画像と検出画像が１対のステレオ画像を構成するように互いから離れて取り付けられてもよく、遮蔽オブジェクトの画像特性は、２つのステレオ画像の差異に関連する。バックグラウンド及び任意の遮蔽オブジェクトは、本質的に、カメラから異なる距離を有しており、従って１対のステレオ画像の差異は異なる。差異の違いを解析することによって、ディテクタ９は、バックグラウンド／オーバーレイ面を遮蔽オブジェクトと区別できる。

検出画像を取得するために使用されるカメラ１５は、可視光以外の放射（例えば、近赤外線、赤外線、紫外線）を検出するように構成されうる。

検出画像を取得するために使用されるカメラ１５と、選択取得画像を取得するために使用されるカメラ１４は、同じ対物レンズ又は２つの異なる対物レンズを介して放射を受け取るように構成されうる。同じ対物レンズが使用される場合は、ビームスプリッタを使用して光を両方のカメラ１４，１５に導くことが可能である。

モデル内のオーバーレイ面４０７は、実世界内の表示装置に対応できる。これは、表示装置によって表示される画像を、例えばテレビ放送内の別の画像でオーバーレイすることを可能にする。

表示装置は、移動画像を実世界内の表示装置上に表示するように構成されてもよく、オーバーレイヤ１０は、移動画像を選択取得画像内のオーバーレイ画像でオーバーレイするように構成される。これにより、ひとつの移動画像を別の移動画像又は静止画像と置き換え可能である。あるいは、表示装置は、実世界内の表示装置に静止画像を表示するように構成されてもよく、オーバーレイヤは、静止画像を選択取得画像内のオーバーレイ画像でオーバーレイするように構成されてもよい。使用される検出技術により、ディテクタ９にとっては、表示装置によってどんな可視画像が表示されているか、又は可視画像が移動画像かどうかは重要でない。ディテクタ９が、近赤外線画像などの非可視光の検出画像を使用する場合、表示画像は、検出画像に大きな影響を及ぼさない。

表示装置は、１つ以上の所定の周波数範囲内の放射を放射するように構成される。例えば、ＬＥＤ表示装置は、狭い周波数帯幅を有する赤、緑及び青色ＬＥＤを備えうる。これらの異なる周波数帯幅の間にはギャップがありうる。検出画像を取得するために使用されるカメラ１５は、１つ以上の所定の周波数範囲全ての外側にある放射を検出し、１つ以上の所定の周波数範囲全ての外側にある検出放射を、１つ以上の所定の周波数範囲の内側にある放射と区別するように構成されうる。例えば、赤色ＬＥＤ周波数範囲より低い周波数、又は青色ＬＥＤ周波数範囲より高い周波数、又は赤色ＬＥＤと緑色ＬＥＤ周波数範囲の間の周波数、又は緑色ＬＥＤ周波数範囲と青色ＬＥＤ周波数範囲の間の周波数が検出されうる。本明細書では、ＬＥＤは、表示装置の任意の発光画素（又は、光反射画素）と置き換えられうる。更に、検出画像内の検出周波数は、可視光範囲内でも可視光範囲外でもよい。フィルタを使用して光をフィルタリングして、前述の周波数のうちの１つ以上の周波数の光だけを、検出画像を取得するカメラ１５に選択的に導きうる。

ボード自体が、選択画像又は検出画像内のオーバーレイ面を位置決めしたり、遮蔽オブジェクトを検出したりしなくもよいので、実世界内にどんな物理面としても存在しない実世界空間のモデル５内の１つ以上のオーバーレイ面を定義できる。そのようなオーバーレイ面は、仮想面と呼ばれうる。

既に述べたように、オーバーレイ面は、モデル内に、実世界空間内のオーバーレイ面の少なくとも形状、位置及び向きの指示によって表されうる。

図４は、画像をオーバーレイする方法を示す。この方法は、実世界空間のモデルを記憶するステップ５００であって、モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含むステップ５００と、少なくとも１台のカメラをモデルの座標に対して較正するカメラパラメータを受け取るステップ５０１と、それぞれの前記少なくとも１台のカメラで実質的に同時に取得された少なくとも１つの画像を受け取るステップ５０２と、前記少なくとも１つの取得画像内のオーバーレイ面の位置をモデルとカメラパラメータに基づいて決定するステップ５０３と、前記少なくとも１つの取得画像の選択取得画像内のオーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、遮蔽オブジェクトの画像特性と前記少なくとも１つの取得画像の画像である検出画像とに基づいて検出するステップ５０４と、選択取得画像内のオーバーレイ面の非遮蔽部分をオーバーレイ画像でオーバーレイして出力画像を得るステップ５０５と、出力画像を出力するステップ５０６とを含む。方法は、説明されたステップをコンピュータに実行させるための命令を含むコンピュータプログラム製品として、ソフトウェアで実現されうる。コンピュータプログラムは、非有形媒体に記憶されうる。

以下に、システム及び方法の幾つかのより具体的な例を提供する。しかしながら、これらの例が、開示をよりよく理解するためのものであり、保護の範囲を限定するためのものではないことに注意されたい。

＜実世界のモデルの使用＞
デジタルオーバーレイアプリケーションでは、実世界を表わす数学的モデルが使用される。この数学的モデルは、三次元世界内の点の集合とそれらの相互接続性によって構成されうる。多数の接続された三次元点が、三次元世界内の面を記述できる。デジタルオーバーレイアプリケーションは、そのような三次元モデルを使用して実世界を表す。この文書全体にわたって、この技術をどのように使用できるかを説明する例は、サッカー競技の文脈になる。典型的な高度なサッカー競技では、例えばＬＥＤスクリーン上で観客に提供されるピッチサイド広告がある。特定の実施態様では、実世界内のそのようなＬＥＤスクリーンだけが、デジタルオーバーレイアプリケーションによって置き換えられる。三次元モデルが実世界モデルにできるだけ密に対応することが重要である。例えば、個々のスクリーンの位置は、Ｘ、Ｙ及びＺに関してレーザ測定装置によって測定されうる。測定前に原点を選択することが重要である。サッカー競技の場合、適切な選択は、４つの角のうちの１つである。ボードの手動測定に加えて、スクリーン上に一連のバイナリパターンを投影し、これらの変化を１台の較正済みカメラ又は水平方向にずらされた１組の較正済みカメラによって識別することにより、ＬＥＤスクリーンを活用してボードの実際の位置を計算できる。

数学的モデルと実世界の間のマッピングを定義するために、カメラが必要である。マッピングは、実世界からカメラ空間に行われ、そして逆に実世界に行われる。カメラは、カメラの状態を数学的に表す幾つかのパラメータを有する。これらのパラメータには、方向、視程方向、画像サイズ及び幾つかのレンズパラメータが含まれる。これらのパラメータを、内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）と外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）の２つのグループに分けることができ、外部パラメータは、カメラの位置と回転を表し、内部パラメータは、非線形レンズ及びセンサ属性を表す。例えば、外部パラメータを測定でき、例えば、レーザ測定ツールによって位置を測定でき、両方の軸内のカメラの回転を位置合わせするカメラの三脚に組み込まれたセンサによって回転を測定できる。しかしながら、内部パラメータは、使用目的に応じてモデル化されなければならない。様々な方法を使用して、使用レンズシステムの内部パラメータをシミュレートする発見的モデルを構築できる。幾つかのレンズは、ズーム、焦点及び絞りのような内部パラメータの幾つかを読み取ることを可能にする。そのようなパラメータは、例えば周知のチェッカボードパターンを使用する画像ベースのレンズ較正技術によっても決定されうる。内部パラメータは、主に樽又は糸巻形歪みとして知られる非線形レンズ歪みと関連付けられる。この歪みは、投影画像内で直線を直線でなくし、魚眼レンズとして最もよく知られる。歪みは、内部パラメータセットごとに、レンズが位置を変化させるときに歪みが変化するようにモデル化されうる。歪みは、歪みが加えられる曲率と衝撃中心によって定義されうる。回転レンズを備えたレンズシステムを使用するとき、この衝撃中心は、レンズが回転するときに回転しうる。移動カメラ及び様々なレンズ設定に関して、様々な内部及び外部パラメータを計算できる。これは、特に、典型的なカメラの動きが、カメラの向き（外部）を、ズーム、焦点及び絞り動作（内部）と共に変化させることによって定義されるサッカー競技の例に当てはまる。

内部及び外部パラメータが分かれば、例えばＲｉｃｈａｒｄ ＨａｒｔｌｅｙとＡｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎによる文献「Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」に記載されたような最新技術の方法によって較正行列が構築されうる。較正行列を使用することによって、共通空間（カメラ空間）内で計算を行える。投影演算によって、数学的にモデル化された世界が、実カメラと同じカメラ空間にマッピングされる。即ち、数学的にモデル化された世界の数学的にモデル化された要素が、実世界特徴と正確に一致する。サッカー競技の例に適用されるとき、数学的にモデル化された広告板が、実世界広告板上に完全にマッピングし、数学的にモデル化されたピッチ線が、実世界ピッチ線上に完全にマッピングする。強力で顕著な実世界特徴を使用して、マッピングの品質を制御できる。例えば、ピッチ線、スタジアム構造などである。

＜遮蔽オブジェクトの検出：ステレオ画像＞
実世界の数学的モデルが分かっているとき（又は、少なくとも部分的に）、この情報を使用して遮蔽オブジェクトを識別できる。数学的モデルは、実世界の既知形状を表す。実世界の実形状を実時間で計算できる場合は、アルゴリズムを実施して、予想三次元数学的モデルを計算済み数学的モデルと突き合わせできる。２つの数学的モデルに大きい差がある場合は、既知の数学的モデルの前に遮蔽オブジェクトがある。この位置は、数学的三次元モデルで分かっているので、この位置は、カメラ空間内の実世界に再投影され、カメラ画像内の個々の画素と突き合わせされうる。このアルゴリズムには実時間デプスマップが使用される。これは、高速平面掃引法（ｆａｓｔ ｐｌａｎｅ ｓｗｅｅｐ ｍｅｔｈｏｄ）又は差異照合アルゴリズムを使用して、１対の較正済みステレオカメラによって計算されうる。２つの数学的モデルを突き合わせるアルゴリズムは、入力として２つの数学的モデルを取得し、それを個々のデプスマップにラスタライズする。典型的には、ラスタ要素サイズは、画素サイズと同じ大きさになる。これらのデプスマップを計算した後で、十分に大きい差をマークするしきい値演算を使用して、ラスタ要素ごとの比較を行える。それらの結果は、ラスタ要素ごとに、画像に容易に変換できる中間データオブジェクトに記憶される。この画像は、更に、形状を開くか閉じるために、例えばメジアンフィルタ又は幾つかの形態論的演算によって間違った応答をフィルタリングするために改良されうる。中間画像の各画素が、デプスマップのラスタ要素に対応するので、画像をカメラ空間に再投影し、遮蔽オブジェクトマスクとして使用できる。

＜アクティブボードを使用する遮蔽オブジェクトの検出＞
サッカーのような多くの高価なスポーツ競技では、典型的には、スタティック又は木製広告ボードを使用することを望まず、広告収入を増やすために多数の広告をある期間にわたって表示できる動的なアクティブボードを使用することを望む。そのようなボード（典型的にはＬＥＤボード）は、静止画像並びにビデオ画像を表示できる。これらのボードは、更に、実際の等身大のサッカー選手のビデオも表示できる。ＬＥＤボードは、少なくとも３つの個別の色を混合することによって色を生成する。したがって、ＬＥＤボードの各画素は、少なくとも３つの個別のＬＥＤからなりうる。それらのＬＥＤは、表面実装素子（ＳＭＤ）内にまとめられうる。画素の各ＬＥＤは、固有色（例えば、最も知られた構成では、赤、緑及び青になる）を有しうる。これらは、基本色と呼ばれる。これらの基本色を混合することによって、これらのボードは、任意の他の色を生成できる視覚知覚を、作成できる。ＬＥＤは、それぞれの基本色の個々の周波数応答が、きわめて狭く、スペクトル内の近傍又は非近傍領域への漏れが実質的にないように選択されうる。ＬＥＤボードは、図５ａに示されたものと類似の周波数応答を有する。ＬＥＤボードによって放射される光は、赤色周波数範囲ではピーク６０１、緑色周波数範囲ではピーク６０２、及び青色周波数範囲ではピーク６０３として見える、３つの別個の周波数帯を有する。特殊なスペクトルフィルタ（例えば、制御された小さい周波数スペクトルの光だけを通す帯域フィルタ）を備えたカメラによってＬＥＤボードを取得する場合、このスペクトル帯域フィルタを、可視光内のＬＥＤボードのスペクトル応答の間になるように選択できる。これは図５ｂに示される。フィルタは、赤色周波数帯と緑色周波数帯の間の周波数応答６０４、又は緑色周波数帯と青色周波数帯の間の周波数応答６０５を有しうる。この装置によって取得された画像は、ＬＥＤスクリーンに表示される変化による影響を受けず、したがって、スクリーンの性質により、ＬＥＤスクリーンは、取得された検出画像上でアクティブでないかのように均一な単調分布を有する。遮蔽オブジェクトが、典型的には、実世界オブジェクトであり、きわめて複雑な周波数応答曲線を有するので、これらのオブジェクトは、取得された検出画像内でまだ目に見える。静的バックグラウンドと移動フォアグラウンドの間の変化は、アルゴリズムのうちの１つに送られ、遮蔽オブジェクトの特性及び／又はバックグラウンドモデルに基づいて、遮蔽オブジェクトが計算されうる。

この方法を容易に拡張し、特殊なスペクトル帯域フィルタを非可視光範囲内で適用できる。また、この場合、取得画像は、アクティブスクリーン上に再生されるビデオの表示を示さない。

＜空間周波数差を使用する遮蔽オブジェクトの検出＞
仮説は、実世界の数学的モデルが分かっており、かつ少なくとも１台のカメラが較正されている場合に、組み合わせた情報を使用して、デジタルオーバーレイアプリケーションによって置き換えられるべき面の位置を識別できるというものでよい。前節で述べたように、この面（実世界内にあるか実世界内にないアクティブな面又はアクティブでない面）は、面上のテクスチャが、取得画像内で静的に見えると同時に人間の目で見ているときに移動又は静的内容を有するように、センサによって取得されうる。

この節では、遮蔽オブジェクトの画像特性に基づいて遮蔽オブジェクトを検出するために使用できる３つのアルゴリズムについて述べる。

アルゴリズム１：局所的領域空間差ディスクリプタ（ｌｏｃａｌ Ｒｅｇｉｏｎａｌ Ｓｐａｔｉａｌ ｄｉｆｆｅｒｅｎｃｅ ｄｅｓｃｒｉｐｔｏｒ）に基づく遮蔽オブジェクト検出。
ディスクリプタは、局所的近傍を表す情報を含む多次元ベクトルである。ディスクリプタは、例えば、縁、角、ファーストオーダグラジェント（ｆｉｒｓｔ ｏｒｄｅｒ ｇｒａｄｉｅｎｔ）、形状、色、テクスチャ、モーション情報を含みうる。ディスクリプタの適切な選択は、局所的テクスチャ情報及び領域均一性を記述可能なスケール及び回転不変量ディスクリプタである。これらのディスクリプタの典型的な例は、均一テクスチャディスクリプタ、エッジヒストグラムディスクリプタ、ＳＩＦＴ／ＳＵＲＦディスクリプタ、領域ベースディスクリプタ、時空的ロケータディスクリプタであり、他が存在する。ディスクリプタは、典型的には、検出画像の入力画像内の画素ごとに計算される。この計算から、画素のまわりの局所的テクスチャ情報のディスクリプタを含むパー画素バックグラウンドモデルを、画素ごとに計算できる。このバックグラウンドモデルは、過去を表し、したがって（この節の最初での仮説に基づいて）期待値も表わす。次に、後に続く各入力検出画像とこの画像の各画素について、局所的テクスチャディスクリプタが再び計算される。この局所的テクスチャディスクリプタが、バックグラウンドモデルの対応ディスクリプタと比較される。この比較に基づいて、この画素がバックグラウンドに属する可能性が計算される。モデル内のそれぞれの画素は、同じ可能性関数に基づいて更新される。画素がバックグラウンドに属する可能性が高い場合は、バックグラウンドモデルが、変化したバックグラウンドを考慮するために早く更新され、高くない場合は、バックグラウンドモデルは、更新されるとしても、ゆっくりと更新される。

最後のステップで、可能性関数が、過去時間情報と組み合わされうる。過去時間情報は、以前の検出入力画像のメモリ保存された可能性関数応答の形でよい。過去時間情報の組み合わせは、画素が遮蔽オブジェクトに属するかどうかの最終決定により多くの情報を提供し、この情報を使用してマスキング画像を生成できる。

アルゴリズム２：空間周波数に基づく遮蔽オブジェクト検出。
空間周波数は、ＦＦＴ関数を使用するか、画素のまわりの小領域の解析しその領域に多帯域畳み込みフィルタを適用することによって、計算されうる。多帯域畳み込みフィルタは、空間周波数を選択的にサンプリングすることによって構成されうる。例えば、近傍画素だけが使用される場合、できるだけ高い空間周波数を表わす。特定距離（例えば、５画素離れた）にある画素が使用される場合は、より低い周波数を表わす。様々な畳み込みサイズを有する複数の畳み込みフィルタを組み合わせることによって、多帯域畳み込みフィルタが生成される。例えば、多帯域畳み込みフィルタは、最高周波数では、より低い空間周波数帯域ごとに高いサンプル領域を有する単純なラプラシアンフィルタから構成されうる。

バックグラウンドは、既知の画素ごとの静的空間周波数分布を有する可能性がある。これは、多帯域畳み込みフィルタによって計算されうる。このフィルタは、個別帯域ごとに応答を提供する。他方、遮蔽オブジェクトには、画素ごとの静的空間周波数がない。遮蔽オブジェクトは、典型的には、高空間周波数によって識別される。遮蔽オブジェクトは、移動していることもあり、多数の縁と角を含む。縁と角は、高空間周波数として理解されうる。したがって、高周波数に多数の変化を有する領域は、遮蔽オブジェクトである可能性が高いとマークされる。

アルゴリズム３：ガウス混合（Ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎｓ）に基づく遮蔽オブジェクト検出。
各画素と各カラーチャネルに関して、バックグラウンドモデルは、ガウス混合アルゴリズムに基づいて作成される。新しく入って来る取得検出画像の画素を対応するモデルの画素と比較することによって、画素がバックグラウンドモデルに属する可能性を表わす関数が生成される。統計解析に基づいて、モデルを画素の新しい情報によって更新できる。このようにして、モデルは、新しい状況を学習できる。

前述の全てのアルゴリズムの結果は、メジアンフィルタや低域フィルタのような幾つかのノイズ低減フィルタによって改善されうる。出力マスクは、収縮（ｅｒｏｓｉｏｎ）や膨張（ｄｉｌａｔｉｏｎ）のような形態学的演算と、高品質な結果を生成するマッティング専用の非形態学的演算によって改善されうる。これらの技術の例は、グラフカット、グラブカット、三段階アルファマッティングであり、これらの個別アルゴリズムへの入力は、可能性関数と実カメラ画像を含みうる。

＜システムの構成＞
サッカー競技の際に、デジタルオーバーレイアプリケーションは、典型的には、ホスト放送業者の機器と組み合わせて使用される。ホスト放送業者は、画質、機器の構成及び送出ストリームに責任を負う。したがって、デジタルオーバーレイアプリケーションは、ホスト放送業者の構成のワークフローの妨害を制限するように実施されうる。

放送業者のレンズとカメラの間に配置されたビームスプリッタを使用する選択ができる。ビームスプリッタは、独立センサを取り付ける実現性を提供する。このセンサは、放送業者のイメージセンサと同じ情報を大雑把に取得する。しかしながら、このセンサは、放送業者のセンサの画像及び品質設定を妨げることなくアプリケーションによって完全に制御されうる。ビームスプリッタを使用して放送カメラと同じ透視画像を取得することに加えて、高分解能センサと、放送カメラの全範囲をカバーする魚眼レンズとを備えた１台の較正済み静止カメラ、又は放送カメラの全範囲をカバーする１組の較正済みカメラも選択できる。全てのカメラが較正されるので、１台の較正済みカメラからカメラ空間を表現する放送業者の較正済みカメラに画像を容易にワープできる。

選択された手法に基づき、予備センサに入って来る光は（ビームスプリッタ又はセンサ自体の光学素子を通る）、可視又は不可視光からの特定スペクトルでよい。例えば、前述されたような可視光における特定スペクトル帯域フィルタでよい。

以下の節に、本開示の幾つかの態様を図２に関して記述する。

節１。画像を別の画像でデジタル式にオーバーレイする方法において、
実世界空間のモデルを作成するステップ２００であって、モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含むステップ２００と、
少なくとも１台のカメラをモデルの座標に対して較正するカメラパラメータを識別するステップ２０１と、
少なくとも１つの画像を、それぞれ前記少なくとも１台のカメラで実質的に同時に取得するステップ２０２と、
モデルとカメラパラメータに基づいて、前記少なくとも１つの取得画像内のオーバーレイ面を位置決めするステップ２０３と、
前記少なくとも１つの取得画像の選択取得画像内のオーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、遮蔽オブジェクトの画像特性と、前記少なくとも１つの取得画像の画像である検出画像とに基づいて検出するステップ２０４と、
選択取得画像内のオーバーレイ面の非遮蔽部分をオーバーレイ画像でオーバーレイするステップ２０５とを含む方法。
必要に応じて、選択取得画像をオーバーレイした後で、その画像が出力されうる２０６。

節２。遮蔽オブジェクトの画像特性が、バックグラウンドの空間周波数より遮蔽オブジェクトの空間周波数に関連する節１の方法。

節３。検出画像に基づいてバックグラウンドのモデルを更新するステップを更に含み、
遮蔽オブジェクトの検出が、更に、バックグラウンドのモデルに基づく、節１の方法。

節４。バックグラウンドのモデルが、検出画像のバックグラウンド部分内の画素のまわりのテクスチャの特徴を含み、
バックグラウンドのモデルを更新するステップが、検出画像に基づいて画素のまわりのテクスチャの特徴を調整するステップを含む、節３の方法。

節５。以前に取得された検出画像と比較した現在の検出画像の変化を検出することによって遮蔽オブジェクトを検出するステップを更に含む、節１の方法。

節６。検出画像が、選択取得画像とは異なり、検出画像を取得するために使用されるカメラと、選択取得画像を取得するために使用されるカメラが、互いから離れて取り付けられ、それにより、選択取得画像と検出画像が１対のステレオ画像を構成し、遮蔽オブジェクトの画像特性が、２つのステレオ画像の間の差異に関連する、節１の方法。

節７。モデル内のオーバーレイ面が、実世界内の表示装置を表わす、節１の方法。

節８。実世界内の表示装置に移動画像を表示するステップと、移動画像を選択取得画像内のオーバーレイ画像でオーバーレイするステップとを含む、節７の方法。

節９。実世界内の表示装置に静止画像を表示するステップと、静止画像を選択取得画像内でオーバーレイ画像でオーバーレイするステップとを含む、節７の方法。

節１０。表示装置は、１つ以上の所定の周波数範囲内の放射を放射し、検出画像を取得するために使用されるカメラが、１つ以上の所定の周波数範囲全ての外側の放射を検出し、１つ以上の所定の周波数範囲全ての外側の検出放射を、１つ以上の所定の周波数範囲の内側の放射から区別する、節７の方法。

節１１。検出画像を取得するために使用されるカメラが、１つ以上の所定の周波数範囲全ての外側の可視光を検出し、１つ以上の所定の周波数範囲全ての外側の検出可視光を、１つ以上の所定の周波数範囲の内側の可視光から区別する、節１０の方法。

節１２。オーバーレイ面が、実世界に実在しない仮想面を表わす、節１の方法。

節１３。検出画像が、選択取得画像とは異なる、節１の方法。

節１４。少なくとも１つの画像を取得するステップが、可視光以外の放射を検出するように構成されたカメラによって検出画像を取得することを含む、節１の方法。

節１５。検出画像を取得するために使用されるカメラと、選択取得画像を取得するために使用されるカメラが、同じ対物レンズ又は２つの異なる対物レンズを通して放射を受け取るように構成された、節１の方法。

節１６。オーバーレイ面が、モデル内に、実世界空間内のオーバーレイ面の少なくとも形状、位置及び向きの指示によって表わされる、節１の方法。

本明細書に開示された技術が、１台以上のカメラに適用されうることに注意されたい。例えば、スポーツ競技を取り扱い、スポーツ放送を作成するために複数台のカメラが使用されうる。本明細書に記載された方法及びシステムは、各カメラに適用されうる。例えば、オーバーレイは、現在放送中の取得カメラ画像に適用される。

デジタルオーバーレイは、例えば、標識言語の変更、広告された製品又は製品モデルの変更、色やフォント、文字サイズ、アニメーションなどの外観の変更、様々なスポンサによる広告、静止コンテンツ、動画コンテンツ、カメラの動きと相互作用するアニメーションなどの用途に使用されうる。後者の場合、オーバーレイ画像は、カメラパラメータに応じて生成されうる。

システムは、様々な位置に分散されうる。例えば、カメラが、第１の場所に配置され、画像をデジタル式にオーバーレイするシステムが、異なる場所に配置されてもよい。そのような場合、カメラパラメータと、選択取得画像及び検出画像を含むカメラ画像とは、カメラが配置された場所から、画像をデジタル式にオーバーレイするためのシステムが配置された場所に送信される。例えば、システムを国立放送機関が配置しかつ／又は操作し、それにより各放送機関が、自分のオーバーレイを放送ビデオに追加できる。更に、オーバーレイは、様々な加入者／視聴者が様々なオーバーレイを受け取るように個別化されうる。

本発明の幾つか又は全ての態様が、ソフトウェア、詳細にはコンピュータプログラム製品の形で実施されるように適合されうる。そのようなコンピュータプログラム製品は、ソフトウェアが記憶される記憶媒体（メモリなど）を含みうる。また、コンピュータプログラムは、光ファイバケーブルや空気などの伝送媒体によって伝えられる信号（光信号又は電気磁気信号など）によって表現されうる。コンピュータプログラムは、部分的又は完全に、コンピュータシステムによって実行されるのに適したソースコード、オブジェクトコード又は擬似コードの形態を有しうる。例えば、コードは、１つ以上のプロセッサによって実行されうる。

本明細書に記載された例及び実施形態は、本発明を限定するものではなく例示するものである。当業者は、特許請求の範囲から逸脱せずに代替実施形態を設計できる。特許請求の範囲で括弧に入れられた参照符号は、特許請求の範囲を限定すると解釈されるべきでない。特許請求の範囲又は説明において別個の存在として示された要素は、示した要素の特徴を組み合わせる単一ハードウェア又はソフトウェア要素として実現されうる。

１：デジタルオーバーレイ装置、２：カメラパラメータインタフェース、３：カメラ画像インタフェース、４：記憶装置、５：実世界空間のモデル、６：取得画像、７：オーバーレイ画像、８：ポジショナ、９：ディテクタ、１０：オーバーレイヤ、１１：出力インタフェース、１２：コントローラ、１３：放送事業者、１４：カメラ１、１５：カメラ２、１６：モデルアップデータ、１７：視覚モデル

Claims (15)

1. 画像を別の画像でデジタル式にオーバーレイするためのシステムであって、
   実世界空間のモデルを記憶するための記憶装置であって、前記モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含み、前記モデル内の前記オーバーレイ面が、前記実世界空間内の表示装置を表し、前記表示装置が、１つ以上の所定の周波数範囲内の放射を放射することによって、前記実世界空間内の前記表示装置に移動画像を表示するように構成された記憶装置と、
   少なくとも１台のカメラを前記モデルの座標に対して較正するカメラパラメータを受け取るためのカメラパラメータインタフェースと、
   それぞれ前記少なくとも１台のカメラによって実質的に同時に取得された少なくとも１つの取得画像を受け取るためのカメラ画像インタフェースであって、前記少なくとも１つの取得画像が検出画像を含み、前記検出画像を取得するために使用されるカメラが、前記１つ以上の所定の周波数範囲全ての外側の周波数を有する放射を検出し、前記１つ以上の所定の周波数範囲全ての外側の検出放射を、前記１つ以上の所定の周波数範囲の内側の放射から区別するように構成された、カメラ画像インタフェースと、
   前記少なくとも１つの取得画像内の前記オーバーレイ面の位置を、前記モデルと前記カメラパラメータとに基づいて決定するためのポジショナと、
   前記少なくとも１つの取得画像の選択取得画像内の前記オーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、前記遮蔽オブジェクトの画像特性と前記検出画像とに基づいて検出するためのディテクタと、
   前記選択取得画像内の前記オーバーレイ面の非遮蔽部分を前記オーバーレイ画像でオーバーレイして出力画像を得るためのオーバーレイヤであって、前記実世界空間内の前記表示装置に表示された前記移動画像を、前記選択取得画像内の前記オーバーレイ画像でオーバーレイするように構成されたオーバーレイヤと、
   前記出力画像を出力するための出力インタフェースとを含むシステム。
2. 前記遮蔽オブジェクトの前記画像特性が、画素の近傍のディスクリプタに関連し、前記ディスクリプタが、空間周波数を含み、前記ディテクタが、前記検出画像の画素のディスクリプタを前記遮蔽オブジェクトのディスクリプタと比較するように構成された、請求項１に記載のシステム。
3. バックグラウンドのモデルを前記検出画像に基づいて更新するためのモデルアップデータを更に含み、
   前記ディテクタが、前記バックグラウンドの前記モデルに基づいて前記遮蔽オブジェクトを更に検出するように構成された、請求項１に記載のシステム。
4. 前記バックグラウンドの前記モデルが、前記バックグラウンドのテクスチャの特徴のモデルを含み、
   前記モデルアップデータが、画素のまわりの前記テクスチャの特徴のモデルを前記検出画像に基づいて調整するように構成された、請求項３に記載のシステム。
5. 前記ディテクタは、以前に取得された検出画像と比較した現在の検出画像の変化を検出することによって前記遮蔽オブジェクトを検出するように構成された、請求項１に記載のシステム。
6. 前記検出画像が、前記選択取得画像と異なり、カメラインタフェースが、異なるカメラから前記検出画像と前記選択取得画像を受け取るように構成された、請求項１に記載のシステム。
7. 前記検出画像を取得するために使用されるカメラと、前記選択取得画像を取得するために使用されるカメラとが、互いから離れて取り付けられ、それにより、前記選択取得画像と前記検出画像が、１対のステレオ画像を構成し、前記遮蔽オブジェクトの前記画像特性が、２つのステレオ画像の間の差異に関係する、請求項６に記載のシステム。
8. 前記検出画像を取得するために使用されるカメラが、可視光以外の放射を検出するように構成された、請求項６に記載のシステム。
9. 前記検出画像を取得するために使用されるカメラと、前記選択取得画像を取得するために使用されるカメラが、同じ対物レンズ又は２つの異なる対物レンズを通して放射を受け取るように構成された、請求項６に記載のシステム。
10. 前記表示装置が、前記実世界空間内の前記表示装置に静止画像を表示するように構成され、前記オーバーレイヤが、前記静止画像を前記選択取得画像内の前記オーバーレイ画像でオーバーレイするように構成された、請求項１に記載のシステム。
11. 前記検出画像を取得するために使用されるカメラが、前記１つ以上の所定の周波数範囲全ての外側の可視光を検出し、前記１つ以上の所定の周波数範囲全ての外側の検出可視光を、前記１つ以上の所定の周波数範囲の内側の可視光と区別するように構成された、請求項１に記載のシステム。
12. 前記オーバーレイ面が、前記実世界空間内に実在しない仮想面を表す、請求項１に記載のシステム。
13. 前記オーバーレイ面が、前記実世界空間内の前記オーバーレイ面の少なくとも形状、位置及び向きの指示によってモデル内に表わされる、請求項１に記載のシステム。
14. 画像を別の画像でデジタル式にオーバーレイする方法であって、
    実世界空間のモデルを作成するステップであって、前記モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含み、前記モデル内の前記オーバーレイ面が、前記実世界空間内の表示装置を表し、前記表示装置が、１つ以上の所定の周波数範囲内の放射を放射することによって、前記実世界空間内の前記表示装置に移動画像を表示するように構成されたステップと、
    少なくとも１台のカメラを前記モデルの座標に対して較正するカメラパラメータを識別するステップと、
    それぞれ前記少なくとも１台のカメラによって実質的に同時に少なくとも１つの画像を取得するステップであって、前記少なくとも１つの取得画像が検出画像を含み、前記検出画像を取得するために使用されるカメラが、前記１つ以上の所定の周波数範囲全ての外側の周波数を有する放射を検出し、前記１つ以上の所定の周波数範囲全ての外側の検出放射を、前記１つ以上の所定の周波数範囲の内側の放射と区別するように構成されたステップと、
    前記少なくとも１つの取得画像内のオーバーレイ面を、前記モデルと前記カメラパラメータとに基づいて位置決めするステップと、
    前記少なくとも１つの取得画像の選択取得画像内の前記オーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、前記遮蔽オブジェクトの画像特性と前記検出画像とに基づいて検出するステップと、
    前記実世界空間内の前記表示装置に表示された移動画像を前記選択取得画像内の前記オーバーレイ面でオーバーレイすることによって、前記選択取得画像内の前記オーバーレイ画像の非遮蔽部分を前記オーバーレイ画像でオーバーレイするステップとを含む方法。
15. コンピュータプログラムであって、コンピュータに、
    実世界空間のモデルを記憶するステップであって、前記モデルが、オーバーレイ画像でオーバーレイされるオーバーレイ面を含み、前記モデル内の前記オーバーレイ面が、前記実世界空間内の表示装置を表し、前記表示装置が、１つ以上の所定の周波数範囲内の放射を放射することによって前記実世界空間内の前記表示装置に移動画像を表示するように構成されたステップと、
    少なくとも１台のカメラを前記モデルの座標に対して較正するカメラパラメータを受け取るステップと、
    それぞれ前記少なくとも１台のカメラによって実質的に同時に取得された少なくとも１つの画像を受け取るステップであって、少なくとも１つの取得画像が検出画像を含み、前記検出画像を取得するために使用されるカメラが、前記１つ以上の所定の周波数範囲全ての外側の周波数を有する放射を検出し、前記１つ以上の所定の周波数範囲全ての外側の検出放射を、前記１つ以上の所定の周波数範囲の内側の放射から区別するように構成されたステップと、
    前記少なくとも１つの取得画像内の前記オーバーレイ面の位置を、前記モデルと前記カメラパラメータに基づいて決定するステップと、
    前記少なくとも１つの取得画像の選択取得画像内の前記オーバーレイ面を少なくとも部分的に遮る遮蔽オブジェクトを、前記遮蔽オブジェクトの画像特性と前記検出画像とに基づいて検出するステップと、
    前記実世界空間内の前記表示装置に表示された前記移動画像を、前記選択取得画像内の前記オーバーレイ画像でオーバーレイすることによって、前記選択取得画像内の前記オーバーレイ面の非遮蔽部分を前記オーバーレイ画像でオーバーレイして出力画像を得るステップと、
    前記出力画像を出力するステップとを実行させる命令を含むコンピュータプログラム。