JPWO2014069247A1 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

本開示は、画像処理における演算負荷を抑制することができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。粗検出用成分検出部は、画像に映されている複数のマーカーを検出する。マーカー選択部は、粗検出用成分検出部により検出された複数のマーカーの中から、所定数のマーカーを選択する。詳細検出用成分検出部は、マーカー選択部により選択された所定数のマーカーを、粗検出用成分検出部よりも詳細に検出する。推定処理部は、詳細検出用成分検出部による検出結果に基づいて、マーカーの位置および姿勢を推定する。本技術は、例えば、カメラで撮影した人物の背景に、別の背景画像を合成する画像処理装置に適用できる。

Description

本開示は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、画像処理における演算負荷を抑制することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

従来、既知のマーカーをカメラで撮影した画像を解析して、画像上のマーカーの位置および姿勢を推定するとともに、マーカーとカメラとの相対的な位置および姿勢を求める技術が開発されている。

ところで、カメラとマーカーとの距離が遠いために画像に映されるマーカーが小さくなったり、カメラを移動または回転させたときにマーカーが画角から外れてしまったりすることがある。このため、複数のマーカーを配置し、カメラの画角内でマーカーが比較的に大きめに撮影されるような工夫が施される。

例えば、特許文献１には、単一のマーカー内に幾何学的な特徴を配することにより、単一のマーカーのみでマーカーとカメラとの相対的な位置および姿勢を推定可能とし、複数のマーカーの画像上の位置によるマーカーとカメラとの相対的な位置および姿勢の推定結果と、単一のマーカーによるマーカーとカメラとの相対的な位置および姿勢の推定結果とを、画像内に映るマーカーの状況に応じて切り替える技術が開示されている。

特開２００２−９０１１８号公報

ところで、固定カメラを設置する場合のキャリブレーションなど、カメラの位置や姿勢の変化が少ない場合には、マーカーを適切な位置に配置することでマーカー数の増大をある程度抑えることが可能である。しかしながら、カメラを自由に動かすような場合には、撮影範囲内に比較的密にマーカーを配置する必要がある。特に、推定されたマーカーとカメラの相対的な位置および姿勢を用いて、コンピュータグラフィックなどを違和感なく実写映像に重畳する場合には高精度な推定結果が必要となる。このように複数のマーカーに対する推定処理の高精度化に伴って演算負荷が上昇してしまうことになり、推定処理装置の演算資源を考慮すると、演算負荷を抑制することが必要である。

本開示は、このような状況に鑑みてなされたものであり、画像処理における演算負荷を抑制することができるようにするものである。

本開示の一側面の画像処理装置は、画像に映されている複数のマーカーを検出する第１の検出部と、前記第１の検出部により検出された複数の前記マーカーの中から、所定数の前記マーカーを選択する選択部と、前記選択部により選択された所定数の前記マーカーを、前記第１の検出部より詳細に検出する第２の検出部と、前記第２の検出部による検出結果に基づいて、前記マーカーの位置および姿勢を推定する推定部とを備える。

本開示の一側面の画像処理方法またはプログラムは、画像に映されている複数のマーカーを検出し、検出された複数の前記マーカーの中から、所定数の前記マーカーを選択し、選択された所定数の前記マーカーを、より詳細に検出し、その検出結果に基づいて、前記マーカーの位置および姿勢を推定するステップを含む。

本開示の一側面においては、画像に映されている複数のマーカーが検出され、それらの複数のマーカーの中から、所定数のマーカーが選択され、所定数のマーカーが、より詳細に検出されて、その検出結果に基づいて、マーカーの位置および姿勢が推定される。

本開示の一側面によれば、画像処理における演算負荷を抑制することができる。

カメラで撮影した人物の背景に、別の背景画像を合成する画像処理について説明する図である。 本技術を適用した画像処理システムの第１の実施の形態の構成例を示すブロック図である。 画像処理システムにおいて使用されるマーカーの一例を示す図である。 マーカーの概略補正およびマッチングについて説明する図である。 マーカーの変形例を示す図である。 マーカー位置推定処理を説明するフローチャートである。 詳細検出の対象として選択する所定数のマーカーについて説明する図である。 手持ちボードのためのクロマキー撮影状況について説明する図である。 本技術を適用した画像処理システムの第２の実施の形態の構成例を示すブロック図である。 マーカー位置推定処理を説明するフローチャートである。 詳細検出の対象として選択する所定数のマーカーについて説明する図である。 実空間に仮想オブジェクトを配置するためのマーカー配置について説明する図である。 マーカーの変形例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

まず、図１を参照して、カメラで撮影した人物の背景に、別の背景画像を合成する画像処理について説明する。

一般的に、カメラが固定されている場合には、いわゆるブルーバックの背景で人物の撮影を行い、クロマキー処理を行うことによって、カメラで撮影された映像のブルーバック部分を背景画像に置き換える画像処理が行われる。一方、カメラが移動または回転する場合には、カメラの移動または回転に応じて背景画像を変化させる必要がある。このため、カメラの移動および方向の変化を取得して、その変化に合わせて映像のブルーバック部分を背景画像に置き換える画像処理が行われる。しかしながら、カメラの移動および方向の変化量を検出可能なセンサーをカメラに取り付け、そのセンサーの出力に従って背景画像を置き換えるようなシステムは、高価なものになると想定される。

そこで、図１に示すように、ブルーバックの背景にマーカーと呼ばれる標を配置して撮影することで、画像処理によってカメラの移動および方向の変化量を推定し、その変化に合わせて映像のブルーバック部分を背景画像に置き換える画像処理が提案されている。

図１のＡには、カメラによる被写体の撮影風景が示されており、図１のＢには、クロマキー処理を施して、背景画像を張り付けることにより得られる合成結果が示されている。

図１のＡに示すように、カメラ１１が人物１２を被写体として撮影する場合、人物１２の背後に青い壁面１３が配置され、壁面１３には、複数のマーカー１４が張り付けられる。また、図１のＡには、カメラ１１の画角に従って撮影される範囲が実線の矩形により示されており、この矩形内の領域が、カメラ１１により撮影される撮影画像１５となる。このとき、撮影画像１５に所定数以上のマーカー１４が入るように複数のマーカー１４が壁面１３に配置され、一部のマーカー１４が撮影画像１５の枠外に移動（フレームアウト）しても、他のマーカー１４が撮影画像１５の枠内に入るようになっている。

このような複数のマーカー１４を利用して、壁面１３の一面にぴったりと背景画像を張り付ける画像処理を行うことで、カメラ１１が移動または回転しても違和感の少ない合成画像を作成することができる。

このような画像処理を施すことにより、図１のＢに示すように、人物１２の背後に背景画像１６が張り付けられる。図１のＢでは、破線の矩形により示される領域が、カメラ１１により撮影される撮影画像１５に対して画像処理が行われて出力される出力画像１７を表している。背景画像１６は、出力画像１７よりも広い領域に張り付けられ、カメラ１１が移動または回転すると、この出力画像１７が移動する形になって、人物１２とともに出力画像１７に写り込む背景画像１６が変化するため、自然な出力画像を得ることができる。

このような出力画像１７を出力するためには、カメラ１１により撮影された撮影画像１５における複数のマーカー１４の位置を正確に取得し、マーカー１４の位置に合わせて壁面１３に背景画像１６を張り付ける画像処理を行う必要がある。なお、以下の説明では、カメラ１１のレンズの歪曲収差などは予め把握されており、歪曲収差を除去して扱うものとする。

例えば、人物１２の背景の壁面１３における平面上の点（ｕ_i，ｖ_i）と、背景画像１６における平面上の点（ｘ_i，ｙ_i）との関係は、同次座標系表現を用いると、次の式（１）に示すような３×３行列のホモグラフィ（homography）行列Ｈによって表現される。但し、式（１）において、（ｗ_iｕ_i，ｗ_iｖ_i，ｗ_i）は、（ｕ_i，ｖ_i）の同次座標である。

・・・（１）

ここで、ホモグラフィ行列Ｈの要素であるｈ₀₀〜ｈ₂₂については、定数倍の自由度があるので、例えば、ｈ₂₂＝１とおき、ｗ_iを消去してｈ₀₀〜ｈ₂₁について整理すると、式（１）は、次の式（２）となる。

・・・（２）

そして、式（２）より、壁面１３における平面上の点（ｕ_i，ｖ_i）と、背景画像１６における平面上の点（ｘ_i，ｙ_i）との関係が４点以上あれば、ホモグラフィ行列Ｈを算出することができる。従って、壁面１３に４個のマーカー１４（ｉ＝０，１，２，３）を張り付け、それらのマーカー１４の位置に対応する背景画像１６における座標（ｘ_i，ｙ_i）と、撮影画像１５におけるマーカー１４の位置（ｕ_i，ｖ_i）とを検出することでホモグラフィ行列Ｈを算出することができる。ここで、上述の式（１）を変形すると、次の式（３）となる。

・・・（３）

この式（３）を用いて、出力画像１７における背景部分に、背景画像１６を張り付ける画像処理を行うことができる。即ち、出力画像１７において背景画像１６を貼るべきピクセルの座標（ｕ，ｖ）に、背景画像１６におけるピクセル座標（ｘ，ｙ）のピクセル値で着色すればよい。なお、縮小拡大や量子化誤差を考慮して、通常、処理の対象となるピクセルの近傍のピクセル値を用いてフィルタリングした画素値が多く用いられる。

このような画像処理が従来より行われているが、上述したように、演算負荷を抑制することが必要とされていた。

即ち、単純なマーカー１４の検出位置はピクセル単位である上、撮影画像１５にはノイズが含まれており、検出位置に検出誤差が含まれることが想定されるため、式（３）によって得られる背景画像の貼り付け精度が低下することになる。特に、ノイズによる検出位置の誤差が時間的に変化するため、出力画像１７において背景が微細に振動するような結果となり、出力画像１７の品質が低下する原因となる。

このような出力画像１７の品質の低下に対しは、ノイズの影響や量子化誤差の影響を受けないようなマーカー位置検出方法を用いる必要がある。一般的には、マーカー１４の位置を検出するための検出点（例えば、コーナーなどの特徴点やブロックマッチングのブロックの中心点など）を増加して、多数の検出点から最小二乗法などに基づいて、確度の高いホモグラフィ行列Ｈを求めることで、ノイズのキャンセルと、量子化誤差の減少とを図ることができると想定される。

また、カメラ１１の移動または回転によりマーカー１４が画角内から外れて、撮影画像１５に写り込まなくなる場合がある。例えば、カメラ１１のパンを考慮して、画面中央のみにマーカー１４を配置した場合には、マーカー１４から離れるに従ってマーカー１４の検出位置の誤差の影響が大きくなるため、出力画像１７の端部において背景の揺れが大きくなってしまう。

これに対しては、マーカー１４の個数を増大させ、図１のＡに示したように、壁面１３の一面にある程度密にマーカー１４を貼り付けて必要数以上のマーカー１４が常に映るように撮影すればよい。しかしながら、マーカー１４の個数を単純に増大した場合には、マーカー１４の個数に伴って検出処理負荷が増大するため、その負荷の増大を抑制することが求められている。

そこで、本技術では、マーカー１４の位置を検出する検出精度の向上、並びに、カメラ１１の位置および方向の変化による演算負荷の増大を抑制することを目的としている。

図２は、本技術を適用した画像処理システムの第１の実施の形態の構成例を示すブロック図である。

図２において、画像処理システム２１は、撮影装置２２、映像再生装置２３、画像合成処理装置２４、およびマーカー位置推定部２５を備えて構成される。

撮影装置２２は、図１のカメラ１１に相当し、合成処理に用いるマーカー１４が映し込まれた撮影画像１５を、画像合成処理装置２４およびマーカー位置推定部２５に供給する。また、画像処理システム２１では、撮影装置２２により撮影される撮影画像１５に対してリアルタイムに画像処理を施す他、既に撮影済みの撮影画像１５を、映像再生装置２３が再生して画像合成処理装置２４およびマーカー位置推定部２５に供給し、画像処理を施すようにすることができる。

画像合成処理装置２４は、マーカー位置推定部２５により推定されたマーカー１４の位置および姿勢に基づいて、撮影装置２２または映像再生装置２３から供給される撮影画像１５に写されている人物１２の背景に背景画像１６を貼り付ける画像合成処理を行う。

マーカー位置推定部２５は、粗検出用成分検出部３１、マーカー選択部３２、詳細検出用成分検出部３３、および推定処理部３４を有し、撮影装置２２または映像再生装置２３から供給される撮影画像１５に写されているマーカー１４の位置を推定する。

粗検出用成分検出部３１は、マーカー１４の粗検出用成分を利用して、演算負荷が軽い検出処理であるマーカー１４の粗検出を行う。また、粗検出用成分検出部３１は、マーカー１４の粗検出用成分を利用して、個々のマーカー１４を区別するための情報であるマーカーＩＤ（Identification）を、マーカー１４から検出する。

マーカー選択部３２は、粗検出用成分検出部３１が撮影画像１５の全体から検出した複数のマーカー１４の中から、詳細検出用成分検出部３３による詳細検出の対象とする所定数のマーカー１４を選択する。例えば、マーカー選択部３２は、詳細検出用成分検出部３３の処理負荷や、演算能力、処理速度などから決められる所定数のマーカー１４を選択する。また、マーカー選択部３２は、撮影画像１５に映されているマーカー１４の種類や画面内での位置を考慮して所定数のマーカー１４を選択する。

詳細検出用成分検出部３３は、マーカー１４の詳細検出用成分を利用して、演算負荷は重いが高い位置精度で検出することができる検出処理であるマーカー１４の詳細検出を行う。

推定処理部３４は、詳細検出用成分検出部３３によるマーカー１４の詳細な検出結果から、上述したようなホモグラフィ行列Ｈを算出することにより、マーカー１４の位置および姿勢を推定する。そして、推定処理部３４により推定されたマーカー１４の位置および姿勢に基づいて、画像合成処理装置２４による画像合成が行われる。

ここで、画像処理システム２１において使用されるマーカー１４は、粗検出用成分および詳細検出用成分を有するものが用いられる。

図３には、画像処理システム２１において使用されるマーカー１４の一例が示されている。

図３のＡに示すように、マーカー１４は、粗検出用成分である２次元コードが４隅に配置された粗検出用画像４１と、詳細検出用画像４２である自然画像とが重ね合わされて、空間的に両方の成分が混在する構成となっている。図３のＢには、マーカー１４を斜め方向から撮影した画像から、マーカー１４の部分だけを切り出したものが示されている。

粗検出用画像４１は、２次元コードのように微細な模様を有さない画像であるので、カメラ１１から離れて撮影されて小さく映された場合においても、比較的に安定して検出することができる。また、粗検出用画像４１は、図３のＢに示すように、マーカー１４を斜め方向から撮影した場合にも、つまり、カメラ１１がマーカー１４に対して正対していないために射影変換が掛かった画像になった場合にも、射影変換による歪の影響を軽減することができる。

さらに、粗検出用画像４１は、検出処理の負荷を軽減することができるので、粗検出用成分に適した検出指標である。なお、粗検出用画像４１は、大きく写されたときや、正面から写されたときにも粗検出用成分として適したものである。

また、粗検出用画像４１の２次元コードには、マーカー１４を識別するためのマーカーＩＤが埋め込まれており、粗検出用成分検出部３１は、マーカー１４の２次元コードからマーカーＩＤを検出して出力する。マーカーＩＤは、例えば、人物１２の背後にある壁面１３のどの位置に貼られたマーカー１４であるかを判別するために使用される。

また、斜め方向から写された粗検出用画像４１に対して、２次元コードそれぞれの中心４点を用いた画像変換が行われ、マーカー１４が正面から写されたような画像に変形する概略補正が施される。

即ち、図４のＡの左側に示されているような粗検出用画像４１が、概略補正により、図４のＡの右側に示すような粗検出用画像４１’に変形される。なお、この変形は、粗検出用画像４１の２次元コードそれぞれの中心４点を用いて行うのに限られることはなく、位置をどこにとってもよい。

図４のＡに示すような変形は、上述の式（２）を演算することによって、ホモグラフィ行列Ｈ’を求めることで、補正後の粗検出用画像４１’における座標（ｕ_i’，ｖ_i’）に対して、次の式（４）に示すように（ｕ_i，ｖ_i）を算出して、補正前の粗検出用画像４１のピクセル値を得ることによって可能となる。

・・・（４）

実際に、粗検出用画像４１を利用してマーカー１４を補正すると、図４のＢの左側に示すマーカー１４が、図４のＢの中央に示すマーカー１４’のように補正される。ここでは、粗検出用画像４１を用いた補正であるので、若干の射影成分が残っていることより、図４のＢの右側に示すマーカー元画像４３（マーカー１４の元となる画像）とは若干異なるものとなっている。

そこで、マーカー位置推定部２５では、詳細検出用成分検出部３３により、詳細成分を用いた検出処理が行われる。

詳細検出用成分検出部３３は、マーカー元画像４３における解像度で、自然画像内の特定点のブロックマッチングを行う。自然画像は、細部でのマッチングが多くの点で行える図柄であり、マッチング処理を安定的に行うことができる。なお、詳細検出用成分検出部３３による検出処理は、自然画像やブロックマッチングなどに限定されるものではない。

ここで、マーカー元画像４３に対して、画像内の特定点（フロックマッチングを行う上で周辺と間違い難い多数の点）を、マーカー１４またはマーカー１４’から検索することを考えると、射影変換の多く掛かったマーカー１４に比較して、マーカー１４’の方が、ブロックの整合性は高く、格段に高精度な検索結果を得ることができる。

従って、詳細検出用成分検出部３３は、粗検出用成分検出部３１による検出結果を用いて撮影されたマーカー１４を補正し、マーカー１４’とマーカー元画像４３とのマッチングを行うことで、詳細検出用成分の検出精度を向上させることができる。

また、図５には、マーカー１４の変形例が示されている。

図５には、粗検出用画像４１Ａと詳細検出用画像４２とを変調により混在させたマーカー１４Ａが示されている。

即ち、図５のＡの左側には、粗検出用成分である２次元コードが、マーカー１４Ａの全体に亘って存在している粗検出用画像４１Ａが示されている。この粗検出用画像４１Ａで、図５のＡの中央に示されている詳細検出用画像４２を変調することによりマーカー１４Ａを得ることができる。マーカー１４Ａは、粗検出用成分検出部３１がマーカー１４Ａの粗検出を行う際の縮小においてもつぶれ難くなる性質をもつ。

例えば、図５のＢには、粗検出用画像４１Ａおよび詳細検出用画像４２の変調（一次元表現）が示されており、マーカー１４Ａ上のあるｘ軸に平行なラインに対して、粗検出用成分の２次元コードに対する詳細成分の変調を行う様子が示されている。粗検出用画像４１Ａの２次元コードに対して、詳細検出用画像４２の詳細検出用成分（自然画像）で変調すると、大局的には２次元コードでありながら、詳細には詳細検出用成分が含まれるように変調されたマーカー１４Ａを作成することができる。

なお、詳細検出用画像４２の詳細検出用成分の階調は半分以下に制限されるが、粗検出用成分検出部３１による粗検出処理での基準輝度判定には影響なく詳細検出用成分を重畳することができる。そして、粗検出結果により２次元コードが判別されれば、２次元コード成分を減算することにより、詳細検出用成分は復元できるため、詳細検出用画像４２は、これを用いて詳細検出処理を行うことが可能になる。また、図４を参照して説明した概略補正では、粗検出された２次元コードの４頂点や２次元コード上のコーナー点などを用いることができる。

次に、図６のフローチャートを参照して、マーカー位置推定部２５によるマーカー位置推定処理について説明する。また、マーカー位置推定部２５は、撮影装置２２または映像再生装置２３から撮影画像１５が供給されるとマーカー位置推定処理を開始し、撮影画像１５の１フレームごとにマーカー位置推定処理を行う。

ステップＳ１１において、粗検出用成分検出部３１は、マーカー１４の粗検出用成分を利用して、演算負荷の増大が比較的に抑制された方法を用いて撮影画像１５からマーカー１４を粗く検出する、マーカー１４の粗検出を行う。例えば、粗検出用成分検出部３１は、撮影画像１５を二値化して、２次元コードの白枠を全スキャンすることで粗検出用画像４１を検出することにより、マーカー１４を粗検出する。また、例えば、粗検出用成分検出部３１は、撮影画像１５の解像度を低下させた状態で処理を行うことにより、位置精度としては粗いが、比較的に歪には強く、かつ、演算負荷の小さい処理を行うことができる。

ステップＳ１２において、粗検出用成分検出部３１は、マーカー１４の粗検出が完了したか否かを判定し、マーカー１４の粗検出が完了していないと判定した場合、処理はステップＳ１１に戻る。例えば、粗検出用成分検出部３１は、撮影画像１５に映されている全てのマーカー１４を検出すると、マーカー１４の粗検出が完了と判定する。即ち、撮影画像１５に映されている全てのマーカー１４を検出するまで、ステップＳ１１の処理が繰り返して行われる。

ステップＳ１２において、粗検出用成分検出部３１が、マーカー１４の粗検出が完了したと判定した場合、処理はステップＳ１３に進む。

ステップＳ１３において、マーカー選択部３２は、ステップＳ１１で粗検出用成分検出部３１が検出した複数のマーカー１４の中から、詳細検出用成分検出部３３による詳細検出の対象とする所定数のマーカー１４を選択する。なお、マーカー選択部３２がマーカー１４を選択する処理については、図７を参照して後述する。

ステップＳ１４において、詳細検出用成分検出部３３は、マーカー１４の詳細検出が完了したか否かを判定する。例えば、詳細検出用成分検出部３３は、ステップＳ１３でマーカー選択部３２が詳細検出の対象として選択した所定数のマーカー１４の全てについて詳細検出を行うと、マーカー１４の詳細検出が完了したと判定する。

ステップＳ１４において、詳細検出用成分検出部３３がマーカー１４の詳細検出が完了していないと判定した場合、処理はステップＳ１５に進む。

ステップＳ１５において、詳細検出用成分検出部３３は、マーカー１４の詳細検出用成分を利用して撮影画像１５からマーカー１４を詳細に検出する、マーカー１４の詳細検出を行う。

例えば、詳細検出用成分検出部３３は、図４のＢを参照して説明したように、マーカー１４を概略補正したマーカー１４’とマーカー元画像４３とのマッチング結果から得られた多数の特定点に対して、マーカー元画像４３での座標（ｘ_i，ｙ_i）と、マーカー１４の座標（ｕ_i，ｖ_i）との関係を求める。これは、マーカー元画像４３の特定点（ｘ_i，ｙ_i）に対するマーカー１４’の特定点の座標（ｕ_i’，ｖ_i’）に対して、上述の式（４）の変換を用いてマーカー１４の座標（ｕ_i，ｖ_i）を算出することにより求められる。これにより、詳細検出用成分検出部３３は、マーカー１４を詳細検出した検出結果として、マーカー１４上の詳細成分である多数の特定点について、撮影画像１５上の座標（ｕ_i，ｖ_i）と、マーカー元画像４３上の座標（ｘ_i，ｙ_i）との対応関係を出力とする。

ステップＳ１５の処理後、処理はステップＳ１４に戻り、ステップＳ１４においてマーカー１４の詳細検出が完了したと判定されるまでステップＳ１５の処理が繰り返される。そして、ステップＳ１４においてマーカー１４の詳細検出が完了したと判定された場合、処理はステップＳ１６に進む。

ステップＳ１６において、推定処理部３４は、ホモグラフィ行列Ｈを算出することにより、マーカー１４の位置および姿勢を推定する。

例えば、上述したように、詳細検出用成分検出部３３が、マーカー１４上の詳細成分である多数の特定点について、撮影画像１５上の座標（ｕ_i，ｖ_i）と、マーカー元画像４３上の座標（ｘ_i，ｙ_i）との対応関係を出力した場合について説明する。

推定処理部３４は、粗検出用成分検出部３１により検出されたマーカー１４のマーカーＩＤによって、詳細検出用成分検出部３３により検出されたマーカー１４の背景画像１６上での座標を算出し、マーカー元画像４３上の座標（ｘ_i，ｙ_i）を変換して座標（Ｘ_i，Ｙ_i）とする。推定処理部３４は、このような変換処理を、詳細検出用成分検出部３３により検出された全てのマーカー１４に対して施すことで、背景画像１６上での座標（Ｘ_i，Ｙ_i）と撮影画像１５上での座標（ｕ_i，ｖ_i）の対応関係を多数取得する。

そして、この対応関係の数をＮとし、最終的に出力するホモグラフィ行列をＨとすると、（２Ｎ）×８の行列Ａ、ホモグラフィ行列Ｈの要素の８個を要素とするベクトルｈ、および、撮影画像１５上の座標（ｕ_i’，ｖ_i’）を順に並べた２Ｎ個の要素を持つベクトルｂの関係は、次の式（５）で表される。

・・・（５）

ここで、上述の式（４）と同様に、式（５）は、未知数ｈの要素よりも方程式数が多い過剰方程式となっており、次の式（６）の二乗誤差を最小にするベクトルｈは、次の式（７）のように、行列Ａの置換行列Ａ^tを用いて求めることができる。

・・・（６）

・・・（７）

推定処理部３４は、ステップＳ１６において、最終出力としてのホモグラフィ行列Ｈを算出して出力する。

以上のように、マーカー位置推定部２５によるマーカー位置推定処理が行われる。このとき、ステップＳ１５において、ステップＳ１１での粗検出用成分による検出結果を用いて撮影画像１５に映されているマーカー１４を概略補正するため、詳細検出用成分の検出精度を向上させることができる。

なお、ステップＳ１５の処理において、詳細検出用成分検出部３３は、マーカー元画像４３と、撮影画像１５の座標変換を示すホモグラフィ行列Ｈを、検出結果として出力してもよい。

つまり、図４を参照して上述したように、撮影画像１５に映されているマーカー１４を補正したマーカー１４’とマーカー元画像４３とからは、多数の特定点に対するマッチング結果が得られる。このことより、詳細検出用成分検出部３３は、最小二乗法を用いて、マーカー１４’とマーカー元画像４３との間のホモグラフィ行列Ｈ’’を求めて、検出結果とする。

例えば、マッチング結果が得られた特定点の数をＮとすると、上述の式（２）は、（２Ｎ）×８の行列Ａ、ホモグラフィ行列Ｈ’’の要素の８個を要素とするベクトルｈ’’、および、マーカー１４’上のＮ個の特定点の座標（ｕ_i’，ｖ_i’）を順に並べた２Ｎ個の要素を持つベクトルｂにより、次の式（８）で表される。

・・・（８）

ここで、式（８）は、未知数ｈ’’の要素数よりも方程式数が多い過剰方程式になっており、次の式（９）の二乗誤差を最小にするベクトルｈ’’は、次の式（１０）のように、行列Ａの置換行列Ａ^tを用いて求めることができる。

・・・（９）

・・・（１０）

これにより得られたホモグラフィ行列Ｈ’’を用いると、上述の式（１）と同様に、マーカー１４’上のＮ個の特定点の座標（ｕ_i’，ｖ_i’）と、マーカー元画像４３上のＮ個の特定点の座標（ｘ_i，ｙ_i）の関係は、次の式（１１）のように表される。

・・・（１１）

そして、上述の式（４）に、ｗ_i’’を掛けて式（１１）に代入すると、次の式（１２）を得ることができる。

・・・（１２）

このようにして求められたホモグラフィ行列Ｈの積Ｈ’Ｈ’’を、詳細検出用成分検出部３３は、マーカー１４のホモグラフィ行列Ｈとして出力する。

このように、図６のステップＳ１５において詳細検出用成分検出部３３がホモグラフィ行列Ｈを検出結果として出力した場合における、ステップＳ１６での処理について説明する。

ステップＳ１５で出力されるホモグラフィ行列Ｈと、ステップＳ１１で粗検出用成分検出部３１により判別されたマーカー１４のマーカーＩＤによって、各マーカー１４のマーカー元画像４３の座標（ｘ_i，ｙ_i）と、背景画像１６上での座標（Ｘ_i，Ｙ_i）とは、次の式（１３）のように示される。

・・・（１３）

ここで、式（１３）において、多くの場合、ｇ₂₀＝ｇ₂₁＝０となり、ｇ₂₂＝１となって、ｗ⁰ _i＝１である。また、式（１３）では、行列Ｇは、マーカー１４ごとに異なっているため、それぞれのマーカー１４に対してステップＳ１５で求めたホモグラフィ行列Ｈを用いた式（１４）を得ることができる。

・・・（１４）

そして、マーカー１４ごとに得られる式（１４）の行列Ｈと行列Ｇとの積が、定数倍の差を除いて一定していれば、その積が、ステップＳ１６で出力すべき最終的なホモグラフィ行列Ｈである。しかしながら、通常は不一致となるために、整合処理が必要となる。

整合処理としては、例えば、それぞれのマーカー１４に対するステップＳ１５での詳細検出処理結果が同様に信頼できるとするならば、それぞれのマーカー１４の代表点位置（ｘ_i，ｙ_i）を複数用意し、式（１４）によって得られた（ｕ_i，ｖ_i）との関係から、上述の式（５）に相当する過剰方程式を立てて最小二乗法を行うことにより、最終的なホモグラフィ行列Ｈを算出することができる。

一方、マーカー１４ごとに信頼度が異なるのであれば、信頼度に応じて代表点数を増減して、上述の式（５）を立てて最小二乗法を行うことにより、最終的なホモグラフィ行列Ｈを算出することができる。

次に、図７を参照して、マーカー選択部３２が、詳細検出の対象として選択する所定数のマーカー１４について説明する。

例えば、図１に示したように、カメラ１１の画角に従った撮影画像１５に６個のマーカー１４が映されている場合、それらのマーカー１４を全て詳細検出の対象とすると、演算負荷が増大することになる。そのため、マーカー選択部３２は、演算負荷の増大を抑制するために、６個のマーカー１４の中から、所定数のマーカー１４を詳細検出の対象として選択する。なお、図１では、撮影画像１５の左下に７個目のマーカー１４が中途半端な状態で半分入っている。

このような状況で、所定数のマーカー１４を詳細検出の対象として選択し、撮影画像１５と背景画像１６との関係を示すホモグラフィ行列Ｈを算出するのに、何個のマーカー１４を用いるのかについて図７を参照して説明する。

まず、マーカー位置の検出精度向上で既に示したように、本実施の形態で示したマーカー１４を用いると、１枚のマーカー１４でも背景画像１６と撮影画像１５との関係を示すホモグラフィ行列Ｈを算出することができる。しかしながら、１枚のマーカー１４では、マーカー１４から遠ざかるに従って算出誤差の影響が大きくなるため、マーカー１４の設置を考慮すると、マーカー１４のサイズは比較的小さめとすることが望ましい。また、マーカー１４の設置時にマーカー１４の相対関係を計測することを前提とすると、マーカー１４を多少大きくするよりも、離れた位置にマーカー１４を設置する方が高精度に算出することができるようになる。

これらの点を考慮して、マーカー１４を２枚使用する場合には、図７のＡに示すように、最も距離の遠いマーカー１４₁およびマーカー１４₂を選択することが望ましい。なお、マーカー１４の大きさを考慮に入れると、マーカー１４を囲む多角形の面積が最大になるように選択することになる。

また、マーカー１４を３枚使用する場合には、図７のＢに示すように、多角形の頂点となる３つのマーカー１４₁、マーカー１４₂、およびマーカー１４₃を、それらが囲む多角形の面積が最大になるように選択することが好適である。

さらに、マーカー１４を４枚使用する場合には、図７のＢに示すように、多角形の頂点となる４つのマーカー１４₁、マーカー１４₂、マーカー１４₃、およびマーカー１４₄を選択すればよく、それ以上のマーカー１４を選択しても、演算負荷増加の割に演算精度の向上を図ることは期待されない。

もちろん、演算資源に余裕がある場合には、撮影画像１５内に映ったすべてのマーカー１４について詳細検出用成分の処理を行えば良いが、カメラ１１のズームなども考えるとより小さなマーカー１４を人物１２（例えば、主演俳優）の背景付近に置くことなどが考えられ、広角時のマーカー数を削減することは非常に有効である。

このように、マーカー位置推定部２５では、マーカー選択部３２により、マーカー検出処理を粗検出用成分の検出と、詳細検出用成分の検出の２段階に分離して、その間に必要マーカーを選択する構成とすることで、処理負荷を軽減することができる。

次に、図８を参照して、本技術を適用した画像処理システムの第２の実施の形態について説明する。

図８には、マーカー１４を三次元的に配置し、三次元空間位置合わせと、三次元空間内の手持ちボード（Virtual card）のためのクロマキー撮影状況が示されている。

図１を参照して説明した第１の実施の形態と同様に、第２の実施の形態においても、カメラ１１が移動または回転する場合には、合成する三次元画像を移動しなければならない。このため、カメラ１１の移動および方向の変化を取得して、その変化に合わせて画像合成を行う必要がある。そこで、三次元空間の位置合わせ用に、予め三次元位置を測定したマーカー１４を人物１２とともに撮影し、マーカー１４をもとに撮影しているカメラ１１と三次元空間との関係を示す射影変換行列を算出する必要がある。

図８のＢには、カメラ１１と三次元空間との関係を示す射影変換行列を用いて、三次元空間に配置された部屋や家具をクロマキー処理により合成した画像が示されている。

図８のＢに示されている部屋や家具などは、図８のＡのマーカー１４を基に推定された射影変換行列に応じて移動するので、カメラ１１の位置および方向の変化に対応して違和感のない合成画像を得ることができる。

さらに、図８のＡでは、人物１２は、フローティングマーカー５２が貼りつけられた解説ボード５１を持っている。フローティングマーカー５２は、壁面１３に固定されたマーカー１４（アンカーマーカー）とは異なり、射影変換行列算出のために用いられるのではなく、人物１２が説明に使用する手持ちボードのような三次元空間からは浮いた状態となっている。図８のＡに示されているフローティングマーカー５２は、図８のＢでは、人物１２が説明を行うためのグラフが描かれた置換画像５３に置き換えられている。

即ち、フローティングマーカー５２については、固定されたマーカー１４によって位置合わせされた三次元空間に対して、どのような位置および姿勢になっているかを算出することで、出力画像１７上で違和感なく表示するとともに、三次元空間に配置された他のオブジェクトとのインタラクションなどをスムーズに行うことができるようになる。

以下では、このような画像処理を実行する画像処理システムについて説明する。

図９は、本技術を適用した画像処理システムの第２の実施の形態の構成例を示すブロック図である。

図９に示すように、画像処理システム２１’は、撮影装置２２、映像再生装置２３、および画像合成処理装置２４を備え、マーカー位置推定部２５’が、粗検出用成分検出部３１、マーカー選択部３２、および詳細検出用成分検出部３３を有する点で、図２の画像処理システム２１と共通する。一方、画像処理システム２１’は、マーカー位置推定部２５’が、射影変換行列算出部３５および姿勢推定処理部３６を有する点で、画像処理システム２１と異なる構成となっている。

射影変換行列算出部３５は、詳細検出用成分検出部３３が詳細検出を行った固定されたマーカー１４全ての検出結果を用いて、射影変換行列を算出する。

姿勢推定処理部３６は、詳細検出用成分検出部３３が詳細検出を行ったフローティングマーカー５２を用いて、フローティングマーカー５２の姿勢を推定する処理を行う。

次に、図１０のフローチャートを参照して、マーカー位置推定部２５’によるマーカー位置推定処理について説明する。

ステップＳ２１およびＳ２２の処理は、図６のステップＳ１１およびＳ１２と同様の処理が行われ、その説明は省略する。

ステップＳ２３において、マーカー選択部３２は、ステップＳ１１で粗検出用成分検出部３１が検出した複数のマーカー１４の中から、詳細検出用成分検出部３３による詳細検出の対象とする所定数のマーカー１４を選択する。ここで、詳細検出の対象とするかどうかについては、フローティングマーカー５２に対しては必ず詳細検出を行うと判断する。また、固定されたマーカー１４に対しては、詳細検出用成分検出部３３の処理負荷や、演算能力、処理速度などから選択する所定数を決定し、どのマーカー１４を選択するかについては図１１を参照して後述する。

ステップＳ２４において、詳細検出用成分検出部３３は、マーカー１４の詳細検出が完了したか否かを判定する。例えば、詳細検出用成分検出部３３は、ステップＳ２３でマーカー選択部３２が詳細検出の対象として選択した所定数のマーカー１４の全てについて詳細検出を行うと、マーカー１４の詳細検出が完了したと判定する。

ステップＳ２４において、詳細検出用成分検出部３３がマーカー１４の詳細検出が完了していないと判定した場合、処理はステップＳ２５に進む。

ステップＳ２５において、詳細検出用成分検出部３３は、図６のステップＳ１５と同様に、マーカー１４の詳細検出用成分を利用して撮影画像１５からマーカー１４を詳細に検出する、マーカー１４の詳細検出を行う。

ステップＳ２５の処理後、処理はステップＳ２４に戻り、ステップＳ２４においてマーカー１４の詳細検出が完了したと判定されるまでステップＳ２５の処理が繰り返される。そして、ステップＳ２４においてマーカー１４の詳細検出が完了したと判定された場合、処理はステップＳ２６に進む。

ステップＳ２６において、射影変換行列算出部３５は、ステップＳ２５で詳細検出用成分検出部３３が詳細検出を行った固定されたマーカー１４全ての検出結果を用いて、射影変換行列を算出する。

なお、上述したように、詳細検出用成分検出部３３による検出結果としては、詳細検出用成分の対応関係そのものと、撮影画像１５の座標変換を示すホモグラフィ行列Ｈとが用いられる。ここでは、ステップＳ２５において、詳細検出用成分検出部３３による検出結果として、詳細検出用成分の対応関係そのものが出力される場合について説明する。

射影変換行列算出部３５には、複数の固定されたマーカー１４内の多数の特定点について、マーカー元画像４３上の座標（ｘ_i,ｙ_i）と撮影画像１５上の座標（ｕ_i,ｖ_i）の対応関係が、詳細検出用成分検出部３３から入力される。また、それぞれの固定されたマーカー１４のマーカーＩＤによって、対応するマーカー元画像４３上の座標（ｘ_i,ｙ_i）と、固定されたマーカー１４が規定する三次元空間内の座標（Ｘ_i,Ｙ_i,Ｚ_i）とが紐づけられている。これにより、射影変換行列算出部３５は、撮影画像１５上の座標（ｕ_i,ｖ_i）と、固定されたマーカー１４が規定する三次元空間内の座標（Ｘ_i,Ｙ_i,Ｚ_i）の対応関係を求めることができる。

即ち、三次元空間内の座標（Ｘ_i,Ｙ_i,Ｚ_i）を、撮影画像１５上の座標（ｕ_i,ｖ_i）に座標変換する変換式は、次の式（１５）で示される。

・・・（１５）

但し、式（１５）において、ｐ００乃至ｐ２３は、ステップＳ２６において求めるべき射影変換行列Ｐである。また、式（１５）では定数倍の自由度があるので、例えば、ｐ₂₃＝１として式（１５）を変形すると、次の式（１６）となる。

・・・（１６）

撮影画像１５上の多数の座標（ｕ_i,ｖ_i）と、三次元空間上の多数の座標（Ｘ_i,Ｙ_i,Ｚ_i）との対応関係が存在するので、ステップＳ２６において、射影変換行列算出部３５は、最小二乗法によって、射影変換行列Ｐの要素ｐ００乃至ｐ２３を求め、射影変換行列Ｐを出力する。

そして、ステップＳ２７において、姿勢推定処理部３６は、ステップＳ２６で射影変換行列算出部３５が算出した射影変換行列Ｐを用いて、姿勢行列を算出する。

即ち、姿勢推定処理部３６には、フローティングマーカー５２ごとに、フローティングマーカー５２内の多数の特定点についての、フローティングマーカー５２の元画像上の座標（ｘ_i,ｙ_i）と、撮影画像１５上の座標（ｕ_i,ｖ_i）の対応関係が、詳細検出用成分検出部３３から入力される。また、姿勢推定処理部３６には、ステップＳ２６で射影変換行列算出部３５が固定されたマーカー１４を用いて算出した射影変換行列Ｐが入力される。さらに、姿勢推定処理部３６には、固定されたマーカー１４およびフローティングマーカー５２のマーカーＩＤが入力される。

ここで、フローティングマーカー５２の元画像上の座標を三次元的に（ｘ_i,ｙ_i,０）と考え、この座標に回転行列Ｒおよび併進ベクタｔを用いて、固定されたマーカー１４で規定された三次元空間に配置したとする。これにより、次の式（１７）で示すような座標変換により、フローティングマーカー５２の元画像上の座標（ｘ_i,ｙ_i,０）は、固定されたマーカー１４で規定された三次元空間座標（Ｘ_i,Ｙ_i,Ｚ_i）に変換される。

・・・（１７）

そして、ステップＳ２６で求めた、三次元空間座標（Ｘ_i,Ｙ_i,Ｚ_i）から撮影画像１５上の座標（ｕ_i，ｖ_i）へ射影変換を行う射影変換行列Ｐを用いると、式（１５）の変換式で座標変換することができる。従って、式（１５）および式（１７）を用いると、フローティングマーカー５２の元画像上の座標(ｘ_i,ｙ_i）から撮影画像１５上の座標（ｕ_i，ｖ_i）への変換式は、次の式（１８）と表すことができる。

・・・（１８）

この式（１８）において、ｗ_iを消去して、ｒ₀₀乃至ｒ₂₂およびｔ₀₃乃至ｔ₂₃について整理すると、フローティングマーカー５２の元画像のｚ座標は０であるので、ｒ₀₂乃至ｒ₂₂を含めることはできないが、次の式（１９）の形に整理することができる。

・・・（１９）

式（１９）の形は、上述した式（２）および式（１６）と同じ形となっている。従って、フローティングマーカー５２の元画像上の座標（ｘ_i,ｙ_i）と、撮影画像１５上の座標（ｕ_i，ｖ_i）との対応関係が５点以上あれば、最小二乗法によって、ｒ₀₂乃至ｒ₂₂を除くｒ₀₀乃至ｒ₂₂およびｔ₀₃乃至ｔ₂₃の要素を算出することができる。

ここで、回転行列の性質である、次の式（２０）の関係を用いると、ｒ₀₂乃至ｒ₂₂を算出することができる。

・・・（２０）

このように、ステップＳ２７において、姿勢推定処理部３６は、式（１９）および式（２０）を用いて、マーカーＩＤで特定されるフローティングマーカー５２の元画像を、固定されたマーカー１４で規定される三次元空間への配置を行う回転行列Ｒおよび並進ベクタｔを算出することができる。

また、ステップＳ２５において、詳細検出用成分検出部３３による検出結果として、撮影画像１５の座標変換を示すホモグラフィ行列Ｈが出力される場合について説明する。

この場合、ステップＳ２６において、射影変換行列算出部３５には、それぞれの固定されたマーカー１４のホモグラフィ行列Ｈが、詳細検出用成分検出部３３から入力される。ステップＳ２１で判別されたマーカーＩＤによって、それぞれの固定されたマーカー１４座標（ｘ_i,ｙ_i）と、固定されたマーカー１４が規定する三次元空間内の座標（Ｘ_i,Ｙ_i,Ｚ_i）は、次の式（２１）のように表される。

・・・（２１）

ここで、式（２１）において、多くの場合、ｇ₂₀＝ｇ₂₁＝０となり、ｇ₂₂＝１となって、ｗ⁰ _i＝１である。また、式（２１）では、行列Ｇは、マーカー１４ごとに異なっているため、それぞれのマーカー１４に対してステップＳ２５で求めたホモグラフィ行列Ｈを用いた式（２２）を得ることができる。

・・・（２２）

そして、マーカー１４ごとに得られる式（２２）の行列Ｈと行列Ｇとの積が、定数倍の差を除いて一定していれば、その積が、ステップＳ２６で出力すべき最終的な射影変換行列Ｐである。しかしながら、通常は不一致となるために、整合処理が必要となる。

整合処理としては、例えば、それぞれのマーカー１４に対するステップＳ２５での詳細検出処理結果が同様に信頼できるとするならば、それぞれのマーカー１４の代表点位置（Ｘ_i,Ｙ_i,Ｚ_i）を複数用意し、式（２２）によって得られた（ｕ_i，ｖ_i）との関係から、上述の式（１６）に相当する過剰方程式を立てて最小二乗法を行うことにより、最終的な射影変換行列Ｐを算出することができる。

一方、マーカー１４ごとに信頼度が異なるのであれば、信頼度に応じて代表点数を増減して、上述の式（１６）を立てて最小二乗法を行うことにより、最終的な射影変換行列Ｐを算出することができる。

次に、ステップＳ２７において、姿勢推定処理部３６には、フローティングマーカー５２ごとのホモグラフィ行列Ｈ、ステップＳ２６で射影変換行列算出部３５が求めた射影変換行列Ｐ、および、固定されたマーカー１４およびフローティングマーカー５２のマーカーＩＤが入力される。また、フローティングマーカー５２の元画像上の座標（ｘ_i,ｙ_i）から、撮影画像１５上の座標（ｕ_i,ｖ_i）への変換式である式（１８）は、フローティングマーカー５２の元画像のｚ座標は０であるので、次の式（２３）のように表される。

・・・（２３）

ここで、式（２３）は、上述した式（１）と同じ形であるため、定数倍の自由度ｋを考えて、次の式（２４）となる。

・・・（２４）

そして、式（２４）は、次の式（２５）のように変形することができ、式（２６）のようになる。

・・・（２５）

・・・（２６）

但し、式（２６）において、ｑ₀₃乃至ｑ₂₃は、次の式（２７）により算出される値である。

・・・（２７）

ここで、回転行列の性質から、次の式（２８）が成立するので、式（２５）の右辺を算出することで、左辺のｋを算出することができる。

・・・（２８）

これにより、ｒ₀₂乃至ｒ₂₂を除くｒ₀₀乃至ｒ₂₂およびｔ₀₃乃至ｔ₂₃の要素を算出することができる。さらに、回転行列の性質である、上述した式（２０）の関係を用いると、ｒ₀₂乃至ｒ₂₂を算出することができる。

これにより、ステップＳ２７において、姿勢推定処理部３６は、式（１９）および式（２０）を用いて、マーカーＩＤで特定されるフローティングマーカー５２の元画像を、固定されたマーカー１４で規定される三次元空間への配置を行う回転行列Ｒおよび並進ベクタｔを算出することができる。

次に、図１１を参照して、マーカー選択部３２が、詳細検出の対象として選択する所定数のマーカー１４について説明する。

画像処理システム２１’においても、全てのマーカーを処理する場合には、処理数が増大すると演算負荷が増加する。但し、フローティングマーカー５２については、説明用の手持ちボードなどマーカーＩＤごとに特定用途に用いられるため、処理数が増大しても省くことはできない。これに対し、固定されたマーカー１４に関しては、固定されたマーカー１４が規定する三次元空間と撮影画像１５との関係が正しく求められれば処理の対象とするマーカー１４の数は少なくても構わない。

図７を参照して説明したように、画像処理システム２１では、背景画像１６とマーカー１４との関係であったため、平面と平面の関係から面積が最大となるように、処理可能マーカー数に応じたマーカー１４が選択された。一方、画像処理システム２１’では、より安定に三次元空間を推定するために、固定されたマーカー１４が作る立体の体積がなるべく大きくなるようにマーカー１４の選択を行う。

例えば、固定されたマーカー１４に対する処理可能枚数が１枚の場合には、撮影画像１５の中央のマーカー１４、または、一番大きく撮影されているマーカー１４が選択される。

また、固定されたマーカー１４に対する処理可能枚数が２枚の場合には、その２枚が空間的に最も離れ、かつ前後方向にもずれているマーカー１４を選択することが最適である。即ち、図１１のＡに示すような配置の場合には、互いに空間的に最も離れ、かつ前後方向にもずれているマーカー１４₁およびマーカー１４₂が選択される。

また、固定されたマーカー１４に対する処理可能枚数が３枚の場合においても、それらのマーカー１４が作る図形の体積が最大になるようにマーカー１４を選択することが最適である。図１１のＢに示すような配置の場合には、マーカー１４₁、マーカー１４₂、およびマーカー１４₃が選択される。

このように、マーカー選択部３２は、多数のマーカー１４から最適なマーカー１４を選択することで、三次元空間と撮影画像１５の関係を高精度に推定しつつ、演算負荷を抑制することができる。なお、フローティングマーカー５２に関して、図８に示すようにマーカー１４が三次元的に配置された場合のみに使用が限定されるのではなく、例えば、図１を参照して説明したように、マーカー１４が平面的に配置された場合にも使用することができる。

次に、図１２を参照して、マーカー５４を三次元的に配置することで、三次元空間位置合わせを行って、仮想オブジェクト５５を配置するとともに、位置合わせした三次元空間内に、フローティングマーカー５２によって提示される置換画像５３を配置するための撮影状況について説明する。

図１２のＡに示されている撮影状況のように、壁面１３にはマーカー５４−１乃至５４−４が配置されている。そして、図１２のＢに示すように、マーカー５４−１乃至５４−４を切り抜いたり隠したりするように、それぞれ対応する仮想オブジェクト５５−１乃至５５−４が配置され、仮想オブジェクト５５−１乃至５５−４以外はそのまま出力される。

このように、マーカー５４−１乃至５４−４に従って仮想オブジェクト５５−１乃至５５−４を合成する場合にも、カメラ１１の動きに合わせて仮想オブジェクト５５−１乃至５５−４を移動させないと出力画像１７に違和感が出る。また、図１２のＢに示すように、仮想オブジェクト５５−１乃至５５−４として、実空間の中にクローゼットやテレビ、絵画などをコンピュータグラフィックにより合成することで、表現力の高い映像を制作することが可能となる。

このような画像処理は、図９に示した画像処理システム２１’により、即ち、粗検出用成分検出部３１、マーカー選択部３２、詳細検出用成分検出部３３、射影変換行列算出部３５、および姿勢推定処理部３６を用いることにより実現することができる。

但し、このような画像処理では、マーカー５４がクロマキー処理の制限を受けなくなる点で、図８を参照して説明した画像処理と異なるものである。このため、色を効果的に用いたマーカーを考慮することができる。

図１３を参照して、マーカー１４の変形例について説明する。

図１３のＡには、多色の詳細検出用成分をもつマーカー１４Ｂが示されている。マーカー１４Ｂは、図３のＡに示したような、粗検出用成分と詳細検出用成分を空間的配置して混在させたマーカー１４において、詳細検出用成分（詳細検出用画像４２Ａ）を多色化したものである。詳細検出用成分では高精度な対応関係を推定することが望まれており、多色化することによって単色で対応点検索を行うよりも、誤対応を減らして精度向上を図ることが可能となる。

図１３のＢには、図５のＡに示したような、変調による粗検出用成分と詳細検出用成分の混在マーカーに対して、詳細検出用成分（詳細検出用画像４２Ａ）を多色にしたマーカー１４Ｃが示されている。マーカー１４Ｃによっても、対応点検索における誤対応を減らして精度向上を図ることができる。

図１３のＣには、粗検出用成分と詳細検出用成分とを色空間で分けて混在させたマーカー１４Ｄが示されている。マーカー１４Ｄでは、高周波成分を含む輝度信号に詳細検出用成分（詳細検出用画像４２Ｂ）を割り当て、高周波域が減衰する可能性のある色差成分に粗検出用成分（粗検出用画像４１Ｂ）を割り当てている。これにより、マーカー１４Ｄでは、粗検出用成分と詳細検出用成分の分離の容易さ、詳細検出用成分の画像詳細さを必要とする性質を考慮して、両成分の混在が可能とされている。

以上のように、本技術を適用した画像処理システム２１および２１’では、粗検出用成分と詳細検出用成分を混在させたマーカー１４を用いることで、マーカー検出処理を、マーカー粗検出用成分検出処理と、マーカー詳細検出用成分検出処理に分けることができる。そして、粗検出用成分検出時に、マーカー１４の種別および配置状況を判断して、詳細検出用成分検出処理が必要なマーカー１４のみを選択するマーカー選択処理を行うことができる。これにより、詳細検出用成分の検出処理を行うべきマーカー１４のみに対して、詳細検出用成分の検出処理を行うことになるため、精度を落とさない形で演算負荷の軽減を行うことができる。

即ち、マーカー１４の検出処理を、演算負荷が軽いが位置精度が高くない粗検出と、演算負荷が重いが位置精度を高くできる詳細検出に分けることが可能となる。これにより、空間中に密に存在するマーカーが撮影されていても、粗検出によって必要なマーカー１４のみを選出して高精度な詳細検出を行うことで、マーカー１４とカメラ１１の相対的な位置および姿勢の推定を高精度かつ低演算負荷で行うことができる。

なお、上述した各実施の形態では、マーカー１４の粗検出用成分として、二次元コードを使用して説明したが、マーカー１４の粗検出用成分はコード化されている必要はない。例えば、検出処理負荷が高くない単純なパターンマッチングを用い、パターンによってマーカーＩＤを判別するようにしてもよい。また、マーカー１４の形は長方形である必要もなく、多角形であっても円形であっても良い。その場合には例えば多角形内もしくは円形内に図形の傾きがわかるような特徴を持たせるなどして、マーカー１４の姿勢が推定できるようにすることが好適である。

また、上述した各実施の形態では、マーカー１４の詳細検出用成分の検出方法として、ブロックマッチングを用いている。これに対し、詳細検出用成分である特定点の、撮影画像１５とマーカー元画像４３の対応関係が得られる方法であれば、ブロックマッチング以外の方法を採用することができる。たとえば、予め元画像を学習しておき、学習結果を用いて撮影画像１５上の特定点とマーカー元画像４３の対応関係を算出する方法などを採用してもよい。

さらに、上述した各実施の形態では、マーカー選択処理において面積最大、体積最大をもとにマーカー１４を選択する方法を説明した。これ以外にも、例えば、マーカー１４の配置と推定精度の関係を計算機シミュレーションすることで、予め算出したマーカー最適配置データーベースを用いて最適なマーカー１４を選択するなど、別のマーカー選択方法を採用してもよい。

なお、マーカー１４は、通常は青色ベースで作成されており、図１のＡを参照して説明したようなクロマキー処理を考慮して、ブルーバックの背景でカメラ１１による撮影を行うことを想定している。また、図１のＢに示した合成結果の映像には、クロマキー処理でマーカー１４を除去することが考慮されており、マーカー１４は、単色であることや青色であることに限定されるものではない。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本技術は以下のような構成も取ることができる。
（１）
画像に映されている複数のマーカーを検出する第１の検出部と、
前記第１の検出部により検出された複数の前記マーカーの中から、所定数の前記マーカーを選択する選択部と、
前記選択部により選択された所定数の前記マーカーを、前記第１の検出部より詳細に検出する第２の検出部と、
前記第２の検出部による検出結果に基づいて、前記マーカーの位置および姿勢を推定する推定部と
を備える画像処理装置。
（２）
前記推定部により推定された前記マーカーの位置および姿勢に基づいて、前記画像に映されている被写体の背景となる背景画像を合成する画像合成部
をさらに備える上記（１）に記載の画像処理装置。
（３）
前記マーカーが、前記第１の検出部による検出に利用される第１の検出成分と、前記第２の検出部による検出に利用される第２の検出成分との両方を有する
上記（１）または（２）に記載の画像処理装置。
（４）
前記第２の検出部の処理負荷と前記画像処理装置自身の演算能力および処理速度に基づいて前記第２の検出部による検出処理の対象とする前記マーカーの所定数が予め決定されており、
前記選択部は、前記画像における前記マーカーの配置に基づいて、前記第２の検出部による検出処理の対象とする所定数の前記マーカーを選択する
上記（１）から（３）までのいずれかに記載の画像処理装置。
（５）
前記選択部は、
前記第２の検出部による検出処理の対象とする前記マーカーの所定数が２つである場合、最も距離の遠くなる前記マーカーを選択し、
前記第２の検出部による検出処理の対象とする前記マーカーの所定数が３つ以上である場合、選択した前記マーカーを頂点とする多角形の面積が最大となるように前記マーカーを選択する
上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
前記第２の検出部は、前記マーカーを検出した検出結果として、前記マーカーが有する前記第２の検出成分における複数の特定点についての前記画像上の座標と前記マーカーの元となる画像であるマーカー元画像上の座標との対応関係を算出し、
前記推定部は、前記第２の検出部による検出結果に基づいて、前記背景画像上の各点と、前記画像内の前記マーカーが配置された平面上の各点との関係を表現する行列を、前記マーカーの位置および姿勢を推定した推定結果として算出する
上記（１）から（５）までのいずれかに記載の画像処理装置。
（７）
前記第２の検出部は、前記マーカーを検出した検出結果として、前記画像に映されている前記マーカーを正面から映されたように補正した画像と、前記マーカーの元となる画像であるマーカー元画像上の座標との関係を表現する第１の行列を算出し、
前記推定部は、前記第２の検出部による検出結果に基づいて、前記背景画像上の各点と、前記画像内の前記マーカーが配置された平面上の各点との関係を表現する行列を、前記マーカーの位置および姿勢を推定した推定結果として算出する
上記（１）から（６）までのいずれかに記載の画像処理装置。
（８）
前記第１の検出成分には、個々の前記マーカーを識別するための識別情報が埋め込まれている
上記（１）から（７）までのいずれかに記載の画像処理装置。
（９）
複数の前記マーカーには、前記画像内の空間に対して固定されている前記マーカーと前記画像内の空間に対して固定されていない前記マーカーとがあり、前記識別情報により、前記マーカーの種別が識別可能である
上記（１）から（８）までのいずれかに記載の画像処理装置。
（１０）
前記選択部は、前記識別情報により識別される前記マーカーの種別に基づいて、前記第２の検出部による検出処理の対象とする所定数の前記マーカーを選択する
上記（１）から（９）までのいずれかに記載の画像処理装置。
（１１）
前記画像内の空間に対して固定されている前記マーカーに対する前記第２の検出部による検出結果に基づいて、前記画像上の座標と、前記画像内の空間に対して固定されている前記マーカーが規定する前記空間内の座標との対応関係を算出する算出部をさらに備え、
前記推定部は、前記第２の検出部による検出結果、および、前記算出部により算出された対応関係に基づいて、前記画像内の空間に対して固定されていない前記マーカーの姿勢を推定する
上記（１）から（１０）までのいずれかに記載の画像処理装置。
（１２）
前記マーカーは、前記第２の検出成分である自然画像の四隅に前記第１の検出成分である２次元コードが配置されることにより構成される
上記（１）から（１１）までのいずれかに記載の画像処理装置。
（１３）
前記マーカーは、前記第２の検出成分である自然画像が前記第１の検出成分である２次元コードにより変調されることにより構成される
上記（１）から（１２）までのいずれかに記載の画像処理装置。
（１４）
前記マーカーは、前記第２の検出成分が前記被写体の背景と同色を基本とした色で形成される
上記（１）から（１３）までのいずれかに記載の画像処理装置。
（１５）
前記マーカーに従って仮想オブジェクトを合成する場合、前記マーカーは、前記第２の検出成分が多色で形成される
上記（１）から（１４）までのいずれかに記載の画像処理装置。
（１６）
前記マーカーは、前記第１の検出成分に色差成分が割り当てられ、前記第２の検出成分に輝度成分が割り当てられて形成される
上記（１）から（１５）までのいずれかに記載の画像処理装置。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１ カメラ， １２ 人物， １３ 壁面， １４ マーカー， １５ 撮影画像， １６ 背景画像， １７ 出力画像， ２１ 画像処理システム， ２２ 撮影装置， ２３ 映像再生装置， ２４ 画像合成処理装置， ２５ マーカー位置推定部， ３１ 粗検出用成分検出部， ３２ マーカー選択部， ３３ 詳細検出用成分検出部， ３４ 推定処理部， ４１ 粗検出用画像， ４２ 詳細検出用画像， ４３ マーカー元画像， ５１ 解説ボード， ５２ フローティングマーカー， ５３ 置換画像， ５４ マーカー， ５５ 仮想オブジェクト

Claims (18)

1. 画像に映されている複数のマーカーを検出する第１の検出部と、
   前記第１の検出部により検出された複数の前記マーカーの中から、所定数の前記マーカーを選択する選択部と、
   前記選択部により選択された所定数の前記マーカーを、前記第１の検出部より詳細に検出する第２の検出部と、
   前記第２の検出部による検出結果に基づいて、前記マーカーの位置および姿勢を推定する推定部と
   を備える画像処理装置。
2. 前記推定部により推定された前記マーカーの位置および姿勢に基づいて、前記画像に映されている被写体の背景となる背景画像を合成する画像合成部
   をさらに備える請求項１に記載の画像処理装置。
3. 前記マーカーが、前記第１の検出部による検出に利用される第１の検出成分と、前記第２の検出部による検出に利用される第２の検出成分との両方を有する
   請求項２に記載の画像処理装置。
4. 前記第２の検出部の処理負荷と前記画像処理装置自身の演算能力および処理速度に基づいて前記第２の検出部による検出処理の対象とする前記マーカーの所定数が予め決定されており、
   前記選択部は、前記画像における前記マーカーの配置に基づいて、前記第２の検出部による検出処理の対象とする所定数の前記マーカーを選択する
   請求項３に記載の画像処理装置。
5. 前記選択部は、
   前記第２の検出部による検出処理の対象とする前記マーカーの所定数が２つである場合、最も距離の遠くなる前記マーカーを選択し、
   前記第２の検出部による検出処理の対象とする前記マーカーの所定数が３つ以上である場合、選択した前記マーカーを頂点とする多角形の面積が最大となるように前記マーカーを選択する
   請求項４に記載の画像処理装置。
6. 前記第２の検出部は、前記マーカーを検出した検出結果として、前記マーカーが有する前記第２の検出成分における複数の特定点についての前記画像上の座標と前記マーカーの元となる画像であるマーカー元画像上の座標との対応関係を算出し、
   前記推定部は、前記第２の検出部による検出結果に基づいて、前記背景画像上の各点と、前記画像内の前記マーカーが配置された平面上の各点との関係を表現する行列を、前記マーカーの位置および姿勢を推定した推定結果として算出する
   請求項４に記載の画像処理装置。
7. 前記第２の検出部は、前記マーカーを検出した検出結果として、前記画像に映されている前記マーカーを正面から映されたように補正した画像と、前記マーカーの元となる画像であるマーカー元画像上の座標との関係を表現する第１の行列を算出し、
   前記推定部は、前記第２の検出部による検出結果に基づいて、前記背景画像上の各点と、前記画像内の前記マーカーが配置された平面上の各点との関係を表現する行列を、前記マーカーの位置および姿勢を推定した推定結果として算出する
   請求項４に記載の画像処理装置。
8. 前記第１の検出成分には、個々の前記マーカーを識別するための識別情報が埋め込まれている
   請求項３に記載の画像処理装置。
9. 複数の前記マーカーには、前記画像内の空間に対して固定されている前記マーカーと前記画像内の空間に対して固定されていない前記マーカーとがあり、前記識別情報により、前記マーカーの種別が識別可能である
   請求項８に記載の画像処理装置。
10. 前記選択部は、前記識別情報により識別される前記マーカーの種別に基づいて、前記第２の検出部による検出処理の対象とする所定数の前記マーカーを選択する
    請求項９に記載の画像処理装置。
11. 前記画像内の空間に対して固定されている前記マーカーに対する前記第２の検出部による検出結果に基づいて、前記画像上の座標と、前記画像内の空間に対して固定されている前記マーカーが規定する前記空間内の座標との対応関係を算出する算出部をさらに備え、
    前記推定部は、前記第２の検出部による検出結果、および、前記算出部により算出された対応関係に基づいて、前記画像内の空間に対して固定されていない前記マーカーの姿勢を推定する
    請求項１０に記載の画像処理装置。
12. 前記マーカーは、前記第２の検出成分である自然画像の四隅に前記第１の検出成分である２次元コードが配置されることにより構成される
    請求項３に記載の画像処理装置。
13. 前記マーカーは、前記第２の検出成分である自然画像が前記第１の検出成分である２次元コードにより変調されることにより構成される
    請求項３に記載の画像処理装置。
14. 前記マーカーは、前記第２の検出成分が前記被写体の背景と同色を基本とした色で形成される
    請求項３に記載の画像処理装置。
15. 前記マーカーに従って仮想オブジェクトを合成する場合、前記マーカーは、前記第２の検出成分が多色で形成される
    請求項３に記載の画像処理装置。
16. 前記マーカーは、前記第１の検出成分に色差成分が割り当てられ、前記第２の検出成分に輝度成分が割り当てられて形成される
    請求項３に記載の画像処理装置。
17. 画像に映されている複数のマーカーを検出し、
    検出された複数の前記マーカーの中から、所定数の前記マーカーを選択し、
    選択された所定数の前記マーカーを、より詳細に検出し、
    その検出結果に基づいて、前記マーカーの位置および姿勢を推定する
    ステップを含む画像処理方法。
18. 画像に映されている複数のマーカーを検出し、
    検出された複数の前記マーカーの中から、所定数の前記マーカーを選択し、
    選択された所定数の前記マーカーを、より詳細に検出し、
    その検出結果に基づいて、前記マーカーの位置および姿勢を推定する
    ステップを含む画像処理をコンピュータに実行させるプログラム。

Images