JP4797039B2

JP4797039B2 - 画像合成方法及び装置

Info

Publication number: JP4797039B2
Application number: JP2008083619A
Authority: JP
Inventors: 典彦前田; 育生原田; 孝青木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2011-10-19
Anticipated expiration: 2028-03-27
Also published as: JP2009237927A

Description

本発明は、拡張現実感（ＡＲ；Augumented Reality）、複合現実感（ＭＲ；Mixed Reality）を実現する技術に関し、特に、カメラなどの撮像装置によって撮影される現実世界の撮影画像に対し、ＣＧ（コンピュータグラフィクス(computer graphics)技術を用いて生成された仮想物体、あるいは事前に撮影された実物体を重畳合成して表示する、画像合成方法及び装置に関する。

現実世界の撮影画像に対して、その撮影画像には元来存在していない仮想物体などの物体があたかもそこに存在するかのように合成する技術がある。この場合、現実世界の撮影画像が背景画像として使用され、その背景画像に対して、仮想物体などの物体の画像（合成画像と呼ぶ）が手前側に重ね合わされることになる。背景画像に対して合成したい物体がＣＧにより生成した物体である場合も、現実世界の物体であって事前撮影により得られたものである場合も、ガラスやプラスチックなどからなる物体のように、光が透過する物体を合成画像として背景画像に合成した場合がある。そのような場合には、合成したい物体における光の透過度合を表す方法として、α（アルファ）値、αマスクなどが知られている。市販の画像編集用ソフトウェアなどにおいても、αマスクやαチャネルなどが一般的に使用可能となっている。

本件の出願人による特許文献１（特許第４００７１６０号「画像処理方法及びその装置、並びに画像処理プログラムとこの画像処理プログラムを記録した記録媒体」）には、αマスクが設定された画像（合成画像）を背景画像に対して合成する際に、よりよい合成結果を得るための方法が示されている。その概要は、合成画像での透明度が高い部分については、背景画像をぼかさずに合成し、合成画像での透明度が低い部分については、背景画像をぼかして合成するというものである。図９は、特許文献１に示された画像合成の例を示しており、透過情報を有する合成画像Ｏとして飲料水用ペットボトルの画像を用い、これを背景画像Ｇｏに合成した場合を示している。合成画像Ｏは、各画素（ピクセル）ごとの色彩を示す色彩情報Ｏｃと、αマスクとして各画素ごとの不透明度を示す不透明度情報Ｏａとから構成されている。不透明度情報（αマスク）Ｏａにおいて、白い部分は不透明度が高い部分である。このような合成画像Ｏを背景画像Ｇｏに対して合成した結果、合成結果画像Ｍが生成する。ペットボトルにおける透明部分が、合成結果画像Ｍにおいても背景画像が見える領域として表現されている。

図１０及び図１１は、透過情報を有する合成画像としてガラス製などが想定されたティーポットの画像を用い、縞模様を有する机の画像である背景画像上にこのような合成画像を合成した例を示している。図１０に示したものでは、αマスクに基づいて単純に合成画像を背景画像に合成しているので、ティーポット下部に背景画像の縞模様がはっきりと見えているため、リアリティに欠けている。そこで特許文献１では、(1)式を用いることによって透明度が低い部分について背景画像をぼかして合成することにより、図１１に示すような結果が実現できることが示されている。

ここでｘ，ｙは各画像における座標値であり、ＰＳ(ｘ，ｙ)は合成結果画像での画素(ｘ，ｙ)における画素値であり、ＰＣ(ｘ，ｙ)は色彩画像（色彩情報Ｏｃからなる画像）上での画素値であり、ＰＴ(ｘ，ｙ)は透明度画像（画素ごとに１から不透明度情報Ｏａを引いた画像）における画素値であり、ＰＺが背景画像Ｇｏにおける画素値である。また、Ｋは、ぼかしを計算するために採用する隣接画素の最大範囲を示す定数であり、ｋはｋ＝Ｋ×ＰＴ(ｘ，ｙ)で与えられる。

図１１に示した合成結果画像では、ティーポット下部の領域において背景画像の縞模様がぼけたように表現されるため、ヒトの視覚的に「あたかも反射している」という錯覚を与え、これにより光沢感を表現することに成功している。
特許第４００７１６０号明細書

しかしながら、上述した特許文献１に記載の方法は、画素ごとに「ぼかし」の処理を実行するので、演算に時間がかかる、という課題がある。

(1)式での処理を概念的に図解したものが図１２である。ここでは、合成における画素単位の計算において、以下のような事項が指摘できる。

（１）背景画像のぼかし処理は、不透明度に応じた面積の色平均を求めることによって実施される。したがって、合成画像の不透明度（あるいは透明度）のマスクが確定していないと、ぼかし処理の計算を始めることができない。

（２）不透明度マスクにおいて、不透明度の高い領域が多い場合、色の平均を求める画素面積が大きくなる。そのような画素面積の色平均の算出が、何度も繰り返されるため、計算量が大きくなる。つまり、合成画像の不透明マスクに関して、不透明な領域の割合が多い場合は計算時間が大きくなり、不透明な領域の割合が少ない場合は計算時間が小さくなり、計算処理時間に大きなバラつきが生じる。特に、動画カメラで捕らえた背景画像に、リアルタイムで合成処理を実施する場合、この計算時間に応じて、フレームレートが一定しない状況が顕著に現れる。

（３）隣り合う画素に関しては、背景画像の色平均を求める計算処理において、共通である領域に関しても、それぞれ独立に色平均を求める計算が実施され、結果として無駄な計算が多く含まれる。

本発明の目的は、特許文献１に示される手法の効果を活かしつつ、計算処理を簡略化することができる画像合成方法及び装置を提供することにある。具体的には、下記の事項を達成することにある。

（１）不透明マスクが確定していなくても、背景画像のぼかし処理計算が開始できる、
（２）不透明領域の大小に関わらず、計算に要する時間を均一化する、
（３）色平均を求める際に、同じ部分で重複するような計算を発生させない。

本発明の画像合成方法は、透過情報を有する合成画像を背景画像に合成して合成結果画像を得る画像合成方法であって、ｋを０以上の整数とし、ｍ＝２ ^k とし、粒度ｋに対応して、ｍ×ｍ画素の大きさの各領域ごとにその領域内の画素の画素値の色平均を求めるぼかし処理を行うことによって、背景画像から粒度ｋが異なる複数の色平均画像を生成する色平均画像生成段階と、合成画像における画素ごとに、その画素の透過情報に応じた重み付け係数を選択してその画素に対応する画素における複数の色平均画像の画素値の重み付け和を求めることにより、重み付け和を画素値とするぼかし済み背景画像を生成し、αブレンンディングにより透過情報に応じて合成画像をぼかし済み背景画像に合成して合成結果画像を得る。

本発明の画像合成装置は、透過情報を有する合成画像を背景画像に合成して合成結果画像を得る画像合成方法であって、ｋを０以上の整数とし、ｍ＝２ ^k とし、粒度ｋに対応して、ｍ×ｍ画素の大きさの各領域ごとにその領域内の画素の画素値の色平均を求めるぼかし処理を行うことによって、背景画像から粒度ｋが異なる複数の色平均画像を生成する色平均画像生成手段と、合成画像における画素ごとに、その画素の透過情報に応じた重み付け係数を選択してその画素に対応する画素における複数の色平均画像の画素値の重み付け和を求めることにより、重み付け和を画素値とするぼかし済み背景画像を生成する背景画像ぼかし処理手段と、αブレンンディングにより透過情報に応じて合成画像をぼかし済み背景画像に合成して合成結果画像を得る画像合成処理手段と、を有する。

本発明は、上述した構成を採用することにより、（１）不透明マスクが確定していなくても、背景画像のぼかし処理計算が開始でき、（２）不透明領域の大小に関わらず、計算に要する時間を均一化することができ、（３）色平均を求める際に、同じ部分で重複するような計算の発生を防止でき、これにより、計算処理を軽減しつつリアリティのある合成結果画像が得られるようになる、という効果を有する。

次に、本発明の好ましい実施の形態について、図面を参照して説明する。

一般に画像に対する「ぼかし」処理は、画像を構成する画素ごとに、その画素を対象画素として、対象画素の近傍の所定範囲内にある画素の色平均（画素値平均）を求めてその対象画素の画素値とする処理である。上述した特許文献１に記載のものでは、背景画像においてぼかし処理をする際に、ぼかし処理において平均化の対象となる画素の範囲を、合成画像における対応する画素の不透明度情報（あるいは透明度情報）に応じて定めていた。このやり方では、背景画像における画素ごとに、平均化対象の範囲の広さを変えながらぼかし処理を行わなければならないので、必要な演算処理量が膨大なものとなっている。

そこで本実施形態では、ぼかし処理における「粒度」の概念を導入する。粒度とは、ぼかし処理においてどれだけの範囲の画素の画素値の平均（色平均）を求めるかを示すものであるが、さらに本実施形態では、ぼかし処理がなされた画像におけるその範囲（この範囲のことを「粒度範囲」と呼ぶ）内の画素の画素値はすべて同じであるものとする。すなわち、ある粒度がｍ×ｍ画素の大きさに対応するものであるとすれば、粒度範囲はｍ×ｍ画素となり、その粒度でぼかし処理がなされた画像は、それぞれがｍ×ｍ画素の大きさである領域に分割されているとともに、ｍ×ｍ画素の大きさの各領域ごとにその領域内の画素の画素値はすべて同じであって、もとの画像におけるその領域内の画素の画素値の平均となっている。またｎを０以上の整数として、粒度のレベルのことを粒度ｎのようにあらわす。このように粒度の概念を伴ってぼかし処理がされた画像のことを粒度ｎの色平均画像と呼ぶ。もちろん、ぼかし処理前の画像がカラー画像でなくグレースケール画像の場合もあるが、そのような場合にも色平均画像と呼ぶ。ただしこの場合は、色平均画像もグレースケール画像である。

本実施形態では、ある粒度レベルについて一度計算した色平均画像を、より粗い粒度レベルでの色平均画像を求める際に再利用する。図１は、この過程を概念的に示すものである。ｎは粒度のレベルを示し、小さい正方形は画素を示し、太線による正方形はその粒度のレベルでの粒度範囲を示している。

まずｎ＝０の場合は、色平均画像では、背景画像Ｇｏの画素単位の色情報をそのまま保持するものとする。すなわち、ｎ＝０の色平均画像Ｂ₀は、背景画像Ｇｏと同一である。

ｎ＝１の色平均画像Ｂ₁は、色平均画像Ｂ₀での４画素（２×２画素の領域）の色平均を求めてその値をｎ＝１での粒度範囲内の各画素の値とする。

ｎ＝２以降に関しては、色平均画像Ｂ_n-1で求めた各領域（ｎ−１での粒度範囲）の４つを一つのグループとして、その色平均を求めて色平均画像Ｂ_nとする。この場合、各領域での色平均はすでに色平均画像Ｂ _n-1を求める処理で計算済みであることから、実際には、４つの領域ごとの値（ＲＧＢ値あるいは輝度値）の平均を求めるだけでよい。以上の操作を一般的な式で示すと(2)式のようになる。

ここでAverage{ }は、{ }内の要素の平均を算出する関数である。

以降、説明の便宜上、ｎの最大値が３であるとして、色平均画像Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃を用いるものとする。図２は、Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃を求める過程を示している。図２においては、一番小さい正方形の領域は、それぞれ、各粒度レベルでの粒度領域を示している。

このような計算により、色平均を求める過程において、同一領域の加算を重複して実施することを回避し計算の無駄を省くことができる。また、１ステップ前の計算結果を、そのまま再利用できるため、従来方法と比較して効率的に計算処理を進めることができる。

本実施形態では、上述したような色平均画像Ｂ₀〜Ｂ₃からぼかし済み背景画像Ｇｂを生成する。ぼかし済み背景画像Ｇｂは、合成画像Ｏにおける画素ごとに、その画素の透過情報Ｏａに応じたぼかし処理を背景画像Ｇｏの対応する画素に対して施した画像であり、ここでは、特許文献１に記載されているように、合成画像での透明度が高い部分については、背景画像からのぼかしが小さく、合成画像での透明度が低い部分については、背景画像からのぼかしが大きくなるようなぼかし済み背景画像Ｇｂとしている。具体的には、合成画像における画素ごとに、その画素の透過情報Ｏａに応じた重み付け係数を選択してその画素に対応する画素における色平均画像Ｂ₀〜Ｂ₃の画素値の重み付け和を求めることにより、その重み付け和を画素値とするぼかし済み背景画像Ｇｂを生成している。すなわち、計算対象となる画素の座標を（ｘ，ｙ）とすると、座標（ｘ，ｙ）におけるぼかし済み背景画像Ｇｂ(ｘ，ｙ)の画素値を以下の式によって求めることとする。

Ｇｂ(ｘ，ｙ)＝Ｗ₀(Ｏａ(ｘ，ｙ))・Ｂ₀(ｘ，ｙ)
＋Ｗ₁(Ｏａ(ｘ，ｙ))・Ｂ₁(ｘ，ｙ)
＋Ｗ₂(Ｏａ(ｘ，ｙ))・Ｂ₂(ｘ，ｙ)
＋Ｗ₃(Ｏａ(ｘ，ｙ))・Ｂ₃(ｘ，ｙ)
Ｓｕｍ｛Ｗ₀(Ｏａ(ｘ，ｙ))，Ｗ₁(Ｏａ(ｘ，ｙ))，Ｗ₂(Ｏａ(ｘ，ｙ))，Ｗ₃(Ｏａ(ｘ，ｙ))｝＝１
ここでSum{ }は{ }内の値の総和を求める関数であり、Ｏａ(ｘ，ｙ)は合成画像Ｏの座標(ｘ，ｙ)における透過情報Ｏａの値であり、ｉ＝０，１，２，３として、Ｂi(ｘ，ｙ)は色平均画像Ｂ_iでの座標(ｘ，ｙ)における画素値である。また、Ｗ_iは、用意した複数の色平均画像Ｂ₀〜Ｂ₃のそれぞれについて、どれだけ計算結果に影響を及ぼさせるかを与える重み係数であり、各Ｗ_iの総和は１になるように、予め定義されているものとする。

図３は、Ｇｂ(ｘ，ｙ)の計算処理の概念図を示す。以上の説明では、色平均画像Ｂ₀〜Ｂ₃はいずれも背景画像Ｇｏと同じ画素数の画像であるが、粒度が大きい（粒度が粗い）色平均画像では１つの粒度範囲に含まれる画素数が大きくなり、粒度範囲内の各画素に同じ画素値をコピーする処理の負担が重くなる。そこで、メモリなどに格納する際には粒度範囲を単位としてデータを格納するようにし、すなわち、粒度レベルが大きくなるにつれて色平均画像のサイズが小さくなるようにし、ぼかし済み背景画像Ｇｂの画素値の算出に際して、参照座標の変換計算を行うことにより、計算負荷を減らすようにすることが考えられる。

次に、上述した重み係数Ｗ_iについて説明する。図４は、座標(ｘ，ｙ)における不透過度に応じて各Ｗ_iにどれだけの重みを持たせるかを一例として示したものであり、マップ上に定義したものとして表現している。これは一例であり、背景画像を撮影するカメラの設置場所や、それに伴って確定する撮影画像に応じて、各現場ごとに、マッピングを手動で変更できるようにすることが好ましい。いずれにせよ、合成画像に含まれる物体の不透過度が高い場合（すなわち透過度が高い場合）、その物体の裏にある背景画像が見えやすい状況であるため、元の背景画像Ｇｏに近い画像Ｂ₀がより強く影響するように、Ｗ₀の重みを上げている。逆に、物体の不透過度が低い場合（すなわち透過度が低い場合）、その物体の裏にある背景画像が見え難い状況であるため、元の背景画像Ｇｏに近い画像Ｂ₀がより弱く影響するように、Ｗ₀の重みを下げている。

以上の処理により、ぼかし処理をほどこした背景画像すなわちぼかし済み背景画像Ｇｂにおける画素値Ｇｂ(ｘ，ｙ)を求めることができる。あとは、合成画像の色彩情報Ｏｃ(ｘ，ｙ)とぼかし済み背景画像Ｇｂ(ｘ，ｙ)とを、透過情報Ｏａ(ｘ，ｙ)の値を用いて、通常のαブレンド処理によって重ね合わせ合成することにより、合成結果画像Ｍが得られる。

ここまでの座標（ｘ，ｙ）に対する処理を、合成画像がカバーする領域の全ての画素に対して実施することにより、特許文献１に示された効果と同様の効果を得ることができる。ぼかし具合の厳密性という観点では本実施形態の手法は特許文献１に記載のものに劣るが、特許文献１に記載のものに比べ、計算処理の負荷を劇的に低減することが可能である。

図５は、上述した処理を実行する画像合成装置の構成の一例を示すブロック図である。この画像合成装置は、カメラ１１で撮影した画像（背景画像Ｇｏ）に対して、合成画像記憶部１２に記憶され透過情報を有する合成画像Ｏを合成し、合成結果画像Ｍとして表示装置１７に出力するものである。この画像合成装置は、背景画像Ｇｏに対する合成画像Ｏの配置場所を決定し、合成画像Ｏの色彩情報Ｏｃ及び透過情報Ｏａを出力する合成物配置器１３と、色平均画像Ｂ₀〜Ｂ₃を一時的に格納するメモリ１４と、背景画像Ｇｏから上述した手順にしたがって色平均画像Ｂ₁〜Ｂ₃を生成する色平均画像生成器１８と、合成画像Ｏにおける画素ごとに、その画素の透過情報に応じた重み付け係数Ｗ_iを選択してその画素に対応する画素における色平均画像Ｂ₀〜Ｂ₃の画素値の重み付け和を求めることにより、この重み付け和を画素値とするぼかし済み背景画像Ｇｂを生成する背景画像ぼかし処理器１５と、αブレンンディングにより透過情報Ｏａに応じて合成画像Ｏをぼかし済み背景画像Ｇｂに合成して合成結果画像Ｍを得て出力する画像合成処理器１６と、を備えている。上述したように色平均画像Ｂ₀は背景画像Ｇｏであるから、カメラ１１からの背景画像Ｇｏは、色平均画像生成器１８とメモリ１４内の色平均画像Ｂ₀の記憶領域とに並列して送られる。

以上説明した実施形態では、一つの合成結果画像Ｍを得るためには、粒度の異なる４種類の色平均画像Ｂ₀〜Ｂ₃を必要としている。しかしながら、入力する背景画像Ｇｏが連続する複数のフレームからなる動画である場合、動画の１フレームごとに色平均画像Ｂ₀〜Ｂ₃の全てを毎回求める必要はない。

色平均画像と粒度との関係を検討すると、細かい粒度の色平均画像、例えば色平均画像Ｂ₀，Ｂ₁は、詳細な画像情報であって画質に大きな影響を与えるため、１フレーム単位に計算した方がよい。これに対して粗い粒度の色平均画像、例えば色平均画像Ｂ₃，Ｂ₄は、輪郭のはっきりしないぼけた画像情報しか有していない。しかも、このような色平均画像Ｂ₃，Ｂ₄に大きな重みが与えられるのは、合成画像Ｏの不透過率が大きい場合であって、そのようなときは、合成画像Ｏの後景となるぼかし済み背景画像Ｇｂが画質に与える影響はそれほど大きくない。したがって、背景画像となる動画の中で動く物体があったとしても、相対的にぼけた画像である色平均画像Ｂ₃，Ｂ₄においては、その影響が小さいものとみなすことができる。つまり、ぼけが大きい色平均画像Ｂ₃，Ｂ₄などに関しては、１フレーム単位に厳密に計算する必要はなく、数フレームごとに計算する間引きを行なうことで、さらに計算の負荷を低減することができる。具体的な例としては、「色平均画像Ｂ₀，Ｂ₁は１フレームごとに更新し、色平均画像Ｂ₃は２フレームごとに更新し、色平均画像Ｂ₄は４フレームごとに更新する」ということが考えられる。

本実施形態の画像合成装置についてソフトウェアによって全ての処理を実装する場合には、このように、処理を間引いて負荷を軽減することが有効になる。

また、ぼかし処理の計算結果をパイプライン的に処理できる場合は、色平均画像Ｂ_n-1から色平均画像Ｂ_nを生成する処理を、以下のように時間差で実行することも可能である。

Ｂ₀は、カメラから与えられる最新の背景画像Ｇｏ
Ｂ₁は、１フレーム前のＢ₀を参照して計算する。（Ｂ₀に対して１フレーム遅れ）
Ｂ₂は、１フレーム前のＢ₁を参照して計算する。（Ｂ₀に対して２フレーム遅れ）
Ｂ₃は、１フレーム前のＢ₂を参照して計算する。（Ｂ₀に対して３フレーム遅れ）
このようなパイプライン的な処理が実施できれば、色平均画像Ｂ₀〜Ｂ₄までを直列でなく並列的に計算することができ、マルチプロセスが可能な環境、あるいはハードウェアによる実装においては、計算時間の短縮に寄与することができる。

図６は、このようにパイプラインによる処理を実行する画像合成装置の構成の一例を示している。図示される装置は、図５に示す装置と同様のものであるが、色平均画像生成器の代わりにパイプライン処理を実行する３個の変換器２１〜２３が設けられている点で図５に示すものと相違している。変換器２１は、メモリ１４に格納されている色平均画像Ｂ₀を読み出して色平均処理を行って色平均画像Ｂ₁を生成し、生成した色平均画像Ｂ₁をメモリ１４に格納する。同様に変換器２２は、メモリ１４に格納されている色平均画像Ｂ₁を読み出し色平均画像Ｂ₂を生成してメモリ１４に格納し、変換器２３は、メモリ１４に格納されている色平均画像Ｂ₀を読み出し色平均画像Ｂ₁を生成してメモリ１４に格納する。

以上の説明では、４種類の色平均画像Ｂ₀〜Ｂ₃を生成するとしたが、それ以上に粒度の粗い色平均画像Ｂ_n（ｎ≧４）までを生成してもかまわない。

以上述べてきた手法により、達成すべき項目として挙げた下記事項が実現される：
（１）不透明マスクが確定していなくても、背景画像のぼかし処理計算が開始できる，
（２）不透明領域の大小に関わらず、計算に要する時間を均一化する，
（３）色平均を求める際に、同じ部分で重複するような計算を発生させない。

以上説明した画像合成装置は、それを実現するためのコンピュータプログラムを、パーソナルコンピュータ（ＰＣ）やサーバ用コンピュータなどのコンピュータに読み込ませ、そのプログラムを実行させることによっても実現できる。上述した手順で画像合成を行うためのプログラムは、ＣＤ−ＲＯＭなどの記録媒体によって、あるいはネットワークを介して、コンピュータに読み込まれる。

次に、上述した本発明の画像合成方法及び装置の応用例について説明する。

［応用例１］
図７は、ＰＣ（パーソナルコンピュータ）と大画面モニタと背景画像を取得する動画カメラとを組み合わせ、リアルタイムで画像合成を実施するようにした例を示している。この例では、合成画像となるオブジェクト（物体）やキャラクタ（人物像）に関して、事前に、その画像情報やαマスク情報が、多数の視点からそのオブジェクトやキャラクタを眺めた場合について、予めＰＣに蓄積されているものとする。

（従来技術による実装）
比較のため、まずは従来技術を用いてソフトウェアで合成処理を実施する場合について述べる。

第一段階：ユーザは、システムの前に置かれているマーカを身に着けたり、手に持つなどして、そのマーカがカメラによって撮影されるように大画面モニタの前に立つ。動画カメラが、ユーザとマーカ、及びそれらの背景を１フレーム分撮影し、その画像データをＰＣに送出する。

第二段階：ＰＣは、撮影された画像データを受け取り、自動画像認識処理によってその画像データの中からマーカの位置、大きさ、向きを算出する。上記によって求められたマーカの位置、大きさ、向きに応じて、ＰＣは、合成するオブジェクトやキャラクタの種類を特定し、さらに合成に用いる蓄積データのうち最も視点として近いものを選択し、撮影画像中における合成の位置を決定する。

第三段階：合成するオブジェクトの位置、大きさが決まると、撮影画像に対してぼかし処理を実施するべきエリアが確定する。ＰＣは、このエリアの各画素に対して、合成オブジェクトのαマスク情報を用いて、ぼかし処理を実施する。

第四段階：ぼかし処理の完了した撮影画像を後方に置く背景画像として、合成物（オブジェクトまたはキャラクタ）をαブレンディングにより重畳する。

第五段階：アプリケーションの設定に応じて、鏡面反転処理が必要とされる場合には鏡面反転を実施して、もしくは鏡面反転が不要な場合にはそのままで、ＰＣは、合成結果画像を大型モニタに表示する。以後、第一段階に戻って処理を繰り返す。

以上が、従来技術をソフトウェアで実装した場合の処理の流れである。

この場合、マーカがカメラから見て遠方であったり、合成物が小さい場合には、ぼかし処理が必要とされる画素面積が少ないため、ぼかし処理自体に必要となる計算量は少なくなり、画面更新のフレームレートは早くなる。その反面、マーカが近くにある場合や、合成物が大きい場合、撮影画像のほぼ全体にわたってぼかし処理を行うことが必要な状況となる。上述の［発明が解決しようとする課題］の欄で述べたように、隣接する画素同士のぼかし処理においては、重複する計算が無駄に繰り返される可能性があり、処理に時間がかかり、結果として画像更新のフレームが遅くなる。また、第一段階から順番に処理していく必要があり、合成物の位置が決まらないとぼかし処理が開始できないという特徴がある。

（本発明の方法による実装）
次に、本発明に基づく方法で実施した場合について述べる。

第一段階：上述の従来の方法によるものと同じである。

第二段階：ＰＣは、以下の二つの処理を並列で実行する：
［２ａ］従来技術の第二段階と同様に、マーカ認識処理を実施する；
［２ｂ］本提案で示した、撮影画像を順々にぼかしていった画像（色平均画像）を複数生成する。

第三段階：ＰＣは、複数生成された色平均画像と、合成物が配置される場所のαマスクを参照しながら、重み係数にしたがって、ぼかし済み背景画像を生成する。

第四段階：ぼかし済み背景画像を後方に置く画像として、合成物（オブジェクトまたはキャラクタ）をαブレンディングにより重畳する。

第五段階：上述の従来の方法によるものと同じである。

以上に示したように、本発明の方法を応用した場合には、無駄な重複計算を回避しつつ、ぼかし処理が画像の全体に及ぶような場合であってもそうでない場合であっても、計算量が一定となる。したがって、フレームレートがばらつくような問題を回避することが可能となる。また、マルチコアＣＰＵが搭載され、また、パラレル演算処理を支援する拡張ボードが利用可能となった昨今のＰＣにおいては、第二段階において、画像物の位置特定を待たずに同時並行でぼかし処理（色平均画像の生成処理）を開始することができ、全体としての処理を効率的に行なうことが可能となる。

［応用例２］
図７は、画像合成処理を行うサーバをネットワーク上に設け、画像合成処理サービスを提供するようにしたシステムを示している。インターネットなどのデータネットワーク３０に対し、本発明の方法で画像合成を行う処理サーバ３１が接続するとともに、携帯電話３２、ＰＣ３３が接続している。携帯電話３２及びＰＣ３３は、電子メールで、あるいはプロトコルとしてＨＴＴＰ(Hypertext Transfer Protocol)を使用して処理サーバ３１にアクセス可能である。

まず、マーカをページ中に含んだ紙冊子を、店頭設置や郵送などの手段によりユーザに配布する。ユーザは、マーカが印刷されたページを冊子から切り離して、これを撮影に利用することとする。ユーザは、カメラ付携帯電話３２により撮影した画像を電子メールやＨＴＴＰによって処理サーバ３１に送出することができる。または、デジタルカメラで撮影した画像を、ＰＣ３３を使い電子メールやＨＴＴＰによって処理サーバに送出することができる。この時、合成するオブジェクトを指定するための商品番号などを、合わせて送出することもできる。

処理サーバ３１は、受信した画像からマーカを自動認識し、オブジェクトやキャラクタによる画像合成処理を実施してユーザに返送する。図示した例では、机の上にマーカとコーヒーカップとが配置されている画像を送信画像（撮影画像）として処理サーバ３１に送ると、処理サーバ３１での画像合成処理により、マーカ上にガラス製の花瓶が配置された画像が合成結果画像として生成し、端末側はその合成結果画像を受信画像として受け取る。

以上により、ユーザは、自端末に画像認識や画像合成のためのソフトウェアを備えることなく、結果としての合成結果画像を入手することができる。

従来技術を用いた場合には、ぼかし処理において無駄な繰り返しの計算があったため、処理サーバに負荷がかかりやすかった。特にサーバクライアント型のシステム構成とした場合、多数のユーザが同時にアクセスして来るような状況が想定されるため、処理サーバ側の処理が軽いほど、システム全体としてのパフォーマンスが向上することになる。本発明に基づく方法を適用することにより、処理サーバ側の処理負荷が軽減されるため、処理サーバ側で重系システムを構築する場合でも、より少ない台数で、従来技術の場合と同等のパフォーマンスを得ることができる。

粒度が異なる色平均画像を順次生成する過程を概念的に示す図である。粒度が異なる色平均画像Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃を生成する過程を示す図である。本発明の実施の一形態の画像合成方法におけるぼかし済み背景画像Ｇｂを求める処理を説明する図である。不透過度と重み係数Ｗ_iとの関係を示す図である。本発明の実施の一形態の画像合成装置の構成を示すブロック図である。本発明の別の実施形態の画像合成装置の構成を示すブロック図である。動画像に対するリアルタイムでの画像合成に適用した例を示す図である。ネットワーク上のサーバによって画像合成処理サービスを提供するようにしたシステムを示すブロック図である。透過情報を有する合成画像を背景画像に合成した例を示す図である。合成結果画像の一例を示す図である。合成結果画像の一例を示す図である。特許第４００７１６０号明細書に示された画像合成方法における処理を概念的に示す図である。

符号の説明

１１カメラ
１２合成画像記憶部
１３合成物配置器
１４メモリ
１５背景画像ぼかし処理器
１６画像合成処理器
１７表示装置
１８色平均画像生成器
２１〜２３変換器
３０データネットワーク
３１処理サーバ
３２携帯電話
３３ＰＣ（パーソナルコンピュータ）

Claims

透過情報を有する合成画像を背景画像に合成して合成結果画像を得る画像合成方法であって、
ｋを０以上の整数とし、ｍ＝２ ^k とし、粒度ｋに対応して、ｍ×ｍ画素の大きさの各領域ごとにその領域内の画素の画素値の色平均を求めるぼかし処理を行うことによって、前記背景画像から前記粒度ｋが異なる複数の色平均画像を生成する色平均画像生成段階と、
前記合成画像における画素ごとに、当該画素の透過情報に応じた重み付け係数を選択して当該画素に対応する画素における前記複数の色平均画像の画素値の重み付け和を求めることにより、前記重み付け和を画素値とするぼかし済み背景画像を生成し、
αブレンンディングにより前記透過情報に応じて前記合成画像を前記ぼかし済み背景画像に合成して合成結果画像を得る、
画像合成方法。
前記背景画像を粒度０の色平均画像とし、ｎを１以上の整数とし、
前記色平均画像生成段階において、粒度（ｎ−１）の色平均画像に対して、粒度（ｎ−１）での前記ぼかし処理の対象とされた前記各領域について２×２の領域の範囲についての色平均を求めることによって、粒度ｎの色平均画像を生成し、これによって複数の粒度での色平均画像を再帰的に生成する、請求項１に記載の画像合成方法。
前記背景画像が連続する複数のフレームからなる動画像であり、ｉを所定のしきい値として、粒度ｉよりも粗い粒度の色平均画像については、一定のフレームごとに間引きながら生成する、請求項２に記載の画像合成方法。
前記背景画像が連続する複数のフレームからなる動画像であり、
前記色平均画像生成段階において、前フレームでの粒度（ｎ−１）の色平均画像に対して、粒度（ｎ−１）での前記ぼかし処理の対象とされた前記各領域について２×２の領域の範囲についての色平均を求めることによって、現フレームでの粒度ｎの色平均画像を生成する、請求項２に記載の画像合成方法。
透過情報を有する合成画像を背景画像に合成して合成結果画像を得る画像合成方法であって、
ｋを０以上の整数とし、ｍ＝２ ^k とし、粒度ｋに対応して、ｍ×ｍ画素の大きさの各領域ごとにその領域内の画素の画素値の色平均を求めるぼかし処理を行うことによって、前記背景画像から前記粒度ｋが異なる複数の色平均画像を生成する色平均画像生成手段と、
前記合成画像における画素ごとに、当該画素の透過情報に応じた重み付け係数を選択して当該画素に対応する画素における前記複数の色平均画像の画素値の重み付け和を求めることにより、前記重み付け和を画素値とするぼかし済み背景画像を生成する背景画像ぼかし処理手段と、
αブレンンディングにより前記透過情報に応じて前記合成画像を前記ぼかし済み背景画像に合成して合成結果画像を得る画像合成処理手段と、
を有する画像合成装置。
前記背景画像を粒度０の色平均画像とし、ｎを１以上の整数とし、
前記色平均画像生成手段は、粒度（ｎ−１）の色平均画像に対して、粒度（ｎ−１）での前記ぼかし処理の対象とされた前記各領域について２×２の領域の範囲についての色平均を求めることによって、粒度ｎの色平均画像を生成し、これによって複数の粒度での色平均画像を再帰的に生成する、請求項５に記載の画像合成装置。
前記背景画像が連続する複数のフレームからなる動画像であり、ｉを所定のしきい値として、粒度ｉよりも粗い粒度の色平均画像については、一定のフレームごとに間引きながら生成する、請求項６に記載の画像合成装置。
前記背景画像が連続する複数のフレームからなる動画像であり、
前記複数の色平均画像を保持するメモリをさらに備え、
前記色平均画像生成手段は、前記メモリに格納された前フレームでの粒度（ｎ−１）の色平均画像に対して、粒度（ｎ−１）での前記ぼかし処理の対象とされた前記各領域について２×２の領域の範囲についての色平均を求めることによって、現フレームでの粒度ｎの色平均画像を生成して前記メモリに格納する変換手段を備える、請求項６に記載の画像合成装置。
コンピュータに請求項１乃至４のいずれか１項に記載の画像合成方法を実行させるプログラム。