JP5898109B2 - 画像合成装置、画像合成方法及び画像合成プログラム - Google Patents

Description

本発明は、仮想物体の画像を実画像に合成する画像合成装置、画像合成方法及び画像合成プログラムに関する。

拡張現実においては、例えば仮想物体などのコンピュータグラフィックスオブジェクト（以下、ＣＧオブジェクトという）をシーン画像（実在するシーンを撮像して得られた画像）に合成する際に、そのＣＧオブジェクトに陰影を付与することが行われている。このように、ＣＧオブジェクトに対応して陰影を付加することによって、シーン画像内に合成したＣＧオブジェクトが実際に存在しているかのように見せることができる。

上記のように陰影を付加するのにあたっては陰影情報が利用される。陰影情報とは、シーン画像におけるＣＧオブジェクトの合成位置に対応させて実シーンにＣＧオブジェクトの実体を位置させたとした場合に生じる陰影が、シーン画像においてはどのように表現されるのかを示す情報である。

先行技術（例えば、非特許文献１）では、シーン中に存在する一般的な物体を用いて陰影情報導出とＣＧオブジェクトの実画像への合成を行う方法を提案している。非特許文献１の技術では、実シーンに存在する物体を参照物体とし、その物体画像と物体表面法線情報から、球面調和関数の重みを求めることで、陰影導出を行い、その陰影を合成すべきＣＧオブジェクトに適用することで陰影付きＣＧオブジェクトの画像への合成を実現している。また、非特許文献１では拡散反射の陰影を表現した際の球面調和関数の重みの性質に基づいた正則化を陰影導出の過程で課しており、これにより導出した陰影のリンギングアーティファクト（不自然な明線が発生すること）の低減の効果を実現している。

八尾泰洋，磯和之，川村春美，小島明，拡散反射と認知される陰影の一般物体からの取得，ＶＲ学研報，Ｖｏｌｕｍｅ １７，Ｎｕｍｂｅｒ ＣＳ−１，２０１２．

非特許文献１では、陰影導出の安定した収束が約束されておらず、陰影の導出に失敗することがある。具体的には、非特許文献１の手法では陰影導出の際に最適化するべき関数が９つの変数についての４次の多項式の形をとっており、複数の極小値を持つ。そのため、陰影導出のためにＮｅｗｔｏｎ法などの繰り返し最適化が必要であり、初期値によっては望ましくない極小値へと収束してしまうことや、最適化に長い計算時間がかかるといった弊害がある。

非特許文献１の陰影情報導出では球面調和関数を用いている。球面調和関数はＹ_ｊ ^ｍ（θ，φ）と表記され、０以上の整数ｊ、−ｊ≦ｍ≦ｊを満たす整数ｍの２つの次数によって決定される、球面座標（θ，φ）についての関数であり、（１）式のように表される。球面座標は図６に示すように、２つの偏角θ、φによって原点を中心とした単位球上の３次元座標を表す座標系である。図６は、球面座標系を示す説明図である。

（１）式において、Ｋ_ｊ ^ｍは（２）式で表される係数であり、Ｐ_ｊ ^ｍ（ｘ）はルジャンドル陪関数であり、（３）式で表される。

物体の陰影は（４）式のＬ（θ，φ）のように重みＷ_ｊ ^ｍを用いて表すことができる。ここで、陰影とは物体表面の法線方向に従った輝度値である。（４）式の陰影表現の模式図を図７に示す。図７は、球面調和関数による陰影表現を示す模式図である。図７では０≦ｊ≦２の９つの球面調和関数を示している。

非特許文献１では０≦ｊ≦２の９つの球面調和関数を用いる。０≦ｊ≦２の９つの球面調和関数は、（１）式を数値的に計算することによって、例えば（５）式のように書き下すことができる。

非特許文献１では参照物体の画像、および法線によって陰影を導出する。参照物体画像はＮピクセルの領域で、各ピクセルにｎ＝１．．．Ｎというように番号付けがなされており、ｎ番目のピクセルでの画素の輝度値がＬｎ、法線が球面座標表記（図６参照）で（θ_ｎ，φ_ｎ）と表されているとする。非特許文献１では、（５）式に示す球面調和関数を用いて、参照物体画像と参照物体法線から、（６）式によって重みｗ_ｊ ^ｍを導出することで、陰影情報を導出する。なお（６）式において、ｗは球面調和関数の重みを並べてベクトル表記したものであり、ｅ（ｗ）は（７）式に示した球面調和関数の重み付き和と参照物体の陰影との誤差に関する項であり、ｒ’（ｗ）は（８）式に示した正則化項である。

（８）式の正則化項ｒ’（ｗ）は文献「Ravi Ramamoorthi, Pat Harahan, On the relationship between radiance and irradiance: determining the illumination from images of a convex Lambertian object, J. Opt. Soc. Am. A, Vol. 18, No. 10, October 2001」に示されているように、拡散反射の陰影を表現した際の球面調和関数の重みの関係性を正確に満たすように設計されたものである。しかし、実際に適用する際には、その球面調和関数の重みの関係性は近似によるもので、厳密ではないので、λ_１，λ_２の値は（６）式の最適化に大きな影響を及ぼさないように小さな値を設定する。

（６）式のように、正則化項ｒ’（ｗ）を加えるによって、ｅ（ｗ）の誤差のみの最小化で生じることのあるリンギングアーティファクトを低減できる効果があることが非特許文献１で示されている。この効果について、図８を参照して説明する。図８は、陰影導出での正則化の効果を示す図である。図８に示す（ａ）の画像は、参照物体（画像中央の球）が配置されたシーン画像である。図８に示す（ｂ）の画像は、参照物体に対してｅ（ｗ）のみの最小化によって導出した陰影を付けた画像である。また、図８に示す（ｃ）の画像は、参照物体に対して（６）式の最小化によって導出した陰影を付けた画像である。図８（ｂ）では左下境界付近に不自然な明線（リンギングアーティファクト）が生じている。一方、図８（ｃ）ではそのような明線が見られないことが確認できる。すなわち、正則化項導入の効果によってリンギングアーティファクトが低減したことがわかる。

しかしながら、ｒ’（ｗ）はｗについての４次の方程式であり、（６）式を最適化するにはＮｅｗｔｏｎ法などの繰り返し最適化手法が要求される。これにより、収束までに時間がかかってしまったり、初期値によっては望ましくない極小値に収束してしまったりすることがあるため、高速に安定して陰影情報を導出することができないという問題がある。

本発明は、このような事情に鑑みてなされたもので、リンギングアーティファクトが発生することを低減しつつ、高速かつ安定して陰影情報を導出することができる画像合成装置、画像合成方法及び画像合成プログラムを提供することを目的とする。

本発明は、シーン画像に対して、所定の物体の画像を合成する画像合成装置であって、前記シーン画像内に存在する参照物体の部分画像と、前記参照物体の法線データとから制定した高々２次の多項式の陰影情報導出式を最適化することによって、陰影情報を出力する陰影情報出力手段と、前記陰影情報と前記物体の形状データとから陰影付き物体データを生成して出力する陰影適用手段と、前記陰影付き物体データを平面に投影して得られた物体画像を前記シーン画像の所定の位置に重畳した物体合成画像を生成する画像合成手段とを備えることを特徴とする。

本発明は、シーン画像に対して、所定の物体の画像を合成する画像合成装置が行う画像合成方法であって、前記シーン画像内に存在する参照物体の部分画像と、前記参照物体の法線データとから制定した高々２次の多項式の陰影情報導出式を最適化することによって、陰影情報を出力する陰影情報出力ステップと、前記陰影情報と前記物体の形状データとから陰影付き物体データを生成して出力する陰影適用ステップと、前記陰影付き物体データを平面に投影して得られた物体画像を前記シーン画像の所定の位置に重畳した物体合成画像を生成する画像合成ステップとを有することを特徴とする。

本発明は、コンピュータを、前記画像合成装置として機能させるための画像合成プログラムである。

本発明によれば、リンギングアーティファクトが発生することを低減しつつ、高速かつ安定して陰影情報を導出することができるという効果が得られる。

本発明の第１の実施形態の構成を示すブロック図である。 図１に示す装置の処理動作と各処理における入出力を示す図である。 陰影導出での正則化の効果を示す図である。 図１に示す陰影情報適用部５の処理を説明する模式図である。 仮想物体合成画像の例を示す図である。 球面座標系を説明する図である。 球面調和関数による陰影表現を説明する模式図である。 陰影導出での正則化の効果を示す図である。

以下、図面を参照して、本発明の一実施形態による画像合成装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、記憶装置によって構成する入力データ記憶部である。入力データ記憶部１には、参照物体画像１１と、参照物体法線データ１２と、仮想物体データ１３と、実シーン画像１４とが記憶される。符号２は、記憶装置によって構成する出力データ記憶部である。出力データ記憶部２には、陰影情報２１と、陰影付き仮想物体データ２２と、仮想物体合成画像２３とが記憶される。なお、入力データ記憶部１と出力データ記憶部２は同一の記憶装置であってもよい。

符号３は、陰影情報を導出するための導出式を制定する陰影情報導出式制定部である。符号４は、最適化処理を行う最適化部である。符号５は、生成した陰影情報を仮想物体に対して適用する陰影情報適用部である。符号６は、陰影情報を適用した仮想物体を実シーン画像に合成する仮想物体合成部である。陰影情報導出式制定部３と最適化部４とは、陰影情報導出部７を構成する。

前処理として、入力データ記憶部１には、参照物体画像１１と、参照物体法線データ１２と、仮想物体データ１３と、実シーン画像１４とを記憶しておく。参照物体とは仮想物体を合成する実シーンに存在する一般的な物体、もしくは物体の一部であり、おおよそ単色であり、かつ表面の法線の方向が周囲全方向に分布しているものが望ましい。参照物体画像はＮピクセルの領域（部分画像）であり、各ピクセルに自然数ｎ（ｎ＝１．．．Ｎ）の番号付けがなされている。また、参照物体画像ｎ番目の画素の輝度値がＬｎ、法線が球面座標表記（図６参照）で（θ_ｎ，φ_ｎ）と表されており、参照物体画像と参照物体法線データ１２は関連付けられている。仮想物体データは仮想物体の頂点の３次元位置と頂点の法線ベクトルとを形状データとして持つ、拡張子ｏｂｊ、ｐｌｙなどの形式で保存されているＣＧオブジェクトのデータである。

参照物体画像１１と参照物体法線データ１２は、例えば、以下の（ａ）、（ｂ）に示す方法によって得ることができる。
（ａ）非特許文献１に示されているように、ＫｉｎｅｃｔなどのＲＧＢによって定義された画像とデプスセンサから得たデプスマップとから、領域分割によって参照物体領域を選択し、その領域の画像を参照物体画像１１とし、その領域の奥行情報から法線を算出して参照物体法線データ１２とする。
（ｂ）参照物体を取り囲むようにして撮影された多視点画像から参照物体を３次元復元し、それにより参照物体の法線を計算し、３次元復元された参照物体上の点における画素の集合を参照物体画像１１とし、法線を参照物体法線データ１２とする。

次に、図２を参照して、図１に示す画像合成装置の処理動作を説明する。図２において、実線は処理の流れを、破線は入力データ記憶部１もしくは出力データ記憶部２と各処理との間のデータの入出力を示している。

まず、陰影情報導出式制定部３は、入力データ記憶部１に記憶されている参照物体画像１１と参照物体法線データ１２とに基づき、陰影情報導出式を制定する（ステップＳ１）。陰影情報導出式は、非特許文献１と同様に球面調和関数による陰影表現を用いる。したがって、球面調和関数の重みを導出することが陰影情報導出であり、ここでは球面調和関数の重みを陰影情報として扱う。また、以降の式において（１）式から（８）式までと共通の記号がつかわれている場合、同一の式を表している。

本実施形態における陰影情報導出が非特許文献１の手法と異なるのは、正則化項であり、その正則化項が球面調和関数の重みｗについての２次の多項式である点である。陰影情報導出式制定部３では、（１０）式に示す正則化項ｒ（ｗ）を含む（９）式の陰影情報導出式を制定する。なお、（９）式においてｅ（ｗ）は（７）式に示した参照物体の陰影と球面調和関数の重み付き和との誤差である。

なお、（１０）式のａ_０，ａ_１，ａ_２は係数であり、例えば文献「Ravi Ramamoorthi, Pat Harahan, On the relationship between radiance and irradiance: determining the illumination from images of a convex Lambertian object, J. Opt. Soc. Am. A, Vol. 18, No. 10, October 2001」に示されている拡散反射の陰影を表現した際の球面調和関数の重みの関係性を保つように、ａ_０＝１，ａ_１＝９／４，ａ_２＝１６とすればよい。また、ｇ（Ｎ）は正則化項ｒ（ｗ）のスケーリングのための係数であり、例えばｇ（Ｎ）＝Ｎとすればよい。

（１０）式の正則化項ｒ（ｗ）は、（８）式の正則化項ｒ’（ｗ）と同等の効果を持つ正則化が２次多項式によっても実現できることに着目したものである。具体的には、（８）式の正則化項ｒ’（ｗ）は１次の重みｗ_１ ^ｍもしくは２次の重みｗ_２ ^ｍが０次の重みｗ_０ ^０に対して大きすぎた際に、それらの重みを小さくするという効果（スケール調整）を持つ。

さらに、重みを小さくするという効果は厳密なものではなく、λ_１およびλ_２の値によって強くなったり弱くなったりする。このような厳密でないスケール調整は２次の多項式の正則化項によっても可能である。（１０）式のｒ（ｗ）では重みｗ_ｊ ^ｍが大きくなると、その係数ａ_ｊに従った大きさのペナルティがかかる。これにより、ａ_ｊが大きいほどｗ_ｊ ^ｍは小さくなりやすくなるという効果を持つ。すなわち、ａ_ｊを適切に設定することによって、（８）式のｒ’（ｗ）による正則化と同等の効果を（１０）式のｒ（ｗ）による正則化で実現することができる。

図３は、本実施形態による陰影導出によって陰影を付けた画像である。図３に示すように、図８（ｃ）に示す画像と同様にリンギングアーティファクトの効果が低減されていることがわかる。

次に、最適化部４は、陰影情報制定部３で制定された（９）式の陰影情報導出式を最適化することによって陰影情報を導出し、陰影情報２１として出力データ記憶部２に記憶する（ステップＳ２）。ここで、（９）式の最適化問題の解法の一例を説明する。（９）式の最適化問題は、例えば（１１）式に示す行列演算によって厳密に解くことができる。（１１）式において、重み＾ｗ（＾はｗの上に付く、以下同様）は（９）式の最適化問題の解である。なお（１１）式におけるΦは（１２）式のＮ×９行列、Ａは（１３）式の９×９対角行列、ｔは（１４）式のＮ次元ベクトルである。なお、以上の導出法は一例であって、他の方法によって導出を行ってもよい。計算誤差がなければ、導出法を代えても結果は変わらない。

次に、最適化部４は導出した重み＾ｗ＝｛＾ｗ_０ ^０，＾ｗ_１ ^−１，＾ｗ_１ ^０，＾ｗ_１ ^１，＾ｗ_２ ^−２，＾ｗ_２ ^−１，＾ｗ_２ ^０，＾ｗ_２ ^１，＾ｗ_２ ^２，｝^Ｔを陰影情報２１として出力データ記憶部２に記憶する。

次に、陰影情報適用部５は、入力データ記憶部１に記憶されている仮想物体データ１３と、出力データ記憶部２に記憶されている陰影情報２１とから、陰影付き仮想物体を導出し、陰影付き仮想物体データ２２として出力データ記憶部２に記憶する（ステップＳ３）。陰影情報適用部５の処理の模式図を図４に示す。図４に示すように、入力データ記憶部１に記憶されている仮想物体データ１３に対して、出力データ記憶部２に記憶されている陰影情報２１（重み＾ｗ）を適用することにより、陰影付き仮想物体データ２２が生成されて、出力データ記憶部２に記憶されることになる。

ここで、仮想物体データ１３はＫ（Ｋは自然数）個の３次元頂点の情報を含み、それぞれの点における物体表面法線方向を球面座標で（θ_ｋ，φ_ｋ）、（ｋ＝１．．．Ｋ）と表記する。この時、実画像に合成する仮想物体のｋ番目の頂点の色ｃ_ｋは（１５）式によって導出する。ここで、ρは（１６）式に示すように、仮想物体が参照物体と比較してどの程度明るいかを示す輝度比αと、輝度値ｌ（ｒ，ｇ，ｂ）により正規化した仮想物体の色｛ｒ，ｇ，ｂ｝^Ｔとの積である。ここで、輝度値の計算は、例えばｌ（ｒ，ｇ，ｂ）＝０．２９９ｒ＋０．５８７ｇ＋０．１１４ｂのように行う。輝度比αと｛ｒ，ｇ，ｂ｝^Ｔの値は、任意の値であり、例えば入力で与えてもよいし、入力から導き出してもよい。（１５）式で導出された色情報ｃ_ｋを、元の仮想物体データ１３の各頂点と紐づけて陰影付き仮想物体データ２２として出力データ記憶部２に記憶する。

次に、仮想物体合成部６は、入力データ記憶部１に記憶されている実シーン画像１４を読み出し、この実シーン画像１４に対して、陰影付き仮想物体データ２２を重畳合成して、仮想物体合成画像２３として、出力データ記憶部２に記憶する（ステップＳ４）。図５は、実シーン画像１４に陰影付き仮想物体データ２２を重畳合成して生成した仮想物体合成画像２３を一例を示す図である。図５に示すように陰影付き仮想物体データ２２をカメラ平面に投影した画像を、実シーン画像１４中の所定の位置に配置することで、仮想物体が現実シーンの照明によって照らされたような効果を持つ仮想物体合成画像を生成することができる。これにより、仮想物体が現実のシーンに存在すると感じさせる効果を合成画像に持たせることができる。

以上説明したように、陰影情報導出を２次の多項式の最小化によって実現し、それによって繰り返し最適化処理を行うことなく解の導出を可能とし、安定かつ高速に陰影情報を導出することができる。これにより、リンギングアーティファクト（不自然な明線の発生）の低減効果を得ることができる。また、陰影情報の導出の際に、繰り返し最適化処理が不要であるため、安定して高速な陰影付き仮想物体の実画像への合成を実現することができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

仮想物体を実画像に重畳合成して表示する際に、その仮想物体が実際に実環境に存在していると感じさせるような画像合成を実現することが不可欠な用途に適用できる。

１・・・入力データ記憶部、１１・・・参照物体画像、１２・・・参照物体法線データ、１３・・・仮想物体データ、１４・・・実シーン画像、２・・・出力データ記憶部、２１・・・陰影情報、２２・・・陰影付き仮想物体画像、２３・・・仮想物体合成画像、３・・・陰影情報導出式制定部、４・・・最適化部、５・・・陰影情報適用部、６・・・仮想物体合成部、７・・・陰影情報導出部

Claims (3)

1. シーン画像に対して、所定の物体の画像を合成する画像合成装置であって、
   前記シーン画像内に存在する参照物体の部分画像と、前記参照物体の法線データとから制定した２次の多項式の陰影情報導出式
   において、ｅ（ｗ）は、参照物体に陰影と球面調和関数の重み付き和との誤差であり、正則化項であるｒ（ｗ）は、
   （ここで、ｇ（Ｎ）は、正則化項ｒ（ｗ）のスケーリングのための係数、ｗは重み、ａ _０ ，ａ _１ ，ａ _２ は、係数であり、ａ _０ ＝１，ａ _１ ＝９／４，ａ _２ ＝１６である）によって最適化することによって、陰影情報を出力する陰影情報出力手段と、
   前記陰影情報と前記物体の形状データとから陰影付き物体データを生成して出力する陰影適用手段と、
   前記陰影付き物体データを平面に投影して得られた物体画像を前記シーン画像の所定の位置に重畳した物体合成画像を生成する画像合成手段と
   を備えることを特徴とする画像合成装置。
2. シーン画像に対して、所定の物体の画像を合成する画像合成装置が行う画像合成方法であって、
   前記シーン画像内に存在する参照物体の部分画像と、前記参照物体の法線データとから制定した２次の多項式の陰影情報導出式
   において、ｅ（ｗ）は、参照物体に陰影と球面調和関数の重み付き和との誤差であり、正則化項であるｒ（ｗ）は、
   （ここで、ｇ（Ｎ）は、正則化項ｒ（ｗ）のスケーリングのための係数、ｗは重み、ａ _０ ，ａ _１ ，ａ _２ は、係数であり、ａ _０ ＝１，ａ _１ ＝９／４，ａ _２ ＝１６である）によって最適化することによって、陰影情報を出力する陰影情報出力ステップと、
   前記陰影情報と前記物体の形状データとから陰影付き物体データを生成して出力する陰影適用ステップと、
   前記陰影付き物体データを平面に投影して得られた物体画像を前記シーン画像の所定の位置に重畳した物体合成画像を生成する画像合成ステップと
   を有することを特徴とする画像合成方法。
3. コンピュータを、請求項１に記載の画像合成装置として機能させるための画像合成プログラム。