JP7476511B2 - 画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理システム、画像処理方法及びプログラムに関する。

建物のリフォームや備品の追加などを行う際、実際にリフォームする前、あるいは備品を配置する前に、予め完了後の見えを確認したい場合がある。
例えば、備品として家具、壁、設備を追加したり、追加した家具の配置する位置を検討したりする場合、備品を配置した際にどのような印象となるか、すなわち配置している備品が部屋の環境に調和するか否かを、シミュレーション結果の画像により視覚的に検討したいという要望がある。
このとき、部屋の光源が正確に仮想空間で反映されない場合、シミュレーション時における見えから得た印象と、実際に行ったレイアウト変更における見えから得られる印象とが、大きく異なってしまう場合がある。

このため、リフォーム対象の空間である対象空間を撮像した撮像画像から、この対象空間の三次元形状を仮想空間としてモデル化し、備品をこの仮想空間に配置して、仮想空間における室内などにおける備品の見えを、仮想空間を用いてシミュレーションすることが行われる。
このとき、仮想空間における物品の見えをより対象空間に近づけるため、対象空間としての室内における光源の光源情報を正確に推定して、この光源情報に基づいて仮想空間における仮想光源を生成することが行われている（例えば、特許文献１参照）。

特開２０１８－０３６８８４号公報

しかしながら、引用文献１においては、対象空間の撮像画像を撮像する際、予め既知光源下で撮像した基準画像が用意されている、形状が既知である物体を対象空間に対して配置し、撮像画像に撮像されている物体の画像と、基準画像とを対比することに光源情報を推定している。
このため、形状が既知の物体を準備し、かつこの物体の画像を既知光源下で撮像して基準画像を準備する必要があり、対象空間の撮像を行うまでに手間が掛かってしまう。

また、この方法においては、光源の放射する光の情報のみを推定することしかできず、放射光が放射される空間の三次元形状が不明である。
このため、光源から放射される光が遮蔽されたり、反射されたりするかが不明であり、対象空間に対応した見えを、高い精度で仮想空間においてシミュレーションすることができない。

本発明は、このような状況に鑑みてなされたもので、形状が既知の物体を準備し、かつこの物体の画像を既知光源下で撮像して基準画像を準備する必要がなく、現実の対象空間の撮像画像と、この対象空間の三次元形状モデルとから、対象空間における少なくとも光源の位置及び強度の情報を推定する画像処理システム、画像処理方法及びプログラムを提供する。

本発明の画像処理システムは、対象空間が撮像された単一あるいは複数の撮像画像から、前記対象空間の少なくとも三次元形状を含む空間形状情報を推定する形状情報推定部と、前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定部とを備え、前記光源情報推定部が、前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定することを特徴とする。

本発明の画像処理システムは、前記光源情報推定部が、前記撮像画像の画素値と、前記反射率情報、前記光源情報及び前記空間形状情報の各々との関係を示す所定の式から、前記推定した前記反射率情報を用いて前記光源情報を推定することを特徴とする。

本発明の画像処理方法は、形状情報推定部が、対象空間が撮像された単一あるいは複数の撮像画像から、前記対象空間の少なくとも三次元形状を含む空間形状情報を推定する形状情報推定過程と、光源情報推定部が、前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定過程とを含み、前記光源情報推定過程では、前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定することを特徴とする。

本発明のプログラムは、コンピュータを、対象空間が撮像された単一あるいは複数の撮像画像から、前記対象空間の少なくとも三次元形状を含む空間形状情報を推定する形状情報推定手段、前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定手段として機能させ、前記光源情報推定手段が、前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定するプログラムである。

以上説明したように、本発明によれば、形状が既知の物体を準備し、かつこの物体の画像を既知光源下で撮像して基準画像を準備する必要がなく、現実の対象空間の撮像画像と、この対象空間の三次元形状モデルとから、対象空間における光源の情報を推定し、三次元形状モデルの任意の点における光の入射を正確に再現する画像処理システム、画像処理方法及びプログラムを提供することが可能となる。

本発明の一実施形態による画像処理システムの構成例を示すブロック図である。 撮像画像から部屋における天井、壁及び床の消失点部及び境界部を抽出し、デプスマップを求める処理を説明する図である。 セマンティックセグメンテーションを行う機械学習モデルにより対象空間のオブジェクトの領域分割を示す図である。 機械学習モデルで生成したデプスマップとマンハッタンワールド仮説により生成したデプスマップとの合成を説明する図である。 マンハッタンワールド仮説により生成したデプスマップから求めた部屋構造部（天井、壁及び床）の三次元形状を示す図である。 三次元形状推定方法（１）における機械学習モデルで求めたデプスマップから、セマンティックセグメンテーションにより分割した領域により求めたオブジェクト部のデプスマップから求めた三次元形状を示す図である。 光源情報推定方法（１）により抽出された光源の領域（光源領域）を、光源情報推定部１４がグレースケール画像において示す図である。 光源情報推定部１４により求められた空間形状情報における反射率情報を示す反射率成分画像である。 光源情報推定部１４が推定した光源情報を空間形状情報における三次元形状に配置した例を示している。 画像合成部により生成された三次元の仮想空間を撮像画像の撮像方向から見た画像を示す図である。 仮想空間に対してＣＧオブジェクトの追加の配置を行う制御について説明する図である。 仮想空間に対してＣＧオブジェクトの追加の配置を行う制御について説明する図である。 本実施形態による画像処理システムにおいて、対象空間の選択された撮像画像から生成した仮想空間と、ＣＧオブジェクトとを合成する処理の動作例を示すフローチャートである。

以下、図１における画像処理システムの構成例について、図面を参照して説明する。
図１は、本発明の一実施形態による画像処理システムの構成例を示すブロック図である。図１において、画像処理システム１０は、データ入出力部１１、撮像条件取得部１２、形状情報推定部１３、光源情報推定部１４、画像合成部１５、表示制御部１６、表示部１７、撮像画像記憶部１８、空間情報記憶部１９及び合成画像記憶部２０の各々を備えている。
ここで、画像処理システム１０は、パーソナルコンピュータ、タブレット端末、スマートフォンなどに、以下に説明する各機能部より画像処理を行なうアプリケーションをインストールすることにより構成される。

データ入出力部１１は、シミュレーションを行う対象空間が撮像された撮像画像を外部装置から入力し、撮像画像識別情報を付与して、撮像画像記憶部１８に対して書き込んで記憶させる。
撮像条件取得部１２は、対象空間の撮像画像を撮像した際の撮像条件を取得し、それぞれの撮像画像の撮像画像識別情報に対応させ、撮像画像記憶部１８に対して書き込んで記憶させる。この撮像条件は、撮像装置のカメラパラメータ、センササイズ、撮像装置から対象空間の三次元形状までの実寸サイズの距離、撮像画像の画素数、撮像した撮像位置の位置関係、また動画であればフレームレートなどである。また、撮像条件において撮像画像のＥｘｉｆ（exchangeable image file format ）情報から取得可能な情報は、ユーザが入力する必要はない。実寸サイズの距離は、単一画像の場合には撮像する対象空間に対して、大きさの判っているマーカを置いて、そのマーカの画像を元に距離の算出を行う。

形状情報推定部１３は、撮像画像記憶部１８に記憶されている撮像画像から、撮像した対象空間の三次元形状を推定して、三次元形状モデル（仮想空間）を含む空間形状情報を生成する。
そして、形状情報推定部１３は、生成した空間形状情報を空間情報記憶部１９に対して書き込んで記憶させる。この空間形状情報は、少なくとも、対象空間の三次元形状モデルのデータ、法線ベクトルなどを含んでいる。
本実施形態において、形状情報推定部１３は、以下に示す３つの三次元形状推定方法により、三次元形状モデルの生成を行う。

三次元形状推定方法（１）：
形状情報推定部１３は、機械学習モデルを利用し、対象空間が撮像された一枚の撮像画像（ＲＧＢ画像）から直接にデプスマップを推定する（例えば、Ibraheem Alhashim, Peter Wonka"High Quality Monocular Depth Estimation via Transfer Learning" CoRR, Vol. abs/1901.03861, 2019.の文献に記載されている手法を用いる）。
形状情報推定部１３は、求めたデプスマップに基づいて、撮像画像の各画素における三次元点群及び法線を算出し、三次元点群をメッシュ化することができる。
そして、三次元点群は、メッシュ化された三次元形状モデルである仮想空間の情報を空間形状情報として、撮像画像記憶部１８に対して、撮像画像に対応させて書き込んで記憶させる。

また、同一の対象空間が異なる撮像位置から撮像された複数の撮像画像が存在する場合、形状情報推定部１３は、同一の対象空間が撮像されていることを利用して、ＳｆＭ（structure from motion）のアルゴリズムによって、撮像画像の各々の撮像位置間の位置関係の推定を行う。
そして、形状情報推定部１３は、撮像画像の各々から求められたデプスマップそれぞれを統合して、より精度の高い対象空間のデプスマップを生成する。

三次元形状推定方法（２）：
また、同一の対象空間が異なる撮像位置から撮像された複数の撮像画像が存在する場合、形状情報推定部１３は、ＭＶＳ(Multi-View Stereo) のアルゴリズムを用いて、複数の撮像画像を用いて対象空間の三次元形状の推定を行い、三次元形状モデルである仮想空間を生成して空間形状情報としても良い。

三次元形状推定方法（３）：
また、形状情報推定部１３は、対象空間における部屋構造部と、それ以外の部屋に配置されたオブジェクト部（部屋の備品など）との各々を、それぞれ別々に形状モデルを求めるアルゴリズムを用いても良い。
形状情報推定部１３は、以下の図２に示されているように、撮像画像から天井と壁、壁と床の境界部を抽出する。

図２は、撮像画像から部屋における天井、壁及び床の境界部を抽出し、デプスマップを求める処理を説明する図である。図２（ａ）は、撮像画像１００を示している。撮像画像１００には、対象空間の部屋２００における天井２００Ｃ、壁２００Ｗ、床２００Ｆ、柱２００Ｐ、テーブル２００Ｔ、光源２００Ｌなどが撮像されている。
図２（ｂ）は、天井２００Ｃ及び壁２００Ｗの境界部２００ＣＷと、壁２００Ｗ及び床２００Ｆの境界部２００ＷＦとが示されてる。また、図２（ｂ）において、柱２００Ｐ、テーブル２００Ｔ及び光源２００Ｌに関する情報は抽出されていない。
図２（ｃ）は、図２（ａ）の撮像画像と、図２（ｂ）の境界部とから求めたデプスマップを示している。

そして、形状情報推定部１３は、マンハッタンワールド仮説を用いて、図２（ａ）の撮像画像と、図２（ｂ）の境界部とから、三次元空間の３軸（ｘ軸、ｙ軸及びｚ軸）に対応して、天井、壁及び床を検出して、それぞれのデプスマップを生成する。この天井、壁及び床の検出を、機械学習モデル（例えば、ＣＮＮ（convolutional neural network））によりＲＧＢ画像から直接行なうものとして、例えば、"Chuhang Zou, Alex Colburn, Qi Shan, Derek Hoiem"LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image" Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 2051-2059."がある。
また、形状情報推定部１３は、セマンティックセグメンテーションを行う機械学習モデル（例えば、ＣＮＮ）により、撮像画像におけるオブジェクトの各々の領域を抽出する。
図３は、セマンティックセグメンテーションを行う機械学習モデルにより対象空間のオブジェクトの領域分割を示す図である。図３において、撮像画像に撮像された対象空間の各オブジェクトの領域がセグメントとして分離されている。
形状情報推定部１３は、セマンティックセグメンテーションを行う機械学習モデルを用いて、撮像画像１００の画像において、天井２００Ｃ、壁２００Ｗ、床２００Ｆの構造部と、柱２００Ｐ、光源２００Ｌ＿１、２００Ｌ＿２、テーブル２００Ｔなどのオブジェクト部の各々の画像領域として分離する。

上述したように、形状情報推定部１３は、対象空間の部屋の撮像画像を、部屋構造部（天井、壁、床）やオブジェクト部（備品としての柱、机（テーブル）、椅子、棚などの家具）などの領域に分割することで、それぞれの領域を認識する。
また、形状情報推定部１３は、三次元形状推定方法（１）で説明した機械学習モデルを利用し、対象空間が撮像された一枚の撮像画像（ＲＧＢ画像）から直接にデプスマップを推定する。
そして、形状情報推定部１３は、図３のセマンティックセグメンテーション結果における対象空間が分離された画像領域から、部屋構造部の領域を除いたオブジェクト部の領域として柱２００Ｐ及びテーブル２００Ｔの領域を抽出する。

図４は、機械学習モデルで生成したデプスマップとマンハッタンワールド仮説により生成したデプスマップとの合成を説明する図である。
図４（ａ）は、三次元形状推定方法（１）で説明した機械学習モデルにより生成したデプスマップから、セマンティックセグメンテーション結果におけるオブジェクト部の柱２００Ｐ及びテーブル２００Ｔの領域を用いて抽出した、柱２００Ｐ、テーブル２００Ｔそれぞれのデプスマップを示している。
図４（ｂ）は、図２（ｃ）に示すマンハッタンワールド仮説により生成した部屋構造部のデプスマップと、図４（ａ）に示すオブジェクト部のデプスマップとをスケーリングして統合した対象空間のデプスマップの一例を示している。

形状情報推定部１３は、図４（ｂ）に示すように、機械学習モデルで生成したデプスマップとマンハッタンワールド仮説により生成したデプスマップとの合成を行う。
これにより、マンハッタンワールド仮説は、人工物の多くがそれぞれの面が直交座標系に平行に拘束されているという仮定になりたつため、天井、壁及び床などの部屋構造部におけるデプスマップを高い精度で得ることができる。
しかしながら、対象空間におけるテーブルや椅子などのオブジェクト部については、上記拘束に対応しないためにデプスマップが生成されない。

一方、三次元形状推定方法（１）で説明した機械学習モデルにより生成したデプスマップにおいては、対象空間におけるオブジェクト部についてもデプスマップが生成される。
しかしながら、機械学習で求めたデプスマップにおいては、いずれがオブジェクト部のデプスマップの存在する領域かを認識することができない。
このため、形状情報推定部１３は、機械学習で求めたデプスマップにおけるオブジェクト部（２００Ｐ、２００Ｔ）の領域を用いて、図３に示すセマンティックセグメンテーションにおけるオブジェクト部の領域により抽出して、図４（ａ）に示すオブジェクト部の領域のデプスマップを取得する。これにより、部屋構造部とオブジェクト部とのデプスマップとを別々に得ることができる。
このとき、形状情報推定部１３は、図３の部屋構造部の値に基づいて、機械学習で求めたデプスマップから抽出したオブジェクト部のデプスマップのスケーリングを行う。

この三次元形状推定方法（３）により、オブジェクト部により遮蔽されていた部屋構造部の三次元形状を示すデプスマップを、三次元形状推定方法（１）で用いて得たデプスマップより高い精度で得ることができる。
そして、形状情報推定部１３は、部屋構造部及びオブジェクト部の各々のデプスマップを用いて、それぞれについて三次元点群及び各三次元点における法線を求め、これら三次元点群点のメッシュ化を行ない、空間形状情報として空間情報記憶部１９に対して書き込んで記憶させる。
この手法によって、オブジェクト部により遮蔽されていた部屋構造部の三次元形状を記憶することが可能となる。

また、同一の対象空間が異なる撮像位置から撮像された複数の撮像画像が存在する場合、形状情報推定部１３は、同一の対象空間が撮像されていることを利用して、ＳｆＭ（structure from motion）のアルゴリズムによって、撮像画像の各々の撮像位置間の位置関係の推定を行う。
そして、形状情報推定部１３は、撮像画像の各々から求められた部屋構造部及びオブジェクト部の各々のデプスマップを、部屋構造部、オブジェクト部それぞれにおいて統合して、より精度の高い対象空間における部屋構造部、オブジェクト部のデプスマップを生成する。

図５は、マンハッタンワールド仮説により生成したデプスマップから求めた部屋構造部（天井、壁及び床）の三次元形状を表示した図である。
この図５には、対象空間の部屋の天井２００Ｃ、壁２００Ｗ及び床２００Ｆからなる部屋構造部の三次元形状が示されている。

図６は、三次元形状推定方法（１）における機械学習モデルで求めたデプスマップから、セマンティックセグメンテーションにより分割した領域により求めたオブジェクト部のデプスマップから求めた三次元形状を表示した図である。
図６には、対象空間の仮想空間２５０において、オブジェクト部のデプスマップから求めた柱２００Ｐ及びテーブル２００Ｔの三次元形状が示されている。

上述したように、形状情報推定部１３は、例えば、三次元形状推定方法（１）から三次元形状推定方法（３）などにより、対象空間の三次元形状を推定する。
しかしながら、上述した三次元形状推定方法（１）から三次元形状推定方法（３）の方法は、撮像画像からの三次元復元技術の例として示すものである。形状情報推定部１３で用いられる三次元復元技術は、必ずしも特定の手法として限定される訳ではなく、一般的に用いられているいずれの手法を用いてもよい。

また、上述した三次元形状推定方法（１）から三次元形状推定方法（３）により求めたデプスマップが相対的な距離として求められているため、実際の撮像位置からの距離は不明である。以下の手法などにより、デプスマップにおける実際の距離を推定し、復元される対象空間の各オブジェクトのサイズを実寸のサイズとして求める。
例えば、撮像画像記憶部１８に記憶されている撮像画像を撮像した際の撮像条件として、撮像装置における特定の画素と対象空間の三次元形状との実寸サイズでの距離が記憶されていれば、この実寸サイズの距離を用いて、デプスマップにおける各画素の距離を求めることができる。

また、大きさが既知であるオブジェクトを配置して撮像し、撮像されたこの大きさが既知のオブジェクトの画像に基づいて、対象空間におけるオブジェクトの各々をスケーリングしても良い。このとき、既知のオブジェクトをパターン認識やセマンティックセグメンテーション、物体認識などの画像解析により、既知のオブジェクトの画素領域を抽出し、抽出した領域における画素のデプス値を用いて、他の領域のデプスマップを実寸サイズにスケーリングする。
また、画像のぼけ量と撮像装置の焦点距離との対応関係を、予め計測実験により取得しておき、撮像画像のぼけ量から距離を推定する構成を用いてもよい。

光源情報推定部１４は、対象空間の撮像画像と、対象空間の空間形状情報（仮想空間の三次元形状）とから光源情報の推定を行い、推定された光源情報を空間情報記憶部１９に対して書き込んで記憶させる。この光源情報は、少なくとも光源の対象空間における位置、光源の放射する光の強度、及び光の色味（分光情報）である。
本実施形態において、光源情報推定部１４は、以下に示す３つの光源情報推定方法により、光源情報の生成を行う。

光源情報推定方法（１）：
光源情報推定部１４は、撮像画像(ＲＧＢ画像）をグレースケール画像に変換し、階調度の最も高い画素の領域を抽出する。
そして、光源情報推定部１４は、例えば、この階調度の最も高い画素の領域と、当該領域の画素の階調度に対して、所定の比（例えば、９０％以上）の階調度を有する画素の領域とを光源の領域として抽出する。

図７は、光源情報推定方法（１）により抽出された光源の領域（光源領域）を、光源情報推定部１４がグレースケール画像において示す図である。図７において、グレースケール画像３００は、ＲＧＢ画像である撮像画像１００（図２（ａ））をグレースケール化した画像である。
グレースケール画像３００の画素において、領域３０１の画素が最も高い階調度を有している。そして、領域３０２の画素が、領域３０１の画素の９０％以上の階調度を有している。これにより、光源情報推定部１４は、領域３０１及び領域３０２の各々を、光源領域として抽出する。

光源情報推定方法（２）：
光源情報推定部１４は、上述した光源情報推定方法（１）により、撮像画像において光源領域を抽出する。
そして、光源情報推定部１４は、形状情報推定部１３により抽出した光源領域の形状情報に基づき、仮想空間である空間形状情報において、光源領域の三次元形状としての点光源を配置する。
また、光源情報推定部１４は、撮像画像及び空間形状情報における三次元形状により、対象空間の反射率情報（波長毎の反射率情報）を推定する。

ここで、光源情報推定部１４は、対象空間の反射率情報の推定において、例えば、固有画像分解(Intrinsic Image Decomposition) に基づくＩｎｔｒｉｎｓｉｃ Ｉｍａｇｅ Ｐｒｏｂｌｅｍのアルゴリズムの手法（例えば、Qifeng Chen, Vladlen Koltun" A Simple Model for Intrinsic Image Decomposition with Depth Cues" The IEEE International Conference on Computer Vision (ICCV), 2013, pp. 241-248の文献に記載されている手法）を用いている。
光源情報推定部１４は、Ｉｎｔｒｉｎｓｉｃ Ｉｍａｇｅ Ｐｒｏｂｌｅｍのアルゴリズムによって反射率・陰影分離を行う。
すなわち、光源情報推定部１４は、撮像画像を反射率成分画像（反射率情報）及び陰影成分画像の各々に分離する際、Ｉｎｔｒｉｎｓｉｃ Ｉｍａｇｅ Ｐｒｏｂｌｅｍのアルゴリズムに基づき、「画像（撮像画像）Ｉは反射率成分Ｒと陰影成分Ｓの積で表すことができる」という仮定を基とし、撮像画像Ｉを反射率成分画像Ｒと陰影成分画像Ｓとの各々に分離する。

図８は、光源情報推定部１４により求められた空間形状情報における三次元形状の反射率情報を示す反射率成分画像である。
この図８において、反射率成分画像は、撮像画像における２次元座標値で示される２次元座標点で示される各画素の反射率成分（反射率情報）がＲＧＢ（Red Green Blue）の画素値として示されている。
一方、陰影成分画像は、撮像画像における２次元座標値で示される各２次元座標点の陰影成分、すなわち撮像画像を撮像した際の光源に依存するデータが画素値として示されている。

次に、光源情報推定部１４は、撮像画像の各画素の階調度と、空間形状情報における三次元形状の反射率情報とにより、光源の強度の推定を行う。
そして、光源情報推定部１４は、撮像画像において任意に光源の強度を求めるための領域Ａを設定し、この領域Ａの反射率情報を抽出する。
ここで、設定する領域Ａは、強度及び色味を求めたい対象の光源の光のみ（あるいは入射する光のほとんどが対象の光源の光のみ）が照射される領域であることが望ましい。
すなわち、複数の光源がある場合、それぞれの光源からの影響を求めるための演算が複雑とならないように、対象の光源の強度及び色味を求めるための演算量を低減する。

次に、光源情報推定部１４は、撮像画像において設定した領域Ａと、反射率成分画像において領域Ａに対応する位置の領域Ｂを抽出する。
そして、光源情報推定部１４は、領域ＡのＲＧＢ階調度と領域Ｂの反射率情報とにより、光源の強度及び色味を求める。
また、光源情報推定部１４は、光源の強度を求める際、光の強度が距離の二乗に反比例することを考慮し、領域Ｂに入射すると推定された光の強度に対して、空間形状情報における三次元形状から求めた光源と領域Ｂとの距離の二乗を乗して、光源の強度を求める。

この光源情報推定方法（２）により、光源の強度が撮像画像のＲＧＢ値を飽和していても、光源からの光が入射する領域から間接的に光源の強度を求めるため、正確な光源情報を取得することができる。
図９は、光源情報推定部１４が推定した光源情報を空間形状情報における三次元形状に配置した例を示している。図９においては、対象空間の三次元形状における推定位置に対応して、光源２００Ｌ＿１、２００Ｌ＿２を対象空間の仮想空間２５０に配置している。

光源情報推定方法（３）：
光源情報推定部１４は、光源情報推定方法（１）により、撮像画像において光源領域を抽出する。また、光源情報推定部１４は、上述した光源情報推定方法（２）と同様に、形状情報推定部１３により抽出した光源領域の形状情報に基づき、空間形状情報における仮想空間において、光源領域の三次元形状としての点光源を配置する。
このとき、この点光源の強度と色味とは、仮の任意の数値（仮光源情報）とし、例えば撮像画像の点光源と推定された領域のＲＧＢ値を仮の数値として設定する。

次に、光源情報推定部１４は、撮像画像の各画素に対応する、空間形状情報における三次元形状の座標点を抽出し、この座標点において光が完全拡散反射するという仮定により、点光源それぞれから光が入射された際の陰影情報を計算する。
そして、光源情報推定部１４は、撮像画像の画素値と、陰影成分画像の対応する画素の陰影情報とから、各画素における反射率情報を求める。すなわち、光源情報推定部１４は、撮像画像の画素値を、陰影成分画像の対応する画素の陰影情報により除算して、除算結果を反射率情報とする。

そして、光源情報推定部１４は、自然物の反射率の平均値が２０％であるという仮定を用い、反射率情報をスケーリングする。
すなわち、光源情報推定部１４は、以下に示す（１）式を用いて、撮像画像の各画素の反射率Ａ（ｘ，ｙ）を求める。ここで、光源情報推定部１４は、撮像画像における全ての画素の反射率Ａ（ｘ，ｙ）の平均値が２０％となるスケーリング係数αを求める。すなわち、光源情報推定部１４は、撮像画像の画素値Ｉ（ｘ，ｙ）を陰影成分画像の対応する画素の陰影情報（陰影成分画像の画素値Ｓ（ｘ，ｙ））により除算した結果の数値において、反射率Ａ（ｘ，ｙ）の平均値が２０％となるように、スケーリング係数αを求める。光源情報推定部１４は、スケーリング係数αが求まった際の反射率Ａ（ｘ，ｙ）を、撮像画像のそれぞれの画素の反射率Ａ（ｘ，ｙ）とする。

次に、光源情報推定部１４は、（１）式で求めた撮像画像における画素の各々の反射率Ａ（ｘ，ｙ）を用いて、以下に示す（２）式により、光源の色味及び強度の光源情報を求める。このとき、光源情報推定部１４は、（２）式により求まる画素値Ｉ（ｘ，ｙ）が撮像画像の対応する位置の画素値と同様となるように、点光源の強度と色味とを仮の任意の数値から変化させて、最終的に点光源の強度及び色味を求める。
以下の（２）式において、Ａ（ｘ，ｙ）が画素（ｘ，ｙ）の反射率を示し、ｋ（ｌ）が光源ｌの色みを示し、ｋ_α（ｌ）が光源ｌの光の強度を示し、ｒ（ｘ，ｙ，ｌ）が画素（ｘ，ｙ）から光源ｌまでの距離を示し、ｎ（ｘ，ｙ，ｌ）が画素（ｘ、ｙ）から光源ｌへのベクトルを示し、ｎ_Ｉ（ｘ，ｙ）が画素（ｘ，ｙ）の法線ベクトルを示している。
光源情報推定部１４は、撮像画像の各画素の画素値Ｉ（ｘ，ｙ）となるように、各光源の光源情報である色みｋ（ｌ）及び強度ｋ_α（ｌ）を、（２）式による数値計算により求める。

また、光源情報を求めるアルゴリズムは、上述した光源情報推定方法（１）から光源情報推定方法（３）以外を用いてもよい。
上述した光源情報推定方法（１）から光源情報推定方法（３）の各々においては、光源を点光源として説明したが、点光源以外の例えば線光源あるいは面光源でもよい。
例えば、光源情報推定部１４は、すでに説明したセマンティックセグメンテーションを用いて、各光源の物体認識結果（撮像画像における光源の形状）を求めておく。そして、光源情報推定部１４は、光源の種類として、物体認識結果が電球形状であれば点光源とし、ダウンライト形状であればディレクショナルライト（平行光源）とし、蛍光灯形状であれば線光源とし、窓形状であれば面光源とする。

また、光源情報としては、撮像画像、対象空間の空間形状情報、及び光源情報とにより、ＣＧで生成したＣＧオブジェクトを合成する仮想空間上の任意の位置におけるＩＢＬ（image based lighting）情報を生成することができる。
これにより、画像合成部１５は、撮像画像と対象空間の空間形状情報とにより、ＣＧで生成したＣＧオブジェクトを配置する位置における光源情報をＩＢＬ情報から容易に求めることができる。ここで、光源情報推定方法（２）及び光源情報推定方法（３）で求めた光源情報を、画素値が飽和しないＩＢＬ情報のデータ形式を用いることができる。

画像合成部１５は、光源情報に基づいて、撮像画像、対象空間の空間形状情報及び光源情報とに基づいて、三次元の仮想空間を生成する。
ここで、画像合成部１５は、空間形状情報における三次元形状を形状モデルとし、撮像画像をテクスチャデータとし、光源情報をレンダリングパラメータとして、対象空間の仮想空間を生成する。

図１０は、画像合成部により生成された三次元の仮想空間を撮像画像の撮像方向から見た画像を示す図である。この図１０は、表示制御部１６が仮想空間を所定の視点方向（例えば、撮像方向）から観察された画面として、表示部１７の表示画面に表示した図である。
図１０においては、撮像画像により生成した三次元の仮想空間を所定の視点から観察した画像として表示させる際、平面や天球に対して撮像画像を撮像装置の画角に応じてテクスチャデータとして設定して（貼り付けて）仮想空間を生成している。あるいは、仮想空間において、観察する視点位置の変更をしても違和感なく（撮像位置に対して所定の範囲内において違和感なく）観察画像を表示させるため、形状モデルにテクスチャデータとして撮像画像を設定すれ（貼り付けれ）ばよい。

図１０において、柱２００Ｐの形状モデルには、光源２００Ｌ＿１及び２００Ｌ＿２の各々からの光が照射される明るい明領域２００ＰＬと、光が照射されない影領域２００ＰＳ（シャドウ）とが、形状モデルにテクスチャデータとして撮像画像を貼り付ける（設定する）処理など、撮像画像を用いて形成されている。
同様に、テーブル２００Ｔの形状モデルが配置された位置における、テーブル２００Ｔの下部の床２００Ｆには、光源２００Ｌ＿１及び２００Ｌ＿２の各々からの光がテーブル２００Ｔにより遮蔽されることで生成される影領域２００ＴＳが同様に形成されている。
また、床２００Ｆにおいて、光源２００Ｌ＿１及び２００Ｌ＿２からの距離に対応して、明るさの強さの程度を示しているグラデーション領域５０１も、上述したように撮像画像を用いて形成されている。

また、画像合成部１５は、生成した三次元の仮想空間に対して、ＣＧで生成されたＣＧオブジェクトを追加して配置する制御が行われた場合、当該仮想空間に対してＣＧオブジェクトの追加配置を行う。
本実施形態において、ＣＧで生成されたＣＧオブジェクトの各々は、例えば、予め生成されており、合成画像記憶部２０に書き込まれて記憶されている。

図１１は、仮想空間に対してＣＧオブジェクトの追加の配置を行う制御について説明する図である。この図１１は、図１０と同様に、表示制御部１６が仮想空間を所定の視点方向（例えば、撮像方向）から観察された画面として、表示部１７の表示画面に表示した図である。
図１１において、ＣＧオブジェクト提示領域５０３に表示されているＣＧオブジェクト５０３＿１、５０３＿２などが、画像合成部１５により、表示制御部１６を介して表示部１７の表示画面５０２に表示される。

例えば、ユーザがＣＧオブジェクト提示領域５０３におけるＣＧオブジェクト５０３＿１をドラッグし、配置位置５０４においてドロップすることにより、画像合成部１５は、ＣＧオブジェクト５０３＿１を仮想空間における配置位置５０４に配置する。

図１２は、仮想空間に対してＣＧオブジェクトの追加の配置を行う制御について説明する図である。この図１２は、図１０と同様に、表示制御部１６が仮想空間を所定の視点方向（例えば、撮像方向）から観察された画面として、表示部１７の表示画面に表示した図である。
図１２において、仮想空間に配置されたＣＧオブジェクト５０３＿１に対応し、このＣＧオブジェクト５０３＿１の形状情報に対して、光源２００Ｌ＿１及び２００Ｌ＿２の各々の光源情報を反映させて、仮想空間が再構成される。

画像合成部１５は、配置したＣＧオブジェクト５０３＿１の形状情報と、光源２００Ｌ＿１及び２００Ｌ＿２の光源情報（配置位置、光の色味及び強度）とに対応し、光源２００Ｌ＿１及び２００Ｌ＿２からの照射光による明度を反映させたレンダリングを、ＣＧオブジェクト５０３＿１に対して行う。
これにより、画像合成部１５は、レイトレーシングなどの技法により、図１２に示すように、配置したＣＧオブジェクト５０３＿１の形状情報に対応し、光源２００Ｌ＿１及び２００Ｌ＿２からの光が照射される上部の明るさの強度を強くし、ＣＧオブジェクト５０３＿１の三次元形状により遮蔽された領域を求め影とし、影となる影領域５０３＿１Ｓの明るさの強度を低くする。

また、画像合成部１５は、光源情報推定部１４が求めた仮想空間における天井２００Ｃ、壁２００Ｗ、床２００Ｆ、柱２００Ｐ及びテーブル２００Ｔなどの反射率情報及び三次元形状を用いて、照射光の反射成分による明度をレンダリングに反映させてもよい。
すなわち、画像合成部１５は、仮想空間における三次元形状と、光源２００Ｌ＿１及び２００Ｌ＿２の光源情報（配置位置、光の色味及び強度）とに対応し、光源２００Ｌ＿１及び２００Ｌ＿２からの照射光の反射光による、仮想空間に配置されたＣＧオブジェクトに対する明度の影響を、仮想空間のレンダリングに対して反映させる構成としてもよい。

図１３は、本実施形態による画像処理システムにおいて、対象空間の選択された撮像画像から生成した仮想空間と、ＣＧオブジェクトとを合成する処理の動作例を示すフローチャートである。以下の説明において、データ入出力部１１は、予め外部装置から供給される、対象空間の各々が撮像された単一あるいは複数の撮像画像を撮像画像記憶部１８に対して、撮像画像識別情報を付与して、撮像画像のそれぞれを撮像した際の撮像条件とともに書き込んで記憶させている。

ステップＳ１：
データ入出力部１１は、表示制御部１６により表示部１７に対して、撮像画像記憶部１８に記憶されている撮像画像の表示を行う。
ユーザは、表示部１７に表示されている撮像画像の中から、観察対象とする対象空間の撮像画像をマウスによりクリックなどすることにより選択する。
これにより、データ入出力部１１は、撮像条件取得部１２、形状情報推定部１３、光源情報推定部１４及び画像合成部１５の各々に対して、ユーザが選択した撮像画像の撮像画像識別情報を出力する。

ステップＳ２：
撮像条件取得部１２は、ユーザが選択した撮像画像の撮像条件を、当該撮像画像の撮像画像識別情報により撮像画像記憶部１８から読み出す。
そして、撮像条件取得部１２は、読み出した撮像条件を、形状情報推定部１３及び光源情報推定部１４の各々に対して出力する。

ステップＳ３：
形状情報推定部１３は、撮像画像及び撮像条件の各々を用いて、すでに説明した三次元形状推定方法（１）から三次元形状推定方法（３）などの手法により、選択された撮像画像の対象空間の三次元形状を推定する。
そして、形状情報推定部１３は、生成した対象空間の三次元形状のデータを空間形状情報として、対応する撮像画像の撮像画像識別情報を付加して、空間情報記憶部１９に対して書き込んで記憶させる。

ステップＳ４：
光源情報推定部１４は、空間情報記憶部１９から撮像画像識別情報に対応した空間形状情報を読み出す。
そして、光源情報推定部１４は、撮像画像及び空間形状情報の各々を用いて、すでに説明した光源情報推定方法（１）から光源情報推定方法（３）などのいずれかの手法により、選択された撮像画像に対応した仮想空間における光源情報の推定を行う。光源情報推定部１４は、推定した光源情報を、空間形状情報に対応させて空間情報記憶部１９に対して書き込んで記憶させる。

ステップＳ５：
画像合成部１５は、空間情報記憶部１９から撮像画像識別情報に対応した空間形状情報及び光源情報の各々を、また撮像画像記憶部１８から撮像画像識別情報に対応した撮像画像を読み出す。
画像合成部１５は、空間形状情報における三次元形状に対して、光源情報及び撮像画像とを用いて、撮像画像に撮像された対象空間に対応する仮想空間を生成する。
そして、表示制御部１６は、上記仮想空間における視点の位置から観察される観察画像を生成し、図１０に示すように表示部１７の表示画面に表示する。

ステップＳ６：
例えば、ユーザが、表示部１７の表示画面に表示されている観察画像に対応する仮想空間に対して、ＣＧオブジェクトの追加（または変更）の配置を行う制御を画像処理システム１０に対して行う。
これにより、画像合成部１５は、合成画像記憶部２０に予め記憶されているＣＧオブジェクトの画像のデータを読み込む。

そして、画像合成部１５は、図１１に示すように、読み出したＣＧオブジェクトの画像を、表示部１７の表示画面におけるＣＧオブジェクト提示領域５０３に対して表示する。
ユーザがＣＧオブジェクト提示領域５０３におけるＣＧオブジェクト５０３＿１を選択してドラッグし、仮想空間における床２００Ｆにおける配置位置５０４にドロップし、仮想空間に対するＣＧオブジェクト５０３＿１を追加する配置を行う。

ステップＳ７：
画像合成部１５は、仮想空間における配置位置５０４に対して、ＣＧオブジェクト５０３＿１を新たに配置する合成処理を行う。
そして、画像合成部１５は、仮想空間の三次元形状と、ＣＧオブジェクト５０３＿１の三次元形状と、光源２００Ｌ＿１、２００Ｌ＿２の光源情報とに基づき、新たにレンダリングを行うことにより仮想空間の再構成を行う。

ここで、画像合成部１５は、対応する撮像画像の撮像画像識別情報に対応させて、再構成した仮想空間の三次元形状のデータを、合成画像記憶部２０に対して書き込んで記憶させる。
表示制御部１６は、再構成された仮想空間における視点の位置から観察される観察画像を生成し、図１２に示すように表示部１７の表示画面に表示する。

ステップＳ８：
データ入出力部１１は、ＣＧオブジェクトの配置（追加及び変更を含む）を続けて行うか否かを入力する入力表示領域（不図示）を表示部１７の表示画面に表示する。
そして、ユーザが、ＣＧオブジェクトの配置を続ける情報を上記入力表示領域に対して入力した場合、データ入出力部１１は処理をステップＳ６へ進める。
一方、ユーザが、ＣＧオブジェクトの配置を終了する情報を入力表示領域に入力した場合、データ入出力部１１は処理を終了する。

上述したように、本実施形態によれば、上述した光源情報推定方法（１）から光源情報推定方法（３）により、撮像画像及び仮想空間の三次元形状に基づいて光源情報を取得することが可能であるため、従来のように形状が既知の物体を準備し、かつこの物体の画像を既知光源下で撮像して基準画像を準備する必要がなく、簡易に対象空間における光源の光源情報を得ることができる。

また、本実施形態によれば、画像合成部１５が対象空間の三次元形状と、対象空間における光源情報と、ＣＧオブジェクトの三次元形状とにより、新たにＣＧオブジェクトが配置された仮想空間のレンダリングを行うため、ＣＧオブジェクトに対する光源の放射光の影響、ＣＧオブジェクトの三次元形状により遮蔽されて隠れる領域、及びＣＧオブジェクトの三次元形状により光源からの放射光が遮蔽される影の領域を反映させて、仮想空間と当該仮想空間に追加配置されたＣＧオブジェクトとを合成した仮想空間（再構成した仮想空間）をレンダリングすることにより、現実の対象空間における光源環境と同様の光源環境において、当該対象空間に対して物体（ＣＧオブジェクトに対応した物体）を配置した状態を仮想的に生成して、物体を配置した対象空間の見えを観察画像として容易に観察することができる。

また、本実施形態によれば、仮想空間の構造部及びオブジェクト部の各々の三次元形状の反射率情報及びＣＧオブジェクトの各々の反射率情報を用いて、光源からの放射光の三次元形状の反射（二次反射）をレンダリングに反映させることで、仮想空間における見えを現実の対象空間により近似させることができる。

また、本実施形態によれば、仮想空間及びＣＧオブジェクトの各々の三次元情報を実寸サイズにスケーリングすることにより、ＣＧオブジェクトを配置した仮想空間の見えを、対象空間に物体を配置した場合の正確なサイズ感覚の質感を有する観察画像として視認することができる。

また、本実施形態によれば、単一の撮像画像あるいは複数の撮像画像を用いて対象空間の三次元形状を推定して仮想空間を生成しているため、所定の範囲における対象空間を観察する視点を任意に変化させることが可能であり、仮想空間におけるＣＧオブジェクトを配置した領域の見えを、視点を変化させた観察画像として観察することができる。

また、上述した実施形態においては、予め撮像されて撮像画像記憶部１８に書き込まれている撮像画像を用いた、仮想空間の生成及びこの仮想空間に対するＣＧオブジェクトの合成を行う画像処理について説明した。
しかしながら、データ入出力部１１から、撮像装置から供給される対象空間を逐次的に撮像した撮像画像（単一または複数の撮像画像）をリアルタイムに撮像画像記憶部１８に書き込む構成としてもよい。この場合、逐次的に供給される単一または複数の撮像画像により仮想空間を生成し、この仮想空間に対してＣＧオブジェクトを合成する処理を行い、合成処理を行った仮想空間の観察画像を、リアルタイムに表示部１７に表示してユーザに視認させることができる。

以上、本発明の実施形態を図面を参照し説明してきたが、具体的な構成はこの形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

なお、本発明における図１の画像処理システム１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより撮像画像から生成した仮想空間に対してＣＧオブジェクトを合成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１０…画像処理システム
１１…データ入出力部
１２…撮像条件取得部
１３…形状情報推定部
１４…光源情報推定部
１５…画像合成部
１６…表示制御部
１７…表示部
１８…撮像画像記憶部
１９…空間情報記憶部
２０…合成画像記憶部

Claims (4)

1. 対象空間が撮像された単一あるいは複数の撮像画像から、前記対象空間の少なくとも三次元形状を含む空間形状情報を推定する形状情報推定部と、
   前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定部と
   を備え、
   前記光源情報推定部が、
   前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定する
   ことを特徴とする画像処理システム。
2. 前記光源情報推定部が
   前記撮像画像の画素値と、前記反射率情報、前記光源情報及び前記空間形状情報の各々との関係を示す所定の式から、前記推定した前記反射率情報を用いて前記光源情報を推定する
   ことを特徴とする請求項１に記載の画像処理システム。
3. 形状情報推定部が、対象空間が撮像された単一あるいは複数の撮像画像から、前記対象空間の少なくとも三次元形状を含む空間形状情報を推定する形状情報推定過程と、
   光源情報推定部が、前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定過程と
   を含み、
   前記光源情報推定過程では、
   前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定する
   ことを特徴とする画像処理方法。
4. コンピュータを、
   対象空間が撮像された単一あるいは複数の撮像画像から、前記対象空間の少なくとも三次元形状を含む空間形状情報を推定する形状情報推定手段、
   前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定手段
   として機能させ、
   前記光源情報推定手段が、
   前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定する
   プログラム。

Images