JP7447429B2 - 画像処理システム、画像処理方法及びプログラム - Google Patents
画像処理システム、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP7447429B2 JP7447429B2 JP2019194284A JP2019194284A JP7447429B2 JP 7447429 B2 JP7447429 B2 JP 7447429B2 JP 2019194284 A JP2019194284 A JP 2019194284A JP 2019194284 A JP2019194284 A JP 2019194284A JP 7447429 B2 JP7447429 B2 JP 7447429B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- light source
- image
- target space
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 32
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000000463 material Substances 0.000 claims description 74
- 238000000034 method Methods 0.000 claims description 60
- 230000015572 biosynthetic process Effects 0.000 claims description 29
- 238000003786 synthesis reaction Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 23
- 238000010801 machine learning Methods 0.000 description 17
- 230000011218 segmentation Effects 0.000 description 14
- 239000000284 extract Substances 0.000 description 10
- 238000009877 rendering Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000004566 building material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000005469 synchrotron radiation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
例えば、天井、壁及び床などにおける建築材の色や素材の変更を検討したりする場合、色や素材を変更した際にどのような印象となるか、すなわち建築材の素材が部屋の環境に調和するか否かを、シミュレーション結果の画像により視覚的に検討したいという要望がある。
このとき、部屋の光源が正確に仮想空間で反映されない場合、シミュレーション時における見えから得た印象と、実際に行ったレイアウト変更における見えから得られる印象とが、大きく異なってしまう場合がある。
このとき、仮想空間における三次元形状の見えをより対象空間に近づけるため、対象空間としての室内における光源の光源情報を正確に推定して、この光源情報に基づいて仮想空間における仮想光源を生成することが行われている(例えば、特許文献1参照)。
このため、形状が既知の物体を準備し、かつこの物体の画像を既知光源下で撮像して基準画像を準備する必要があり、対象空間の撮像を行うまでに手間が掛かってしまう。
このため、光源から放射される光が遮蔽されたり、反射されたりするかが不明であり、対象空間に対応した見えを、高い精度で仮想空間においてシミュレーションすることができない。
推定する形状情報推定手段、前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定手段、前記撮像画像、前記空間形状情報及び前記光源情報とから、前記撮像画像における所定の画像領域の素材を置き換えた前記仮想空間を生成する画像合成手段として機能させ、前記光源情報推定手段が、前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定し、前記光源情報推定手段が、前記反射率情報と前記空間形状情報と前記光源情報から、IBL(image based lighting)情報を生成するプログラムである。
図1は、本発明の一実施形態による画像処理システムの構成例を示すブロック図である。図1において、画像処理システム10は、データ入出力部11、撮像条件取得部12、形状情報推定部13、光源情報推定部14、画像合成部15、表示制御部16、表示部17、撮像画像記憶部18、空間情報記憶部19及び合成画像記憶部20の各々を備えている。
ここで、画像処理システム10は、パーソナルコンピュータ、タブレット端末、スマートフォンなどに、以下に説明する各機能部より画像処理を行なうアプリケーションをインストールすることにより構成される。
撮像条件取得部12は、対象空間の撮像画像を撮像した際の撮像条件を取得し、それぞれの撮像画像の撮像画像識別情報に対応させ、撮像画像記憶部18に対して書き込んで記憶させる。この撮像条件は、撮像装置のカメラパラメータ、センササイズ、撮像装置から対象空間の三次元形状までの距離、撮像画像の画素数、撮像した撮像位置の位置関係、また動画であればフレームレートなどである。また、撮像条件において撮像画像のExif(exchangeable image file format )情報から取得可能な情報は、ユーザが入力する必要はない。ここで、実寸サイズの距離は、対象空間にあるサイズが既知の物体の画像から距離を求める。また、実寸サイズの距離は、単一画像の場合には撮像する対象空間に対して、大きさの判っているマーカを置いて、そのマーカの画像を元に距離の算出を行ってもよい。
そして、形状情報推定部13は、生成した空間形状情報を空間情報記憶部19に対して書き込んで記憶させる。この空間形状情報は、少なくとも、対象空間の三次元形状モデルのデータ、法線ベクトルなどを含んでいる。
本実施形態において、形状情報推定部13は、以下に示す3つの三次元形状推定方法により、三次元形状モデルの生成を行う。
形状情報推定部13は、機械学習モデルを利用し、対象空間が撮像された一枚の撮像画像(RGB画像)から直接にデプスマップを推定する(例えば、Ibraheem Alhashim, Peter Wonka"High Quality Monocular Depth Estimation via Transfer Learning"CoRR, Vol. abs/1901.03861, 2019.の文献に記載されている手法を用いる)。
形状情報推定部13は、求めたデプスマップに基づいて、撮像画像の各画素における三次元点群及び法線を算出し、三次元点群をメッシュ化することができる。
そして、三次元点群は、メッシュ化された三次元形状モデルである仮想空間の情報を空間形状情報として、撮像画像記憶部18に対して、撮像画像に対応させて書き込んで記憶させる。
そして、形状情報推定部13は、撮像画像の各々から求められたデプスマップそれぞれを統合して、より精度の高い対象空間のデプスマップを生成する。
また、同一の対象空間が異なる撮像位置から撮像された複数の撮像画像が存在する場合、形状情報推定部13は、MVS(Multi-View Stereo) のアルゴリズムを用いて、複数の撮像画像を用いて対象空間の三次元形状の推定を行い、三次元形状モデルである仮想空間を生成して空間形状情報としても良い。
また、形状情報推定部13は、対象空間における部屋構造部と、それ以外の部屋に配置されたオブジェクト部(部屋の備品など)との各々を、それぞれ別々に形状モデルを求めるアルゴリズムを用いても良い。
形状情報推定部13は、以下の図2に示されているように、撮像画像から天井と壁、壁と床の境界部を抽出する。
図2(b)は、天井200C及び壁200Wの境界部200CWと、壁200W及び床200Fの境界部200WFとが示されてる。また、図2(b)において、柱200P、テーブル200T及び光源200Lに関する情報は抽出されていない。
図2(c)は、図2(a)の撮像画像と、図2(b)の境界部とから求めたデプスマップを示している。
また、形状情報推定部13は、セマンティックセグメンテーションを行う機械学習モデル(例えば、CNN)により、撮像画像におけるオブジェクトの各々の領域を抽出する。
図3は、セマンティックセグメンテーションを行う機械学習モデルにより対象空間のオブジェクトの領域分割を示す図である。図3において、撮像画像に撮像された対象空間の各オブジェクトの領域がセグメントとして分離されている。
形状情報推定部13は、セマンティックセグメンテーションを行う機械学習モデルを用いて、撮像画像100の画像において、天井200C、壁200W、床200Fの構造部と、柱200P、光源200L_1、200L_2、テーブル200Tなどのオブジェクト部の各々の画像領域として分離する。
また、形状情報推定部13は、三次元形状推定方法(1)で説明した機械学習モデルを利用し、対象空間が撮像された一枚の撮像画像(RGB画像)から直接にデプスマップを推定する。
そして、形状情報推定部13は、図3のセマンティックセグメンテーション結果における対象空間が分離された画像領域から、部屋構造部の領域を除いたオブジェクト部の領域として柱200P及びテーブル200Tの領域を抽出する。
図4(a)は、三次元形状推定方法(1)で説明した機械学習モデルにより生成したデプスマップから、セマンティックセグメンテーション結果におけるオブジェクト部の柱200P及びテーブル200Tの領域を用いて抽出した、柱200P、テーブル200Tそれぞれのデプスマップを示している。
図4(b)は、図2(c)に示すマンハッタンワールド仮説により生成した部屋構造部のデプスマップと、図4(a)に示すオブジェクト部のデプスマップとをスケーリングして統合した対象空間のデプスマップの一例を示している。
ここで、マンハッタンワールド仮説は、人工物の多くがそれぞれの面が直交座標系に平行に拘束されているという仮定に成り立つため、天井、壁及び床などの部屋構造部におけるデプスマップを高い精度で得ることができる。
しかしながら、対象空間におけるテーブルや椅子などのオブジェクト部については、上記拘束に対応しないためにデプスマップが生成されない。
しかしながら、機械学習で求めたデプスマップにおいては、いずれがオブジェクト部のデプスマップの存在する領域かを認識することができない。
このため、形状情報推定部13は、機械学習で求めたデプスマップにおけるオブジェクト部(200P、200T)の領域を用いて、図3に示すセマンティックセグメンテーションにおけるオブジェクト部の領域により抽出して、図4(a)に示すオブジェクト部の領域のデプスマップを取得する。これにより、部屋構造部とオブジェクト部とのデプスマップとを別々に得ることができる。
このとき、形状情報推定部13は、図3の部屋構造部の値に基づいて、機械学習で求めたデプスマップから抽出したオブジェクト部のデプスマップのスケーリングを行う。
そして、形状情報推定部13は、部屋構造部及びオブジェクト部の各々のデプスマップを用いて、それぞれについて三次元点群及び各三次元点における法線を求め、これら三次元点群点のメッシュ化を行ない、空間形状情報として空間情報記憶部19に対して書き込んで記憶させる。
この手法によって、オブジェクト部により遮蔽されていた部屋構造部の3次元形状を記憶することが可能となる。
そして、形状情報推定部13は、撮像画像の各々から求められた部屋構造部及びオブジェクト部の各々のデプスマップを、部屋構造部、オブジェクト部それぞれにおいて統合して、より精度の高い対象空間における部屋構造部、オブジェクト部のデプスマップを生成する。
この図5には、対象空間の部屋の天井200C、壁200W及び床200Fからなる部屋構造部の三次元形状が示されている。
図6には、対象空間の仮想空間250において、オブジェクト部のデプスマップから求めた柱200P及びテーブル200Tの三次元形状が示されている。
しかしながら、上述した三次元形状推定方法(1)から三次元形状推定方法(3)の方法は、撮像画像からの3次元復元技術の例として示すものである。形状情報推定部13で用いられる3次元復元技術は、必ずしも特定の手法として限定される訳ではなく、一般的に用いられているいずれの手法を用いてもよい。
例えば、撮像画像記憶部18に記憶されている撮像画像を撮像した際の撮像条件として、撮像装置における特定の画素と対象空間の三次元形状との実寸サイズでの距離が記憶されていれば、この実寸サイズの距離を用いて、デプスマップにおける各画素の距離を求めることができる。
また、画像のぼけ量と撮像装置の焦点距離との対応関係を、予め計測実験により取得しておき、撮像画像のぼけ量から距離を推定する構成を用いてもよい。
本実施形態において、光源情報推定部14は、以下に示す3つの光源情報推定方法により、光源情報の生成を行う。
光源情報推定部14は、撮像画像(RGB画像)をグレースケール画像に変換し、階調度の最も高い画素の領域を抽出する。
そして、光源情報推定部14は、例えば、この階調度の最も高い画素の領域と、当該領域の画素の階調度に対して、所定の比(例えば、90%以上)の階調度を有する画素の領域とを光源の領域として抽出する。
グレースケール画像300の画素において、領域301の画素が最も高い階調度を有している。そして、領域302の画素が、領域301の画素の90%以上の階調度を有している。これにより、光源情報推定部14は、領域301及び領域302の各々を、光源領域として抽出する。
光源情報推定部14は、上述した光源情報推定方法(1)により、撮像画像において光源領域を抽出する。
そして、光源情報推定部14は、形状情報推定部13により抽出した光源領域の形状情報に基づき、仮想空間である空間形状情報において、光源領域の三次元形状としての点光源を配置する。
また、光源情報推定部14は、撮像画像及び空間形状情報における三次元形状により、対象空間の反射率情報(波長毎の反射率情報)を推定する。
光源情報推定部14は、Intrinsic Image Problemのアルゴリズムによって反射率・陰影分離を行う。
すなわち、光源情報推定部14は、撮像画像を反射率成分画像(反射率情報)及び陰影成分画像の各々に分離する際、Intrinsic Image Problemのアルゴリズムに基づき、「画像(撮像画像)Iは反射率成分Rと陰影成分Sの積で表すことができる」という仮定を基とし、撮像画像Iを反射率成分画像Rと陰影成分画像Sとの各々に分離する。
この図8において、反射率成分画像は、撮像画像における2次元座標値で示される2次元座標点で示される各画素の反射率成分(反射率情報)がRGB(Red Green Blue)の画素値として示されている。
一方、陰影成分画像は、撮像画像における2次元座標値で示される各2次元座標点の陰影成分、すなわち撮像画像を撮像した際の光源に依存するデータが画素値として示されている。
そして、光源情報推定部14は、撮像画像において任意に光源の強度を求めるための領域Aを設定し、この領域Aの反射率情報を抽出する。
ここで、設定する領域Aは、強度及び色味を求めたい対象の光源の光のみ(あるいは入射する光のほとんどが対象の光源の光のみ)が照射される領域であることが望ましい。
すなわち、複数の光源がある場合、それぞれの光源からの影響を求めるための演算が複雑とならないように、対象の光源の強度及び色味を求めるための演算量を低減する。
そして、光源情報推定部14は、領域AのRGB階調度と領域Bの反射率情報とにより、光源の強度及び色味を求める。
また、光源情報推定部14は、光源の強度を求める際、光の強度が距離の二乗に反比例することを考慮し、領域Bに入射すると推定された光の強度に対して、空間形状情報における三次元形状から求めた光源と領域Bとの距離の二乗を乗して、光源の強度を求める。
図9は、光源情報推定部14が推定した光源情報を空間形状情報における三次元形状に配置した例を示している。図9においては、対象空間の三次元形状における推定位置に対応して、光源200L_1、200L_2を対象空間の仮想空間250に配置している。
光源情報推定部14は、光源情報推定方法(1)により、撮像画像において光源領域を抽出する。また、光源情報推定部14は、上述した光源情報推定方法(2)と同様に、形状情報推定部13により抽出した光源領域の形状情報に基づき、空間形状情報における仮想空間において、光源領域の三次元形状としての点光源を配置する。
このとき、この点光源の強度と色味とは、仮の任意の数値(仮光源情報)とし、例えば撮像画像の点光源と推定された領域のRGB値を仮の数値として設定する。
そして、光源情報推定部14は、撮像画像の画素値と、陰影成分画像の対応する画素の陰影情報とから、各画素における反射率情報を求める。すなわち、光源情報推定部14は、撮像画像の画素値を、陰影成分画像の対応する画素の陰影情報により除算して、除算結果を反射率情報とする。
すなわち、光源情報推定部14は、以下に示す(1)式を用いて、撮像画像の各画素の反射率A(x,y)を求める。ここで、光源情報推定部14は、撮像画像における全ての画素の反射率A(x,y)の平均値が20%となるスケーリング係数αを求める。すなわち、光源情報推定部14は、撮像画像の画素値I(x,y)を陰影成分画像の対応する画素の陰影情報(陰影成分画像の画素値S(x,y))により除算した結果の数値において、反射率A(x,y)の平均値が20%となるように、スケーリング係数αを求める。光源情報推定部14は、スケーリング係数αが求まった際の反射率A(x,y)を、撮像画像のそれぞれの画素の反射率A(x,y)とする。
以下の(2)式において、A(x,y)が画素(x,y)の反射率を示し、k(l)が光源lの色みを示し、kα(l)が光源lの光の強度を示し、r(x,y,l)が画素(x,y)から光源lまでの距離を示し、n(x,y,l)が画素(x、y)から光源lへのベクトルを示し、nI(x,y)が画素(x,y)の法線ベクトルを示している。
光源情報推定部14は、撮像画像の各画素の画素値I(x,y)となるように、各光源の光源情報である色みk(l)及び強度kα(l)を、(2)式による数値計算により求める。
上述した光源情報推定方法(1)から光源情報推定方法(3)の各々においては、光源を点光源として説明したが、点光源以外の例えば線光源あるいは面光源でもよい。
例えば、光源情報推定部14は、すでに説明したセマンティックセグメンテーションを用いて、各光源の物体認識結果(撮像画像における光源の形状)を求めておく。そして、光源情報推定部14は、光源の種類として、物体認識結果が電球形状であれば点光源とし、ダウンライト形状であればディレクショナルライト(平行光源)とし、蛍光灯形状であれば線光源とし、窓形状であれば面光源とする。
これにより、画像合成部15は、撮像画像と対象空間の空間形状情報とにより、CGで生成したCGオブジェクトを配置する位置における光源情報をIBL情報から容易に求めることができる。ここで、光源情報推定方法(2)及び光源情報推定方法(3)で求めた光源情報を、画素値が飽和しないIBL情報のデータ形式を用いることができる。
ここで、画像合成部15は、空間形状情報における三次元形状を形状モデルとし、撮像画像をテクスチャデータとし、光源情報をレンダリングパラメータとして、対象空間の仮想空間を生成する。
画像合成部15は、素材の変更を反映させる際、仮想空間における変更する部屋構造部やオブジェクトの三次元形状、反射率情報、ラフネス、及びスペキュラマップなどを変更後の素材に設定し、光源200L_1及び200L_2の光源情報によるレンダリングにより仮想空間を変更する。
図10においては、撮像画像により生成した三次元の仮想空間を所定の視点から観察した画像として表示させる際、平面や天球に対して撮影画像を撮像装置の画角に応じてテクスチャデータとして設定して(貼り付けて)仮想空間を生成している。あるいは、仮想空間において、観察する視点位置の変更をしても違和感なく(撮像位置に対して所定の範囲内において違和感なく)観察画像を表示させるため、形状モデルにテクスチャデータとして撮像画像を設定すれ(貼り付けれ)ばよい。
同様に、テーブル200Tの形状モデルが配置された位置における、テーブル200Tの下部の床200Fには、光源200L_1及び200L_2の各々からの光がテーブル200Tにより遮蔽されることで生成される影領域200TSが同様に形成されている。
また、床200Fにおいて、光源200L_1及び200L_2からの距離に対応して、明るさの強さの程度を示すにグラデーション領域501も、上述したように撮像画像を用いて形成されている。
本実施形態において、仮想空間の部屋構造部やオブジェクトを変更するための素材の各々は、例えば、予め生成されており、合成画像記憶部20に書き込まれて記憶されている。
図11において、素材提示領域503に表示されている素材503_1、503_2、503_3などが、画像合成部15により、表示制御部16を介して表示部17の表示画面502に表示される。
図12において、仮想空間の部屋構造部における領域や、この部屋構造部内のオブジェクトの変更した素材503_1に対応し、この素材503_1の反射率情報に対応させて、光源200L_1及び200L_2の各々の光源情報を反映させて、仮想空間が再構成される。
これにより、画像合成部15は、レイトレーシングなどの技法により、図12に示すように、変更した素材503_1の反射率情報に対応し、光源200L_1及び200L_2からの光が照射される床200Fの領域の明るさの強度を強くし、テーブル200Tの三次元形状により遮蔽される床200Fにおける影の領域を、影領域503_1Sとして明るさの強度を低くする。
すなわち、画像合成部15は、仮想空間における三次元形状と、光源200L_1及び200L_2の光源情報(配置位置、光の色味及び強度)とに対応し、光源200L_1及び200L_2からの照射光の反射光による明度の影響を、仮想空間のレンダリングに対して反映させる構成としてもよい。
データ入出力部11は、表示制御部16により表示部17に対して、撮像画像記憶部18に記憶されている撮像画像の表示を行う。
ユーザは、表示部17に表示されている撮像画像の中から、観察対象とする対象空間の撮像画像をマウスによりクリックなどすることにより選択する。
これにより、データ入出力部11は、撮像条件取得部12、形状情報推定部13、光源情報推定部14及び画像合成部15の各々に対して、ユーザが選択した撮像画像の撮像画像識別情報を出力する。
撮像条件取得部12は、ユーザが選択した撮像画像の撮像条件を、当該撮像画像の撮像画像識別情報により撮像画像記憶部18から読み出す。
そして、撮像条件取得部12は、読み出した撮像条件を、形状情報推定部13及び光源情報推定部14の各々に対して出力する。
形状情報推定部13は、撮像画像及び撮像条件の各々を用いて、すでに説明した三次元形状推定方法(1)から三次元形状推定方法(3)などの手法により、選択された撮像画像の対象空間の三次元形状を推定する。
そして、形状情報推定部13は、生成した対象空間の三次元形状のデータを空間形状情報として、対応する撮像画像の撮像画像識別情報を付加して、空間情報記憶部19に対して書き込んで記憶させる。
光源情報推定部14は、空間情報記憶部19から撮像画像識別情報に対応した空間形状情報を読み出す。
そして、光源情報推定部14は、撮像画像及び空間形状情報の各々を用いて、すでに説明した光源情報推定方法(1)から光源情報推定方法(3)などのいずれかの手法により、選択された撮像画像に対応した仮想空間における光源情報の推定を行う。光源情報推定部14は、推定した光源情報を、空間形状情報に対応させて空間情報記憶部19に対して書き込んで記憶させる。
画像合成部15は、空間情報記憶部19から撮像画像識別情報に対応した空間形状情報及び光源情報の各々を、また撮像画像記憶部18から撮像画像識別情報に対応した撮像画像を読み出す。
画像合成部15は、空間形状情報における三次元形状に対して、光源情報及び撮像画像とを用いて、撮像画像に撮像された対象空間に対応する仮想空間を生成する。
そして、表示制御部16は、上記仮想空間における視点の位置から観察される観察画像を生成し、図10に示すように表示部17の表示画面に表示する。
例えば、ユーザが、表示部17の表示画面に表示されている観察画像に対応する仮想空間に対して、部屋構造部やオブジェクトの素材の変更を行う制御を画像処理システム10に対して行う。
これにより、画像合成部15は、合成画像記憶部20に予め記憶されている素材の各々の画像のデータを読み込む。
ユーザが素材提示領域503における素材503_1を選択してドラッグし、仮想空間における床200Fの素材を、素材503_1に変更する領域として指定するために変更指示点504に対し、素材503_1の画像をドロップする。
画像合成部15は、仮想空間において変更指示点504により素材を変更する領域としてで指示した床200Fに対して、この床200Fの素材を素材503_1に変更する素材の合成処理を行う。
そして、画像合成部15は、仮想空間の三次元形状と、素材503_1の反射率情報と、光源200L_1、200L_2の光源情報とに基づき、新たにレンダリングを行うことにより仮想空間の再構成を行う。
表示制御部16は、再構成された仮想空間における視点の位置から観察される観察画像(素材の変更を反映した観察画像)を生成し、図12に示すように表示部17の表示画面に表示する。
データ入出力部11は、部屋構造部やオブジェクトの素材の変更を続けて行うか否かを入力する入力表示領域(不図示)を表示部17の表示画面に表示する。
そして、ユーザが、部屋構造部やオブジェクトの素材の変更を続ける情報を上記入力表示領域に対して入力した場合、データ入出力部11は処理をステップS6へ進める。
一方、ユーザが、部屋構造部やオブジェクトの素材の変更を終了する情報を入力表示領域に入力した場合、データ入出力部11は処理を終了する。
しかしながら、データ入出力部11から、撮像装置から供給される対象空間を逐次的に撮像した撮像画像(単一または複数の撮像画像)をリアルタイムに撮像画像記憶部18に書き込む構成としてもよい。この場合、逐次的に供給される単一または複数の撮像画像により仮想空間を生成し、この仮想空間における部屋構造部やオブジェクトの素材を変更した処理を行い、この素材の変更を行った仮想空間の観察画像を、リアルタイムに表示部17に表示してユーザに視認させることができる。
11…データ入出力部
12…撮像条件取得部
13…形状情報推定部
14…光源情報推定部
15…画像合成部
16…表示制御部
17…表示部
18…撮像画像記憶部
19…空間情報記憶部
20…合成画像記憶部
Claims (6)
- 対象空間が撮像された単一あるいは複数の撮像画像から、前記対象空間の少なくとも三次元形状を示す仮想空間を含む空間形状情報を推定する形状情報推定部と、
前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定部と、
前記撮像画像、前記空間形状情報及び前記光源情報とから、前記撮像画像における所定の画像領域の素材を置き換えた前記仮想空間を生成する画像合成部と
を備え、
前記光源情報推定部が、
前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定し、
前記光源情報推定部が、
前記反射率情報と前記空間形状情報と前記光源情報から、IBL(image based lighting)情報を生成する
ことを特徴とする画像処理システム。 - 前記光源情報推定部が
前記撮像画像の画素値と、前記反射率情報、前記光源情報及び前記空間形状情報の各々との関係を示す所定の式から、前記推定した前記反射率情報を用いて前記光源情報を推定する
ことを特徴とする請求項1に記載の画像処理システム。 - 前記形状情報推定部が、
前記対象空間における構造部とオブジェクト部との三次元形状の各々を別々に推定し、前記構造部、前記オブジェクト部それぞれの三次元形状を合成して、前記対象空間全体の三次元形状モデルを生成する
ことを特徴とする請求項1または請求項2に記載の画像処理システム。 - 前記形状情報推定部が、
前記対象空間の三次元形状と、当該対象空間における物体認識情報を含む前記光源の形状情報を推定する
ことを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理システム。 - 形状情報推定部が、対象空間が撮像された単一あるいは複数の撮像画像から、前記対象空間の少なくとも三次元形状を示す仮想空間を含む空間形状情報を推定する形状情報推定過程と、
光源情報推定部が、前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定過程と、
画像合成部が、前記撮像画像、前記空間形状情報及び前記光源情報とから、前記撮像画像における所定の画像領域の素材を置き換えた前記仮想空間を生成する画像合成過程と
を含み、
前記光源情報推定過程では、
前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定し、
前記光源情報推定過程では、
前記反射率情報と前記空間形状情報と前記光源情報から、IBL(image based lighting)情報を生成する
ことを特徴とする画像処理方法。 - コンピュータを、
対象空間が撮像された単一あるいは複数の撮像画像から、前記対象空間の少なくとも三次元形状を示す仮想空間を含む空間形状情報を推定する形状情報推定手段、
前記撮像画像及び前記空間形状情報から、前記対象空間における光源の少なくとも位置及び強度を含む光源情報を推定する光源情報推定手段、
前記撮像画像、前記空間形状情報及び前記光源情報とから、前記撮像画像における所定の画像領域の素材を置き換えた前記仮想空間を生成する画像合成手段
として機能させ、
前記光源情報推定手段が、
前記撮像画像及び前記空間形状情報から、前記対象空間における三次元形状の反射率情報を推定し、当該反射率情報を用いて前記光源情報を推定し、
前記光源情報推定手段が、
前記反射率情報と前記空間形状情報と前記光源情報から、IBL(image based lighting)情報を生成する
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194284A JP7447429B2 (ja) | 2019-10-25 | 2019-10-25 | 画像処理システム、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194284A JP7447429B2 (ja) | 2019-10-25 | 2019-10-25 | 画像処理システム、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021068271A JP2021068271A (ja) | 2021-04-30 |
JP7447429B2 true JP7447429B2 (ja) | 2024-03-12 |
Family
ID=75637280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019194284A Active JP7447429B2 (ja) | 2019-10-25 | 2019-10-25 | 画像処理システム、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7447429B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150043806A1 (en) | 2013-08-08 | 2015-02-12 | Adobe Systems Incorporated | Automatic geometry and lighting inference for realistic image editing |
WO2016203770A1 (ja) | 2015-06-17 | 2016-12-22 | 凸版印刷株式会社 | 画像処理システム、方法、及びプログラム |
-
2019
- 2019-10-25 JP JP2019194284A patent/JP7447429B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150043806A1 (en) | 2013-08-08 | 2015-02-12 | Adobe Systems Incorporated | Automatic geometry and lighting inference for realistic image editing |
WO2016203770A1 (ja) | 2015-06-17 | 2016-12-22 | 凸版印刷株式会社 | 画像処理システム、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021068271A (ja) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10733804B2 (en) | Method and system for representing a virtual object in a view of a real environment | |
JP6425780B1 (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
US9420253B2 (en) | Presenting realistic designs of spaces and objects | |
US10893262B2 (en) | Lightfield rendering based on depths from physically-based volume rendering | |
Alexander et al. | The digital emily project: Achieving a photorealistic digital actor | |
Karsch et al. | Rendering synthetic objects into legacy photographs | |
RU2586566C1 (ru) | Способ отображения объекта | |
JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
EP3533218B1 (en) | Simulating depth of field | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP7476511B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
CN107846584B (zh) | 基于场景管理开发库的虚拟现实自适应桌面同步投影方法 | |
JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
CN111742352A (zh) | 3d对象建模方法以及相关设备和计算机程序产品 | |
JP7447429B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
Vasudevan et al. | A methodology for remote virtual interaction in teleimmersive environments | |
Kang et al. | View-dependent scene appearance synthesis using inverse rendering from light fields | |
JP2024512672A (ja) | 複数のカメラからの表面テクスチャリング | |
Kim et al. | Planar Abstraction and Inverse Rendering of 3D Indoor Environments | |
US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
JP3784104B2 (ja) | 画像合成装置 | |
Aliaga | Digital inspection: An interactive stage for viewing surface details | |
Güssefeld et al. | Are reflectance field renderings appropriate for optical flow evaluation? | |
JP7419908B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
US11380048B2 (en) | Method and system for determining a spectral representation of a color |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7447429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |