JP7119854B2 - 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム - Google Patents
変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP7119854B2 JP7119854B2 JP2018184974A JP2018184974A JP7119854B2 JP 7119854 B2 JP7119854 B2 JP 7119854B2 JP 2018184974 A JP2018184974 A JP 2018184974A JP 2018184974 A JP2018184974 A JP 2018184974A JP 7119854 B2 JP7119854 B2 JP 7119854B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel region
- pixel
- live
- modified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Generation (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
そして、電子通信機器上におけるシミュレーションにより、リフォーム対象の住宅のリフォーム後の外観や内観の観察、あるいは購入対象の衣服の試着などを仮想的に行ない、リフォームの依頼や衣服の購入の意思決定の要素とする場合がある。
第1の処理のシミュレーションは、物体の3次元形状モデルや3次元空間を仮想環境上にCG(computer graphics)等で構築して、仮想的に復元して行なう。
そして、復元した3次元形状モデルの素材の変更や3次元空間における3次元形状モデルの位置の変更などを行なう。
上述したように、現実環境を仮想的に再現する際のパラメータを自由に調整することができるため、再現したい現実環境の見え方と等しい仮想環境の構築を可能とする。
これにより、仮想的に変更された内装、すなわち仮想的に再現されたリフォーム後の内装を、ユーザが仮想空間において観察することができる。
また、構築した3次元形状モデルや3次元空間が、現実環境に近い状態で観察されるように、細かな形状の作り込みや、すでに説明したパラメータの微調整が必要となる。このため、第1の処理のシミュレーションにおける3次元形状モデル及び3次元空間の構築の際には、作成者の手間や労力が非常に大きい。
この第2の処理のシミュレーションは、基本的に撮像画像の加工を行なうのみであるため、第1の処理のシミュレーションにおける3次元形状モデルや3次元空間の構築に比較して、手間や労力を少なくすることができる。
このため、撮像した撮像画像上における陰影成分を取得し、合成した撮像画像に付与することにより、違和感がない撮像画像の変更のシミュレーションが行なえる。
例えば、建物の外壁の素材を変更するシミュレーションにおいて、リフォームの対象となる壁面の日向部分と日陰部分とをユーザが選択し、仮想的なリフォーム後に日陰を合成することで、リフォーム後として表示される壁面における違和感を低減している(例えば、特許文献2参照)。
これにより、ユーザが素材を交換した後において、仮想的に試着する服における体の曲線による陰影成分が付与されるため、ユーザが違和感のないシミュレーション結果を観察することができる(例えば、特許文献3参照)。
そのため、特許文献1及び特許文献2の各々は、線を描画して囲むなどの処理により選択する機能を追加しなければ、対象となる領域をユーザが簡易に、撮像画像から選択することができない。
すなわち、特許文献3の場合、変更領域が設定されてはいるが、ユーザが指定したい領域と、予め設定された変更領域とが一致しない場合、ユーザは自身の指定したい領域を選択することができない。
しかし、撮像画像における変更する対象の領域として考えられる領域の各々を、ユーザが簡易に選択するように、撮像画像上で予め区分して設定する加工を行なうためには、システムの開発者や、リフォーム及び服の各々のデザイナが、非常な大きな手間や時間を要してしまう。
図1は、本発明の一実施形態による画像処理システムの構成例を示すブロック図である。
図1において、画像処理システム100は、初期画素領域入力部101、3次元形状復元部102、反射率・陰影分離部103、変更画素領域抽出部104、加工画像生成部105、ライブ画像入力部106、変更画像生成部107、変更画像表示制御部108、画像記憶部109、画像表示部110及び素材データベース111の各々を備えている。ここで、画像処理システム100は、パーソナルコンピュータ、タブレット端末、スマートフォンなどに、以下に説明する各機能部より画像処理を行なうアプリケーションをインストールすることにより構成される。撮像装置200は、例えば、デジタルカメラ、デジタルビデオカメラなどであり、以下に示すライブ画像はビデオシースルー画像である。したがって、ライブ画像は、撮像装置が被写体の撮像を行ないつつ、リアルタイムに他の装置(例えば、本実施形態における画像処理システム)に逐次供給する画像を示している。
また、初期画素領域入力部101は、ユーザが画像表示部110に表示された上記ライブ画像において選択した初期画素領域の情報を画像記憶部109に一旦記憶する。この初期画素領域は、1個あるいは複数個の画素を含む領域である。ここで、初期画素領域入力部101は、上記初期画素領域の情報として、ライブ画像(2次元画像)における初期画素領域に含まれる画素(以下、2次元座標点と示す)を、初期画素領域の情報として、画像記憶部109に書き込んで記憶させる。
そして、3次元形状復元部102は、復元した3次元形状モデルのデータと、3次元形状モデルの画素(3次元座標点)の各々における法線ベクトルを画像記憶部109に書き込んで記憶させる。
すなわち、反射率・陰影分離部103は、ライブ画像を反射率成分画像及び陰影成分画像の各々に分離する際、Intrinsic Image Problemのアルゴリズムに基づき、「画像Iは反射率成分Rと陰影成分Sの積で表すことができる」という仮定を基とし、ライブ画像Iを反射率成分画像Rと陰影成分画像Sとの各々に分離する。
また、陰影成分画像は、ライブ画像における2次元座標値で示される各2次元座標点の陰影成分、すなわちライブ画像を撮像した際の環境光に依存するデータが画素値として示されている。
そして、反射率・陰影分離部103は、分離した反射率成分画像と陰影成分画像との各々を、画像記憶部109の成分画像領域、及び後述するライブ画像テーブルに書き込んで記憶させる。
ユーザが撮像装置200の撮像する視点(位置及び方向)を移動させつつ、被写体である室内400のライブ画像の取得(撮像)を逐次行なう。例えば、撮像装置200は、一秒間に30枚のフレーム画像を取得し、このフレーム画像の各々を順次ライブ画像としてライブ画像入力部106に対して出力する。
また、ライブ画像入力部106は、撮像装置200からライブ画像が逐次供給される毎に、画像記憶部109におけるライブ画像記憶領域(一個のライブ画像の画像データが記憶可能なストレージ領域)に記憶されている直前のライブ画像の画像データに上書きし、順次ライブ画像の画像データの更新を行なう。
また、3次元形状復元部102は、ライブ画像の各々を用いて復元した3次元形状モデル及び法線ベクトルの各々を、画像記憶部109の3次元形状モデル記憶領域に対して書き込んで記憶させる。3次元形状モデル記憶領域には、例えば、復元された3次元形状モデルの3次元座標点の各々と、この3次元座標点における法線ベクトルとが対応付けて記憶されている。
また、変更画素領域選択部1042は、同様に、画像記憶部109のライブ画像テーブルから、初期画素領域の2次元座標点が投影された領域における法線ベクトルを読み出し、この法線ベクトルと、所定の直線(例えば、3次元形状モデルを復元した際における3次元座標系におけるY軸)との成す角度αを求める。
変更画素領域選択部1042は、同様に、画像記憶部109のライブ画像テーブルから読み出した法線ベクトルと、所定の直線と垂直な平面との成す角度βを求める。
ここで、変更画素領域選択部1042は、角度αあるいは角度βのいずれかにおいて、予め設定された角度閾値以下である方を選択する。
そして、変更画素領域選択部1042は、角度αが選択された場合、類似した色差を有するとして抽出した2次元座標点に対応する3次元座標点の法線ベクトルを、ライブ画像テーブルから読み出し、初期画素領域に対応する3次元座標点の法線ベクトルとの成す角度θ1を求める。
変更画素領域選択部1042は、角度θ1が予め設定した角度閾値以下の法線ベクトルを有する3次元座標点を抽出する。
変更画素領域選択部1042は、角度θ2が予め設定した上記角度閾値以下の法線ベクトルを有する3次元座標点を抽出する。
そして、変更画素領域選択部1042は、抽出した3次元座標点をライブ画像に対して重畳させて、抽出した3次元座標点が投影された2次元座標点及び初期画素領域の2次元座標点を含む領域を、変更画素領域とする。
ユーザは、撮像装置200からリアルタイムに逐次供給され、画像表示部110に表示されているライブ画像500において、ドラッグ(スワイプ)操作あるいはクリック(タッチ)操作により初期画素領域の設定を行なう。
一方、ライブ画像500における床の画像領域520をユーザがクリック操作することにより、初期画素領域入力部101は、クリック操作された領域(一個の画素あるいは複数画素からなる領域)を初期画素領域500Bとして入力する。
あるいは、画像領域520の初期画素領域500Bが床540に対して、初期画素領域501Bとして投影される。
そして、変更画素領域抽出部104は、角度θ2が角度閾値以下の3次元座標点を、図4(c)に示す変更画素領域550として抽出する。ここで、図4(a)に示す絵画の画像領域511及び扉の画像領域512は、初期画素領域500Aにおける2次元座標点の反射率と異なるため、変更画素領域550において除外領域551及び除外領域552の各々として除外される。
そして、変更画素領域抽出部104は、角度θ1が角度閾値以下の3次元座標点を、図4(d)に示す変更画素領域560として抽出する。ここで、図4(a)に示す床の敷物の画像領域525は、初期画素領域500Bにおける2次元座標点の反射率と異なるため、変更画素領域560において除外領域570として除外される。
そして、変更画素領域選択部1042は、抽出した3次元座標点の変更画素領域550及び変更画素領域560の各々が投影された2次元座標点の領域(初期画素領域の2次元座標点を含む領域)を、ライブ画像500における変更画素領域とする。
加工画像生成部105は、読み出した素材画像の2次元座標点の各々の画素値を、3次元形状モデルの対応する3次元座標点に対してテクスチャマッピングする。
そして、加工画像生成部105は、テクスチャマッピングされた3次元形状モデルを、ライブ画像のカメラパラメータに基づき、ライブ画像と同一視点の2次元平面に対して投影して2次元画像を生成する。
そして、加工画像生成部105は、読み出した陰影成分画像における2次元座標点の各々の画素値を、生成した2次元画像の2次元座標点における画素値のそれぞれ対して乗算し、加工画像を生成する。
また、変更画像表示制御部108は、素材を異なる他の素材に変更する処理を継続するか否かの確認を促し、異なる他の素材の変更を継続する場合、加工画像生成部105に対して通知する。
加工画像生成部105は、生成した2次元画像の全ての2次元座標点の各々の画素値に対して、陰影成分画像の2次元座標点の画素値それぞれを乗算することにより、加工画像601を生成する。
そして、変更画像生成部107は、抽出した加工画像601の2次元座標点の画素値に、この2次元座標点に対応するライブ画像500における2次元座標点の画素値を変更し、ライブ画像500の変更画素領域の素材を他の異なる素材に変更した変更画像800を生成する。
また、実施形態においては、画像表示部110を画像処理システム100に備えられた構成としたが、他のパーソナルコンピュータあるいはタブレット端末からなる画像表示装置として分離し、画像表示部110の除いた構成を、例えばサーバなどのコンピュータシステムとして運用しても良い。この構成の場合、画像処理システム100、画像表示装置及び撮像装置200の各々は、インターネットを含む情報通信網に接続され、データの送受信を行なう。
しかしながら、本実施形態においては、素材画像に模様などの反射率成分の画素値が点在する場合を考慮し、変更画素領域内に予め設定した面積(あるいは面積比)以下で存在する領域も変更画素領域に含める構成としても良い。
まず、図6のフローチャートを用いて、画像処理システムによる3次元形状モデルの復元処理及びライブ画像の反射率成分画像/陰影成分画像への分離処理の説明を行なう。
ユーザは、図2に示したように、被写体である建物の室内を、視点を変化させつつ撮像装置200を用いたライブ画像の撮像を行なう。
これにより、撮像装置200は、異なる視点から撮像したライブ画像の各々を、リアルタイムに画像処理システム100に対して逐次出力する。
ライブ画像入力部106は、撮像装置200から逐次供給されるライブ画像を、画像記憶部109のライブ画像記憶領域に順次上書きしていく。
3次元形状復元部102は、ライブ画像入力部106からライブ画像が入力された通知の有無を確認する。すなわち、3次元形状復元部102は、新たなライブ画像が撮像装置200から供給されたか否かの判定を行なう。
このとき、3次元形状復元部102は、新たなライブ画像が入力されていない場合、処理をステップS11へ戻し、一方、新たなライブ画像が入力されている場合、処理をステップS13へ進める。
3次元形状復元部102は、画像記憶部109のライブ画像記憶領域から、新たに供給されたライブ画像を読み込む。
そして、3次元形状復元部102は、すでに述べたV-SLAMのアルゴリズムを用いて、逐次供給されるライブ画像により、復元された室内の形状(例えば、3次元点群)の範囲を広げていき、撮像対象である建物の室内の3次元形状モデルを、順次拡充(拡大)して構築していく復元の処理を行なう。
また、3次元形状復元部102は、3次元形状モデルを生成する際、それぞれのライブ画像の撮像時のカメラパラメータ(内部パラメータ及び外部パラメータを含む)と、各3次元座標点における法線ベクトルを求める。
そして、3次元形状復元部102は、復元した3次元形状モデルのデータ(復元した点群データの各々の3次元座標点及び3次元座標点における法線ベクトル)を、画像記憶部109に書き込んで記憶させる。これにより、3次元形状復元部102は、撮像装置200から逐次供給されるライブ画像により、順次、建物の室内の状態を示す3次元形状モデルの3次元点群を拡充する更新の処理を行なう。
また、3次元形状復元部102は、カメラパラメータと、ライブ画像の2次元座標点、この2次元座標点に対応する3次元座標点及びこの3次元座標点の法線ベクトルとの各々のデータを、画像記憶部109のライブ画像テーブルに書き込んで記憶させる。
反射率・陰影分離部103は、画像記憶部109のライブ画像記憶領域から、新たに供給されたライブ画像を読み込む。
そして、反射率・陰影分離部103は、すでに説明したIntrinsic Image Problemのアルゴリズムにより、読み込んだライブ画像を反射率成分画像及び陰影成分画像の各々に分離する。
そして、反射率・陰影分離部103は、分離した反射率成分画像、陰影成分画像それぞれを画像記憶部109における成分画像領域に書き込んで記憶させる。
これにより、反射率・陰影分離部103は、画像記憶部109の成分画像領域に記憶されている直前のライブ画像の反射率成分画像及び陰影成分画像の各々に、新たに供給されたライブ画像を分離した反射率成分画像、陰影成分画像それぞれを上書き、すなわち反射率成分画像及び陰影成分画像の更新を行なう。
また、反射率・陰影分離部103は、ライブ画像から新たに分離した反射率成分画像における2次元座標点の各々の画素値(RGBで示された反射率成分)を、ライブ画像テーブルにおける当該2次元座標点に対応するレコードの反射率成分の欄に書き込んで記憶させる。
ステップS21:
初期画素領域入力部101は、画像記憶部109のライブ画像記憶領域から、新たに供給されたライブ画像を読み込み、画像表示部110の表示画面に表示する。
このとき、ユーザが画面表示部110の表示画面におけるライブ画像の任意の領域を指でタッチするなどの操作により選択を行なった場合、初期画素領域入力部101は、例えば、ライブ画像と、3次元形状モデルを現在の視点の2次元平面に投影した投影(3次元点群)画像とを重ねて表示する。
そして、初期画素領域入力部101は、素材変更を行なう処理の実行を確認する(処理を実行するか否かの確認を行なう)表示を、画像表示部110の表示画面に表示する。
この処理により、ユーザは、ライブ画像と投影画像とを比較し、3次元形状モデルの3次元点群における抜け(復元が不十分)の領域の有無を容易に視認することが可能であり、初期画素領域を選択してもよい状態に3次元形状モデルが復元されているか否かの判定を行なうことができる。
このとき、初期画素領域入力部101は、ユーザが画像表示部110の表示画面に表示されている素材変更を開始することを示す領域(例えば、ツールバーなどの選択ツールにおけるボタンなど)を選択した場合、初期画素選択領域の選択を行なったと判定し、処理をステップS24へ進める。
一方、初期画素領域入力部101は、ユーザが画像表示部110の表示画面に表示されている3次元形状モデルの復元の継続を示す領域(ツールバーなどにおけるボタンなど)を選択した場合、初期画素選択領域の選択が行なわれなかったと判定し、処理をステップS31へ進める。
そして、ユーザが初期画素領域の選択を行なうことにより、初期画素領域入力部101は、初期画素領域の含む2次元座標点(画素)を変更画素領域抽出部104に対して出力する。
これにより、変更画素領域抽出部104は、3次元形状モデルのデータを画像記憶部109から読み出し、読み出した3次元形状モデルに対して初期画素領域の2次元座標点を投影する。
そして、変更画素領域抽出部104は、投影された2次元座標点に対応する3次元座標点を取得する。
変更画素領域抽出部104は、画像記憶部109のライブ画像テーブルを参照して、初期画素領域における2次元座標点の反射率成分の画素値と類似する画素値を有する、ライブ画像の2次元座標点それぞれを抽出する。
そして、変更画素領域抽出部104は、画像記憶部109のライブ画像テーブルを参照して、上記類似する画素値を有する2次元座標点に対応する3次元座標点の法線ベクトルを読み出す。
また、変更画素領域抽出部104は、例えば、角度αが所定の角度閾値以下である場合、すなわち、図4(a)において初期画素領域500Bが選択された場合、ライブ画像が投影される3次元形状モデルにおける3次元座標点の各々の法線ベクトルと、初期画素領域500Bの3次元座標点501Bにおける法線ベクトルとの成す角度θ1を求める。
これにより、変更画素領域抽出部104は、反射率成分の画素値が類似し、かつ法線ベクトルの方向が同様の3次元座標点に対応する2次元画素座標点からなる領域を、ライブ画像における変更画素領域として抽出する。
そして、変更画素領域抽出部104は、角度θ2が所定の角度閾値以下の法線ベクトルを有する3次元座標点を、画像記憶部109のライブ画像テーブルから抽出する。
これにより、変更画素領域抽出部104は、反射率成分の画素値(反射率)が類似し、かつ法線ベクトルと所定の直線に垂直な平面との成す角が閾値以下である3次元座標点に対応する2次元画素座標点からなる領域を、ライブ画像における変更画素領域として抽出する。
加工画像生成部105は、素材データベース111に記憶されている素材画像を読み出し、サムネイル画像として画像表示部110に表示し、ユーザに対して、変更に用いる素材を選択する処理を行なうことを促す。
ユーザは、画像表示部110に表示された素材画像のサムネイル画像のなかから、素材の変更に用いる素材画像を選択する。
加工画像生成部105は、素材データベース111から、再度、ユーザが選択した素材画像のデータを読み出す。
加工画像生成部105は、素材画像の2次元座標点の画素値を、3次元形状モデルに対してテクスチャマッピングする。
そして、加工画像生成部105は、ライブ画像と同一の視点における2次元平面に3次元形状モデルを投影し、2次元画像を生成する。
加工画像生成部105は、2次元画像における2次元座標点の各々の画素値に対し、陰影成分画像における2次元座標点それぞれの画素値を乗算し、加工画像を生成する。
変更画像生成部107は、図5に示すように、ライブ画像500における変更画素領域700の2次元座標点の画素値を、この2次元座標点と対応する加工画像における2次元座標点の画素値に変換する。
そして、変更画像生成部107は、上述した画素値を変更したライブ画像を、変更画像として出力する(変更画像を生成する)。
変更画像表示制御部108は、変更画像生成部107がライブ画像における変更画素領域の素材を異なる種類の素材に変更して生成した変更画像を、画像表示部110に対して表示する。
また、変更画像表示制御部108は、ライブ画像において抽出された変更画素領域における素材を異なる種類の素材に変更する処理を継続するか否かの確認を促す。
変更画像表示制御部108は、ライブ画像において抽出された変更画素領域における素材を異なる種類の素材に変更する処理を、ユーザが継続するか否かの判定を行なう。
変更画像表示制御部108は、変更画素領域における素材を異なる種類の素材に変更する処理をユーザが継続する入力を行った場合、処理をステップS26へ進める。
一方、変更画像表示制御部108は、変更画素領域における素材を異なる種類の素材に変更する処理をユーザが継続しない入力を行った場合、処理を終了する。
ユーザは、画像表示部110におけるライブ画像と、表示画面復元された3次元形状モデルの投影画像との比較により、復元された3次元形状モデルの欠落部分の位置が容易に視認できる。この3次元形状モデルにおける欠落部分は、ユーザが撮像装置200の視点を早く移動させたために、ライブ画像におけるデータが取得できなくなる画素が発生し、この画素に対応する3次元座標点の復元ができないことが考えられる。
このため、ユーザは、ステップS21におけるライブ画像の取得を継続、すなわち視認した欠落部分のライブ画像の取得を行なう。
これにより、本実施形態によれば、ユーザが枠で囲むなどの手間を掛けずに、かつ変更対象のライブ画像を予め取得しておき、このライブ画像を変更画素領域が選択し易いように予め区分しておく必要がなく、ユーザが素材や色データを異なる種類に変更する対象の変更画素領域を簡易に選択できる。
このため、本実施形態によれば、3次元形状モデルの曲面形状の境界に高い精度で対応させて変更画素領域を抽出することが可能となり、ユーザが素材を異なる種類の素材に変更した変更画素領域を鑑賞する場合、壁の素材が床にはみ出したり、逆に床の素材が壁にはみ出したりなどの、境界の不明確による違和感を抑制することができる。
このため、本実施形態によれば、変更画素領域の抽出に用いる3次元形状モデルを、予め撮像した撮像画像などを用いて復元しておく必要がないため、室内の全ての3次元形状モデルを復元するのではなく、素材を変更して変更後の確認を行ないたい領域のみの3次元形状を任意にリアルタイムに復元することで、ユーザが室内の現物を観察しつつ、素材の変更後の室内の状態を視認することが可能となる。
また、本実施形態においては、撮像装置200から逐次供給されるライブ画像から3次元形状モデルの復元を行い、ライブ画像において初期画素領域を選択する構成としているが、予め被写体の3次元形状モデルを生成しておき、被写体を撮像するライブ画像で初期画素領域の選択し、この3次元形状モデルを用いて変更画素領域を抽出する構成としても良い。
101…初期画素領域入力部
102…3次元形状復元部
103…反射率・陰影分離部
104…変更画素領域抽出部
105…加工画像生成部
106…ライブ画像入力部
107…変更画像生成部
108…変更画像表示制御部
109…画像記憶部
110…画像表示部
111…素材データベース
200…撮像装置
1041…投影変換部
1042…変更画素領域選択部
Claims (13)
- 撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置であり、
前記ライブ画像において選択された1以上の画素からなる初期画素領域を、前記被写体の3次元形状モデルに対して初期領域として投影する投影変換部と、
前記初期領域において前記画素が投影された3次元座標点である投影3次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記3次元形状モデルから抽出する変更画素領域抽出部と
を備えることを特徴とする変更画素領域抽出装置。 - 前記ライブ画像から前記反射率成分を抽出する反射率・陰影分離部と、
前記ライブ画像により前記被写体の前記3次元形状モデルの復元を行い、復元に用いたライブ画像から推定される、当該ライブ画像を撮像した撮像装置のカメラパラメータから、前記3次元座標点における前記法線ベクトルを求める3次元形状復元部と
をさらに備えることを特徴とする請求項1に記載の変更画素領域抽出装置。 - 前記反射率・陰影分離部が、前記変更画素領域抽出部が用いる前記反射率成分を、新たに供給されたライブ画像から抽出した前記反射率成分に変更し、
前記3次元形状復元部が、逐次供給される前記ライブ画像の各々により、前記3次元形状モデルを順次拡充する復元を行なって変更し、拡充する復元に用いた前記ライブ画像から求められるカメラパラメータにより、前記3次元形状モデルにおける拡充された前記3次元座標点における前記法線ベクトルを逐次求める
ことを特徴とする請求項2に記載の変更画素領域抽出装置。 - 前記変更画素領域抽出部が、
前記投影3次元座標点の前記法線ベクトル及び所定の直線との各々の成す第1角度が所定の角度閾値以下の際に、前記3次元形状モデルにおける3次元座標点の前記法線ベクトル及び前記初期画素領域の投影3次元座標点における前記法線ベクトルの成す角度が前記所定の角度閾値以下であり、かつ当該投影3次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する3次元座標点に対応する画素を前記ライブ画像から抽出し、抽出された当該画素の各々からなる領域を前記変更画素領域とする
ことを特徴とする請求項1から請求項3のいずれか一項に記載の変更画素領域抽出装置。 - 前記変更画素領域抽出部が、
前記投影3次元座標点の前記法線ベクトル及び所定の直線に垂直な平面の各々の成す第2角度が所定の角度閾値以下の際に、前記3次元形状モデルにおける3次元座標点の前記法線ベクトル及び前記所定の直線に垂直な平面の成す角度が前記所定の角度閾値以下であり、かつ当該投影3次元座標点に対応する前記画素の反射率成分と類似している反射率成分を有する3次元座標点に対応する画素を前記ライブ画像から抽出し、抽出された当該画素の各々を前記変更画素領域とする
ことを特徴とする請求項1から請求項4のいずれか一項に記載の変更画素領域抽出装置。 - 請求項1から請求項5のいずれか一項に記載の変更画素領域抽出装置と、
種類の異なる前記素材の素材画像の各々を蓄積するデータベースと、
前記素材画像を前記3次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の3次元形状モデルを前記ライブ画像と同一の視点の2次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成部と、
前記ライブ画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成部と
を備える
ことを特徴とする画像処理システム。 - 前記ライブ画像を陰影成分画像と反射率成分画像とに分離する反射率・陰影分離部
をさらに備え、
前記加工画像生成部が、
テクスチャマッピング後の3次元形状モデルを前記ライブ画像と同一の視点の2次元平面に投影して生成した2次元画像に対し、前記陰影成分画像の画素の画素値を乗算することにより、前記加工画像を生成する
ことを特徴とする請求項6に記載の画像処理システム。 - 前記被写体を異なる撮像方向から撮像され、逐次供給される前記ライブ画像から前記3次元形状モデルを復元し、前記ライブ画像の撮像に用いた撮像装置のカメラパラメータとから、前記3次元座標点の各々の前記法線ベクトルを算出する3次元形状復元部
をさらに備え、
前記陰影成分画像が前記ライブ画像と前記反射率成分画像との差分である
ことを特徴とする請求項7に記載の画像処理システム。 - 画像を表示する画像表示部と、
前記画像表示部に表示された前記ライブ画像において選択された初期画素領域を入力する初期画素領域入力部と、
前記変更画像を前記画像表示部に表示する変更画像表示制御部と
をさらに備える
ことを特徴とする請求項6から請求項8のいずれか一項に記載の画像処理システム。 - 撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出方法であり、
投影変換部が、前記ライブ画像において選択された1以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の3次元形状モデルに対して初期領域として投影する投影変換過程と、
変更画素領域抽出部が、前記初期領域において前記画素が投影された3次元座標点である投影3次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記3次元形状モデルから抽出する変更画素領域抽出過程と
を含むことを特徴とする変更画素領域抽出方法。 - 撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理方法であり、
投影変換部が、前記ライブ画像において選択された1以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の3次元形状モデルに対して初期領域として投影する投影変換過程と、
変更画素領域抽出部が、前記初期領域において前記画素が投影された3次元座標点である投影3次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記3次元形状モデルから抽出する変更画素領域抽出過程と、
加工画像生成部が、種類の異なる前記素材の素材画像を前記3次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の3次元形状モデルを前記ライブ画像と同一の視点の2次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成過程と、
変更画像生成部が、前記ライブ画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成過程と
を含む
ことを特徴とする画像処理方法。 - 撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出する変更画素領域抽出装置の機能をコンピュータに実行させるプログラムであり、
前記コンピュータを、
前記ライブ画像において選択された1以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の3次元形状モデルに対して初期領域として投影する投影変換手段、
前記初期領域において前記画素が投影された3次元座標点である投影3次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記3次元形状モデルから抽出する変更画素領域抽出手段
として機能させるプログラム。 - 撮像装置が被写体を撮像しつつ逐次供給するライブ画像から、前記被写体における素材を変更する対象の変更画素領域を抽出し、当該変更画素領域における前記素材を変更する画像処理装置の機能をコンピュータに実行させるプログラムであり、
前記ライブ画像において選択された1以上の画素からなる初期画素領域を、前記ライブ画像の前記被写体の3次元形状モデルに対して初期領域として投影する投影変換手段、
前記初期領域において前記画素が投影された3次元座標点である投影3次元座標点における法線ベクトルと当該画素の反射率成分との各々に基づき、当該初期領域を含む前記変更画素領域を、前記3次元形状モデルから抽出する変更画素領域抽出手段、
種類の異なる前記素材の素材画像を前記3次元形状モデルにテクスチャマッピングし、テクスチャマッピング後の3次元形状モデルを前記ライブ画像と同一の視点の2次元平面に投影して、前記変更画素領域の素材を変更する加工画像を生成する加工画像生成手段、
前記ライブ画像の前記変更画素領域における素材を、前記加工画像を用いて変更して、変更画像を生成する変更画像生成手段
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018184974A JP7119854B2 (ja) | 2018-09-28 | 2018-09-28 | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018184974A JP7119854B2 (ja) | 2018-09-28 | 2018-09-28 | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020057038A JP2020057038A (ja) | 2020-04-09 |
JP7119854B2 true JP7119854B2 (ja) | 2022-08-17 |
Family
ID=70107206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018184974A Active JP7119854B2 (ja) | 2018-09-28 | 2018-09-28 | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7119854B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7093935B2 (ja) * | 2020-09-02 | 2022-07-01 | 株式会社サイバーエージェント | 推定システム、推定装置、推定方法及びコンピュータプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015501044A (ja) | 2011-12-01 | 2015-01-08 | クアルコム,インコーポレイテッド | 実世界オブジェクトの3dモデルおよび正しい縮尺のメタデータをキャプチャし移動させるための方法およびシステム |
JP2015162708A (ja) | 2014-02-26 | 2015-09-07 | Kddi株式会社 | 空間共有装置、空間共有システム、空間共有方法、およびプログラム |
JP2017033317A (ja) | 2015-07-31 | 2017-02-09 | 凸版印刷株式会社 | 建築素材画像処理システム、方法、及びプログラム |
-
2018
- 2018-09-28 JP JP2018184974A patent/JP7119854B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015501044A (ja) | 2011-12-01 | 2015-01-08 | クアルコム,インコーポレイテッド | 実世界オブジェクトの3dモデルおよび正しい縮尺のメタデータをキャプチャし移動させるための方法およびシステム |
JP2015162708A (ja) | 2014-02-26 | 2015-09-07 | Kddi株式会社 | 空間共有装置、空間共有システム、空間共有方法、およびプログラム |
JP2017033317A (ja) | 2015-07-31 | 2017-02-09 | 凸版印刷株式会社 | 建築素材画像処理システム、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020057038A (ja) | 2020-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9007422B1 (en) | Method and system for mutual interaction using space based augmentation | |
US8655052B2 (en) | Methodology for 3D scene reconstruction from 2D image sequences | |
US9208607B2 (en) | Apparatus and method of producing 3D model | |
US11694313B2 (en) | Computer-generated image processing including volumetric scene reconstruction | |
KR20140108828A (ko) | 카메라 트래킹 장치 및 방법 | |
JP7353782B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR102546358B1 (ko) | 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법 | |
US11228707B1 (en) | Scene capture for reconstruction of obscured views | |
CN112270736A (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
JP6011567B2 (ja) | 情報処理装置、その制御方法、及びプログラム | |
JP7119854B2 (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
KR101632514B1 (ko) | 깊이 영상 업샘플링 방법 및 장치 | |
JP7119853B2 (ja) | 変更画素領域抽出装置、画像処理システム、変更画素領域抽出方法、画像処理方法及びプログラム | |
JP2017084215A (ja) | 情報処理システム、その制御方法、及びプログラム | |
Cho et al. | Depth image processing technique for representing human actors in 3DTV using single depth camera | |
JP2020074108A (ja) | 情報処理システム、その制御方法、及びプログラム | |
JP6638326B2 (ja) | 情報処理システム、その制御方法、及びプログラム | |
US11228706B2 (en) | Plate reconstruction of obscured views of a main imaging device using capture device inputs of the same scene | |
JP2002312810A (ja) | 合成動画像生成装置および合成動画像生成方法 | |
JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CA3186957A1 (en) | Operating animation controls using evaluation logic | |
JP2021018570A (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7119854 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |