JP7343446B2 - モデル生成装置、方法及びプログラム - Google Patents

モデル生成装置、方法及びプログラム Download PDF

Info

Publication number
JP7343446B2
JP7343446B2 JP2020104079A JP2020104079A JP7343446B2 JP 7343446 B2 JP7343446 B2 JP 7343446B2 JP 2020104079 A JP2020104079 A JP 2020104079A JP 2020104079 A JP2020104079 A JP 2020104079A JP 7343446 B2 JP7343446 B2 JP 7343446B2
Authority
JP
Japan
Prior art keywords
point
voxels
model
voxel
voxel model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020104079A
Other languages
English (en)
Other versions
JP2021196977A (ja
JP2021196977A5 (ja
Inventor
賢史 小森田
和之 田坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2020104079A priority Critical patent/JP7343446B2/ja
Publication of JP2021196977A publication Critical patent/JP2021196977A/ja
Publication of JP2021196977A5 publication Critical patent/JP2021196977A5/ja
Application granted granted Critical
Publication of JP7343446B2 publication Critical patent/JP7343446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)
  • Image Analysis (AREA)

Description

本発明は、点群より3次元モデルを生成するモデル生成装置、方法及びプログラムに関する。
点群(3次元点群)は、画像等より抽出され、現実世界に存在するオブジェクトや現実世界の地図を3次元モデル化する等の様々な用途で利用されている。高精度なモデル化や広範囲のモデル化には通常、多数の点から構成される点群を用いる必要があるため、点群や点群に関連した3次元モデル等を扱う際には効率的に処理する必要があり、従来技術として例えば特許文献1~3の技術がある。
特許文献1では、3次元モデルを視体積交差法で生成する際に、多数のボクセル点に関して3次元のボクセル空間から2次元の画像平面へと変換処理を行う負荷を低減するために、正確な変換処理は多数のボクセル点のうち一部分の代表点についてのみ行い、その他のボクセル点に関する変換は、代表点の変換結果を補完して近似的に行う手法が提案されている。
特許文献2では、オブジェクト表面の点として構成されている点群に関して、ボクセルモデル化したうえで8分木の手法で効率的に位相構造を反映した3次元モデルを生成する手法が提案されている。特許文献3では、製品形状の3次元形状データにおいて当該製品内の空き領域(他の部品等を配置するための空き領域)の形状を高速に抽出するために、ボクセルモデルを適用した手法が提案されている。
特開2018-133059号公報 特開2000-222600号公報 特開2018-005859号公報
しかしながら、以上のような従来技術では、処理対象となる点群や3次元モデル等に関しては正確なものであることを前提として、各種の高負荷な計算を効率的に行うことが提案されていた。例えば特許文献1では視体積交差法を適用する際のシルエット画像にノイズがあれば、不正確なボクセルモデルが得られる可能性があるが、このような場合への対処は考慮されていなかった。特許文献2や3でも、処理対象となる点群や3次元形状データは正確であることが前提であり、これらの処理対象となる点群等が不正確である場合への対処は考慮されていなかった。
すなわち、従来技術では、処理対象となる点群等がノイズ等の影響によって、本来のオブジェクト等に位置しない不正確な点も誤って含まれる場合も考慮して、当該ノイズ等による影響を低減した効率的な処理を行うことは考慮されていなかった。
上記従来技術の課題に鑑み、本発明は、点群がノイズを含む場合も効率的な3次元モデルを生成することが可能なモデル生成装置、方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明はモデル生成装置であって、複数の画像より、当該画像に撮影されている対象の点群を構築し、且つ、当該点群に属する各点が抽出された画像を撮影したカメラの情報を、各点とカメラとの対応情報として取得する構築部と、前記点群より初期ボクセルモデルを生成し、当該初期ボクセルモデルに属する各ボクセルのうち、前記複数の画像を撮影したカメラの位置と、当該カメラが前記対応情報によって対応する各点と、を結ぶ線分上を交差するボクセルに関して、前記撮影されている対象に該当する確率が低いものとして評価することにより、前記初期ボクセルモデルに属するボクセルから前記評価された確率が高いと判定されるものを選別することで、前記点群のボクセルモデルを生成する選別部と、を備えることを特徴とする。また、前記モデル生成装置に対応する方法又はプログラムであることを特徴とする。
本発明によれば、点群の各点と、点群を構築する際の複数の画像を撮影したカメラの位置との位置関係を用いて効率的に、ノイズ影響を低減した3次元モデルとしてボクセルモデルを生成することができる。
一実施形態に係るモデル生成装置の機能ブロック図である。 選別部での処理を模式的に示す図である。 一実施形態に係るモデル生成装置の動作のフローチャートを示す図である。 一般的なコンピュータ装置におけるハードウェア構成の例を示す図である。
図1は、一実施形態に係るモデル生成装置の機能ブロック図である。モデル生成装置10は、構築部1及び選別部2を備え、選別部2は初期設定部21、評価部22及び後処理部23を備える。モデル生成装置10は、その全体的な動作として、3次元モデルを生成する対象(オブジェクトや、地図(3次元地形図)としてモデル化される街角等の現実世界のフィールドなど)がそれぞれ異なるカメラ位置において撮影された複数の画像を構築部1において入力として読み込み、選別部2より3次元モデルとしてのボクセルモデルを出力するものである。モデル生成装置10の概略的な動作は次の通りである。
構築部1は、入力される複数の画像より3次元の点群を構築し、この点群を選別部2へと出力する。構築部1はまた、点群を当該構築する際に得られる、点群に付随する情報の1つとして、点群を構成する各点に対応する1つ以上の画像の情報(点群に属する各点について、入力された複数の画像のいずれに撮影(観測)されて抽出された点であるかの情報)も選別部2へと出力する。構築部1はさらに、点群を当該構築する際に得られる、点群に付随する情報の1つとして、入力された複数の画像の各々のカメラ位置及び向きの情報も選別部2へと出力する。
選別部2は、構築部1から得られた点群の各点について、構築部1から得られた点群に付随する情報(点群に属する各点の対応画像の情報や点群を抽出した各画像のカメラの位置及び向きの情報)などを利用することにより、ノイズに起因すると推定される点を除外することによる選別を施し、選別されて残った点群をボクセルモデルとして出力する。
選別部2では当該選別してボクセルモデルを出力するために、初期設定部21においてボクセル空間を設定して構築部1から得られた点群を(初期の)ボクセルモデルとし、初期ボクセルモデルに属する各ボクセルについて構築部1から得られた点群に付随する情報を用いて評価部22においてノイズ起因のボクセルであるか否かに関する評価を行い、当該評価によりノイズ起因ではないと判定されたボクセルについて後処理部23でさらに後処理を行うことで、最終的な選別されたボクセルモデルを出力することができる。
図2は、選別部2での処理を例EX1~EX3と分けて模式的に示す図である。例EX1では、初期設定部21で設定する初期ボクセルモデルV1の模式例が示され、例EX2では評価部22による評価のうちの1つの模式例が示され、例EX3では、評価部22及び後処理部23の処理を経て初期ボクセルモデルV1より選別して得られた最終的なボクセルモデルV2の模式例が示されている。ノイズ起因等であると推定されるボクセルが除外されることにより、初期ボクセルモデルV1の部分集合として最終的なボクセルモデルV2(V2⊂V1)が得られることとなる。なお、例EX2に関しては、後述する評価部22の詳細説明において模式例として参照する。
図3は、一実施形態に係るモデル生成装置10の動作のフローチャートを示す図である。図3の各ステップに関して、ステップS1,S2が構築部1の処理であり、ステップS3が初期設定部21の処理であり、ステップS4,S44によって繰り返されるステップS41,S42,S43が評価部22の処理であり、ステップS5,S6,S7が後処理部23の処理である。以下、図3の各ステップを説明しながら、モデル生成装置10の各部の処理の詳細を説明する。
ステップS1では、構築部1が入力された複数の画像より点群を構築して選別部2へ出力してからステップS2へと進む。この点群の構築には任意の既存手法を用いてよく、例えばSfM(Structure from Motion)等を用いることができる。SfMにおいては、例えばSIFT特徴等により各画像から特徴点(2次元画像座標)及び局所特徴量を求め、2枚の互いに異なる画像の間での特徴点対応(局所特徴量が一致すると判定される特徴点同士の対応)を利用して三角測量等の原理により、画像の各特徴点の3次元世界座標の情報を得ることで、点群に属する各点の3次元世界座標を算出し、点群を構築することができる。SfMにより点群を構築する際の計算には、既存手法であるバンドル調整等を用いて、誤差を最小化するものとして計算するようにしてもよい。
ステップS1において構築される点群は、ノイズ等の影響で不正確な点も含むものとして構築されるが、本実施形態では選別部2の処理により選別を行うことで不正確な点を推定して除外し、効率的にノイズ影響を低減した3次元モデル(ボクセルモデル)を得ることができる。
ステップS2では、構築部1がステップS1で点群を構築した際に付随して得られる情報(ステップS1での点群の構築の途中で中間的出力として既に得られている情報)として、各点の対応画像の情報と、各画像のカメラの位置及び向きの情報と、を選別部2へと出力してからステップS2へと進む。
すなわち、点群に属する各点は、(1)各特徴点がいずれかの画像より抽出され、(2)異なる画像の特徴点と局所特徴量が一致すると判定されることで異なる画像の間での特徴点の対応が得られ、(3)三角測量等の原理を適用することで異なる画像の間で対応する特徴点の位置が整合すると判定されることにより、その3次元世界座標が求まっている。従って、点群に属する各点に関して、いずれの画像(2枚以上の画像)から抽出されたものであるかの情報として、点群構築の際に既に各点の対応画像の情報が得られている。例えば、構築された点群に属するある点p=(X,Y,Z)に関して、3枚の画像PA,PB,PCより2次元画像平面上の特徴点(uA,vA),(uB,vB),(uC,vC)としてそれぞれ抽出された同一の点である旨の情報として、対応画像の情報が得られる。
また、3次元コンピュータグラフィックス等の分野において既知のように、複数の画像を入力として三角測量等の原理により点群を構築する際に、各画像を撮影したカメラの位置及び向きも、点群に属する各点と同様の3次元世界座標において算出される。なお、各画像を撮影したカメラのカメラパラメータは既知のものとして与えておくことにより、三角測量等の原理を適用して点群を構築し、各画像を撮影したカメラの位置及び向きも算出することができる。
ステップS3では、構築部1よりステップS1において構築された点群を用いて、初期設定部21がノイズも含んだものとして初期ボクセルモデルを設定してからステップS4へと進む。ここで例えば、点群が定義されている3次元世界座標系を所定サイズのボクセルグリッドで区切り、ボクセルグリッドのうち点群に属する点が内部に存在するものの集合として、点群を3次元モデル化した初期ボクセルモデルを得ることができる。
ステップS3ではまた、初期設定部21は初期ボクセルモデルに属する各ボクセルV(k)(kはボクセルのIDとする)について、以下の式(1)のように存在確率VP(k)の初期値として、例えば、最大値である1を割り当てる。
VP(k)=1 …(1)
なお、各ボクセルV(k)の存在確率VP(k)の値は、以下の式(2)のように0以上1以下の範囲の値として、以降のステップS4~S44において更新されうる対象となる。本実施形態において、存在確率VP(k)の値がより低いボクセルは、ノイズ起因である可能性がより高いものとして、存在確率VP(k)が定義され、その値が更新されうる対象となる。
0≦VP(k)≦1 …(2)
ステップS4,S44は図示されるように、構築部1で点群を構築するために入力された複数の画像(N枚(N≧2)とする)の各々についてそれぞれステップS41,S42,S43(評価部21による各処理のステップ)を繰り返すことを表す制御ステップである。
ステップS4では、N枚の画像のうち未処理(以降のステップS41,S42,S43の処理が未処理)である画像を処理対象に設定してからステップS41へと進む。以降のステップS41,S42,S43,S44の説明のため、構築部1に入力されたN枚の画像をP(i)(i=1,2,…,N)とし、i回目のステップS4では画像P(i)が処理対象に設定されるものとする。
ステップS41では、式(3)に示されるように、処理対象である画像P(i)の座標が該当するボクセルV(k)、すなわち、画像P(i)を撮影したカメラ位置(pos(i)とする)を内部に含むようなボクセルV(k)に関して、その存在確率VP(k)を一定割合r(0<r<1、例えばr=0.9)で減少させるように、評価部22が評価を行ってからステップS42へと進む。ここで、カメラ位置pos(i)の情報は、ステップS2において構築部1での点群構築の際の付随情報より取得することができる。また、式(3)に代えて式(3')のように、存在確率VP(k)を一定割合rで減少させることに代えて、存在確率VP(k)を一定値r(0<r<1、例えばr=0.1)で減算するようにしてもよい。
if (pos(i)∈V(k)) VP(k)=r*VP(k) …(3)
if (pos(i)∈V(k)) VP(k)=VP(k)-r …(3')
ステップS41の処理の意義は次の通りである。すなわち、撮影した位置はオブジェクトが存在しないことが想定されるので、その存在確率を下げるのがステップS41である。(ただし、この処理はボクセルの大きさに依存するため、適宜のrの値を用いればよい。例えば、一片が大きいボクセル(5m程度など)では、その範囲内にオブジェクトが存在する可能性が高く、小さいボクセル(50cm程度など)であれば、壁際等の位置で撮影されていない限りはオブジェクトが存在する可能性は低い。なお、3Dモデルを作る際には、オブジェクトから離れた広い空間を通って撮影することが多いため、ステップS41の手法が好適となる。)
なお、式(3)はif()で示される条件に該当する場合(ifの括弧()内が真となる場合)に、後置される代入式を適用すること、すなわち、存在確率VP(k)の値を、現時点での存在確率VP(k)の値(更新前の値)を用いて代入式の右辺の値として算出される値へと更新することを意味するものであり、以降の各式においても同様の記法を利用する。
ステップS42では、式(4)に示されるように、処理対象である画像P(i)から観測されるようなボクセルV(k)(次の説明の通り、ボクセルV(k)は直接には観測されないが属する点を介して間接的に観測される)に関して、すなわち、ボクセルV(k)を初期ボクセルモデルとして設定した際のボクセルV(k)内に位置する点群における少なくとも1つの点(点p(k)とする)が画像P(i)から観測されるものである場合、その存在確率を一定値a(a>0、例えばa=0.5)だけ増やすように、評価部22が評価を行ってからステップS43へと進む。なお、式(4)の更新により存在確率VP(k)の値が1を超える場合はさらに式(5)を適用し、存在確率の最大値である1とし、式(2)の範囲からの逸脱を防止する。また、式(4)に代えて式(4')のように、存在確率を加算により一定値aだけ増やすことに代えて、存在確率を乗算により一定割合a(a>1、例えばa=1.1)で増加させるようにしてもよい。
if (ある点p(k)が画像P(i)から観測される) VP(k)=VP(k)+a …(4)
if (ある点p(k)が画像P(i)から観測される) VP(k)=a*VP(k) …(4')
if(VP(k)>1) VP(k)=1 …(5)
なお、あるボクセルV(k)に属する2つ以上の点p(k1),p(k2),…が画像P(i)から観測される場合、式(4)や(4')によって増加させる処理を、当該観測される点p(k1),p(k2),…の個数と同じ回数だけ繰り返して適用するようにしてもよい。
ここで、ボクセルV(k)内に位置している点群の点p(k)が画像P(i)から観測されるものであるか否かの情報は、ステップS2において構築部1での点群構築の際の付随情報より、各点の対応画像の情報として取得することができる。すなわち、点p(k)が画像P(i)に対応するものである(点p(k)が画像P(i)より抽出されたものである)場合には、点p(k)は画像P(i)に撮影されたものとして、画像P(i)から観測されるものに該当する。
制御ステップS4,S44による繰り返しにより、各画像P(i)についてステップS42が実行されるため、より多数の画像P(i)から観測されるようなボクセルV(k)については実際のオブジェクトが対応している可能性が高いものとして、その存在確率VP(k)がより大きな値として求まることとなる。また、前述の観測される点p(k1),p(k2),…の個数と同じ回数だけ繰り返して式(4)や(4')を適用する実施形態を採用する場合はさらに、より多数の観測される点p(k1),p(k2),…が属するようなボクセルV(k)について、その存在確率V(k)がより大きな値として求まることとなる。
ステップS43では、式(6)に示されるように、画像P(i)のカメラ位置pos(i)と、処理対象である画像P(i)から観測される点群の点(点q(i)とする)と、を結ぶ線分L(pos(i),q(i))上に位置しているようなボクセルV(k)、すなわち、線分L(pos(i),q(i))が交差するようなボクセルV(k)(線分Lの端点としての観測点q(i)及びカメラ位置pos(i)の属するボクセルを除く)について、その存在確率VP(k)を一定割合w(0<w<1、例えばw=0.5)で減少させるように、評価部22が評価を行ってからステップS44へと進む。また、式(6)に代えて式(6')のように、存在確率VP(k)を乗算により一定割合wで減少させることに代えて、存在確率VP(k)を一定値w(0<w<1、例えばw=0.1)で減算するようにしてもよい。
if(線分L(pos(i),q(i))がボクセルV(k)に交差する) VP(k)=w*VP(k) …(6)
if(線分L(pos(i),q(i))がボクセルV(k)に交差する) VP(k)=VP(k)-w …(6')
なお、「線分L(pos(i),q(i))がボクセルV(k)に交差する」ことは、換言すれば、「画像P(i)のカメラ位置pos(i)と観測される点q(i)との間にボクセルV(k)が位置している」ことである。
ここで、画像P(i)から観測される点q(i)の情報と、画像P(i)のカメラ位置pos(i)の情報とは、ステップS41,S42においても説明したように、ステップS2において構築部1での点群構築の際の付随情報より取得することができる。画像P(i)から観測される点q(i)は1つ以上存在するが、あるボクセルV(k)に関して1つ以上の点q(i)が式(6)や(6')による存在確率VP(k)の減少更新の対象となる場合には、当該1つ以上の点q(i)の個数だけ式(6)や(6')による減少更新を繰り返して適用することができる。すなわち、ボクセルV(k)に交差する線分L(pos(i),q(i))の本数と同じ回数だけ減少更新を累積適用することで、この本数が多いほど存在確率VP(k)がより小さくなるようにしてもよい。別の実施形態として、あるボクセルV(k)に関して1つ以上の点q(i)が式(6)や(6')による存在確率VP(k)の減少更新の対象となる場合に、1回のみ当該減少更新を適用するようにしてもよい。
前述した図2の例EX2では、ステップS43で式(6)による存在確率を減少させるボクセルの模式例が2次元配置として示されている。すなわち、例EX2では、画像P(i)から観測される点q(i)の例が3個、丸(〇)として示され、画像P(i)のカメラ位置pos(i)がカメラCとして模式的に示されている。カメラCと、3個の観測点q(i)とを結ぶ3本の直線は破線矢印として示され、当該3本の直線のいずれかが交差する複数のボクセルVb(図中、白色で示す)が式(6)による、存在確率を減少更新する対象となる。一方、当該3本の直線のいずれも交差しない複数のボクセルVa(図中、灰色で示す)は式(6)の適用対象外となる。
図2の例EX2にも模式的に示されるように、ステップS43で式(6)による存在確率を減少させる更新によれば、画像P(i)のカメラとその観測点q(i)(すなわち、画像P(i)から抽出された特徴点としての点群に属する点)との間にはオブジェクトは存在し得ないという想定(画像P(i)から観測点q(i)の方向を見る場合、観測点q(i)が前景として初めて見える点であり、オブジェクト表面に該当するという想定)により、ノイズ影響を受けていることが想定されるボクセルの存在確率を効果的に減少させることができる。
ステップS44では、以上のステップS41,S42,S43の処理がN枚の全ての画像P(i)(i=1,2,…,N)について完了したか否かを判定し、完了していればステップS5へと進み、未完了であればステップS4へと戻り、未処理の次の画像P(i+1)を処理対象として設定して同様に繰り返す。
ステップS5では、後処理部23が、存在確率VP(k)が所定の閾値TH以下となるようなボクセルV(k)をノイズ等の影響を受けたものとして削除してから、ステップS6へと進む。ここで、存在確率VP(k)は以上説明した、評価部22によるステップS4,S41,S42,S43,S44での繰り返し処理によって更新されており、当該更新された存在確率VP(k)に対してステップS5で閾値判定を行うことにより、ノイズ等の影響を受けていると想定され、画像に撮影されている現実の対象物に該当しないものと想定されるボクセルV(k)をモデルに属さないものとして削除することが可能となる。また、ステップS5の別の実施形態として、存在確率VP(k)が所定の閾値TH以下となるようなボクセルV(k)を削除することに代えて、存在確率VP(k)の相対的に下位の所定の割合(例えば下位10%)のボクセルV(k)を削除するようにしてもよい。
ステップS6では、ステップS5で削除されずに残ったボクセルを対象として後処理部23がさらに、ボクセル間の接続を走査して連結関係を求め、互いに連結関係にあるが外周と繋がっていないボクセルを削除してから、ステップS7へと進む。
ステップS6における外周は、ステップS3で設定した初期ボクセルモデルを内包する最小直方体として、3次元世界座標に設定すればよい。このような外周と繋がっていないボクセルは、空中に浮かんだ状態にあることを意味しており、ノイズ等の影響を受けているものと判定して、ステップS6において削除することができる。
ステップS7では、後処理部23が、ステップS5,S6による削除を経て残ったボクセルを、最終的なボクセルモデルとして出力して、図3のフローは終了する。
以上、本実施形態によれば、点群がノイズを含み、既存手法では適切な3次元モデルを得ることが困難な場合であっても、選別部2によってノイズ起因であると想定される点を効率的に除外することで、ノイズ影響を低減した適切な3次元モデルを得ることができる。また、本実施形態よれば、模様が平坦で特徴の少ない平面等のオブジェクトに関しても、選別部2によりこのオブジェクト以外の領域にある点群を効率的に除外することで、適切な3次元モデルを得ることができる。(例えば、ある領域にほぼ真っ白な壁があるとその上では特徴点が生じ難いが、その壁を正面ではなく横から見た際に、壁の領域外で点群が生じると、当該見通し方向のボクセルの存在確率が下がることで、オブジェクトに該当しないと判定される空間が生成される。すなわち、白い壁の前の空間の存在確率が下がって消えることで、特徴点が少ない白い壁の領域が残るという結果を適切に得ることができる。)以下、種々の補足事項を説明する。
(1) 構築部1へと入力する複数の画像の各々は、単眼カメラで撮影されたものであても、ステレオカメラで撮影されたものであってもよい。ステレオカメラの場合、2つの単眼カメラでそれぞれ撮影された2つの画像として扱えばよい。
(2) 評価部22では、式(1)~(6)で説明したように、0以上1以下の存在確率として、ボクセルを評価したが、ボクセルがノイズ影響を受けている度合いが強いと想定されるほど値が小さくなるような、その他の任意のスコア値を用いて同様に評価するようにしてもよい。
(3) 図4は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。モデル生成装置10は、このような構成を有する1台以上のコンピュータ装置70として実現可能である。なお、2台以上のコンピュータ装置70でモデル生成装置10を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU(中央演算装置)71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU(グラフィックス演算装置)72、CPU71(及びGPU72)にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ78と、これらの間でデータを授受するためのバスBSと、を備える。
モデル生成装置10の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び/又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置(プロセッサ)の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。モデル生成装置10による処理結果等はディスプレイ76で表示して出力してよい。構築部1に入力される複数の画像の全部又は一部をカメラ78で撮影するようにしてもよい。
10…モデル生成装置、1…構築部、2…選別部、21…初期設定部、22…評価部、23…後処理部

Claims (7)

  1. 複数の画像より、当該画像に撮影されている対象の点群を構築し、且つ、当該点群に属する各点が抽出された画像を撮影したカメラの情報を、各点とカメラとの対応情報として取得する構築部と、
    前記点群より初期ボクセルモデルを生成し、
    当該初期ボクセルモデルに属する各ボクセルのうち、前記複数の画像を撮影したカメラの位置と、当該カメラが前記対応情報によって対応する各点と、を結ぶ線分上を交差するボクセルに関して、前記撮影されている対象に該当する確率が低いものとして評価することにより、
    前記初期ボクセルモデルに属するボクセルから前記評価された確率が高いと判定されるものを選別することで、前記点群のボクセルモデルを生成する選別部と、を備えることを特徴とするモデル生成装置。
  2. 前記選別部ではさらに、
    前記初期ボクセルモデルに属する各ボクセルのうち、前記複数の画像を撮影した各カメラの位置に該当するボクセルに関して、前記撮影されている対象に該当する確率が低いものとして評価することにより、
    前記初期ボクセルモデルに属するボクセルから前記選別することで、前記点群のボクセルモデルを生成することを特徴とする請求項1に記載のモデル生成装置。
  3. 前記選別部ではさらに、
    前記初期ボクセルモデルに属する各ボクセルについて、当該ボクセル内に位置する前記点群の各点について、前記対応情報によって対応しているカメラの数が多いほど、前記撮影されている対象に該当する確率が高いものとして評価することにより、
    前記初期ボクセルモデルに属するボクセルから前記選別することで、前記点群のボクセルモデルを生成することを特徴とする請求項1または2に記載のモデル生成装置。
  4. 前記選別部では、前記初期ボクセルモデルに属するボクセルから前記選別した後にさらに、
    当該選別されたボクセルモデルから、前記初期ボクセルモデルを内包する外周に接続関係を有さないボクセルを削除することで、前記点群のボクセルモデルを生成することを特徴とする請求項1ないし3のいずれかに記載のモデル生成装置。
  5. 前記選別部では、前記線分上を交差するボクセルに関して、当該交差する線分の数が多いほど、前記撮影されている対象に該当する確率がより低いものとして評価することを特徴とする請求項1ないし4のいずれかに記載のモデル生成装置。
  6. 複数の画像より、当該画像に撮影されている対象の点群を構築し、且つ、当該点群に属する各点が抽出された画像を撮影したカメラの情報を、各点とカメラとの対応情報として取得する構築段階と、
    前記点群より初期ボクセルモデルを生成し、
    当該初期ボクセルモデルに属する各ボクセルのうち、前記複数の画像を撮影したカメラの位置と、当該カメラが前記対応情報によって対応する各点と、を結ぶ線分上を交差するボクセルに関して、前記撮影されている対象に該当する確率が低いものとして評価することにより、
    前記初期ボクセルモデルに属するボクセルから前記評価された確率が高いと判定されるものを選別することで、前記点群のボクセルモデルを生成する選別段階と、を備えることを特徴とするモデル生成方法。
  7. コンピュータを請求項1ないし5のいずれかに記載のモデル生成装置として機能させることを特徴とするプログラム。
JP2020104079A 2020-06-16 2020-06-16 モデル生成装置、方法及びプログラム Active JP7343446B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020104079A JP7343446B2 (ja) 2020-06-16 2020-06-16 モデル生成装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020104079A JP7343446B2 (ja) 2020-06-16 2020-06-16 モデル生成装置、方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2021196977A JP2021196977A (ja) 2021-12-27
JP2021196977A5 JP2021196977A5 (ja) 2022-06-16
JP7343446B2 true JP7343446B2 (ja) 2023-09-12

Family

ID=79195836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020104079A Active JP7343446B2 (ja) 2020-06-16 2020-06-16 モデル生成装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7343446B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024116415A1 (ja) * 2022-12-02 2024-06-06 日本電信電話株式会社 推定装置、推定方法、及び推定プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180097A1 (ja) 2017-03-29 2018-10-04 パイオニア株式会社 サーバ装置、端末装置、通信システム、情報受信方法、情報送信方法、情報受信用プログラム、情報送信用プログラム、記録媒体、及びデータ構造
JP2019046147A (ja) 2017-09-01 2019-03-22 株式会社デンソー 走行環境認識装置、走行環境認識方法、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180097A1 (ja) 2017-03-29 2018-10-04 パイオニア株式会社 サーバ装置、端末装置、通信システム、情報受信方法、情報送信方法、情報受信用プログラム、情報送信用プログラム、記録媒体、及びデータ構造
JP2019046147A (ja) 2017-09-01 2019-03-22 株式会社デンソー 走行環境認識装置、走行環境認識方法、プログラム

Also Published As

Publication number Publication date
JP2021196977A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
CN109064549B (zh) 标志点检测模型生成方法及标志点检测方法
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
JP7063837B2 (ja) 領域抽出装置及びプログラム
JP6863596B2 (ja) データ処理装置及びデータ処理方法
CN110084894B (zh) 三维模型的局部放大展示方法、装置与电子设备
JP7038683B2 (ja) 合成装置、方法及びプログラム
US20210264188A1 (en) Image prediction system
KR101552827B1 (ko) 3차원 객체 모델의 분할 방법
JP6902881B2 (ja) 情報処理装置及び三次元モデルの生成方法
US10937236B1 (en) Mesh smoothing for visual quality and analysis improvement
JP7343446B2 (ja) モデル生成装置、方法及びプログラム
EP3444735A1 (en) Method and module for transforming a shape of an object
JP4714444B2 (ja) 四面体メッシュ生成方法およびプログラム
Liu et al. Creating simplified 3D models with high quality textures
CN112002007B (zh) 基于空地影像的模型获取方法及装置、设备、存储介质
Haala et al. Cell decomposition for the generation of building models at multiple scales
CN108876704B (zh) 人脸图像变形的方法、装置及计算机存储介质
JP2023527438A (ja) リアルタイム深度マップを用いたジオメトリ認識拡張現実効果
CN115375847B (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
CN115222895B (zh) 图像生成方法、装置、设备以及存储介质
JP6156922B2 (ja) 三次元データ生成装置、三次元データ生成方法、及びプログラム
JP2972175B2 (ja) 3次元描画処理におけるモデル詳細度切替距離の決定方法
JP7429666B2 (ja) 点群ノイズ除去装置及びプログラム
Chou et al. Fast octree construction endowed with an error bound controlled subdivision scheme
CN116206035B (zh) 人脸重建方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230831

R150 Certificate of patent or registration of utility model

Ref document number: 7343446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150