JP7429666B2 - 点群ノイズ除去装置及びプログラム - Google Patents

点群ノイズ除去装置及びプログラム Download PDF

Info

Publication number
JP7429666B2
JP7429666B2 JP2021040780A JP2021040780A JP7429666B2 JP 7429666 B2 JP7429666 B2 JP 7429666B2 JP 2021040780 A JP2021040780 A JP 2021040780A JP 2021040780 A JP2021040780 A JP 2021040780A JP 7429666 B2 JP7429666 B2 JP 7429666B2
Authority
JP
Japan
Prior art keywords
point
camera
point cloud
consistency
noise removal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021040780A
Other languages
English (en)
Other versions
JP2022140119A (ja
Inventor
敬介 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2021040780A priority Critical patent/JP7429666B2/ja
Publication of JP2022140119A publication Critical patent/JP2022140119A/ja
Application granted granted Critical
Publication of JP7429666B2 publication Critical patent/JP7429666B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、点群のノイズを除去する点群ノイズ除去装置及びプログラムに関する。
従来、RGB-Dカメラやステレオカメラ、Lidarなどの撮影装置によって被写体オブジェクトの形状を3次元(3D)空間上の点集合(点群)として獲得する技術が提案されている。これら点群の獲得においては、形状獲得における深度推定誤差やセンサーの加法性ノイズなどにより、点の3D座標にノイズが含まれることが一般的である。近年では、点同士の局所的な幾何関係に基づきそれら点をノードとしたグラフを構築することで、ノイズを除去し高い品質の点群を得る技術も提案されている(非特許文献1)。ここで、これら技術は上記の通り、撮像系のセンサーノイズ等によって点群に均一に付与されるノイズ(例:ガウシアンノイズ)を除去することを目的としており、各点に同等のノイズ除去処理を適用する技術となっている。
特開2016-071645号公報(オブジェクト3次元モデル復元方法、装置およびプログラム)
C. Dinesh, G. Cheung and I. V. Bajic, "Point Cloud Denoising via Feature Graph Laplacian Regularization," in IEEE Transactions on Image Processing, vol. 29, pp. 4143-4158, 2020 S. Shekkizhar and A. Ortega, "Graph Construction from Data by Non-Negative Kernel Regression," 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2020, pp. 3892-3896. D.I.Shuman, S.K.Narang, P. Frossard, A.Ortega, and P. Vandergheynst, "The emerging field of signal processing on graphs: Extending high-dimensional data analysis to networks and other irregular domains," IEEE Signal Process. Mag., vol. 30, no. 3, pp. 83‐98, May 2013.
一方、特許文献1などで提案されている自由視点映像などの技術では、複数の撮影装置の情報を統合することで、対象3D空間上の被写体オブジェクトの形状を点群やポリゴンモデルとして得ている。このとき、複数撮影装置の配置や台数、装置ごとの映像処理に起因する推定誤差がオブジェクト形状に反映される。前述のセンサー起因のノイズなどとは異なり、このとき含まれる誤差は点群(オブジェクト形状)の局所的な3D座標の誤りとなる。
自由視点映像などの従来技術の映像品質においては、この局所的なオブジェクト形状の誤りが支配的であり、最終的に得られる合成映像の品質向上のためには、これら誤りを修正する技術が必要となる。しかしながら、前述のとおり非特許文献1等のノイズ除去では、各々の点に付与されたノイズを等価に扱うため、この局所的な誤りを修正することはできない。
上記従来技術の課題に鑑み、本発明は、局所的な3D座標の誤りに対処して点群のノイズ除去を行うことのできる点群ノイズ除去装置及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明は、点群ノイズ除去装置であって、複数のカメラ画像から算出されている入力点群に対して、当該入力点群の各点をノードとし、近傍の点との間にエッジを設けることでグラフ化点群を得るグラフ構築部と、前記グラフ化点群の各エッジについて、前記複数のカメラ画像における見え方の一貫性が大きいほど値が小さい一貫性重みを付与する一貫性算出部と、前記グラフ化点群の各点の位置に少なくとも基づくコスト関数であって、各エッジに対応する各点について、当該エッジに付与された一貫性重みが課されるコスト関数を最小化するように各点の座標を更新することにより、前記複数のカメラ画像における局所的な見え方の一貫性を増大させたものとして前記入力点群からノイズ除去した出力点群を得る点群座標更新部と、を備えることを特徴とする。また、コンピュータを前記点群ノイズ除去装置として機能させるプログラムであることを特徴とする。
本発明によれば、局所的な3D座標の誤りに対処して点群のノイズ除去を行うことができる。
一実施形態に係る点群ノイズ除去装置の機能ブロック図である。 ノードとエッジ(及びエッジの重み)で構成されるグラフの模式例を示す図である。 カメラインデックスの模式例を示す図である。 点群に対応する複数の映像のカメラを模式的に示す図である。 点群ノイズ除去装置を利用する構成の一例を機能ブロック図として示す図である。 画素値一貫性の値gi,j(第1実施形態)の模式例を示す図である。 画素値一貫性の値gi,j(第2実施形態)の模式例を示す図である。 点群座標更新部による点群pの座標更新の態様を模式的に示す図である。 一般的なコンピュータにおけるハードウェア構成を示す図である。
図1は、一実施形態に係る点群ノイズ除去装置の機能ブロック図である。点群ノイズ除去装置10は、グラフ構築部11、カメラ対応点算出部12、インデックス一貫性算出部131及び画素値一貫性算出部132を含む一貫性算出部13、グラフ重み更新部14及び点群座標更新部15を備える。
点群ノイズ除去装置10の全体的な動作として、入力される点群(並びにこの点群に対応するカメラ映像及びカメラパラメータ)をグラフ構築部11(並びに一貫性算出部13及びカメラ対応点算出部12)において読み込み、この点群の座標を更新することで局所的なノイズを除去した点群を点群座標更新部15から出力する。(この点群ノイズ除去装置10の全体的な動作は、後述する図5のような構成の枠組み内において実施することも可能である。)このための点群ノイズ除去装置10の各部の処理内容の概要は以下の通りである。
グラフ構築部11は、点群を入力とし、それら点の局所的な関係性に基づきグラフを構築したグラフ化点群をカメラ対応点算出部12及びグラフ重み更新部14へと出力する。カメラ対応点算出部12は、カメラパラメータの情報を利用することにより、グラフ化点群を構成する各点について、各カメラ映像との対応関係を算出して紐づけた結果を一貫性算出部13へと出力する。
一貫性算出部13では、グラフ化点群を構成する各エッジについて、点群の点の局所的な一貫性を評価した指標を算出し、この各エッジの指標をグラフ重み更新部14へと出力する。この各エッジの指標についての具体例として、1種類の指標を算出するのがインデックス一貫性算出部131であり、別の1種類の指標を算出するのが画素値一貫性算出部132である。インデックス一貫性算出部131では、カメラ対応点算出部12から得た、点群の各点におけるカメラ映像との対応情報から、各点の近接点との対応カメラのインデックスの差異を評価することで指標を算出する。画素値一貫性算出部132では、点群にマッピングされたカメラ映像の差異を評価することで指標を算出する。
グラフ重み更新部14は、一貫性算出部13で得た各エッジの指標に基づき、グラフ化点群の各エッジの重みを更新して、当該重み更新されたグラフ化点群を点群座標更新部15へと出力する。点群座標更新部15では、当該更新されたグラフ重みに基づき点群座標を更新し、点群ノイズ除去装置10からの出力としての座標更新された点群を得る。
以下、これら各部の処理内容の詳細についてさらに説明する。
<<グラフ構築部11>>
グラフ構築部11では、複数の撮影装置から得られた点群を入力とし、そのグラフを生成する。ここで、グラフとは図2に模式例を示すように、ノード集合V∋piとエッジ集合E∋ei,jからなる集合をさす。点群を構成する各点をノードpiとし、ノード(点)piとノードpj間をつなぐエッジをei,jとすることで、グラフ化した点群を得ることができる。
ここで、入力される点群は3D空間上の座標をもつ点の集合として与えられ、上記のようにグラフの各ノードに対応させる。加えて、各点をグラフとするためには、上記のようにノード間の接続関係をエッジとして設定する必要がある。この操作については非特許文献1に則り、3D空間上のユークリッド距離から算出される距離指標に基づき、距離が近い上位側のK番目(Kは1以上の整数として予め与えておく)までの近傍点を接続する方法をとる(K近傍法)ようにしてよい。この際に用いられる距離指標などがそれぞれのノード間のエッジ重みとなり、出力するグラフ化点群にはこのエッジ重みの情報も紐づけておく。一例として、非特許文献1では3次元空間上の点pi(=[xi,yi,zi])と点pj間のエッジ重みwi,jは次の式(1)のとおりに算出される。
Figure 0007429666000001
ここで、σはユーザ設定や点座標の分散などから与えられるパラメータ変数である。以後、特に断りなくpiとした際には、簡単のために3次元ワールド座標系の点および座標を示すものとして記述するが、他の空間(座標系)を用いてもよい。加えて、点群を構成する点の全部(すなわち、集合としての点群)をp=[p1,p2,…,pN]T(Nは点群の点数)とする。また、この重みwi,jについては、点群の構造に基づくものであれば特に制限はなく、式(1)のように距離が小さいほど大きな値となる任意の重みを用いてよい。グラフの構築手法についても非特許文献2などに代表されるK近傍法以外の技術の利用も可能である。
<<カメラ対応点算出部12>>
カメラ対応点算出部12では、後段の処理に必要となる情報として、グラフ化点群の各点とカメラ映像との対応関係を算出し、各点にこの対応関係(カメラ対応点の情報)を紐づけて一貫性算出部13へと出力する。
例えば、特許文献1に記載の自由視点映像などの「複数のカメラを利用しオブジェクト形状を獲得する方法」においては、事前にカメラと3D空間の幾何的な対応関係(カメラパラメータ)が算出されているので、本実施形態のカメラ対応点算出部12でも同様に、このカメラパラメータの情報を既知のものとして利用するようにしてもよいし、任意の既存手法(例えば画像内から環境内に配置してある正方マーカを検出する手法)により、カメラ映像を解析してこのカメラパラメータを動的に算出するようにしてもよい。この対応関係を基に点群pの各点piがカメラ映像に映っているか否かを判定し、カメラインデックスfi=[C1,C2,…,CM]∈{0,1}M(Mは総カメラ台数であって2以上)として保存する。例えば、図3に模式例を示すように、点piがカメラaの画角に映っている場合に、a番目のフラグCaを1(2値のうち映っていることを表す値)とし、そうでない場合に0(2値のうち映っていないことを表す値)とする、といった形で2値の値(参照カメラフラグ)を割り振ることができる。すなわち、カメラインデックスfiは、各カメラaの参照カメラフラグの値Caを列挙したベクトルとして得ることができる。
なお、カメラパラメータを用いて単純に各点piを各カメラa(a=1,2,…,M)の映像(すなわち、カメラaの画像平面)に逆投影した場合には、「実際には他の点やオブジェクトによって遮蔽され映像には映らない点」もカメラの画角に含まれてしまう。これについては既知のオクルージョン判定技術をもちいることで被遮蔽点を判別し、当該被遮蔽点の対応カメラの参照カメラフラグの値を0(映っていない)とするようにして、単純に画角範囲内にあるか否かのみでなく、オクルージョンも考慮したものとして、カメラインデックスfiを得るようにしてもよい。オクルージョン判定のためには、点群pを3次元モデルとして得た際のモデル情報(例えば、点群pの各点がポリゴンの頂点となるようなポリゴンモデルとして得られている場合の、モデル表面に対応するポリゴン情報)を既知のものとして利用するようにしてもよい。
さらに、追加の処理として、各点piのカメラインデックスに関して、値が1(映っている)であるカメラaについては、対応するカメラ座標oa i=(xa i,ya i)を算出し、それぞれ対応する値を並べた配列vi=[o1 i,o2 i,…,oM i]として保存する。(この際、フラグが0に対応するカメラの値については無効値(対応するカメラ座標は存在せず、映っていないことを表す値)を保存するようにしてもよい。)
なお、カメラ対応点算出部12でカメラパラメータの情報を利用するM台のカメラについては、グラフ構築部11へ入力される点群pに対応するものとして、その情報が予め既知であるものとする。図4は、このM台のカメラC-1,C-2,C-3,…,C-Mを模式的に示すものであり、これらこのM台のカメラC-1,C-2,C-3,…,C-Mのそれぞれは、3D空間内の対象物OBの全体または一部を撮影するように配置されることで各カメラ映像を得ており、点群pは、このような対象物OBを構成するものとして得られたものを、グラフ構築部11への入力として利用する。また、このM台のカメラC-1,C-2,C-3,…,C-Mが共通時刻tにおいて得ている各カメラ映像(点群pに対応するカメラ映像)は、後述する画素値一貫性算出部132における入力としても利用される。
従って、本実施形態の点群ノイズ除去装置10は、図5に示すように、既存の点群生成装置20の後段側に配置して利用することも可能である。点群生成装置20は、図4で示したような複数のカメラ映像(及びこの複数のカメラパラメータ)を入力として読み込み、撮影されている対象物OBをモデル化した点群p(ノイズが含まれている)を点群ノイズ除去装置10へと出力する。点群ノイズ除去装置10では、この点群pと、点群生成装置20にも入力された複数のカメラ映像及び対応するカメラパラメータと、を入力として読み込み、座標更新によってノイズ除去された点群を出力することができる。点群生成装置20としては、例えば視体積交差法により複数のカメラに撮影されている対象物OBの3Dモデルとして点群pを出力するような、任意の既存のものを用いてよい。
なお、3次元コンピュータグラフィックス等の分野において既知のように、カメラパラメータのうち外部パラメータにより図4に示されるような3次元空間内でのカメラ配置(カメラの位置及び撮影方向としての姿勢)が定まり、内部パラメータにより撮影の際の各カメラの画像平面へのマッピングの関係(画角の範囲の情報も含まれる)が定まる。
<<インデックス一貫性算出部131>>
カメラ対応点算出部12において算出された点群pの各点piのカメラインデックスfiを用いて、各点piの近傍点とのカメラインデックスの差異を算出する。ここで、近傍点とはグラフ構築部11において生成されたグラフ構造において、エッジによって当該点piに接続されている点を用いてよい。
理想的に滑らかな点群によってオブジェクト形状が表現されている場合、ある点piとその近傍点pjの参照カメラフラグ集合としてのカメラインデックスはおおよそ似ていることが想定される。反面、周囲とは全く異なるカメラを参照している点(すなわち、カメラインデックスがほとんど似ていない点)については点群構成時による誤りである可能性が高い。その近傍点との参照カメラの差異を、点piの近傍点pjにおけるカメラインデックスの差分di,jを用いて以下の式(2)のように表現する。
Figure 0007429666000002
ここでHam(,)は二つのベクトル(式(2)では関数への引数としてのfi及びfj)のハミング距離を返す関数であり、二つのカメラインデックスfi,fjの一致度合いに応じてM以下0以上の値がハミング距離(それぞれがM要素からなるカメラインデックスfi,fj間において不一致のインデックスの個数)として返される。(すなわち、完全一致の場合に最小距離の0が返され、完全不一致の場合に最大距離のMが返される。)当該ハミング距離Ham(,)をMで規格化したものとして差分di,jは、完全一致の場合に最小値0となり、完全不一致の場合に最大値1となる。なお、ハミング距離は一例であり、二つのカメラインデックスfi,fjの一致度合いが大きいほど値が小さくなるような他の距離関数も利用可能である。
インデックス一貫性算出部131では以上のようにして、グラフ化された点群pの各エッジei,jについてのカメラインデックスの差異di,jを、点群の局所的な見え方(点群に対応するカメラ映像を取得した複数のカメラからの見え方を、各カメラで見えているか否かの状態で評価したもの)の不一致度合いが大きいほど当該局所的な領域がノイズ影響をより大きく受けていることを表す指標の1種としてグラフ重み更新部14へと出力する。
<<画素値一貫性算出部132>>
画素値一貫性算出部132は、カメラ対応点算出部12において前記算出された点群pの各点piに対応するカメラ映像内の座標情報vi=[o1 i,o2 i,…,oM i]に基づき、カメラ間の画素値の一貫性(誤差)を算出する。ここで、密な点群が「理想的に正しい3D座標」に配置され、かつカメラのホワイトバランス等の設定が適切にされておりカメラ間の色味が調整されている場合、(また、異なるカメラ映像における同一箇所の光沢の有無などのような形で光源方向の影響が大きく現れる状況にはない場合、)すべてのカメラ映像からひとつの点にマッピングされる画素値はおおむね近い値になることが想定される(当該点を映していないカメラ映像は除く)。
なお、上記が適切に設定されていない場合においては、処理の前段階として、画像内の特徴的なオブジェクトやカラーチャートを用いて、すべてのカメラ間の色味を合わせるように色調補正を行ってもよい。(すなわち、図1や図5の構成における入力としての複数のカメラ映像について、このような色調補正を適用するようにしてもよい。)
上記想定に基づき、前記viの有効値に対応するすべてのカメラ映像の画素を点piにマッピングした際のばらつきから、点群の3D座標の誤り度を示す指標giを次の式(3)の通り算出する。(なお、各点piの3D座標値自体は前述の通りpi=[xi,yi,zi]として一意に与えられているが、本来の値に対して誤差を含んでいる可能性がある。この指標giは、同じ点は同じ画素値として映像上に見えているはずであるという前述の前提により、対応する画素値を介して本来の理想的な3D座標値に対する誤り度を推定したものとなっている。)
Figure 0007429666000003
ここで、s()は入力点piにマッピングされた画素値の標準偏差を出力する関数である。分母の255は画素値が8ビットの範囲で与えられる前提での規格化項であり、画素値が取りうる範囲が異なる場合は別の値の規格化項を用いてもよい。なお、標準偏差算出の際、代表値として平均値ではなく中央値などを用いてもよい。また、piの座標が誤っていた場合でも、まれに類似の画素値がマッピングされgiが小さな値となる場合が想定される。しかしながら、ここで得られた指標giは後段側の点群座標更新部15における座標更新のエッジごとの重みを調整するものであり、この点群座標更新部15では別途グラフ全体の構造を考慮しているため、大多数の点pj(点piのように偶然によりgiが小さくなってしまう現象は発生していない、その他の大多数の点pj)の指標gjの影響により全体としては大きく破綻のない更新となることが期待される。
すべての点piに対して指標giが算出されたのちに、エッジei,jで接続された2点pi,pjの指標giおよびgjの平均値gi,j=(gi+gj)/2を対応するエッジei,jの画素値一貫性の値gi,jとして、グラフ重み更新部14へと出力する。なお、カメラ映像のチャネルが複数ある場合は、チャネルごとにgi,jを算出した後に、それらの平均値などのスカラー値へと変換する。
図6は、以上のように算出する画素値一貫性の値gi,j(第1実施形態)の模式例を示す図である。図6の例では、点piについては3つのカメラ1,2,3の3つの画素値px(1),px(2),px(3)が対応しており、これら3画素値の標準偏差を用いて式(3)からgiを算出し、点pjについては3つのカメラ3,4,5の3つの画素値px(3),px(4),px(5)が対応しており、これら3画素値の標準偏差を用いて式(3)からgjを算出し、以上の平均として指標gi,j=(gi+gj)/2をエッジei,jの値として算出することができる。なお、上記は模式例としての一例であり、ひとつの点のgiの算出に利用されるカメラ台数を3台に限定するものではない。(点群と対応するカメラ映像との状況によってgiの算出に利用されるカメラ台数は様々に変わりうるものとなる。)
上記は点ごとの画素値の一貫性に着目したものであるが、画素値一貫性算出部132の第2実施形態として、3点で構成されるポリゴンにマッピングされるテクスチャの情報の一貫性を参照してもよい。図7は、画素値一貫性の値gi,j(第2実施形態)の模式例を示す図である。図7に示されるように、ある3点pi,pj,pkから構成されるポリゴンPとしたときに、このポリゴンPに対してカメラaからマッピングされたテクスチャ画像をta Pとする。同様にカメラbからマッピングされるテクスチャtb Pとしたときに、以下の式(4)の平均絶対誤差dtPを算出する。
Figure 0007429666000004
ここでta P、tb Pはマッピング後のテクスチャであり、和Σはラスタライズされた(画素間の値が補間された)画像の画素ごとの絶対値差分をとった後に和をとることを表す。(すなわち、テクスチャta P及びtb Pは同一の3点pi,pj,pkを頂点とするものであるが、カメラa,bの位置姿勢の違いによってマッピングした際の三角形としての形状や大きさが互いに異なる(偶然で一致する場合を除く)ため、その形状及び大きさをいずれか片方に一致させるようにもう一方を変形(3点pi,pj,pkをそれぞれ一致させるように変形)及びラスタライズしたうえで、和を取るようにすればよい。)Ntは上記ラスタライズされた画像に含まれる画素数である。
点piに対応するすべてのカメラの組(前述のカメラインデックスfi=[C1,C2,…,CM]や配列vi=[o1 i,o2 i,…,oM i]により点piが見える状態にあるすべてのカメラの組)に対して平均絶対誤差dt Pを算出し、その標準偏差S(dt P)を求める。また、ある1つのエッジei,jが属するもう一つのポリゴンP'についても同様にその標準偏差S(dt P')を算出し、当該1つのエッジの両端の2点pi,pjに対応する2つの標準偏差S(dt P)とS(dt P')の平均をとることで、第2実施形態の画素値一貫性算出部132からの最終的な出力gi,jとする。
なお、ある1つのエッジei,jについて、その両端の2点pi,pjとの間でグラフにおけるエッジei,m、ej,mが設定されている別の点pmが3個以上存在する場合は、距離が小さい側の上位2点(グラフ構築部11で計算したエッジ重み(wi,m+wj,m)が大きい側の上位2点)で、以上の2つのポリゴンP,P'を構成すればよい。あるいは、3個以上のL個の別の点pmが2点pi,pjとの間でエッジei,m、ej,mを設定されている場合、これらL個の点を全て利用してL個のポリゴンにおける標準偏差を全て求めそれらの平均として指標gi,jを得るようにしてもよい。あるいは、エッジ重み(wi,m+wj,m)の大きさが最上位の1個のみのポリゴンpi,pj,pmにおける標準偏差を指標gi,jとして得るようにしてもよい。
なお、画素値一貫性算出部132による指標gi,jについて、第1実施形態の値をg1i,jとし、第2実施形態の値をg2i,jとして、これら両方を算出してその平均(g1i,j+g2i,j)/2あるいは重みづけ和として最終的な指標gi,jを出力するようにしてもよい。
なお、画素値一貫性算出部132による以上の処理について、RGB色チャネル等の通常の画像で構成されるカメラ映像を用いる場合を想定して「画素値」と表現したが、深度センサー(深度カメラ)の画像(デプス画像)を用いた場合においては、「各センサーの取得した深度値から算出される3次元座標」を用いてもよい。すなわち、RGB等の通常の画像における画素値が、デプス画像の場合は深度値であるものとしてデプス画像の画素値を定義することで、デプス画像についても同様に処理を行うことができる。(なお、インデックス一貫性算出部131(及びカメラ対応点算出部12)についても通常の画像の手法と同様にしてデプス画像を用いるようにすることができる。)
画素値一貫性算出部132では以上のようにして、グラフ化された点群pの各エッジei,jについての画素値一貫性の値gi,jを、点群の局所的な見え方(点群に対応するカメラ映像を取得した複数のカメラからの見え方を、点群の各点の映像における画素値のカメラ間での一致度合いによって評価したもの)の不一致度合いが大きいほど当該局所的な領域がノイズ影響をより大きく受けていることを表す指標の1種としてグラフ重み更新部14へと出力する。
<<グラフ重み更新部14>>
グラフ重み更新部14は、インデックス一貫性算出部131及び画素値一貫性算出部132にて算出された指標di,j及びgi,jを用いて、点群のグラフの重みwi,jを以下の式(5a)の通りw'i,jへと更新する。このとき、グラフ構造は変化しない。(すなわち、重みの値がwi,jからw'i,jへと更新されるのみであり、グラフ化点群を構成する各点pi及びその3D座標値pi=[xi,yi,zi]や各エッジei,jの変化(追加や削除など)はない。)
Figure 0007429666000005
なお、上記更新においてはdi,jまたはgi,jのいずれかのみを用いてもよい。(一方のみを用いることは、上記式(5a)にて用いない側の一方(di,jまたはgi,j)を1とすることと等価である。)また、式(5a)に代えて次の式(5b)のように各一貫性(及び更新前の重み)との線形和をとる形をとってもよい。
Figure 0007429666000006
ここで、α、β、γは各一貫性またはグラフの重みwi,j の強度を決定するユーザ設定のパラメータである。上記更新式(5a),(5b)は、点群を複数カメラから参照する一貫性が強いほど更新後の重みw'i,jを小さくするように作用し、次の点群座標更新部16の最適化によるノイズ除去の強度を変更する(一貫性の低い点に集中的にノイズ除去の効果を適用する)ことにつながる。
<<点群座標更新部15>>
点群座標更新部15は、グラフ重み更新部14でエッジの重みが更新されたグラフを用いて、点群の座標を更新する。この更新には非特許文献1にて提案された方法(この方法をそのままではなく、本実施形態で更新された重みw'i,jを利用する)を用いて、下記の手順(1)~(3)のように実施してよい。
手順(1) 以下の式(6)で要素ai,j(i行j列の要素)が与えられる近接行列Aを算出し、以下の式(7)で要素dj,j(j行j列の対角要素)が与えられる対角行列Dを算出する。(なお、対角行列Dにおいてi≠jの非対角要素di,j=0であり、前述の通り点群pに属する点の個数をNとして対角行列DのサイズはN×Nとなる。)。
Figure 0007429666000007
手順(2) 上記の対角行列Dと近接行列Aの差分としてグラフラプラシアンL=D-Aを算出する。
手順(3) 以下の式(8)で与えられるコスト関数cost(p)の最適化(最小化)を実施する。最適化には任意の既存の数値計算手法を用いてよい。
Figure 0007429666000008

式(8)の変形後の2行のうち1行目(以下同様)のn(p)TLn(p)は非特許文献1に記載の「グラフラプラシアンLと各点の法線ベクトルの集合n(p)からなるグラフの滑らかさ(点群の形状の滑らかさ)」につながる正則化項(エッジの両端の2点の法線ni,njの向きを揃えるように作用する正則化項)であり、上記式(8)の2行目の通り、本実施形態では各点piの法線ベクトルni(入力点群pに付随する3Dモデル情報においてこの法線niの情報を、点群p内の各点piの配置関係から算出可能なものとして予め紐づけておけばよい)と更新重みw'i,jからなる。3Dモデルに紐づいていなければ、例えば点piの属するポリゴン(1つあるいは複数)から法線niを導出する等による、任意定義の法線を用いてもよい。この正則化については、非特許文献3などに記載の「法線ベクトルを用いずに、点pの座標などに従属する他の正則化」を行ってもよい。例えば式(8)に代えて後述の式(9)で法線ベクトルを利用せずに最適化してもよい。また式(8)の2行目の第1項にあるq=[q1,q2,…,qN]Tは点群の最適化前の座標を示し、γはノイズ除去の強度を調整するユーザ設定のパラメータである。(式(9)でも同様である。なお、式(5b)のγと式(8),(9)のγとは別のものとして扱われるものである。)この最適化の結果として滑らかな(ノイズの少ない)点群pを得る。
また、式(8)の2行目の第1項||p-q||l lは、l-距離(ベクトルの各要素のl乗和のl乗根)をl乗したものであり、座標更新自体のコスト項として作用する。(式(9)でも同様である。)同様に2行目の第2項||ni(p)-nj(p)||u uは、法線要素同士の差分のu-距離をu乗したものとなり、更新重みw'i,jの存在によって、この重みが大きいようなエッジに対応する2点pi,pjの法線方向を近づけるようなコスト項として、2点pi,pjの座標を更新させる方向へと作用する。l距離やu距離はそれぞれ、l=1,2やu=1,2等を用いてもよいし、その他の設定を用いてもよい。
Figure 0007429666000009
なお、式(8)の最適化は明に解くのが困難であるため、数値計算等により近似的な解として求めるようにすればよい。式(9)の場合は最小2乗法等により明に最適解を求めてもよい。
図8は、点群座標更新部15による点群pの座標更新の態様を模式的に示す図である。図8の上段側に示すように更新前の点群pのうち一部として4つの点p1,p2,p3,p4があり、更新対象の点として点p1を考え、3点p2,p3,p4との間にエッジが設定され、前者2点p2,p3との間のエッジの更新重みw'1,2及びw'1,3は相対的に大きく、後者1点p4との間のエッジの更新重みw'1,4は相対的に小さいものとする。この場合、式(8)のコスト関数cost(p)を最小化するように、重みの大きな2点p2,p3の法線と当該1点p1の法線とを近づけるように座標更新が働くことで、1点p1は図8下段側に示すように、重みの大きな2点p2,p3に近づくように座標更新される場合があることが想定される。(この結果、1点p1と2点p2,p3との複数カメラ映像における見え方の一貫性が増大することで、ノイズ除去の効果が期待できる。)(なお、実際には1点p1だけでなく、3点p2,p3,p4やこれ以外の点群pの点も全て座標更新され、式(8)の場合であれば法線方向の正則化も作用するため、図8上段側のような状況で必ず図8下段側のように更新される、というわけではない。)
以上、点群ノイズ除去装置10の各実施形態によれば、複数の撮影装置から獲得される点群に関して、局所的な3D座標の誤りによるノイズを除去して、より高い精度の点群を得ることが可能になる。以下、種々の補足例、追加例、代替例などに関して説明する。
(1) 本発明の実施形態によれば、その応用例として、拡張現実表示により遠隔に存在する3次元オブジェクト(ノイズ除去された点群から得られる3Dモデルより仮想空間内に高精度に描画する3次元オブジェクト)を、臨場感を持って体感する等が可能となる。これにより、実際の遠隔地に向かうことを必須とせず、ユーザ移動に必要となるエネルギー資源を節約することで二酸化炭素排出量を抑制できることから、国連が主導する持続可能な開発目標(SDGs)の目標13「気候変動とその影響に立ち向かうため、緊急対策を取る」に貢献することが可能となる。
(2) 図1中に線L1として示すように、点群座標更新部15で3D座標が更新された点群を、再度、グラフ構築部11へと入力し、点群ノイズ除去装置10全体において、所望の品質に至るまで点群ノイズ除去処理を繰り返すようにしてもよい。
(3) 図9は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。点群ノイズ除去装置10(及び図5の点群生成装置20、以下同様)は、このような構成を有する1台以上のコンピュータ装置70として実現可能である。なお、2台以上のコンピュータ装置70で点群ノイズ除去装置10を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU(中央演算装置)71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU(グラフィックス演算装置)72、CPU71(及びGPU72)にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ78と、これらの間でデータを授受するためのバスBSと、を備える。
点群ノイズ除去装置10の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び/又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置(プロセッサ)の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。点群ノイズ除去装置10による処理結果等はディスプレイ76で表示して出力してよい。点群ノイズ除去装置10への入力として用いる映像の全部又は一部をカメラ78で撮影して得るようにしてもよい。
10…点群ノイズ除去装置、11…グラフ構築部、12…カメラ対応点算出部、13…一貫性算出部、14…グラフ重み更新部、15…点群座標更新部、131…インデックス一貫性算出部、132…画素値一貫性算出部

Claims (13)

  1. 複数のカメラ画像から算出されている入力点群に対して、当該入力点群の各点をノードとし、近傍の点との間にエッジを設けることでグラフ化点群を得るグラフ構築部と、
    前記グラフ化点群の各エッジについて、前記複数のカメラ画像における見え方の一貫性が大きいほど値が小さい一貫性重みを付与する一貫性算出部と、
    前記グラフ化点群の各点の位置に少なくとも基づくコスト関数であって、各エッジに対応する各点について、当該エッジに付与された一貫性重みが課されるコスト関数を最小化するように各点の座標を更新することにより、前記複数のカメラ画像における局所的な見え方の一貫性を増大させたものとして前記入力点群からノイズ除去した出力点群を得る点群座標更新部と、を備えることを特徴とする点群ノイズ除去装置。
  2. 前記一貫性算出部では、前記グラフ化点群の各エッジの両端点において、前記複数のカメラ画像のそれぞれにおいて映っている状態または映っていない状態のいずれに該当するかを表すカメラインデックスを算出し、当該両端点におけるカメラインデックス同士が類似しているほど値が小さいものとして、前記一貫性重みを付与することを特徴とする請求項1に記載の点群ノイズ除去装置。
  3. 前記一貫性算出部では、前記複数のカメラ画像に対応する各カメラの画角の範囲内にあるか否かによって、各点が映っている状態または映っていない状態のいずれに該当するかを判定することを特徴とする請求項2に記載の点群ノイズ除去装置。
  4. 前記一貫性算出部では、前記入力点群に対応する3次元モデルの情報を利用して、オクルージョンが発生している場合には映っていない状態に該当するものとして判定することを特徴とする請求項2または3に記載の点群ノイズ除去装置。
  5. 前記一貫性算出部では、前記複数のカメラ画像のそれぞれにおいて映っている状態または映っていない状態のいずれに該当するかを2値で列挙したベクトルとしてカメラインデックスを算出し、当該カメラインデックス同士のハミング距離をカメラ台数で正規化することで前記一貫性重みを付与することを特徴とする請求項2ないし4のいずれかに記載の点群ノイズ除去装置。
  6. 前記一貫性算出部では、前記グラフ化点群の各エッジの近傍領域が、前記複数のカメラ画像において画素値として撮影されている、当該画素値の異なるカメラ間での類似性が高いほど値が小さいものとして、前記一貫性重みを付与することを特徴とする請求項1ないし5のいずれかに記載の点群ノイズ除去装置。
  7. 前記一貫性算出部では、前記グラフ化点群の各エッジの近傍領域として各エッジの両端点を用いることを特徴とする請求項6に記載の点群ノイズ除去装置。
  8. 前記一貫性算出部では、各エッジの両端点につき、前記複数のカメラ画像の各々へとマッピングされる画素値のばらつきに基づいて、前記一貫性重みを付与することを特徴とする請求項7に記載の点群ノイズ除去装置。
  9. 前記一貫性算出部では、前記グラフ化点群の各エッジの近傍領域として各エッジを1つの辺として含む、前記グラフ化点群における少なくとも1つのポリゴンを用いることを特徴とする請求項6に記載の点群ノイズ除去装置。
  10. 前記一貫性算出部では、前記ポリゴンが前記複数のカメラ画像の各々へとマッピングされる画素値のばらつきに基づいて、前記一貫性重みを付与することを特徴とする請求項9に記載の点群ノイズ除去装置。
  11. 前記点群座標更新部で用いる前記コスト関数は、各エッジの両端点における法線の向きを揃えるように作用する正則化の項を有することを特徴とする請求項1ないし10のいずれかに記載の点群ノイズ除去装置。
  12. 前記複数のカメラ画像は、RGBチャネル等で構成される通常画像、または、深度カメラで取得されたデプス画像であることを特徴とする請求項1ないし11のいずれかに記載の点群ノイズ除去装置。
  13. コンピュータを請求項1ないし12のいずれかに記載の点群ノイズ除去装置として機能させることを特徴とするプログラム。
JP2021040780A 2021-03-12 2021-03-12 点群ノイズ除去装置及びプログラム Active JP7429666B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021040780A JP7429666B2 (ja) 2021-03-12 2021-03-12 点群ノイズ除去装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021040780A JP7429666B2 (ja) 2021-03-12 2021-03-12 点群ノイズ除去装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2022140119A JP2022140119A (ja) 2022-09-26
JP7429666B2 true JP7429666B2 (ja) 2024-02-08

Family

ID=83399884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021040780A Active JP7429666B2 (ja) 2021-03-12 2021-03-12 点群ノイズ除去装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7429666B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005251123A (ja) 2004-03-08 2005-09-15 National Institute Of Advanced Industrial & Technology 画像処理装置および画像処理方法
JP2008002848A (ja) 2006-06-20 2008-01-10 Tateyama Machine Kk 棒状回転工具の欠陥検査装置と欠陥検査方法
JP2014102243A (ja) 2012-10-24 2014-06-05 Nikon Corp 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及びそのプログラム
JP2020035216A (ja) 2018-08-30 2020-03-05 Kddi株式会社 画像処理装置、方法及びプログラム
US20200327646A1 (en) 2017-12-29 2020-10-15 Flir Systems, Inc. Point cloud denoising systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005251123A (ja) 2004-03-08 2005-09-15 National Institute Of Advanced Industrial & Technology 画像処理装置および画像処理方法
JP2008002848A (ja) 2006-06-20 2008-01-10 Tateyama Machine Kk 棒状回転工具の欠陥検査装置と欠陥検査方法
JP2014102243A (ja) 2012-10-24 2014-06-05 Nikon Corp 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及びそのプログラム
US20200327646A1 (en) 2017-12-29 2020-10-15 Flir Systems, Inc. Point cloud denoising systems and methods
JP2020035216A (ja) 2018-08-30 2020-03-05 Kddi株式会社 画像処理装置、方法及びプログラム

Also Published As

Publication number Publication date
JP2022140119A (ja) 2022-09-26

Similar Documents

Publication Publication Date Title
CN107945267B (zh) 一种用于人脸三维模型纹理融合的方法和设备
JP4999717B2 (ja) レンジ画像から物体の姿勢を求める方法及びシステム
US10347052B2 (en) Color-based geometric feature enhancement for 3D models
CN107452049B (zh) 一种三维头部建模方法及装置
US10169891B2 (en) Producing three-dimensional representation based on images of a person
CN109636890B (zh) 纹理融合方法和装置、电子设备、存储介质、产品
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN113111861A (zh) 人脸纹理特征提取、3d人脸重建方法及设备及存储介质
US10535188B2 (en) Tessellation edge shaders
JP2019536162A (ja) シーンのポイントクラウドを表現するシステム及び方法
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN113192179A (zh) 一种基于双目立体视觉的三维重建方法
US11450068B2 (en) Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter
CN108629742B (zh) 真正射影像阴影检测与补偿方法、装置及存储介质
CN114241119A (zh) 一种游戏模型生成方法、装置、系统及计算机存储介质
CN107958489B (zh) 一种曲面重建方法及装置
CN114782645A (zh) 虚拟数字人制作方法、相关设备及可读存储介质
CN113706431A (zh) 模型优化方法及相关装置、电子设备和存储介质
CN117115358A (zh) 数字人自动建模方法及装置
JP7429666B2 (ja) 点群ノイズ除去装置及びプログラム
US20120050304A1 (en) Image processing apparatus, method, and program
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法
WO2021197230A1 (zh) 三维头部模型的构建方法、装置、系统及存储介质
JP2023527438A (ja) リアルタイム深度マップを用いたジオメトリ認識拡張現実効果

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7429666

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150