JP7054336B2 - モデル化装置、方法及びプログラム - Google Patents

モデル化装置、方法及びプログラム Download PDF

Info

Publication number
JP7054336B2
JP7054336B2 JP2017233820A JP2017233820A JP7054336B2 JP 7054336 B2 JP7054336 B2 JP 7054336B2 JP 2017233820 A JP2017233820 A JP 2017233820A JP 2017233820 A JP2017233820 A JP 2017233820A JP 7054336 B2 JP7054336 B2 JP 7054336B2
Authority
JP
Japan
Prior art keywords
voxel
modeling
unit
data
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017233820A
Other languages
English (en)
Other versions
JP2019101885A (ja
Inventor
康平 松▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017233820A priority Critical patent/JP7054336B2/ja
Publication of JP2019101885A publication Critical patent/JP2019101885A/ja
Application granted granted Critical
Publication of JP7054336B2 publication Critical patent/JP7054336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)

Description

本発明は、詳細な情報を含みつつもデータ量を抑制した点群データのモデルを得ることが可能な、モデル化装置、方法及びプログラムに関する。
近年、様々な種類の距離センサ(例えば、LiDAR, Time-of-flight camera, structured light)の商用化に伴い、3D点群(point cloud)が注目を集めている。3D点群は、物体認識や領域のセグメンテーション、自己位置推定、変化検知等のコンピュータビジョンにおける様々な技術領域で利用される。
3D点群を用いた自己位置推定技術は、予め実世界の特定の範囲をセンサで計測して得られた点群(地図点群と呼ぶ。)と、ユーザがその場でセンサを用いて取得した点群(センサ点群と呼ぶ。)との位置合わせによって実現される。例えば、代表的な自己位置推定方法として、非特許文献1におけるIterative Closest Point (ICP)がある。
近年の距離センサは1秒間の間に数十万点以上の3D点を計測するということもあり、実世界の広範囲の計測を介して生成される地図点群のデータ量は膨大となる。そのため、要求されるストレージ量の削減および/または点群を用いた処理を効率化するために、点群のデータ量の削減が行われることがある。
その方法の一つに、点群のダウンサンプリングがある。この方法は、例えば所与の点群からランダムに指定個数の点を取得することにより、データ量を削減する。しかしながらこの方法は、単純にデータをスパースにするため、データ量を削減するほど、後段の処理の結果に対して悪影響を与える可能性が高くなる。
データ量削減のためのもう一つの方法として、点群のモデル化がある。この方法は、例えば多変量正規分布の様な確率密度モデルを用いて点群をモデル化し、元々のデータをモデルパラメータの集合として表現することによって、データ量を削減する。3D点群データのモデル化手法の多くは、ボクセルグリッドに依存している。非特許文献2におけるNormal Distribution Transform (NDT)は空間をボクセルで区切った後に、各ボクセル内に位置する点群を3次元多変量正規分布のパラメータ、すなわち平均と分散共分散行列で表現する。そして、モデル化された地図点群とセンサ点群を用いて自己位置推定を実現する。
特願2017-162463号
P. Besl and N. McKay, "A Method for Registration of 3-D Shapes," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, pp. 239-256, 1992. Magnusson, Martin, Achim Lilienthal, and Tom Duckett. "Scan registration for autonomous mining vehicles using 3D‐NDT." Journal of Field Robotics 24.10 (2007): 803-827.
しかしながら、以上のような従来手法の点群データ量の削減には次のような課題があった。まず、非特許文献2のようなモデル化手法には量子化誤りの問題があった。
すなわち、モデル化の際に連続的な幾何的形状を計測した3D点群をボクセルで区切ることは、データのボクセル量子化誤りに起因する問題をもたらす。データのボクセル量子化誤りを説明するために、模式図を図1に示す。図1において、楕円体はある点群PG1のデータ分布を模式的に表し、直線で形成された立方体V11,V12,V21,V22はボクセルを表している。ここで、図1の[1]及び[2]の間では、点群PG1の座標は変化せず、(すなわち[1]及び[2]では点群PG1データは同一のものが示されており、)ボクセルを形成する基準となる基準点の座標のみが基準点R10及び基準点R20のように変化している。すなわち図1は、同一の点群PG1データを[1]及び[2]において互いに異なるボクセルで量子化する場合の例を示しており、互いに共通の座標系CS1で同一の点群PG1データを与え、[1]ではその原点Oに一致する位置に基準点R10を設けてボクセル量子化し、[2]では当該原点Oから+x方向に一定距離だけずれた位置に基準点R20を設けてボクセル量子化している。
そして、図1の[1]にてボクセル量子化された点群PG1データは2つのボクセルV11,V12の境界にまたがって概ね2等分される形で割り当てられているのに対して、図1の[2]のボクセル量子化では同じ点群PG1データの全てが2つのボクセルV21,V22のうち左側のボクセルV21のみに割り当てられている。結果として図1の[1]及び[2]の間で、同一の点群PG1データをモデル化しているのにも関わらず、そのモデル化の結果(例えば平均,分散共分散行列)は大きく変化してしまい、得られるモデルのパラメータも類似しないものとなってしまう。
以上のようなボクセル量子化誤りを低減する単純な手法としては、細かい解像度のボクセルを使用することが考えられる。すなわち、センサで計測する物体のスケールと比べて、十分に小さいボクセルを使用すれば、ほとんどの点に対してボクセル量子化誤りを回避できるためである。しかしながら、ボクセルの解像度が細かい場合、解像度が粗い場合に比べて、データ量が大きくなる。更に、それに伴って後段側の処理(自己位置推定処理)の計算量およびメモリ使用量も大きくなることが多い。ここで特に、ダウンサンプリングされた点群およびモデル化された点群データであっても、広範囲の計測から得られる点群に対するデータ量は膨大となることを考慮すると、このように単純にボクセル解像度を細かくする手法は好ましくない。
さらに、一般的にデータのダウンサンプル率と後段処理(自己位置推定処理)の精度とはトレードオフの関係にあり、仮に当該トレードオフ関係による後段処理の精度低下を許容してデータにダウンサンプリングを適用した場合であっても、多数の3D点で構成される地図点群のデータ量は依然として大きい。ここで、3D点の数自体が多いこと以外にも、非特許文献2の手法のモデル化によるボクセルごとのパラメータ数が多いことからも、当該データ量は依然として大きいこととなる。
なお、このような課題に関して、特許文献1では、地図点群のデータ量を抑制しつつボクセル量子化誤りを軽減する自己位置推定手法を提供しているものの、ボクセル内のデータを表現するモデルの表現能力には一定の制約があった。具体的には、詳細な情報を表現するモデルを用いる場合は、データ量が増大せざるを得ないという制約があった。
以上のような従来技術の課題に鑑み、本発明は、詳細な情報を含みつつもデータ量を抑制した点群データのモデルを得ることが可能な、モデル化装置、方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明は、モデル化装置であって、点群データに所定のボクセル分割を適用してボクセル毎の点群データを得る分割部と、前記ボクセル毎の点群データを、ボクセルをさらに細分化するサブボクセル単位での点群データ分布を表現したものとしてモデル化することで、ボクセル毎のモデル化データを得るモデル化部と、を備えることを第1の特徴とする。また、前記モデル化部で得たボクセル毎のモデル化データを所定の複数の代表値のうちの最も近いものに割り当て、当該割り当てられた代表値に対応する識別子として量子化する量子化部をさらに備えることを第2の特徴とする。さらに、当該モデル化装置に対応する方法及びプログラムであることを特徴とする。
前記第1の特徴によれば、ボクセルをさらに細分化するサブボクセル単位での点群データ分布を表現したものとしてモデル化したボクセル毎のモデル化データとして、詳細な情報を含みつつもデータ量を抑制した点群データのモデルを得ることが可能となる。前記第2の特徴によれば、当該ボクセル毎のモデル化データを量子化することで、より一層、詳細な情報を含みつつもデータ量を抑制した点群データのモデルを得ることが可能となる。
データのボクセル量子化誤りを説明するための模式例を示す図である。 一実施形態に係るモデル化装置の機能ブロック図である。 サブボクセル粒度でのモデル化データの模式例を、その他のデータの模式例と共に示すものである。 代表ベクトルを可視化したボクセルの模式図を例示するものである。 追加的な実施形態における計算を模式例で説明するための図である。
図2は、一実施形態に係るモデル化装置の機能ブロック図である。図示する通り、モデル化装置10は、分割部1、モデル化部2、量子化部3、記憶部4及び逆量子化部5を備える。
なお、モデル化装置10のうち分割部1、モデル化部2及び量子化部3は、例えば地図点群データにおける自己位置推定処理等の点群データ同士の照合処理を行なう際の前処理として、地図点群データ(より一般に、具体的な地図等に必ずしもその内容が限定されないものとして、リファレンス点群データと呼ぶ。)及びセンサ点群データ(より一般に、具体的なセンサ取得データ等に必ずしもその内容が限定されないものとして、クエリ点群データと呼ぶ。)の両方の点群データのモデル化のために共通で利用可能な構成である。一実施形態では、各部1,2,3により当該モデル化されたリファレンス点群データと、各部1,2,3により当該モデル化されたクエリ点群データとの間で、自己位置推定等の照合処理(一致箇所を探索する処理)が可能である。一方、モデル化装置10のうち記憶部4及び逆量子化部5は、自己位置推定処理等においてリファレンス点群データを保持しておき、別途の装置等からの照合リクエストに応じて当該保持データを参照に供する際の用途を想定した構成であり、当該用途での利用時以外には省略可能な構成である。
図2に示される通り、モデル化装置10の各部の概略的な処理内容は次の通りである。分割部1は、モデル化対象となる点群データ(共通の空間座標において複数の点のそれぞれの位置座標が与えられている、3D点群データ)を読み込み、当該点群データを当該空間座標に予め定義しておく所定ボクセルで区切り、当該区切ったボクセル毎の点群データを得てモデル化部2へと出力する。モデル化部2は分割部1から得たボクセル毎の点群データをそれぞれモデル化して、ボクセル毎のモデル化データを量子化部3へと出力する。量子化部3は、モデル化部2から得たボクセル毎のモデル化データを量子化してボクセル毎の量子化モデル化データを得る。当該得られたボクセル毎のモデル化量子化データは、本発明における詳細な情報を含みつつもデータ量を抑制した点群データのモデルとして得られており、一実施形態ではこれをそのままモデル化装置10からの出力としてよい。
別の一実施形態では、量子化部3で得たボクセル毎の量子化モデル化データを記憶部4へと出力して記憶しておくことにより、別途の装置等からの照合リクエストに応じて当該記憶データの全部又は一部を参照に供するようにしてよい。当該全部又は一部の指定は、照合リクエストで具体的に指定される情報に従うものとして、例えば、一部の指定例として、指定位置座標の周辺所定範囲としての一部等を、参照に供すればよい。さらに別の一実施形態では、記憶部4で記憶しているボクセル毎の量子化モデル化データのうちの当該指定された全部または一部を、そのまま(量子化されたまま)参照に供するようにするのではなく、逆量子化部5において逆量子化(量子化部3の量子化の逆処理)をしたうえで参照に供するようにしてもよい。
なお、逆量子化部5を経由して逆量子化されたモデル化データを参照に供する実施形態においては、照合リクエストを出す側のクエリ点群データのモデル化構成は、分割部1及びモデル化部2のみを備えるものとして、量子化部3を省略することができる。当該実施形態では、記憶部4に記憶しておくリファレンス点群モデル化データを量子化することによって、照合のための精度を確保しながら且つ同時にデータ量の削減を達成すると共に、照合処理は量子化しない形式で高精度に実施し得るという効果がある。
以下、図2の各部の詳細、特に分割部1、モデル化部2及び量子化部3の詳細を順に説明する。
<分割部1について>
分割部1はまず、所定の基準点(例えば、入力された点群データの空間座標系に定義されている原点)を元に、空間を所定サイズ及び方向(例えば、入力された点群データの空間座標系のx,y,z軸方向)のボクセルで分割する。そして、分割部1は、入力された点群データをそれらが属するボクセル毎に分類する。すなわち、分割部1は入力された点群データを所定のボクセル毎に区分けしたものを得る。
この際に、ボクセル内に割り当てられた点が0個の場合は、モデルの計算を行うことができないため、そのようなボクセルに関しては以降の処理(モデル化部2以降の処理)をスキップするものとして、「データ無しのボクセル」として扱うようにすればよい。あるいは、ボクセル内に割り当てられた点の数が極端に少ない場合は、実際には物体が存在せず、ノイズである可能性があるため、ボクセル内の点の個数が閾値未満の場合にも同様に、以降の処理をスキップするものとして、「ノイズである可能性が高いボクセル」として扱うようにしてもよい。
<モデル化部2に関して>
モデル化部2は、分割部1で得たボクセル内に含まれる点群を特定のモデルで表現する。一実施形態では次の第1~第4処理によってモデルを得ることができる。
第1処理として、分割部1で得た各ボクセルをx軸方向,y軸方向,z軸方向にそれぞれNx,Ny,Nz通りのボクセルで更に分割し、点群を更に分類する。以後、この当該更に分類するボクセルを、分割部1のボクセルと区別された下位ボクセルとしてサブボクセルと呼ぶ。なお、Nx,Ny,Nz通りのサブボクセルへの分割に関しては、ボクセルの各辺を等分するようにしてもよいし、1つ以上の方向の辺に関して必ずしも等分ではなく一部又は全部を不均一な長さで分割するようにしてもよいが、当該サブボクセルへの分割の仕方は所定のものを予め設定しておく。
なお、分割部1では点群データの空間座標のx,y,z軸方向でボクセルを得ているものとし、モデル化部2の第1処理では当該同じx,y,z軸方向にさらに細分化したサブボクセルを得る。分割部1でその他の任意のξ,η,ζ軸方向のボクセルを得ているのであれば、モデル化部2の第1処理でも当該ξ,η,ζ軸でさらに細分したサブボクセルを得ればよい。以下では、ボクセル及びサブボクセルは点群データのx,y,z座標軸に沿った方向で与えられている場合を説明のための例として用いるが、その他の任意方向でボクセル及びサブボクセルを与える場合であっても同様の処理が可能である。
第2処理として、各サブボクセル内の点群を特定のモデルで表現する。当該モデルは、サブボクセル内の点の個数(整数)でもよいし、サブボクセル内の点の当該個数を対応するボクセル内の点の総数で除算すること得られる占有個数割合(正規化された実数)でもよいし、サブボクセル内の点の個数をサブボクセルの体積で除算した体積占有度(実数)でもよいし、サブボクセル内に点が存在するか否かをバイナリ値で表現した値(二値占有度)でもよいし、他の任意のモデルでもよい。二値占有度はサブボクセル内の個数に対する閾値判定でバイナリ値として求めればよく、例えば5個以上なら「有」、5個未満なら「無」としてもよい。なお、他の任意のモデルを用いる場合、当該列挙した各モデルと同様に、サブボクセル内の点の有無ないし多寡を1次元データで表現するモデルを用いるようにしてもよいし、サブボクセル内の点分布を2次元以上のデータで表現するモデル(例えば非特許文献2のNDT等の、統計モデルによる空間分布パラメータ)を用いてもよい。また、これら各モデルを任意に組み合わせたものをモデルとしてもよく、組み合わせる際は各モデルの値を要素として多次元化して組み合わせるようにすればよい。
第3処理として、ボクセル内でx軸方向,y軸方向,z軸方向にそれぞれ0から数えてnx,ny,nz番目(0≦nx≦Nx-1, 0≦ny≦Ny-1, 0≦nz≦Nz-1)に位置するサブボクセルに対し、次式(1)のIDを与える:
id = nx + nyNx + nzNxNy …(1)
当該式(1)で与えるIDはすなわち、ボクセル内のサブボクセル位置を3次元(に拡張した)ラスタスキャン順で与えるものである。ボクセル内の相対的なサブボクセル位置を一意に特定するIDであれば式(1)に限らず、その他の形でIDを与えてもよい。
なお、第3処理は分割部1から得た各ボクセルに対して共通な「取り決め」に相当するものであるので、ボクセル毎に別途の計算を必要とする「処理」ではないが、説明の便宜上、第3処理として説明してある。第3処理の当該取り決めは、次の第4処理で得るベクトルが適切に定義されるようにするために必要な取り決めに該当する。
第4処理として、第3処理の各サブボクセルのidを次元とみなし、サブボクセルのモデル化結果を並べたベクトルを作成し、当該ボクセルを表現するモデルとする。N=NxNyNz(すなわちNは、1個のボクセルがさらにサブボクセルに細分化された際の個数)とおくと、サブボクセルを1次元でモデル化している場合、当該モデルはN次元のベクトルとみなされるもの(データ形式上、N次元ベクトルとして扱うことが可能なもの)となる。これにより、サブボクセルの粒度でボクセル内の点群の形状・分布を記述可能な表現モデルが得られることとなる。なお、サブボクセルを2次元以上の多次元データでモデル化している場合も、N次元ベクトルの各要素が当該多次元データで構成されているものとして扱うことができる。
図3は、以上のモデル化部2で得られるサブボクセル粒度でのモデル化データの模式例を、その他のデータの模式例と共に示すものである。図3にて、[1]は図1等でも説明したのと同様のモデル化前のボクセル内の点群データ分布の模式例であり、[2]は当該[1]を前掲の特許文献1あるいは非特許文献2等の手法でモデル化した模式例であり、同ボクセル内に黒丸の1点として示されるように、特許文献1等の手法ではボクセル単位でモデル化を実施している。すなわち、ボクセル全体を1つ又は複数のパラメータでモデル化している。一方、図3の[3]が本発明におけるモデル化部2から得られるサブボクセル粒度でのモデル化データの模式例であり、例えばサブボクセル内の点の有無をバイナリ値で表現した場合の模式例となっている。すなわち、[3]にて黒色に塗られているサブボクセルは点が「有」のものであり、当該塗られていないサブボクセルは点が「無」のものである。
<量子化部3について>
量子化部3は、モデル化部2で得られたモデルを量子化する。当該量子化により、詳細な情報を含みつつもデータ量削減することが可能となる。
一実施形態では次のように当該量子化が可能である。まず、予め学習用データを用いて代表ベクトルを作成しておくものとする。例えば、学習用データを用いて上述した方法で(すなわち、分割部1及びモデル化部2の処理を学習用の点群データに対して適用することで)多数のN次元ベクトルを作成し、それらに既存手法であるk-means(k平均法)アルゴリズムを適用して得られるk通り(kは当該アルゴリズム適用時に指定しておく所定数)のセントロイドを代表ベクトルとして事前に作成しておく。そして、k通りの代表ベクトルは、予めIDを割り振ったうえで、その情報を量子化部3に記憶させておくものとする。なお、k-meansアルゴリズムに限らず、k-medoidsアルゴリズムや、その他の任意のクラスタリング関連のアルゴリズムを用いて代表ベクトルを生成してよい。また、前述のモデル化部2の第1処理においてNx,Ny,Nz通りのサブボクセルへの分割を長さが不均一なものを含めて行う場合、当該学習用データによって適切な不均一な分割の仕方を予め算出しておくようにしてもよい。例えば、各サブボクセル内の平均の点群データ数体積密度が当該学習用データにおいて概ね均一となるように、不均一なサブボクセルを設定しておいてもよい。
図4は、代表ベクトルを可視化したボクセルの模式図を[1],[2],[3]として3通りだけ例示したものであり、図3の[3]の場合と同様形式での代表ベクトルの模式例が3通り示されている。すなわち、図4の[1]は紙面上の右上奥側角部分に、[2]は手前下側部分に、[3]は中央部分に、当該ボクセル内の点群が概ね集中している状況を表現する代表ベクトルの例となっている。
量子化部3では、以上のように予め用意され記憶されているk通りの代表ベクトルを参照することにより、モデル化部2で得られた各N次元ベクトルに関して、最も類似する代表ベクトルを探索し、対応するID(すなわち、当該最も類似する代表ベクトルの識別子)へと量子化することができる。このIDは、ceil(log2(k))ビットのビット列で表現できる。ここでceilは周知の天井関数、すなわち、引数(関数の入力値)以上である最小整数を返す関数であり、log2は2を底とする対数関数である。
以上のように量子化部3による量子化で、ボクセル内の点群データを、詳細な情報を記述しつつデータ量の小さい表現に変換することができる。なお、定性的には、特許文献1における量子化されたモデル化データは、データ量を増やしても表現能力がさほど改善しないのに対し、本発明の量子化部3による量子化データ(すなわち、対応IDの紐づいた代表ベクトル)は、データ量を増やすほどより具体的な物体形状を表現できるものとなっている。
なお、モデル化部2で得たサブボクセル粒度でのモデル自体にも、図3でその他の例と対比して模式例を説明したように、詳細な情報を含みつつもデータ量を削減する効果があるが、量子化部3による量子化は当該効果をさらに促進するものである。
なお、逆量子化部5では記憶部4に各位置のボクセルに関して量子化されたIDとして記憶されているものの中から、前述の照合リクエスト等によって指定された全部又は一部のボクセルのIDを読み取ったうえで、量子化部3で量子化のために予め記憶しておいたのと同様の、IDが紐づけられたk通りの代表ベクトルを参照し、IDが対応しているものの代表ベクトルの値(すなわちN次元ベクトルの値)を出力することで、逆量子化を行うことができる。
なお、量子化部3と逆量子化部5との間には記憶部4による記憶処理が介在するが、これに代えて、又はこれに加えて、ネットワーク経由での伝送処理が介在するようにしてもよく、記憶及び/又は伝送処理に関してデータ量削減の恩恵を得ることができる。特に、逆量子化部5を、ネットワーク経由で照合リクエスト等を行う側に備わる構成としてもよい。なお、逆量子化部5による逆量子化を行わないでクエリ点群量子化データとリファレンス点群量子化データとの照合のために類似度算出する場合は、当該両方の量子化データの類似度をバイナリ類似度として算出してもよい。すなわち、当該両方が同一ID(同一代表ベクトルに量子化されている場合)であれば「類似」、非同一ID(異なる代表ベクトルに量子化されている場合)であれば「非類似」というバイナリ類似度を用いてもよい。
以上、本発明によれば、少なくとも分割部1及びモデル化部2のみによるサブボクセル粒度のモデル化によって、あるいは、さらにはこれに加えて量子化部3による量子化により、詳細な情報を含みつつも点群のデータ量を削減したモデル化が可能となる。以下、本発明における説明上の補足を述べる。
(1)自己位置推定等の照合処理の実行時には、特許文献1においては、ステップ幅ごとに位置がずれた複数の基準点を用いて実際に空間を分割しており、これによる相応の計算負荷が発生していたのに対し、本発明の追加的な一実施形態においては、仮想的に基準点をずらすことのみで空間を再分割することができるので、当該計算負荷を大きく抑制することが可能である。
すなわち、特許文献1における基準点のステップ幅に相当するものとして、モデル化部2でボクセルをさらに細分化するのに用いるサブボクセルの1辺の長さを設定することによって、実質的にはサブボクセルに割り当てる前述の数式(1)のidを変更する(idの割り当てをし直す)のみで、特許文献1において高負荷な計算によって実現している基準点をずらしながら空間を分割することと同等の効果が得られることとなる。そのため、特許文献1と比べて、本発明の当該追加的な一実施形態においては、図1で説明したようなボクセル分割位置の影響を吸収するのに必要となる複数のモデルを、効率的に計算することができる。
図5は、当該追加的な実施形態における計算を模式例で説明するための図である。図5の[1]には、分割部1及びモデル化部2で分割したボクセル及びサブボクセルの空間的な一部分の例として、分割部1ではサブボクセル単位で3×3の大きさとなるようなボクセルV1を得て、モデル化部2では当該ボクセルV1を3×3のサブボクセルにさらに分割した例が示されている。この場合に、図示されるような以下の式(2)のような9次元ベクトルデータ(ラスタスキャン順にidを割り当てた9次元ベクトルデータ)として、モデル化部2でボクセルV1をモデル化したものとする。各di(i=1,2,…,9)は各サブボクセルのモデル化データである。
(d1,d2,d3,d4,d5,d6,d7,d8,d9) …(2)
なお、図5では説明の簡略化のため、ボクセル及びサブボクセルはx,y方向のみの2次元分布で与えられているものとしているが、z方向はボクセル及びサブボクセルが同じ長さで1個しかない3次元の特別な場合の例と考えてもよい。ただし、図5による当該2次元分布での説明は3次元の場合でもそのまま成立するものであり、3次元の場合の説明のために一般性を損なうことなく2次元の例を用いているものである。
ここで、図5の[1]のボクセルV1のような分割に対して、ボクセル分割の基準点をx方向にサブボクセル長さ1個分だけずらしたボクセル分割の例が、[2]にボクセルV2として示されている。図示される通り、ボクセルV2に関して、モデル化部2で得られる9次元ベクトルとしてのモデル化データは以下の式(3)となる。
(d2,d3,d10,d5,d6,d11,d8,d9,d12) …(3)
ここで、式(2)のボクセルV1のモデル化データと、これとはボクセル分割位置がずれた式(3)のボクセルV2のモデル化データとを対比観察することより明らかなように、一般に次のことが成立する。すなわち、分割部1でボクセル分割する所定の基準点R0を、モデル化部2のサブボクセル単位でずらしたその他の複数の基準点R1,R2,…によってモデルを新たに生成する(すなわち、再度、分割部1及びモデル化部2の処理を、分割部1のボクセル分割の基準点をR0からサブボクセル単位で並進移動によってずらしたその他の基準点R1,R2,…に関して行う)ことを考えた場合、モデル化部2では実質的に新たな計算を行なう必要はない。なぜならば、サブボクセル単位でのモデル化結果は、R0基準点で既に計算したものがそのまま、その他の基準点R1,R2,…におけるモデル化の際にも利用可能だからである。
例えば式(3)におけるd2,d3,d5,d6,d8,d9は式(2)のボクセルV1のサブボクセルとして既にモデル化されており、式(3)におけるd10,d11,d12はボクセルV1の左隣のボクセルのサブボクセルとして既に計算されている。
すなわち、ある基準点R0のボクセル分割で分割部1及びモデル化部2の処理を適用した結果を得ておけば、これとはサブボクセル単位で分割位置を並進移動させてずらした他の基準点R1,R2,…等における分割部1及びモデル化部2の処理の適用結果は、式(2),(3)の関係に例示されるように、既にR0に関して計算されたサブボクセル単位のモデル化データを当該他の基準点R1,R2,…等での各ボクセルのN次元ベクトルの対応要素へと、割り当てをし直すだけで得ることが可能である。
一方、量子化部3では当該割り当てをし直したN次元ベクトルに関して再度、量子化を行う必要がある。例えば、式(2)の量子化の結果をこれとはボクセル分割位置のずれた式(3)に関して再利用することはできないからである。しかしながら、量子化3の計算は、最近傍の代表ベクトルに割り当てるという簡素なものであり、特許文献1のようにモデル自体を最初から計算し直すわけではないので、これに比べると大きく計算負荷は低減されることとなる。
以上、当該追加的な実施形態を概念的に説明した。以下、当該追加的な実施形態の処理内容をより形式的に説明する。まず、当該追加的な実施形態の前提として、以上説明してきた通常の実施形態を適用することで、所定基準点R0による分割部1のボクセル分割結果に対して、モデル化部2及び量子化部3での結果OUTPUT(R0)を得ておく。
そして、当該追加的な実施形態ではさらに、基準点R0をサブボクセル単位で並進移動させてずらしたその他の複数の基準点R1,R2,…等の元での分割部1の適用に関して、モデル化部2及び量子化部3での結果OUTPUT(R1),OUTPUT(R2),…等を得るには、既に得ているOUTPUT(R0)のサブボクセル単位でのモデル化データをそのまま利用して式(1)のidで指定されるボクセル内のサブボクセル位置にデータを並び変えることで、モデル化部2のN次元ベクトルを得る処理が実現され、量子化部3では再度、当該並び変えたN次元ベクトルに関して量子化を行うようにすればよい。なお、量子化における代表ベクトルは基準点R0の際に用いたのと共通のものをその他の複数の基準点R1,R2,…等の場合でも利用すればよい。
なお、サブボクセル単位での並進移動候補を網羅する場合、基準点R0でのサブボクセル分割が前述のN=NxNyNz通りであったとすると、(Nx-1)(Ny-1)(Nz-1)通りの並進移動をx,y,z方向にそれぞれ行うようにすればよい。すなわち、当該ボクセルサイズ内での並進移動候補を網羅するように、その他の複数の基準点R1,R2,…を設定すればよい。
当該追加的な実施形態は、リファレンス点群データ側に関して適用してもよいが、実用上はクエリ点群データのみに適用するようにしてもよい。すなわち、リファレンス点群データ側に関しては基準点R0のみの1通りで実施してモデル化データを求めておき、クエリ点群データの側で自己位置推定処理の際の初期位置の誤差影響などを除去するために、何らかの基準点R0(理想的にはリファレンス点群データ側のR0と一致すべきであるが、ノイズなどで不一致が発生し得る基準点)に加えて、当該並進移動候補を網羅したその他の基準点R1,R2,…でのモデル化データも追加で求めておき、それぞれリファレンス点群データとの間で照合処理を行ない最も一致する結果を見出すことにより、図1で説明したような量子化誤差の影響を吸収した結果を得ることができる。例えば、リファレンス点群データが図1の[1]のように基準点R10でボクセル分割したものである場合に、クエリ点群データに関しても並進移動候補を網羅することで、同じ(サブボクセル長さの精度内で同じ)基準点R10でボクセル分割した場合を、最類似結果として得ることができるようになる。
(2)モデル化装置10は一般的な構成のコンピュータとして実現可能である。すなわち、CPU(中央演算装置)、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって各装置を構成することができる。さらに、図2に示すモデル化装置10の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等(GPUを含む)において実現するようにしてもよい。
10…モデル化装置、1…分割部、2…モデル化部、3…量子化部

Claims (7)

  1. 点群データに所定のボクセル分割を適用してボクセル毎の点群データを得る分割部と、
    前記ボクセル毎の点群データを、ボクセルをさらに細分化するサブボクセル単位での点群データ分布を表現したものとしてモデル化することで、ボクセル毎のモデル化データを得るモデル化部と、を備え、
    前記モデル化部で得たボクセル毎のモデル化データを所定の複数の代表値のうちの最も近いものに割り当て、当該割り当てられた代表値に対応する識別子として量子化する量子化部をさらに備え、
    前記モデル化部では、前記分割部にて適用した所定のボクセル分割の位置を与える第一基準点を、当該モデル化部でさらに細分化するサブボクセル単位の長さで並進移動した第二基準点へと変更したうえで、前記分割部でのボクセル分割を当該第二基準点のもとで適用したボクセル毎の第二モデル化データをさらに追加して得るために、前記第一基準点のもとでの前記分割部によるボクセル分割に関して前記モデル化部で既に求まっているサブボクセル単位での表現を用い、
    前記量子化部はさらに、当該追加して得られた第二モデル化データを量子化することで、ボクセル毎及びサブボクセル単位の並進移動毎のモデル化データを共通の代表値のもとで量子化されたものとして得ることを特徴とするモデル化装置。
  2. 前記モデル化部では、ボクセル内に割り当てられた点の個数が0個の場合に、または、当該個数が少ないと判定される場合に、当該ボクセルについてモデル化することをスキップして、当該ボクセルをデータ無しまたはノイズ起因であるものとして扱うことを特徴とする請求項に記載のモデル化装置。
  3. 前記モデル化部では、前記ボクセルをさらに細分化するサブボクセル単位での点群データ分布の表現として、サブボクセル単位での点群データの個数、当該個数を当該ボクセル内における点群データの総個数で割った占有個数割合、当該個数をサブボクセル体積で割った体積占有度、当該個数を閾値判定した二値占有度、又は、統計モデルによる空間分布パラメータ、の少なくとも一つを用いることを特徴とする請求項1または2に記載のモデル化装置。
  4. 前記モデル化部では、前記分割部にて適用した所定のボクセル分割の位置を与える第一基準点を、当該モデル化部でさらに細分化するサブボクセル単位の長さで並進移動した第二基準点へと変更したうえで、前記分割部でのボクセル分割を当該第二基準点のもとで適用したボクセル毎の第二モデル化データをさらに追加して得るために、前記第一基準点のもとでの前記分割部によるボクセル分割に関して前記モデル化部で既に求まっているサブボクセル単位での表現を用いることを特徴とする請求項1ないしのいずれかに記載のモデル化装置。
  5. 前記量子化部で識別子として量子化されたボクセル毎のモデル化データの全部又は一部を、前記所定の複数の代表値を参照することによって、対応する代表値へと逆量子化する逆量子化部をさらに備えることを特徴とする請求項1ないし4のいずれかに記載のモデル化装置。
  6. コンピュータによって実行されるモデル化方法であって、
    点群データに所定のボクセル分割を適用してボクセル毎の点群データを得る分割段階と、
    前記ボクセル毎の点群データを、ボクセルをさらに細分化するサブボクセル単位での点群データ分布を表現したものとしてモデル化することで、ボクセル毎のモデル化データを得るモデル化段階と、を備え、
    前記モデル化段階で得たボクセル毎のモデル化データを所定の複数の代表値のうちの最も近いものに割り当て、当該割り当てられた代表値に対応する識別子として量子化する量子化段階をさらに備え、
    前記モデル化段階では、前記分割段階にて適用した所定のボクセル分割の位置を与える第一基準点を、当該モデル化段階でさらに細分化するサブボクセル単位の長さで並進移動した第二基準点へと変更したうえで、前記分割段階でのボクセル分割を当該第二基準点のもとで適用したボクセル毎の第二モデル化データをさらに追加して得るために、前記第一基準点のもとでの前記分割段階によるボクセル分割に関して前記モデル化段階で既に求まっているサブボクセル単位での表現を用い、
    前記量子化段階はさらに、当該追加して得られた第二モデル化データを量子化することで、ボクセル毎及びサブボクセル単位の並進移動毎のモデル化データを共通の代表値のもとで量子化されたものとして得ることを特徴とするモデル化方法。
  7. コンピュータを請求項1ないしのいずれかに記載のモデル化装置として機能させることを特徴とするプログラム。
JP2017233820A 2017-12-05 2017-12-05 モデル化装置、方法及びプログラム Active JP7054336B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017233820A JP7054336B2 (ja) 2017-12-05 2017-12-05 モデル化装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017233820A JP7054336B2 (ja) 2017-12-05 2017-12-05 モデル化装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019101885A JP2019101885A (ja) 2019-06-24
JP7054336B2 true JP7054336B2 (ja) 2022-04-13

Family

ID=66973968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017233820A Active JP7054336B2 (ja) 2017-12-05 2017-12-05 モデル化装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7054336B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117289255A (zh) * 2023-10-19 2023-12-26 广州行深智能科技有限公司 目标检测方法、装置、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285074A (ja) 2000-03-31 2001-10-12 Toshiba Corp 画像合成方法および画像合成プログラムを記録した媒体
WO2017168472A1 (ja) 2016-03-30 2017-10-05 パナソニックIpマネジメント株式会社 位置推定装置、位置推定方法及び制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285074A (ja) 2000-03-31 2001-10-12 Toshiba Corp 画像合成方法および画像合成プログラムを記録した媒体
WO2017168472A1 (ja) 2016-03-30 2017-10-05 パナソニックIpマネジメント株式会社 位置推定装置、位置推定方法及び制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
松▲崎▼ 康平 他,3次元点群を用いた類似検索に基づく自己位置推定手法,映像情報メディア学会 2017年年次大会,日本,一般社団法人映像情報メディア学会,2017年08月16日

Also Published As

Publication number Publication date
JP2019101885A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
Shi et al. Adaptive simplification of point cloud using k-means clustering
Ji et al. A novel simplification method for 3D geometric point cloud based on the importance of point
JP5251080B2 (ja) 物体認識方法
CN110599506B (zh) 一种复杂异形曲面机器人三维测量的点云分割方法
CN106886980B (zh) 一种基于三维激光雷达目标识别的点云密度增强的方法
CN114926699B (zh) 一种室内三维点云语义分类方法、装置、介质及终端
CN114526739A (zh) 移动机器人室内重定位方法、计算机装置及产品
CN111553946A (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN112634457A (zh) 基于豪斯多夫距离和平均投影距离局部熵的点云精简方法
JP7054336B2 (ja) モデル化装置、方法及びプログラム
CN112528428B (zh) 对工程结构的物理参数展示的方法、装置和计算机设备
JP2017168081A (ja) 記述子を用いた3dオブジェクトの位置特定
CN113436223A (zh) 点云数据的分割方法、装置、计算机设备和存储介质
CN117523084A (zh) 一种移动扫描点云的自动三维重建方法及电子设备
CN112508767A (zh) 一种基于gpu的gmm点云配准算法
Beilschmidt et al. A linear-time algorithm for the aggregation and visualization of big spatial point data
JP2017162447A (ja) 量子化を用いた3dオブジェクトの位置特定
CN107220481B (zh) 一种面状要素地图综合质量的定量评价方法
JP6853150B2 (ja) 選別装置、方法及びプログラム
CN110945499B (zh) 应用维度混洗变换的实时三维空间搜索与点云配准的方法与系统
Sa et al. Depth grid-based local description for 3D point clouds
CN117710603B (zh) 一种直线几何结构约束下无人机图像三维建筑物建模方法
CN117370592B (zh) 一种基于机器学习的零件相似性识别方法
CN117934573B (en) Point cloud data registration method and device and electronic equipment
CN116824068B (zh) 面向复杂动态场景中点云流的实时重建方法、装置及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220401

R150 Certificate of patent or registration of utility model

Ref document number: 7054336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150