JP7290240B2 - Object recognition device - Google Patents
Object recognition device Download PDFInfo
- Publication number
- JP7290240B2 JP7290240B2 JP2018086120A JP2018086120A JP7290240B2 JP 7290240 B2 JP7290240 B2 JP 7290240B2 JP 2018086120 A JP2018086120 A JP 2018086120A JP 2018086120 A JP2018086120 A JP 2018086120A JP 7290240 B2 JP7290240 B2 JP 7290240B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- cloud data
- dimensional point
- dimensional
- distribution characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
この発明は、対象物を認識するための装置に関するものである。 The present invention relates to a device for recognizing objects.
レーザスキャナなどによって道路、標識、建物などを計測した三次元点群データに基づいて、標識、建物などの地物を抽出することが行われている。作業者が画面を見ながら、各地物を判定して抽出し属性を付与することは、確実性は高いものの、煩雑であり抽出時間を要するという問題がある。 Features such as signs and buildings are extracted based on three-dimensional point cloud data obtained by measuring roads, signs, buildings, and the like with a laser scanner or the like. While the operator looks at the screen, determining, extracting, and assigning attributes to each feature is highly reliable, but has the problem of being complicated and requiring a long extraction time.
非特許文献1には、三次元点群データに対応するCADデータに基づいて、三次元点群データから地物を抽出して属性を付与する処理が開示されている。
Non-Patent
特許文献1には、三次元点群データを複数の水平面に投影した図形に基づいて、テンプレートマッチングによって地物を認識する装置が開示されている。
これらにより、三次元点群データに基づいて地物を認識することができる。 With these, features can be recognized based on the three-dimensional point cloud data.
また、機械学習によって三次元点群データから地物を抽出することも提案されている。このようなシステムを実現するためには、大量の学習データが必要である。非特許文献2には、CADデータに基づいて学習データとしての三次元点群データを生成する手法が開示されている。
It is also proposed to extract features from 3D point cloud data by machine learning. In order to realize such a system, a large amount of learning data is required. Non-Patent
しかしながら、非特許文献1の手法では、三次元点群データに対応するCADデータやカラー画像データに基づいて、地物に対応する三次元点群データを抽出するようにしている。このため、三次元点群データに対応するCADデータやカラー画像データが存在しない場合には、地物を抽出できないという問題があった。
However, in the method of Non-Patent
また、CADデータの作成時には存在しなかった地物や、CADデータ作成後に除去された地物については、これらを正しく抽出できないという問題もあった。 In addition, there is also the problem that features that did not exist when the CAD data was created and features that were removed after the CAD data was created cannot be extracted correctly.
また、特許文献1の手法では、複数の水平断面によって認識を行うようにしているが、対象物の傾きや方向によって必ずしも正確な認識が行えないという問題があった。また、対象物の特徴を正確に捉えることができず認識が正確でないという問題があった。
Further, in the method of
さらに、深層学習や機械学習を行って三次元点群データから地物を抽出するとしても、その学習データを大量に用意しなければならなかった。非特許文献2は、これを解決するための一手法ではあるが、CADデータに基づいて学習用データを生成するものであって、CADデータが存在しない場合には、用いることができなかった。
Furthermore, even if deep learning or machine learning is performed to extract features from 3D point cloud data, a large amount of learning data has to be prepared. Although Non-Patent
この発明は、上記のような問題点を解決して、CADデータがなくとも地物を適切に抽出することのできる装置を提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to solve the above-described problems and to provide an apparatus capable of appropriately extracting features without CAD data.
この発明のいくつかの独立して適用可能な特徴を以下に示す。 Some independently applicable features of the invention are set forth below.
(1)(2)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを取得するデータ取得手段と、前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、算出した分布特性の数値に基づいて、対象物を推定する推定手段とを備えている。 (1)(2) A recognition device according to the present invention is a recognition device for distinguishing and recognizing objects, and comprises data acquisition means for acquiring three-dimensional point cloud data obtained by measuring the object; Based on the three-dimensional area containing the three-dimensional point cloud data, the distribution characteristic calculation means for calculating the distribution characteristics of the point cloud in the three-dimensional point cloud data as a numerical value, and the object estimating means for estimating
したがって、対象物の分布特性によって対象物を推定することができる。 Therefore, the object can be estimated according to the distribution characteristics of the object.
(3)この発明に係る認識装置において、三次元点群データは、道路および地物を測定したものであり、領域生成手段は、地物に対応する道路面を基準として地物を内包する三次元領域を定義することを特徴としている。 (3) In the recognition device according to the present invention, the three-dimensional point cloud data is obtained by measuring roads and features, and the area generating means includes a three-dimensional point cloud including the features with reference to the road surface corresponding to the features. It is characterized by defining the original region.
したがって、異なる場所にある同一種類の地物についても、その向きや角度に拘わらず同じようにこれを内包する三次元領域を形成することができ、認識精度を向上させることができる。 Therefore, it is possible to form a three-dimensional area that similarly encloses even the same type of feature in different locations regardless of its orientation and angle, thereby improving the recognition accuracy.
(4)この発明に係る認識装置は、分布特性算出手段が、前記三次元領域のX方向長さ、Y方向長さまたはZ方向長さを分布特性として算出することを特徴としている。 (4) The recognition device according to the present invention is characterized in that the distribution characteristic calculation means calculates the X-direction length, Y-direction length, or Z-direction length of the three-dimensional area as the distribution characteristic.
したがって、横長・縦長の対象物を推定することができる。 Therefore, it is possible to estimate horizontally long and vertically long objects.
(5)この発明に係る認識装置は、分布特性算出手段が、少なくともX軸またはY軸にて前記三次元領域を短冊状に区切った時の各区画に含まれる点の数の分散を分布特性として算出することを特徴としている。 (5) In the recognition device according to the present invention, the distribution characteristic calculating means calculates the distribution characteristic by calculating the variance of the number of points included in each section when the three-dimensional area is divided into strips at least along the X axis or the Y axis. It is characterized by calculating as
形状変化に富んだ対象物・変化に乏しい対象物を推定することができる。 It is possible to estimate an object with a lot of shape changes and an object with little change.
(6)この発明に係る認識装置は、分布特性算出手段が、少なくとも前記三次元領域を上下に分割し、上部・下部に含まれる点の数の比率を分布特性として算出することを特徴としている。 (6) The recognition device according to the present invention is characterized in that the distribution characteristic calculation means divides at least the three-dimensional area into upper and lower parts, and calculates the ratio of the number of points included in the upper part and the lower part as the distribution characteristic. .
したがって、上広がり・下広がりな対象物を推定することができる。 Therefore, it is possible to estimate an object that spreads upwards and spreads downwards.
(7)この発明に係る認識装置は、分布特性算出手段が、少なくとも前記三次元領域のX方向長さまたはY方向長さと、Z方向長さとの比率を分布特性として算出することを特徴としている。 (7) The recognition device according to the present invention is characterized in that the distribution characteristic calculation means calculates, as the distribution characteristic, at least the ratio of the X-direction length or Y-direction length of the three-dimensional area to the Z-direction length. .
したがって、横長・縦長の対象物を推定することができる。 Therefore, it is possible to estimate horizontally long and vertically long objects.
(8)この発明に係る認識装置は、分布特性算出手段が、少なくとも前記三次元領域のZ方向の所定間隔の位置での三次元点群データのX方向幅またはY方向幅の変化量を分布特性として算出することを特徴としている。 (8) In the recognition device according to the present invention, the distribution characteristic calculation means distributes the amount of change in the X-direction width or the Y-direction width of the three-dimensional point cloud data at least at positions at predetermined intervals in the Z direction of the three-dimensional area. It is characterized in that it is calculated as a characteristic.
したがって、突き出た部分のある対象物を推定することができる。 Therefore, an object with protruding parts can be estimated.
(9)この発明に係る認識装置は、分布特性算出手段が、少なくともZ軸にて前記三次元領域を短冊状に区切った時の点の数が最も多い区画の点の密度を分布特性として算出することを特徴としている。 (9) In the recognition device according to the present invention, the distribution characteristic calculating means calculates, as the distribution characteristic, the density of points in a section having the largest number of points when the three-dimensional area is divided into strips at least along the Z axis. It is characterized by
したがって、人工構造物・自然物の対象物を推定することができる。 Therefore, it is possible to estimate the object of man-made structures and natural objects.
(10)この発明に係る認識装置は、分布特性算出手段が、少なくとも三次元点群データ全体の法線ベクトルのZ軸に対する傾きを分布特性として算出することを特徴としている。 (10) The recognition device according to the present invention is characterized in that the distribution characteristic calculation means calculates at least the inclination of the normal vector of the entire three-dimensional point cloud data with respect to the Z-axis as the distribution characteristic.
したがって、注状対象物、面的対象物を推定することができる。 Therefore, it is possible to estimate a notation object and a planar object.
(11)この発明に係る認識装置は、分布特性算出手段が、少なくともZ軸にて前記三次元領域を短冊状に区切った時の各区画の点群データの法線ベクトルのZ軸に対する傾きのばらつきを分布特性として算出することを特徴としている。 (11) In the recognition device according to the present invention, the distribution characteristic calculation means divides the three-dimensional area into strips along at least the Z axis, and the inclination of the normal vector of the point cloud data of each section with respect to the Z axis is It is characterized by calculating variations as distribution characteristics.
したがって、注状対象物、面的対象物を推定することができる。 Therefore, it is possible to estimate a notation object and a planar object.
(12)この発明に係る認識装置は、分布特性算出手段が、少なくともZ軸にて前記三次元領域を短冊状に区切った断面における点群データの面積の累積変化量を分布特性として算出することを特徴としている。 (12) In the recognition device according to the present invention, the distribution characteristic calculating means calculates, as the distribution characteristic, an amount of cumulative change in the area of the point cloud data in a cross section obtained by dividing the three-dimensional region into strips at least along the Z axis. is characterized by
したがって、形状の変化を示す指標に基づいて、対象物を推定することができる。 Therefore, the object can be estimated based on the index indicating the shape change.
(13)この発明に係る認識装置は、分布特性算出手段が、少なくともテンプレートマッチングによる合致率を分布特性として算出することを特徴としている。 (13) The recognition device according to the present invention is characterized in that the distribution characteristic calculating means calculates at least a matching rate by template matching as the distribution characteristic.
したがって、テンプレートマッチングの結果も含めて推定を行うことができる。 Therefore, estimation can be performed including the results of template matching.
(14)この発明に係る認識装置は、推定手段が、前記分布特性に基づいて機械学習を行って推定を行うものであることを特徴としている。 (14) The recognition device according to the present invention is characterized in that the estimating means performs estimation by performing machine learning based on the distribution characteristics.
したがって、より正確な推定を行うことができる。 Therefore, more accurate estimation can be performed.
(15)この発明に係る認識装置は、推定手段が、前記三次元点群データの存在する位置に基づいて当該三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って対象物を推定することを特徴としている。 (15) In the recognition device according to the present invention, the estimating means groups the three-dimensional point cloud data based on the positions where the three-dimensional point cloud data exist, and performs machine learning or deep learning for each group. It is characterized by estimating the object by
したがって、認識すべき対象物の種類が増えても、正確な推定を行うことができる。 Therefore, accurate estimation can be performed even if the types of objects to be recognized increase.
(16)この発明に係る認識装置は、推定手段が、各点における反射強度または色データまたはその双方も考慮して対象物を推定することを特徴としている。 (16) The recognition device according to the present invention is characterized in that the estimating means estimates the object taking into account the reflection intensity or color data at each point, or both.
したがって、反射率または色データまたはその双方に基づく対象物推定を行うことができる。 Therefore, object estimation based on reflectance or color data or both can be made.
(17)この発明に係る認識装置の生産方法は、対象物を測定した三次元点群データに基づいて、対象物を区別して識別するための認識装置を生産する方法であって、学習対象物を測定した三次元点群データを内包する三次元領域を形成し、前記三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出し、学習によって上記認識処理を実現する装置に、算出した分布特性の数値を学習データとして与えて学習させることを特徴としている。 (17) A method for producing a recognition device according to the present invention is a method for producing a recognition device for distinguishing and identifying a target object based on three-dimensional point cloud data obtained by measuring the target object. A three-dimensional area containing the measured three-dimensional point cloud data is formed, and based on the three-dimensional area, the distribution characteristics of the point cloud in the three-dimensional point cloud data are calculated as numerical values, and the above recognition processing is realized by learning. It is characterized in that the calculated numerical value of the distribution characteristic is given as learning data to the apparatus for learning.
したがって、対象物の分布特性によって対象物を推定することができる。 Therefore, the object can be estimated according to the distribution characteristics of the object.
(18)(19)この発明に係る認識装置は、計測された三次元点群データから車道被覆オブジェクトを認識するための認識装置であって、計測された三次元点群データを取得する取得手段と、前記三次元点群データから車道オブジェクトを抽出する道路抽出手段と、前記抽出された車道オブジェクトの上に重なるオブジェクトを抽出する車道上部オブジェクト抽出手段と、前記被覆オブジェクトを前記車道オブジェクトに設定された車線方向に垂直な所定間隔の平面にて断面を形成し、各断面において前記被覆オブジェクトが実質的に同一形状であれば車道被覆オブジェクトであると推定する車道被覆オブジェクト抽出手段とを備えている。 (18)(19) A recognition device according to the present invention is a recognition device for recognizing a roadway covering object from measured 3D point cloud data, and is acquisition means for acquiring the measured 3D point cloud data. road extraction means for extracting a roadway object from the three-dimensional point cloud data; roadway upper object extraction means for extracting an object superimposed on the extracted roadway object; and setting the covering object to the roadway object. a roadway covering object extracting means for forming cross sections on planes perpendicular to the lane direction at predetermined intervals, and estimating that the covering object is a roadway covering object if the covering object has substantially the same shape in each cross section. .
したがって、車道被覆オブジェクトを適切に推定することができる。 Therefore, the roadway covering object can be properly estimated.
(20)この発明に係る認識装置は、車道被覆オブジェクトとして、少なくともカルバート、シェッド、シェルターまたはトンネルを含むことを特徴している。 (20) The recognition device according to the present invention is characterized by including at least culverts, sheds, shelters or tunnels as roadway covering objects.
したがって、これらのオブジェクトを適切に推定することができる。 Therefore, these objects can be properly estimated.
(21)この発明に係る認識装置は、車線方向が、計測時に走行方向として取得されたものであることを特徴としている。 (21) The recognition device according to the present invention is characterized in that the lane direction is acquired as the running direction at the time of measurement.
したがって、正しく車線方向を設定することができる。 Therefore, the lane direction can be set correctly.
(22)(23)この発明に係る認識装置は、計測された三次元点群データから擁壁オブジェクトを認識するための認識装置であって、対象物を測定した三次元点群データを取得するデータ取得手段と、前記三次元点群データから車道オブジェクトを抽出する車道抽出手段と、前記車道オブジェクトの端部に接する近似平面を形成する点群データを見いだし、当該近似平面と車道との角度が所定角度以上であれば、当該近似平面を擁壁であると推定する擁壁推定手段とを備えている。 (22)(23) A recognition device according to the present invention is a recognition device for recognizing a retaining wall object from measured 3D point cloud data, and acquires 3D point cloud data obtained by measuring the object. Data acquisition means, roadway extraction means for extracting a roadway object from the three-dimensional point cloud data, and point cloud data forming an approximate plane contacting an edge of the roadway object, and an angle between the approximate plane and the roadway is determined. Retaining wall estimating means for estimating that the approximate plane is a retaining wall if the angle is greater than or equal to a predetermined angle.
したがって、擁壁オブジェクトを適切に推定することができる。 Therefore, the retaining wall object can be properly estimated.
「データ取得手段」は、実施形態においては、ステップS21がこれに対応する。 "Data acquisition means" corresponds to step S21 in the embodiment.
「分布特性算出手段」は、実施形態においては、ステップS274がこれに対応する。 "Distribution characteristic calculation means" corresponds to step S274 in the embodiments.
「推定手段」は、実施形態においては、ステップS275がこれに対応する。 In the embodiments, the "estimating means" corresponds to step S275.
「プログラム」とは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。 "Program" is a concept that includes not only programs that can be directly executed by the CPU, but also programs in source format, compressed programs, encrypted programs, and the like.
1.第1の実施形態
1.1全体構成
図1に、この発明の一実施形態による認識装置の学習方法を示す。これにより、機械学習プログラムが学習を行って、三次元点群データによって表されるオブジェクト(対象物)の種類を認識する認識装置を生成することができる。なお、機械学習プログラムとしては、ランダムフォレストによって機械学習を行うプログラムを用いることができるが、他の機械学習プログラムを用いてもよい。
1. 1st embodiment
1.1 Overall Configuration FIG. 1 shows a learning method for a recognition device according to an embodiment of the present invention. This allows the machine learning program to learn and generate a recognition device that recognizes the type of object represented by the three-dimensional point cloud data. As the machine learning program, a program that performs machine learning by random forest can be used, but other machine learning programs may be used.
まず、オブジェクトの三次元点群データ2を取得する。これは、計測した三次元点群データから、各オブジェクトを分離したものである。次に、オブジェクトの三次元点群データ2を内包する直方体4を基準として、三次元点群データの点群の分布特性を数値として算出する。
First, the 3D
上記のようにして算出した分布特性を用いて、機械学習プログラムを学習させる。これにより、オブジェクトの三次元点群データに基づいて、対象物の種類を認識する認識装置を生成することができる。 A machine learning program is trained using the distribution characteristics calculated as described above. This makes it possible to generate a recognition device that recognizes the type of object based on the three-dimensional point cloud data of the object.
1.2ハードウエア構成
図2に、認識装置のハードウエア構成を示す。CPU30には、メモリ32、ディスプレイ34、通信回路36、ハードディスク38、DVD-ROMドライブ40、キーボード/マウス42、記録媒体ドライブ44が接続されている。通信回路36は、インターネットに接続するためのものである。記録媒体ドライブ44は、可搬性記録媒体52に記録された三次元点群データを取り込むためのものである。
1.2 Hardware configuration Figure 2 shows the hardware configuration of the recognition device. A
ハードディスク38には、オペレーティングシステム46、認識プログラム48が記録されている。認識プログラム48は、機械学習によって学習を行なうことで、与えられた三次元点群データによって示されるオブジェクトの種類を認識するものである。認識プログラム48は、オペレーティングシステム46と協働してその機能を発揮するものである。これらプログラムは、DVD-ROM50に記録されていたものを、DVD-ROMドライブ40を介して、ハードディスク38にインストールしたものである。
The
1.3学習処理
図3に、認識プログラム48の学習データ生成処理のフローチャートを示す。この処理においては、オブジェクトごとの三次元点群データを学習用元データとして、これに基づいて学習データを生成する。
1.3 Learning Processing FIG. 3 shows a flowchart of learning data generation processing of the
CPU30は、学習用元データである多数のオブジェクトの三次元点群データを取得する(ステップS1)。図4Aにオブジェクトの三次元点群データ2の例を示す。この三次元点群データには、そのオブジェクトの種類が属性として付与されている。たとえば、図4Aのオブジェクトであれば、「信号機」として種類が付与されている。学習元データとしては、いくつかの種類のオブジェクトの三次元点群データが多数用意されていることが好ましい。
The
次に、CPU30は、これらのオブジェクトの三次元点群データのぞれぞれについて、これを内包する直方体(バウンダリーボックス)を生成する(ステップS3)。なお、この実施形態では、三次元点群データを内包する最小容積の直方体をバウンダリーボックスとして生成しているが、これよりも所定寸法大きいバウンダリーボックスを生成するようにしてもよい。
Next, the
この実施形態では、バウンダリーボックスを生成しているが、オブジェクトの三次元点群データに既にバウンダリーボックスが付与されている場合には、これをそのまま用いてもよい。図4Bに、オブジェクトの三次元点群データ2に対して形成されたバウンダリーボックス4の例を示す。
In this embodiment, a boundary box is generated, but if a boundary box has already been assigned to the 3D point cloud data of the object, it may be used as it is. FIG. 4B shows an example of a
なお、この実施形態においては、当該オブジェクトに対応する位置の道路面(道路進行方向、道路横断方向によって定義される面)を基準としてバウンダリーボックス4を生成するようにしている。これにより、図7Cに示すように、道路の進行方向5、横断方向7に応じて、バウンダリーボックス4の基準面が異なるように生成される。地物は、道路の進行方向、横断方向の傾きに沿うように設置されるのが通常であるから、このように、道路面に対してバウンダリーボックスの底面が並行となるようにバウンダリーボックス4を生成することで、地物の種類による違いを明確にした学習を行うことができる。
In this embodiment, the
なお、オブジェクトに対応する位置の道路面は、たとえば、道路進行方向の垂線がオブジェクトの底面中心と交わる時の道路垂線近傍の位置として算出することができる。 The road surface at the position corresponding to the object can be calculated, for example, as the position near the road perpendicular line when the perpendicular line in the traveling direction of the road intersects the center of the bottom surface of the object.
なお、絶対座標に基づいてバウンダリーボックスを生成した後に、対応する道路面に対してバウンダリーボックスの底面が並行になるようにバウンダリーボックスを回転させるようにしてもよい。 After the boundary box is generated based on the absolute coordinates, the boundary box may be rotated so that the bottom surface of the boundary box is parallel to the corresponding road surface.
次に、CPU30は、バウンダリーボックス4を基準として、三次元点群データについての分布特性を算出する(ステップS4)。図5に、分布特性の例を示す。ここでは、分布特性として特徴量F1~F16+nを算出している。
Next, the
図6に、特徴量F1~F3を模式的に示す。図において、高さ方向がZ軸、道路の延長方向(三次元点群データ計測時の車の進行方向)がY軸、道路の延長方向と同じ高さの平面においてY軸と直交するのがX軸である。 FIG. 6 schematically shows feature amounts F1 to F3. In the figure, the Z-axis is the height direction, the Y-axis is the extension direction of the road (the traveling direction of the car when measuring 3D point cloud data), and the plane at the same height as the extension direction of the road is perpendicular to the Y-axis. is the X-axis.
特徴量F1は、バウンダリーボックス4のX軸方向幅(横幅という)である。特徴量F2は、バウンダリーボックス4のY軸方向幅(縦幅という)である。特徴量F3は、Z軸方向高さである。
The feature quantity F1 is the width of the
これら特徴量F1~F3は、照明やガードレールなどの横長・縦長の地物を特定するための特徴である。 These feature amounts F1 to F3 are features for specifying horizontally long and vertically long features such as lighting and guardrails.
図7に、特徴量F4の算出を説明する。図7Aに示すように、X軸に沿う所定間隔にて、YZ平面でバウンダリーボックス4を短冊状に区切る。これにより、所定間隔幅の区間D1、D2・・・Dnが得られる。当該各区間D1、D2・・・Dnにおける点の数を計数し、図7Bに示すようにそのヒストグラムを算出する。特徴量F4は、その標準偏差である。
Calculation of the feature amount F4 will be described with reference to FIG. As shown in FIG. 7A, the
特徴量F5は、Y軸に沿う所定間隔にてXZ平面でバウンダリーボックス4を短冊状に区切り、上記と同様にしてヒストグラムの標準偏差を求めたものである。
The feature quantity F5 is obtained by dividing the
これら特徴量F4、F5は、照明柱などの形状に変化のない地物や、照明などの形状変化に富んだ地物を特定するための特徴である。 These feature amounts F4 and F5 are features for specifying a feature such as a lighting pole that does not change in shape, or a feature that has a lot of shape changes such as illumination.
図8に、特徴量F6の算出を説明する。図8に示すように、バウンダリーボックス4を上下に2分割した時、上半分に含まれる点の数と下半分に含まれる点の数の比率を算出する。特徴量F6は、この比率(上半分の点の数/下半分の点の数)である。
Calculation of the feature amount F6 will be described with reference to FIG. As shown in FIG. 8, when the
特徴量F6は、樹木のように幹部と葉部で大きく点の数が変わる地物を特定するための特徴である。 The feature amount F6 is a feature for specifying a feature such as a tree in which the number of points greatly changes between the trunk and the leaf.
図9に、特徴量F7、F8の算出を説明する。特徴量F7は、バウンダリーボックスの横幅(X幅とY幅の広い方)と高さの比率である。特徴量F8は、バウンダリーボックスの縦幅(X幅とY幅の狭い方)と高さの比率である。 Calculation of the feature amounts F7 and F8 will be described with reference to FIG. The feature amount F7 is the ratio of the horizontal width (the wider one of the X width and the Y width) to the height of the boundary box. The feature amount F8 is the ratio of the vertical width (the narrower of the X width and the Y width) to the height of the boundary box.
特徴量F7、F8は、照明やガードレールなどの横長・縦長の地物を特定するための特徴である。 The feature amounts F7 and F8 are features for specifying horizontally long and vertically long features such as lighting and guardrails.
図10に、特徴量F9~F12の算出を説明する。図10に示すように、Z軸に沿う所定間隔にてXY平面でバウンダリーボックスを短冊状に区切る。これにより、所定間隔幅の区間が得られる。点群の横幅(バウンダリーボックス4のX幅とY幅の広い方の方向の幅)の、各区間ごとの最大値を区間横幅とする。全区間において最も広い区間横幅を最大点群横幅とし、最も狭い区間横幅を最小点群横幅とする。特徴量F9は、最大点群横幅-最小点群横幅として算出される。 Calculation of the feature amounts F9 to F12 will be described with reference to FIG. As shown in FIG. 10, the boundary box is divided into strips on the XY plane at predetermined intervals along the Z axis. As a result, sections with a predetermined interval width are obtained. The maximum value for each section of the horizontal width of the point cloud (the width in the wider direction of the X width and the Y width of the boundary box 4) is defined as the section horizontal width. The widest section width in all sections is set as the maximum point cloud width, and the narrowest section width is set as the minimum point cloud width. The feature quantity F9 is calculated as (maximum horizontal width of point cloud - minimum horizontal width of point cloud).
前記各区間における点群の縦幅(バウンダリーボックス4のX幅とY幅の狭い方の方向の幅)の、各区間ごとの最大値を区間縦幅とする。全区間において最も広い区間縦幅を最大点群縦幅とし、最も狭い区間縦幅を最小点群縦幅とする。特徴量F10は、最大点群縦幅-最小点群縦幅として算出される。 The maximum value of the vertical width of the point group in each section (the width in the narrower direction of the X width and the Y width of the boundary box 4) is defined as the section vertical width. Let the widest section vertical width be the maximum point cloud vertical width in all sections, and let the narrowest section vertical width be the minimum point cloud vertical width. The feature quantity F10 is calculated as (maximum point cloud vertical width−minimum point cloud vertical width).
各点の反射強度の最大値を区間ごとに算出し、区間最大反射強度とする。この区間最大反射強度が、所定値以上ある区間の数を計数する。特徴量F11は、この区間の数である。なお、所定値としては、道路標識などの反射率の高い部位とそれ以外の部位とを区別できる程度の値とすることが好ましい。 The maximum value of the reflection intensity at each point is calculated for each section and taken as the section maximum reflection intensity. The number of sections in which the section maximum reflection intensity is greater than or equal to a predetermined value is counted. The feature quantity F11 is the number of this section. It should be noted that the predetermined value is preferably a value that can distinguish a highly reflective portion such as a road sign from other portions.
区間ごとに点密度を算出する。最も点密度の高かった区間の点密度が、特徴量F12である。 Calculate the point density for each section. The point density of the section with the highest point density is the feature quantity F12.
特徴量F9、F10は、標識のように突き出た部分がある地物を特定するための特徴である。特徴量F11は、標識などの反射強度の強い部分のある地物を特定するための特徴である。特徴量F12は、点の集中する地点の密度から人工構造物(照明など)と自然物(樹木など)を区別するための特徴である。 The feature quantities F9 and F10 are features for identifying features with protruding portions such as signs. The feature amount F11 is a feature for identifying a feature having a portion with high reflection intensity, such as a sign. The feature quantity F12 is a feature for distinguishing an artificial structure (lighting etc.) from a natural object (tree etc.) based on the density of points where points are concentrated.
図11に、特徴量F13の算出を説明する。三次元点群データの近似直線を算出する。この近似直線の法線ベクトルVを求め、法線ベクトルVがZ軸となす角度を算出する。特徴量F13は、この角度である。 Calculation of the feature amount F13 will be described with reference to FIG. Calculate the approximate straight line of the 3D point cloud data. A normal vector V of this approximate straight line is obtained, and an angle between the normal vector V and the Z axis is calculated. The feature amount F13 is this angle.
図12に、特徴量F14の算出を説明する。図12に示すように、Z軸に沿う所定間隔にてXY平面でバウンダリーボックスを短冊状に区切る。これにより、所定間隔幅の区間が得られる。各区間ごとに、三次元点群データの近似直線を算出し、その法線ベクトルV1~Vnを算出する。これら法線ベクトルV1~VnがZ軸となす角度を算出する。この各区間における角度の標準偏差を算出する。特徴量F14は、この標準偏差である。 Calculation of the feature amount F14 will be described with reference to FIG. As shown in FIG. 12, the boundary box is divided into strips on the XY plane at predetermined intervals along the Z axis. As a result, sections with a predetermined interval width are obtained. An approximate straight line of the three-dimensional point cloud data is calculated for each section, and its normal vectors V1 to Vn are calculated. The angle between these normal vectors V1 to Vn and the Z axis is calculated. A standard deviation of angles in each interval is calculated. The feature quantity F14 is this standard deviation.
特徴量F13、F14は、ベクトルを算出することで柱状地物や面的な地物を特定するための特徴である。 The feature amounts F13 and F14 are features for specifying a columnar feature or a planar feature by calculating a vector.
図13に、特徴量F15の算出を説明する。図12に示すように、Z軸に沿う所定間隔にてXY平面でバウンダリーボックスを短冊状に区切る。各XY平面における点群データの断面積を算出する。下側からXY平面における断面積の変化をみて、累積変化量を算出する。特徴量F15は、この累積変化量である。 Calculation of the feature amount F15 will be described with reference to FIG. As shown in FIG. 12, the boundary box is divided into strips on the XY plane at predetermined intervals along the Z axis. A cross-sectional area of point cloud data on each XY plane is calculated. The change in the cross-sectional area on the XY plane is observed from the bottom to calculate the cumulative change amount. The feature amount F15 is this cumulative change amount.
特徴量F15は、どれだけ形状に変化があるかを示す指標である。 The feature amount F15 is an index indicating how much the shape changes.
この実施形態では、上記に加えて、テンプレートマッチング(形状比較)を行った際の一致率も特徴量として用いている。認識対象であるそれぞれの地物の基準となる三次元点群データを用意しておき、学習用元データ(三次元点群データ)が、この各地物の基準三次元点群データと類似する度合い(一致率)を算出する。この一致率が特徴量F16~F16+nである。この例では、n個の(地物の)基準三次元点群データを用意しているので、特徴量F16~F16+nまで、n個の特徴が算出されることになる。 In this embodiment, in addition to the above, the matching rate when template matching (shape comparison) is performed is also used as a feature amount. Prepare 3D point cloud data as a reference for each feature to be recognized, and the degree of similarity between the original data for learning (3D point cloud data) and the reference 3D point cloud data for each feature (Concordance rate) is calculated. This match rate is the feature quantity F16 to F16+n. In this example, since n reference three-dimensional point cloud data (of features) are prepared, n features are calculated from feature amounts F16 to F16+n.
たとえば、交通島、分離帯、植栽および防雪林、標識柱・表示板、照明柱、道路反射鏡、信号機、ガードレール、電柱、ポールコーン、視線誘導標、踏切、施設・建物、フェンスなどのテンプレートを用意してこれらとの一致率を算出して用いることができる。 For example, templates for traffic islands, dividers, plants and snow forests, signposts/display boards, lighting poles, road reflectors, traffic lights, guardrails, utility poles, pole cones, delineators, railroad crossings, facilities/buildings, fences, etc. can be prepared and the rate of matching with these can be calculated and used.
以上のようにして、学習用元データ(オブジェクトの三次元点群データ)について、分布特性を算出すると、CPU30は、オブジェクトの地物名(信号機など)を属性として付与する(ステップS5)。したがって、1つの学習用元データに対して、特徴量F1~F16+nおよび地物名が学習用データとして生成されることになる。
After calculating the distribution characteristics of the learning source data (three-dimensional point cloud data of the object) as described above, the
CPU30は、この処理を、全ての学習用元データについて繰り返し、多数の学習用データを生成する(ステップS2、S6)。このようにして生成された学習用データの例を、図14に示す。それぞれの学習用元データ(3次元点群データD1、D2・・・Dn)に対して、算出された特徴量が記録されている。また、全ての属性の学習用元データが与えられているだけでなく、同じ属性のオブジェクトについて多数の学習用元データが与えられているので、これに基づく学習データも多数生成されることになる。
The
次に、CPU30は、生成した学習用データに基づいて学習を行う。この実施形態では、以下に示すようにランダムフォレストによる機械学習を行うようにしている。そのフローチャートを図15に示す。
Next, the
CPU30は、図14に示す三次元点群データD1、D2・・・Dnから、所定数の三次元点群データをランダムに選択してデータセットをm個生成する(ステップS11)。したがって、図14の下段に示すようなm個のデータセットが生成される。
The
次に、CPU30は、決定木作成に用いるための特徴を、上記特徴F1~F16+nの中から、ランダムに所定個p選択する(ステップS13)。CPU30は、対象となるデータセットについて、選択されたp個の特徴に基づいて、オブジェクトの種類を分離して決定するための決定木を生成する(ステップS14)。
Next, the
決定木の生成は、ランダムフォレストの手法を用いることができる。概要を示すと以下のとおりである。 A random forest technique can be used to generate the decision tree. The outline is as follows.
CPU30は、対象とするデータセットに基づいて、これらに含まれるオブジェクトの種類を適切に分離することのできる識別子を、ステップS13にて選択したp個の特徴を用いて生成する。
Based on the data set of interest, the
たとえば、図16に示すような三次元点群データがあったとする。CPU30は、各特徴についてしきい値を変化させて、分離の度合いを検討する。
For example, assume that there is three-dimensional point cloud data as shown in FIG.
たとえば、特徴F1を用いてしきい値を9として、三次元点群データを2つに分離すると、しきい値9以上はD6、D7であり、しきい値9未満はD1~D5である。建物であるD5、D6、D7について分離が上手くなされていない。
For example, if the threshold value is set to 9 using the feature F1 and the three-dimensional point cloud data is separated into two, the values equal to or greater than the
特徴F3を用いてしきい値を9として、三次元点群データを2つに分離すると、しきい値9以上はD6であり、しきい値9未満はD1~D5、D7である。この場合も、建物であるD5、D6、D7について分離が上手くなされていない。
If the threshold is set to 9 using the feature F3 and the three-dimensional point cloud data is separated into two, the
特徴F3を用いてしきい値を5として、三次元点群データを2つに分離すると、しきい値9以上はD2、D5、D6、D7であり、しきい値9未満はD1、D3、D4である。前者には照明、建物のみが含まれ、後者には標識、ポストのみが含まれている。したがって、上記の場合であれば、「特徴F3が5以上であること」という識別子が最も好ましいものとして決定されることになる。 Using the feature F3 and setting the threshold to 5, the three-dimensional point cloud data is separated into two. is D4. The former includes only lighting and buildings, while the latter includes only signs and posts. Therefore, in the above case, the identifier "feature F3 is 5 or more" is determined as the most preferable identifier.
具体的には、二分木のノードについて、各特徴Fとしきい値について三次元点群データを評価した際のエントロピーが最も小さくなる特徴Fとしきい値を識別子として決定する。 Specifically, for each node of the binary tree, the feature F and the threshold that minimize the entropy when the three-dimensional point cloud data is evaluated for each feature F and the threshold are determined as identifiers.
さらに、F3が5未満であるD1、D3、D4について、各特徴についてしきい値を変化させて、最も適切に分離ができる識別子を見いだす。同様に、F3が5以上であるD2、D5、D6、D7についても、適切な識別子を見いだす。このようにして、図17に示すような決定木を生成する。 Furthermore, for D1, D3, and D4 where F3 is less than 5, the threshold is varied for each feature to find the identifiers that provide the best separation. Similarly, for D2, D5, D6 and D7 where F3 is greater than or equal to 5, find the appropriate identifiers. Thus, a decision tree as shown in FIG. 17 is generated.
決定木の階層の深さは、図17に示すように、オブジェクトの分類名でこれ以上分離できなくなるまで、あるいは、所定の階層深さに達するまでとしている。 The depth of the hierarchy of the decision tree is, as shown in FIG. 17, until the objects cannot be further separated by the classification name, or until the predetermined hierarchy depth is reached.
このようにして、対象となるデータセットについて決定木を生成すると、次のデータセットについて決定木を生成する。この際に用いる特徴セットは、ランダムに選択され、前回と異なるものである(ステップS13)。この処理を繰り返すことで(ステップS12、S15)、全てのデータセットに関して、決定木が生成される。すなわち、複数の決定木が生成される。 After generating the decision tree for the target data set in this way, the decision tree is generated for the next data set. The feature set used at this time is randomly selected and different from the previous one (step S13). By repeating this process (steps S12 and S15), decision trees are generated for all data sets. That is, multiple decision trees are generated.
それぞれの決定木は、三次元点群データの特徴を与えることにより、当該特徴を持つ三次元点群データがいずれの種類のオブジェクトであるかを推定することができるものである。 Each decision tree makes it possible to estimate which type of object the 3D point cloud data having the feature is by giving the feature of the 3D point cloud data.
以上のようにして、認識装置の学習が完了する。この認識装置によって、与えられた三次元点群データがどの種類のオブジェクトであるかを推定する場合には、当該三次元点群データの特徴F1~F16+nを算出し、これを上記の各決定木に与える。各決定木による推定結果の多数決をとることにより、与えられた三次元点群データのオブジェクトの種類を推定することができる。 As described above, the learning of the recognition device is completed. When estimating which type of object the given three-dimensional point cloud data is, this recognition device calculates the features F1 to F16+n of the three-dimensional point cloud data, and uses them as the above decision trees. give to The type of object of the given 3D point cloud data can be estimated by taking the majority of the estimation results from each decision tree.
1.4その他
(1)上記実施形態では、テンプレートマッチングによる一致率を分布特性として学習データとして用いている。しかし、テンプレートマッチングによる一致率を用いないようにしてもよい。
1.4 Miscellaneous
(1) In the above embodiment, the matching rate by template matching is used as learning data as a distribution characteristic. However, the matching rate by template matching may not be used.
(2)上記実施形態では、識別子を決定する際に、各特徴についてしきい値を変動させて最適なしきい値を見いだすようにしている。しかし、各特徴について、予めしきい値を決定し固定しておいてもよい。 (2) In the above embodiment, when determining the identifier, the threshold is varied for each feature to find the optimum threshold. However, the threshold may be determined and fixed in advance for each feature.
(3)上記実施形態では、三次元点群データについて説明した。しかし、二次元点群データについても同様に適用することができる。 (3) In the above embodiment, three-dimensional point cloud data has been described. However, it can be similarly applied to two-dimensional point cloud data.
(4)上記実施形態では、計測して得た三次元点群データに基づいて特徴量を算出し学習用データとしている。しかし、計測して得た三次元点群データの点密度を変えるなどの加工を施したものに基づいて特徴量を算出して学習用データとしてもよい。また、計測したものではなく、三次元CADデータなどから生成した三次元点群データに基づいて特徴量を算出して学習用データとしてもよい。 (4) In the above embodiment, the feature amount is calculated based on the three-dimensional point cloud data obtained by measurement and used as learning data. However, the feature amount may be calculated based on the three-dimensional point cloud data obtained by measurement and processed such as by changing the point density, and used as learning data. Further, instead of the measured data, the feature amount may be calculated based on three-dimensional point cloud data generated from three-dimensional CAD data or the like, and used as learning data.
(5)上記実施形態では、地物のオブジェクトについて説明した。しかし、自動車などその他のオブジェクトを測定した三次元点群データについても適用することができる。 (5) In the above embodiment, a feature object has been described. However, it can also be applied to three-dimensional point cloud data obtained by measuring other objects such as automobiles.
(6)上記実施形態では、道路面を基準として(道路面とバウンダリーボックスの底面が一致するように)バウンダリーボックスを生成している。しかし、絶対的な座標を基準としてバウンダリーボックスを生成するようにしてもよい。この場合であっても、バウンダリーボックスを基準として三次元点群データの分布を特徴として抽出することができ、バウンダリーボックスを用いない場合に比べて認識精度を向上させることができる。 (6) In the above embodiment, the boundary box is generated based on the road surface (so that the road surface and the bottom surface of the boundary box match). However, the boundary box may be generated based on absolute coordinates. Even in this case, the distribution of the 3D point cloud data can be extracted as a feature based on the boundary box, and the recognition accuracy can be improved compared to the case where the boundary box is not used.
(7)上記実施形態では、三次元点群データを内包する直方体をバウンダリーボックスとして生成している。しかし、多角柱や円柱あるいはその他の形状の三次元領域をバウンダリーボックスとして生成するようにしてもよい。 (7) In the above embodiment, a rectangular parallelepiped containing three-dimensional point cloud data is generated as a boundary box. However, polygonal prisms, cylinders, or other shaped three-dimensional regions may be generated as boundary boxes.
(8)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。
(8) The above embodiments and modifications can be implemented in combination with other embodiments as long as they do not contradict their essence.
2.第2の実施形態
2.1全体構成
図18に、この発明の一実施形態による認識装置を示す。三次元点群データ取得手段10は、認識対象物を測定した三次元点群データを取得する。分布特性算出手段12は、三次元点群データを内包する直方体を基準として、三次元点群データにおける点群の分布特性を数値として算出する。推定手段14は、算出した分布特性の数値に基づいて、対象物を推定する。
2. Second embodiment
2.1 Overall Configuration FIG. 18 shows a recognition device according to an embodiment of the present invention. A three-dimensional point cloud data acquisition means 10 acquires three-dimensional point cloud data obtained by measuring a recognition object. The distribution characteristic calculation means 12 calculates, as a numerical value, the distribution characteristic of the point cloud in the three-dimensional point cloud data with reference to the cuboid containing the three-dimensional point cloud data. The estimating means 14 estimates the object based on the calculated numerical values of the distribution characteristics.
なお、推定手段14は、ランダムフォレストなどの機械学習によって形成してもよいし、その他のアンサンブル学習法によって形成してもよい。また、深層学習によって形成してもよい。さらに、確定的な論理構造(1つの決定木など)によって推論を行うようにしてもよい。 The estimating means 14 may be formed by machine learning such as random forest, or may be formed by other ensemble learning methods. Alternatively, it may be formed by deep learning. In addition, inference may be made with a deterministic logical structure (such as a single decision tree).
2.2ハードウエア構成
ハードウエア構成は、第1の実施形態と同様である。
2.2 Hardware Configuration The hardware configuration is the same as in the first embodiment.
2.3推定処理
図19に、認識プログラム48の推定処理のフローチャートを示す。この実施形態では、主としてランダムフォレストによって機械学習を行った認識装置を用いている。
2.3 Estimation Processing FIG. 19 shows a flowchart of estimation processing of the
以下では、測定した三次元点群データに表れたオブジェクトがいずれの地物に該当するかを認識する処理を説明する。 In the following, a process of recognizing which feature an object appearing in the measured three-dimensional point cloud data corresponds to will be described.
CPU30は、ハードディスク38に記録されている三次元点群データをメモリ32に展開する(ステップS21)。この三次元点群データ32は、可搬性記録媒体52に記録されていたものを、記録媒体ドライブ44を介して、ハードディスク38に取り込んだものである。また、この実施形態では、三次元点群データ32としてモービル・マッピング・システム(MMS)によって取得したデータを用いている。MMSでは、自動車などにレーザスキャナ・GPS受信機を搭載し、走行しながら路面や地物などの三次元形状を三次元点群データとして得ることができる。また、この実施形態では、レーザの反射強度を、三次元点群データの各点の属性として記録している。さらに、自動車などの走行軌跡も併せてデータとして記録している。
The
図20に、三次元点群データの例を示す。道路、地物の表面の形状が三次元点群によって表されたデータとなっている。 FIG. 20 shows an example of three-dimensional point cloud data. The shape of the surface of roads and features is data represented by three-dimensional point clouds.
次に、CPU30は、この三次元点群データから地盤点を抽出する(ステップS22)。図21に、地盤点抽出処理のフローチャートを示す。CPU30は、クロスシミュレーション手法によって地盤点を抽出する(ステップS221)。クロスシミュレーション手法は、以下のとおりである。三次元点群データの標高値を反転する。たとえば、図22Aに示すような断面の三次元点群デーがあれば、図22Bに示すような反転三次元点群データが得られる。
Next, the
次に、CPU30は、反転三次元点群データに対して上方向から布をかけたようにシミュレーションを行う。図22Cに、シミュレーションされた布を破線にて示す。続いて、CPU30は、当該シミュレーションされた布が接する三次元点群データを地盤点として抽出する。次に、CPU30は標高値を再反転して、図22Dに示すような地盤点を得る。
Next, the
このようにして抽出された地盤点は、概ね正確であるが、図22Dに示すように、地物の存在する近傍60において一部地物を含んでしまうことがある。そこで、抽出された各地盤点によって形成される線の法線方向を算出し、当該法線方向が上下方向に対して所定角度以上(たとえば30度以上)の部分を地盤点から除く(ステップS222)。これにより、図22Eに示すような地盤点を得ることができる。
The ground points extracted in this way are generally accurate, but may include some features in the
なお、この実施形態では、地盤点抽出にクロスシミュレーションを用いたが、最下点抽出方法など他の方法によって地盤点を抽出してもよい。 In this embodiment, cross simulation is used for ground point extraction, but ground points may be extracted by other methods such as the lowest point extraction method.
以上のようにして地盤点を抽出すると、CPU30は、三次元点群データから地盤点を取り除く(ステップS23)。これにより、地盤の上に存在するオブジェクトのみの三次元点群データが得られる。
After extracting the ground points as described above, the
次に、CPU30は、この三次元点群データを塊ごとにオブジェクトにまとめる(ステップS23)。三次元空間をグリッドで分割し、上下左右斜めに隣接するグリッドに点が存在する場合、これらを一つにまとめていく処理を行い、オブジェクトを見いだしていく。この処理としては、たとえば、コネクテッド・コンポーネントを用いた空間ラベリングの手法を用いることができる。そして、各オブジェクトを内包するバウンダリーボックスを生成する。図23に、見いだされたオブジェクトとバウンダリーボックスの例を示す。
Next, the
次に、CPU30は、バウンダリーボックスに囲われた各オブジェクトの種類を推定する。まず、カルバート、シェッド、シェルター、トンネルの推定を行う(ステップS24)。図24に、そのフローチャートを示す。
Next, the
CPU30は、車道を覆う(車道の三次元点群データと同じXY座標を持ち、Z座標値が異なる)三次元点群データを抽出する(ステップS241)。なお、車道の三次元点群データは、たとえば、図29に示すように、走行軌跡Dを含む平面(高低差が所定値以下の点群)Cとして抽出することができる(操作者がマウスなどによって手動で指定した領域にによって抽出するようにしてもよい)。
The
次に、CPU30は、走行軌跡に垂直な横断面を所定間隔で設定する。たとえば、図25Aに示すように、点c1、c2、c3における横断面を設定する。CPU30は、図25Bに示すように、それぞれの横断面におけるオブジェクトの断面を得て(ステップS243)、これらの形状の一致度を比較する。各断面におけるオブジェクトの形状の一致度が所定値以上であり、同一の形状が連続していると判断できる場合には、このオブジェクトを、「カルバート、シェッド、シェルター、トンネル」であると推定する(ステップS244、S245)。
Next, the
上記の処理を、ステップS241にて抽出した全てのオブジェクトについて行う(ステップS242、S246)。以上のようにして、トンネル等の推定を行うことができる。 The above processing is performed for all the objects extracted in step S241 (steps S242 and S246). As described above, it is possible to estimate a tunnel or the like.
次に、CPU30は、擁壁の推定を行う(ステップS25)。図26に、そのフローチャートを示す。CPU30は、車道の端に存在する(車道の端部に連続し、走行軌跡に沿う方向に伸びている)オブジェクト(三次元点群データ)を抽出する(ステップS251)。
Next, the
次に、CPU30は、RANSACによって外れ値を除外しつつ、最小二乗法により、抽出したオブジェクトおよび車道の近似平面を算出する(ステップS253)。次に、CPU30は、抽出オブジェクトの近似平面と、車道の近似平面とのなす角度を算出し、これが所定値以上であるかどうかを判断する(ステップS254)。この実施形態では、図27に示すように、車道の近似平面の法線ベクトルAと、抽出オブジェクトの近似平面の法線ベクトルBのなす角度を算出するようにしている。
Next, the
角度が所定値以上であれば、CPU30は、抽出オブジェクトを「擁壁」であると推定する(ステップS255)。
If the angle is greater than or equal to the predetermined value,
上記の処理を、ステップS251にて抽出した全てのオブジェクトについて行う(ステップS252、S256)。以上のようにして、擁壁の推定を行うことができる。 The above processing is performed for all the objects extracted in step S251 (steps S252 and S256). Retaining walls can be estimated in the manner described above.
なお、トンネルや擁壁の推定が正確に行えない場合もある。したがって、CPU30が推定したオブジェクトをディスプレイ上に候補として提示し、操作者が確認入力を行って決定するようにしてもよい。
It should be noted that there are cases where the estimation of tunnels and retaining walls cannot be performed accurately. Therefore, the object estimated by the
次に、CPU30は、ステップS23にて抽出したオブジェクトのうち、まだ種類が推定されていないオブジェクトについて、オブジェクトの位置・高さに基づいてその種類の推定を行う(ステップS26)。図28に、その判断基準を示す。この例では、オブジェクトをグループA~Eに分けるように推定している。
Next, the
交通島と分離帯はグループAとして、車道の中央付近に存在するオブジェクトとして抽出することができる。車道の中央付近に存在するかどうかは、たとえば、バウンダリーボックスのXY中心座標が、車道の中心線から車道幅の1/6以内に位置するかどうかによって判断することができる。 Traffic islands and dividers can be extracted as group A, as objects existing near the center of the roadway. Whether or not it exists near the center of the roadway can be determined, for example, by whether the XY center coordinates of the boundary box are located within 1/6 of the width of the roadway from the centerline of the roadway.
歩道橋はグループBとして、歩道付近から車道上空を横断するオブジェクトとして抽出することができる。なお、歩道は、図29に示すように、三次元点群データの走行軌跡に垂直な断面において、車道Cに所定値以上の段差をもって隣接する平坦な領域WとしてCPU30によって抽出することができる。また、操作者が、三次元点群データを見ながら、マウスなどによって指定して抽出してもよい。
Pedestrian bridges can be extracted as group B as objects crossing over the roadway from the vicinity of the sidewalk. As shown in FIG. 29, the sidewalk can be extracted by the
なお、グループBには歩道橋のみが含まれるので、グループBとして抽出できたオブジェクトは、歩道橋であると推定することができる。 Since only pedestrian bridges are included in group B, it can be estimated that the objects extracted as group B are pedestrian bridges.
施設・建物はグループCとして、車道から所定距離以上離れており、バウンダリーボックスの容積が所定値より大きいオブジェクトとして抽出することができる。 Facilities/buildings can be extracted as group C objects that are separated from the road by a predetermined distance or more and whose boundary box volume is larger than a predetermined value.
なお、グループCには施設・建物のみが含まれるので、グループCとして抽出できたオブジェクトは、施設・建物であると推定することができる。 Since group C includes only facilities/buildings, it can be assumed that the objects extracted as group C are facilities/buildings.
ガードレール、ポールコーン、視線誘導標はグループDとして、車道付近に存在する所定高さ以下のオブジェクトとして抽出することができる。車道の中央部以外にあるか、あるいは車道の端部から所定距離(たとえば1m)内にあり、バウンダリーボックスが所定高さ(たとえば1m)より低いオブジェクトとして抽出できる。 Guardrails, pole cones, and delineators can be extracted as group D as objects of a predetermined height or less existing near the roadway. Objects located outside the center of the roadway or within a predetermined distance (eg, 1 m) from the edge of the roadway and whose boundary box is lower than a predetermined height (eg, 1 m) can be extracted.
植栽及び防雪林、標識柱・表示板、照明柱、道路反射板、信号機、電柱、踏切、フェンスはグループEとして、車道付近に存在するオブジェクト(グループDのオブジェクトを除く)として抽出することができる。 Plants and snow protection forests, signposts/display boards, lighting poles, road reflectors, traffic lights, utility poles, railroad crossings, and fences are group E, and can be extracted as objects existing near the roadway (excluding group D objects). can.
CPU30は、上記の判断基準に従って、オブジェクトをグループA~Eに分類する。これにより、歩道橋(グループB)、施設・建物(グループC)を推定することができる。
The
次に、CPU30は、上記のグループA、D、Eのオブジェクトのそれぞれについて、機械学習による推定を行う(ステップS27)。この実施形態においては、ランダムフォレストを用いて推定を行うようにしている。
Next, the
グループAのオブジェクトには、交通島と分離帯が含まれている。したがって、第1の実施形態に示す処理にて、交通島と分離帯の多数のオブジェクトにて学習させた複数の決定木を用いて推定処理を行う。 Group A objects include islands and dividers. Therefore, in the processing shown in the first embodiment, the estimation processing is performed using a plurality of decision trees learned by a large number of objects of traffic islands and dividers.
まず、CPU30は、グループAとして抽出されたオブジェクトについて、既に設定されているバウンダリーボックスを基準として、三次元点群データの分布特性を算出する(ステップS274)。この実施形態では、図5に示すような特徴量F1~F16+nを分布特性として算出するようにしている。その算出処理は、第1の実施形態において説明したとおりである。
First, the
次に、CPU30は、算出した特徴量F1~F16+nに基づいて、当該オブジェクトの種類を推定する(ステップS275)。図31に、推定処理のフローチャートを示す。
Next, the
CPU30は、学習によって生成されている複数の決定木のそれぞれに基づいて、必要な特徴量を与えて、決定木ごとのオブジェクトの種類の推定結果を得る(ステップS281~S283)。
Based on each of the plurality of decision trees generated by learning, the
このようにして複数の推定結果を得た後、CPU30は、多数決によって最終的な推定結果を得る(ステップS284)。ここでは、「交通島」か「分離帯」のいずれかが得られることになる。CPU30は、得られた推定結果を、当該オブジェクトの属性として付与する。
After obtaining a plurality of estimation results in this manner,
上記のようにして一つのオブジェクトについて推定結果を得る。CPU30は、グループAに属する全てのオブジェクトについて、繰り返して処理を行って推定結果を得る。
An estimation result is obtained for one object as described above. The
CPU30は、グループAの全てのオブジェクトについて推定結果を得ると、他のグループについても同様の処理にて推定を行う。なお、グループDのオブジェクトを推定する場合には、「ガードレール」「ポールコーン」「視線誘導標」のオブジェクトによって学習した決定木を用いる。グループEのオブジェクトを推定する場合には、「植栽及び防雪林」「標識柱・表示板」「照明柱」「道路反射板」「信号機」「電柱」「踏切」「フェンス」のオブジェクトによって学習した決定木を用いる。
When the
上記のようにして、測定した三次元点群データからオブジェクトを抽出してその種類を属性として付与することができる。 As described above, objects can be extracted from the measured three-dimensional point cloud data and their types can be given as attributes.
2.4その他
(1)上記実施形態では、テンプレートマッチングによる一致率を分布特性として学習データとして用いている。しかし、テンプレートマッチングによる一致率を用いないようにしてもよい。
2.4 Miscellaneous
(1) In the above embodiment, the matching rate by template matching is used as learning data as a distribution characteristic. However, the matching rate by template matching may not be used.
(2)上記実施形態では、識別子を決定する際に、各特徴についてしきい値を変動させて最適なしきい値を見いだすようにしている。しかし、各特徴について、予めしきい値を決定し固定しておいてもよい。 (2) In the above embodiment, when determining the identifier, the threshold is varied for each feature to find the optimum threshold. However, the threshold may be determined and fixed in advance for each feature.
(3)上記実施形態では、三次元点群データについて説明した。しかし、二次元点群データについても同様に適用することができる。 (3) In the above embodiment, three-dimensional point cloud data has been described. However, it can be similarly applied to two-dimensional point cloud data.
(4)上記実施形態では、ステップS284において推定結果を多数決によって統合するようにしている。しかし、ウエイトづけを行って最終結果を導くようにしてもよい。たとえば、テンプレートマッチングの特徴量を識別子に含む決定木の推論結果と、そうでない決定木の推論結果でウエイトを変えて最終結果を導くようにしてもよい(たとえば、前者のウエイトを高くする)。 (4) In the above embodiment, in step S284, the estimation results are integrated by majority vote. However, weighting may be applied to guide the final result. For example, the final result may be derived by giving different weights to decision tree inference results that include template matching features in their identifiers and decision tree inference results that do not (for example, the weight of the former is increased).
(6)上記実施形態では、MMSによって計測した三次元点群データを用いている。しかし、その他固定型レーザスキャナなどによって計測した三次元点群データを用いてもよい。 (6) In the above embodiment, three-dimensional point cloud data measured by MMS is used. However, three-dimensional point cloud data measured by a stationary laser scanner or the like may also be used.
(7)上記実施形態では、道路進行方向を計測時の軌跡によって判断している。しかし、道路として抽出した部分の延長方向や認識した白線の方向などによって判断するようにしてもよい。また、操作者が画面を確認しながらマウスなどによって指定したものであってもよい。 (7) In the above embodiment, the traveling direction of the road is determined by the trajectory at the time of measurement. However, the determination may be made based on the extension direction of the portion extracted as the road, the direction of the recognized white line, or the like. Alternatively, it may be specified by the operator using a mouse or the like while checking the screen.
(8)上記実施形態では、ランダムフォレストによる機械学習によって推定手段を構築するようにしている。しかし、その他の教師データを用いた機械学習によって推定手段を構築するようにしてもよい。また、深層学習や論理的推論を用いて推定手段を構築するようにしてもよい。 (8) In the above embodiment, the estimation means is constructed by machine learning based on random forest. However, the estimation means may be constructed by machine learning using other teacher data. Alternatively, the estimation means may be constructed using deep learning or logical reasoning.
(9)上記実施形態では、一つのコンピュータによって認識装置を構成している。しかし、端末装置から三次元点群データを受け取って推定を行うサーバ装置として構築してもよい。 (9) In the above embodiment, one computer constitutes the recognition device. However, it may be constructed as a server device that receives three-dimensional point cloud data from a terminal device and performs estimation.
(10)上記実施形態では、地物のオブジェクトについて説明した。しかし、自動車などその他のオブジェクトを測定した三次元点群データについても適用することができる。 (10) In the above embodiment, a feature object has been described. However, it can also be applied to three-dimensional point cloud data obtained by measuring other objects such as automobiles.
(11)上記実施形態では、三次元点群データを内包する直方体をバウンダリーボックスとして生成している。しかし、その他の多角柱や円柱などの三次元領域をバウンダリーボックスとして生成するようにしてもよい。 (11) In the above embodiment, a rectangular parallelepiped containing three-dimensional point cloud data is generated as a boundary box. However, other three-dimensional areas such as polygonal prisms and cylinders may be generated as boundary boxes.
(12)上記実施形態では、反射強度を属性として付与するようにしている。しかし、これを付与しないようにしてもよい。また、カメラなどによって撮像したRGBの色情報等を属性として与えて学習を行っておき、これらの属性も考慮して推定を行うようにしてもよい。その属性を用いて学習を行い、推定を行うようにしてもよい。 (12) In the above embodiment, reflection intensity is given as an attribute. However, this may not be granted. Alternatively, RGB color information captured by a camera or the like may be given as attributes for learning, and estimation may be performed in consideration of these attributes as well. The attributes may be used for learning and estimation.
(13)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。 (13) The above embodiments and modifications can be implemented in combination with other embodiments as long as they do not contradict their essence.
Claims (23)
対象物を測定した三次元点群データを取得するデータ取得手段と、
前記対象物の三次元点群データを内包する三次元領域を定義する領域生成手段と、
前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、
算出した分布特性の数値に基づいて、対象物を推定する推定手段と、
を備えた認識装置において、
前記推定手段は、前記対象物を示す三次元点群データが、少なくとも車道の中央部分にあるか否かの位置に基づいて当該対象物を示す三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って学習済モデルを形成し、前記対象物を示す前記三次元点群データの属するグループに対応する学習済モデルを用いて対象物を推定することを特徴とする認識装置。 A recognition device for distinguishing and recognizing objects,
a data acquisition means for acquiring three-dimensional point cloud data obtained by measuring an object;
a region generating means for defining a three-dimensional region containing the three-dimensional point cloud data of the object;
Distribution characteristic calculation means for calculating numerically the distribution characteristic of the point cloud in the three-dimensional point cloud data with reference to the three-dimensional region containing the three-dimensional point cloud data of the object;
an estimating means for estimating an object based on the calculated numerical value of the distribution characteristic;
In a recognizer comprising
The estimating means groups the three-dimensional point cloud data representing the object based on whether or not the three-dimensional point cloud data representing the object is at least in the central portion of the roadway, and divides the three-dimensional point cloud data representing the object into groups. Machine learning or deep learning is performed to form a learned model, and the object is estimated using the learned model corresponding to the group to which the three-dimensional point cloud data representing the object belongs. Device.
対象物を測定した三次元点群データを取得するデータ取得手段と、
前記対象物の三次元点群データを内包する三次元領域を定義する領域生成手段と、
前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、
算出した分布特性の数値に基づいて、対象物を推定する推定手段として機能させるための認識プログラムにおいて、
前記推定手段は、前記対象物を示す三次元点群データが、少なくとも車道の中央部分にあるか否かの位置に基づいて当該対象物を示す三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って学習済モデルを形成し、前記対象物を示す前記三次元点群データの属するグループに対応する学習済モデルを用いて対象物を推定することを特徴とする認識プログラム。 A recognition program for realizing a recognition device for distinguishing and recognizing objects by a computer, the computer comprising:
a data acquisition means for acquiring three-dimensional point cloud data obtained by measuring an object;
a region generating means for defining a three-dimensional region containing the three-dimensional point cloud data of the object;
Distribution characteristic calculation means for calculating numerically the distribution characteristic of the point cloud in the three-dimensional point cloud data with reference to the three-dimensional region containing the three-dimensional point cloud data of the object;
In a recognition program for functioning as an estimation means for estimating an object based on the calculated numerical value of the distribution characteristics,
The estimating means groups the three-dimensional point cloud data representing the object based on whether or not the three-dimensional point cloud data representing the object is at least in the central portion of the roadway, and divides the three-dimensional point cloud data representing the object into groups. Machine learning or deep learning is performed to form a learned model, and the object is estimated using the learned model corresponding to the group to which the three-dimensional point cloud data representing the object belongs. program.
モービル・マッチング・システムによって走行しながら対象物を測定した三次元点群データを取得するデータ取得手段と、
前記対象物の三次元点群データを内包する三次元領域を定義する領域生成手段と、
前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、
算出した分布特性の数値に基づいて、対象物を推定する推定手段と、
を備えた認識装置において、
前記分布特性算出手段は、少なくとも三次元点群データの形状を用いたテンプレートマッチングによる合致率も分布特性として算出し、
前記推定手段は、前記対象物を示す三次元点群データが、少なくとも車道の中央部分にあるか否かの位置に基づいて当該対象物を示す三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って学習済モデルを形成し、前記対象物を示す前記三次元点群データの属するグループに対応する学習済モデルを用いて対象物を推定することを特徴とする認識装置。 A recognition device for distinguishing and recognizing objects,
a data acquisition means for acquiring three-dimensional point cloud data obtained by measuring an object while traveling by a mobile matching system;
a region generating means for defining a three-dimensional region containing the three-dimensional point cloud data of the object;
Distribution characteristic calculation means for calculating numerically the distribution characteristic of the point cloud in the three-dimensional point cloud data with reference to the three-dimensional region containing the three-dimensional point cloud data of the object;
an estimating means for estimating an object based on the calculated numerical value of the distribution characteristic;
In a recognizer comprising
The distribution characteristic calculation means also calculates a match rate by template matching using at least the shape of the three-dimensional point cloud data as a distribution characteristic,
The estimating means groups the three-dimensional point cloud data representing the object based on whether or not the three-dimensional point cloud data representing the object is at least in the central portion of the roadway, and divides the three-dimensional point cloud data representing the object into groups. Machine learning or deep learning is performed to form a learned model, and the object is estimated using the learned model corresponding to the group to which the three-dimensional point cloud data representing the object belongs. Device.
モービル・マッチング・システムによって走行しながら対象物を測定した三次元点群データを取得するデータ取得手段と、
前記対象物の三次元点群データを内包する三次元領域を定義する領域生成手段と、
前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、
算出した分布特性の数値に基づいて、対象物を推定する推定手段として機能させるための認識プログラムにおいて、
前記分布特性算出手段は、少なくとも三次元点群データの形状を用いたテンプレートマッチングによる合致率も分布特性として算出し、
前記推定手段は、前記対象物を示す三次元点群データが、少なくとも車道の中央部分にあるか否かの位置に基づいて当該対象物を示す三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って学習済モデルを形成し、前記対象物を示す前記三次元点群データの属するグループに対応する学習済モデルを用いて対象物を推定することを特徴とする認識プログラム。 A recognition program for realizing a recognition device for distinguishing and recognizing objects by a computer, the computer comprising:
a data acquisition means for acquiring three-dimensional point cloud data obtained by measuring an object while traveling by a mobile matching system;
a region generating means for defining a three-dimensional region containing the three-dimensional point cloud data of the object;
Distribution characteristic calculation means for calculating numerically the distribution characteristic of the point cloud in the three-dimensional point cloud data with reference to the three-dimensional region containing the three-dimensional point cloud data of the object;
In a recognition program for functioning as an estimation means for estimating an object based on the calculated numerical value of the distribution characteristics,
The distribution characteristic calculation means also calculates a match rate by template matching using at least the shape of the three-dimensional point cloud data as a distribution characteristic,
The estimating means groups the three-dimensional point cloud data representing the object based on whether or not the three-dimensional point cloud data representing the object is at least in the central portion of the roadway, and divides the three-dimensional point cloud data representing the object into groups. Machine learning or deep learning is performed to form a learned model, and the object is estimated using the learned model corresponding to the group to which the three-dimensional point cloud data representing the object belongs. program.
対象物を測定した三次元点群データを取得するデータ取得手段と、
前記対象物の三次元点群データを内包する三次元領域を定義する領域生成手段と、
前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、
算出した分布特性の数値に基づいて、対象物を推定する推定手段と、
を備えた認識装置において、
前記領域生成手段は、三次元領域として道路の進行方向に沿った直方体を定義し、
前記推定手段は、前記対象物を示す三次元点群データが、少なくとも車道の中央部分にあるか否かの位置に基づいて当該対象物を示す三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って学習済モデルを形成し、前記対象物を示す前記三次元点群データの属するグループに対応する学習済モデルを用いて対象物を推定することを特徴とする認識装置。 A recognition device for distinguishing and recognizing objects existing near a road,
a data acquisition means for acquiring three-dimensional point cloud data obtained by measuring an object;
a region generating means for defining a three-dimensional region containing the three-dimensional point cloud data of the object;
Distribution characteristic calculation means for calculating numerically the distribution characteristic of the point cloud in the three-dimensional point cloud data with reference to the three-dimensional region containing the three-dimensional point cloud data of the object;
an estimating means for estimating an object based on the calculated numerical value of the distribution characteristic;
In a recognizer comprising
The area generating means defines a rectangular parallelepiped along the traveling direction of the road as a three-dimensional area,
The estimating means groups the three-dimensional point cloud data representing the object based on whether or not the three-dimensional point cloud data representing the object is at least in the central portion of the roadway, and divides the three-dimensional point cloud data representing the object into groups. Machine learning or deep learning is performed to form a learned model, and the object is estimated using the learned model corresponding to the group to which the three-dimensional point cloud data representing the object belongs. Device.
対象物を測定した三次元点群データを取得するデータ取得手段と、
前記対象物の三次元点群データを内包する三次元領域を定義する領域生成手段と、
前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、
算出した分布特性の数値に基づいて、対象物を推定する推定手段として機能させるための認識プログラムにおいて、
前記領域生成手段は、三次元領域として道路の進行方向に沿った直方体を定義し、
前記推定手段は、前記対象物を示す三次元点群データが、少なくとも車道の中央部分にあるか否かの位置に基づいて当該対象物を示す三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って学習済モデルを形成し、前記対象物を示す前記三次元点群データの属するグループに対応する学習済モデルを用いて対象物を推定することを特徴とする認識プログラム。 A recognition program for realizing, by a computer, a recognition device for distinguishing and recognizing objects existing near a road, the computer comprising:
a data acquisition means for acquiring three-dimensional point cloud data obtained by measuring an object;
a region generating means for defining a three-dimensional region containing the three-dimensional point cloud data of the object;
Distribution characteristic calculation means for calculating numerically the distribution characteristic of the point cloud in the three-dimensional point cloud data with reference to the three-dimensional region containing the three-dimensional point cloud data of the object;
In a recognition program for functioning as an estimation means for estimating an object based on the calculated numerical value of the distribution characteristics,
The area generating means defines a rectangular parallelepiped along the traveling direction of the road as a three-dimensional area,
The estimating means groups the three-dimensional point cloud data representing the object based on whether or not the three-dimensional point cloud data representing the object is at least in the central portion of the roadway, and divides the three-dimensional point cloud data representing the object into groups. Machine learning or deep learning is performed to form a learned model, and the object is estimated using the learned model corresponding to the group to which the three-dimensional point cloud data representing the object belongs. program.
前記三次元点群データは、道路および地物を測定したものであり、
前記領域生成手段は、地物に対応する道路面を基準として地物を内包する三次元領域を定義することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 6,
The three-dimensional point cloud data is obtained by measuring roads and features,
A device or program, wherein the area generating means defines a three-dimensional area including a feature with reference to a road surface corresponding to the feature.
前記分布特性算出手段は、前記三次元領域のX方向長さ、Y方向長さまたはZ方向長さを分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 7,
The apparatus or program, wherein the distribution characteristic calculation means calculates the X-direction length, Y-direction length, or Z-direction length of the three-dimensional area as the distribution characteristic.
前記分布特性算出手段は、少なくともX軸またはY軸にて前記三次元領域を短冊状に区切った時の各区画に含まれる点の数の分散を分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 8,
The distribution characteristic calculating means calculates, as the distribution characteristic, the distribution of the number of points included in each section when the three-dimensional area is divided into strips at least along the X-axis or the Y-axis, or program.
前記分布特性算出手段は、少なくとも前記三次元領域を上下に分割し、上部・下部に含まれる点の数の比率を分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 9,
The apparatus or program, wherein the distribution characteristic calculation means divides at least the three-dimensional area into upper and lower parts, and calculates a ratio of the number of points included in the upper part and the lower part as the distribution characteristic.
前記分布特性算出手段は、少なくとも前記三次元領域のX方向長さまたはY方向長さと、Z方向長さとの比率を分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 10,
The apparatus or program, wherein the distribution characteristic calculating means calculates, as the distribution characteristic, at least the ratio of the length in the X direction or the length in the Y direction and the length in the Z direction of the three-dimensional area.
前記分布特性算出手段は、少なくとも前記三次元領域のZ方向の所定間隔の位置での三次元点群データのX方向幅またはY方向幅の変化量を分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 11,
The distribution characteristic calculating means calculates, as the distribution characteristic, at least the amount of change in the X-direction width or the Y-direction width of the three-dimensional point cloud data at positions at predetermined intervals in the Z direction of the three-dimensional area. or program.
前記分布特性算出手段は、少なくともZ軸にて前記三次元領域を短冊状に区切った時の点の数が最も多い区画の点の密度を分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 12,
The apparatus or program, wherein the distribution characteristic calculation means calculates, as the distribution characteristic, the density of points in a section having the largest number of points when the three-dimensional area is divided into strips at least along the Z axis.
前記分布特性算出手段は、少なくとも三次元点群データ全体の法線ベクトルのZ軸に対する傾きを分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 13,
The apparatus or program, wherein the distribution characteristic calculating means calculates, as the distribution characteristic, at least the inclination of the normal vector of the entire three-dimensional point cloud data with respect to the Z-axis.
前記分布特性算出手段は、少なくともZ軸にて前記三次元領域を短冊状に区切った時の各区画の点群データの法線ベクトルのZ軸に対する傾きのばらつきを分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 14,
The distribution characteristic calculating means calculates, as the distribution characteristic, a variation in the inclination of the normal vector of the point cloud data of each section with respect to the Z axis when the three-dimensional area is divided into strips at least along the Z axis. A device or program that
前記分布特性算出手段は、少なくともZ軸にて前記三次元領域を短冊状に区切った断面における点群データの面積の累積変化量を分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 15,
The apparatus or program, wherein the distribution characteristic calculating means calculates, as the distribution characteristic, an amount of cumulative change in the area of the point cloud data in a cross section obtained by dividing the three-dimensional region into strips at least along the Z axis.
前記分布特性算出手段は、少なくともテンプレートマッチングによる合致率も分布特性として算出することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1, 2, 5 to 16,
The apparatus or program, wherein the distribution characteristic calculation means calculates at least a matching rate by template matching as the distribution characteristic.
前記推定手段は、前記分布特性に基づいて機械学習を行って推定を行うものであることを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 17,
A device or program, wherein the estimation means performs estimation by performing machine learning based on the distribution characteristics.
前記推定手段は、前記三次元点群データの存在する位置に基づいて当該三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って対象物を推定することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 3 to 18,
The estimating means groups the 3D point cloud data based on the position where the 3D point cloud data exists, and performs machine learning or deep learning for each group to estimate the target object. A device or program that does
前記推定手段は、各点における反射強度または色データまたはその双方も考慮して対象物を推定することを特徴とする装置またはプログラム。 In the device or program according to any one of claims 1 to 19,
The apparatus or program, wherein the estimation means estimates the object by considering reflection intensity and/or color data at each point.
コンピュータが、学習対象物を測定した三次元点群データを内包する三次元領域を形成し、
コンピュータが、前記三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出し、学習によって上記認識処理を実現する装置に、算出した分布特性の数値を学習データとして与えて学習させることにより認識装置を生産する方法において、
前記対象物を示す三次元点群データが、少なくとも車道の中央部分にあるか否かの位置に基づいて当該対象物を示す三次元点群データをグループ分けし、当該グループごとに前記学習を行って当該グループごとに学習モデルを形成し前記認識処理を実現する装置を生産することを特徴とする認識装置の生産方法。 A method for producing, by a computer, a recognition device for distinguishing and identifying an object based on three-dimensional point cloud data obtained by measuring the object,
The computer forms a three-dimensional area containing three-dimensional point cloud data obtained by measuring the learning target,
The computer calculates the distribution characteristics of the point cloud in the three-dimensional point cloud data as numerical values based on the three-dimensional region, and provides the calculated numerical values of the distribution characteristics as learning data to the device that realizes the above-described recognition processing by learning. In the method of producing a recognition device by learning by
The three-dimensional point cloud data representing the target object is grouped based on whether or not the three-dimensional point cloud data representing the target object is at least in the central portion of the roadway, and the learning is performed for each group. A production method of a recognition device, wherein a learning model is formed for each group and a device for realizing the recognition processing is produced.
コンピュータが、モービル・マッチング・システムによって走行しながら学習対象物を測定した三次元点群データを内包する三次元領域を形成し、
コンピュータが、前記三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出し、学習によって上記認識処理を実現する装置に、算出した分布特性の数値を学習データとして与えて学習させることにより認識装置を生産する方法において、
前記分布特性は、三次元点群データの形状を用いたテンプレートマッチングによる合致率も含めて算出され
前記対象物を示す三次元点群データが、少なくとも車道の中央部分にあるか否かの位置に基づいて当該対象物を示す三次元点群データをグループ分けし、当該グループごとに前記学習を行って当該グループごとに学習モデルを形成し前記認識処理を実現する装置を生産することを特徴とする認識装置の生産方法。 A method for producing, by a computer, a recognition device for distinguishing and identifying an object based on three-dimensional point cloud data obtained by measuring the object,
The computer forms a three-dimensional area containing the three-dimensional point cloud data obtained by measuring the learning object while traveling by the mobile matching system,
The computer calculates the distribution characteristics of the point cloud in the three-dimensional point cloud data as numerical values based on the three-dimensional region, and provides the calculated numerical values of the distribution characteristics as learning data to the device that realizes the above-described recognition processing by learning. In the method of producing a recognition device by learning by
The distribution characteristics are calculated including the matching rate by template matching using the shape of the three-dimensional point cloud data.
The three-dimensional point cloud data representing the target object is grouped based on whether or not the three-dimensional point cloud data representing the target object is at least in the central portion of the roadway, and the learning is performed for each group. A production method of a recognition device, wherein a learning model is formed for each group and a device for realizing the recognition processing is produced.
コンピュータが、学習対象物を測定した三次元点群データを内包する三次元領域を形成し、
コンピュータが、前記三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出し、学習によって上記認識処理を実現する装置に、算出した分布特性の数値を学習データとして与えて学習させることにより認識装置を生産する方法において、
前記三次元領域として道路の進行方向に沿った直方体として定義され、
前記対象物を示す三次元点群データが、少なくとも車道の中央部分にあるか否かの位置に基づいて当該対象物を示す三次元点群データをグループ分けし、当該グループごとに前記学習を行って当該グループごとに学習モデルを形成し前記認識処理を実現する装置を生産することを特徴とする認識装置の生産方法。
A method for producing, by a computer, a recognition device for distinguishing and identifying objects based on three-dimensional point cloud data obtained by measuring objects existing near a road, comprising:
The computer forms a three-dimensional area containing three-dimensional point cloud data obtained by measuring the learning target,
The computer calculates the distribution characteristics of the point cloud in the three-dimensional point cloud data as numerical values based on the three-dimensional region, and provides the calculated numerical values of the distribution characteristics as learning data to the device that realizes the above-described recognition processing by learning. In the method of producing a recognition device by learning by
Defined as a rectangular parallelepiped along the traveling direction of the road as the three-dimensional area,
The three-dimensional point cloud data representing the target object is grouped based on whether or not the three-dimensional point cloud data representing the target object is at least in the central portion of the roadway, and the learning is performed for each group. A production method of a recognition device, wherein a learning model is formed for each group and a device for realizing the recognition processing is produced.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018086120A JP7290240B2 (en) | 2018-04-27 | 2018-04-27 | Object recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018086120A JP7290240B2 (en) | 2018-04-27 | 2018-04-27 | Object recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019192059A JP2019192059A (en) | 2019-10-31 |
JP7290240B2 true JP7290240B2 (en) | 2023-06-13 |
Family
ID=68390217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018086120A Active JP7290240B2 (en) | 2018-04-27 | 2018-04-27 | Object recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7290240B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101066B (en) * | 2019-06-17 | 2024-03-08 | 商汤集团有限公司 | Target detection method and device, intelligent driving method and device and storage medium |
JP6961126B1 (en) * | 2020-10-28 | 2021-11-05 | 三菱電機株式会社 | Deterioration detection device |
KR102356910B1 (en) * | 2021-08-05 | 2022-02-08 | 주식회사 인피닉 | Method for preemptively detecting object, and computer program recorded on record-medium for executing method therefor |
WO2024004723A1 (en) * | 2022-06-28 | 2024-01-04 | 京セラ株式会社 | Electronic device, control method, and control program |
CN115824052B (en) * | 2023-02-14 | 2023-05-09 | 长沙空维激光技术服务有限公司 | Laser radar point cloud data-based stacking volume measurement method |
CN115995010B (en) * | 2023-03-22 | 2023-06-16 | 华南农业大学 | Plant height extraction method and system based on plant population point cloud |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012203894A (en) | 2011-03-28 | 2012-10-22 | Kumamoto Univ | Three-dimensional pattern matching method |
JP2014109555A (en) | 2012-12-04 | 2014-06-12 | Nippon Telegr & Teleph Corp <Ntt> | Point group analysis processing apparatus, point group analysis processing method and program |
JP2016143324A (en) | 2015-02-04 | 2016-08-08 | 株式会社デンソー | Object detection device |
JP2017138219A (en) | 2016-02-04 | 2017-08-10 | 株式会社デンソー | Object recognition device |
JP2017146957A (en) | 2016-02-19 | 2017-08-24 | トヨタ自動車株式会社 | Augmenting layer-based object detection with deep convolutional neural networks |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6911312B2 (en) * | 2016-09-23 | 2021-07-28 | トヨタ自動車株式会社 | Object identification device |
-
2018
- 2018-04-27 JP JP2018086120A patent/JP7290240B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012203894A (en) | 2011-03-28 | 2012-10-22 | Kumamoto Univ | Three-dimensional pattern matching method |
JP2014109555A (en) | 2012-12-04 | 2014-06-12 | Nippon Telegr & Teleph Corp <Ntt> | Point group analysis processing apparatus, point group analysis processing method and program |
JP2016143324A (en) | 2015-02-04 | 2016-08-08 | 株式会社デンソー | Object detection device |
JP2017138219A (en) | 2016-02-04 | 2017-08-10 | 株式会社デンソー | Object recognition device |
JP2017146957A (en) | 2016-02-19 | 2017-08-24 | トヨタ自動車株式会社 | Augmenting layer-based object detection with deep convolutional neural networks |
Also Published As
Publication number | Publication date |
---|---|
JP2019192059A (en) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7290240B2 (en) | Object recognition device | |
CN113239442B (en) | Three-dimensional model construction method, device, equipment and computer readable storage medium | |
Wang et al. | Road boundaries detection based on local normal saliency from mobile laser scanning data | |
Forlani et al. | C omplete classification of raw LIDAR data and 3D reconstruction of buildings | |
CN112052503A (en) | Artificial intelligence-based commercial block building generation method | |
CN106920278B (en) | Flyover three-dimensional modeling method based on Reeb graph | |
Yan et al. | Integration of 3D objects and terrain for 3D modelling supporting the digital twin | |
Laycock et al. | Automatically generating large urban environments based on the footprint data of buildings | |
JP2006323608A (en) | Apparatus and method for creating model of group of three-dimensional structure and system for creating three-dimensional model | |
WO2021051346A1 (en) | Three-dimensional vehicle lane line determination method, device, and electronic apparatus | |
CN110532963B (en) | Vehicle-mounted laser radar point cloud driven road marking accurate extraction method | |
Uggla et al. | Towards synthesized training data for semantic segmentation of mobile laser scanning point clouds: Generating level crossings from real and synthetic point cloud samples | |
Uslu et al. | Image-based 3D reconstruction and recognition for enhanced highway condition assessment | |
CN116401736A (en) | Urban green space automatic layout method based on artificial intelligence | |
Badenko et al. | Comparison of software for airborne laser scanning data processing in smart city applications | |
WO2018151629A1 (en) | Method and system of automatically building three-dimensional models of cities | |
Zhang et al. | An Approach to Map Visibility in the Built Environment From Airborne LiDAR Point Clouds | |
CN117934705A (en) | Building model batch generation method and device, readable storage medium and electronic equipment | |
CN115830255B (en) | Simulation scene generation method and device, electronic equipment and storage medium | |
Namouchi et al. | Piecewise horizontal 3d roof reconstruction from aerial lidar | |
CN110188156A (en) | Transmission line engineering three-dimensional design result key information extraction method and system | |
Wolf et al. | Applicability of neural networks for image classification on object detection in mobile mapping 3d point clouds | |
JP7204087B2 (en) | Object recognition device | |
CN113128122A (en) | BIM-based municipal road detection method | |
Kaubukowski et al. | Classification of Large and Heterogeneous LiDAR Data Sets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180511 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200310 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220601 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221017 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221017 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221026 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221031 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20221125 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20221129 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221226 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230306 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20230327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7290240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |