JP2024075139A - Object detection device and object detection method - Google Patents
Object detection device and object detection method Download PDFInfo
- Publication number
- JP2024075139A JP2024075139A JP2022186354A JP2022186354A JP2024075139A JP 2024075139 A JP2024075139 A JP 2024075139A JP 2022186354 A JP2022186354 A JP 2022186354A JP 2022186354 A JP2022186354 A JP 2022186354A JP 2024075139 A JP2024075139 A JP 2024075139A
- Authority
- JP
- Japan
- Prior art keywords
- region
- object detection
- point cloud
- background
- cubic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 238000012545 processing Methods 0.000 abstract description 47
- 230000001678 irradiating effect Effects 0.000 abstract description 2
- 230000010485 coping Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000009434 installation Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 241001609370 Puschkinia scilloides Species 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、例えば道路上の物体を検知する物体検知装置及び物体検知方法に関する。 The present invention relates to an object detection device and an object detection method for detecting objects, for example, on a road.
例えば道路上の物体を検知する物体検知装置として、LiDAR(Light Detection And Ranging)により検出された点群をクラスタリングすることにより生成されたクラスタを用いて物体を検出する方法が知られている。 For example, a method is known for an object detection device that detects objects on the road, which detects objects using clusters generated by clustering point clouds detected by LiDAR (Light Detection And Ranging).
例えば特許文献1には、環境光画像から検出された画像物標と、点群をクラスタリングしたクラスタに基づいて、クラスタが過結合していると判定した場合過結合クラスタを分割し、クラスタが過分割していると判定した場合画像物標に対応する点群における部分に存在する2以上のクラスタを結合することで、高精度に物体を正しい単位で検出することが記載されている。
For example,
特許文献1に記載された方法のように、過結合を検出することで、家屋や壁等の静止物(背景領域)による影響を除去することは可能であるが、処理が複雑化してしまうという問題がある。
As with the method described in
そこで、予め背景領域を検出し、その背景領域に含まれる点群は除外することで動く物体のみを検知する方法がある。しかし、例えば樹木のある領域を背景領域として平面的に定義してしまうと、樹木の枝の下を通行する歩行者等が検出されなくなってしまう場合がある。 One way to deal with this is to detect only moving objects by detecting the background area in advance and excluding the points contained in that background area. However, if an area with trees is defined as a two-dimensional background area, for example, pedestrians passing under the tree branches may not be detected.
また、背景領域となる静止物等は、壁等の比較的単純な形状に限られない。例えば植生は、元々複雑な形状であるのに加えて、成長や季節による葉の有無など形状が変化する。また、道路工事や雪の吹き溜まりなどの環境の変化もある。このような環境の変化は、従来は人手で確認や背景領域の再測定等を行っていたが、非常に手間がかかることから自動化が望まれる。 Furthermore, stationary objects that make up the background region are not limited to relatively simple shapes such as walls. For example, vegetation not only has a complex shape to begin with, but also changes in shape due to growth and the presence or absence of leaves depending on the season. There are also environmental changes such as road construction and snowdrifts. Conventionally, such environmental changes have been checked manually and the background region remeasured, but as this is very time-consuming, automation is desirable.
そこで、本発明は、複雑な構造物に対応できるようにするとともに、自動的に背景領域を検出し、物体を検知することができる物体検知装置及び物体検知方法を提供することを目的とする。 The present invention aims to provide an object detection device and method that can handle complex structures and automatically detect background areas and objects.
上記課題を解決するためになされた請求項1に記載された発明は、地上に設置され、光を間欠的に照射して所定の空間を走査し、当該光の反射光を受光して当該反射光に基づく点群情報を取得するセンサから前記点群情報が入力される入力部と、所定時間の間に前記入力部に複数回入力された前記点群情報に基づいて前記所定の空間内で静止物の領域である背景領域を検出する検出部と、前記検出部が検出した前記背景領域以外の領域に含まれる前記点群情報に基づいて前記所定の空間における物体の検知を行う物体検知部と、を備え、前記検出部は、前記所定の空間を八分木により分割された複数の立方体状の領域のそれぞれにおける点群の検出状態に基づいて前記背景領域を検出する、ことを特徴とする物体検知装置である。
The invention described in
本発明によれば、所定の空間を八分木により分割された複数の立方体状の空間のそれぞれにおける点群の検出状態に基づいて背景領域を検出するので、背景領域の形状が複雑であっても立方体の組み合わせにより近似させることができる。また、点群情報を入力することで、背景領域を自動的に検出することが可能となる。 According to the present invention, a background region is detected based on the detection state of point clouds in each of multiple cubic spaces obtained by dividing a specified space using an octree, so even if the shape of the background region is complex, it can be approximated by a combination of cubes. In addition, by inputting point cloud information, it becomes possible to automatically detect the background region.
以下、本発明の一実施形態を、図1~図11を参照して説明する。図1は、本発明の一実施形態にかかる物体検知装置の設置例である。 One embodiment of the present invention will be described below with reference to Figs. 1 to 11. Fig. 1 shows an example of an installation of an object detection device according to one embodiment of the present invention.
図1に示した物体検知装置10は、例えば交差点の近傍等に固定された支柱Pに設置される。そして、物体検知装置10は交差点を通行する歩行者や車両等の移動体を検知する。即ち、物体検知装置10は、地上に設置されている。この地上に設置されているとは、直接的又は間接的を問わずに地上に固定されていること、つまり、車両等の移動体ではなく建造物等の地上に固定的に設置されている物体へ設置されることを意味している。
The
物体検知装置10は、本体部1と、LiDAR2と、を備えている。本体部1は、支柱Pの下部に制御ボックス等として設けられる。本体部1は、図2のブロック図に示すように、制御部11と、通信部12と、を備えている。
The
制御部11は、例えばコンピュータ等で構成されている。制御部11は、物体検知装置10の全体制御を司る。図1では、制御部11は、立方体処理部11aと、検知部11bと、を機能的に備えている。
The
立方体処理部11aは、LiDAR2が取得した点群情報について、後述するように、所定の空間を複数の立方体領域に分割して、各立方体領域について背景領域とするか検知対象領域とするか判別する。背景領域とは、車両や歩行者等の移動体以外の静止物であって、検知部11bによる物体の検知対象外とする領域である。検知部11bは、立方体処理部11aにより定義された背景領域に基づいて物体の検知をする。 As described below, the cube processing unit 11a divides a predetermined space into multiple cube regions based on the point cloud information acquired by the LiDAR2, and determines whether each cube region is a background region or a detection target region. A background region is a stationary object other than a moving object such as a vehicle or a pedestrian, and is an area that is not subject to object detection by the detection unit 11b. The detection unit 11b detects objects based on the background region defined by the cube processing unit 11a.
通信部12は、制御部11で検知された物体に関する情報を外部へ出力する。通信部12は、例えば無線通信装置として構成すればよい(有線通信装置でもよい)。物体に関する情報としては、物体の種別や移動方向、移動速度などが挙げられる。また、出力先の具体例としては、支柱Pの近隣を通行する車両等の移動体や、交通管制センター等が挙げられる。
The
LiDAR2は、レーザ光を間欠的に照射して所定の空間を走査し、当該光の反射光を受光して当該反射光に基づく点群情報(3次元点群情報)を取得するセンサである。LiDAR2は、照射したレーザ光の反射光により、照射範囲の空間に存在する物体までの距離を離散的に測定し、当該物体の位置や形状を3次元の点群として認識する。LiDAR2は、本実施形態では、図1に示したように、支柱Pの上部に設置され、所定の空間として路面R上(路面R及びその上方の空間)を走査する。 LiDAR2 is a sensor that intermittently irradiates laser light to scan a specified space, receives the reflected light of the light, and acquires point cloud information (three-dimensional point cloud information) based on the reflected light. LiDAR2 discretely measures the distance to an object in the space within the irradiation range using the reflected light of the irradiated laser light, and recognizes the position and shape of the object as a three-dimensional point cloud. In this embodiment, LiDAR2 is installed on the top of a pillar P as shown in FIG. 1, and scans the road surface R (road surface R and the space above it) as the specified space.
次に、上述した構成の物体検知装置の動作について図3のフローチャートを参照して説明する。まず、制御部11は、LiDAR2から観測点を取得する(ステップS1)。つまり、制御部11は、LiDAR2が取得した点群情報を取得する。即ち、制御部11は、LiDAR2から点群情報が入力される入力部として機能する。
Next, the operation of the object detection device configured as described above will be described with reference to the flowchart in FIG. 3. First, the
次に、立方体処理部11aは、観測点が多角形閉領域内か判断する(ステップS2)。多角形閉領域について図4を参照して説明する。図4左側は多角形閉領域CLを含む所定の空間Sを示す図である。本実施形態では、後述するように、LiDAR2が走査可能な空間を含む立方体形状の所定の空間Sを定義し、その所定の空間Sを八分木により複数の立方体領域に分割し、それを再帰的に繰り返す。しかしながら、LiDAR2の現実的な使用環境においては、特に道路を想定して遠方の車両等を検知対象とする場合、奥行き方向に対して幅・高さ方向に余剰な空間を広く有することになる。この余剰な空間をあらかじめ背景領域として定義し、後述する背景領域を検出する処理の対象外とする。 Next, the cube processing unit 11a determines whether the observation point is within a polygonal closed region (step S2). A polygonal closed region will be described with reference to FIG. 4. The left side of FIG. 4 is a diagram showing a predetermined space S including a polygonal closed region CL. In this embodiment, as described later, a cube-shaped predetermined space S including a space that can be scanned by the LiDAR2 is defined, and the predetermined space S is divided into multiple cubic regions using an octree, and this process is repeated recursively. However, in a realistic usage environment of the LiDAR2, particularly when a road is assumed and distant vehicles, etc. are to be detected, there will be a large amount of excess space in the width and height directions compared to the depth direction. This excess space is defined in advance as a background region and is excluded from the process of detecting the background region described later.
具体的には、幅(x)-奥行き(y)平面において複数の頂点座標(x, y)により平面多角形を定義する(図4右上)。次に、平面多角形を高さ(z)方向にzmin~zmaxの範囲で拡張し、3次元閉領域を定義する(図4右下)。観測点について、閉領域の内部であれば後述する立方体領域分割および同領域を用いた背景領域内外判定の対象とし、閉領域の外部であれば背景領域として以後の処理から除外する。図4に示した多角形閉領域CLは図3のフローチャート実行前にあらかじめ制御部11に設定する。
Specifically, a planar polygon is defined by multiple vertex coordinates (x, y) on a width (x)-depth (y) plane (top right in Fig. 4). Next, the planar polygon is expanded in the height (z) direction within the range of z min to z max to define a three-dimensional closed region (bottom right in Fig. 4). If the observation point is inside the closed region, it is subject to cubic region division, which will be described later, and to background region inside/outside determination using the same region, and if it is outside the closed region, it is excluded from subsequent processing as a background region. The polygonal closed region CL shown in Fig. 4 is set in advance in the
なお、図3では多角形として四角形としているが四角形に限らない。ただし、立方体領域に分割する都合上四角形状である方が好ましい。また、上記した平面多角形やzmin~zmaxについては、物体検知装置10の設置位置において人手等で測定した結果に基づいて決定すればよい。即ち、立方体処理部11aは、所定の空間S内であって、水平面及び高さ方向の範囲が限定された領域を設定し、その限定された領域内で背景領域を検出している。
In addition, although a quadrangle is used as the polygon in Fig. 3, it is not limited to a quadrangle. However, a quadrangle is preferable for convenience of dividing into cubic regions. The planar polygon and zmin to zmax described above may be determined based on the results of manual measurements at the installation position of the
次に、立方体処理部11aは、立方体領域が未生成か判定する(ステップS3)。立方体領域が未生成である場合は(ステップS3;YES)、立方体領域のサイズを決定する(ステップS4)。一方、立方体領域が未生成でない場合は(ステップS3;NO)、後述するステップS6に進む。 Next, the cube processing unit 11a determines whether a cube region has not yet been generated (step S3). If a cube region has not yet been generated (step S3; YES), the size of the cube region is determined (step S4). On the other hand, if a cube region has not yet been generated (step S3; NO), the process proceeds to step S6, which will be described later.
ここで、本実施形態における空間分割について図5及び図6を参照して説明する。なお、図5では、説明を簡単にするために、ステップS2の処理を行っていない立方体状の所定の空間Sで説明するが、実際は、上記した多角形閉領域内について以下の処理を行うものである。 The space division in this embodiment will now be described with reference to Figures 5 and 6. Note that in Figure 5, for simplicity's sake, a cubic space S is used as a given space for which step S2 has not been performed, but in reality, the following processing is performed within the polygonal closed region described above.
図5は、本実施形態における所定の空間Sの分割の例の説明図である。図5に示した所定の空間Sは、LiDAR2が走査可能な空間を含むものである。そして、本実施形態では、所定の空間Sを立方体状に定義し、その立方体を八分木により分割する。八分木によって再帰的に分割することで、所定の空間Sは例えば10cm四方等の微小な立方体領域に分割することが可能となる。
Figure 5 is an explanatory diagram of an example of the division of a specified space S in this embodiment. The specified space S shown in Figure 5 includes a space that can be scanned by the
図6は、八分木構造を示す図である。八分木は、周知のように1つの親ノードが8つの子ノードを有する木構造である。そして、八分木構造は、モートン順序(モートンオーダー)といった周知の方法により任意のノード(立方体領域)を高速に参照することができる。この八分木構造は制御部11のメモリ等に形成され、各ノードには、そのノード(立方体領域)が背景領域か否かを示す情報や後述する各種カウンタの値等が保存される。
Figure 6 shows an octree structure. As is well known, an octree is a tree structure in which one parent node has eight child nodes. The octree structure can quickly reference any node (cubic region) using a well-known method called Morton order. This octree structure is formed in the memory of the
ステップS3においては、ステップS4、S5で実行される処理により立方体領域が既に生成されているか判定する。 In step S3, it is determined whether a cubic region has already been generated by the processes executed in steps S4 and S5.
次に、ステップS4の処理について図7及び図8を参照して説明する。LiDAR2の空間分解能は距離の増加に応じて減少するため、図7に示したようにLiDAR2の近傍に適した立方体領域のサイズをLiDAR2の遠方において適用すると過剰な領域分割となる。 Next, the processing of step S4 will be described with reference to Figs. 7 and 8. Since the spatial resolution of LiDAR2 decreases as the distance increases, applying a cubic region size suitable for the vicinity of LiDAR2 to a location far from LiDAR2, as shown in Fig. 7, results in excessive region division.
図7は、x-y平面におけるLiDAR2の設置位置と観測点との関係を示した図である。図7において、符号LはLiDARの設置位置、符号P11、P12はLiDAR2の設置位置Lからの距離l1における観測点、符号P21、P22は、LiDAR2の設置位置Lからの距離l2(l1<l2)における観測点をそれぞれ示す。そして、観測点P11、P12と観測点P21、P22はそれぞれ互いに隣接する観測点(連続するパルス光)とする。ここで、立方体領域として符号Ca1やCb1に示したサイズで分割したとすると、距離l1では立方体領域Ca1、Cb1に観測点P11、P12が観測される場合があるが、距離l2では同じサイズの立方体領域Ca2、Cb2に観測点P21、P22が観測されることはない。つまり、距離l2では立方体領域が過剰に分割されることになる。
Fig. 7 is a diagram showing the relationship between the installation position of the
そこで、本実施形態ではLiDAR2から立方体領域までの距離により八分木による再帰的な分割の回数を変更する。具体的には、対象とする立方体領域ついて、LiDAR2の基準点(設置位置)から最短距離となる頂点までの距離を計算し、その位置における幅方向の観測点間距離を算出する。観測点間距離は、例えばレーザ光の照射間隔やミラー等の走査手段の動作速度(周波数)等から算出可能である。 Therefore, in this embodiment, the number of recursive divisions using an octree is changed depending on the distance from LiDAR2 to the cubic region. Specifically, for the target cubic region, the distance from the reference point (installation position) of LiDAR2 to the vertex with the shortest distance is calculated, and the distance between observation points in the width direction at that position is calculated. The distance between observation points can be calculated, for example, from the irradiation interval of the laser light and the operating speed (frequency) of a scanning means such as a mirror.
図7の場合、基準点はLiDAR2の設置位置L、最短距離となる頂点は立方体領域Ca1、Cb1の境界となる頂点のうち設置位置Lに近い頂点Pv、幅方向の観測点間距離は、頂点Pvにおけるx方向の観測点の間隔lxがそれぞれ該当する。 In the case of Figure 7, the reference point is the installation position L of LiDAR2, the vertex with the shortest distance is the vertex Pv that is the boundary between cubic regions Ca1 and Cb1 and is closest to the installation position L, and the distance between the observation points in the width direction corresponds to the interval lx between the observation points in the x direction at vertex Pv.
なお、図7の場合は、設置位置Lと頂点Pvとを結ぶ直線とx軸とがなす角度がほぼ直角である(ほぼ最短距離である)ため、設置位置Lと頂点Pvとの距離をそのまま利用できるが、図8に示したように、最短距離となる頂点がセンサの基準点から立方体領域への最短距離とならないケースもある。この場合は、最短距離となる頂点およびセンサの基準点から立方体領域への最短距離となる交点P3を求め、観測点間距離の算出に用いればよい。 In the case of Fig. 7, the angle between the line connecting the installation position L and the vertex Pv and the x-axis is nearly a right angle (almost the shortest distance), so the distance between the installation position L and the vertex Pv can be used as is, but there are cases where the vertex with the shortest distance is not the shortest distance from the reference point of the sensor to the cubic region, as shown in Fig. 8. In this case, the vertex with the shortest distance and the intersection point P3 with the shortest distance from the reference point of the sensor to the cubic region can be found and used to calculate the distance between the observation points.
次に、幅方向の観測点間距離の半分の値を立方体領域のサイズのしきい値として設定する。このしきい値は、立方体領域のサイズ変更による観測点と立方体の中心の位置ずれを抑制するため、本実施形態では幅方向の観測点間距離の半分の値としている。 Next, half the distance between the observation points in the width direction is set as the threshold value for the size of the cubic region. In this embodiment, this threshold value is set to half the distance between the observation points in the width direction to prevent misalignment between the observation points and the center of the cube caused by changing the size of the cubic region.
次に、立方体領域のサイズがしきい値以下で最も大きなサイズとなるように立方体領域の分割回数を決定する。このように立方体領域の分割回数を決定することで、図9に示したように、センサ(LiDAR2)から離れる(遠くなる)にしたがって立方体領域のサイズが大きくなる。即ち、八分木による分割の回数の上限は、センサによる観測点の幅方向の間隔に基づいて定められている。 Next, the number of times to divide the cubic region is determined so that the size of the cubic region is the largest size below the threshold value. By determining the number of times to divide the cubic region in this way, the size of the cubic region increases the further away it is from the sensor (LiDAR2), as shown in Figure 9. In other words, the upper limit of the number of times to divide the octree is determined based on the widthwise spacing of the observation points by the sensor.
図9は、横軸にセンサと立方体領域との間の距離、縦軸に立方体領域のサイズを示したグラフである。破線は幅方向における最短観測点間距離×1/2の変化を示している。また、実線は立方体領域の一辺の長さを示している。dは最小立方体領域サイズを示すものである。dは、後述するように立方体領域のサイズが微小になり過ぎないようにするために定めた値であり図9に示したように立方体領域の一辺の長さで定義される。 Figure 9 is a graph showing the distance between the sensor and the cubic region on the horizontal axis and the size of the cubic region on the vertical axis. The dashed line shows the change in the width direction as 1/2 the shortest distance between observation points. The solid line shows the length of one side of the cubic region. d shows the minimum cubic region size. As will be described later, d is a value determined to prevent the size of the cubic region from becoming too small, and is defined as the length of one side of the cubic region as shown in Figure 9.
立方体領域のサイズのしきい値があらかじめ定めた立方体領域の最小サイズより小さくなった場合、あらかじめ定めた最小サイズとなる分割回数を用いる。これは、あらかじめ立方体領域の最小サイズを設定しておき、そのサイズ以下には分割しないようにするものである。上記した分割方法の場合、LiDAR2に近づくほど立方体領域が微小になるが、検知対象となる物体に対して微小になりすぎるのも過剰な領域分割である。そこで最小サイズをあらかじめ設定することで過剰な領域分割を抑制する。 If the threshold value for the size of the cubic region becomes smaller than a predetermined minimum size of the cubic region, the number of divisions that results in the predetermined minimum size is used. This involves setting the minimum size of the cubic region in advance, and not dividing it below that size. With the division method described above, the cubic region becomes smaller the closer it is to the LiDAR2, but excessive region division would also be if it becomes too small in relation to the object to be detected. Therefore, excessive region division is suppressed by setting the minimum size in advance.
図3の説明に戻り、立方体処理部11aは、立方体領域を生成する(ステップS5)。ステップS5では、上記した方法により立方体領域を生成する。 Returning to the explanation of FIG. 3, the cube processing unit 11a generates a cube region (step S5). In step S5, the cube region is generated by the method described above.
次に、立方体処理部11aは、該当する立方体領域を特定する(ステップS6)。ステップS6においては、ステップS1で取得した点群情報に含まれる各点が、図5のように再帰的に分割された末端のノードとなる立方体領域のうちのどれに含まれるか特定する。つまり、点の示す座標をその範囲に含む末端ノードの立方体領域を特定する。 Next, the cube processing unit 11a identifies the relevant cube region (step S6). In step S6, it is determined which of the cube regions that are terminal nodes recursively divided as shown in FIG. 5 each point included in the point cloud information acquired in step S1 is included in. In other words, it is determined which cube region is the terminal node that includes the coordinates indicated by the point within its range.
次に、立方体処理部11aは、ステップS2で特定された立方体領域(末端ノード)の観測回数を加算(+1)する(ステップS7)。加算した結果は、例えば制御部11のメモリ等に保存される。
Next, the cube processing unit 11a increments (+1) the number of observations of the cube region (terminal node) identified in step S2 (step S7). The result of the increment is stored, for example, in the memory of the
次に、立方体処理部11aは、所定時間が経過したか判定する(ステップS8)。所定時間が経過しない場合は(ステップS8;NO)、ステップS1に戻る。ステップS8は、観測回数の加算期間を判定するものであり、所定時間としては、点群取得間隔等に応じて複数回観測点(点群情報)が取得できるような期間を適宜設定すればよい。 Next, the cube processing unit 11a determines whether a predetermined time has elapsed (step S8). If the predetermined time has not elapsed (step S8; NO), the process returns to step S1. Step S8 determines the period for which the number of observations is to be counted, and the predetermined time can be set appropriately to a period during which observation points (point cloud information) can be acquired multiple times depending on the point cloud acquisition interval, etc.
一方、所定時間が経過した場合は(ステップS8;YES)、立方体処理部11aは、ステップS3で加算した観測回数がしきい値以上か判定する(ステップS9)。観測回数がしきい値(観測回数しきい値)以上である場合は(ステップS9;YES)、立方体処理部11aは、現在注目している立方体領域を背景領域として定義(検出)する(ステップS10)。 On the other hand, if the predetermined time has elapsed (step S8; YES), the cube processing unit 11a determines whether the number of observations added in step S3 is equal to or greater than a threshold value (step S9). If the number of observations is equal to or greater than a threshold value (observation count threshold value) (step S9; YES), the cube processing unit 11a defines (detects) the cube region currently being focused on as a background region (step S10).
次に、立方体処理部11aは、背景判定回数を加算する(ステップS11)。背景判定回数とは、ステップS10で背景領域として定義された回数をカウントするものである。 Next, the cube processing unit 11a increments the number of background determinations (step S11). The number of background determinations is the number of times that a region was defined as a background region in step S10.
次に、立方体処理部11aは、背景判定回数がしきい値以上か判定する(ステップS12)。背景判定回数がしきい値(背景判定しきい値)以上である場合は(ステップS12;YES)、立方体処理部11aは、ステップS10で背景領域と定義された立方体領域の分類を更新する(ステップS13)。一方、背景判定回数がしきい値未満である場合は(ステップS12;NO)、ステップS13を実行せずに後述するステップS14に進む。 Next, the cube processing unit 11a determines whether the number of background determinations is equal to or greater than a threshold value (step S12). If the number of background determinations is equal to or greater than a threshold value (background determination threshold value) (step S12; YES), the cube processing unit 11a updates the classification of the cube region defined as the background region in step S10 (step S13). On the other hand, if the number of background determinations is less than the threshold value (step S12; NO), step S13 is not executed and the process proceeds to step S14 described below.
即ち、立方体処理部11aは、所定時間の間に入力部に複数回入力された点群情報に基づいて所定の空間内で静止物の領域である背景領域を検出する検出部として機能し、所定の空間を八分木により分割された複数の立方体状の領域のそれぞれにおける点群の検出状態に基づいて背景領域を検出している。さらに、立方体処理部11aは、立方体状の領域における所定時間内の点群の検出回数が所定閾値以上である場合に、当該立方体状の領域を背景領域と判定している。 In other words, the cube processing unit 11a functions as a detection unit that detects background regions, which are regions of stationary objects, within a specified space based on point cloud information input to the input unit multiple times over a specified period of time, and detects the background region based on the detection state of the point cloud in each of multiple cube-shaped regions obtained by dividing the specified space using an octree. Furthermore, if the number of times that the point cloud is detected in a cube-shaped region within a specified period of time is equal to or greater than a specified threshold value, the cube processing unit 11a determines that the cube-shaped region is a background region.
ステップS11~S13について説明する。ステップS9のような判定基準で背景領域を判定すると、例えば駐車車両や道路工事のように、一時的に背景領域として判定される物体がある一方で、建造物のように、常時背景領域として判定される物体も存在する。そこで、ステップS13により背景領域として判定された物体の分類を行う。 Steps S11 to S13 will now be described. When determining the background region using criteria such as those in step S9, some objects, such as parked vehicles and road construction, are temporarily determined to be in the background region, while other objects, such as buildings, are always determined to be in the background region. Therefore, objects determined to be in the background region in step S13 are classified.
例えば、図10に示したように、背景判定しきい値を複数設定し、それらのしきい値に応じてどのような物体か分類する。図10では、0.背景外、1.移動物、2.静止物(駐停車車両などの短時間残留物)、3.静止物(工事現場における器具や車両などの中時間残留物)、4.静止物(建造物など長時間残留物)といった分類をし、各分類の境界となるしきい値として、しきい値1、しきい値T12、しきい値T23、しきい値T34を設定する。なお、背景判定しきい値の説明では駐車車両等と記載したが、あくまで背景領域の分類例を示したものであり、車両等の物体の特定を行うものではない。したがって、ステップS11~S13は、後述するクラスタリング等の物体検知処理とは異なるものである。
For example, as shown in Fig. 10, a plurality of background determination thresholds are set, and objects are classified according to the thresholds. In Fig. 10, classification is made as follows: 0. outside the background, 1. moving objects, 2. stationary objects (short-term remaining objects such as parked vehicles), 3. stationary objects (medium-term remaining objects such as tools and vehicles at a construction site), and 4. stationary objects (long-term remaining objects such as buildings), and
判定対象の立方体領域についての背景判定回数カウンタが0の場合は分類を0(背景外)とし、カウンタが1となると分類が1(移動物)となる。以降、カウンタがしきい値T12,T23,T34以上になると、分類がそれぞれ1→2,2→3,3→4と遷移する。しきい値T12,T23,T34は変数であり物体検知装置10の設置環境に応じて適宜設定すればよい。即ち、立方体処理部11aは、立方体状領域について背景領域として検出された回数をカウントするカウンタを備え、そのカウンタのカウント回数に応じて背景領域を分類している。
When the background determination count counter for the cubic region to be determined is 0, the region is classified as 0 (outside background), and when the counter reaches 1, the region is classified as 1 (moving object). Thereafter, when the counter reaches or exceeds threshold values T12 , T23 , and T34 , the region is classified as 1→2, 2→3, and 3→4, respectively. The threshold values T12 , T23 , and T34 are variables and may be set appropriately depending on the installation environment of the
次に、立方体処理部11aは、観測回数、経過時間をリセットする(ステップS14)。立方体処理部11aは、ステップS9でカウントしている観測回数及びステップS8で判定する経過時間をリセットする。 Next, the cube processing unit 11a resets the number of observations and the elapsed time (step S14). The cube processing unit 11a resets the number of observations counted in step S9 and the elapsed time determined in step S8.
一方、ステップS9の判定において、観測回数がしきい値以上でない場合は(ステップS9;NO)、立方体処理部11aは、現在注目している立方体領域を検知対象領域として定義する(ステップS15)。検知対象領域とは、後述するように点群をクラスタリングして物体検知する対象の領域とするものである。 On the other hand, if it is determined in step S9 that the number of observations is not equal to or greater than the threshold value (step S9; NO), the cube processing unit 11a defines the currently focused cube region as the detection target region (step S15). The detection target region is a region in which object detection is performed by clustering the point cloud, as described below.
次に、立方体処理部11aは、現在注目している立方体領域の分類が“0”以外か判定する(ステップS16)。ステップS16では、図10に示した0~4の分類のうち“0”以外、すなわち背景外でないか判定する。分類が“0”以外であった場合は、立方体処理部11aは、保持回数より長く検知対象領域と判定されたか判定する(ステップS17)。保持回数より長く検知対象領域と判定された場合は(ステップS17;YES)、背景判定回数カウンタをリセットする(ステップS18)。保持回数より長く検知対象領域と判定されない場合は(ステップS17;NO)、ステップS18を実行せずにステップS14へ進む。 Next, the cube processing unit 11a determines whether the classification of the cube region currently being focused on is other than "0" (step S16). In step S16, it is determined whether the classification is other than "0" among the classifications 0 to 4 shown in FIG. 10, i.e., whether it is outside the background. If the classification is other than "0", the cube processing unit 11a determines whether the region has been determined to be a detection target region for a longer period than the number of times it has been held (step S17). If the region has been determined to be a detection target region for a longer period than the number of times it has been held (step S17; YES), the cube processing unit 11a resets the background determination count counter (step S18). If the region has not been determined to be a detection target region for a longer period than the number of times it has been held (step S17; NO), step S18 is not executed and the process proceeds to step S14.
ステップS16~S18について説明する。ある立方体領域の背景判定回数カウンタが1以上の場合に当該立方体領域が検知対象領域と判定されると、基本的に背景判定回数カウンタは0にリセットする。ただし、分類ごとにカウンタの保持回数を設定し、その保持回数までは検知対象領域と判定されても背景判定回数カウンタや分類をリセットしない。例えば、パーキングメータなどで、駐車車両が頻繁に入れ替わる場合は、短期的には分類“2”の短時間残留物となるが、長期的に見れば分類“3”の中期間残留物として扱うのが適切な場合もある。そこで、保持回数を設定することで、車両が移動した際などにより分類が“0”にリセットされることを防止できる。 Steps S16 to S18 will now be described. If the background determination count counter for a cubic area is 1 or greater and the cubic area is determined to be a detection target area, the background determination count counter is generally reset to 0. However, a counter retention count is set for each classification, and the background determination count counter and classification are not reset even if the area is determined to be a detection target area up to that retention count. For example, in the case of parking meters, where parked vehicles are frequently replaced, in the short term it will be classified as a short-term residue of category "2", but in the long term it may be appropriate to treat it as a medium-term residue of category "3". Therefore, by setting the retention count, it is possible to prevent the classification from being reset to "0" when the vehicle moves, etc.
ステップS9~S18は、全ての立方体領域について個々に実行される。つまり、立方体領域の数分繰り返す。例えば、立方体領域が4096個ある場合は4096回繰り返す。 Steps S9 to S18 are executed individually for all cubic regions. In other words, they are repeated as many times as there are cubic regions. For example, if there are 4096 cubic regions, they are repeated 4096 times.
次に、立方体処理部11aは、子ノードのうち一定数が背景領域となっている親ノードがあるか判定する(ステップS19)。ステップS19における一定数は、例えば過半数が挙げられる。 Next, the cube processing unit 11a determines whether there is a parent node having a certain number of child nodes that are background regions (step S19). The certain number in step S19 may be, for example, a majority.
子ノードのうち一定数が背景領域となっている親ノードがある場合は(ステップS19;YES)、立方体処理部11aは、当該親ノードを有する子ノードを統合する(ステップS20)。ステップS19及びステップS20について図11を参照して説明する。図11左側は、所定の空間Sにおいて、背景領域と判定された立方体領域cを示した図である。また、図11左側において、複数の立方体領域c1が同じ親ノードを有する子ノードであり、複数の立方体領域c2が同じ親ノードを有する子ノードであるとする。 If there is a parent node where a certain number of the child nodes are background regions (step S19; YES), the cube processing unit 11a merges the child nodes having the parent node (step S20). Steps S19 and S20 will be described with reference to FIG. 11. The left side of FIG. 11 is a diagram showing a cube region c that has been determined to be a background region in a specified space S. Also, in the left side of FIG. 11, multiple cube regions c1 are child nodes that have the same parent node, and multiple cube regions c2 are child nodes that have the same parent node.
この場合に、一定数以上の子ノードが背景領域となっているとして親ノードの立方体領域全体を背景領域とする。つまり、背景領域と判定された子ノード以外の子ノードも背景領域とする。図11右側は、立方体領域c1、c2の親ノードを背景領域としたものである。図11右側の符号cb1が立方体領域c1の親ノードを示す領域、符号cb2が立方体領域c2の親ノードを示す領域である。即ち、立方体処理部11aは、八分木構造の親ノードに連なる子ノードのうち所定数以上が背景領域と判定された場合は、親ノードの示す領域すべてを前記背景領域とする。 In this case, if a certain number or more of the child nodes are determined to be background regions, the entire cubic region of the parent node is determined to be the background region. In other words, child nodes other than those determined to be background regions are also determined to be background regions. The right side of Figure 11 shows the parent nodes of cubic regions c1 and c2 as background regions. On the right side of Figure 11, code cb1 indicates the region indicating the parent node of cubic region c1, and code cb2 indicates the region indicating the parent node of cubic region c2. In other words, if a certain number or more of the child nodes connected to the parent node in the octree structure are determined to be background regions, the cube processing unit 11a determines the entire region indicated by the parent node as the background region.
図3の説明に戻って、検知部11bは、ステップS5において特定された立方体領域は検知対象領域か判定する(ステップS21)。このステップS21は、ステップS20までを実行して所定の空間Sにおける背景領域の定義が少なくとも1回は完了した後に実行される。つまり、ステップS1で取得した観測点(点群情報)は、ステップS7~S20の処理と別処理としてステップS21以降の処理も実行される。 Returning to the explanation of FIG. 3, the detection unit 11b determines whether the cubic region identified in step S5 is a detection target region (step S21). This step S21 is executed after steps up to S20 have been executed and the definition of the background region in the specified space S has been completed at least once. In other words, the observation points (point cloud information) acquired in step S1 are also subjected to the processing from step S21 onwards as a separate process from the processing of steps S7 to S20.
特定された立方体領域が検知対象領域である場合は(ステップS21;YES)、検知部11bは、観測点を物体検知処理対象に追加する(ステップS22)。 If the identified cubic region is the detection target region (step S21; YES), the detection unit 11b adds the observation point to the object detection processing target (step S22).
ステップS22で物体検知対象になった観測点は、検知部11bにより、例えばクラスタリング処理を行い、生成されたクラスタについて検知ターゲットの判別処理を行う。検知ターゲットとは、クラスタの形状や大きさ等から歩行者や車両などの移動体の種別を判別する処理である。検知ターゲットが判別されると、検知部11bは、例えば、当該ターゲットについて追跡処理等を行い、所定の空間S内における移動等を監視する。即ち、検知部11bは、検出部が検出した背景領域以外の領域に含まれる点群情報に基づいて所定の空間における物体の検知を行う物体検知部として機能する。 The detection unit 11b performs, for example, a clustering process on the observation points that are subject to object detection in step S22, and performs a detection target discrimination process on the generated clusters. The detection target is a process for discriminating the type of moving object, such as a pedestrian or vehicle, from the shape and size of the cluster. When the detection target is discriminated, the detection unit 11b performs, for example, a tracking process on the target and monitors its movement within the specified space S. In other words, the detection unit 11b functions as an object detection unit that detects objects in a specified space based on point cloud information included in areas other than the background area detected by the detection unit.
以上の説明から明らかなように、ステップS1が入力工程、ステップS2~S20が検出工程、ステップS21、S22が物体検知工程としてそれぞれ機能する。 As is clear from the above explanation, step S1 functions as an input process, steps S2 to S20 function as detection processes, and steps S21 and S22 function as object detection processes.
本実施形態によれば、物体検知装置10は、地上に設置され、光を間欠的に照射して走査範囲を走査し、当該光の反射光を受光して当該反射光に基づく点群情報を取得するLiDAR2から点群情報が入力され、所定時間の間に複数回入力された点群情報に基づいて所定の空間S内で静止物の領域である背景領域を検出する立方体処理部11aと、立方体処理部11aが検出した背景領域以外の領域に含まれる点群情報に基づいて所定の空間Sにおける物体の検知を行う検知部11bと、を備えている。そして、立方体処理部11aは、所定の空間Sを八分木により分割された複数の立方体領域のそれぞれにおける点群の検出状態に基づいて背景領域を検出する。
According to this embodiment, the
物体検知装置10が上記のように構成されることにより、背景領域の形状が複雑であっても立方体の組み合わせにより近似させることができる。また、点群情報を入力することで、背景領域を自動的に検出することが可能となり、手動で設定する必要が無くなる。さらに、背景領域を一定時間毎に自動で更新することが可能となり、植生や道路工事、雪の吹き溜まりといった周囲環境の変化に対応することが可能となる。
By configuring the
また、立方体処理部11aは、立方体領域における所定時間内の点群の検出回数が所定閾値以上である場合に、当該立方体領域を背景領域と判定する。このようにすることにより、点群がある程度の期間連続して検出されていることによって、静止物があると見做すことができる。 In addition, the cube processing unit 11a determines that a cube region is a background region when the number of times that a point cloud is detected in a cube region within a specified time period is equal to or greater than a specified threshold. In this way, if a point cloud is detected continuously for a certain period of time, it can be assumed that a stationary object is present.
また、立方体処理部11aは、八分木構造の親ノードに連なる子ノードのうち所定数以上が背景領域と検出された場合は、当該親ノードの示す領域すべてを背景領域としている。このようにすることにより、例えば子ノードの大半が背景領域と判定された場合は親ノードの領域を背景領域と見なすことで、背景領域を特定する際に、子ノードまで辿る必要が無い。そのため、背景領域を高速に参照することが可能となる。 In addition, when a predetermined number or more of the child nodes connected to a parent node in the octree structure are detected as background regions, the cube processing unit 11a determines the entire area indicated by the parent node as the background region. By doing this, for example, when the majority of the child nodes are determined to be background regions, the area of the parent node is regarded as the background region, and it is not necessary to trace back to the child nodes when identifying the background region. This makes it possible to reference the background region quickly.
また、立方体処理部11aは、立方体領域について背景判定回数をカウントするカウンタを備え、当該カウンタのカウント回数に応じて背景領域を分類している。このようにすることにより、静止物が取り除かれた際の応答を分類ごとに変更することが可能となる。例えば、短期的に観測された静止物であれば環境変化に早く応答し、長期的に観測された静止物であれば確認のため応答を遅くすることが可能となる。 The cube processing unit 11a also includes a counter that counts the number of background determinations for the cube region, and classifies the background region according to the number of counts of the counter. In this way, it is possible to change the response when a stationary object is removed for each classification. For example, it is possible to respond quickly to environmental changes for stationary objects observed over a short period of time, and to respond slowly to confirmation for stationary objects observed over a long period of time.
また、立方体処理部11aは、所定の空間S内の領域であって、水平面及び高さ方向の範囲が限定された多角形閉領域を設定し、前記多角形閉領域内で背景領域を検出している。このようにすることにより、LiDAR2の現実的な使用環境において、奥行き方向に対して幅・高さ方向に余剰な空間をあらかじめ背景として定義することができる。したがって、立方体領域の生成数を削減できる。 The cube processing unit 11a also sets a polygonal closed area within a specified space S, with a limited range in the horizontal plane and height directions, and detects a background area within the polygonal closed area. By doing this, in a realistic usage environment of the LiDAR2, it is possible to define as the background in advance the excess space in the width and height directions relative to the depth direction. Therefore, the number of cube areas generated can be reduced.
また、立方体処理部11aは、所定の空間S内におけるセンサからの距離が遠くなるにしたがって立方体領域の大きさが大きくなるように分割している。このようにすることにより、過剰な領域分割を防止し、LiDAR2の空間分解能に応じて適切な分割とすることができる。 The cube processing unit 11a also divides the cubic region so that the size of the cubic region increases as the distance from the sensor increases within a given space S. In this way, excessive region division is prevented, and appropriate division can be achieved according to the spatial resolution of the LiDAR2.
また、八分木による分割の回数の上限は、LiDAR2による観測点の幅方向の間隔に基づいて定められているので、過剰な領域分割を抑制することができる。 In addition, the upper limit of the number of divisions using an octree is determined based on the widthwise spacing of the observation points using LiDAR2, which makes it possible to prevent excessive region division.
なお、本発明は上記実施形態に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の物体検知装置及び物体検知方法の構成を具備する限り、勿論、本発明の範疇に含まれるものである。 The present invention is not limited to the above-described embodiment. In other words, a person skilled in the art can implement the present invention by modifying it in various ways in accordance with conventional knowledge without departing from the gist of the present invention. As long as such modifications still include the configuration of the object detection device and object detection method of the present invention, they are of course included in the scope of the present invention.
1 本体部
2 LiDAR(センサ)
10 物体検知装置
11 制御部
11a 立方体処理部
11b 検知部
S 所定の領域
C 立方体領域
1
REFERENCE SIGNS
Claims (8)
所定時間の間に前記入力部に複数回入力された前記点群情報に基づいて前記所定の空間内で静止物の領域である背景領域を検出する検出部と、
前記検出部が検出した前記背景領域以外の領域に含まれる前記点群情報に基づいて前記所定の空間における物体の検知を行う物体検知部と、を備え、
前記検出部は、前記所定の空間を八分木により分割された複数の立方体状の領域のそれぞれにおける点群の検出状態に基づいて前記背景領域を検出する、
ことを特徴とする物体検知装置。 an input unit that receives point cloud information from a sensor that is installed on the ground, intermittently irradiates light to scan a predetermined space, receives reflected light of the light, and acquires point cloud information based on the reflected light;
a detection unit that detects a background region, which is a region of stationary objects, within the specified space based on the point cloud information inputted multiple times to the input unit during a specified time;
an object detection unit that detects an object in the predetermined space based on the point cloud information included in an area other than the background area detected by the detection unit,
the detection unit detects the background region based on a detection state of a point cloud in each of a plurality of cubic regions obtained by dividing the predetermined space by an octree;
1. An object detection device comprising:
前記検出部は、前記カウンタのカウント回数に応じて前記背景領域を分類する、
ことを特徴とする請求項1に記載の物体検知装置。 the detection unit includes a counter that counts the number of times the cubic region is detected as the background region,
The detection unit classifies the background region according to the count number of the counter.
2. The object detection device according to claim 1 .
ことを特徴とする請求項1に記載の物体検知装置。 the detection unit sets an area in the predetermined space, the area being limited in range in a horizontal plane and in a height direction, and detects the background area within the limited area.
2. The object detection device according to claim 1 .
前記センサから前記点群情報が入力される入力工程と、
所定時間の間に前記入力工程に複数回入力された前記点群情報に基づいて前記所定の空間内で静止物の領域である背景領域を検出する検出工程と、
前記検出工程で検出した前記背景領域以外の領域に含まれる前記点群情報に基づいて前記所定の空間における物体の検知を行う物体検知工程と、を備え、
前記検出工程は、前記所定の空間を八分木により分割された複数の立方体状の領域のそれぞれにおける点群の検出状態に基づいて前記背景領域を検出する、
ことを特徴とする物体検知方法。 An object detection method implemented by an object detection device having a sensor that is installed on the ground, intermittently irradiates light to scan a predetermined space, receives reflected light of the light, and acquires point cloud information based on the reflected light,
an input step of inputting the point cloud information from the sensor;
a detection step of detecting a background region, which is a region of stationary objects, within the predetermined space based on the point cloud information inputted a plurality of times in the input step during a predetermined time period;
an object detection step of detecting an object in the predetermined space based on the point cloud information included in an area other than the background area detected in the detection step,
The detection step detects the background region based on a detection state of a point cloud in each of a plurality of cubic regions obtained by dividing the predetermined space by an octree.
13. An object detection method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022186354A JP2024075139A (en) | 2022-11-22 | 2022-11-22 | Object detection device and object detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022186354A JP2024075139A (en) | 2022-11-22 | 2022-11-22 | Object detection device and object detection method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024075139A true JP2024075139A (en) | 2024-06-03 |
Family
ID=91321570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022186354A Pending JP2024075139A (en) | 2022-11-22 | 2022-11-22 | Object detection device and object detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024075139A (en) |
-
2022
- 2022-11-22 JP JP2022186354A patent/JP2024075139A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Schauer et al. | The peopleremover—removing dynamic objects from 3-d point cloud data by traversing a voxel occupancy grid | |
US11709058B2 (en) | Path planning method and device and mobile device | |
CN109509210B (en) | Obstacle tracking method and device | |
JP5822255B2 (en) | Object identification device and program | |
CN110674705B (en) | Small-sized obstacle detection method and device based on multi-line laser radar | |
CN111932943B (en) | Dynamic target detection method and device, storage medium and roadbed monitoring equipment | |
WO2022099530A1 (en) | Motion segmentation method and apparatus for point cloud data, computer device and storage medium | |
CN108984741B (en) | Map generation method and device, robot and computer-readable storage medium | |
CN113050632A (en) | Map exploration method and chip for robot to explore unknown area and robot | |
CN113570665B (en) | Road edge extraction method and device and electronic equipment | |
CN112904369B (en) | Robot repositioning method, apparatus, robot, and computer-readable storage medium | |
CN109948635B (en) | Target identification method and device based on laser scanning | |
CN110705385B (en) | Method, device, equipment and medium for detecting angle of obstacle | |
CN114359866A (en) | Road boundary detection method and device based on laser radar | |
CN113112491B (en) | Cliff detection method, cliff detection device, robot and storage medium | |
Choe et al. | Fast point cloud segmentation for an intelligent vehicle using sweeping 2D laser scanners | |
CN116109601A (en) | Real-time target detection method based on three-dimensional laser radar point cloud | |
CN118279876B (en) | Automatic obstacle avoidance method and system for cleaning vehicle based on image processing | |
CN113189610B (en) | Map-enhanced autopilot multi-target tracking method and related equipment | |
CN114387293A (en) | Road edge detection method and device, electronic equipment and vehicle | |
JP2024075139A (en) | Object detection device and object detection method | |
CN115457496B (en) | Automatic driving retaining wall detection method and device and vehicle | |
CN116429145A (en) | Automatic docking navigation method and system for unmanned vehicle and garbage can under complex scene | |
Landa et al. | Detection of pole-like objects from LIDAR data | |
CN114212106B (en) | Method and device for determining safety probability in drivable area of vehicle |