KR102559196B1 - Unstructured object detection system and method using 3D LiDAR - Google Patents

Unstructured object detection system and method using 3D LiDAR Download PDF

Info

Publication number
KR102559196B1
KR102559196B1 KR1020200167104A KR20200167104A KR102559196B1 KR 102559196 B1 KR102559196 B1 KR 102559196B1 KR 1020200167104 A KR1020200167104 A KR 1020200167104A KR 20200167104 A KR20200167104 A KR 20200167104A KR 102559196 B1 KR102559196 B1 KR 102559196B1
Authority
KR
South Korea
Prior art keywords
candidate group
lidar
clustering
point cloud
value
Prior art date
Application number
KR1020200167104A
Other languages
Korean (ko)
Other versions
KR20220078029A (en
Inventor
박태형
이전혁
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020200167104A priority Critical patent/KR102559196B1/en
Publication of KR20220078029A publication Critical patent/KR20220078029A/en
Application granted granted Critical
Publication of KR102559196B1 publication Critical patent/KR102559196B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 3D 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는, 라이다 획득부에서, 적어도 하나의 3D 라이다 센서를 이용하여 스캔되는 영역에 대한 적어도 하나의 3D 포인트 클라우드를 획득하는 데이터 획득단계(S100), 군집화부에서, 상기 데이터 획득단계(S100)에 의해 획득한 상기 3D 포인트 클라우드를 분석하여, 적어도 하나의 객체 후보군으로 군집화를 수행하는 군집화 단계(S200), 특징 추출부에서, 상기 군집화 단계(S200)에 의해 군집화한 각 객체 후보군을 이루고 있는 3D 포인트 클라우드를 이용하여, 기설정된 항목의 특징 이미지를 추출하는 특징 추출단계(S300) 및 검출부에서, 기저장된 객체 검출 알고리즘에 상기 특징 추출부(S300)에 의해 추출한 각 객체 후보군에 대한 특징들을 적용하여, 비정형 객체를 검출하는 비정형 객체 검출단계(S400)를 포함하여 구성되는 것을 특징으로 하는 3D 라이다를 이용한 비정형 객체 검출 방법에 관한 것이다.The present invention relates to a system and method for detecting an atypical object using a 3D lidar, and more particularly, a data acquisition step (S100) of acquiring at least one 3D point cloud for an area scanned using at least one 3D lidar sensor in a lidar acquisition unit, and a clustering step (S100) of performing clustering into at least one object candidate group by analyzing the 3D point cloud obtained by the data acquisition step (S100) in a clustering unit. 200), in a feature extraction unit, a feature extraction step (S300) of extracting a feature image of a preset item using a 3D point cloud constituting each object candidate group clustered by the clustering step (S200), and an irregular object detection step (S400) of detecting an atypical object by applying features for each object candidate group extracted by the feature extraction unit (S300) to a pre-stored object detection algorithm in the detection unit. It relates to an atypical object detection method using a 3D lidar, characterized in that.

Description

3D 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법 {Unstructured object detection system and method using 3D LiDAR}Unstructured object detection system and method using 3D LiDAR

본 발명은 3D 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 3D 라이다(LiDAR) 데이터를 이용하여 객체 검출 시, 노이즈를 고려하여 비정형 객체에 대한 오검출을 감소시킬 수 있는 3D 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for detecting an irregular object using a 3D lidar, and more particularly, to a system and method for detecting an irregular object using a 3D lidar capable of reducing erroneous detection of an irregular object in consideration of noise when detecting an object using 3D LiDAR data.

특히, 자율주행 차량에 적용시, 도로 위의 비정형 장애물을 정확히 인식할 수 있을 뿐 아니라, 노이즈 여부를 판단하여 노이즈를 정확하게 제거할 수 있는 3D 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법에 관한 것이다.In particular, when applied to an autonomous vehicle, it relates to an atypical object detection system and method using a 3D lidar capable of accurately recognizing atypical obstacles on the road and accurately removing noise by determining whether or not there is noise.

3D 라이다(LiDAR, Light Detection and Ranging)란, 레이저를 통해 주변 물체를 스캔하여 획득되는 복수의 포인트들을 포인트 클라우드(point cloud)라 하고, 각각의 포인트들은 스캔한 객체의 표면에 대한 3차원 위치 좌표 값과 반사도 값을 포함하게 된다.3D LiDAR (Light Detection and Ranging) refers to a plurality of points obtained by scanning a surrounding object with a laser as a point cloud, and each point includes a 3D position coordinate value and a reflectance value for the surface of the scanned object.

이러한 3D 라이다 데이터를 이용한 객체 검출 시스템을 자율주행 자량 또는 보조주행 차량 등에 적용할 경우, 요구되는 검출 객체는 차선, 신호등, 보행자, 주변 차량, 주행에 방해가 되는 물체 등이다.When an object detection system using such 3D lidar data is applied to an autonomous vehicle or assisted driving vehicle, required detection objects are lanes, traffic lights, pedestrians, surrounding vehicles, and objects that interfere with driving.

그렇지만, 레이저를 통해 주변 물체를 스캔하여 획득되는 3D 라이다 데이터의 특성 상, 많은 비가 오는 상황이나 주변 차량이 물 웅덩이 등을 밟아 다량의 물방울이 스캔될 수 있을 환경일 경우, 차량 주행에 전혀 영향을 주지 않는 물방울을 주행에 방해가 되는 물체로 검출하는 오검출의 문제점이 있다.(도 1의 a) 참조)However, due to the nature of 3D LiDAR data obtained by scanning surrounding objects with a laser, in a rainy situation or an environment in which a large amount of water droplets can be scanned by a nearby vehicle stepping on a water puddle, there is a problem of false detection in which water droplets that do not affect vehicle driving are detected as objects that interfere with driving (see FIG. 1 a)).

이러한 오검출 문제점의 또다른 예를 들자면, 주변 차량의 배기구에서 배출되는 고농도의 수증기가 계절 상 특성에 따라 응축되는 정도가 달라짐으로써 수증기가 스캔될 수 있는 환경일 경우, 차량 주행에 전혀 영향을 주지 않는 수증기조차 주행에 방해가 되는 물체로 검출하게 된다.(도 1의 b) 참조)As another example of such a false detection problem, the degree of condensation of high-concentration water vapor discharged from the exhaust vents of surrounding vehicles varies according to seasonal characteristics, so in an environment where water vapor can be scanned, even water vapor that does not affect vehicle driving at all is detected as an obstacle to driving (see b) in FIG. 1).

이와 같이, 3D 라이다 데이터를 이용하여 주변 환경 인지를 수행할 경우, 보다 강인한 환경 인지를 수행할 필요가 있다.As such, when performing ambient environment recognition using 3D lidar data, it is necessary to perform more robust environment recognition.

이와 관련해서, 국내등록특허 제10-2083482호("라이다 기반 차량주행 가능영역 검출장치 및 방법")에서는 차량이 주행할 수 없는 위치인 도로 경계 객체를 검출하는 기술에 대해서 개시하고 있을 뿐, 차량이 주행할 수 있는 도로에서 검출된 비정형 객체의 노이즈 판단에 대해서는 전혀 언급하지 않고 있다.In this regard, Korean Patent Registration No. 10-2083482 (“LIDAR-Based Vehicle Driving Area Detection Apparatus and Method”) only discloses a technology for detecting a road boundary object, which is a location in which a vehicle cannot drive, and does not mention noise determination of an atypical object detected on a road on which a vehicle can drive.

국내등록특허 제10-2083482호(등록일자 2020.02.25.)Domestic Patent Registration No. 10-2083482 (Registration date 2020.02.25.)

본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 3D 라이다(LiDAR) 데이터에 대한 3D 군집화 방법을 활용하여, 비정형 객체를 정확히 인식할 수 있을 뿐 아니라, 인식한 비정형 객체의 노이즈 여부를 판단하여, 오검출을 감소시킬 수 있는 3D 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법을 제공하는 것이다.The present invention has been made to solve the problems of the prior art as described above, and an object of the present invention is to provide an irregular object detection system and method using 3D LiDAR that can accurately recognize an irregular object by using a 3D clustering method for 3D LiDAR data, and can reduce false detection by determining whether or not the recognized irregular object has noise.

본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템은, 적어도 하나의 3D 라이다 센서를 포함하여 구성되며, 상기 3D 라이다 센서를 통해서 스캔되는 영역에 대한 적어도 하나의 3D 포인트 클라우드(point cloud)를 획득하는 라이다 획득부(100), 상기 라이다 획득부(100)로부터 전달받은 상기 3D 포인트 클라우드를 이용하여, 적어도 하나의 객체 후보군으로 군집화를 수행하는 군집화부(200), 상기 군집화부(200)에 의해 상기 군집화한 객체 후보군의 3D 포인트 클라우드를 이용하여, 탑뷰 이미지(top-view image)를 생성하고 상기 생성한 탑뷰 이미지에 대한 기설정된 항목의 특징을 추출하는 특징 추출부(300) 및 기저장된 객체 검출 알고리즘에 상기 특징 추출부(300)로부터 추출한 각 객체 후보군에 대한 특징들을 적용하여, 비정형 객체를 검출하는 검출부(400)를 포함하여 구성되는 것이 바람직하다.An atypical object detection system using 3D lidar according to an embodiment of the present invention includes at least one 3D lidar sensor, and includes a lidar acquisition unit 100 that acquires at least one 3D point cloud for an area scanned through the 3D lidar sensor, and a clustering unit 200 that performs clustering into at least one object candidate group using the 3D point cloud received from the lidar acquisition unit 100 It is preferable to include a feature extraction unit 300 that generates a top-view image using a 3D point cloud of the object candidate group clustered by the clustering unit 200 and extracts features of a preset item for the generated top-view image, and a detection unit 400 that detects an atypical object by applying features for each object candidate group extracted from the feature extraction unit 300 to a pre-stored object detection algorithm.

더 나아가, 상기 군집화부(200)는 상기 라이다 획득부(100)로부터 전달받은 각 라이다 채널 별 적어도 하나의 3D 포인트 클라우드를 이용하여, 각 3D 포인트 클라우드 별 위치 좌표를 기반으로 대표 포인트를 설정하는 대표점 추출부(210) 및 기저장된 3D 군집화 알고리즘를 이용하여, 상기 대표점 추출부(210)에서 설정한 대표 포인트에 대한 군집화를 수행하여, 적어도 하나의 객체 후보군 데이터를 분리하는 객체 분리부(220)를 더 포함하여 구성되는 것이 바람직하다.Furthermore, the clustering unit 200 uses the representative point extraction unit 210 that sets representative points based on the position coordinates of each 3D point cloud using at least one 3D point cloud for each lidar channel received from the lidar acquisition unit 100 and an object separation unit that separates at least one object candidate group data by performing clustering on the representative points set by the representative point extraction unit 210 using a pre-stored 3D clustering algorithm. It is preferable to further include (220).

더 나아가, 상기 특징 추출부(300)는 상기 군집화부(200)에 의해 상기 객체 후보군의 3D 포인트 클라우드를 기반으로 생성한 상기 탑뷰 이미지를 토대로, 상기 객체 후보군으로 군집화된 3D 포인트 클라우드의 최대 높이 값, 평균 높이 값, 최대 반사도 값, 평균 반사도 값, 군집화된 포인트의 개수 값, 밀도 값 및 분포 값 중 적어도 하나 이상의 특징을 추출하는 것이 바람직하다.Furthermore, the feature extractor 300 preferably extracts at least one feature of a maximum height value, an average height value, a maximum reflectance value, an average reflectance value, the number of clustered points, a density value, and a distribution value of the 3D point cloud clustered into the object candidate group, based on the top-view image generated by the clustering unit 200 based on the 3D point cloud of the object candidate group.

더 나아가, 상기 검출부(400)는 상기 객체 검출 알고리즘에 상기 특징 추출부(300)로부터 추출한 각 객체 후보군에 대한 특징들을 적용한 결과 값을 이용하여, 추정된 객체인 상기 객체 후보군 중 비정형 객체를 검출하는 것이 바람직하다.Furthermore, the detection unit 400 preferably detects an atypical object among the object candidate groups, which are estimated objects, by using a result value obtained by applying the features of each object candidate group extracted from the feature extraction unit 300 to the object detection algorithm.

본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 방법은, 라이다 획득부에서, 적어도 하나의 3D 라이다 센서를 이용하여 스캔되는 영역에 대한 적어도 하나의 3D 포인트 클라우드를 획득하는 데이터 획득단계(S100), 군집화부에서, 상기 데이터 획득단계(S100)에 의해 획득한 상기 3D 포인트 클라우드를 분석하여, 적어도 하나의 객체 후보군으로 군집화를 수행하는 군집화 단계(S200), 특징 추출부에서, 상기 군집화 단계(S200)에 의해 군집화한 각 객체 후보군을 이루고 있는 3D 포인트 클라우드를 이용하여, 기설정된 항목의 특징 이미지를 추출하는 특징 추출단계(S300) 및 검출부에서, 기저장된 객체 검출 알고리즘에 상기 특징 추출부(S300)에 의해 추출한 각 객체 후보군에 대한 특징들을 적용하여, 비정형 객체를 검출하는 비정형 객체 검출단계(S400)를 포함하여 구성되는 것이 바람직하다.The atypical object detection method using 3D lidar according to an embodiment of the present invention includes a data acquisition step (S100) of acquiring at least one 3D point cloud for an area scanned using at least one 3D lidar sensor in a lidar acquisition unit, a clustering step (S200) of performing clustering into at least one object candidate group by analyzing the 3D point cloud acquired by the data acquisition step (S100) in a clustering unit, Preferably, the extraction unit includes a feature extraction step (S300) of extracting a feature image of a predetermined item using the 3D point cloud constituting each object candidate group clustered in the clustering step (S200), and an irregular object detection step (S400) of detecting an atypical object by applying features of each object candidate group extracted by the feature extraction unit (S300) to a pre-stored object detection algorithm in the detection unit.

더 나아가, 상기 군집화 단계(S200)는 상기 데이터 획득단계(S100)에 의해 획득한 각 라이다 채널 별 적어도 하나의 3D 포인트 클라우드를 이용하여, 각 3D 포인트 클라우드 별 위치 좌표를 기반으로, 대표 포인트를 설정하는 대표점 추출단계(S210) 및 기저장된 3D 군집화 알고리즘를 이용하여, 상기 대표점 추출단계(S210)에 의해 설정한 대표 포인트에 대한 군집화를 수행하여, 적어도 하나의 객체 후보군 데이터를 분리하는 후보군 분리단계(S220)를 더 포함하여 구성되는 것이 바람직하다.Furthermore, in the clustering step (S200), the representative point extraction step (S210) of setting a representative point based on the position coordinates of each 3D point cloud using at least one 3D point cloud for each LiDAR channel acquired in the data acquisition step (S100) and a pre-stored 3D clustering algorithm are used to perform clustering on the representative point set by the representative point extraction step (S210), and at least one object candidate group data It is preferable to further include a candidate group separation step (S220) of separating the.

더 나아가, 상기 특징 추출단계(S300)는 상기 군집화 단계(S200)에 의해 군집화한 각 객체 후보군을 이루고 있는 3D 포인트 클라우드에 대한 탑뷰 이미지(top-view image)를 생성하는 이미지 생성단계(S310) 및 상기 이미지 생성단계(S310)에 의해 생성한 상기 탑뷰 이미지를 토대로, 군집화된 객체 후보군의 3D 포인트 클라우드를 기반으로 생성한 상기 탑뷰 이미지를 토대로, 군집화된 3D 포인트 클라우드의 최대 높이 값, 평균 높이 값, 최대 반사도 값, 평균 반사도 값, 군집화된 포인트의 개수 값, 밀도 값 및 분포 값 중 적어도 하나 이상의 특징을 추출하는 세부 분석단계(S320)를 더 포함하는 것이 바람직하다.Furthermore, the feature extraction step (S300) includes an image generating step (S310) of generating a top-view image for the 3D point clouds constituting each object candidate group clustered by the clustering step (S200) and a maximum height of the clustered 3D point cloud based on the top-view image generated based on the 3D point cloud of the clustered object candidate group based on the top-view image generated by the image generating step (S310). It is preferable to further include a detailed analysis step ( S320 ) of extracting at least one feature among value, average height value, maximum reflectance value, average reflectance value, number of clustered points, density value, and distribution value.

더 나아가, 상기 객체 검출단계(S400)는 상기 객체 검출 알고리즘에서 입력되는 정형화된 객체 관련 정보들을 학습하는 학습 단계(S410) 및 상기 학습 단계(S410)의 학습에 의한 학습 모델에, 상기 특징 추출단계(S300)에 추출한 각 객체 후보군 별 특징들을 적용하여, 추정된 객체인 상기 객체 후보군 중 비정형 객체를 검출하는 세부 검출단계(S420)를 더 포함하여 것이 바람직하다.Furthermore, the object detection step (S400) preferably further includes a learning step (S410) of learning standardized object-related information input from the object detection algorithm and a detailed detection step (S420) of detecting an atypical object from the object candidate group, which is an estimated object, by applying the features of each object candidate group extracted in the feature extraction step (S300) to the learning model through learning in the learning step (S410).

상기와 같은 구성에 의한 본 발명의 3D 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법은 3D 라이다(LiDAR) 데이터에 대한 3D 군집화 방법을 활용하여, 비정형 객체를 정확히 인식할 수 있을 뿐 아니라, 인식한 비정형 객체의 노이즈 여부를 판단하여, 오검출을 감소시킬 수 있는 장점이 있다.The atypical object detection system and method using the 3D LiDAR of the present invention according to the above configuration has the advantage of being able to accurately recognize atypical objects by utilizing the 3D clustering method for 3D LiDAR data, and reducing false detection by determining whether or not the recognized atypical object is noisy.

특히, 자율주행 차량에 적용시, 도로 위의 비정형 장애물을 정확히 인식할 수 있을 뿐 아니라, 인식한 비정형 장애물의 노이즈 여부를 정확히 판단하여, 다시 말하자면, 주행에 방해되지 않는 노이즈를 고려한 비정형 객체 인식을 통해 주변 환경을 정확하게 고려한 자율주행 서비스를 제공할 수 있다.In particular, when applied to an autonomous vehicle, it is possible to accurately recognize an atypical obstacle on the road, accurately determine whether or not the recognized atypical obstacle is noisy, in other words, to provide an autonomous driving service that accurately considers the surrounding environment through atypical object recognition in consideration of noise that does not interfere with driving.

더불어, 카메라를 사용하는 환경 인지 기술과는 달리, 라이다 센서 만을 단독 사용할 수 있어 어두운 야간 상황에서도 사용할 수 있으며, 노이즈를 제거한 비정형 객체 검출을 통해서 보다 강인하게 주변 환경을 인지할 수 있는 장점이 있다.In addition, unlike the environment recognition technology using a camera, only the LIDAR sensor can be used alone, so it can be used even in dark night situations, and it has the advantage of being able to recognize the surrounding environment more robustly through the detection of atypical objects with noise removed.

도 1은 종래의 라이다를 이용한 객체 검출 기술에 의한 비정형 객체의 오검출 예시도이다.
도 2는 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템을 나타낸 구성 예시도이다.
도 3은 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템의 군집화부(200)에서, 각 3D 포인트 클라우드 별 위치 좌표를 기반으로 대표 포인트를 설정하는 과정을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템의 군집화부(200)에서, 분리한 객체 후보군 데이터를 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템의 특징 추출부(300)에서, 추출한 특징 항목을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 방법을 나타낸 방법 예시도이다.
1 is an exemplary view of erroneous detection of an atypical object by a conventional object detection technique using lidar.
2 is an exemplary configuration diagram illustrating an atypical object detection system using a 3D lidar according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a process of setting a representative point based on location coordinates for each 3D point cloud in the clustering unit 200 of the atypical object detection system using 3D lidar according to an embodiment of the present invention.
4 is an exemplary diagram illustrating separated object candidate group data in the clustering unit 200 of the atypical object detection system using 3D lidar according to an embodiment of the present invention.
5 is an exemplary view showing extracted feature items in the feature extraction unit 300 of the atypical object detection system using 3D lidar according to an embodiment of the present invention.
6 is an exemplary view illustrating a method of detecting an atypical object using a 3D lidar according to an embodiment of the present invention.

이하 첨부한 도면들을 참조하여 본 발명의 3D 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, an atypical object detection system and method using a 3D lidar of the present invention will be described in detail with reference to the accompanying drawings. The drawings introduced below are provided as examples to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention may be embodied in other forms without being limited to the drawings presented below. Also, like reference numerals denote like elements throughout the specification.

이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.At this time, unless there is another definition in the technical terms and scientific terms used, they have meanings commonly understood by those of ordinary skill in the art to which this invention belongs, and descriptions of known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted in the following description and accompanying drawings.

더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.In addition, a system refers to a set of components including devices, mechanisms, and means that are organized and regularly interact to perform necessary functions.

본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법은, 3D 라이다 데이터를 활용하여 3D 군집화를 통해 객체 후보군들을 추출하고, 추출한 객체 후보군들로부터 다양한 특성 항목을 생성하여, 생성한 특성 항목들을 이용하여 비정형 객체를 검출할 수 있는 기술로서, 종래의 객체 검출 기술과는 상이하게 밀도 특성과 분포도 특성을 추출하여 이를 적용함으로써, 노이즈를 고려한 비정형 객체를 검출할 수 있는 기술적 특징이 있다.A system and method for detecting an atypical object using 3D lidar according to an embodiment of the present invention extracts object candidate groups through 3D clustering using 3D lidar data, generates various characteristic items from the extracted object candidate groups, and detects an atypical object using the generated characteristic items. Different from conventional object detection techniques, by extracting and applying density characteristics and distribution characteristics, there are technical features capable of detecting atypical objects considering noise. .

도 2는 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템을 나타낸 구성 예시도이며, 도 2를 참조로 하여 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템을 상세히 설명한다.FIG. 2 is an exemplary configuration diagram showing an irregular object detection system using a 3D lidar according to an embodiment of the present invention. Referring to FIG. 2, the irregular object detection system using a 3D lidar according to an embodiment of the present invention will be described in detail.

본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템은 도 2에 도시된 바와 같이, 라이다 획득부(100), 군집화부(200), 특징 추출부(300) 및 검출부(400)를 포함하여 구성되는 것이 바람직하며, 각 구성들에서 발생하는 데이터들을 전송받아, 이를 데이터베이스화하여 저장 및 관리하는 데이터베이스부(미도시)를 더 포함하여 구성되는 것이 바람직하다. 또한, 각 구성들은 하나의 연산처리수단 또는 각각의 연산처리수단에 구성되어 동작을 수행하게 된다.As shown in FIG. 2, the atypical object detection system using a 3D lidar according to an embodiment of the present invention preferably includes a lidar acquisition unit 100, a clustering unit 200, a feature extraction unit 300, and a detection unit 400. It is preferable to be configured to further include a database unit (not shown) that receives data generated from each of the components, stores and manages the data into a database. In addition, each component is configured in one arithmetic processing unit or each arithmetic processing unit to perform an operation.

더불어, 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템은, 용이한 설명을 위해 자율주행 차량 또는 보조주행 차량 등에 적용될 경우를 예로 들어 설명하고자 하며, 이는 본 발명의 일 실시예에 불과하며, 적용되는 시스템, 수단 등에 따라 노이즈를 고려한 다양한 형태의 비정형 객체를 검출할 수 있다.In addition, an atypical object detection system using a 3D lidar according to an embodiment of the present invention will be described by taking an example when applied to an autonomous vehicle or assisted driving vehicle for easy explanation.

각 구성에 대해서 자세히 알아보자면,For a detailed look at each component,

상기 라이다 획득부(100)는 적어도 하나의 3D 라이다 센서를 포함하여 구성되는 것이 바람지하며, 상기 3D 라이다 센서를 통해서 스캔되는 영역에 대한 적어도 하나의 3D 포인트 클라우드(point cloud)를 획득하는 것이 바람직하다.Preferably, the lidar acquisition unit 100 includes at least one 3D lidar sensor, and acquires at least one 3D point cloud for an area scanned through the 3D lidar sensor.

상세하게는, 상기 3D 라이다 센서는 환경인지 센서의 한 종류로서, 회전하면서 전방위에 레이저를 쏘아 반사되어 돌아오는 시간에 기초하여 반사체의 위치 좌표 등을 포인트 클라우드라는 데이터 형식으로 측정하는 센서이다.In detail, the 3D lidar sensor is a type of environment recognition sensor, which shoots lasers in all directions while rotating and measures the location coordinates of a reflector based on the reflected return time in a data format called a point cloud. It is a sensor.

즉, 3D 포인트 클라우드란, 반사체의 위치 좌표 값, 반사도 값 등을 포함하는 각 포인트가 모여서 형성되는 집단체를 의미한다.That is, the 3D point cloud refers to an aggregate formed by gathering points including positional coordinate values and reflectivity values of reflectors.

상기 군집화부(200)는 상기 라이다 획득부(100)로부터 전달받은 상기 3D 포인트 클라우드를 이용하여, 적어도 하나의 객체 후보군으로 군집화를 수행하는 것이 바람직하다.Preferably, the clustering unit 200 performs clustering with at least one object candidate group using the 3D point cloud transmitted from the LIDAR acquisition unit 100 .

상세하게는, 상기 군집화부(200)는 도 2에 도시된 바와 같이, 대표점 추출부(210)와 객체 분리부(220)를 포함하여 구성되는 것이 바람직하다.In detail, as shown in FIG. 2 , the clustering unit 200 preferably includes a representative point extraction unit 210 and an object separation unit 220 .

상기 대표점 추출부(210)는 상기 라이다 획득부(100)로부터 전달받은 각 라이다 채널별 적어도 하나의 3D 포인트 클라우드를 이용하여, 각 3D 포인트 클라우드 별 위치 좌표를 기반으로 대표 포인트를 설정하는 것이 바람직하다.It is preferable that the representative point extraction unit 210 sets a representative point based on the location coordinates of each 3D point cloud using at least one 3D point cloud for each lidar channel received from the lidar acquisition unit 100.

즉, 상기 대표점 추출부(210)는 도 3에 도시된 바와 같이, 각 라이다 채널 별로 적어도 하나의 3D 포인트 클라우드를 전달받아, 각각의 3D 포인트 클라우드 별 위치 좌표를 기반으로, 각각의 상기 대표 포인트를 설정하는 것이 바람직하다. 도 3에서는 중심점을 상기 대표 포인트로 설정하였으나, 이는 본 발명의 일 실시예에 불과하다.That is, as shown in FIG. 3, the representative point extractor 210 receives at least one 3D point cloud for each lidar channel and sets each of the representative points based on the positional coordinates of each 3D point cloud. In FIG. 3, the center point is set as the representative point, but this is only one embodiment of the present invention.

상기 객체 분리부(220)는 미리 저장된 3D 군집화 알고리즘을 이용하여, 상기 대표점 추출부(210)에서 설정한 상기 대표 포인트들에 대한 군집화를 수행하여, 적어도 하나의 객체 후보군 데이터를 분리하는 것이 바람직하다.Preferably, the object separator 220 performs clustering on the representative points set by the representative point extractor 210 using a pre-stored 3D clustering algorithm to separate at least one object candidate group data.

군집화(clustering)란, 비슷한 특성을 가진 데이터들의 집단을 의미하며, 상기 객체 분리부(220)는 미리 저장된 3D 군집화 알고리즘으로, 3D Euclidean clustering 알고리즘을 이용함으로써, 가장 근접하여 위치하고 있는 포인트 사이의 거리를 계산하여 사이값이 소정값 이하일 경우, 동일한 군집으로 간주하여 집단을 이룸으로써, 적어도 하나의 객체 후보군 데이터를 분리하는 것이 바람직하다.Clustering means a group of data having similar characteristics, and the object separation unit 220 preferably separates at least one object candidate group data by calculating the distance between points located closest to each other by using a 3D Euclidean clustering algorithm, which is a pre-stored 3D clustering algorithm, and when the intervening value is less than or equal to a predetermined value, by considering it as the same cluster and forming the group.

이 때, 사이값을 계산하는 방법으로는 유클리드 거리 계산법을 이용하는 것이 바람직하며, 소정값은 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시스템에 적용되는 시스템, 수단 등에 따라 상이하게 설정되는 것이 바람직하다.At this time, it is preferable to use the Euclidean distance calculation method as a method of calculating the interval value, and the predetermined value is set differently depending on the system, means, etc. applied to the atypical object detection system using 3D lidar according to an embodiment of the present invention. It is preferable.

다시 말하자면, 상기 객체 분리부(220)는 기존의 top-view나 polar-view 변환을 통한 라이다 객체 검출 기술의 경우, 노이즈가 객체의 위나 뒤에 있는 경우, 객체를 오검출하거나 검출조차 하지 못하기 때문에, 이를 방지하기 위하여, 3D Euclidean clustering 알고리즘을 이용하는 것이 바람직하다.In other words, in the case of the conventional lidar object detection technology through top-view or polar-view conversion, when the noise is above or behind the object, the object separation unit 220 does not erroneously detect or even detect the object. To prevent this, it is preferable to use the 3D Euclidean clustering algorithm.

그렇지만, 포인트 클라우드를 이루고 있는 모든 포인트에 대해서 Euclidean clustering 알고리즘을 적용할 경우, 많은 시간/비용이 발생하기 때문에, 이를 해소하기 위하여, 상기 대표점 추출부(210)를 통해서 각각의 3D 포인트 클라우드 별 각각의 상기 대표 포인트를 설정하여 활용하는 것이 바람직하다.However, when the Euclidean clustering algorithm is applied to all points constituting the point cloud, a lot of time and cost is incurred. In order to solve this problem, it is preferable to set and utilize each representative point for each 3D point cloud through the representative point extractor 210.

이를 통해서, 상기 객체 분리부(220)는 도 4에 도시된 바와 같이, 근접하여 위치하고 있는 대표 포인트들을 동일한 집단으로 군집화하면서 적어도 하나의 객체 후보군 데이터를 분리하게 된다.Through this, as shown in FIG. 4 , the object separation unit 220 separates at least one object candidate group data while clustering representative points located close to each other into the same group.

상기 특징 추출부(300)는 상기 군집화부(200)에 의해 상기 군집한 객체 후보군의 3D 포인트 클라우드를 이용하여, 탑뷰 이미지(top-view image)를 생성하고, 상기 생성한 탑뷰 이미지에 대한 미리 설정된 항목의 특징들을 추출하는 것이 바람직하다.Preferably, the feature extraction unit 300 generates a top-view image using a 3D point cloud of the object candidate group clustered by the clustering unit 200, and extracts features of preset items for the generated top-view image.

상세하게는, 상기 특징 추출부(300)는 상기 라이다 획득부(100)로부터 상기 군집화부(200)에 의해 분리한 적어도 하나의 객체 후보군 데이터들과 매칭되는 3D 포인트 클라우드(Raw data)를 전달받아, 상기 탑뷰 이미지로 변환하는 것이 바람직하다.In detail, the feature extraction unit 300 receives 3D point cloud (Raw data) that matches at least one object candidate group data separated by the clustering unit 200 from the lidar acquisition unit 100, and converts it into the top-view image.

상기 특징 추출부(300)는 도 5에 도시된 바와 같이, 미리 저장된 특징 추출 알고리즘을 이용하여, 변환한 상기 탑뷰 이미지에 대한 최대 높이 값, 평균 높이 값, 최대 반사도 값, 평균 반사도 값, 군집화된 포인트의 개수 값, 밀도 값 및 분포 값 중 적어도 하나 이상을 추출하는 것이 바람직하다.As shown in FIG. 5, the feature extraction unit 300 preferably extracts at least one or more of a maximum height value, an average height value, a maximum reflectance value, and an average reflectance value of the transformed top-view image, a number value of clustered points, a density value, and a distribution value, using a pre-stored feature extraction algorithm.

상기 특징 추출부(300)에 의해서 추출되는 특징들은, 2D 라이다 센서를 활용한 탑뷰 이미지를 통해서는 밀도 값이나 분포 값은 분석해 낼 수 없다.For the features extracted by the feature extraction unit 300, density values or distribution values cannot be analyzed through a top-view image using a 2D lidar sensor.

이러한 기술적 특징은, 차량 주행에 고려해야 하는 비정형 객체(차로에 존재하는 알 수 없는 형태의 객체 등)를 검출함에 있어서, 수증기나 빗방울 또는 풀숲과 같이 차량 주행에 영향을 주지 않는 비정형 객체를 노이즈로 판단하여 이를 제외하고 보다 강인하게 주변 환경을 인지하기 위해서, 많은 실험 결과, 노이즈에 해당하는 비정형 객체들은 차량 주행에 고려해야 하는 비정형 객체들에 비해 해당하는 포인트들의 분포가 불연속적이고 밀도가 낮은 점을 알 수 있어, 이를 추출하기 위해 3D 라이다 센서를 활용한 탑뷰 이미지를 통해서 분석을 수행하는 것이 바람직하다.In detecting atypical objects (objects of unknown shape existing on the road, etc.) that need to be considered for vehicle driving, these technical features determine atypical objects that do not affect vehicle driving, such as steam, raindrops, or grass, as noise, and in order to recognize the surrounding environment more robustly. It is desirable to perform analysis through top-view images using 3D lidar sensors.

상기 검출부(400)는 미리 저장된 객체 검출 알고리즘에 상기 특징 추출부(300)로부터 추출한 군집화한 각 객체 후보군에 대한 특징들을 적용하여, 비정형 객체를 검출하는 것이 바람직하다.Preferably, the detection unit 400 detects an atypical object by applying features of each clustered object candidate group extracted from the feature extraction unit 300 to a pre-stored object detection algorithm.

이를 위해, 상기 검출부(400)는 사전에 상기 객체 검출 알고리즘을 이용하여 정형화된 객체 관련 정보들을 학습하여 학습 결과에 따른 학습 모델을 전달받는 것이 바람직하다.To this end, it is preferable that the detection unit 400 learns standardized object-related information using the object detection algorithm in advance and receives a learning model according to a learning result.

즉, 상기 학습 모델에 상기 특징 추출부(300)로부터 추출한 군집화한 각 객체 후보군에 대한 특징들을 적용하여, 비정형 객체를 검출하되, 상기 특징 추출부(300)에서 추출한 특징들 중 밀도 값 또는 분포 값을 고려하여, 분포가 불연속적이고 밀도가 낮은 객체 후보군은 '노이즈'로 판단하여 제외하고, 비정형 객체를 검출하는 것이 바람직하다. 상세하게는, 상기 검출부(400)는 상기 객체 검출 알고리즘에 의한 결과 값으로 군집화한 각 객체 후보군들의 center offset(추정된 객체의 중심 좌표), object class(추정된 객체의 class), object score(추정된 객체의 class 정확도), object height(추정된 객체의 높이)를 출력받아, 이를 이용하여 비정형 객체를 검출하는 것이 바람직하다. 물론, 이 때, 상기 특징 추출부(300)에서 추출한 특징들 중 밀도 값 또는 분포 값을 고려하여, 분포가 불연속적이고 밀도가 낮은 객체 후보군은 '노이즈'로 판단하여 제외한 결과 값이 출력되는 것이 바람직하다.That is, it is preferable to detect an atypical object by applying the features of each clustered object candidate group extracted from the feature extraction unit 300 to the learning model, but considering the density value or distribution value among the features extracted by the feature extraction unit 300, the object candidate group having a discontinuous distribution and low density is judged as 'noise' and excluded, and the atypical object is detected. In detail, the detection unit 400 preferably receives the center offset (coordinates of the center of the estimated object), object class (class of the estimated object), object score (accuracy of the class of the estimated object), and object height (height of the estimated object) of each object candidate group clustered as the result value by the object detection algorithm, and detects the atypical object using these outputs. Of course, at this time, considering the density value or the distribution value among the features extracted by the feature extractor 300, it is preferable that the object candidate group having a discontinuous distribution and a low density is determined as 'noise' and the result value is output.

이 때, 상기 객체 검출 알고리즘으로는 CNN(Convolution Neural Network) 알고리즘을 이용하는 것이 바람직하나, 이 역시 본 발명의 일 실시예에 불과하다.At this time, it is preferable to use a Convolution Neural Network (CNN) algorithm as the object detection algorithm, but this is also only one embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 방법을 나타낸 순서 예시도이며, 도 6을 참조로 하여 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 방법을 상세히 설명한다.6 is a flowchart illustrating a method of detecting an irregular object using a 3D lidar according to an embodiment of the present invention, and the method of detecting an irregular object using a 3D lidar according to an embodiment of the present invention will be described in detail with reference to FIG. 6 .

본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 방법은 도 6에 도시된 바와 같이, 데이터 획득단계(S100), 군집화 단계(S200), 특징 추출단계(S300) 및 비정형 객체 검출단계(S400)를 포함하여 구성되는 것이 바람직하다.As shown in FIG. 6, the atypical object detection method using 3D lidar according to an embodiment of the present invention includes a data acquisition step (S100), a clustering step (S200), a feature extraction step (S300), and an atypical object detection step (S400).

더불어, 본 발명의 일 실시예에 따른 3D 라이다를 이용한 비정형 객체 검출 시방법은, 용이한 설명을 위해 자율주행 차량 또는 보조주행 차량 등에 적용될 경우를 예로 들어 설명하고자 하며, 이는 본 발명의 일 실시예에 불과하며, 적용되는 시스템, 수단 등에 따라 노이즈를 고려한 다양한 형태의 비정형 객체를 검출할 수 있다.In addition, the method for detecting an atypical object using a 3D lidar according to an embodiment of the present invention will be described as an example when it is applied to an autonomous vehicle or assisted driving vehicle for easy explanation.

각 단계에 대해서 자세히 알아보자면,For a detailed look at each step,

상기 데이터 획득단계(S100)는 상기 라이다 획득부(100)에서, 상기 3D 라이다 센서를 통해서 스캔되는 영역에 대한 적어도 하나의 3D 포인트 클라우드(point cloud)를 획득하는 것이 바람직하다. 여기서, 3D 포인트 클라우드란, 반사체의 위치 좌표 값, 반사도 값 등을 포함하는 각 포인트가 모여서 형성되는 집단체를 의미한다.In the data acquisition step (S100), it is preferable that the lidar acquisition unit 100 acquires at least one 3D point cloud for an area scanned through the 3D lidar sensor. Here, the 3D point cloud refers to a group formed by gathering points including position coordinate values and reflectivity values of reflectors.

상기 군집화 단계(S200)는 상기 군집화부(200)에서, 상기 데이터 획득단계(S100)에 의해 획득한 상기 3D 포인트 클라우드를 이용하여, 적어도 하나의 객체 후보군으로 군집화를 수행하는 것이 바람직하다.In the clustering step (S200), it is preferable that the clustering unit 200 performs clustering with at least one object candidate group using the 3D point cloud obtained by the data acquisition step (S100).

이를 위해, 상기 군집화 단계(S200)는 도 6에 도시된 바와 같이, 대표점 추출단계(S210) 및 후보군 분리단계(S220)를 포함하여 구성되는 것이 바람직하다.To this end, as shown in FIG. 6, the clustering step (S200) preferably includes a representative point extraction step (S210) and a candidate group separation step (S220).

상기 대표점 추출단계(S210)는 상기 데이터 획득단계(S100)에 의해 획득한 상기 3D 포인트 클라우드를 이용하여, 즉, 전달받은 각 라이다 채널별 적어도 하나의 3D 포인트 클라우드를 이용하여, 각 3D 포인트 클라우드 별 위치 좌표를 기반으로 대표 포인트를 설정하는 것이 바람직하다.In the representative point extraction step (S210), it is preferable to set a representative point based on the location coordinates of each 3D point cloud by using the 3D point cloud acquired in the data acquisition step (S100), that is, by using at least one 3D point cloud for each LIDAR channel received.

다시 말하자면, 상기 대표점 추출단계(S210)는 도 3에 도시된 바와 같이, 각 라이다 채널 별로 적어도 하나의 3D 포인트 클라우드를 전달받아, 각각의 3D 포인트 클라우드 별 위치 좌표를 기반으로, 각각의 상기 대표 포인트를 설정하는 것이 바람직하다. 도 3에서는 중심점을 상기 대표 포인트로 설정하였으나, 이는 본 발명의 일 실시예에 불과하다.In other words, as shown in FIG. 3, in the representative point extraction step (S210), at least one 3D point cloud is received for each LIDAR channel, and each representative point is set based on the positional coordinates of each 3D point cloud. In FIG. 3, the center point is set as the representative point, but this is only one embodiment of the present invention.

상기 후보군 분리단계(S220)는 미리 저장된 3D 군집화 알고리즘을 이용하여, 상기 대표점 추출단계(S210)에서 설정한 상기 대표 포인트들에 대한 군집화를 수행하여, 적어도 하나의 객체 후보군 데이터를 분리하는 것이 바람직하다.Preferably, in the candidate group separation step (S220), at least one object candidate group data is separated by performing clustering on the representative points set in the representative point extraction step (S210) using a pre-stored 3D clustering algorithm.

상기 후보군 분리단계(S220)는 미리 저장된 3D 군집화 알고리즘으로, 3D Euclidean clustering 알고리즘을 이용함으로써, 가장 근접하여 위치하고 있는 포인트 사이의 거리를 계산하여 사이값이 소정값 이하일 경우, 동일한 군집으로 간주하여 집단을 이룸으로써, 적어도 하나의 객체 후보군 데이터를 분리하는 것이 바람직하다.The candidate group separation step (S220) is a pre-stored 3D clustering algorithm. It is preferable to separate at least one object candidate group data by using a 3D Euclidean clustering algorithm to calculate the distance between points located closest to each other and to consider them as the same cluster when the interval value is less than or equal to a predetermined value.

이 때, 포인트 클라우드를 이루고 있는 모든 포인트에 대해서 Euclidean clustering 알고리즘을 적용할 경우, 많은 시간/비용이 발생하기 때문에, 이를 해소하기 위하여, 상기 대표점 추출단계(S210)를 통해서 각각의 3D 포인트 클라우드 별 각각의 상기 대표 포인트를 설정하여 활용하는 것이 바람직하다.At this time, when the Euclidean clustering algorithm is applied to all points constituting the point cloud, a lot of time and cost is incurred. In order to solve this problem, it is preferable to set and utilize each representative point for each 3D point cloud through the representative point extraction step (S210).

이를 통해서, 상기 후보군 분리단계(S220)는 도 4에 도시된 바와 같이, 근접하여 위치하고 있는 대표 포인트들을 동일한 집단으로 군집화하면서 적어도 하나의 객체 후보군 데이터를 분리하게 된다.Through this, in the candidate group separation step (S220), as shown in FIG. 4, at least one object candidate group data is separated while clustering representative points located close to each other into the same group.

상기 특징 추출단계(S300)는 상기 특징 추출부(300)에서, 상기 군집화 단계(S200)에 의해 상기 군집한 객체 후보군의 3D 포인트 클라우드를 이용하여, 미리 설정된 항목의 특징들을 추출하는 것이 바람직하다.In the feature extraction step (S300), it is preferable that the feature extraction unit 300 extracts features of preset items using the 3D point cloud of the object candidate group clustered by the clustering step (S200).

이를 위해, 상기 특징 추출단계(S300)는 도 6에 도시된 바와 같이, 이미지 생성단계(S310) 및 세부 분석단계(S320)를 포함하여 구성되는 것이 바람직하다.To this end, as shown in FIG. 6, the feature extraction step (S300) preferably includes an image generation step (S310) and a detailed analysis step (S320).

상기 이미지 생성단계(S310)는 상기 데이터 획득단계(S100)로부터 상기 ㄱ룬집화 단계(S200)에 의해 분리한 적어도 하나의 객체 후보군 데이터들과 매칭되는 3D 포인트 클라우드(Raw data)를 전달받아, 상기 탑뷰 이미지로 변환하는 것이 바람직하다.In the image generation step (S310), the 3D point cloud (Raw data) matching the at least one object candidate group data separated by the a run collection step (S200) is received from the data acquisition step (S100), and converted into the top-view image.

상기 세부 분석단계(S320)는 도 5에 도시된 바와 같이, 미리 저장된 특징 추출 알고리즘을 이용하여, 상기 이미지 생성단계(S310)에 의해 생성한 상기 탑뷰 이미지에 대한 최대 높이 값, 평균 높이 값, 최대 반사도 값, 평균 반사도 값, 군집화된 포인트의 개수 값, 밀도 값 및 분포 값 중 적어도 하나 이상을 추출하는 것이 바람직하다.As shown in FIG. 5, the detailed analysis step (S320) preferably extracts at least one of a maximum height value, an average height value, a maximum reflectance value, an average reflectance value, a value of the number of clustered points, a density value, and a distribution value of the top-view image generated by the image generating step (S310) using a pre-stored feature extraction algorithm.

상기 세부 분석단계(S320)에 의해서 추출되는 특징들은, 2D 라이다 센서를 활용한 탑뷰 이미지를 통해서는 밀도 값이나 분포 값은 분석해 낼 수 없다.For the features extracted by the detailed analysis step (S320), density or distribution values cannot be analyzed through a top-view image using a 2D lidar sensor.

이러한 기술적 특징은, 차량 주행에 고려해야 하는 비정형 객체(차로에 존재하는 알 수 없는 형태의 객체 등)를 검출함에 있어서, 수증기나 빗방울 또는 풀숲과 같이 차량 주행에 영향을 주지 않는 비정형 객체를 노이즈로 판단하여 이를 제외하고 보다 강인하게 주변 환경을 인지하기 위해서, 많은 실험 결과, 노이즈에 해당하는 비정형 객체들은 차량 주행에 고려해야 하는 비정형 객체들에 비해 해당하는 포인트들의 분포가 불연속적이고 밀도가 낮은 점을 알 수 있어, 이를 추출하기 위해 3D 라이다 센서를 활용한 탑뷰 이미지를 통해서 분석을 수행하는 것이 바람직하다.In detecting atypical objects (objects of unknown shape existing on the road, etc.) that need to be considered for vehicle driving, these technical features determine atypical objects that do not affect vehicle driving, such as steam, raindrops, or grass, as noise, and in order to recognize the surrounding environment more robustly. It is desirable to perform analysis through top-view images using 3D lidar sensors.

이 때, 상기 특징 추출 알고리즘은 종래 기술에 해당하며, 상세한 설명은 생략한다.At this time, the feature extraction algorithm corresponds to the prior art, and a detailed description thereof will be omitted.

상기 객체 검출단계(S400)는 상기 검출부(400)에서, 미리 저장된 객체 검출 알고리즘에 상기 특징 추출단계(S300)에 의해 추출한 군집화한 각 객체 후보군에 대한 특징들을 적용하여, 비정형 객체를 검출하는 것이 바람직하다.In the object detection step (S400), it is preferable to detect an irregular object by applying the features of each clustered object candidate group extracted by the feature extraction step (S300) to the pre-stored object detection algorithm in the detection unit 400.

이를 위해, 상기 객체 검출단계(S400)는 도 6에 도시된 바와 같이, 학습 단계(S410) 및 세부 검출단계(S420)를 포함하여 구성되는 것이 바람직하다.To this end, the object detection step (S400) is preferably configured to include a learning step (S410) and a detailed detection step (S420) as shown in FIG.

상기 학습 단계(S410)는 사전에 상기 객체 검출 알고리즘을 이용하여 정형화된 객체 관련 정보들을 학습하여 학습 결과에 따른 학습 모델을 출력하는 것이 바람직하다.In the learning step (S410), it is preferable to learn standardized object-related information using the object detection algorithm in advance and output a learning model according to a learning result.

상기 세부 검출단계(S420)는 상기 학습 단계(S410)의 학습에 의한 학습 모델에, 상기 특징 추출단계(S300)에 의해 추출한 군집화한 각 객체 후보군에 대한 특징들을 적용하여, 비정형 객체를 검출하게 된다.In the detailed detection step (S420), an atypical object is detected by applying the features of each clustered object candidate group extracted in the feature extraction step (S300) to the learning model obtained in the learning step (S410).

이 때, 상기 세부 검출단계(S420)는 상기 특징 추출단계(S300)에 의해 추출한 특징들 중 밀도 값 또는 분포 값을 고려하여, 분포가 불연속적이고 밀도가 낮은 객체 후보군은 '노이즈'로 판단하여 제외하고, 비정형 객체를 검출하는 것이 바람직하다. 상세하게는, 상기 세부 검출단계(S420)는 상기 객체 검출 알고리즘에 의한 결과 값으로 군집화한 각 객체 후보군들의 center offset(추정된 객체의 중심 좌표), object class(추정된 객체의 class), object score(추정된 객체의 class 정확도), object height(추정된 객체의 높이)를 출력받아, 이를 이용하여 비정형 객체를 검출하는 것이 바람직하다. 물론, 이 때, 상기 특징 추출단계(S300)에 의해 추출한 특징들 중 밀도 값 또는 분포 값을 고려하여, 분포가 불연속적이고 밀도가 낮은 객체 후보군은 '노이즈'로 판단하여 제외한 결과 값이 출력되는 것이 바람직하다.At this time, the detailed detection step (S420) considers the density value or the distribution value among the features extracted by the feature extraction step (S300), and determines that the object candidate group having a discontinuous distribution and low density is 'noise'. It is preferable to exclude it and detect an atypical object. In detail, in the detailed detection step (S420), it is preferable to receive the center offset (coordinates of the center of the estimated object), object class (class of the estimated object), object score (accuracy of the class of the estimated object), and object height (height of the estimated object) of each object candidate group clustered as the result value by the object detection algorithm, and detect the irregular object using the output. Of course, at this time, considering the density value or distribution value among the features extracted by the feature extraction step (S300), the object candidate group with discontinuous distribution and low density is judged as 'noise' and the result value is output.

이 때, 상기 객체 검출 알고리즘으로는 CNN(Convolution Neural Network) 알고리즘을 이용하는 것이 바람직하나, 이 역시 본 발명의 일 실시예에 불과하다.At this time, it is preferable to use a Convolution Neural Network (CNN) algorithm as the object detection algorithm, but this is also only one embodiment of the present invention.

즉, 다시 말하자면, 본 발명의 일 실시예에 따른 3D 라이다를 이용한 미정형 객체 검출 시스템 및 그 방법은, 라이다 채널별 각 포인트 클라우드 별 포인트 대표점들을 설정하고 이들의 3D 군집화를 수행함으로써, 밀도 값과 분포 값을 포함하는 특징을 추출함으로써, 노이즈를 고려한 비정형 객체를 검출할 수 있는 장점이 있다.That is, in other words, the unstructured object detection system and method using 3D lidar according to an embodiment of the present invention has the advantage of being able to detect irregular objects considering noise by setting representative point points for each point cloud for each lidar channel and performing 3D clustering to extract features including density values and distribution values.

이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with specific details such as specific components and limited embodiment drawings, but this is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above one embodiment, and those skilled in the art can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments and should not be determined, and all the modifications equivalent or equivalent to the scope of the claims as well as the claims to be described later will fall within the scope of the spirit of the present invention.

100 : 라이다 획득부
200 : 군집화부
210 : 대표점 추출부 220 : 객체 분리부
300 : 특징 추출부
400 : 검출부
100: lidar acquisition unit
200: clustering department
210: representative point extraction unit 220: object separation unit
300: feature extraction unit
400: detection unit

Claims (8)

적어도 하나의 3D 라이다 센서를 포함하여 구성되며, 상기 3D 라이다 센서를 통해서 스캔되는 영역에 대한 적어도 하나의 3D 포인트 클라우드(point cloud)를 획득하는 라이다 획득부(100);
상기 라이다 획득부(100)로부터 전달받은 상기 3D 포인트 클라우드를 이용하여, 적어도 하나의 객체 후보군으로 군집화를 수행하는 군집화부(200);
상기 군집화부(200)에 의해 상기 군집화한 객체 후보군의 3D 포인트 클라우드를 이용하여, 탑뷰 이미지(top-view image)를 생성하고 상기 생성한 탑뷰 이미지를 토대로, 기설정된 항목인 상기 객체 후보군으로 군집화된 3D 포인트 클라우드의 최대 높이 값, 평균 높이 값, 최대 반사도 값, 평균 반사도 값, 군집화된 포인트의 개수 값, 밀도 값 및 분석 값 중 적어도 하나 이상의 특징을 추출하는 특징 추출부(300); 및
사전에, 외부로부터 정형화된 객체 관련 정보를 입력받아, 저장된 객체 검출 알고리즘에 입력하여 학습하고, 학습에 의한 학습 모델에 상기 특징 추출부(300)로부터 추출한 군집화한 각 객체 후보군에 대한 특징들을 적용하되, 상기 특징들 중 밀도 값 또는 분포 값을 고려하여, 추정된 객체인 상기 객체 후보군 중 노이즈로 판단되는 비정형 객체를 검출하는 검출부(400);
를 포함하며,
상기 군집화부(200)는
상기 라이다 획득부(100)로부터 전달받은 각 라이다 채널 별 적어도 하나의 3D 포인트 클라우드를 이용하여, 각각의 3D 포인트 클라우드 별 위치 좌표를 기반으로, 각 중심점을 추출하여, 각각의 대표 포인트로 설정하는 대표점 추출부(210); 및
기저장된 3D 군집화 알고리즘을 이용하여, 상기 대표점 추출부(210)에서 설정한 각각의 대표 포인트에 대한 군집화를 수행하여, 적어도 하나의 객체 후보군 데이터를 분리하는 객체 분리부(220);
를 더 포함하며,
상기 객체 분리부(220)는
각 대표 포인트 사이의 유클리디언(Euclidean) 거리인 사이값을 계산하여, 계산한 사이값이 기설정된 소정값 이하일 경우, 해당하는 포인트 대표를 동일한 군집으로 간주하여 적어도 하나의 객체 후보군 데이터로 분리하는 것을 특징으로 하는 3D 라이다를 이용한 비정형 객체 검출 시스템.
It includes at least one 3D lidar sensor and acquires at least one 3D point cloud for an area scanned through the 3D lidar sensor (100);
a clustering unit 200 that performs clustering with at least one object candidate group using the 3D point cloud transmitted from the LIDAR acquisition unit 100;
A feature extraction unit 300 that generates a top-view image using the 3D point cloud of the object candidate group clustered by the clustering unit 200 and extracts at least one feature among a maximum height value, an average height value, a maximum reflectance value, an average reflectance value, the number of clustered points, a density value, and an analysis value of the 3D point cloud clustered into the object candidate group, which is a predetermined item, based on the generated top-view image; and
A detection unit 400 that receives standardized object-related information from the outside in advance, inputs it into a stored object detection algorithm for learning, and applies features for each clustered object candidate group extracted from the feature extraction unit 300 to a learning model by learning, but detects an irregular object judged as noise among the object candidate group, which is an estimated object, in consideration of a density value or a distribution value among the features;
Including,
The clustering unit 200 is
Using at least one 3D point cloud for each lidar channel received from the lidar acquisition unit 100, extracting each center point based on the positional coordinates of each 3D point cloud, and setting it as each representative point Extraction unit 210; and
an object separation unit 220 that separates at least one object candidate group data by performing clustering on each representative point set in the representative point extraction unit 210 using a pre-stored 3D clustering algorithm;
Including more,
The object separation unit 220
An interval value, which is the Euclidean distance between each representative point, is calculated, and when the calculated interval value is less than a predetermined value, the corresponding point representative is regarded as the same cluster and separated into at least one object candidate group data. An atypical object detection system using 3D lidar, characterized in that.
삭제delete 삭제delete 삭제delete 라이다 획득부에서, 적어도 하나의 3D 라이다 센서를 이용하여 스캔되는 영역에 대한 적어도 하나의 3D 포인트 클라우드를 획득하는 데이터 획득단계(S100);
군집화부에서, 상기 데이터 획득단계(S100)에 의해 획득한 상기 3D 포인트 클라우드를 분석하여, 적어도 하나의 객체 후보군으로 군집화를 수행하는 군집화 단계(S200);
특징 추출부에서, 상기 군집화 단계(S200)에 의해 군집화한 각 객체 후보군을 이루고 있는 3D 포인트 클라우드를 이용하여, 기설정된 항목인 상기 객체 후보군으로 군집화된 3D 포인트 클라우드의 최대 높이 값, 평균 높이 값, 최대 반사도 값, 평균 반사도 값, 군집화된 포인트의 개수 값, 밀도 값 및 분석 값 중 적어도 하나 이상의 특징 이미지를 추출하는 특징 추출단계(S300); 및
검출부에서, 기저장된 객체 검출 알고리즘에 상기 특징 추출단계(S300)에 의해 추출한 각 객체 후보군에 대한 특징들을 적용하여, 비정형 객체를 검출하는 객체 검출단계(S400);
를 포함하며,
상기 군집화 단계(S200)는
상기 데이터 획득단계(S100)에 의해 획득한 각 라이다 채널 별 적어도 하나의 3D 포인트 클라우드를 이용하여, 각각의 3D 포인트 클라우드 별 위치 좌표를 기반으로 각 대표 포인트를 설정하는 대표점 추출단계(S210); 및
기저장된 3D 군집화 알고리즘을 이용하여, 상기 대표점 추출단계(S210)에 의해 설정한 각각의 대표 포인트에 대한 군집화를 수행하여, 적어도 하나의 객체 후보군 데이터를 분리하는 후보군 분리단계(S220);
를 더 포함하며,
상기 후보군 분리단계(S220)는
각 대표 포인트 사이의 유클리디언(Euclidean) 거리인 사이값을 계산하여, 계산한 사이값이 기설정된 소정값 이하일 경우, 해당하는 포인트 대표를 동일한 군집으로 간주하여 적어도 하나의 객체 후보군 데이터로 분리하는 것을 특징으로 하고,
상기 객체 검출 단계(S400)는
사전에, 외부로부터 정형화된 객체 관련 정보를 입력받아, 저장된 객체 검출 알고리즘에 입력하여 학습하는 학습 단계(S410); 및
상기 학습 단계(S410)에 의해 학습된 학습 모델에, 상기 특징 추출 단계(S300)에 의해 추출한 각 객체 후보군 별 특징들을 적용하되, 상기 특징들 중 밀도 값 또는 분포 값을 고려하여, 추정된 객체인 상기 객체 후보군 중 노이즈로 판단되는 비정형 객체를 검출하는 세부 검출단계(S420);
를 더 포함하는 3D 라이다를 이용한 비정형 객체 검출 방법.
A data acquisition step of acquiring at least one 3D point cloud for an area to be scanned using at least one 3D lidar sensor in a lidar acquisition unit (S100);
a clustering step (S200) of performing clustering into at least one object candidate group by analyzing the 3D point cloud obtained by the data acquisition step (S100) in a clustering unit;
In a feature extraction unit, a feature extraction step (S300) of extracting at least one or more feature images from the maximum height value, average height value, maximum reflectance value, average reflectance value, number of clustered points, density value, and analysis value of the 3D point cloud clustered into the object candidate group, which is a preset item, by using the 3D point cloud constituting each object candidate group clustered in the clustering step (S200); and
An object detection step (S400) of detecting an atypical object by applying the features for each object candidate group extracted by the feature extraction step (S300) to a pre-stored object detection algorithm in the detection unit;
Including,
The clustering step (S200)
A representative point extraction step (S210) of setting each representative point based on the positional coordinates of each 3D point cloud using at least one 3D point cloud for each LIDAR channel obtained in the data acquisition step (S100); and
A candidate group separation step (S220) of separating at least one object candidate group data by performing clustering on each representative point set by the representative point extraction step (S210) using a pre-stored 3D clustering algorithm;
Including more,
The candidate group separation step (S220)
An interval value, which is the Euclidean distance between each representative point, is calculated, and if the calculated interval value is less than a predetermined value, the corresponding point representative is regarded as the same cluster and separated into at least one object candidate group data,
The object detection step (S400)
A learning step (S410) of receiving standardized object-related information from the outside in advance and inputting it into a stored object detection algorithm for learning; and
A detailed detection step (S420) of detecting an atypical object determined to be noise among the object candidate groups, which is an estimated object, by applying the features of each object candidate group extracted by the feature extraction step (S300) to the learning model learned in the learning step (S410), and considering the density value or distribution value among the features;
Atypical object detection method using 3D lidar further comprising.
삭제delete 제 5항에 있어서,
상기 특징 추출단계(S300)는
상기 군집화 단계(S200)에 의해 군집화한 각 객체 후보군을 이루고 있는 3D 포인트 클라우드에 대한 탑뷰 이미지(top-view image)를 생성하는 이미지 생성단계(S310); 및
상기 이미지 생성단계(S310)에 의해 생성한 상기 탑뷰 이미지를 토대로, 군집화된 객체 후보군의 3D 포인트 클라우드를 기반으로 생성한 상기 탑뷰 이미지를 토대로, 군집화된 3D 포인트 클라우드의 상기 특징들을 추출하는 세부 분석단계(S320);
를 더 포함하는 것을 특징으로 하는 3D 라이다를 이용한 비정형 객체 검출 방법.

According to claim 5,
The feature extraction step (S300)
an image generation step (S310) of generating a top-view image of the 3D point cloud constituting each object candidate group clustered by the clustering step (S200); and
A detailed analysis step (S320) of extracting the features of the clustered 3D point cloud based on the top-view image generated based on the 3D point cloud of the clustered object candidates based on the top-view image generated by the image generation step (S310);
Atypical object detection method using 3D lidar, characterized in that it further comprises.

삭제delete
KR1020200167104A 2020-12-03 2020-12-03 Unstructured object detection system and method using 3D LiDAR KR102559196B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200167104A KR102559196B1 (en) 2020-12-03 2020-12-03 Unstructured object detection system and method using 3D LiDAR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200167104A KR102559196B1 (en) 2020-12-03 2020-12-03 Unstructured object detection system and method using 3D LiDAR

Publications (2)

Publication Number Publication Date
KR20220078029A KR20220078029A (en) 2022-06-10
KR102559196B1 true KR102559196B1 (en) 2023-07-25

Family

ID=81986453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200167104A KR102559196B1 (en) 2020-12-03 2020-12-03 Unstructured object detection system and method using 3D LiDAR

Country Status (1)

Country Link
KR (1) KR102559196B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102638384B1 (en) 2023-09-07 2024-02-20 주식회사 포딕스시스템 3-Dimensional moving object detecting apparatus using stationary lidar and method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605282B1 (en) * 2022-08-18 2023-11-23 옥재윤 Virtual reality game system for providing motion and position of player using wearable sensors and lidar sensors
KR102540624B1 (en) * 2022-10-27 2023-06-13 주식회사 모빌테크 Method for create map using aviation lidar and computer program recorded on record-medium for executing method therefor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102083482B1 (en) 2018-12-13 2020-03-02 국민대학교산학협력단 Lidar-based vehicle travelable area detection apparatus and method
KR20200128865A (en) * 2019-05-07 2020-11-17 현대자동차주식회사 Apparatus for detecting object based on cnn and method thereof
KR102061522B1 (en) * 2019-10-31 2020-01-02 충북대학교 산학협력단 Apparatus and method for detecting object based on density using lidar sensor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Attila Borcs 外 2인. Instant Object Detection in Lidar Point Clouds. IEEE Geoscience and Remote Sensing Letters, vol. 14, no. 7, 2017년 7월*
강형창. 데이터 속성에 따른 초기 클러스터 결정 및 클러스터링. 제주대학교 박사학위논문. 제주대학교 대학원 전자계산학과, 2008년 2월*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102638384B1 (en) 2023-09-07 2024-02-20 주식회사 포딕스시스템 3-Dimensional moving object detecting apparatus using stationary lidar and method thereof

Also Published As

Publication number Publication date
KR20220078029A (en) 2022-06-10

Similar Documents

Publication Publication Date Title
KR102559196B1 (en) Unstructured object detection system and method using 3D LiDAR
KR102061522B1 (en) Apparatus and method for detecting object based on density using lidar sensor
EP3430427B1 (en) Processing method of a 3d point cloud
US10860867B2 (en) Image processing apparatus, imaging apparatus, mobile device control system, and recording medium
KR101038669B1 (en) The automatic vehicle identification system of non-trigger type based on image processing and that of using identification method
KR20200040431A (en) Apparatus and method for distinquishing false target in vehicle and vehicle including the same
US11064177B2 (en) Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and recording medium
KR101176693B1 (en) Method and System for Detecting Lane by Using Distance Sensor
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
KR20140030636A (en) Traffic lane correction system, traffic lane correction apparatus and correction method
EP3422290A1 (en) Image processing device, imaging device, system for controlling mobile body, image processing method, and program
CN109633686B (en) Method and system for detecting ground obstacle based on laser radar
CN112329587B (en) Beverage bottle classification method and device and electronic equipment
JP6572696B2 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method and program
KR20130128162A (en) Apparatus and method for detecting curve traffic lane using rio division
CN115457358A (en) Image and point cloud fusion processing method and device and unmanned vehicle
KR20230101560A (en) Vehicle lidar system and object detecting method thereof
JP4123138B2 (en) Vehicle detection method and vehicle detection device
JP3917252B2 (en) Number plate recognition device for vehicle and number plate recognition method for vehicle
US11119215B2 (en) Multi-spectral LIDAR object tracking
Kunisada et al. Pedestrian-detection method based on 1D-CNN during LiDAR rotation
US8116524B2 (en) Method of object detection
Kurnianggoro et al. Camera and laser range finder fusion for real-time car detection
KR101932631B1 (en) The appratus and method for recognizing car number using three chnnel radar and k-nn algorithm
JP7214329B2 (en) Display content recognition device and vehicle control device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant