KR102588386B1 - 라이더를 이용하는 가려진 객체 탐지 방법 및 장치 - Google Patents

라이더를 이용하는 가려진 객체 탐지 방법 및 장치 Download PDF

Info

Publication number
KR102588386B1
KR102588386B1 KR1020210035508A KR20210035508A KR102588386B1 KR 102588386 B1 KR102588386 B1 KR 102588386B1 KR 1020210035508 A KR1020210035508 A KR 1020210035508A KR 20210035508 A KR20210035508 A KR 20210035508A KR 102588386 B1 KR102588386 B1 KR 102588386B1
Authority
KR
South Korea
Prior art keywords
lidar
bounding box
object detection
bounding
camera image
Prior art date
Application number
KR1020210035508A
Other languages
English (en)
Other versions
KR20220130513A (ko
Inventor
조정호
김진수
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020210035508A priority Critical patent/KR102588386B1/ko
Publication of KR20220130513A publication Critical patent/KR20220130513A/ko
Application granted granted Critical
Publication of KR102588386B1 publication Critical patent/KR102588386B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는 객체 탐지 방법 및 장치에 관한 것이다. 본 명세서의 일 실시예에 따른 객체 탐지 방법은 카메라를 이용하여 정면 시점(Front View)의 카메라 이미지를 획득하는 단계, 라이다를 이용하여 3차원 위치 정보를 포함하는 상단 시점(Top View)의 PCD(Point Cloud Data)를 획득하는 단계, PCD를 2차원 좌표계로 변환하고, 상기 변환된 2차원 좌표계로부터 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하는 단계 및 카메라 이미지와 상기 정면 시점의 적어도 하나의 라이다 경계 상자에 기초하여 카메라 이미지에 포함된 객체를 탐지하는 단계를 포함한다.

Description

라이더를 이용하는 가려진 객체 탐지 방법 및 장치{METHOD AND APPARATUS FOR DETECTING OBSCURED OBJECT USING A LIDAR}
본 명세서는 객체 탐지 방법 및 장치에 관한 것이다. 보다 상세하게, 본 명세서는 라이다를 이용하여 가려진 객체를 탐지하는 객체 탐지 방법 및 장치에 관한 것이다.
최근 운전자의 개입이 필요 없이 도로를 주행하는 완전 자동화를 목표로 실시간 주행 환경 감지에 관한 자율 주행의 연구가 활발하게 진행되고 있다. 자율 주행뿐만 아니라 이동 수단에서 주행 환경의 감지는 안전과 매우 밀접한 관계로 특히 자율 주행과 같은 분야에서는 필수적인 기술로 자리잡았다.
이러한 주행 환경의 감지를 위해 주변환경이 담긴 영상 데이터로부터 인공 신경망을 이용하여 객체를 탐지하는 기술에 대한 연구가 진행되고 있으며, 주로 카메라(예컨대, RGB 카메라)를 사용하여 주변환경이 담긴 영상 데이터를 획득한다.
그러나, 카메라는 사람의 시각과 유사하게 사물의 형태와 색상을 인식하여 기본적인 객체 탐지 성능이 높은 반면, 사물로부터 반사된 가시광선을 영상 데이터로 나타내기 때문에 조명, 날씨, 사물의 잘림 등의 외부 환경적 요인에 취약하다.
또한, 이동 수단의 정면에 위치한 카메라로부터 획득한 영상 데이터(즉, 카메라 이미지)로부터는 정면 시점에 가려지거나 잘려진 객체를 탐지하기 어려운 문제점이 있다.
본 명세서의 목적은 이동 수단의 정면 및 상단 시점에서 획득한 데이터를 통해 객체를 탐지함으로써 가림/잘림에 대한 강인성을 확보할 수 있는 객체 탐지 방법 및 장치를 제공하는 것이다.
또한, 본 명세서의 목적은 라이다를 이용하여 외부 환경적 요인과 관계 없이 객체와의 정확한 거리를 측정할 수 있는 객체 탐지 방법 및 장치를 제공하는 것이다.
또한, 본 명세서의 목적은 NMS를 이용하여 카메라 이미지에 포함된 객체를 탐지함으로써 높은 정확도로 객체를 탐지할 수 있는 객체 탐지 방법 및 장치를 제공하는 것이다.
본 명세서의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 명세서의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 명세서의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 명세서의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 명세서의 일 실시예에 따른 객체 탐지 방법은 카메라를 이용하여 정면 시점(Front View)의 카메라 이미지를 획득하는 단계, 라이다를 이용하여 3차원 위치 정보를 포함하는 상단 시점(Top View)의 PCD(Point Cloud Data)를 획득하는 단계, PCD를 2차원 좌표계로 변환하고, 상기 변환된 2차원 좌표계로부터 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하는 단계 및 카메라 이미지와 상기 정면 시점의 적어도 하나의 라이다 경계 상자에 기초하여 카메라 이미지에 포함된 객체를 탐지하는 단계를 포함한다.
또한 본 명세서의 일 실시예에서 2차원 좌표계로부터 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하는 단계는 2차원 좌표계로부터 객체 탐색 알고리즘을 통해 상단 시점의 적어도 하나의 라이다 경계 상자를 추출하는 단계 및 상단 시점의 적어도 하나의 라이다 경계 상자로부터 MLP(Multi-Layer Perceptron)를 통해 시점을 변환하여 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하는 단계를 포함한다.
또한 본 명세서의 일 실시예에서 라이다 경계 상자는 라이다와 탐지된 객체와의 거리 정보, 각도 정보 및 신뢰도 중 적어도 하나의 정보를 포함한다.
또한 본 명세서의 일 실시예에서 카메라 이미지와 정면 시점의 적어도 하나의 라이다 경계 상자에 기초하여 상기 카메라 이미지에 포함된 객체를 탐지하는 단계는 객체 탐지 알고리즘을 이용하여 상기 카메라 이미지로부터 적어도 하나의 카메라 경계 상자를 생성하는 단계, 적어도 하나의 카메라 경계 상자 및 상기 정면 시점의 적어도 하나의 라이다 경계 상자를 상기 카메라 이미지에 표시하는 단계, 표시된 경계 상자 중 NMS(Non-Maximum Suppression)를 통해 일부 경계 상자를 제거하여 객체를 탐지하는 단계를 포함한다.
또한 본 명세서의 일 실시예에서 표시된 경계 상자 중 NMS(Non-Maximum Suppression)를 통해 일부 경계 상자를 제거하여 객체를 탐지하는 단계는 객체 탐지 알고리즘을 통해 경계 상자에 부여된 신뢰도를 기준으로 경계 상자를 정렬하는 단계, 정렬된 경계 상자 중 신뢰도가 가장 높은 경계 상자를 기준으로 나머지 경계 상자와의 겹침 정도를 나타내는 IOU(Intersection Of Union)를 산출하는 단계, 나머지 경계 상자 중 산출된 IOU가 미리 설정된 임계값 이상인 경계 상자를 제거하는 단계 및 제거된 경계 상자를 제외한 나머지 경계 상자에 포함된 객체를 탐지하는 단계를 포함한다.
본 명세서의 일 실시예에 따른 객체 탐지 장치는 카메라를 이용하여 정면 시점(Front View)의 카메라 이미지를 획득하고, 라이다를 이용하여 3차원 위치 정보를 포함하는 상단 시점(Top View)의 PCD(Point Cloud Data)를 획득하는 데이터 수신부, PCD를 2차원 좌표계로 변환하고, 변환된 2차원 좌표계로부터 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하는 전처리부 및 카메라 이미지와 상기 정면 시점의 적어도 하나의 라이다 경계 상자에 기초하여 카메라 이미지에 포함된 객체를 탐지하는 객체 탐지부를 포함한다.
또한 본 명세서의 일 실시예에서 전처리부는 2차원 좌표계로부터 객체 탐색 알고리즘을 통해 상단 시점의 적어도 하나의 라이다 경계 상자를 추출하고, 상단 시점의 적어도 하나의 라이다 경계 상자로부터 MLP(Multi-Layer Perceptron)를 통해 시점을 변환하여 정면 시점의 적어도 하나의 라이다 경계 상자를 추출한다.
또한 본 명세서의 일 실시예에서 라이다 경계 상자는 라이다와 탐지된 객체와의 거리 정보, 각도 정보 및 신뢰도 중 적어도 하나의 정보를 포함한다.
또한 본 명세서의 일 실시예에서 객체 탐지부는 객체 탐지 알고리즘을 이용하여 상기 카메라 이미지로부터 생성된 적어도 하나의 카메라 경계 상자 및 적어도 하나의 라이다 경계 상자를 상기 카메라 이미지에 표시하고, 표시된 경계 상자 중 NMS(Non-Maximum Suppression)를 통해 일부 경계 상자를 제거하여 객체를 탐지한다.
또한 본 명세서의 일 실시예에서 객체탐지부는 객체 탐지 알고리즘을 통해 상기 경계 상자에 부여된 신뢰도를 기준으로 경계 상자를 정렬하고, 정렬된 경계 상자 중 신뢰도가 가장 높은 경계 상자를 기준으로 나머지 경계 상자와의 겹침 정도를 나타내는 IOU(Intersection Of Union)를 산출하고, 나머지 경계 상자 중 산출된 IOU가 미리 설정된 임계값 이상인 경계 상자를 제거하고, 제거된 경계 상자를 제외한 나머지 경계 상자에 포함된 객체를 탐지한다.
본 명세서의 일 실시예에 따른 객체 탐지 방법 및 장치는 이동 수단의 정면 및 상단 시점에서 획득한 데이터를 통해 객체를 탐지함으로써 가림/잘림에 대한 강인성을 확보할 수 있다.
또한, 본 명세서의 일 실시예에 따른 객체 탐지 방법 및 장치는 라이다를 이용하여 외부 환경적 요인과 관계 없이 객체와의 정확한 거리를 측정할 수 있다.
또한, 본 명세서의 일 실시예에 따른 객체 탐지 방법 및 장치는 NMS를 이용하여 카메라 이미지에 포함된 객체를 탐지함으로써 높은 정확도로 객체를 탐지할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 객체 탐지 장치의 구성도이다.
도 2는 본 명세서의 일 실시예에 따른 객체 탐지 장치의 동작 순서도이다.
도 3은 카메라 이미지로부터 카메라 경계 상자를 추출하는 과정을 나타낸 도면이다.
도 4는 PCD를 2차원 좌표계로 변환하는 과정을 나타낸 도면이다.
도 5는 PCD로부터 라이다 경계 상자를 추출하는 과정을 나타낸 도면이다.
도 6은 MLP를 통해 시점을 변환하여 추출된 정면 시점의 라이다 경계 상자를 나타낸 도면이다.
도 7은 카메라 경계 상자 및 라이다 경계 상자를 카메라 이미지에 표시한 뒤 NMS(Non-Maximum Suppression)를 통해 객체를 탐지하는 과정을 나타낸 도면이다.
도 8은 본 명세서의 일 실시예에 따른 객체 탐지 방법의 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자가 본 명세서의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 명세서를 설명함에 있어서 본 명세서와 관련된 공지 기술에 대한 구체적인 설명이 본 명세서의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 명세서에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 명세서의 일 실시예에 따른 객체 탐지 장치의 구성도이다.
객체 탐지 장치(100)는 이동 수단에 배치된 카메라 및 라이다를 이용하여 객체를 탐지하는 장치로써 데이터 수신부(110), 전처리부(120) 및 객체 탐지부(130)를 포함한다.
데이터 수신부(110)는 카메라 및 라이다로부터 영상 데이터를 획득한다. 여기서, 라이다는 레이저를 방출하여 측정 범위 내의 사물들로부터 반사된 신호를 PCD(Point Cloud Data)로 나타내는 장치이다. 라이다는 라이다 자체에서 생성된 레이저로부터 반사된 신호를 측정하기 때문에 가시광선을 측정하는 카메라와는 다르게 외부 환경적 요인에 강인하다. 그러나 라이다는 반사된 레이저 신호만을 측정하기 때문에 반사 영역에만 포함되는 환경정보를 나타내며 이로 인해 PCD로 표현되는 데이터의 해상도는 매우 작아 실제 환경의 정보를 모두 표현하는 데에 한계를 갖는다. 따라서, 카메라와 라이다는 상호보완적인 장단점을 가지며, 데이터 수신부(110)는 카메라와 라이다를 동시에 사용하여 카메라 및 라이다 모두로부터 영상 데이터를 획득한다.
구체적으로, 데이터 수신부(110)는 카메라를 이용하여 정면 시점(Front View)의 카메라 이미지를 획득하고, 라이다를 이용하여 3차원 위치 정보를 포함하는 상단 시점(Top View)의 PCD(Point Cloud Data)를 획득한다.
전처리부(120)는 획득한 영상 데이터 각각으로부터 탐지할 객체를 포함하는 경계 상자를 추출한다. 구체적으로, 전처리부(120)는 획득한 카메라 이미지로부터 객체 탐색 알고리즘을 통해 적어도 하나의 카메라 경계 상자를 추출한다. 또한, 전처리부(120)는 획득한 PCD를 2차원 좌표계로 변환하고, 변환된 2차원 좌표계로부터 객체 탐색 알고리즘을 통해 적어도 하나의 라이다 경계 상자를 추출한다.
여기서 객체 탐색 알고리즘은 YOLO(You Only Look Once: Real-Time Object Detection) 알고리즘일 수 있으나, 이에 한정되는 것은 아니며, 컨볼루션 신경망(CNN, Convolution Neural Network)를 이용하여 객체를 탐지하는 모든 알고리즘을 포함할 수 있다. 이하에서는 설명의 편의를 위해 객체 탐색 알고리즘이 YOLO임을 전제로 하여 설명한다.
객체 탐지부(130)는 카메라 이미지와 라이다 경계 상자에 기초하여 카메라 이미지에 포함된 객체를 탐지한다. 즉, 객체 탐지부(130)는 카메라 이미지에 포함된 적어도 하나의 카메라 경계 상자 및 적어도 하나의 라이다 경계 상자를 카메라 이미지에 표시하고, 표시된 경계 상자 중 NMS(Non-Maximum Suppreession)를 통해 일부 경계 상자를 제거하여 카메라 이미지에 포함된 객체를 탐지한다. NMS의 객체 탐지 방법은 후술하여 상세히 설명하도록 한다.
도 2는 본 명세서의 일 실시예에 따른 객체 탐지 장치의 동작 순서도이고, 도 3은 카메라 이미지로부터 카메라 경계 상자를 추출하는 과정을 나타낸 도면이고, 도 4는 PCD를 2차원 좌표계로 변환하는 과정을 나타낸 도면이며, 도 5는 PCD로부터 라이다 경계 상자를 추출하는 과정을 나타낸 도면이고, 도 6은 MLP를 통해 시점을 변환하여 추출된 정면 시점의 라이다 경계 상자를 나타낸 도면이다. 이하 도 2 내지 도 6을 참조하여 설명하도록 한다.
도 2를 참조하면, 카메라(200)는 이동 수단의 정면에 배치되어 이동 수단 정면 시점의 카메라 이미지(210)를 생성한다. 이때, 객체 탐지 장치(100)는 카메라 이미지로부터 객체 탐색 알고리즘을 이용하여 생성된 카메라 이미지(210)로부터 적어도 하나의 카메라 경계 상자(220)를 추출한다.
상세하게, 객체 탐지 장치(100)는 2차원 형태의 카메라 이미지(210)를 n x m 개의 그리드 셀로 분할하고, 분할된 그리드 셀 중 객체의 중심과 가장 가까운 셀을 중심으로 경계를 형성하여 카메라 경계 상자(220)를 추출한다. 카메라 이미지(210)에 탐지 대상이 되는 객체가 다수 존재하는 경우 카메라 경계 상자(220)는 복수로 추출될 수 있다.
또한, 카메라 경계 상자(220)에는 좌표 정보, 경계 상자의 가로 및 세로 크기 정보, 신뢰도 중 적어도 하나의 정보가 부여된다. 신뢰도란 경계 상자에 탐지 대상이 되는 객체가 존재할 가능성을 나타내는 파라미터로써 신뢰도(CS, Confidence Score)는 하기의 식 1로부터 산출될 수 있다.
<식 1>
여기서, Pr(Object)은 경계 상자안에 객체가 존재할 확률이며, IOU(Intersection Over Union)은 경계 상자들의 겹침 정도를 의미한다. 이와 같이 객체 탐지 장치(100)는 산출된 신뢰도를 기반으로 하여 객체를 탐지함으로써 높은 정확도로 객체를 탐지할 수 있다.
한편, IOU는 하기의 식 2로부터 산출될 수 있다.
<식 2>
즉, Area (Overlap)은 겹쳐 있는 경계 상자의 겹쳐져 있는 영역(교집합) 이고, Area (Union)은 겹쳐 있는 경계 상자의 총 영역(합집합)을 의미한다.
도 3을 참조하면, (a)는 카메라 이미지(210), (b)는 객체 탐색 알고리즘을 통해 카메라 이미지(210)가 n x m개의 그리드 셀로 분할된 상태, (c)는 추출된 카메라 경계 상자(220)를 각각 나타낸다.
한편, 다시 도 2를 참조하면 라이다(300)는 이동 수단의 상단에 배치되어 이동 수단 상단 시점의 PCD(Point Cloud Data)(310)를 생성한다. PCD(310)는 방출된 레이저가 측정 범위 내의 객체들로부터 반사된 신호를 3차원 위치 정보를 포함하는 점들의 집합으로 나타낸 데이터이다.
이러한 PCD(310)는 라이다(300)가 이동 수단의 상단에 배치됨에 따라 상단 시점(Top View, TV)의 3차원 위치 정보를 갖는다. 따라서, 객체 탐지 장치(100)는 PCD(310)로부터 상단 시점의 라이다 경계 상자를 추출하고, 상단 시점의 라이다 경계 상자를 정면 시점으로 시점 변환함으로써 정면 시점(Front View, FV)의 카메라 이미지(210)와 시점을 일치시킬 수 있다.
먼저, 객체 탐지 장치(100)는 PCD(310)를 2차원 좌표계(320)로 변환하고, 변환된 2차원 좌표계로부터 객체 탐색 알고리즘을 통해 상단 시점의 라이다 경계 상자(330)를 추출한다.
보다 상세하게, 객체 탐지 장치(100)는 도 4에 도시된 바와 같이, PCD(310)의 3차원 좌표값을 2차원 평면의 한점으로 투영시키는 투영 변환을 통해 2차원 평면의 한점 를 구한다. 는 라이다와 객체와의 거리를 나타내는 w에 대한 동차좌표로 나타나기 때문에 로 표현될 수 있다. 여기서, 동차좌표란 (x,y)를 0이 아닌 w에 대하여 차원을 확장하여 (wx,wy,w)로 표현되는 것으로 투영 변환을 통해 3차원 공간의 좌표가 2차원으로 투영되었을 때 투영된 2차원 좌표는 3차원으로 확장된 동차좌표 형태로 나타난다.
이러한 동차좌표에서 각 성분에 w값을 나누고 w차원을 제거하여 2차원 좌표계로 변환하면 는 2차원 좌표값인 로 변환될 수 있다. 상술한 투영 변환 과정은 도 4에 도시되어 있으며, 도 4의 (d)는 PCD의 3차원 좌표값이 2차원 평면에 투영된 동차좌표를 나타내고, (e)는 동차좌표가 변환된 2차원 좌표를 나타낸다.
이후, 객체 탐지 장치(100)는 변환된 2차원 좌표계로부터 객체 탐색 알고리즘을 통해 상단 시점의 라이다 경계 상자(330)를 추출한다. 상단 시점의 라이다 경계 상자는 복수일 수 있으며, 라이다와 탐지된 객체와의 거리 정보, 각도 정보 및 신뢰도 중 적어도 하나의 정보를 포함할 수 있다.
라이다 경계 상자는 단순히 경계 상자의 좌표 정보 및 가로, 세로 크기 정보만을 갖는 카메라 경계 상자와는 달리 객체와의 거리 정보, 각도 정보를 더 포함함으로써 객체 식별의 정확도를 높일 수 있다.
한편, 객체 탐색 알고리즘을 통해 2차원 좌표계로부터 라이다 경계 상자를 추출하는 방법은 상술한 카메라 이미지로부터 카메라 경계 상자를 추출하는 방법과 동일한 바 여기서는 자세한 설명을 생략한다.
도 5를 참조하면 (f)는 3차원 위치 정보를 갖는 PCD, (g)는 PCD로부터 변환된 2차원 좌표계, (h)는 객체 탐색 알고리즘을 통해 2차원 좌표계가 n x m개의 그리드 셀로 분할된 상태, (i)는 추출된 정면 시점의 라이다 경계 상자(332)를 각각 나타낸다.
상단 시점의 라이다 경계 상자(330)는 정면 시점의 카메라 경계 상자(220)와 시점이 맞지 않아 동일한 카메라 이미지(210)에 표시될 수 없다. 따라서, 객체 탐지 장치(100)는 상단 시점의 라이다 경계 상자(330)를 추출한 뒤, 상단 시점의 라이다 경계 상자로부터 정방향 인공신경망인 MLP(Multi-Layer Perceptron)를 통해 시점을 변환함으로써 정면 시점의 라이다 경계 상자(334)를 추출한다.
구체적으로, 전처리부(120)는 MLP를 통해 상단 시점의 경계 상자의 좌표값을 정면 시점의 라이다 경계 상자의 좌표값으로 비선형 매칭시켜 시점을 변환한다. 이때, 전처리부(120)는 상단 시점의 경계 상자의 기하학적 특징으로 구성되고, 객체와의 거리 정보인 및 객체와의 각도 정보인 를 포함하는 X_TV를 입력값으로 하여 MLP를 통해 훈련시키고, 출력값인 Y_FV를 추출한다. 입력값 X_TV 및 출력값 Y_FV의 성분은 하기의 식 3과 같다.
<식 3>
여기서, x,y,w,h 성분 각각은 경계 상자의 기하학적 중심의 수평 좌표값, 수직 좌표값, 너비, 높이를 의미하고, 는 객체와의 거리, 는 객체와의 각도를 의미한다.
이와 같이 전처리부(120)는 객체와의 거리 및 객체와의 각도 정보를 포함하여 MLP를 통한 시점 변환을 수행하므로 상단 시점의 라이다 객체 상자를 정면 시점의 라이다 객체 상자로 추출하더라도 정면 시점에서 가려지거나 잘려진 객체를 탐지할 수 있다.
상단 시점의 라이다 경계 상자(330)가 MLP를 통해 정면 시점으로 시점이 변환되면 도 6에 도시된 바와 같이, 정면 시점의 카메라 이미지의 좌표와 대응될 수 있도록 정면 시점의 라이다 경계 상자(334)가 추출된다.
이와 같이 객체 탐지 장치(100)는 정면 시점의 라이다 경계 상자(334)가 추출되면 카메라 이미지(210)에 포함된 카메라 경계 상자(220)와 정면 시점의 라이다 경계 상자(334)에 기초하여 카메라 이미지에 포함된 객체를 탐지한다(400). 구체적인 객체 탐지 과정은 도 7을 참조하여 설명한다.
도 7은 카메라 경계 상자 및 라이다 경계 상자를 카메라 이미지에 표시한 뒤 NMS(Non-Maximum Suppression)를 통해 객체를 탐지하는 과정을 나타낸 도면이다.
도면을 참조하면 (j)는 NMS를 수행하기 전의 카메라 이미지(210)이고, (k)는 NMS를 수행한 뒤의 카메라 이미지(210)이다. (j) 및 (k)는 모두 복수의 경계 상자를 포함하나, (j)에는 2개의 카메라 객체 상자(220) 및 3개의 정면 시점의 라이다 객체 상자(334)가 포함되고, (k)에는 2개의 카메라 객체 상자(220) 및 1개의 정면 시점의 라이다 상자(334)가 포함된다.
즉, NMS란 신뢰도를 기반으로 하여 신뢰도가 높은 경계 상자 만을 남기고 신뢰도가 낮은 일부 경계 상자를 제거함으로써 객체 탐지의 정확성을 높이는 방법이며, 객체 탐지 장치(100)는 NMS를 통해 신뢰도가 낮은 일부 경계 상자를 제거하여 도 7의 (k)와 같이 2개의 카메라 객체 상자(220) 및 1개의 정면 시점의 라이다 상자(334)만을 포함하는 것이다.
구체적으로, 객체 탐지부(130)는 카메라 이미지(210)에 포함된 경계 상자들 중에서 객체 탐색 알고리즘을 통해 경계 상자에 부여된 신뢰도를 기준으로 경계 상자를 정렬한다. 이후, 객체 탐지부(130)는 정렬된 경계 상자 중 신뢰도가 가장 높은 경계 상자를 기준으로 나머지 경계 상자와의 겹침 정도를 나타내는 IOU(Intersection Of Union)를 산출한다.
이후, 객체 탐지부(130)는 임계값을 미리 설정(예컨대, 0.5)하여 나머지 경계 상자 중 산출된 IOU가 미리 설정된 임계값 이상인 경계 상자를 제거한다. 즉, 객체 탐지부(130)는 IOU가 미리 설정된 임계값 이상인 경우 동일한 객체에 대해 중복 설정된 경계 상자라고 판단하여 제거한다. 객체 탐지부(130)는 제거된 경계 상자를 제외한 나머지 경계 상자에 포함된 객체 만을 탐지함으로써 객체 탐지의 정확성을 높일 수 있다.
도 8은 본 명세서의 일 실시예에 따른 객체 탐지 방법의 순서도이다.
도면을 참조하면, 본 명세서의 일 실시예에 따른 객체 탐지 장치(100)는 카메라를 이용하여 정면 시점(Front View)의 카메라 이미지를 획득하고(S110), 라이다를 이용하여 3차원 위치 정보를 포함하는 상단 시점(Top View)의 PCD(Point Cloud Data)를 획득한다(S120).
이후, 객체 탐지 장치(100)는 획득한 PCD를 2차원 좌표계로 변환하고, 변환된 2차원 좌표계로부터 정면 시점의 적어도 하나의 라이다 경계 상자를 추출한다(S130).
구체적으로 객체 탐지 장치(100)는 2차원 좌표계로부터 객체 탐색 알고리즘을 통해 상단 시점의 적어도 하나의 라이다 경계 상자를 추출하고, 상단 시점의 적어도 하나의 라이다 경계 상자로부터 MLP(Multi-Layer Perceptron)를 통해 시점을 변환하여 정면 시점의 적어도 하나의 라이다 경계 상자를 추출한다. 객체 탐색 알고리즘은 예컨대, YOLO(You Only Look Once)일 수 있다.
마지막으로 객체 탐지 장치(100)는 카메라 이미지와 상기 정면 시점의 적어도 하나의 라이다 경계 상자에 기초하여 상기 카메라 이미지에 포함된 객체를 탐지한다(S140). 즉, 객체 탐지 장치(100)는 객체 탐지 알고리즘을 이용하여 상기 카메라 이미지로부터 생성된 적어도 하나의 카메라 경계 상자 및 상기 적어도 하나의 라이다 경계 상자를 상기 카메라 이미지에 표시하고, 상기 표시된 경계 상자 중 NMS(Non-Maximum Suppression)를 통해 일부 경계 상자를 제거하여 객체를 탐지한다.
본 명세서의 일 실시예에 따른 객체 탐지 방법 및 장치는 이동 수단의 정면 및 상단 시점에서 획득한 데이터를 통해 객체를 탐지함으로써 가림/잘림에 대한 강인성을 확보할 수 있다.
또한, 본 명세서의 일 실시예에 따른 객체 탐지 방법 및 장치는 라이다를 이용하여 외부 환경적 요인과 관계 없이 객체와의 정확한 거리를 측정할 수 있다.
또한, 본 명세서의 일 실시예에 따른 객체 탐지 방법 및 장치는 NMS를 이용하여 카메라 이미지에 포함된 객체를 탐지함으로써 높은 정확도로 객체를 탐지할 수 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (10)

  1. 이동 수단에 배치된 카메라 및 라이다를 이용하여 객체를 탐지하는 객체 탐지 방법에 있어서,
    상기 카메라를 이용하여 정면 시점(Front View)의 카메라 이미지를 획득하는 단계;
    상기 라이다를 이용하여 3차원 위치 정보를 포함하는 상단 시점(Top View)의 PCD(Point Cloud Data)를 획득하는 단계;
    상기 PCD를 2차원 좌표계로 변환하고, 상기 변환된 2차원 좌표계로부터 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하는 단계; 및
    상기 카메라 이미지와 상기 정면 시점의 적어도 하나의 라이다 경계 상자에 기초하여 상기 카메라 이미지에 포함된 객체를 탐지하는 단계를 포함하고,
    상기 2차원 좌표계로부터 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하는 단계는
    상기 2차원 좌표계로부터 객체 탐색 알고리즘을 통해 상단 시점의 적어도 하나의 라이다 경계 상자를 추출하는 단계; 및
    상기 상단 시점의 적어도 하나의 라이다 경계 상자의 기하학적 특징 정보를 입력값으로 수신하는 MLP(Multi-Layer Perceptron)에 기초하여 상기 상단 시점의 적어도 하나의 라이다 경계 상자의 좌표값을 비선형 매칭시켜 시점을 변환하여 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하는 단계를 포함하며,
    상기 상단 시점의 적어도 하나의 라이다 경계 상자의 기하학적 특징 정보는 상기 객체와의 거리 정보 및 상기 객체와의 각도 정보를 포함하는
    객체 탐지 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 라이다 경계 상자는
    상기 라이다와 탐지된 객체와의 거리 정보, 각도 정보 및 신뢰도 중 적어도 하나의 정보를 포함하는
    객체 탐지 방법.
  4. 제1항에 있어서,
    상기 카메라 이미지와 상기 정면 시점의 적어도 하나의 라이다 경계 상자에 기초하여 상기 카메라 이미지에 포함된 객체를 탐지하는 단계는
    객체 탐지 알고리즘을 이용하여 상기 카메라 이미지로부터 적어도 하나의 카메라 경계 상자를 생성하는 단계;
    상기 적어도 하나의 카메라 경계 상자 및 상기 정면 시점의 적어도 하나의 라이다 경계 상자를 상기 카메라 이미지에 표시하는 단계;
    상기 표시된 경계 상자 중 NMS(Non-Maximum Suppression)를 통해 일부 경계 상자를 제거하여 객체를 탐지하는 단계를 포함하는
    객체 탐지 방법.
  5. 제4항에 있어서,
    상기 표시된 경계 상자 중 NMS(Non-Maximum Suppression)를 통해 일부 경계 상자를 제거하여객체를 탐지하는 단계는
    상기 객체 탐지 알고리즘을 통해 경계 상자에 부여된 신뢰도를 기준으로 상기 경계 상자를 정렬하는 단계;
    상기 정렬된 경계 상자 중 신뢰도가 가장 높은 경계 상자를 기준으로 나머지 경계 상자와의 겹침 정도를 나타내는 IOU(Intersection Of Union)를 산출하는 단계;
    상기 나머지 경계 상자 중 산출된 IOU가 미리 설정된 임계값 이상인 경계 상자를 제거하는 단계; 및
    상기 제거된 경계 상자를 제외한 나머지 경계 상자에 포함된 객체를 탐지하는 단계를 포함하는
    객체 탐지 방법.
  6. 이동 수단에 배치된 카메라 및 라이다를 이용하여 객체를 탐지하는 객체 탐지 장치에 있어서,
    상기 카메라를 이용하여 정면 시점(Front View)의 카메라 이미지를 획득하고, 상기 라이다를 이용하여 3차원 위치 정보를 포함하는 상단 시점(Top View)의 PCD(Point Cloud Data)를 획득하는 데이터 수신부;
    상기 PCD를 2차원 좌표계로 변환하고, 상기 변환된 2차원 좌표계로부터 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하는 전처리부; 및
    상기 카메라 이미지와 상기 정면 시점의 적어도 하나의 라이다 경계 상자에 기초하여 상기 카메라 이미지에 포함된 객체를 탐지하는 객체 탐지부를 포함하고,
    상기 전처리부는
    상기 2차원 좌표계로부터 객체 탐색 알고리즘을 통해 상단 시점의 적어도 하나의 라이다 경계 상자를 추출하고, 상기 상단 시점의 적어도 하나의 라이다 경계 상자의 기하학적 특징 정보를 입력값으로 수신하는 MLP(Multi-Layer Perceptron)에 기초하여 상기 상단 시점의 적어도 하나의 라이다 경계 상자의 좌표값을 비선형 매칭시켜 시점을 변환하여 정면 시점의 적어도 하나의 라이다 경계 상자를 추출하며,
    상기 상단 시점의 적어도 하나의 라이다 경계 상자의 기하학적 특징 정보는 상기 객체와의 거리 정보 및 상기 객체와의 각도 정보를 포함하는 객체 탐지 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 라이다 경계 상자는
    상기 라이다와 탐지된 객체와의 거리 정보, 각도 정보 및 신뢰도 중 적어도 하나의 정보를 포함하는
    객체 탐지 장치.
  9. 제6항에 있어서,
    상기 객체 탐지부는
    객체 탐지 알고리즘을 이용하여 상기 카메라 이미지로부터 생성된 적어도 하나의 카메라 경계 상자 및 상기 적어도 하나의 라이다 경계 상자를 상기 카메라 이미지에 표시하고, 상기 표시된 경계 상자 중 NMS(Non-Maximum Suppression)를 통해 일부 경계 상자를 제거하여 객체를 탐지하는
    객체 탐지 장치.
  10. 제9항에 있어서,
    상기 객체탐지부는
    상기 객체 탐지 알고리즘을 통해 상기 경계 상자에 부여된 신뢰도를 기준으로 상기 경계 상자를 정렬하고, 상기 정렬된 경계 상자 중 신뢰도가 가장 높은 경계 상자를 기준으로 나머지 경계 상자와의 겹침 정도를 나타내는 IOU(Intersection Of Union)를 산출하고, 상기 나머지 경계 상자 중 산출된 IOU가 미리 설정된 임계값 이상인 경계 상자를 제거하고, 상기 제거된 경계 상자를 제외한 나머지 경계 상자에 포함된 객체를 탐지하는
    객체 탐지 장치.
KR1020210035508A 2021-03-18 2021-03-18 라이더를 이용하는 가려진 객체 탐지 방법 및 장치 KR102588386B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210035508A KR102588386B1 (ko) 2021-03-18 2021-03-18 라이더를 이용하는 가려진 객체 탐지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210035508A KR102588386B1 (ko) 2021-03-18 2021-03-18 라이더를 이용하는 가려진 객체 탐지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220130513A KR20220130513A (ko) 2022-09-27
KR102588386B1 true KR102588386B1 (ko) 2023-10-12

Family

ID=83452256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210035508A KR102588386B1 (ko) 2021-03-18 2021-03-18 라이더를 이용하는 가려진 객체 탐지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102588386B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102531238B1 (ko) * 2023-01-11 2023-05-11 (주)인포스텍 인공지능 기반 다목적 안전 감시 일체형 카메라 시스템
KR102638384B1 (ko) * 2023-09-07 2024-02-20 주식회사 포딕스시스템 고정형 라이다를 이용한 3d 이동 객체 검출 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269750B1 (ko) * 2019-08-30 2021-06-25 순천향대학교 산학협력단 Cnn을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Alireza Asvadi 外 4인. Multimodal vehicle detection: fusing 3D-LIDAR and color camera data, Pattern Recognition Letters. 2018년 5월 17일 1부.*

Also Published As

Publication number Publication date
KR20220130513A (ko) 2022-09-27

Similar Documents

Publication Publication Date Title
EP4109331A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
CN106650708B (zh) 一种自动驾驶障碍物视觉检测方法与系统
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
WO2021023106A1 (zh) 目标识别方法、装置及摄像机
CN107392965B (zh) 一种基于深度学习和双目立体视觉相结合的测距方法
US9311542B2 (en) Method and apparatus for detecting continuous road partition
US9275267B2 (en) System and method for automatic registration of 3D data with electro-optical imagery via photogrammetric bundle adjustment
KR102588386B1 (ko) 라이더를 이용하는 가려진 객체 탐지 방법 및 장치
US20180089501A1 (en) Computer implemented method of detecting the distance of an object from an image sensor
US20140347484A1 (en) Apparatus and method for providing surrounding environment information of vehicle
JPH10143659A (ja) 物体検出装置
US20240125934A1 (en) Annotation cross-labeling for autonomous control systems
US9558564B1 (en) Method for finding important changes in 3D point clouds
CN109213138B (zh) 一种避障方法、装置及系统
Kang et al. Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation
KR20150091779A (ko) 다중 센서를 이용한 영상 처리 시스템
CN113688738A (zh) 一种基于激光雷达点云数据的目标识别系统及方法
Parmehr et al. Mapping urban tree canopy cover using fused airborne lidar and satellite imagery data
CN110880161A (zh) 一种多主机多深度摄像头的深度图像拼接融合方法及系统
CN108873931A (zh) 一种基于主观与客观结合的无人机视觉防撞方法
KR101696089B1 (ko) 이미징 소나를 이용한 물체 탐색 방법 및 장치
CN116630931A (zh) 障碍物检测方法、系统、农业机械、电子设备和存储介质
KR102441103B1 (ko) 객체 식별 무인 항공기 및 무인 항공기의 객체 식별 방법
CN112651405B (zh) 目标检测方法及装置
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right