KR20240054594A - 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차 - Google Patents

라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차 Download PDF

Info

Publication number
KR20240054594A
KR20240054594A KR1020220134767A KR20220134767A KR20240054594A KR 20240054594 A KR20240054594 A KR 20240054594A KR 1020220134767 A KR1020220134767 A KR 1020220134767A KR 20220134767 A KR20220134767 A KR 20220134767A KR 20240054594 A KR20240054594 A KR 20240054594A
Authority
KR
South Korea
Prior art keywords
information
features
lidar
lidar sensor
reflection intensity
Prior art date
Application number
KR1020220134767A
Other languages
English (en)
Inventor
한동석
서효정
유민우
디엔 닝
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020220134767A priority Critical patent/KR20240054594A/ko
Publication of KR20240054594A publication Critical patent/KR20240054594A/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

카메라 센서에 취득한 정보와 라이다 센서에 의해 취득한 정보를 융합하여 라이다 센서의 폐색 여부를 분류하는 라이다 센서의 폐색 분류 장치 및 이를 갖는 자율주행 자동차가 개시된다. 라이다 센서의 폐색 분류 장치는, 카메라 센서가 촬영한 이미지 정보와 라이다 센서가 측정한 라이다 포인트 클라우드를 입력받는 입력부; 상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도 정보 및 거리 정보를 추출하는 정보 융합부; 사전에 학습된 딥러닝 아키텍처 모델과 인공신경망을 포함하고, 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 상기 딥러닝 아키텍처 모델에 입력하여 특징들을 추출하고, 상기 각각의 특징을 다시 상기 딥러닝 아키텍처 모델에 입력하여 특징을 추출한 후 상기 인공신경망의 입력으로 넣어 연산하는 특징 추출부; 및 상기 인공신경망의 연산 결과에 기초하여 라이다 센서의 폐색 여부를 출력하는 출력부를 포함한다. 이에 따라, 카메라 센서에 취득한 정보와 라이다 센서에 의해 취득한 정보의 융합을 통해 라이다 센서의 폐색 여부를 분류하여 라이다 센서로부터 들어온 정보가 신뢰성이 있는지를 판별할 수 있다.

Description

라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차{APPARATUS AND METHOD FOR OCCLUSION CLASSIFICATION OF LIDAR SENSOR AND AUTONOMUS VEHICLE HAVING THE SAME}
본 발명은 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차에 관한 것으로, 보다 상세하게는 카메라 센서에 취득한 정보와 라이다 센서에 의해 취득한 정보를 융합하여 라이다 센서의 폐색 여부를 분류하는 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차에 관한 것이다.
일반적으로, 라이다 센서는 레이저를 객체에 비춤으로 객체까지의 거리, 방향, 속도, 형상 등의 정보들을 감지한다.
이러한 라이다 센서는 레이저를 사용하므로 라이다 센서에 폐색이 발생할 경우, 라이다 포인트 값을 제대로 수신하지 못하거나 반사강도(reclectivity 혹은 intensity) 값이 낮아지는 등의 문제가 발생한다.
도 1는 정상 상태의 라이다 센서와 라이다 센서에 폐색이 발생된 경우를 설명하기 위한 도면들이다. 특히, 도 1에서 우상측 도면은 전면 폐색이 발생된 경우를 도시하고, 좌하측 도면은 부분 폐색이 발생된 경우를 도시하고, 우하측 도면은 투명한 물체의 폐색이 발생된 경우를 도시한다.
도 1을 참조하면, 우상측에 도시된 완전 폐색의 경우 최근 라이다 기기의 자체 기능으로 감지해낼 수 있다.
하지만, 좌하측에 도시된 바와 같이 빛을 완전히 가리는 물체로부터의 부분 폐색이 발생된 경우 라이다 센서 자체 기능으로 이상 발생을 감지할 수 없다는 문제점이 발생한다.
또한 우하측에 도시된 바와 같이 투명한 물체로부터의 폐색은 반사강도가 낮아져 라이다 센서가 정상적으로 폐색 발생을 감지하지 못하는 문제점이 발생한다.
한국공개특허 제2021-0092319호(2021. 07. 23.) 한국공개특허 제2021-0034097호(2021. 03. 29.) 일본등록특허 JP5653901(2014. 11. 28.) 한국공개특허 제2022-0109537호(2022. 08. 05.)
이에 본 발명의 기술적 과제는 이러한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 카메라 센서에 취득한 정보와 라이다 센서에 의해 취득한 정보의 융합을 통해 라이다 센서의 폐색 여부를 분류하여 라이다 센서로부터 들어온 정보가 신뢰성이 있는지를 판별할 수 있는 라이다 센서의 폐색 분류 장치를 제공하는 것이다.
또한 본 발명의 다른 목적은 상기한 라이다 센서의 폐색 분류 장치를 이용한 라이다 센서의 폐색 분류 방법을 제공하는 것이다.
또한 본 발명의 또 다른 목적은 상기한 라이다 센서의 폐색 분류 장치를 갖는 자율주행 자동차를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위하여 일실시예에 따른 라이다 센서의 폐색 분류 장치는, 카메라 센서가 촬영한 이미지 정보와 라이다 센서가 측정한 라이다 포인트 클라우드를 입력받는 입력부; 상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도 정보 및 거리 정보를 추출하는 정보 융합부; 사전에 학습된 딥러닝 아키텍처 모델과 인공신경망을 포함하고, (i) 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 상기 딥러닝 아키텍처 모델에 입력하여 이미지 특징, 반사강도 특징 및 거리 특징을 추출하고, (ii) 상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징을 다시 상기 딥러닝 아키텍처 모델에 입력하여 결합 특징을 추출한 후 상기 결합 특징을 상기 인공신경망에 입력하여 연산하는 특징 추출부; 및 상기 인공신경망의 연산 결과에 기초하여 라이다 센서의 폐색 여부를 출력하는 출력부를 포함한다.
일 실시예에서, 상기 라이다 포인트 클라우드는, 3축 좌표값 정보, 반사강도 정보 및 거리 정보를 포함할 수 있다.
일 실시예에서, 상기 특징 추출부는, 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 병렬적으로 상기 딥러닝 아키텍처 모델에 입력하여 상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징을 추출할 수 있다.
일 실시예에서, 상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징은 순차적으로 결합되어 상기 결합 특징을 정의할 수 있다.
일 실시예에서, 상기 인공신경망의 학습시 손실은,
(여기서, L은 손실함수, N은 데이터 개수, t는 실제 값, y는 예측 값이다.)에 의해 정의되는 B.C.E(Binary Cross Entropy)로 계산될 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위하여 일실시예에 따른 라이다 센서의 폐색 분류 방법은, 카메라 센서가 촬영한 이미지 정보와 라이다 센서가 측정한 라이다 포인트 클라우드를 입력받는 단계; 상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도 정보 및 거리 정보를 추출하는 단계;사전에 학습된 딥러닝 아키텍처 모델과 인공신경망을 포함하고, (i) 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 상기 딥러닝 아키텍처 모델에 입력하여 이미지 특징, 반사강도 특징 및 거리 특징을 추출하고, (ii) 상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징을 다시 상기 딥러닝 아키텍처 모델에 입력하여 결합 특징을 추출한 후 상기 결합 특징을 상기 인공신경망에 입력하여 연산하는 단계; 및 상기 인공신경망의 연산 결과에 기초하여 라이다 센서의 폐색 여부를 출력하는 단계를 포함한다.
상기한 본 발명의 또 다른 목적을 실현하기 위하여 일실시예에 따른 자율 주행 자동차는, 자율 주행 모드에서 동작하도록 구성되는 감속 시스템과, 가속 시스템과, 스티어링 시스템을 포함하는 주행 시스템; 및 상기 차량의 임계 거리 내에서 상기 외부 환경의 영역의 중첩되는 시야를 갖도록 상기 차량을 따라 배열되는 카메라 센서와, 상기 차량의 임계 거리 내에서 적어도 상기 차량 주위의 외부 환경의 영역에서 객체들을 검출하도록 구성되는 시야를 갖는 라이다 센서와, 상기 카메라 센서와 상기 라이다 센서를 융합해 상기 라이다 센서의 폐색 여부를 분류하는 폐색 분류 장치를 포함하는 외부 분류 시스템을 포함하고, 상기 폐색 분류 장치는, 상기 카메라 센서가 촬영한 이미지 정보와 상기 라이다 센서가 측정한 라이다 포인트 클라우드를 입력하고, 상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도 정보 및 거리 정보를 추출하고, 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 상기 딥러닝 아키텍처 모델에 입력하여 이미지 특징, 반사강도 특징 및 거리 특징을 추출하고, 상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징을 다시 상기 딥러닝 아키텍처 모델에 입력하여 결합 특징을 추출하고, 상기 결합 특징을 인공신경망에 입력하여 상기 라이다 센서의 폐색 여부를 출력하는 것을 특징으로 한다.
이러한 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율 주행 자동차에 의하면, 카메라 센서에 취득한 정보와 라이다 센서에 의해 취득한 정보의 융합을 통해 라이다 센서의 폐색 여부를 분류하여 라이다 센서로부터 들어온 정보가 신뢰성이 있는지를 판별할 수 있다.
도 1는 정상 상태의 라이다 센서와 라이다 센서에 폐색이 발생된 경우를 설명하기 위한 도면들이다.
도 2는 본 발명의 일실시예에 따른 라이다 센서의 폐색 분류 장치를 설명하기 위한 블럭도이다.
도 3a 및 도 3b는 도 2에 도시된 라이다 센서의 폐색 분류 장치를 이용한 라이다 센서의 폐색 분류 방법을 직관적으로 설명하기 위한 구성도이다.
도 4는 도 2의 라이다 센서의 폐색 분류 장치를 갖는 자율주행 자동차를 설명하기 위한 예시도이다.
이하, 첨부한 도면들을 참조하여, 본 발명을 보다 상세하게 설명하고자 한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 2는 본 발명의 일실시예에 따른 라이다 센서의 폐색 분류 장치를 설명하기 위한 블럭도이다. 도 3a 및 도 3b는 도 2에 도시된 라이다 센서의 폐색 분류 장치를 이용한 라이다 센서의 폐색 분류 방법을 직관적으로 설명하기 위한 구성도이다.
도 2 내지 도 3b를 참조하면, 본 발명의 일실시예에 따른 라이다 센서의 폐색 분류 장치(110)는 입력부(112), 정보 융합부(114), 특징 추출부(116) 및 출력부(118)를 포함하여, 카메라 센서(120)와 라이다 센서(130)를 융합해 라이다 센서의 폐색 여부를 분류할 수 있다. 여기서, 폐색은 부분 폐색과 투명한 물체로부터의 폐색 상황을 포함한다. 본 실시예에서, 라이다 센서의 폐색 분류 장치(110)가 입력부(112), 정보 융합부(114), 특징 추출부(116) 및 출력부(118)로 구성된 것으로 설명하였으나, 이는 설명의 편의를 위해 논리적으로 구분하였을 뿐 하드웨어적으로 구분한 것은 아니다.
입력부(112)는 카메라 센서(120)와 라이다 센서(130)에 각각 연결되어 카메라 센서(120)가 촬영한 이미지 정보와 라이다 센서(130)가 측정한 라이다 포인트 클라우드를 입력받아 정보 융합부(114)에 제공한다.
정보 융합부(114)는 상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도(reflectivity 혹은 intensity) 정보 및 거리 정보를 추출한다. 카메라 센서(120)와 라이다 센서(130)를 융합해서 사용하기 위해서는 두 센서 간의 캘리브레이션이 되어야 한다. 여기서, 캘리브레이션이란 서로 다른 센서를 이용할 때 서로 다른 두 개의 센서의 관계를 구하는 것이다. 캘리브레이션을 하게 되면 카메라 센서(120)에 의해 촬영된 이미지 상에서 해당되는 위치에 라이다 포인트가 중첩된다. 라이다 포인트는 3축 좌표값 정보(즉, X, Y, Z 축 좌표값 정보), 반사강도 정보 및 거리 정보를 포함한다.
특징 추출부(116)는 상기 이미지 정보(즉, 차량용 카메라 센서의 이미지 프레임), 상기 반사강도 정보(즉, 라이다 포인트의 반사강도를 캘리브레이션한 이미지) 및 거리 정보(즉, 라이다 포인트의 거리 값을 캘리브레이션한 이미지) 각각을 사전에 학습된 딥러닝 아키텍처 모델에 각각 입력하여 특징을 추출한다. 이어, 특징 추출부(116)는 추출된 이미지 특징, 추출된 반사강도 특징 및 추출된 거리 특징을 순차적으로 결합하고, 다시 딥러닝 아키텍처 모델에 입력하여 특징을 추출한 후 인공신경망의 입력으로 넣어 연산한다.
평평하게 펴진 특징들은 1D의 형태가 되는데, 인공신경망에 입력으로 들어가게 된다. 상기 인공신경망의 학습시 손실은 아래의 수식 1에 의해 정의되는 B.C.E(Binary Cross Entropy)로 계산된다.
[수식 1]
여기서, L은 손실함수, N은 데이터 개수, t는 실제 값, y는 예측 값이다.
출력부(118)는 상기 인공신경망의 연산 결과에 기초하여 라이다 센서의 폐색 여부를 출력한다. 학습된 모델은 최종적으로 라이다 센서(130)가 폐색인지 정상인지 여부를 판단하게 된다. 예컨대, 출력부(118)는 라이다 센서(130)가 폐색으로 판단되면 "0"를 출력하고, 라이다 센서(130)가 정상으로 판단되면 "1"을 출력하는 방식으로 폐색 여부를 출력할 수 있다.
이상에서 설명된 바와 같이, 본 발명에 따르면 카메라 이미지 프레임과 캘리브레이션된 라이다 포인트 정보를 함께 사용하여 라이다 센서의 폐색 여부를 판별하므로써, 라이다 정보만을 사용했을 때보다 정확도를 높일 수 있다.
즉, 차량용 카메라 센서의 이미지 프레임, 라이다 포인트의 반사강도를 캘리브레이션한 이미지 정보, 라이다 포인트의 거리 값을 캘리브레이션한 이미지 정보가 라이다 센서의 폐색 분류 장치에 병렬로 입력되므로써, 라이다 센서의 폐색 여부를 분류하여 라이다 센서로부터 들어온 정보가 신뢰성이 있는지의 여부를 판별할 수 있다.
또한 이러한 라이다 센서의 폐색 분류에 대한 신뢰성을 높이므로써 자율주행 자동차의 인지 오류로 인한 교통사고를 감소시킬 수 있다. 또한 자율주행 자동차의 신뢰성을 향상시킬 수 있으므로, 사람의 제어가 없는 완전 자율주행에서 사용이 가능하다.
도 4는 도 2의 라이다 센서의 폐색 분류 장치를 갖는 자율주행 자동차를 설명하기 위한 예시도이다. 특히 라이다 센서의 폐색 분류 장치를 갖는 자율주행 자동차의 구성을 설명하기 위한 예시도이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 자율주행 자동차(100)는 주행 시스템(미도시) 및 외부 감시 시스템(미도시)을 포함한다.
주행 시스템은 자율 주행 모드에서 동작하도록 구성되는 자율주행 자동차(100)의 제동을 제어하도록 구성되는 감속 시스템과, 자율주행 자동차(100)의 가속을 제어하도록 구성되는 가속 시스템과, 휠 방위 및 상기 차량의 방향을 제어하도록 구성되는 스티어링 시스템을 포함한다.
외부 감시 시스템은 자율주행 자동차(100)의 임계 거리 내에서 상기 외부 환경의 영역의 중첩되는 시야를 갖도록 자율주행 자동차(100)을 따라 배열되는 카메라 센서와, 자율주행 자동차(100)의 임계 거리 내에서 적어도 자율주행 자동차(100) 주위의 외부 환경의 영역에서 객체들을 검출하도록 구성되는 시야를 갖는 라이다 센서와, 상기 카메라 센서와 상기 라이다 센서를 융합해 상기 라이다 센서의 폐색 여부를 분류하는 폐색 분류 장치를 포함한다.
카메라 센서(120)는 자율주행 자동차(100)의 일측(예컨대, 자동차의 상부나 전방부, 측방부, 후방부 등)에 장착되며, 자율주행 자동차(100)의 주변에 위치하는 다양한 객체들(예컨대, 주변 자동차나 사람, 도로 상의 차선이나 지시선, 신호등, 안내표지판, 주변 지형지물 등) 영역을 촬영한 이미지 정보를 제공한다. 본 실시예에 있어서, 카메라 센서(120)는 바람직하게는 RGB 이미지를 획득가능한 촬영장치일 수 있다. 카메라 센서(120)는 촬영된 이미지 정보와 더불어, 해당 이미지 정보에 대하여 측정된 RGB 좌표계 정보를 추가로 제공한다.
라이다 센서(130)의 폐색 분류 장치(110)는 카메라 센서(120)를 이용하여 수집된 이미지 정보와 라이다 센서(130)를 이용하여 수집된 라이다 데이터를 제공받고, 이를 기반으로 하여 라이다 센서(130)에 대한 폐색 분류 동작을 수행한다. 라이다 센서의 폐색 분류 장치(110)는 차량(100) 상에 직접 설치되는 형태로 구현될 수 있다.
라이다 센서(130)는 차량의 일측에 장착되며, 자율주행 자동차(100)의 주변, 예컨대 전방을 향하여 레이저를 발사한다. 라이다 센서(130)는 레이저 파장의 빛을 외부로 방출하고, 이 방출된 빛이 외부 객체에 반사되어 되돌아오는 데 소요되는 시간을 측정하여 외부 객체의 위치에 대한 정보(라이다 데이터)를 생성한다. 라이다 센서(130)는 레이저를 이용하여 측정한 거리정보(distance information)를 3D 공간에서 점들의 집합(point cloud) 형태로 나타내어 제공한다. 예컨대, 포인트 클라우드 내 각 포인트들은 센서의 위치로부터 목표물과 로봇 좌표계 기준 X 방향, Y 방향, Z 방향으로 각 몇 m 떨어져 있는 지의 거리정보와 목표물의 반사 계수값이 포함될 수 있다.
라이다 센서(130)는 자율주행 자동차(100) 주위에서의 그들의 배치 및 그들이 수집하도록 설계되는 정보의 타입에 따라 상이한 시야들을 가질 수 있도록 복수개가 배치될 수 있다. 예를 들어, 일부의 라이다 센서들은 자율주행 자동차(100)에 인접한 객체들(예를 들어, 2-10미터 미만)의 근거리(단거리) 검출에 사용될 수 있는 반면, 또 다른 라이다 센서들은 차량 전방의 수백 미터(또는 그 이상 또는 그 이하)의 객체들의 원거리(장거리) 검출에 사용될 수 있다. 예를 들어, 자율주행 자동차(100)으로부터 10-100미터 사이의 객체들을 검출하기 위해 중거리 라이다들도 채택될 수 있다. 단거리 또는 장거리 객체 검출을 위해 다수의 레이더 유닛들이 자율주행 자동차(100)의 전방, 후방 및/또는 측면들을 향해 포지셔닝될 수 있다.
한편, 본 실시예에서는 자율주행 자동차(100)에 장착되는 카메라 센서(120) 및 라이다 센서(130)의 위치에 대하여 특정 위치로서 한정하지는 않는다.
본 발명에 따른, 상술한 라이다 센서의 폐색 분류 장치에 적용되는 기능 구성 및 수행동작은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다.
본 발명의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, 파이썬(Python), C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "~모듈", "~부", "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이상에서는 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
자율주행차에서 사용되는 라이다 센서의 고장을 검출하는 기능에 주요한 역할을 할 것으로 기대되며 자율주행 자동차 이외에 카메라 센서와 라이다 센서를 함께 사용하는 시스템에 활용 가능할 것이다.
100 : 자율주행 자동차 110 : 폐색 분류 장치
112 : 입력부 114 : 정보 융합부
116 : 특징 추출부 118 : 출력부

Claims (7)

  1. 카메라 센서가 촬영한 이미지 정보와 라이다 센서가 측정한 라이다 포인트 클라우드를 입력받는 입력부;
    상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도 정보 및 거리 정보를 추출하는 정보 융합부;
    사전에 학습된 딥러닝 아키텍처 모델과 인공신경망을 포함하고, (i) 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 상기 딥러닝 아키텍처 모델에 입력하여 이미지 특징, 반사강도 특징 및 거리 특징을 추출하고, (ii) 상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징을 다시 상기 딥러닝 아키텍처 모델에 입력하여 결합 특징을 추출한 후 상기 결합 특징을 상기 인공신경망에 입력하여 연산하는 특징 추출부; 및
    상기 인공신경망의 연산 결과에 기초하여 라이다 센서의 폐색 여부를 출력하는 출력부를 포함하는 것을 특징으로 하는 라이다 센서의 폐색 분류 장치.
  2. 제1항에 있어서,
    상기 라이다 포인트 클라우드는, 3축 좌표값 정보, 반사강도 정보 및 거리 정보를 포함하는 것을 특징으로 하는 라이다 센서의 폐색 분류 장치.
  3. 제1항에 있어서,
    상기 특징 추출부는, 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 병렬적으로 상기 딥러닝 아키텍처 모델에 입력하여 상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징을 추출하는 것을 특징으로 하는 라이다 센서의 폐색 분류 장치.
  4. 제3항에 있어서,
    상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징은 순차적으로 결합되어 상기 결합 특징을 정의하는 것을 특징으로 하는 라이다 센서의 폐색 분류 장치.
  5. 제1항에 있어서,
    상기 인공신경망의 학습시 손실은,
    (여기서, L은 손실함수, N은 데이터 개수, t는 실제 값, y는 예측 값이다.)에 의해 정의되는 B.C.E(Binary Cross Entropy)로 계산되는 것을 특징으로 하는 라이다 센서의 폐색 분류 장치.
  6. 카메라 센서가 촬영한 이미지 정보와 라이다 센서가 측정한 라이다 포인트 클라우드를 입력받는 단계;
    상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도 정보 및 거리 정보를 추출하는 단계;
    사전에 학습된 딥러닝 아키텍처 모델과 인공신경망을 포함하고, (i) 상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 상기 딥러닝 아키텍처 모델에 입력하여 이미지 특징, 반사강도 특징 및 거리 특징을 추출하고, (ii) 상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징을 다시 상기 딥러닝 아키텍처 모델에 입력하여 결합 특징을 추출한 후 상기 결합 특징을 상기 인공신경망에 입력하여 연산하는 단계; 및
    상기 인공신경망의 연산 결과에 기초하여 라이다 센서의 폐색 여부를 출력하는 단계를 포함하는 것을 특징으로 하는 라이다 센서의 폐색 분류 방법.
  7. 자율 주행 모드에서 동작하도록 구성되는 감속 시스템과, 가속 시스템과, 스티어링 시스템을 포함하는 주행 시스템; 및
    상기 차량의 임계 거리 내에서 상기 외부 환경의 영역의 중첩되는 시야를 갖도록 상기 차량을 따라 배열되는 카메라 센서와, 상기 차량의 임계 거리 내에서 적어도 상기 차량 주위의 외부 환경의 영역에서 객체들을 검출하도록 구성되는 시야를 갖는 라이다 센서와, 상기 카메라 센서와 상기 라이다 센서를 융합해 상기 라이다 센서의 폐색 여부를 분류하는 폐색 분류 장치를 포함하는 외부 분류 시스템을 포함하고, 상기 폐색 분류 장치는,
    상기 카메라 센서가 촬영한 이미지 정보와 상기 라이다 센서가 측정한 라이다 포인트 클라우드를 입력하고,
    상기 이미지 정보와 상기 라이다 포인트 클라우드를 융합하여 상기 라이다 포인트 클라우드에서의 반사강도 정보 및 거리 정보를 추출하고,
    상기 이미지 정보, 상기 반사강도 정보 및 거리 정보 각각을 상기 딥러닝 아키텍처 모델에 입력하여 이미지 특징, 반사강도 특징 및 거리 특징을 추출하고,
    상기 이미지 특징, 상기 반사강도 특징 및 상기 거리 특징을 다시 상기 딥러닝 아키텍처 모델에 입력하여 결합 특징을 추출하고,
    상기 결합 특징을 인공신경망에 입력하여 상기 라이다 센서의 폐색 여부를 출력하는 것을 특징으로 하는 자율주행 자동차.
KR1020220134767A 2022-10-19 2022-10-19 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차 KR20240054594A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220134767A KR20240054594A (ko) 2022-10-19 2022-10-19 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220134767A KR20240054594A (ko) 2022-10-19 2022-10-19 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차

Publications (1)

Publication Number Publication Date
KR20240054594A true KR20240054594A (ko) 2024-04-26

Family

ID=90883379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220134767A KR20240054594A (ko) 2022-10-19 2022-10-19 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차

Country Status (1)

Country Link
KR (1) KR20240054594A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118520780A (zh) * 2024-07-19 2024-08-20 光轮智能(北京)科技有限公司 激光雷达数据的反射强度预测方法、设备及介质
CN118520780B (zh) * 2024-07-19 2024-10-29 光轮智能(北京)科技有限公司 激光雷达数据的反射强度预测方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5653901U (ko) 1979-10-01 1981-05-12
KR20210034097A (ko) 2018-08-20 2021-03-29 웨이모 엘엘씨 자율주행 차량들을 위한 카메라 평가 기술들
KR20210092319A (ko) 2019-01-15 2021-07-23 웨이모 엘엘씨 압축된 이미지 데이터에 의한 센서 폐색의 검출
KR20220109537A (ko) 2021-01-28 2022-08-05 경북대학교 산학협력단 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5653901U (ko) 1979-10-01 1981-05-12
KR20210034097A (ko) 2018-08-20 2021-03-29 웨이모 엘엘씨 자율주행 차량들을 위한 카메라 평가 기술들
KR20210092319A (ko) 2019-01-15 2021-07-23 웨이모 엘엘씨 압축된 이미지 데이터에 의한 센서 폐색의 검출
KR20220109537A (ko) 2021-01-28 2022-08-05 경북대학교 산학협력단 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118520780A (zh) * 2024-07-19 2024-08-20 光轮智能(北京)科技有限公司 激光雷达数据的反射强度预测方法、设备及介质
CN118520780B (zh) * 2024-07-19 2024-10-29 光轮智能(北京)科技有限公司 激光雷达数据的反射强度预测方法、设备及介质

Similar Documents

Publication Publication Date Title
KR102441085B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
US11790663B2 (en) Fast detection of secondary objects that may intersect the trajectory of a moving primary object
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
US11900609B2 (en) Traffic light occlusion detection for autonomous vehicle
CN106503653B (zh) 区域标注方法、装置和电子设备
US11873003B2 (en) Multimodal multi-technique signal fusion system for autonomous vehicle
US11034294B2 (en) Driving notification method and driving notification system
CN102779430B (zh) 基于视觉的夜间后碰撞警告系统、控制器及其操作方法
US11423663B2 (en) Object detection device, object detection method, and non-transitory computer readable medium comprising computer program for object detection-use
CN107807355A (zh) 一种基于红外和毫米波雷达技术的车辆避障预警系统
JP4171501B2 (ja) 車両の周辺監視装置
CN111507162B (zh) 基于车辆间通信的协作的盲点警告方法及装置
CN107662872A (zh) 乘客运输机的监测系统及其监测方法
US7974445B2 (en) Vehicle periphery monitoring device, vehicle, and vehicle periphery monitoring program
CN111398989A (zh) 驾驶辅助系统的性能分析方法和测试设备
JP2007241898A (ja) 停止車両分別検出装置および車両の周辺監視装置
US10586348B2 (en) Distance measurement device and image capturing control device
JP2007304033A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
CN107161145A (zh) 用于避免追尾事故的方法和控制装置
KR101958238B1 (ko) 통학차량용 안전관리 시스템
KR20240054594A (ko) 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차
CN117315418A (zh) 自动驾驶感知系统冗余校验方法、系统和装置
EP3648457A1 (en) Processor, image processing device, mobile entity, image processing method, and program
KR20200020193A (ko) 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템
KR20220064112A (ko) 다중 정보 기반의 증강 현실 영상을 이용한 선박블록 운송 장치 및 그것을 이용한 가시화 방법