KR20220088059A

KR20220088059A - 차량의 객체 검출 장치 및 방법

Info

Publication number: KR20220088059A
Application number: KR1020200178703A
Authority: KR
Inventors: 박기홍; 이두현; 손원일; 이준엽
Original assignee: 국민대학교산학협력단
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2022-06-27
Also published as: KR102563339B1

Abstract

차량의 객체 검출 장치 및 방법이 개시된다. 차량의 객체 검출 장치는 차량의 주변에 존재하는 객체를 검출하는 장치로서, 프로세서와, 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서로 하여금, 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지를 생성하고, 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출하도록 야기하는 코드를 저장할 수 있다.

Description

차량의 객체 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING OBJECT OF VEHICLE}

본 발명은 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 객체를 검출하는 기술에 관한 것이다.

자동차는 운전자에게 보다 편안하고 안전한 주행환경을 제공하기 위해 개발되어왔다. 또한, 운전자의 안전 및 편의를 향상시키기 위한 안전 제어 시스템들이 개발되고 있다. 나아가, 운전자에게 보다 안락하고 안전한 주행 환경을 제공하기 위한 지능형 운전자 지원 시스템에 대한 연구 역시 활발하게 진행되고 있으며 궁극적으로는 자율 주행 또는 무인 자율 주행을 위한 제어 시스템에 대한 연구로 확대되어가고 있다.

자율 차량은 다양한 센서(예컨대, 라이다, 카메라, 레이더, 초음파센서 등)를 이용하여 객체를 인식하고, 운전자의 조작없이 스스로 주행하는 차량을 의미할 수 있다.

선행기술(등록특허공보 제10-1899549호)에는 라이다 센서와 카메라를 이용하여 객체를 검출하는 구성을 개시하고 있다. 그러나, 라이다 센서와 카메라 센서를 이용하여 객체를 검출하는 경우, 라이다 센서와 카메라 센서 각각에서 획득되는 데이터를 처리하기 위한 컴퓨팅 자원 및 전력 소모의 증가에 따라 데이터 처리 비용이 증가할 수 있다.

또한, 카메라 센서의 뷰포인트(viewpoint)가 정면이고, 라이다 센서의 뷰포인트가 지면으로 설정될 경우, 각 센서의 뷰포인트가 상이하여 각 센서에 의해 획득된 데이터로부터 객체를 검출할 때 효율이 떨어질 수 있다.

선행기술: "대한민국 등록특허공보 제10-1899549호(2018.09.11 등록)"

본 발명의 일실시예는, 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지(intensity image)를 생성하고, 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출함으로써, 이종의 센서(예컨대, 라이다 센서, 카메라 센서)를 이용하여 객체를 검출할 때보다 컴퓨팅 자원 및 전력 소모의 감소에 따라 데이터 처리 비용이 상대적으로 감소하고, 인텐시티 이미지로부터 객체를 용이하게 검출하는 것을 목적으로 한다.

본 발명의 일실시예는, 인텐시티 이미지의 해상도를 증가시키고, 해상도가 증가된 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출함으로써, 공간적 정보(예컨대, 객체에 대한 3차원 정보)가 덴스(dense)한 인텐시티 이미지에 기초하여 객체 검출의 정확도를 높이는 것을 목적으로 한다.

또한, 본 발명의 일실시예는, 인텐시티 이미지 내 지면의 비중이 설정치 미만이 되도록 라이다 센서의 기울기(또는, 레이저 송신 각도)를 조정함으로써, 조정된 라이다 센서에 의해 획득되는 포인트 클라우드 정보에 기초하여 생성된 인텐시티 이미지가 공간적 정보를 많이 포함하도록 하여, 객체 검출의 정확도를 높일 수 있는 환경을 마련하는 것을 목적으로 한다.

본 발명의 일실시예는, 차량의 주변에 존재하는 객체를 검출하는 장치로서, 프로세서와, 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서로 하여금, 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지를 생성하고, 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출하도록 야기하는 코드를 저장하는, 차량의 객체 검출 장치일 수 있다.

또한, 본 발명의 일실시예는, 차량의 주변에 존재하는 객체를 검출하는 방법으로서, 상기 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지를 생성하는 단계와, 상기 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출하는 단계를 포함하는, 차량의 객체 검출 방법일 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예들에 의하면, 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지(intensity image)를 생성하고, 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출함으로써, 이종의 센서(예컨대, 라이다 센서, 카메라 센서)를 이용하여 객체를 검출할 때보다 컴퓨팅 자원 및 전력 소모의 감소에 따라 데이터 처리 비용이 상대적으로 감소하고, 인텐시티 이미지로부터 객체를 용이하게 검출할 수 있다.

본 발명의 실시예들에 의하면, 인텐시티 이미지의 해상도를 증가시키고, 해상도가 증가된 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출함으로써, 공간적 정보(예컨대, 객체에 대한 3차원 정보)가 덴스(dense)한 인텐시티 이미지에 기초하여 객체 검출의 정확도를 높일 수 있다.

또한, 본 발명의 실시예들에 의하면, 인텐시티 이미지 내 지면의 비중이 설정치 미만이 되도록 라이다 센서의 기울기(또는, 레이저 송신 각도)를 조정함으로써, 조정된 라이다 센서에 의해 획득되는 포인트 클라우드 정보에 기초하여 생성된 인텐시티 이미지가 공간적 정보를 많이 포함하도록 하여, 객체 검출의 정확도를 높일 수 있는 환경을 마련할 수 있다.

도 1은 본 발명의 일실시예에 따른 객체 검출 장치가 적용되는 차량의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 차량의 객체 검출 장치의 구성을 개략적으로 도시한 도면이다.
도 3a는 본 발명의 일실시예에 따른 차량의 객체 검출 장치에서 객체 검출 모델을 생성하는 과정을 도시한 도면이다. 도 3b는 인텐시티 이미지들 각각에서 추출되는 특징값의 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 차량의 객체 검출 장치에서 인텐시티 이미지의 해상도를 증가시키는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 차량의 객체 검출 장치에서 객체 검출 알고리즘을 이용하여 객체를 검출하는 일례를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 차량의 객체 검출 방법을 도시한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일실시예에 따른 객체 검출 장치가 적용되는 차량의 구성을 개략적으로 도시한 도면이다.

도 1을 참조하면, 객체 검출 장치가 적용되는 차량(100)은 통신부(101), 제어부(102), 사용자 인터페이스부(103), 오브젝트 검출부(104), 운전 조작부(105), 차량 구동부(106), 운행부(107), 센싱부(108), 저장부(109) 및 차량의 객체 검출 장치(110)를 포함할 수 있다.

차량(100)은 주행 상황에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다. 여기서, 주행 상황은 통신부(101)에 의해 수신된 정보, 오브젝트 검출부(104)에 의해 검출된 외부 오브젝트 정보 및 내비게이션 모듈에 의해 획득된 내비게이션 정보 중 적어도 어느 하나에 의해 판단될 수 있다.

차량(100)은 사용자 인터페이스부(103)를 통하여 수신되는 사용자 입력에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다.

차량(100)이 자율 주행 모드로 운행되는 경우, 차량(100)은 주행, 출차, 주차 동작을 제어하는 운행부(107)의 제어에 따라 운행될 수 있다. 한편, 차량(100)이 매뉴얼 모드로 운행되는 경우, 차량(100)은 운전자의 기계적 운전 조작을 통한 입력에 의해 운행될 수 있다.

통신부(101)는, 외부 장치와 통신을 수행하기 위한 모듈이다. 여기서, 외부 장치는, 사용자 단말기, 타 차량 또는 서버일 수 있다.

통신부(101)는, 근거리 통신(Short range communication), GPS 신호 수신, V2X 통신, 광통신, 방송 송수신 및 ITS(Intelligent Transport Systems) 통신 기능을 수행할 수 있다.

통신부(101)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 장치 사이의 근거리 통신을 수행할 수 있다.

통신부(101)는, 차량(100)의 위치 정보를 획득하기 위한 GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.

통신부(101)는, 차량(100)과 서버(V2I: Vehicle to Infra), 타 차량(V2V: Vehicle to Vehicle) 또는 보행자(V2P: Vehicle to Pedestrian)와의 무선 통신을 지원하는 모듈, 즉, V2X 통신 모듈을 포함할 수 있다. V2X 통신 모듈은, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.

통신부(101)는, V2X 통신 모듈을 통하여, 타 차량이 송신하는 위험 정보 방송 신호를 수신할 수 있고, 위험 정보 질의 신호를 송신하고 그에 대한 응답으로 위험 정보 응답 신호를 수신할 수 있다.

통신부(101)는, 사용자 인터페이스부(103)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이 경우, 차량용 디스플레이 장치는, 텔레매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.

제어부(102)는, ASICs (Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(Processors), 제어기(Controllers), 마이크로 컨트롤러(Micro-controllers), 마이크로 프로세서(Microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

사용자 인터페이스부(103)는, 차량(100)과 차량 이용자와의 소통을 위한 것으로, 이용자의 입력 신호를 수신하고, 수신된 입력 신호를 제어부(102)로 전달하며, 제어부(102)의 제어에 의해 이용자에게 차량(100)이 보유하는 정보를 제공할 수 있다. 사용자 인터페이스부(103)는, 입력 모듈, 내부 카메라, 생체 감지 모듈 및 출력 모듈을 포함할 수 있으나 이에 한정되지 않는다.

입력 모듈은, 사용자로부터 정보를 입력 받기 위한 것으로, 입력 모듈에서 수집한 데이터는, 제어부(102)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.

입력 모듈은, 사용자로부터 차량(100)의 목적지를 입력받아 제어부(102)로 제공할 수 있다.

입력 모듈은, 사용자의 입력에 따라 오브젝트 검출부(104)의 복수개의 센서 모듈 중 적어도 하나의 센서 모듈을 지정하여 비활성화하는 신호를 제어부(102)로 입력할 수 있다.

출력 모듈은, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력 모듈은, 음향 또는 이미지를 출력할 수 있다.

출력 모듈은, 디스플레이 모듈, 음향 출력 모듈 및 햅틱 출력 모듈 중 적어도 어느 하나를 포함할 수 있다.

디스플레이 모듈은, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.

음향 출력 모듈은, 제어부(102)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력할 수 있다.

햅틱 출력 모듈은, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력 모듈은, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.

오브젝트 검출부(104)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 것으로, 센싱 데이터에 기초하여 오브젝트 정보를 생성하고, 생성된 오브젝트 정보를 제어부(102)로 전달할 수 있다. 이때, 오브젝트는 차량(100)의 운행과 관련된 다양한 물체, 예를 들면, 차선, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.

오브젝트 검출부(104)는, 라이다(LIDAR: Light Imaging Detection and Ranging) 센서를 포함할 수 있다.

오브젝트 검출부(104)는, 하나 이상의 라이다 센서를 통하여 차량(100) 주변의 환경 정보를 센싱할 수 있다.

예컨대, 라이다는, 레이저 송신 모듈, 수신 모듈을 포함할 수 있다.

라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.

라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.

제어부(102)는, 오브젝트 검출부(104)의 전반적인 동작을 제어할 수 있다.

제어부(102)는, 라이다 센서에 의해 센싱된 데이터와 기 저장된 데이터를 비교하여, 오브젝트를 검출하거나 분류할 수 있다.

또한, 제어부(102)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(102)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.

여기서, 제어부(102)는 반사 레이저 광에 기초하여 오브젝트를 검출할 수 있으나, 이에 한정되지 않고, 차량의 객체 검출 장치(110)에 의해 검출된 오브젝트를 수신할 수 있다.

운전 조작부(105)는, 운전을 위한 사용자 입력을 수신할 수 있다. 메뉴얼 모드인 경우, 차량(100)은, 운전 조작부(105)에 의해 제공되는 신호에 기초하여 운행될 수 있다.

차량 구동부(106)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어할 수 있다. 차량 구동부(106)는, 차량(100)내 파워 트레인, 샤시, 도어/윈도우, 안전 장치, 램프 및 공조기의 구동을 전기적으로 제어할 수 있다.

운행부(107)는, 차량(100)의 각종 운행을 제어할 수 있다. 운행부(107)는, 자율 주행 모드에서 동작될 수 있다.

운행부(107)는, 주행 모듈, 출차 모듈 및 주차 모듈을 포함할 수 있다.

주행 모듈은, 차량(100)의 주행을 수행할 수 있다.

주행 모듈은, 오브젝트 검출부(104)로부터 오브젝트 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

주행 모듈은, 통신부(101)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

출차 모듈은, 차량(100)의 출차를 수행할 수 있다.

출차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

출차 모듈은, 오브젝트 검출부(104)로부터 오브젝트 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

출차 모듈은, 통신부(101)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.

주차 모듈은, 차량(100)의 주차를 수행할 수 있다.

주차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

주차 모듈은, 오브젝트 검출부(104)로부터 오브젝트 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

주차 모듈은, 통신부(101)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.

내비게이션 모듈은, 제어부(102)에 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.

내비게이션 모듈은, 차량(100)이 진입한 주차장의 주차장 지도를 제어부(102)에 제공할 수 있다. 제어부(102)는, 차량(100)이 주차장에 진입한 경우, 내비게이션 모듈로부터 주차장 지도를 제공받고, 산출된 이동 경로 및 고정 식별 정보를 제공된 주차장 지도에 투영하여 지도 데이터를 생성할 수 있다.

내비게이션 모듈은, 메모리를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 내비게이션 정보는 통신부(101)를 통해 수신된 정보에 의하여 갱신될 수 있다. 내비게이션 모듈은, 내장 프로세서에 의해 제어될 수도 있고, 외부 신호, 예를 들면, 제어부(102)로부터 제어 신호를 입력 받아 동작할 수 있으나 이에 한정되지 않는다.

운행부(107)의 주행 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동부(106)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.

센싱부(108)는, 차량(100)에 장착된 센서를 이용하여 차량(100)의 상태를 센싱, 즉, 차량(100)의 상태에 관한 신호를 감지하고, 감지된 신호에 따라 차량(100)의 이동 경로 정보를 획득할 수 있다. 센싱부(108)는, 획득된 이동 경로 정보를 제어부(102)에 제공할 수 있다.

센싱부(108)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.

센싱부(108)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.

센싱부(108)는, 센싱 신호에 기초하여, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보(예컨대, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보 등)일 수 있다.

저장부(109)는, 제어부(102)와 전기적으로 연결된다. 저장부(109)는 차량 사고 방지 장치 각 부에 대한 기본 데이터, 차량 사고 방지 장치 각 부의 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다. 저장부(109)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 저장부(109)는 제어부(102)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터, 특히, 운전자 성향 정보를 저장할 수 있다.

차량의 객체 검출 장치(110)는 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지(intensity image)(반사 강도 이미지)를 생성하고, 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 용이하게 검출할 수 있다.

도 2는 본 발명의 일실시예에 따른 차량의 객체 검출 장치의 구성을 개략적으로 도시한 도면이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 차량의 객체 검출 장치(200)는 차량의 주변에 존재하는 객체를 검출하는 장치로서, 프로세서(210) 및 메모리(220)를 포함할 수 있다.

프로세서(210)는 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지(intensity image)를 생성할 수 있다. 여기서, 인텐시티 이미지는 2D일 수 있다.

프로세서(210)는 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출할 수 있다.

이때, 프로세서(210)는 인텐시티 이미지에 객체 검출 모델을 적용하여 객체의 종류 및 위치를 출력할 수 있다. 객체 검출 모델은 객체의 종류 및 위치가 레이블링된 인텐시티 이미지들로 학습된 모델일 수 있다. 객체 검출 모델은 차량의 객체 검출 장치(200)에 의해 학습될 수 있으나, 이에 한정되지 않고 외부의 서버로부터 수신되어 메모리(220)에 저장될 수 있다.

또한, 객체 검출 알고리즘은 예컨대, 센터넷(centernet)일 수 있으며, 2D의 인텐시티 이미지로부터 객체의 중심점을 예측하고, 객체의 중심점에 기초하여 3D 바운드 박스(bound box)를 추정하며, 추정된 3D 바운드 박스 내 3D 정보에 기초하여 객체의 종류 및 위치를 획득할 수 있다. 센터넷(centernet)은 여러 개의 앵커 박스 대신 하나의 앵커 박스를 사용해 객체의 중심점을 예측하고, 이를 통해 3D 바운드 박스(bound box)의 크기를 리그레이션(regression)할 수 있다.

객체 검출 알고리즘은 외부의 서버로부터 수신되어 메모리(220)에 저장될 수 있다.

실시예에서, 프로세서(210)는 인텐시티 이미지 내 지면의 비중이 설정치 미만이 되도록 라이다 센서의 기울기(또는, 레이저 송신 각도)를 조정하고, 기울기(또는, 레이저 송신 각도)가 조정된 라이다 센서로부터 포인트 클라우드 정보를 획득할 수 있다. 이에 따라, 프로세서(210)는 차량이 주행하는 도로의 지형(예컨대, 오르막길, 내리막길)과 무관하게, 지면보다 정면을 뷰포인트(viewpoint)로 가지는 라이다 센서를 통해 포인트 클라우드 정보를 획득할 수 있다.

기울기(또는, 레이저 송신 각도)가 조정된 라이다 센서 즉, 지면보다 정면을 향하도록 조정된 라이다 센서로부터 획득된 포인트 클라우드 정보는 라이다 센서가 지면을 향할 때보다 공간적 정보(예컨대, 객체에 대한 3차원 정보)를 상대적으로 많이 포함할 수 있다. 이에 따라, 프로세서(210)는 조정된 라이다 센서로부터 획득된 포인트 클라우드 정보에 기초하여 객체를 검출함으로써, 객체에 대한 3D(Dimensional)를 정확하고 용이하게 검출할 수 있다. 이때, 프로세서(210)는 예컨대, 설정된 수 이상의 3D(Dimensional) 정보가 포함된 포인트 클라우드 정보에 기초하여 2D의 인텐시티 이미지를 생성하고, 인텐시티 이미지로부터 객체를 검출할 수 있다.

인텐시티 이미지에 객체 검출 모델 또는 객체 검출 알고리즘을 적용하기 전에, 프로세서(210)는 인텐시티 이미지에 업스케일링(upscaling) 기법을 적용하여 인텐시티 이미지의 해상도를 증가시키고, 해상도가 증가된 인텐시티 이미지를 객체 검출 모델 또는 객체 검출 알고리즘의 입력 데이터로서 이용함으로써, 공간적 정보가 덴스(dense)한 인텐시티 이미지에 기초하여 객체 검출의 정확도를 높일 수 있다.

프로세서(210)는 업스케일링 기법으로서 예컨대, SISR(Single Image Super Resolution)을 적용할 수 있다. 여기서, SISR은 인텐시티 이미지에서 설정된 시맨틱(semantic) 정보를 추출하여 압축하는 인코더(encoder) 및 압축된 시맨틱 정보에 기초하여 인텐시티 이미지를 목표 해상도로 복원하는 디코더(decoder)를 포함할 수 있다.

메모리(220)는 프로세서(210)와 동작 가능하게 연결되고 프로세서(210)에서 수행되는 동작과 연관하여 적어도 하나의 코드를 저장할 수 있다. 이러한 메모리(220)는 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 더 저장할 수 있다.

또한, 메모리(220)는 프로세서(210)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(220)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(220)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD, CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.

도 3a는 본 발명의 일실시예에 따른 차량의 객체 검출 장치에서 객체 검출 모델을 생성하는 과정을 도시한 도면이다.

도 3a를 참조하면, 단계 S310에서, 차량의 객체 검출 장치는 객체의 종류 및 객체의 위치(또는, 라이다 센서의 위치)가 레이블링(labeling)된 인텐시티 이미지들을 학습 이미지로서 입력받을 수 있다.

단계 S320에서, 차량의 객체 검출 장치는 인텐시티 이미지들 각각에서 특징값을 추출할 수 있다. 이때, 차량의 객체 검출 장치는 도 3b에 도시된 바와 같이, 인텐시티 이미지들 각각에서 특징값을 추출하고, 특징값(예컨대, head의 class, position)에 기초하여 객체의 종류 및 위치를 확인할 수 있다.

단계 S330에서, 차량의 객체 검출 장치는 추출된 특징값을 뉴럴 네트워크에 입력하여 학습시킴으로써, 단계 S340에서, 머신 러닝 기반의 객체 검출 모델을 생성할 수 있다.

차량의 객체 검출 장치는 객체 검출 모델을 생성할 수 있으나, 이에 한정되지 않고 서버로부터 객체 검출 모델을 획득할 수 있다.

도 4는 본 발명의 일실시예에 따른 차량의 객체 검출 장치에서 인텐시티 이미지의 해상도를 증가시키는 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 객체 검출 장치는 객체 검출 모델을 생성하기 위해, 인텐시티 이미지들을 학습 이미지로서 이용하기 전, 또는 객체를 검출하기 위해, 인텐시티 이미지에 객체 검출 모델 또는 객체 검출 알고리즘을 적용하기 전에, 인텐시티 이미지의 해상도를 설정된 목표 해상도 만큼 증가시킬 수 있다.

이때, 객체 검출 장치는 SISR(Single Image Super Resolution) 네트워크(400)를 이용하여 인텐시티 이미지의 해상도를 증가시킬 수 있다. SISR(400)는 인텐시티 이미지에서 설정된 시맨틱 정보를 추출하여 압축하는 인코더(encoder) 및 압축된 시맨틱 정보에 기초하여 인텐시티 이미지를 목표 해상도로 복원하는 디코더(decoder)를 포함할 수 있다. 객체 검출 장치는 SISR(400)를 통해, 저 해상도의 인텐시티 이미지를 고 해상도의 인텐시티 이미지로 변환시킬 수 있다.

객체 검출 장치는 해상도가 증가된 인텐시티 이미지를 객체 검출 모델 또는 객체 검출 알고리즘의 입력 데이터로 이용함으로써, 공간적 정보가 덴스(dense)한 인텐시티 이미지에 기초하여 객체 검출의 정확도를 높일 수 있다.

도 5는 본 발명의 일실시예에 따른 차량의 객체 검출 장치에서 객체 검출 알고리즘을 이용하여 객체를 검출하는 일례를 설명하기 위한 도면이다.

도 5를 참조하면, 차량의 객체 검출 장치는 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지를 생성하고, 인텐시티 이미지로부터 객체 검출 알고리즘 예컨대, 센터넷(centernet)을 이용하여 객체를 검출할 수 있다.

이때, 차량의 객체 검출 장치는 인텐시티 이미지로부터 여러 개의 앵커 박스 대신 하나의 앵커 박스를 사용해 객체의 중심점을 예측하고, 이를 통해 3D 바운드 박스(bound box)의 크기를 리그레이션(regression)할 수 있다. 차량의 객체 검출 장치는 특징 추출(Feature extraction)에서 추출된 히트맵(heatmap)을 각 클래스별로 키포인트(keypoint)를 정의한 후, 오프셋(offset)과 사이즈(size)를 리그레이션(regression)하여 객체의 종류(classification) 및 위치(localization)를 동시에 검출할 수 있다.

도 6은 본 발명의 일실시예에 따른 차량의 객체 검출 방법을 도시한 흐름도이다.

도 6을 참조하면, 단계 S610에서, 차량의 객체 검출 장치는 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지를 생성할 수 있다. 이때, 차량의 객체 검출 장치는 인텐시티 이미지 내 지면의 비중이 설정치 미만이 되도록 라이다 센서의 기울기를 조정하고, 기울기가 조정된 라이다 센서로부터 포인트 클라우드 정보를 획득할 수 있다. 즉, 차량의 객체 검출 장치는 지면보다 정면을 향하도록 조정된 라이다 센서로부터 포인트 클라우드 정보를 획득할 수 있다.

실시예에서, 차량의 객체 검출 장치는 설정된 수 이상의 3D(Dimensional) 정보가 포함된 포인트 클라우드 정보에 기초하여 2D의 인텐시티 이미지를 생성할 수 있다.

단계 S620에서, 차량의 객체 검출 장치는 인텐시티 이미지의 해상도를 증가시킬 수 있다. 이때, 차량의 객체 검출 장치는 인텐시티 이미지에 업스케일링 기법을 적용하여 인텐시티 이미지의 해상도를 목표 해상도 만큼 증가시킬 수 있다. 차량의 객체 검출 장치는 업스케일링 기법으로서, SISR를 적용할 수 있다. SISR는 인코더를 통해, 인텐시티 이미지에서 설정된 시맨틱 정보를 추출하여 압축하고, 디코더를 통해 압축된 시맨틱 정보에 기초하여 인텐시티 이미지를 목표 해상도로 복원할 수 있다.

단계 S630에서, 차량의 객체 검출 장치는 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출할 수 있다.

구체적으로, 차량의 객체 검출 장치는 인텐시티 이미지에 객체 검출 모델을 적용하여 객체의 종류 및 위치를 출력할 수 있다. 객체 검출 모델은 객체의 종류 및 위치가 레이블링된 인텐시티 이미지들로 학습된 모델일 수 있다.

또한, 차량의 객체 검출 장치는 객체 검출 알고리즘으로서 예컨대, 센터넷(centernet)을 이용하여 인텐시티 이미지로부터 객체를 검출할 수 있다. 이때, 차량의 객체 검출 장치는 2D의 인텐시티 이미지로부터 객체의 중심점을 예측하고, 객체의 중심점에 기초하여 3D 바운드 박스를 추정하며, 추정된 3D 바운드 박스 내 3D 정보에 기초하여 객체의 종류 및 위치를 획득할 수 있다. 센터넷은 여러 개의 앵커 박스 대신 하나의 앵커 박스를 사용해 객체의 중심점을 예측하고, 이를 통해 3D 바운드 박스의 크기를 리그레이션할 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

200: 차량의 객체 검출 장치
210: 프로세서
220: 메모리

Claims

차량의 주변에 존재하는 객체를 검출하는 장치로서,
프로세서; 및
상기 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고,
상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서로 하여금, 상기 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지(intensity image)를 생성하고, 상기 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출하도록 야기하는 코드를 저장하는,
차량의 객체 검출 장치.
제1항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 인텐시티 이미지에 업스케일링(upscaling) 기법을 적용하여 상기 인텐시티 이미지의 해상도를 목표 해상도 만큼 증가시키고, 상기 해상도가 증가된 인텐시티 이미지를 상기 객체 검출 모델 또는 상기 객체 검출 알고리즘의 입력 데이터로서 이용하도록 야기하는 코드를 저장하는,
차량의 객체 검출 장치.
제2항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 업스케일링 기법으로서, SISR(Single Image Super Resolution)을 적용하도록 야기하는 코드를 저장하고,
상기 SISR은 상기 인텐시티 이미지에서 설정된 시맨틱(semantic) 정보를 추출하여 압축하는 인코더(encoder) 및 상기 압축된 시맨틱 정보에 기초하여 상기 인텐시티 이미지를 상기 목표 해상도로 복원하는 디코더(decoder)를 포함하는,
차량의 객체 검출 장치.
제1항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
상기 인텐시티 이미지 내 지면의 비중이 설정치 미만이 되도록 상기 라이다 센서의 기울기를 조정하고, 상기 기울기가 조정된 라이다 센서로부터 상기 포인트 클라우드 정보를 획득하도록 야기하는 코드를 저장하는,
차량의 객체 검출 장치.
제1항에 있어서,
상기 메모리는 상기 프로세서로 하여금,
설정된 수 이상의 3D(Dimensional) 정보가 포함된 상기 포인트 클라우드 정보에 기초하여 2D의 상기 인텐시티 이미지를 생성하도록 야기하는 코드를 저장하는,
차량의 객체 검출 장치.
제1항에 있어서,
상기 객체 검출 모델은
객체의 종류 및 위치가 레이블링된 인텐시티 이미지들로 학습되고,
상기 메모리는 상기 프로세서로 하여금,
상기 인텐시티 이미지에 상기 객체 검출 모델을 적용하여 상기 객체의 종류 및 위치를 출력하도록 야기하는 코드를 저장하는,
차량의 객체 검출 장치.
제1항에 있어서,
상기 객체 검출 알고리즘은
2D의 상기 인텐시티 이미지로부터 상기 객체의 중심점을 예측하고, 상기 객체의 중심점에 기초하여 3D 바운드 박스(bound box)를 추정하며, 상기 추정된 3D 바운드 박스 내 3D 정보에 기초하여 상기 객체의 종류 및 위치를 획득하는,
차량의 객체 검출 장치.
차량의 주변에 존재하는 객체를 검출하는 방법으로서,
상기 차량 내 라이다 센서로부터 획득한 포인트 클라우드 정보에 기초하여 인텐시티 이미지를 생성하는 단계; 및
상기 인텐시티 이미지로부터 머신 러닝 기반의 객체 검출 모델 또는 객체 검출 알고리즘을 이용하여 객체를 검출하는 단계를 포함하는,
차량의 객체 검출 방법.
제8항에 있어서,
상기 객체를 검출하는 단계 이전에,
상기 인텐시티 이미지에 업스케일링 기법을 적용하여 상기 인텐시티 이미지의 해상도를 목표 해상도 만큼 증가시키는 단계를 더 포함하는,
차량의 객체 검출 방법.
제9항에 있어서,
상기 인텐시티 이미지의 해상도를 목표 해상도 만큼 증가시키는 단계는,
상기 업스케일링 기법으로서, SISR을 적용하는 단계를 포함하고,
상기 SISR을 적용하는 단계는,
상기 인텐시티 이미지에서 설정된 시맨틱(semantic) 정보를 추출하여 압축하는 단계; 및
상기 압축된 시맨틱 정보에 기초하여 상기 인텐시티 이미지를 상기 목표 해상도로 복원하는 단계를 포함하는,
차량의 객체 검출 방법.
제8항에 있어서,
상기 인텐시티 이미지 내 지면의 비중이 설정치 미만이 되도록 상기 라이다 센서의 기울기를 조정하고, 상기 기울기가 조정된 라이다 센서로부터 상기 포인트 클라우드 정보를 획득하는 단계를 더 포함하는,
차량의 객체 검출 방법.
제8항에 있어서,
상기 인텐시티 이미지를 생성하는 단계는,
설정된 수 이상의 3D(Dimensional) 정보가 포함된 상기 포인트 클라우드 정보에 기초하여 2D의 상기 인텐시티 이미지를 생성하는 단계를 포함하는,
차량의 객체 검출 방법.
제8항에 있어서,
상기 객체 검출 모델은
객체의 종류 및 위치가 레이블링된 인텐시티 이미지들로 학습되고,
상기 객체를 검출하는 단계는,
상기 인텐시티 이미지에 상기 객체 검출 모델을 적용하여 상기 객체의 종류 및 위치를 출력하는 단계를 포함하는,
차량의 객체 검출 방법.
제8항에 있어서,
상기 객체를 검출하는 단계
2D의 상기 인텐시티 이미지로부터 상기 객체의 중심점을 예측하고, 상기 객체의 중심점에 기초하여 3D 바운드 박스를 추정하며, 상기 추정된 3D 바운드 박스 내 3D 정보에 기초하여 상기 객체의 종류 및 위치를 획득하는 단계를 포함하는,
차량의 객체 검출 방법.