KR102543174B1

KR102543174B1 - 차량 제어 장치 및 그의 작동 방법

Info

Publication number: KR102543174B1
Application number: KR1020200120243A
Authority: KR
Inventors: 석정희; 여준기
Original assignee: 한국전자통신연구원
Priority date: 2019-12-11
Filing date: 2020-09-18
Publication date: 2023-06-14
Also published as: KR20210074171A

Abstract

본 발명의 실시 예에 따른 차량 제어 장치의 작동 방법은, 차량 외부 오브젝트를 기반으로 차량의 자율주행을 제어하는 차량 제어 장치의 작동 방법에 있어서, 카메라로부터 수신된 제1 차량 외부 영상을 기반으로 1차 오브젝트 검출을 수행하여 제1 오브젝트 정보를 획득하는 단계, 제1 오브젝트 정보를 기반으로 반사광에 대한 제1 반사영역을 설정하는 단계, 제1 반사영역 내부의 픽셀 값들을 이용하여, 제1 차량 외부 영상으로부터 제1 반사영역 내부의 반사영상이 제거된 제2 차량 외부 영상을 생성하는 단계, 제2 차량 외부 영상을 기반으로 2차 오브젝트 검출을 수행하여 제2 오브젝트 정보를 획득하는 단계, 반사영상에 대한 정보 및 제2 오브젝트 정보를 기반으로 제2 오브젝트 정보의 신뢰도를 판단하는 단계, 및 제2 오브젝트 정보의 신뢰도가 설정값 보다 높다고 판단하면, 제2 오브젝트 정보를 기반으로 차량의 자율주행을 제어하는 단계를 포함한다.

Description

차량 제어 장치 및 그의 작동 방법{Vehicle control apparatus and operating method thereof}

본 발명은 차량 제어 장치에 관한 것으로, 보다 구체적으로, 오브젝트 검출을 기반으로 차량의 자율주행을 제어하는 차량 제어 장치 및 그의 작동 방법에 관한 것이다.

최근, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.

차량 운전 보조 시스템은 다양한 센서를 이용할 수 있는데, 이러한 센서에는, 레이다, 라이다, 카메라 등이 있다. 그 중 대표적인 센서는 카메라로, 카메라는 차량 외부 영상에서 다른 차량, 보행자, 차선, 표지판 등의 오브젝트를 검출하는데 사용된다. 그러나 카메라의 경우, 주행 환경에 따라, 오브젝트 검출의 신뢰성이 떨어지는 경우가 있다. 예를 들어, 비나 눈이 오는 날씨에서 특히 야간의 경우, 차량의 헤드 램프, 후미등, 브레이크등, 가로등, 신호등에서 방출되는 빛은 물기가 있거나 눈이 덮여 있는 도로에 의해 반사된다. 카메라는 이러한 반사된 빛에 의해 정확한 오브젝트를 검출하지 못하는 문제가 있다.

본 발명의 목적은 주행 환경에 관계없이 신뢰도가 높은 오브젝트 정보를 제공하고, 이를 기반으로 차량의 자율주행을 제어하는 차량 제어 장치 및 그의 작동 방법을 제공하는데 있다.

예시적인 실시 예에서, 차량 제어 장치의 동작 방법은 주행 시간 정보, 주행 날씨 정보, 및 도로 상태 정보 중 적어도 하나를 포함하는 주행 환경 정보 및 자율주행 모드인지 여부에 대한 동작 모드 정보를 획득하는 단계, 및 주행 환경 정보 및 동작 모드 정보를 기반으로, 제어 모드를 설정하는 단계를 더 포함한다. 차량 제어 장치는 판단된 제어 모드가 주의 모드인 경우, 제2 오브젝트 정보를 기반으로 차량의 자율주행을 제어하고, 판단된 제어 모드가 일반 모드인 경우, 제1 오브젝트 정보를 기반으로 차량의 자율주행을 제어한다.

예시적인 실시 예에서, 제1 오브젝트 정보를 획득하는 단계는 제1 차량 외부 영상에서 광원을 검출하는 단계 및 광원의 위치 정보, 크기 정보, 밝기 정보, 및 색상 정보 중 적어도 하나를 포함하는 제1 오브젝트 정보를 획득하는 단계를 포함한다.

예시적인 실시 예에서, 제1 반사영역을 설정하는 단계는 제1 차량 외부 영상에서 도로 수평선을 검출하는 단계, 광원의 중심선과 도로 수평선의 교차 지점에 대응되는 제1 반사영역의 수평 위치를 결정하는 단계, 제1 오브젝트 정보를 기반으로 광원의 폭에 비례하는 제1 반사영역의 폭을 결정하는 단계, 및 도로 수평선으로부터 제1 방향으로 연장되는 제1 반사영역의 길이를 결정하는 단계를 포함한다. 여기서 제1 방향은 도로 수평선으로부터 차량을 향하는 방향이다.

예시적인 실시 예에서, 제1 반사영역의 길이는 광원이 도로 수평선으로부터 제1 방향에 위치하는 경우, 광원의 제1 방향 일단으로부터 제1 방향으로 연장된다.

예시적인 실시 예에서, 제2 차량 외부 영상을 생성하는 단계는 제1 반사영역 내부의 픽셀 값들을 계산하는 단계, 픽셀 값들을 기반으로 반사영상에 대응되는 클러스터를 생성하는 단계, 클러스터를 기반으로 제1 반사영역에 포함된 제2 반사영역을 설정하는 단계, 및 제2 반사영역 내에서 클러스터를 제거하는 단계를 포함한다.

예시적인 실시 예에서, 클러스터를 생성하는 단계는 제1 오브젝트 정보를 기반으로 기준 픽셀 값을 계산하는 단계, 제1 반사영역 내부에서 기준 픽셀 값 이상의 픽셀 값을 가진 픽셀들을 검출하는 단계, 및 픽셀들을 군집화하여 클러스터를 생성하는 단계를 포함한다.

예시적인 실시 예에서, 제2 반사영역을 설정하는 단계는 클러스터의 중심점 위치, 제1 방향 크기 및 제2 방향 크기를 계산하는 단계 및 중심점 위치에서 제1 방향으로 제1 방향 크기 보다 제1 설정값 만큼 증가되고, 제2 방향으로 제2 방향 크기 보다 제2 설정값 만큼 증가된 크기의 제2 반사영역을 설정하는 단계를 포함한다.

예시적인 실시 예에서, 제2 반사영역은 클러스터 내부의 제1 영역 및 클러스터 외부의 제2 영역으로 분할되고, 클러스터를 제거하는 단계는 제1 영역 내부의 제1 픽셀 값들을 제2 영역 내부의 제2 픽셀 값들의 평균값으로 치환하는 단계를 포함한다.

예시적인 실시 예에서, 제2 오브젝트 정보의 신뢰도를 판단하는 단계는 제2 오브젝트 정보를 기반으로 오브젝트 검출 영역을 설정하는 단계, 오브젝트 검출 영역 및 제2 반사영역이 중복되는 중복영역을 검출하는 단계, 중복영역을 기반으로 IoU(Intersection over union) 값을 계산하는 단계, 및 IoU 값과 임계값을 비교하는 단계를 포함한다.

예시적인 실시 예에서, IoU 값을 계산하는 단계는 중복영역이 복수 개인 경우 각각의 중복영역에 대해 IoU 값을 계산하는 단계를 포함한다.

예시적인 실시 예에서, IoU 값과 임계값을 비교하는 단계는 IoU 값이 임계값 보다 작은 경우 제2 오브젝트 정보의 신뢰도가 설정값 보다 높다고 판단하는 단계 및 IoU 값이 임계값 보다 큰 경우 제2 오브젝트 정보의 신뢰도가 설정값 보다 낮다고 판단하는 단계를 포함한다.

예시적인 실시 예에서, 제2 오브젝트 정보의 신뢰도가 설정값 보다 낮다고 판단하는 경우 제2 반사영역 보다 작은 크기의 제3 반사영역을 설정하는 단계를 더 포함한다.

예시적인 실시 예에서, 차량의 자율주행을 제어하는 단계는 제2 오브젝트 정보를 기반으로 주행 경로를 판단하는 단계 및 주행 경로에 따라 차량이 자율주행하도록 차량 구동 장치, 차량 제동 장치, 및 차량 조향 장치 중 적어도 하나를 제어하는 단계를 포함한다.

본 발명의 실시 예에 따른 차량 제어 장치는, 차량 외부 오브젝트를 기반으로 차량의 자율주행을 제어하는 차량 제어 장치에 있어서, 주행 환경 정보 및 동작 모드 정보를 기반으로, 주의 모드로의 진입을 제어하도록 구성된 제어부, 주의 모드에서, 차량 외부 영상을 기반으로 1차 오브젝트 검출을 수행하여 제1 오브젝트 정보를 획득하고, 고스트 제거 영상을 기반으로 2차 오브젝트 검출을 수행하여 제2 오브젝트 정보를 출력하도록 구성된 오브젝트 검출부, 주의 모드에서, 제1 오브젝트 정보를 기반으로 반사광에 대한 제1 반사영역을 설정하도록 구성된 반사영역 설정부, 제1 반사영역 내부의 픽셀 값들을 기반으로, 차량 외부 영상에서, 제1 반사영역 내부의 반사영상이 제거된 고스트 제거 영상을 생성하도록 구성된 반사영상 제거부, 제2 오브젝트 정보 및 반사영상에 대한 정보를 기반으로, 제2 오브젝트 정보의 신뢰도를 판단하도록 구성된 신뢰도 판단부, 및 제2 오브젝트 정보의 신뢰도가 설정값 보다 높다고 판단하면, 제2 오브젝트 정보를 기반으로 차량의 자율주행을 제어하도록 구성된 차량 제어부를 포함한다.

예시적인 실시 예에서, 일반 모드에서, 제어부는 반사영역 설정부, 반사영상 제거부, 및 신뢰도 판단부를 비활성화시키도록 제어한다.

본 발명의 실시 예에 따르면, 비나 눈이 오는 주행 환경에서 주의 모드로 진입하여 설정된 반사영역 내에서 클러스터링을 수행함으로써, 반사영상이 제거된 차량 외부 영상을 획득할 수 있다. 또한, 반사영상이 제거된 차량 외부 영상을 통해 획득한 오브젝트에 대한 신뢰도 평가를 수행함으로써, 신뢰도 높은 오브젝트 정보를 기반으로 차량 구동을 제어할 수 있고, 자율주행의 안정성을 높일 수 있다.

도 1은 차량 제어 장치의 예시적인 블록도이다.
도 2는 본 발명의 실시 예에 따른 차량 제어 장치의 블록도이다.
도 3은 도 2에 따른 차량 제어 장치의 작동 방법을 나타내는 순서도이다.
도 4a 내지 도 4b는 도 3에 따라 설정된 반사영역을 나타내는 도면이다.
도 5는 도 3에 따른 반사영상 제거 동작을 나타내는 순서도이다.
도 6a 내지 도 7b는 도 5에 따른 반사영상 제거 동작의 실시 예를 나타내는 도면이다.
도 8은 도 3에 따른 신뢰도 판단 동작을 나타내는 순서도이다.
도 9a 내지 도 9c는 도 8에 따른 신뢰도 판단 동작의 실시 예를 나타내는 도면이다.
도 10 내지 도 11은 본 발명의 실시 예에 차량 제어 장치가 장착된 자율주행 차량을 나타내는 도면이다.

이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.

상세한 설명 또는 도면에서 사용되는 "부(unit)", "엔진(engine)", "모듈(module)" 등의 용어들 또는 도면에 도시된 다양한 동작을 수행하는 기능 블록들은 소프트웨어, 펌웨어, 하드웨어 회로, 또는 그것들의 다양한 조합으로 구현될 수 있다.

도 1은 차량 제어 장치의 예시적인 블록도이다. 도 1을 참조하면, 차량 제어 장치(10)는 오브젝트 정보를 기반으로 차량의 구동을 제어할 수 있다. 예를 들어, 차량 제어 장치(10)는 오브젝트 검출부(11), 주행경로 판단부(12) 및 차량 제어부(13)를 포함할 수 있다.

오브젝트 검출부(11)는 카메라 영상을 수신하고, 카메라 영상으로부터 오브젝트를 검출하여 오브젝트 정보를 생성할 수 있다. 오브젝트 정보는 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량과 오브젝트와의 거리 정보 및 차량과 오브젝트와의 상대 속도 정보를 포함할 수 있다. 오브젝트 검출부(11)는 생성된 오브젝트 정보를 주행경로 판단부(12)에 제공할 수 있다.

주행경로 판단부(12)는 오브젝트 검출부(11)로부터 오브젝트 정보를 수신하고, 주행경로를 판단할 수 있다. 예를 들어, 주행경로 판단부(12)는 램프 웨이(ramp way)에서 차량의 주행 차선으로 진입하는 타차량 정보를 수신하고, 주행 차선을 변경하도록 주행경로 정보를 생성할 수 있다. 주행경로 판단부(12)는 생성된 주행경로 정보를 차량 제어부(13)에 제공할 수 있다.

차량 제어부(13)는 주행경로 판단부(12)로부터 주행경로 정보를 수신하고, 차량의 구동을 제어할 수 있다. 차량 제어부(13)는 차량의 속도를 높이기 위한 가속 제어 신호, 차량의 속도를 줄이기 위한 감속 제어 신호, 차량의 진행 방향을 변경하기 위한 조향 제어 신호 등의 차량 제어 신호를 생성할 수 있다. 차량 제어부(13)는 생성된 주행경로를 따라 주행하도록 차량 제어 신호를 차량 내부의 각 구동 장치의 입력 신호로서 제공할 수 있다.

결국, 차량 제어 장치(10)는 카메라 영상을 통해 검출한 오브젝트를 기반으로 차량의 구동을 제어할 수 있다. 즉, 차량 제어 장치(10)는 카메라 영상에 의한 오브젝트 검출 정확도 또는 신뢰도가 높을수록 안전하게 차량의 구동을 제어할 수 있다. 그러나 비나 눈이 내리거나 야간의 경우, 카메라 영상은 화질이 낮아질 뿐만 아니라 많은 왜곡된 정보들을 포함하게 되고, 이로써 오브젝트 검출의 정확도 및 이를 통해 획득한 오브젝트 정보의 신뢰도가 떨어지게 된다.

예를 들어, 비가 오는 주행 환경에서, 가로등에서 방출되는 빛은 도로에 고인 물에 의해 반사될 수 있다. 이러한 반사된 빛은 차량에 부착된 카메라에 의해 촬영될 수 있고, 오브젝트 검출부(11)가 수신한 카메라 영상에 포함될 수 있다. 이 경우, 오브젝트 검출부(11)는 반사된 빛을 오브젝트로 검출하거나, 반사된 빛에 의해서 다른 오브젝트의 검출을 누락할 수 있고, 이를 기반으로 주행경로를 판단하기 때문에 주행 안정성이 떨어질 수 있다.

그러므로, 비나 눈이 내리는 주행 환경 또는 야간 주행 환경과 같은 특정 주행 환경에서도 신뢰성 있는 오브젝트 정보를 획득하고, 이를 기반으로 차량의 구동을 제어할 수 있는 차량 전자 장치 및 그의 작동 방법이 요구된다.

도 2는 본 발명의 실시 예에 따른 차량 제어 장치의 블록도이다. 도 2를 참조하면, 차량 제어 장치(100)는 오브젝트 검출부(110), 반사영역 설정부(120), 반사영상 제거부(130), 신뢰도 판단부(140), 제어부(170), 주행경로 판단부(150), 및 차량 제어부(160)를 포함할 수 있다.

차량 제어 장치(100)는 카메라가 획득한 차량 외부 영상에서 오브젝트를 검출하고, 검출된 오브젝트를 분석하여 오브젝트 정보를 획득할 수 있다. 차량 제어 장치(100)는 오브젝트 정보를 기반으로 차량의 속도 조절, 차선 변경, 긴급 정지 등의 기능을 수행하기 위해 차량 구동 장치를 제어할 수 있다.

차량 제어 장치(100)는 하나 이상의 프로세서로 구현될 수 있다. 프로세서는 오브젝트 검출부(110), 반사영역 설정부(120), 반사영상 제거부(130), 신뢰도 판단부(140), 제어부(170), 주행경로 판단부(150), 및 차량 제어부(160) 중 적어도 하나를 포함할 수 있다. 프로세서가 오브젝트 검출부(110), 반사영역 설정부(120), 반사영상 제거부(130), 신뢰도 판단부(140) 및 제어부(170)를 포함하는 경우, 차량 제어 장치(100)는 오브젝트 검출 장치로 명명될 수 있다. 이 경우, 주행경로 판단부(150) 및 차량 제어부(160)는 별도의 프로세서로 구현될 수 있다.

프로세서는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

오브젝트 검출부(110)는 카메라로부터 제1 차량 외부 영상(IMG_1)을 수신할 수 있다. 오브젝트 검출부(110)는 제1 차량 외부 영상(IMG_1)을 기반으로 1차 오브젝트 검출을 수행하여 차량 외부의 오브젝트에 대한 정보인 제1 오브젝트 정보를 획득할 수 있다.

제1 오브젝트 정보(DATA_1)는 오브젝트의 존재 유무에 대한 정보, 오브젝트의 종류에 대한 정보, 오브젝트의 위치 정보, 차량과 오브젝트와의 거리 정보 및 차량과 오브젝트와의 상대 속도 정보 등을 포함할 수 있다. 오브젝트는 차량의 운행과 관련된 다양한 물체들일 수 있다. 예를 들어, 오브젝트는 보행자, 타 차량, 차선, 신호등, 도로 등을 포함할 수 있다. 오브젝트는 광원 또는 광원에서 방출된 빛을 더 포함할 수 있다. 빛은 타 차량에 구비된 램프에서 생성된 빛, 가로등에서 생성된 빛, 태양광 등의 광원에서 방출된 빛을 포함할 수 있다.

오브젝트가 광원인 경우, 제1 오브젝트 정보(DATA_1)는 광원 정보를 포함할 수 있다. 오브젝트 검출부(110)는 제1 차량 외부 영상(IMG_1)에서 광원을 검출하고, 광원을 분석하여 광원 정보를 획득할 수 있다. 광원 정보는 광원의 위치 정보, 크기 정보, 밝기 정보, 및 색상 정보 중 적어도 하나를 포함할 수 있다.

오브젝트 검출부(110)는 제어 모드에 따라 제1 오브젝트 정보(DATA_1)를 서로 다른 유닛에 제공할 수 있다. 제어 모드는 주의 모드 및 일반 모드를 포함할 수 있다. 제어 모드는 차량 제어 장치(100)에 관한 것으로서, 주행 환경 정보 및 동작 모드 정보를 기반으로 제어부(170)에 의해 결정될 수 있다. 주행 환경 정보는 주행 시간 정보, 주행 날씨 정보, 및 도로 상태 정보 중 적어도 하나를 포함할 수 있다. 동작 모드 정보는 차량이 자율주행 모드인지 또는 수동주행 모드인지에 대한 정보를 포함할 수 있다. 자율주행 모드는 사용자의 운전 조작 없이 차량 스스로 주행하는 동작 모드이고, 수동주행 모드는 사용자의 운전 조작에 따라 차량이 주행하는 동작 모드일 수 있다.

주의 모드는 차량이 특정 주행 환경에서 자율주행 중인 경우의 제어 모드일 수 있다. 특정 주행 환경은 오브젝트를 검출함에 있어서 반사광에 영향을 받을 수 있는 주행 환경을 의미한다. 예를 들어, 특정 주행 환경은 비나 눈이 내리는 주행 환경이거나, 야간 주행 환경일 수 있다.

일반 모드는 주의 모드가 아닌 제어 모드일 수 있다. 즉, 일반 모드는 차량이 특정 주행 환경이 아닌 곳에서 자율주행 중인 경우의 제어 모드일 수 있다. 또는, 일반 모드는 차량이 특정 주행 환경에서 수동 주행 중인 경우의 제어 모드일 수 있다.

일반 모드에서, 차량 제어 장치(100)는 외부 영상에 대해 1차 오브젝트 검출을 수행하고, 1차 오브젝트 검출의 결과를 기반으로 주행 경로를 판단할 수 있다. 예를 들어, 오브젝트 검출부(110)는 제1 오브젝트 정보(DATA_1)를 일반 모드에서 신뢰도 판단부(140)에 제공할 수 있다. 일반 모드에서, 신뢰도 판단부(140)는 비활성화될 수 있다. 이 경우, 신뢰도 판단부(140)는 수신한 제1 오브젝트 정보(DATA_1)를 그대로 주행경로 판단부(150)에 제공할 수 있다. 주행경로 판단부(150)는 제1 오브젝트 정보(DATA_1)를 기반으로 주행경로를 생성할 수 있다.

주의 모드에서, 차량 제어 장치(100)는 외부 영상에 포함된 반사영상을 제거하고, 반사영상이 제거된 영상을 기반으로 2차 오브젝트 검출을 수행하고, 2차 오브젝트 검출의 결과를 기반으로 주행 경로를 판단할 수 있다. 예를 들어, 오브젝트 검출부(110)는 제1 오브젝트 정보(DATA_1)를 반사영역 설정부(120)에 제공할 수 있다.

반사영역 설정부(120)는 제1 오브젝트 정보(DATA_1)를 기반으로 반사광에 대한 제1 반사영역을 설정할 수 있다. 예를 들어, 반사영역 설정부(120)는 제1 차량 외부 영상(IMG_1)에서 도로 수평선을 검출하고, 도로 수평선을 축으로 설정하여 광원의 수평 위치를 계산할 수 있다. 수평 위치란 오브젝트의 중심으로부터 상하 방향으로 연장된 선(이하 중심선)과 축이 만나는 위치일 수 있다. 반사영역 설정부(120)는 광원의 수평 위치에 대응되도록 제1 반사영역의 수평 위치를 결정할 수 있다. 제1 반사영역의 수평 위치는 제1 반상영역의 중심선과 축이 만나는 위치일 수 있다. 이러한 제1 반사영역의 수평 위치는 광원의 수평 위치를 기준으로 차량에 장착된 카메라의 기하위치에 따라 보정될 수 있다.

반사영역 설정부(120)는 광원 정보를 기반으로 광원의 폭을 계산하여, 광원의 폭에 비례한 폭의 제1 반사영역을 설정할 수 있다. 광원 정보는 광원의 위치 정보, 크기 정보, 밝기 정보, 및 색상 정보 중 적어도 하나를 포함할 수 있다. 반사영역 설정부(120)는 도로 수평선으로부터 제1 방향으로 연장된 길이의 제1 반사영역을 설정할 수 있다. 제1 방향은 도로 수평선으로부터 차량을 향하는 방향일 수 있다. 또는 제1 방향은 도로 수평선과 수직인 y축 방향일 수 있다.

반사영역 설정부(120)는 광원이 도로 수평선으로부터 제1 방향에 위치하는 경우, 광원의 제1 방향 일단을 기준으로 제1 반사영역을 설정할 수 있다. 광원의 제1 방향 일단은 광원 검출 영역에서 제1 방향의 끝부분일 수 있다. 광원 검출 영역은 광원을 표시하는 영역으로서, 다양한 모양으로 형성될 수 있다. 이 경우, 제1 반사영역은 광원의 제1 방향 일단으로부터 제1 방향으로 연장된 길이를 가질 수 있다.

반사영역 설정부(120)는 설정된 제1 반사영역에 관한 정보(DATA_2)를 반사영상 제거부(130)에 제공할 수 있다. 제1 반사영역에 관한 정보(DATA_2)는 제1 반사영역의 위치 정보 및 크기 정보를 포함할 수 있다.

반사영상 제거부(130)는 반사영역 설정부(120)로부터 제1 반사영역에 관한 정보(DATA_2)를 수신하고, 카메라로부터 제1 차량 외부 영상(IMG_1)을 수신할 수 있다. 반사영상 제거부(130)는 제1 반사영역에 관한 정보(DATA_2) 및 제1 차량 외부 영상(IMG_1)을 기반으로 제1 반사영역 내부의 반사영상이 제거된 제2 차량 외부 영상(IMG_2)을 생성할 수 있다. 반사영상은 고스트 영상으로 명명될 수 있고, 반사영상이 제거된 제2 차량 외부 영상(IMG_2)은 고스트 제거 영상으로 명명될 수 있다.

반사영상 제거부(130)는 제1 반사영역 내부의 픽셀 값들을 이용하여 제1 반사영역 내부의 반사영상을 제거할 수 있다. 반사영상은 특정 픽셀들의 집합일 수 있다. 특정 픽셀은 주의 픽셀들의 속성과 다른 속성을 가진 픽셀을 의미할 수 있다. 예를 들어, 특정 픽셀은 주의 픽셀들에 비해 밝은 픽셀일 수 있다. 특정 픽셀을 검출하기 위해, 반사영상 제거부(130)는 제1 반사영역 내부의 픽셀들에 대해 픽셀 값들을 계산할 수 있다. 픽셀 값은 픽셀의 색, 명암 또는 다른 속성 정보를 나타내는 이산 값을 의미한다.

반사영상 제거부(130)는 픽셀 값들을 기반으로 반사영상에 대응되는 클러스터를 생성할 수 있다. 반사영상 제거부(130)는 광원 정보를 기반으로 기준 픽셀 값을 계산하고, 제1 반사영역 내부의 픽셀들 중에서 기준 픽셀 값 이상의 픽셀 값을 가진 픽셀들을 검출할 수 있다. 반사영상 제거부(130)는 기준 픽셀 값 이상의 픽셀 값을 가진 픽셀들을 군집화하여 클러스터를 생성할 수 있다.

반사영상 제거부(130)는 클러스터를 기반으로 제1 반사영역을 재설정할 수 있다. 반사영상 제거부(130)는 제1 반사영역을 제1 반사영역 보다 작은 크기의 제2 반사영역으로 재설정할 수 있다. 반사영상 제거부(130)는 클러스터의 중심점 위치, 클러스터의 제1 방향 크기 및 클러스터의 제2 방향 크기를 계산하고, 이를 기반으로 제2 반사영역을 설정할 수 있다.

제2 반사영역은 중심점 위치에서 제1 방향으로 클러스터의 제1 방향 크기 보다 제1 설정값 만큼 증가된 크기일 수 있다. 제2 반사영역은 제2 방향으로 클러스터의 제2 방향 크기 보다 제2 설정값 만큼 증가된 크기일 수 있다. 제1 설정값은 미리 설정된 값으로, 제2 설정값과 같거나 다를 수 있다.

반사영상 제거부(130)는 제2 반사영역 내에서 치환을 통해 클러스터를 제거할 수 있다. 제2 반사영역은 클러스터 내부의 제1 영역 및 클러스터 외부의 제2 영역으로 분할될 수 있다. 반사영상 제거부(130)는 제2 영역 내부의 제2 픽셀 값들의 평균값을 계산하여, 제1 영역 내부의 제1 픽셀 값들을 제2 픽셀 값들의 평균값으로 치환할 수 있다.

반사영상 제거부(130)는 치환을 통해 반사영상이 제거된 제2 차량 외부 영상(IMG_2)을 오브젝트 검출부(110)에 제공할 수 있다. 또한, 반사영상 제거부(130)는 제2 반사영역에 관한 정보(DATA_4)를 신뢰도 판단부(140)에 제공할 수 있다. 제2 반사영역에 관한 정보(DATA_4)는 제2 반사영역의 위치 정보 및 크기 정보를 포함할 수 있다.

오브젝트 검출부(110)는 반사영상 제거부(130)로부터 반사영상이 제거된 제2 차량 외부 영상(IMG_2)을 수신할 수 있다. 오브젝트 검출부(110)는 제2 차량 외부 영상(IMG_2)을 기반으로 2차 오브젝트 검출을 수행하여 제2 오브젝트 정보(DATA_3)를 획득할 수 있다. 제2 오브젝트 정보(DATA_3)는 제2 차량 외부 영상(IMG_2)에서 검출된 보행자, 타 차량, 차선, 광원 등의 차량 주행과 관련된 다양한 오브젝트들에 대한 정보를 포함할 수 있다. 오브젝트 검출부(110)는 제2 오브젝트 정보(DATA_3)를 신뢰도 판단부(140)에 제공할 수 있다.

신뢰도 판단부(140)는 오브젝트 검출부(110)로부터 수신한 제2 오브젝트 정보(DATA_3)의 신뢰도를 판단할 수 있다. 신뢰도 판단부(140)는 제2 오브젝트 정보(DATA_3)를 기반으로 오브젝트 검출 영역을 설정하고, 반사영상 제거부(130)로부터 수신한 제2 반사영역에 관한 정보(DATA_4)를 기반으로 오브젝트 검출 영역 및 제2 반사영역이 중복되는 중복영역을 검출할 수 있다.

신뢰도 판단부(140)는 중복영역을 기반으로 IoU(Intersection over union) 값을 계산하여 제2 오브젝트 정보(DATA_3)의 신뢰도를 판단할 수 있다. 신뢰도 판단부(140)는 IoU 값과 임계값을 비교하여 IoU 값이 임계값 보다 작은 경우 제2 오브젝트 정보(DATA_3)의 신뢰도가 설정값 보다 높다고 판단할 수 있다. 신뢰도 판단부(140)는 IoU 값과 임계값을 비교하여 IoU 값이 임계값 보다 큰 경우 제2 오브젝트 정보(DATA_3)의 신뢰도가 설정값 보다 낮다고 판단할 수 있다.

신뢰도 판단부(140)는 신뢰도 판단 결과에 따라서 제3 오브젝트 정보(DATA_5)를 주행경로 판단부(150)에 제공할 수 있다. 제3 오브젝트 정보(DATA_5)는 제2 오브젝트 정보(DATA_2)를 포함한 정보이거나, 또는 제2 오브젝트 정보(DATA_2)를 변경한 정보일 수 있다.

신뢰도 판단부(140)는 제2 오브젝트 정보(DATA_3)의 신뢰도가 설정값 보다 높다고 판단하면 제2 오브젝트 정보(DATA_3)를 주행경로 판단부(150)에 제공할 수 있다. 이 경우, 제3 오브젝트 정보(DATA_5)는 제2 오브젝트 정보(DATA_2)를 포함할 수 있다. 신뢰도 판단부(140)는 제2 오브젝트 정보(DATA_3)의 신뢰도가 설정값 보다 낮다고 판단하면 제2 오브젝트 정보(DATA_3)를 변경한 정보를 주행경로 판단부(150)에 제공할 수 있다. 제2 오브젝트 정보(DATA_3)를 변경한 정보는 제2 오브젝트 정보(DATA_3)에서 신뢰도가 낮은 정보를 제외하거나 다른 정보로 변경한 정보일 수 있다.

주행경로 판단부(150)는 제2 오브젝트 정보(DATA_3)의 적어도 일부를 포함하는 제3 오브젝트 정보(DATA_5)를 기반으로 주행경로를 생성할 수 있다. 주행경로 판단부(150)는 주행경로를 생성함에 있어 차량 위치 데이터, 네비게이션 정보 등을 더 이용할 수 있다. 주행경로 판단부(150)는 생성한 주행경로에 대한 정보(DATA_6)를 차량 제어부(160)에 제공할 수 있다.

차량 제어부(160)는 주행경로에 대한 정보(DATA_6)를 기반으로, 차량이 주행경로를 따라 자율주행하도록 차량 구동 신호(SIG)를 생성할 수 있다. 차량 제어부(160)는 차량 구동 신호(SIG)를 차량 구동 장치, 차량 제동 장치, 및 차량 조향 장치 중 적어도 하나에 제공함으로써, 차량의 자율주행을 제어할 수 있다.

실시 예에 따라, 차량 제어부(160)는 주행경로 판단부(150)와 일체로 구현될 수 있다. 이 경우, 차량 제어부(160)는 제3 오브젝트 정보(DATA_5)를 기반으로 주행경로를 생성하고, 주행경로를 따라 차량의 자율주행을 제어할 수 있다.

제어부(170)는 차량 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 제어부(170)는 차량 전자 장치(100) 내의 프로세서의 동작을 제어할 수 있다. 예를 들어, 제어부(170)는 오브젝트 검출부(110), 반사영역 설정부(120), 반사영상 제거부(130) 및 신뢰도 판단부(140)의 동작을 제어할 수 있다.

제어부(170)는 주행 환경 정보 및 동작 모드 정보를 기반으로 차량 제어 장치(100)를 주의 모드로 진입하도록 제어할 수 있다. 제어부(170)는 카메라, 센서 또는 통신 장치를 통해 주행 환경 정보를 획득할 수 있다. 주행 환경 정보는 주행 시간 정보, 주행 날씨 정보, 및 도로 상태 정보 중 적어도 하나를 포함할 수 있다. 제어부(170)는 사용자 인터페이스 장치를 통해 동작 모드 정보를 획득할 수 있다. 동작 모드는 자율주행 모드 또는 수동주행 모드 등을 포함할 수 있다.

제어부(170)는 주행 환경 정보 및 동작 모드 정보를 기반으로, 차량이 특정 주행 환경에서 주행 중인지 여부 및 차량이 자율주행 중인지 여부를 판단할 수 있다. 특정 주행 환경은 오브젝트를 검출함에 있어서 반사광에 영향을 받는 주행 환경일 수 있다. 자율주행 모드는 사용자의 운전 조작 없이 차량이 스스로 판단하여 주행하는 동작 모드일 수 있다. 제어부(170)는 차량이 특정 주행 환경에서 자율주행 중으로 판단한 경우 주의 모드로 진입하도록 제어할 수 있다.

제어부(170)는 주의 모드에서 반사영역 설정부(120), 반사영상 제거부(130) 및 신뢰도 판단부(140)를 활성화시킬 수 있다. 제어부(170)는 일반 모드에서 반사영역 설정부(120), 반사영상 제거부(130) 및 신뢰도 판단부(140)를 비활성화시킬 수 있다. 이 경우, 신뢰도 판단부(140)는 오브젝트 검출부(110)로부터 수신한 제2 오브젝트 정보(DATA_3)를 그대로 주행경로 판단부(150)로 전송할 수 있다.

제어부(170)는 오브젝트 검출부(110)로 주의 모드로의 진입을 제어하는 제1 제어 신호(CTRL_1)를 제공할 수 있다. 오브젝트 검출부(110)는 제1 제어 신호(CTRL_1)에 응답하여, 제1 오브젝트 정보(DATA_1)를 반사영역 설정부(120)에 제공할 수 있다.

제어부(170)는 주행 환경 정보 및 동작 모드 정보를 기반으로, 차량의 주행 환경이 특정 주행 환경이 아니라고 판단하거나, 또는 차량의 동작 모드가 자율주행 모드가 아니라고 판단할 수 있다. 이 경우, 오브젝트 검출부(110)는 일반 모드에 따라 제1 오브젝트 정보(DATA_1)를 신뢰도 판단부(140)에 제공할 수 있다. 일반 모드에서, 신뢰도 판단부(140)는 제1 오브젝트 정보(DATA_1)를 그대로 주행경로 판단부(150)에 제공할 수 있다.

제어부(170)는 주의 모드로 진입하기 위해 반사영역 설정부(120)에 제2 제어 신호(CTRL_2)를 제공할 수 있다. 반사영역 설정부(120)는 제2 제어 신호(CTRL_2)에 응답하여 활성화될 수 있다. 예를 들어, 반사영역 설정부(120)는 제2 제어 신호(CTRL_2)에 응답하여 제1 반사영역을 설정할 수 있다.

제어부(170)는 주의 모드로 진입하기 위해 반사영상 제거부(130)에 제3 제어 신호(CTRL_3)를 제공할 수 있다. 반사영상 제거부(130)는 제3 제어 신호(CTRL_3)에 응답하여 활성화될 수 있다. 예를 들어, 반사영상 제거부(130)는 제3 제어 신호(CTRL_3)에 응답하여 제2 반사영역을 설정하거나 반사영상을 제거할 수 있다.

제어부(170)는 주의 모드로 진입하기 위해 신뢰도 판단부(140)에 제4 제어 신호(CTRL_4)를 제공할 수 있다. 신뢰도 판단부(140)는 제4 제어 신호(CTRL_4)에 응답하여 활성화 될 수 있다. 예를 들어, 신뢰도 판단부(140)는 제4 제어 신호(CTRL_4)에 응답하여 제2 오브젝트 정보(DATA_3)의 신뢰도를 판단할 수 있다.

도 3은 도 2에 따른 차량 제어 장치의 작동 방법을 나타내는 순서도이다. 도 2 및 도 3을 참조하면, 차량 제어 장치(100)는 오브젝트 검출부(110), 반사영역 설정부(120), 반사영상 제거부(130), 신뢰도 판단부(140), 제어부(170), 주행경로 판단부(150), 및 차량 제어부(160)를 포함할 수 있다. 이하 설명되는 각 유닛의 동작은 차량 제어 장치(100)의 동작으로 이해될 수 있다.

S110 단계에서, 차량 제어 장치(100)는 카메라 영상을 수신할 수 있다. 예를 들어, 차량 제어 장치(100)의 오브젝트 검출부(110)는 제1 차량 외부 영상(IMG_1)을 포함할 수 있다.

S120 단계에서, 차량 제어 장치(100)는 1차 오브젝트 검출을 수행할 수 있다. 예를 들어, 차량 제어 장치(100)의 오브젝트 검출부(110)는 제1 차량 외부 영상(IMG_1)을 기반으로 제1 오브젝트 정보(DATA_1)를 획득할 수 있다. 제1 오브젝트 정보(DATA_1)는 광원 정보를 포함할 수 있다. 광원 정보는 광원의 위치 정보, 크기 정보, 밝기 정보, 및 색상 정보 중 적어도 하나를 포함할 수 있다.

S130 단계에서, 차량 제어 장치(100)는 주의 모드로의 진입 여부를 판단할 수 있다. 예를 들어, 차량 제어 장치(100)의 제어부(170)는 주행 환경 정보 및 동작 모드 정보를 통해 주의 모드로의 진입 여부를 판단할 수 있다. 동작 모드는 자율주행 모드 및 수동주행 모드를 포함하고, 제어부(170)는 자율주행 모드에서 차량이 특정 주행 환경에 속해 있다고 판단하면, 주의 모드로 진입할 수 있다.

제어부(170)는 차량이 특정 주행 환경에 속해 있지 않다고 판단하면, 주의 모드로의 진입 신호를 생성하지 않을 수 있다. 이 경우, 일반 모드에 따라, 차량 제어 장치(100)는 제1 오브젝트 정보(DATA_1)를 기반으로 주행경로를 생성하고, 차량의 구동을 제어할 수 있다.

주의 모드로 진입한 것으로 판단된 경우, S140 단계에서, 차량 제어 장치(100)는 제1 오브젝트 정보(DATA_1)를 기반으로 반사광에 대한 제1 반사영역을 설정할 수 있다. 예를 들어, 차량 제어 장치(100)의 반사영역 설정부(120)는 도로 수평선 검출을 통해 제1 반사영역을 설정할 수 있다. 제1 반사영역 설정 동작에 대한 상세한 설명은 도 4a 및 도 4b에서 후술한다. 반사영역 설정부(120)는 제1 반사영역에 대한 정보(DATA_2)를 반사영상 제거부(130)에 제공할 수 있다.

S150 단계에서, 차량 제어 장치(100)는 제1 반사영역에 대한 정보(DATA_2)를 기반으로 반사영상을 제거할 수 있다. 예를 들어, 차량 제어 장치(100)의 반사영상 제거부(130)는 클러스터링을 통해 반사영상에 대응하는 클러스터를 생성하고, 제1 반사영역 보다 작은 제2 반사영역을 설정하고, 제2 반사영역 내에서 치환을 통해 클러스터를 제거할 수 있다. 반사영상 제거 동작에 대한 상세한 설명은 도 5에서 후술한다. 반사영상 제거부(130)는 반사영상이 제거된 제2 차량 외부 영상(IMG_2)을 생성하고, 제2 차량 외부 영상(IMG_2)을 오브젝트 검출부(110)에 제공할 수 있다.

S160 단계에서, 차량 제어 장치(100)는 제2 차량 외부 영상(IMG_2)을 기반으로 2차 오브젝트 검출을 수행할 수 있다. 예를 들어, 차량 제어 장치(100)의 오브젝트 검출부(110)는 2차 오브젝트 검출을 통해 제2 오브젝트 정보(DATA_3)를 획득할 수 있다. 제2 오브젝트 정보(DATA_3)는 반사광을 제외한 차량 외부 오브젝트에 대한 정보일 수 있다. 오브젝트 검출부(110)는 제2 오브젝트 정보(DATA_3)를 신뢰도 판단부(140)에 제공할 수 있다.

S170 단계에서, 차량 제어 장치(100)는 제2 오브젝트 정보(DATA_3)의 신뢰도를 판단할 수 있다. 예를 들어, 차량 제어 장치(100)의 신뢰도 판단부(140)는 오브젝트 검출 영역과 제2 반사영역의 중복영역에 대한 IoU 값을 통해 제2 오브젝트 정보(DATA_3)의 신뢰도를 판단할 수 있다. 신뢰도 판단 동작에 대한 상세한 설명은 도 8에서 후술한다.

제2 오브젝트 정보(DATA_3)의 신뢰도가 설정값 보다 낮다고 판단하면, 반사영상 제거부(130)는 제2 반사영역 보다 작은 크기의 제3 반사영역을 설정할 수 있다. 반사영상 제거부(130)는 제3 반사영역 내에서 S150 단계와 유사하게 반사영상을 제거할 수 있다.

제2 오브젝트 정보(DATA_3)의 신뢰도가 설정값 보다 높다고 판단하면, S180 단계에서, 차량 제어 장치(100)는 제2 오브젝트 정보(DATA_3)를 기반으로 주행경로를 생성할 수 있다.

S190 단계에서, 차량 제어 장치(100)는 주행경로 판단부(150)에 의해 생성된 주행경로를 따라 차량이 자율주행하도록 차량 구동 장치를 제어할 수 있다.

도 4a 및 도 4b는 도 3에 따라 설정된 반사영역을 나타내는 도면이다. 도 2 내지 도 4a를 참조하면, 오브젝트 검출부(110)는 제1 차량 외부 영상(IMG_1a)에서 제1 내지 제7 광원들(OB1 내지 OB7)을 검출할 수 있다. 오브젝트 검출부(110)는 제1 내지 제7 광원들(OB1 내지 OB7)에 대한 광원 정보를 획득할 수 있다. 광원 정보는 제1 내지 제7 광원들(OB1 내지 OB7) 각각의 위치 정보, 크기 정보, 밝기 정보, 및 색상 정보 중 적어도 하나를 포함할 수 있다.

반사영역 설정부(120)는 제1 내지 제7 광원들(OB1 내지 OB7)에 대한 정보를 기반으로 제1a 내지 제1e 반사영역들(R1a 내지 R1e)을 설정할 수 있다. 제1a 내지 제1e 반사영역들(R1a 내지 R1e)은 제1 내지 제7 광원들(OB1 내지 OB7)에 의해 반사영상이 형성될 수 있는 영역을 의미한다. 제1a 내지 제1e 반사영역들(R1a 내지 R1e)은 제1 내지 제7 광원(OB1 내지 OB7)에 대한 정보 및 카메라 위치에 따라 달라질 수 있다.

반사영역 설정부(120)는 제1 내지 제7 광원들(OB1 내지 OB7) 각각에 대응하는 제1a 내지 제1e 반사영역들(R1a 내지 R1e)을 설정할 수 있다. 이 때, 제1a 내지 제1e 반사영역들(R1a 내지 R1e) 중 일부는 중첩될 수 있고, 반사영역 설정부(120)는 중첩된 제1 반사영역들을 하나의 통합된 반사영역으로 설정할 수 있다. 예를 들어, 제5 광원(OB5), 제6 광원(OB6) 및 제7 광원(OB7)은 y축 방향으로 중첩되고, 이에 대응되는 제1 반사영역들도 중첩될 수 있다. 이 경우, 반사영역 설정부(120)는 하나의 통합된 제1e 반사영역(R1e)을 설정할 수 있다. 이하 제1e 반사영역(R1e)은 제5 광원(OB5)에 대응하는 제1 반사영역, 제6 광원(OB6)에 대응하는 제1 반사영역 및 제7 광원(OB7)에 대응하는 제1 반사영역이 통합된 제1e 반사영역(R1e)을 의미한다.

반사영역 설정부(120)는 제1 차량 외부 영상(IMG_1a)에서 도로 수평선(H1)을 검출하고 축으로 설정할 수 있다. 도 4a의 실시 예에서, 도로 수평선(H1)은 x축과 평행할 수 있다. 이 경우, 광원의 수평 위치는 제1 내지 제7 광원들(OB1 내지 OB7)의 중심으로부터 상하 방향(y축 방향)으로 연장된 선(이하 중심선)과 x축 또는 도로 수평선(H1)이 교차하는 지점일 수 있다. 제1a 내지 제1e 반사영역들(R1a 내지 R1e)의 수평 위치는 제1a 내지 제1e 반사영역들(R1a 내지 R1e)의 중심선과 x축 또는 도로 수평선(H1)이 교차하는 지점일 수 있다. 제1a 내지 제1e 반사영역들(R1a 내지 R1e)의 수평 위치는 제1 내지 제7 광원들(OB1 내지 OB7)의 수평 위치에 대응되고, 제1 내지 제7 광원들(OB1 내지 OB7)의 수평 위치를 기준으로 차량에 장착된 카메라의 기하위치에 따라 보정될 수 있다.

제1a 내지 제1e 반사영역들(R1a 내지 R1e)의 폭은 제1 내지 제7 광원들(OB1 내지 OB7)의 폭에 비례할 수 있다. 제1a 내지 제1e 반사영역들(R1a 내지 R1e)의 길이는 도로 수평선(H1)으로부터 제1 방향으로 연장될 수 있다. 제1 방향은 도로 수평선(H1)으로부터 차량을 향하는 방향일 수 있다. 또는 제1 방향은 y축 방향일 수 있다.

도 4b를 참조하면, 오브젝트 검출부(110)는 제1 차량 외부 영상(IMG_1b)에서 도로 수평선(H2)을 기준으로 제1 방향에 위치한 제8 광원(OB8) 및 제9 광원(OB9)을 검출할 수 있다. 광원이 도로 수평선(H2)으로부터 제1 방향에 위치하는 경우, 제1 반사영역은 광원의 제1 방향 일단에서부터 설정될 수 있다. 광원의 제1 방향 일단은 광원 검출 영역에서 제1 방향의 끝부분일 수 있다. 광원 검출 영역은 광원을 표시하는 영역으로서, 도 4b에 따르면 원모양이지만, 광원 검출 영역의 모양은 이에 한정되지 않는다.

예를 들어, 제1h 반사영역(R1h)은 제8 광원(OB8)의 일단에서부터 설정될 수 있다. 제1h 반사영역(R1h)의 길이는 제8 광원(OB8)의 일단으로부터 제1 방향으로 연장될 수 있다. 제1i 반사영역(R1i)은 제9 광원(OB9)의 일단에서부터 설정될 수 있다. 제1i 반사영역(R1i)의 길이는 제9 광원(OB9)의 일단으로부터 제1 방향으로 연장될 수 있다.

제1h 및 제1i 반사영역들(R1h 및 R1i)의 폭은 제8 및 제9 광원들(OB8내 및 OB9)의 폭에 비례할 수 있다.

도 5는 도 3에 따른 반사영상 제거 동작을 나타내는 순서도이다. 도 2, 도 3 및 도 5를 참조하면, 반사영상 제거 동작(S150)은 픽셀 값 검출 동작(S151), 클러스터 생성 동작(S152), 반사영역 재설정 동작(S153) 및 클러스터 치환 동작(S154)을 포함할 수 있다.

S151 단계에서, 차량 제어 장치(100)는 제1 반사영역에 대한 정보(DATA_2)를 기반으로 제1 반사영역 내부 픽셀들의 픽셀 값을 검출할 수 있다. 예를 들어, 픽셀 값은 해당 픽셀의 밝기 값일 수 있다. 차량 제어 장치(100)의 반사영상 제거부(130)는 제1 반사영역 내부 모든 픽셀들에 대해 밝기 값을 획득할 수 있다. 또는, 반사영상 제거부(130)는 제1 반사영역 내부에서 일정 범위 내에 속하는 픽셀들에 대해 밝기 값을 획득할 수 있다. 이 경우, 제어부(170)는 일정 범위에 대해 픽셀 값을 검출하라는 제어 신호를 반사영상 제거부(130)에 제공할 수 있다.

S152 단계에서, 차량 제어 장치(100)는 S151 단계에서 검출한 픽셀 값들을 이용하여 클러스터를 생성할 수 있다. 예를 들어, 차량 제어 장치(100)의 반사영상 제거부(130)는 광원 정보를 기반으로 기준 픽셀 값을 설정하고, 기준 픽셀 값 이상의 픽셀 값을 가진 픽셀들을 검출하여 클러스터를 생성할 수 있다. 예를 들어, 클러스터는 제1 반사영역 내부에서 기준 밝기 값 이상의 밝기 값을 가진 픽셀들의 집합일 수 있다. 이 경우, 클러스터는 반사영상에 대응될 수 있다.

S153 단계에서, 차량 제어 장치(100)는 클러스터를 기반으로 제1 반사영역을 재설정할 수 있다. 재설정된 제1 반사영역은 제2 반사영역으로 명명될 수 있다. 제2 반사영역의 크기는 제1 반사영역의 크기 보다 작을 수 있다. 예를 들어, 차량 제어 장치(100)의 반사영상 제거부(130)는 클러스터의 중심점 위치, 클러스터의 제1 방향 크기 및 클러스터의 제2 방향 크기를 기반으로 제2 반사영역을 설정할 수 있다.

S154 단계에서, 차량 제어 장치(100)는 치환을 통해 클러스터를 제거할 수 있다. 제2 반사영역은 클러스터 내부의 제1 영역 및 클러스터 외부의 제2 영역을 분할될 수 있다. 예를 들어, 차량 제어 장치(100)의 반사영상 제거부(130)는 제2 영역 내부의 제2 픽셀 값들의 평균 값을 계산하고, 제1 영역 내부의 제1 픽셀 값들을 제2 픽셀 값들의 평균 값으로 치환할 수 있다.

도 6a 내지 도 7b는 도 5에 따른 반사영상 제거 동작의 실시 예를 나타내는 도면이다. 도 5 및 도 6a를 참조하면, 제1 클러스터(C1)는 제1 반사영역(R6) 내부에 존재할 수 있다. 제1 클러스터(C1)는 제1 반사영역(R6) 내부의 픽셀들 중 기준 밝기 값 이상의 밝기 값을 가진 픽셀들의 집합일 수 있다. 반사영상 제거부(130)는 기준 밝기 값 이상의 밝기 값을 가진 픽셀들을 군집화하여 제1 클러스터(C1)를 생성할 수 있다. 이 경우, K-means 클러스터링 등의 기법이 사용될 수 있다. 도 6b를 참조하면, 제2 및 제3 클러스터(C2, C3)는 제1 반사영역(R7) 내부에서 복수 개로 생성될 수 있다.

도 6a 및 도 7a를 참조하면, 제1 클러스터(C1)는 제1 클러스터(C1)의 중심점(CP1)에서 제1 방향으로 제1 방향 크기(Y) 및 제2 방향으로 제2 방향 크기(X)를 가질 수 있다. 반사영상 제거부(130)는 중심점(CP1)에서 제1 방향으로 제1 방향 크기(Y) 보다 제1 설정값(Q1) 만큼 증가된 크기의 제2 반사영역(RR1)을 설정할 수 있다. 반사영상 제거부(130)는 중심점(CP1)에서 제2 방향으로 제2 방향 크기(X) 보다 제2 설정값(Q2) 만큼 증가된 크기의 제2 반사영역(RR1)을 설정할 수 있다.

제2 반사영역(RR1)은 제1 반사영역(R6) 보다 작은 크기로 설정될 수 있다. 제2 반사영역(RR1)은 클러스터(C1)를 포함할 수 있다. 반사영상 제거부(130)는 제1 설정값(Q1) 및 제2 설정값(Q2)을 조절하여 최적의 제2 반사영역(RR1)을 설정할 수 있다.

반사영상 제거부(130)는 클러스터(C1) 내부의 픽셀(P1) 값을 클러스터(C1) 외부 및 제2 반사영역(RR1) 내부의 픽셀(PP1) 값으로 치환할 수 있다. 또는, 반사영상 제거부(130)는 클러스터(C1) 내부의 픽셀(P1) 값을 클러스터(C1) 외부 및 제2 반사영역(RR1) 내부의 픽셀들의 평균값으로 치환할 수 있다.

도 6b 및 7b를 참조하면, 제2 반사영역(RR2)은 제2 클러스터(C2)를 기준으로 설정될 수 있다. 제2 반사영역(RR2)은 제2 클러스터(C2)의 기준점(CP2)에서 제1 방향으로 제2 클러스터(C2)의 크기(y1) 보다 제3 설정값(q1) 만큼 증가된 크기일 수 있다. 제2 반사영역(RR2)은 제2 클러스터(C2)의 기준점(CP2)에서 제2 방향으로 제2 클러스터(C2)의 크기(x1) 보다 제4 설정값(q2) 만큼 증가된 크기일 수 있다. 제2 클러스터(C2)는 내부 픽셀(P2)에 대한 외부 픽셀(PP2)의 치환 통해 제거될 수 있다.

제3 반사영역(RR3)은 제2 반사영역(RR2)에 관한 설명과 유사하게 제3 클러스터(C3)를 기준으로 설정되고, 제3 클러스터(C3)는 내부 픽셀(P3)에 대한 외부 픽셀(PP3)의 치환 통해 제거될 수 있다.

반사영상 제거부(130)는 복수 개의 클러스터(C2, C3) 각각에 대해 개별적인 반사영상 제거 동작을 수행할 수 있다. 복수 개의 클러스터(C2, C3)를 포함하는 것 외에 도 7b에 대한 설명은 도 7a에 대한 설명과 유사하므로, 상세한 설명은 생략된다.

도 8은 도 3에 따른 신뢰도 판단 동작을 나타내는 순서도이다. 도 2, 도 3 및 도 8을 참조하면, 신뢰도 판단 동작(S170)은 제2 오브젝트 정보 수신 동작(S171), 재설정 반사영역 정보 수신 동작(S172), IoU 값 계산 동작(S173), IoU 값과 임계값 비교 동작(S174) 및 신뢰도 판단 결과 동작(S175, S176)을 포함할 수 있다.

S171 단계에서, 차량 제어 장치(100)는 제2 오브젝트 정보(DATA_3)를 획득할 수 있다. 예를 들어, 차량 제어 장치(100)의 신뢰도 판단부(140)는 오브젝트 검출부(110)로부터 제2 오브젝트 정보(DATA_2)를 수신할 수 있다.

S172 단계에서 차량 제어 장치(100)는 제2 반사영역에 대한 정보(DATA_4)를 획득할 수 있다. 예를 들어, 차량 제어 장치(100)의 신뢰도 판단부(140)는 반사영상 제거부(130)로부터 제2 반사영역에 대한 정보(DATA_4)를 수신할 수 있다. S171 단계 및 S172 단계의 동작 순서는 도 8에 의해 한정되지 않는다.

S173 단계에서, 차량 제어 장치(100)는 IoU 값을 계산할 수 있다. 예를 들어, 차량 제어 장치(100)의 신뢰도 판단부(140)는 제2 오브젝트 정보(DATA_3)를 기반으로 오브젝트 검출 영역을 설정하고, 오브젝트 검출 영역 및 제2 반사영역의 중복영역을 검출할 수 있다. 중복영역은 오브젝트 검출 영역 및 제2 반사영역의 교집합 영역을 의미한다. IoU 값은 중복영역을 오브젝트 검출 영역 및 제2 반사영역의 합집합 영역으로 나눈 값을 의미한다.

S174 단계에서, 차량 제어 장치(100)는 IoU 값과 임계값을 비교하여 IoU 값이 임계값 보다 작은지 여부를 판단할 수 있다. IoU 값이 임계값 보다 작다면, S175 단계에서, 차량 제어 장치(100)는 제2 오브젝트 정보(DATA_2)의 신뢰도가 설정값 보다 높다고 판단할 수 있다. 이 경우, 차량 제어 장치(100)는 제2 오브젝트 정보(DATA_2)를 기반으로 주행경로를 생성할 수 있다.

IoU 값이 임계값 보다 크다면, S176 단계에서, 차량 제어 장치(100)는 제2 오브젝트 정보(DATA_2)의 신뢰도가 설정값 보다 낮다고 판단할 수 있다. 이 경우, 차량 제어 장치(100)는 제2 반사영역 보다 작은 크기의 제3 반사영역을 설정하고, 제3 반사영역을 기반으로 다시 반사영상을 제거하는 동작을 수행할 수 있다. 반사영역이 작아질수록 반사영상 제거 시 왜곡이 작아지므로, 차량 제어 장치(100)는 더 작은 크기의 반사영역을 설정함으로써, 오브젝트 검출의 정확도 또는 신뢰도를 높일 수 있다.

차량 전자 장치(100)는 제2 오브젝트 정보(DATA_2)의 신뢰도가 설정값 보다 낮다고 판단하면, 반사영역을 더 작은 크기로 재설정하면서 반사영상 제거 및 오브젝트 정보의 신뢰도 판단을 반복할 수 있다. 실시 예에 따라, 제어부(170)는 반복 횟수 또는 반복 시간을 설정할 수 있고, 신뢰도 판단부(140)는 반복 횟수 또는 반복 시간을 초과할 경우 변경된 제2 오브젝트 정보를 주행경로 판단부(150)에 제공할 수 있다. 변경된 제2 오브젝트 정보는 신뢰도가 설정값 보다 낮은 정보를 제외한 정보이거나 다른 정보로 대체한 정보일 수 있다. 실시 예에 따라, 신뢰도 판단부(140)는 반복 횟수 또는 반복 시간을 초과할 경우 수동 주행 요청 신호를 생성할 수 있다.

도 9a 내지 도 9c는 도 8에 따른 신뢰도 판단 동작의 실시 예를 나타내는 도면이다. 도 8 및 도 9a를 참조하면, 제1 중복영역(811)은 오브젝트 검출 영역(810) 및 제2 반사영역(RR4)이 중복되는 영역일 수 있다. IoU 값은 오브젝트 검출 영역(810) 및 제2 반사영역(RR4)의 교집합 영역을 오브젝트 검출 영역(810) 및 제2 반사영역(RR4)의 합집합 영역으로 나눔으로써 계산될 수 있다. 도 9a의 경우, 신뢰도 판단부(140)는 IoU 값이 임계값 보다 작다고 판단할 수 있다.

IoU 값이 임계값 보다 작은 경우, 오브젝트 검출의 정확도는 제1 중복영역(811)에 의해 영향을 많이 받지 않을 수 있다. 즉, 오브젝트 정보에 대한 신뢰도는 높아질 수 있다.

도 8 및 도 9b를 참조하면, 제2 중복영역(821)은 오브젝트 검출 영역(820) 및 제2 반사영역(RR5)이 중복되는 영역일 수 있다. IoU 값은 오브젝트 검출 영역(820) 및 제2 반사영역(RR5)의 교집합 영역을 오브젝트 검출 영역(820) 및 제2 반사영역(RR5)의 합집합 영역으로 나눔으로써 계산될 수 있다. 도 9b의 경우, 신뢰도 판단부(140)는 IoU 값이 임계값 보다 크다고 판단할 수 있다.

IoU 값이 임계값 보다 큰 경우, 오브젝트 검출의 정확도는 제2 중복영역(821)에 의해 영향을 많이 받을 수 있다. 즉, 오브젝트 정보에 대한 신뢰도는 낮아질 수 있다.

도 8 및 도 9c를 참조하면, 하나의 제2 반사영역(RR6)에 복수 개의 중복영역(831, 841)이 형성될 수 있다. 신뢰도 판단부(140)는 중복영역(831, 841)의 개수를 판단하고, 각각의 중복영역(831, 841)에 대해 개별적으로 IoU 값을 계산할 수 있다. 도 9c에 관한 설명은 복수의 중복영역(831, 841)을 포함하는 것 외에 도 9a 또는 도 9b에 관한 설명과 유사하므로, 상세한 설명은 생략된다.

도 9c의 경우, 신뢰도 판단부(140)는 제3 중복영역(831)에 대한 IoU 값이 임계값 보다 크다고 판단할 수 있고, 제4 중복영역(841)에 대한 IoU 값이 임계값 보다 작다고 판단할 수 있다. 신뢰도 판단부(140)는 제3 중복영역(831) 대한 오브젝트 정보를 제외한 제3 오브젝트 정보(DATA_5)를 주행경로 판단부(150)에 제공할 수 있다. 또는, 신뢰도 판단부(140)는 제3 중복영역(831) 대한 오브젝트 정보를 다른 정보로 대체한 제3 오브젝트 정보(DATA_5)를 주행경로 판단부(150)에 제공할 수 있다. 여기서 다른 정보는 검출할 수 없음 또는 주의를 알리는 일정한 정보일 수 있다.

도 10 및 도 11은 본 발명의 실시 예에 차량 제어 장치가 장착된 자율주행 차량을 나타내는 도면이다. 도 10 및 도 11을 참조하면, 자율주행 차량(1000)은 차량 제어 장치(1100), 카메라(1200), 구동 장치(1300), 제동 장치(1400), 및 스티어링 장치(1500)를 포함할 수 있다.

자율주행 차량(1000)은 인간의 운전 조작 없이 자동으로 주행할 수 있는 차량을 의미한다. 차량은 도로나 선로 위를 달리는 수송 수단으로 정의되고, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.

차량 제어 장치(1100)는 전원공급부(1110), 프로세서(1120), 인터페이스(1130), 및 메모리(1140)를 포함할 수 있다. 차량 제어 장치(1100)는 자율주행 차량(1000)에서 차량의 자율주행을 제어할 수 있다. 차량 제어 장치(1100)는 도 2에 따른 차량 제어 장치(100)가 적용될 수 있다.

실시 예에 따라, 차량 제어 장치(1100)는 카메라(1200)가 촬영한 차량 외부 영상에서 오브젝트 정보를 획득하고, 오브젝트 정보를 기반으로 자율주행 차량(1000)의 구동을 제어할 수 있다. 차량 제어 장치(1100)는 주행 환경에 따라 차량 외부 영상에서 반사영상이 포함되는 경우, 주의 모드로 진입하여 반사영상이 제거된 차량 외부 영상을 생성할 수 있다. 차량 제어 장치(1100)는 반사영상이 제거된 차량 외부 영상을 기반으로 오브젝트 정보를 다시 획득하고, 이를 기반으로 자율주행 차량(1000)의 구동을 제어함으로써, 주행 환경 변화에 강인한 자율주행을 실현할 수 있다.

차량 제어 장치(1000)는 적어도 하나의 인쇄 회로 기판(printed circuit board, PCB)을 포함할 수 있다. 전원공급부(1110), 프로세서(1120), 인터페이스(1130) 및 메모리(1140)는 인쇄 회로 기판에 전기적으로 연결될 수 있다.

전원공급부(1110)는 차량 제어 장치(1100)에 전원을 공급할 수 있다. 전원공급부(1110)는 자율주행 차량(1000)에 포함된 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 차량 제어 장치(1100)의 각 유닛에 전원을 공급할 수 있다.

프로세서(1120)는 전원공급부(1110), 인터페이스(1130) 및 메모리(1140)와 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(1120)는 도 2에 따른 오브젝트 검출부(110), 반사영역 설정부(120), 반사영상 제거부(130), 신뢰도 판단부(140), 제어부(170), 주행경로 판단부(150), 및 차량 제어부(160) 중 적어도 하나를 포함할 수 있다. 프로세서(1120) 내부의 구체적인 유닛들에 대한 설명은 도 2와 유사하므로, 생략된다.

실시 예에 따라, 프로세서(1120)는 도 2에 따른 오브젝트 검출부(110), 반사영역 설정부(120), 반사영상 제거부(130), 신뢰도 판단부(140), 및 제어부(170)를 포함할 수 있다. 이 경우, 프로세서(1120)를 포함하는 차량 제어 장치(1100)는 오브젝트 검출 장치로 명명될 수 있고, 도 2에 따른 주행경로 판단부(150) 및 차량 제어부(160)는 별도의 프로세서에 의해 구현될 수 있다.

프로세서(1120)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

프로세서(1120)는 전원공급부(1100)로부터 제공되는 전원에 의해 구동될 수 있다. 프로세서(1120)는 전원공급부(1100)에 의해 전원이 공급되는 상태에서 데이터를 수신하고, 데이터를 처리하고, 신호를 생성하고, 신호를 제공할 수 있다. 프로세서(1120)는 인터페이스(1130)를 통해 자율주행 차량(1000) 내 다른 전자 장치로부터 정보를 수신할 수 있다. 프로세서(1120)는 인터페이스부(1130)를 통해 자율주행 차량(1000) 내 다른 전자 장치로 제어 신호를 제공할 수 있다.

인터페이스(1130)는 자율주행 차량(1000) 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스(1130)는 구동 장치(1300), 제동 장치(1400), 및 스티어링 장치(1500) 중 적어도 어느 하나와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스(1130)는 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.

메모리(1140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(1140)는 프로세서(1120)에서 처리된 데이터를 저장할 수 있다. 메모리(1140)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(1140)는 프로세서(1120)의 처리 또는 제어를 위한 프로그램 등, 차량 제어 장치(1100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.

카메라(1200)는 차량 외부 영상을 획득할 수 있다. 카메라(1200)는 획득한 차량 외부 영상을 차량 제어 장치(1100)에 제공할 수 있다. 카메라(1200)는 차량 외부 영상을 획득하기 위해 적어도 하나의 렌즈 및 적어도 하나의 이미지 센서를 포함할 수 있다. 또한, 카메라(1200)는 이미지 센서와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 더 포함할 수 있다.

카메라(1200)는 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 중 적어도 어느 하나일 수 있다. 카메라(1200)는 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다.

카메라(1200)는 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라(1200)는 복수 개 일 수 있다. 카메라(1200)는 차량 후방의 영상을 획득하기 위한 후방 카메라 또는 차량 측방의 영상을 획득하기 위한 측방 카메라를 더 포함할 수 있다. 카메라(1200)의 설치 위치 및 개수는 이에 한정되지 않는다.

구동 장치(1300)는 파워 트레인 구동 장치를 포함할 수 있다. 파워 트레인 구동 장치는 동력원 구동 장치 및 변속기 구동 장치를 포함할 수 있다. 예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 구동 장치(1300)는 엔진의 출력 토크 등을 제어할 수 있다. 예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 구동 장치(1300)는 모터의 회전 속도, 토크 등을 제어할 수 있다. 차량 제어 장치(1100)는 차량의 속도를 높이기 위해서 가속 입력 신호를 생성하여 구동 장치(1300)에 제공할 수 있다.

제동 장치(1400)는 각 바퀴(W1, W2, W3, W4)의 제동을 제어할 수 있다. 제동 장치(1400)는 각 바퀴(W1, W2, W3, W4)에 배치되는 브레이크의 동작을 제어할 수 있다. 차량 제어 장치(1100)는 차량의 속도를 줄이기 위해서 감속 입력 신호를 생성하여 제동 장치(1400)에 제공할 수 있다. 제동 장치(1400)는 복수의 브레이크 각각을 개별적으로 제어할 수 있다.

스티어링 장치(1400)는 차량의 진행 방향을 변경할 수 있다. 스티어링 장치(1400)는 전륜(W1, W2)의 각도를 조절하거나, 후륜(W3, W4)의 각도를 조절하거나, 또는 4륜(W1, W2, W3, W4)의 각도를 조절할 수 있다. 차량 제어 장치(1100)는 차량의 진행 방향을 변경하기 위해 조향 입력 신호를 생성하여 스티어링 장치(1400)에 제공할 수 있다.

도시하지는 않았지만, 자율주행 차량(1000)은 사용자 인터페이스 장치, V2X 통신 장치, ADAS 주행 시스템, 센서, GPS 등의 전자 장치를 더 포함할 수 있다. 또한, 자율주행 차량(1000)은 자율주행 차량(1000) 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어하는 메인 ECU(Electronic Control Unit)를 포함할 수 있다. 자율주행 차량(1000) 내에 구비되는 적어도 하나의 전자 장치는 내부 통신 시스템을 매개로 신호를 교환할 수 있다. 내부 통신 시스템은 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.

상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명에 따른 실시 예들은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

차량 전자 장치: 100
오브젝트 검출부: 110
반사영역 설정부: 120
반사영상 제거부: 130
신뢰도 판단부: 140
제어부: 150
주행경로 판단부: 160
차량 제어부: 170

Claims

차량 외부 오브젝트를 기반으로 차량의 자율주행을 제어하는 차량 제어 장치의 작동 방법에 있어서,
카메라로부터 수신된 제1 차량 외부 영상을 기반으로 1차 오브젝트 검출을 수행하여 제1 오브젝트 정보를 획득하는 단계;
상기 제1 오브젝트 정보를 기반으로 반사광에 대한 제1 반사영역을 설정하는 단계;
상기 제1 반사영역 내부의 픽셀 값들을 이용하여, 상기 제1 차량 외부 영상으로부터 상기 제1 반사영역 내부의 반사영상이 제거된 제2 차량 외부 영상을 생성하는 단계;
상기 제2 차량 외부 영상을 기반으로 2차 오브젝트 검출을 수행하여 제2 오브젝트 정보를 획득하는 단계;
상기 반사영상에 대한 정보 및 상기 제2 오브젝트 정보를 기반으로 상기 제2 오브젝트 정보의 신뢰도를 판단하는 단계;
상기 제2 오브젝트 정보의 신뢰도가 설정값 보다 높다고 판단하면, 상기 제2 오브젝트 정보를 기반으로 상기 차량의 자율주행을 제어하는 단계;
주행 시간 정보, 주행 날씨 정보, 및 도로 상태 정보 중 적어도 하나를 포함하는 주행 환경 정보 및 자율주행 모드인지 여부에 대한 동작 모드 정보를 획득하는 단계; 및
상기 주행 환경 정보 및 동작 모드 정보를 기반으로, 제어 모드를 설정하는 단계를 포함하고,
상기 판단된 제어 모드가 주의 모드인 경우, 상기 제2 오브젝트 정보를 기반으로 상기 차량의 상기 자율주행을 제어하고, 상기 판단된 제어 모드가 일반 모드인 경우, 상기 제1 오브젝트 정보를 기반으로 상기 차량의 상기 자율주행을 제어하는 차량 제어 장치의 작동 방법.
제 1 항에 있어서,
상기 제1 오브젝트 정보를 획득하는 단계는:
상기 제1 차량 외부 영상에서 광원을 검출하는 단계; 및
상기 광원의 위치 정보, 크기 정보, 밝기 정보, 및 색상 정보 중 적어도 하나를 포함하는 상기 제1 오브젝트 정보를 획득하는 단계를 포함하는 차량 제어 장치의 작동 방법.
제 2 항에 있어서,
상기 제1 반사영역을 설정하는 단계는:
상기 제1 차량 외부 영상에서 도로 수평선을 검출하는 단계;
상기 광원의 중심선과 상기 도로 수평선의 교차 지점에 대응되는 상기 제1 반사영역의 수평 위치를 결정하는 단계;
상기 제1 오브젝트 정보를 기반으로 상기 광원의 폭에 비례하는 상기 제1 반사영역의 폭을 결정하는 단계: 및
상기 도로 수평선으로부터 제1 방향으로 연장되는 상기 제1 반사영역의 길이를 결정하는 단계를 포함하고,
상기 제1 방향은 상기 도로 수평선으로부터 차량을 향하는 방향인 차량 제어 장치의 작동 방법.
제 3 항에 있어서,
상기 제1 반사영역의 길이는 상기 광원이 상기 도로 수평선으로부터 상기 제1 방향에 위치하는 경우, 상기 광원의 제1 방향 일단으로부터 상기 제1 방향으로 연장되는 차량 제어 장치의 작동 방법.
제 1 항에 있어서,
상기 제2 차량 외부 영상을 생성하는 단계는:
상기 제1 반사영역 내부의 상기 픽셀 값들을 계산하는 단계;
상기 픽셀 값들을 기반으로 상기 반사영상에 대응되는 클러스터를 생성하는 단계;
상기 클러스터를 기반으로 상기 제1 반사영역에 포함된 제2 반사영역을 설정하는 단계; 및
상기 제2 반사영역 내에서 상기 클러스터를 제거하는 단계를 포함하는 차량 제어 장치의 작동 방법.
제 5 항에 있어서,
상기 클러스터를 생성하는 단계는:
상기 제1 오브젝트 정보를 기반으로 기준 픽셀 값을 계산하는 단계;
상기 제1 반사영역 내부에서 상기 기준 픽셀 값 이상의 픽셀 값을 가진 픽셀들을 검출하는 단계; 및
상기 픽셀들을 군집화하여 상기 클러스터를 생성하는 단계를 포함하는 차량 제어 장치의 작동 방법.
제 5 항에 있어서,
상기 제2 반사영역을 설정하는 단계는:
상기 클러스터의 중심점 위치, 제1 방향 크기 및 제2 방향 크기를 계산하는 단계; 및
상기 중심점 위치에서 제1 방향으로 상기 제1 방향 크기 보다 제1 설정값만큼 증가되고, 제2 방향으로 상기 제2 방향 크기 보다 제2 설정값 만큼 증가된 크기의 상기 제2 반사영역을 설정하는 단계를 포함하는 차량 제어 장치의 작동 방법.
제 5 항에 있어서,
상기 제2 반사영역은 상기 클러스터 내부의 제1 영역 및 상기 클러스터 외부의 제2 영역으로 분할되고,
상기 클러스터를 제거하는 단계는:
상기 제1 영역 내부의 제1 픽셀 값들을 상기 제2 영역 내부의 제2 픽셀 값들의 평균값으로 치환하는 단계를 포함하는 차량 제어 장치의 작동 방법.
제 5 항에 있어서,
상기 제2 오브젝트 정보의 신뢰도를 판단하는 단계는:
상기 제2 오브젝트 정보를 기반으로 오브젝트 검출 영역을 설정하는 단계;
상기 오브젝트 검출 영역 및 상기 제2 반사영역이 중복되는 중복영역을 검출하는 단계;
상기 중복영역을 기반으로 IoU(Intersection over union) 값을 계산하는 단계; 및
상기 IoU 값과 임계값을 비교하는 단계를 포함하는 차량 제어 장치의 작동 방법.
제 9 항에 있어서,
상기 IoU 값을 계산하는 단계는:
상기 중복영역이 복수 개인 경우 각각의 중복영역에 대해 상기 IoU 값을 계산하는 단계를 포함하는 차량 제어 장치의 작동 방법.
제 9 항에 있어서,
상기 IoU 값과 상기 임계값을 비교하는 단계는:
상기 IoU 값이 상기 임계값 보다 작은 경우 상기 제2 오브젝트 정보의 신뢰도가 상기 설정값 보다 높다고 판단하는 단계; 및
상기 IoU 값이 상기 임계값 보다 큰 경우 상기 제2 오브젝트 정보의 신뢰도가 상기 설정값 보다 낮다고 판단하는 단계를 포함하는 차량 제어 장치의 작동 방법.
제 11 항에 있어서,
상기 제2 오브젝트 정보의 신뢰도가 상기 설정값 보다 낮다고 판단하는 경우 상기 제2 반사영역 보다 작은 크기의 제3 반사영역을 설정하는 단계를 더 포함하는 차량 제어 장치의 작동 방법.
제 1 항에 있어서,
상기 차량의 자율주행을 제어하는 단계는:
상기 제2 오브젝트 정보를 기반으로 주행 경로를 판단하는 단계; 및
상기 주행 경로에 따라 상기 차량이 자율주행하도록 차량 구동 장치, 차량 제동 장치, 및 차량 조향 장치 중 적어도 하나를 제어하는 단계를 포함하는 차량 제어 장치의 작동 방법.
차량 외부 오브젝트를 기반으로 차량의 자율주행을 제어하는 차량 제어 장치에 있어서,
주행 환경 정보 및 동작 모드 정보를 기반으로, 주의 모드로의 진입을 제어하도록 구성된 제어부;
상기 주의 모드에서, 차량 외부 영상을 기반으로 1차 오브젝트 검출을 수행하여 제1 오브젝트 정보를 획득하고, 고스트 제거 영상을 기반으로 2차 오브젝트 검출을 수행하여 제2 오브젝트 정보를 출력하도록 구성된 오브젝트 검출부;
상기 주의 모드에서, 상기 제1 오브젝트 정보를 기반으로 반사광에 대한 제1 반사영역을 설정하도록 구성된 반사영역 설정부;
상기 제1 반사영역 내부의 픽셀 값들을 기반으로, 상기 차량 외부 영상에서, 제1 반사영역 내부의 반사영상이 제거된 상기 고스트 제거 영상을 생성하도록 구성된 반사영상 제거부;
상기 제2 오브젝트 정보 및 상기 반사영상에 대한 정보를 기반으로, 상기 제2 오브젝트 정보의 신뢰도를 판단하도록 구성된 신뢰도 판단부; 및
상기 제2 오브젝트 정보의 신뢰도가 설정값 보다 높다고 판단하면, 상기 제2 오브젝트 정보를 기반으로 상기 차량의 자율주행을 제어하도록 구성된 차량 제어부를 포함하는 차량 제어 장치.
제14 항에 있어서,
일반 모드에서, 상기 제어부는 상기 반사영역 설정부, 상기 반사영상 제거부, 및 상기 신뢰도 판단부를 비활성화시키도록 제어하는 차량 제어 장치.
삭제