KR20160108344A - 차량 검출 시스템 및 방법 - Google Patents

Abstract

본 발명은 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 차량을 검출하는 차량 검출 시스템 및 방법을 개시한다. 상기 시스템은 장면 인식 모듈(101), 도로 지형 추정 모듈(102), 및 차량 검출 모듈을 포함한다. 상기 장면 인식 모듈은 높은 노출 이미지 또는 낮은 노출 이미지를 수신하여, 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 장면의 상태를 식별하도록 구성된다. 상기 도로 지형 추정 모듈은 높은 노출 이미지 또는 낮은 노출 이미지를 수신하여, 상기 동적으로 변하는 관심 구역(ROI)에서 도로의 커브, 경사 및 소실점 중 적어도 하나를 결정하도록 구성된다. 상기 차량 검출 모듈은 상기 장면 인식 모듈 및 도로 지형 모듈과 결합되고 야간에 도로에서 하나 이상의 차량을 검출한다.

Description

차량 검출 시스템 및 방법{VEHICLE DETECTION SYSTEM AND METHOD THEREOF}

본 발명은 일반적으로 차량을 검출하는 것에 관한 것으로, 보다 상세하게는 야간과 같은 낮은 조명 상태에서 차량 검출 시스템에 관한 것이다.

진보된 운전자 지원 솔루션이 날마다 시장에서 확산되고 있다. 전방 충돌 경고는 호스트 차량(host vehicle)이 선행하는 타깃 차량과 충돌할 것 같을 때 운전자에 경고하는 애플리케이션 중 하나이다. 비전 애플리케이션(vision application)은 주간과 야간에 선행하는 차량을 검출하고, 계산된 충돌 시간에 기초하여 경고를 생성한다. 전방 충돌 경고 시스템 및 다른 비전 기반 자동차 어플리케이션은 상이한 알고리즘을 사용하여 주간과 야간 상태에서 차량을 검출한다.

그러나, 기존의 차량 검출 시스템은 매우 효율적이지 않고, 편리하지도 않고 비싸다. 비전에 기반하여 야간에 차량을 효율적이고 경제적으로 검출하는 방법 및 시스템이 요구된다. 여러 실시간 시나리오에서 낮은 조명 상태에서 차량을 강력하게 검출하고 또한 잘못된 물체를 제거하는 시스템이 요구된다.

종래의 비주얼 처리 시스템은 교외 상태(어두운 상태)와 도시 상태(밝은 상태)를 포함하는 넓은 범위의 가시도 상태에서는 성능이 떨어진다. 추가적으로, 차량을 검출하는 등급은 특히 다음 사항, 즉:

차량 라이트의 위치와 형상이 상이한 여러 다양한 차량,

이종 라이트, 예를 들어, 파손된 라이트, 사이드 라이트 온(side light ON)을 갖는 차량,

라이트 온이 없는 차량,

이렇게 많은 다양한 주위 라이트를 갖는 도시 상태에서의 차량 검출,

이륜차 검출과 거리 추정

을 포함하는 다수의 이유 때문에 문제된다. 그러므로, 야간에 도로에서 하나 이상의 차량을 검출하는 차량 검출 시스템이 요구된다. 거리 라이트, 교통 콘(traffic cone), 및 다양한 라이트 소스(light source)와 같은 차량 라이트 형상과 유사하게 닮은 잘못된 물체를 식별하고 제거하여; 높은 레벨의 정확도를 제공할 수 있는 강력한 시스템이 요구된다.

본 발명의 일 실시예는 차량 검출 시스템을 개시한다. 상기 차량 검출 시스템은, 동적으로 변하는 관심 구역(region of interest: ROI)에서 하나 이상의 장면(scene)의 상태를 식별(identifying)하는 높은 노출 이미지와 낮은 노출 이미지 중 하나를 수신하도록 구성된 장면 인식 모듈, 상기 높은 노출 이미지와 낮은 노출 이미지 중 하나를 수신하고 상기 동적으로 변하는 관심 구역(ROI)에서 도로의 커브(curve), 경사(slope) 및 소실점(vanishing point) 중 적어도 하나를 결정하도록 구성된 도로 지형 추정 모듈, 및 상기 장면 인식 모듈과 도로 지형 모듈과 결합되고, 상기 도로에서 하나 이상의 차량을 검출하도록 구성된 차량 검출 모듈을 포함한다.

본 발명의 다른 실시예는 차량 검출 시스템에 의해 하나 이상의 차량을 검출하는 방법을 개시한다. 상기 방법은 장면 인식 모듈과 도로 지형 추정 모듈 중 적어도 하나에 의해 높은 노출 이미지와 낮은 노출 이미지 중 하나를 수신하는 단계, 상기 장면 인식 모듈에 의해 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 이미지 장면의 상태를 식별하는 단계, 상기 동적으로 변하는 관심 구역(ROI)에서 도로의 커브, 경사 및 소실점 중 적어도 하나를 결정하는 단계, 및 상기 하나 이상의 이미지를 처리하여 상기 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 차량을 검출하는 단계를 포함한다.

상기 하나 이상의 이미지를 처리하여 상기 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 차량을 검출하는 단계는, 분할 모듈(segmentation module)을 통해 예상되는 라이트 소스를 취득하는 단계, 필터링 모듈에 의해 잡음과 원치 않는 정보를 제거하는 단계, 필터링된 이미지에서 하나 이상의 블랍(blob)을 식별하는 단계, 각 식별된 블랍의 특성을 결정하는 단계, 적어도 하나의 짝 맞춤 논리(pairing logic)를 사용하여 상기 동적으로 변하는 ROI에서 식별된 하나 이상의 블랍으로부터 하나 이상의 물체를 식별하는 단계, 및 하나 이상의 식별된 블랍 쌍(blob pair)을 검증(validating)하고 확인(verifying)하는 단계를 포함한다.

일 실시예에서, 2개 이상의 식별된 블랍 쌍들 사이에 하나 이상의 식별된 블랍은, 상기 2개의 쌍들의 열 오버랩(column overlap)이 매우 높은 것과 매우 낮은 것 중 하나인 경우, 동일한 블랍을 공유하는 2개의 식별된 블랍 쌍들 중에서 더 작은 폭을 갖는 식별된 블랍 쌍을 제거하는 단계, 상기 2개의 쌍들의 열 오버랩이 매우 높은 것과 매우 낮은 것 중 그 어느 것도 아니고, 중간 블랍이 대칭적으로 위치되지 않는 경우, 동일한 블랍을 공유하는 2개의 식별된 블랍 쌍들 중에서 더 큰 폭을 갖는 식별된 블랍 쌍을 제거하는 단계, 상기 2개의 쌍들이 열 오버랩과 0의 행 오버랩(row overlap)을 가지고 있는 경우, 다른 식별된 블랍 쌍보다 더 작은 폭과 높이를 갖는 식별된 블랍 쌍을 제거하는 단계, 다른 식별된 블랍 쌍보다 더 작은 강도와 높이를 가지고 더 넓은 폭을 갖는 식별된 블랍 쌍을 제거하는 단계, 상기 2개의 쌍들이 동일한 폭과 높이를 가지고 있고, 매우 높은 열 오버랩을 가지고 있는 경우, 다른 식별된 블랍 쌍보다 더 작은 강도를 갖는 식별된 블랍 쌍을 제거하는 단계, 2개의 쌍들이 열과 행 오버랩을 가지고 있고 비-대칭인 경우, 다른 식별된 블랍 쌍보다 더 큰 폭을 가지는 식별된 블랍 쌍을 제거하는 단계, 2개의 쌍들이 열을 가지고 있고 대칭인 경우, 다른 식별된 블랍 쌍보다 더 작은 폭을 가지는 식별된 블랍 쌍을 제거하는 단계, 2개의 쌍들이 매우 적은 열 오버랩을 가지고 있는 경우, 다른 식별된 블랍 쌍 내에 놓인 식별된 블랍 쌍을 제거하는 단계, 및 2개의 쌍들이 매우 적은 열 오버랩을 가지고 있는 경우, 다른 식별된 블랍 쌍 아래에 놓인 식별된 블랍 쌍을 제거하는 단계를 포함하는 적어도 하나의 방법 단계를 수행하는 것에 의해 확인된다.

본 발명의 전술된 측면(aspect) 및 다른 특징은 첨부 도면과 함께 취해진 이하의 상세한 설명에서 상세히 설명된다.
도 1은 본 발명의 일 실시예에 따른 차량 검출 시스템의 블록도.
도 2는 본 발명의 일 실시예에 따른 차량 검출 시스템의 블록도.
도 3은 본 발명의 예시적인 실시예에 따라 동적으로 변하는 ROI에서 차량의 캡처된 이미지를 도시하는 도면.
도 4는 본 발명의 일 실시예에 따른 장면 인식 모듈과 도로 지형 추정 모듈에 교대로 제공되는 입력 프레임을 도시하는 도면.
도 5는 본 발명의 예시적인 실시예에 따라 동적으로 변하는 ROI의 캡처된 이미지를 도시하는 도면.
도 6은 본 발명의 일 실시예에 따른 도로 지형 추정 모듈의 블록도.
도 7은 본 발명의 예시적인 실시예에 따라 도로의 경사와 커브에 대해 변하는 동적으로 변하는 ROI를 도시하는 도면.
도 8은 본 발명의 예시적인 실시예에 따라 분할할 캡처된 이미지를 도시하는 도면.
도 9는 본 발명의 예시적인 실시예에 따라 분할을 수행한 후 유도된 출력 이미지를 도시하는 도면.
도 10은 본 발명의 예시적인 실시예에 따라 색상 이미지 분할(hue image segmentation)을 수행하기 위한 3x3 매트릭스를 도시하는 도면.
도 11은 본 발명의 예시적인 실시예에 따라 분할된 이미지에 필터링을 수행한 후 출력 이미지를 도시하는 도면.
도 12는 본 발명의 예시적인 실시예에 따라 2개의 병합된 블랍(merged blob)을 분리한 것을 도시하는 도면.
도 13은 본 발명의 예시적인 실시예에 따라 각 블랍에 상이한 라벨이 할당된 이미지를 도시하는 도면.
도 14는 본 발명의 일 실시예에 따라 어두운 프레임과 밝은 프레임으로부터 최종 블랍 리스트를 준비하는 공정 흐름도.
도 15는 본 발명의 예시적인 실시예에 따라 헤드 라이트(head light), 테일 라이트(tail light) 또는 임의의 다른 라이트를 식별하기 위해 블랍들이 분류된 이미지를 도시하는 도면.
도 16은 본 발명의 예시적인 실시예에 따라 블랍들이 병합된 블랍으로 분류된 이미지를 도시하는 도면.
도 17은 본 발명의 일 실시예에 따라 짝 맞춤 논리에 기초하여 유효한 쌍(valid pair)을 식별하는 공정을 도시하는 도면.
도 18은 본 발명의 일 실시예에 따라 블랍을 검증하고 확인하는 방법을 도시하는 도면.
도 19는 본 발명의 예시적인 실시예에 따라 검증(validation) 및 확인(verification)을 수행하기 전과 후의 블랍 쌍을 갖는 이미지를 도시하는 도면.
도 20은 본 발명의 일 예시적인 실시예에 따라 병합된 라이트/블랍을 도시하는 도면.
도 21은 본 발명의 일 실시예에 따라 이륜차를 검출하는 동적으로 변하는 ROI에서 유효한 블랍을 식별하는 방법을 도시하는 도면.
도 22는 본 발명의 일 실시예에 따라 추적 모듈의 상태 기계 사이클을 도시하는 도면.
도 23은 본 발명에 따른 거리 추정 모듈에 의해 검출된 차량과 호스트 차량 사이의 거리를 추정하는 일 실시예를 도시하는 도면.
도 24는 본 발명의 예시적인 실시예에 따라 추정된 거리에서 검출된 차량을 도시하는 도면.
도 25는 본 발명의 일 실시예에 따라 차량 검출 시스템에 의해 하나 이상의 차량을 검출하는 방법 흐름도.

본 발명의 실시예는 이제 첨부 도면을 참조하여 상세히 설명된다. 그러나, 본 발명은 본 실시예로 제한되지 않는다. 본 발명의 디바이스의 여러 요소들의 사이즈, 형상, 위치, 개수 및 구성은 단지 예시적인 것일 뿐, 본 발명의 범위를 벗어남이 없이 이 기술 분야에 통상의 지식을 가진 자에게는 여러 변형이 가능할 것이다. 따라서, 본 발명의 실시예는 본 발명의 기술 분야에 통상의 지식을 가진 자에게 본 발명을 보다 명확히 설명하기 위해 제공된 것이다. 첨부 도면에서, 동일한 참조 부호는 동일한 부분을 나타내는데 사용된다.

본 명세서에서 여러 곳에 있는 "일", "하나의" 또는 "일부" 실시예(들)를 언급할 수 있다. 이것은 각 언급이 반드시 동일한 실시예(들)라는 것을 의미하는 것도 아니고 또 이 특징만이 단일 실시예에 적용된다는 것을 의미하는 것도 아니다. 그리하여 상이한 실시예에 있는 단일 특징들이 결합되어 다른 실시예를 제공할 수도 있다.

본 명세서에 사용된 바와 같이, 단수 형태 "일", "하나의" 및 "상기"는, 명시적으로 달리 언급되지 않는 한, 복수의 형태도 포함하는 것으로 의도된다. 본 명세서에서 사용될 때 "구비하고", "포함하고", "구비하는" 및/또는 "포함하는"이라는 용어는, 언급된 특징, 정수, 단계, 동작, 요소 및/또는 부분이 존재하는 것을 제시하는 것일 뿐, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 부분, 및/또는 이들의 그룹이 존재하거나 추가되는 것을 배제하는 것이 아닌 것으로 더 이해된다. 하나의 요소가 다른 요소와 "연결된" 또는 "결합된" 것으로 언급될 때, 이 하나의 요소는 다른 요소에 직접 연결되거나 결합될 수도 있고 또는 개재되는 요소들이 존재할 수도 있는 것으로 이해된다. 나아가, 본 명세서에서 사용된 "연결된" 또는 "결합된"이라는 것은 동작가능하게 연결되거나 결합된 것을 포함할 수 있다. 본 명세서에서 사용될 때, "및/또는"이라는 용어는 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 조합과 배열을 포함한다.

달리 정의되지 않는 한, (기술적인 용어와 과학적인 용어를 포함하여) 본 명세서에서 사용된 모든 용어는 본 발명이 속하는 기술 분야에 통상의 지식을 가진 자에 일반적으로 이해되는 바와 동일한 의미를 가진다. 일반적으로 사용되는 사전에 한정된 것과 같은 용어는 관련 기술 분야에서 사용되는 의미와 같은 의미를 가지는 것으로 해석되어야 하고, 본 명세서에서 명시적으로 그렇게 정의되지 않는 한, 이상화되거나 과도하게 형식적인 의미로 해석되어서는 안되는 것으로 더 이해된다.

본 발명은 야간에 발생하는 낮은 조명 상태에서 차량을 검출하는 차량 검출 시스템 및 방법을 개시한다. 차량을 검출하는 것은 전방 충돌 경고 시스템, 동적인 높은 빔 지원 기구, 지능적인 헤드라이트 제어 시스템 등과 같은 다수의 애플리케이션에서 요구된다. 본 시스템은 테일 라이트와 같은 차량 라이트를 기본 특징으로 사용하여 야간에 차량을 검출한다. 본 시스템은 상이한 분류기를 사용하여 차량을 강력하게 검출하고 잘못된 물체를 식별하여 제거한다.

도 1은 본 발명의 일 실시예에 따른 차량 검출 시스템의 블록도를 도시한다. 차량 검출 시스템(100)은 장면 인식 모듈(101), 도로 지형 추정 모듈(102), 및 차량 검출 모듈(103)을 포함한다. 장면 인식 모듈(101)은 높은 노출 이미지와 낮은 노출 이미지 중 하나의 이미지를 수신하고 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 장면/이미지의 상태를 식별하도록 구성된다. 장면 인식 모듈은 동적으로 변하는 관심 구역(ROI)에서, 포화된 픽셀, 휘도, 및 구역 변동을 결정한다. 도로 지형 추정 모듈(102)은 높은 노출 이미지 또는 낮은 노출 이미지를 수신하고 동적으로 변하는 관심 구역(ROI)에서 도로의 커브, 경사 및 소실점과 같은 도로의 하나 이상의 특징을 결정하도록 구성된다. 일 실시예에서, 도로 지형 추정 모듈은 장면 인식 모듈에 결합되고 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 장면/이미지의 상태를 수신한다. 차량 검출 모듈(103)은 장면 인식 모듈(101)과 도로 지형 추정 모듈(102)에 결합되고, 야간에 도로에서 호스트 차량의 전방에 있는 선행하는 차량 또는 접근하는 차량이라고 언급되는 하나 이상의 차량을 검출하도록 구성된다. 여기서, 시스템은 고속도로와 도시 도로에서 야간 상태에서 동작한다. 시스템은 차량의 라이트를 기본 특징으로 사용하여 차량 분류기와 함께 차량을 검출한다.

동적으로 변하는 ROI에서 이미지는 이미지 캡처 유닛에 의해 캡처되어 (상이한 이득/노출을 갖는 높은 및 낮은 노출/채널과 같은) 이미지를 시스템(100)에 제공한다. 이미지 캡처 유닛은 차량 카메라일 수 있다. 입력 이미지는 그레이 이미지(gray image)와 색상 이미지(hue image)로 변환되고, 시스템(100)에 입력으로 제공된다. 시스템(100)은 관심 구역(ROI)에 대해 동작한다. 장면 인식 모듈(101)은 주간 대(v/s) 야간, 야간에 어두운 대(v/s) 밝은, 안개, 및 비와 같은 장면 상태를 식별한다. 도로 지형 추정 모듈(102)은 커브, 경사 등과 같은 도로 시나리오를 식별한다. 일 실시예에서, 동적 ROI는 도로의 커브와 경사가 변하는 경우 변하는 ROI 이다. 도로 지형 추정 모듈(102)과 장면 인식 모듈(101)은 높은 노출/이득 프레임과 낮은 노출/이득 프레임의 세트를 교대로 수신하고 처리한다. 시스템(100)은 전자 제어 유닛(104)에 연결되고, 차량 검출 모듈(103)에 의해 처리된 출력 신호를 제공한다. 전자 제어 유닛(104)은 수신된 신호를 처리하여 차량의 사용자 또는 운전자에 디스플레이하거나 경고한다.

일 실시예에서, 동적으로 변하는 ROI는 다음 파라미터, 즉:

포화된 픽셀

휘도

구역 변동

컬러

에 기초하여 도로 지형 추정 모듈(102)에 의해 계산된다. 일 실시예에서, 동적으로 변하는 구역에서 장면/이미지는 상기 파라미터 확산이 ROI에 걸쳐 높은 경우 밝은 것으로 분류된다.

도 2는 본 발명의 일 실시예에 따른 차량 검출 시스템의 블록도를 도시한다. 차량 검출 모듈(103)은 이미지 분할 모듈(201), 필터링 모듈(202), 블랍 식별 모듈(203), 물체 식별 모듈(204), 쌍 검증 및 확인 모듈(205), 추적 모듈(207), 및 거리 추정 모듈(208)을 포함한다. 차량 검출 모듈(103)은 이륜차 식별 모듈(206)을 더 포함한다.

이미지 분할 모듈(201)은 장면 인식 모듈(101) 또는 도로 지형 추정 모듈(102)로부터 입력 데이터를 수신하고, 이진 이미지 데이터(binary image data)를 제공하도록 구성된다. 이진 이미지 데이터는 테일 라이트, 헤드 라이트, 잡음, 및 원치 않는 정보를 포함한다.

필터링 모듈(202)은 이미지 분할 모듈(201)에 결합되고, 매우 작은 물체, 긍정 오류(false positive), 및 유사한 다른 정보인 잡음과 원치 않는 정보를 제거하도록 구성된다.

블랍 식별 모듈(203)은 필터링 모듈(202)에 결합되고, 필터링된 이미지에서 하나 이상의 블랍을 식별하고 나서 각 식별된 블랍의 특성을 결정하도록 구성된다. 블랍 식별 모듈(203)은, 하나 이상의 블랍 각각에 고유한 라벨을 할당하는 단계, 하나 이상의 라벨된 블랍 각각의 특성을 결정하는 단계 - 이 특성은 블랍 기원(origin), 폭, 높이, 박스 영역, 픽셀 영역, 적색 픽셀의 수, 종횡비(aspect ratio), 및 블랍 프로파일을 포함한다 - , 이 결정된 특성에 기초하여 어두운 프레임과 밝은 프레임 중 하나에서 하나 이상의 라벨된 블랍의 하나 이상의 융합(fusion)을 결정하는 단계, 및 이 하나 이상의 라벨된 블랍을 헤드 라이트, 테일 라이트, 병합된 라이트 및 무효 라이트(invalid light) 중 적어도 하나로 분류하는 단계를 포함하는 단계를 수행하도록 구성된다.

물체 식별 모듈(204)은 블랍 식별 모듈(203)에 결합되고, 하나 이상의 짝 맞춤 논리에 기초하여 물체를 식별하도록 구성된다. 물체 식별 모듈(204)은, 하나 이상의 블랍의 수평 오버랩(horizontal overlap)을 결정하는 단계, 이 하나 이상의 블랍의 종횡비를 결정하는 단계, 이 하나 이상의 블랍의 픽셀 영역 비율을 결정하는 단계, 이 하나 이상의 블랍의 폭 비율을 결정하는 단계, 및 이 하나 이상의 블랍의 픽셀-대-박스 영역 비율을 결정하는 단계를 포함하는 단계 중 적어도 하나를 수행하도록 구성된다.

쌍 검증 및 확인 모듈(205)은 물체 식별 모듈(204)에 결합되고, 하나 이상의 식별된 블랍 쌍을 검증하고 확인하도록 구성된다. 쌍 검증 및 확인 모듈(205)은, 식별된 블랍 쌍을 검증하는 단계, 라이트 행(row of light)들 사이에 하나 이상의 식별된 블랍을 검증하는 단계, 2개 이상의 식별된 블랍 쌍들 사이에 하나 이상의 식별된 블랍을 확인하는 단계, 및 하나 이상의 병합된 블랍을 식별하는 것에 의해 병합된 라이트를 검증하는 단계를 포함하는 하나 이상의 단계를 수행하도록 구성된다. 식별된 블랍 쌍은, 쌍의 폭과 종횡비를 결정하는 단계, 이 쌍들 사이에 짝이 맞춰지지 않은 블랍(non-paired blob)의 수를 결정하는 단계, 및 짝이 맞춰진 블락과 짝이 맞춰지지 않은 블랍의 영역을 쌍의 폭의 퍼센트로 결정하는 단계를 포함하는 단계를 수행하는 것에 의해 검증된다.

일 실시예에서, 하나 이상의 식별된 블랍은 ROI에서 라이트 행에 걸쳐 라인 맞춤 알고리즘(line fit algorithm)을 수행하는 것을 포함하는 단계를 실행하는 것에 의해 ROI에서 라이트 행들 사이에 검증된다.

추적 모듈(207)은 쌍 검증 및 확인 모듈(205)에 결합되고, 하나 이상의 스테이지에서 하나 이상의 검증되고 확인된 블랍 쌍을 추적하도록 구성된다. 하나 이상의 스테이지는 아이들 스테이지(idle stage), 선추적 스테이지(pre track stage), 추적 스테이지(track stage) 및 추적 취소 스테이지(cancel track stage)를 포함한다.

이륜차 식별 모듈(206)은 블랍 식별 모듈(203)과 쌍 검증 및 확인 모듈(205)로부터 수신된 하나 이상의 블랍 정보에 기초하여 ROI에서 식별된 물체를 이륜차로서 결정하도록 구성된다. 하나 이상의 블랍 정보는, 블랍 식별 모듈에서 분류된 헤드 라이트 또는 테일 라이트이고, 근접한 거리에서 탑승자 형상 프로파일 분류기를 통과한 블랍을 포함한다. 일 실시예에서, 블랍 식별 모듈(203)은 이륜차를 결정하기 위해 관심 구역(ROI)에서 단일 블랍을 식별한다.

추적 모듈(207)은 쌍 검증 및 확인 모듈(205)과 이륜차 식별 모듈(206)에 결합되고, 하나 이상의 스테이지에서 하나 이상의 검증되고 확인된 블랍 쌍/블랍을 추적하도록 구성된다. 하나 이상의 스테이지는 아이들 스테이지, 선추적 스테이지, 추적 스테이지 및/또는 추적 취소 스테이지를 포함한다.

거리 추정 모듈(208)은 검출된 차량 사이즈의 물리적 폭과 렌즈의 초점 길이의 곱과, 이미지에서 검출된 차량의 폭과 카메라의 픽셀로부터 계량기(meter)로 변환하는 팩터의 곱의 비율에 기초하여 호스트 차량과 하나 이상의 검출된 차량 사이의 거리를 계산하도록 구성된다.

도 3은 본 발명의 예시적인 실시예에 따라 동적으로 변하는 ROI에서 차량의 캡처된 이미지를 도시한다. 시스템은 차량의 라이트를 기본 특징으로 사용하여 차량을 검출하고 분류한다. 차량에 미리 한정된 위치에 부착된 이미지 캡처 유닛은, 이미지를 캡처하고 캡처된 이미지를 시스템(100)에 제공한다. 시스템(100)은 높은 노출 이미지(도 3a에 도시)와 낮은 노출 이미지(도 3b에 도시)를 사용한다. 이미지 캡처 유닛은 캡처된 이미지를 높은 노출/이득과 낮은 노출/이득을 포함하는 입력 프레임으로 제공한다. 입력 프레임은 도 4에 도시된 바와 같이 장면 인식 모듈과 도로 지형 추정 모듈에 교대로 제공된다.

도 5는 예시적인 실시예에 따른 캡처된 이미지를 도시한다. 이미지는 이미지 캡처 유닛에 의해 캡처되고 장면 인식 모듈에 제공된다. 장면 인식 모듈(101)은 수신된 이미지를 처리하고, ROI에 걸쳐 포화된 픽셀, 휘도, 컬러 및 구역 변동과 같은 파라미터가 높은 경우, 이미지/장면을 밝은/어두운/안개/비로 분류한다. 시간과 히스테리시스에 걸쳐 누적된 이미지/장면 분류가 분류의 변화를 결정하기 위해 추가된다.

도 6은 본 발명의 일 실시예에 따른 도로 지형 추정 모듈(102)의 블록도를 도시한다. 이 실시예에서, 도로 지형 추정 모듈(102)은 결정된 ROI에 대해 추정된 소실점을 계산한다. 이미지에서 ROI(관심 구역)는 하늘 구역이 없는 잠재적인 차량-전방 도로 장면에서 사용자가 보는 영역이다. 도로 지형 추정 모듈(102)은 오프셋(offset) 추정, 소실점 추정, 피치(pitch) 추정, 장면 인식, 및 차량 외적 파라미터와 같은 입력을 수신하여 도로의 소실점을 결정/추정한다.

동적 ROI는 도 7의 (a)와 (b)에 도시된 바와 같이 도로의 경사와 커브에 따라 변하는 ROI이다.

커브를 추정하기 위하여, 도로 지형 추정 모듈(102)은 전방 곡률을 추정하기 위하여 호스트 차량의 요우 율(yaw rate)과 속력을 사용한다.

경사를 추정하기 위하여, 차량 검출 시스템은 전방 경사를 식별하기 위하여 다음 단서를 사용한다.

연속적인 프레임들 사이에 오프셋을 식별하기 위해 매칭/정합(Matching/Registration) 기반 추적

LDWS(Lane Departure Warning System)로부터의 입력

특징 추적 모듈로부터 피치 추정.

주간 또는 야간 등과 같은 장면 인식 출력

요우 율, 속력 등과 같은 차량 외적 파라미터

다음은 동적 ROI를 사용하는 경우의 잇점이다:

커브 도로에서 차량을 검출할 수 있다

긍정 오류의 감소

불필요한 처리를 피할 수 있어서 시스템 성능을 개선시킬 수 있다

이미지 분할

도 8은 본 발명의 예시적인 실시예에 따라 분할할 캡처된 이미지를 도시한다. 이 실시예에서, 입력된 낮은 노출/이득 이미지와 높은 노출/이득 이미지에서 도시된 라이트는 슬라이드 윈도우(sliding window) 기반 이중 임계값(dual threshold)을 사용하여 분할된다. 1-D 고정된/가변 길이 초점 윈도우의 임계값이 윈도우에 있는 픽셀 값들의 평균과 미리 한정된 최소값과 최대 값으로부터 계산된다. 미리 한정된 최소 값은 이미지의 휘도에 기초하여 조절될 수 있다. 더 밝은 상태에서는 임계값의 최소 값이 더 위로 이동하는 반면, 더 어두운 상태에서는 이 임계값이 미리 한정된 값으로 이동한다. ROI에서 임계값을 계산하는데에는 고정된 윈도우 또는 가변 사이즈 윈도우가 사용된다. 이미지에서 픽셀의 값은 임계값에 기초하여 변경된다. 예를 들어, 7개의 분할된 이미지는 변하는 미리 한정된 최소값과 최대값에 의해 계산된 7개의 상이한 임계값 값을 가지게 형성된다. 분할된 출력은 도 9에 도시된 바와 같은 이진 이미지이다.

색상 이미지를 분할하기 위하여, 색상 이미지와 (그레이스케일 이미지를 사용하여 획득된) 분할된 입력 이미지가 입력으로 취해진다. 색상 이미지의 컬러 정보에 기초하여, 구역의 사이즈는 분할된 라이트 구역 주위에서 증가된다. 분할된 라이트 픽셀 주위의 픽셀 값을 판정하는 것은 낮은 조명 상태 또는 먼 구역의 테일 라이트의 사이즈가 증가될 수 있도록 8개의 인근 적색 컬러 색상 임계값에 기초하여 판정된다. 예를 들어, 3x3 매트릭스는 도 10에 도시된 바와 같고, 중간 픽셀의 값은 분할된 픽셀(즉, '1')과 색상 이미지에 기초하여 판정된다. 색상 이미지는 테일 라이트 상태에서 적색 컬러 색상을 가져야 한다. 이중 레벨 적응적 분할 이미지와 컬러 이미지는 최종 분할된 이미지를 유도하도록 처리된다.

필터링

도 9에 도시된 바와 같은 분할된 이진 이미지는 테일 라이트, 잡음 및 원치 않는 정보로 구성된다. 잡음과 원치 않는 정보는 필터링을 사용하여 제거된다. 필터링은 형태학적 동작(morphological operation) 또는 중앙값 필터링(median filtering)을 사용하여 수행될 수 있다. 침식(erosion)과 팽창(dilation)과 같은 형태학적 동작이 사이즈 3의 구조적 요소에 사용되어서, 3x3 미만의 사이즈의 블랍을 제거한다. 중앙값 필터링은 2x3과 3x2 미만의 블랍 사이즈를 제거하도록 설계된다. 장면에 기초하여 - 더 밝은 장면의 침식을 위해 및 더 어두운 장면에서 중앙값 필터링을 위해 - 분할된 이미지에 필터링이 적용된다. 이 필터링은 장면에 기초하여 임계값이 상이한 모든 분할된 이미지에 수행된다. 필터링 모듈의 출력은 도 11에 도시된 바와 같이 필터링된 이미지이다. 필터링된 이미지로부터, 분할된 픽셀(블랍) 중 현저한 그룹이 식별된다.

병합된 블랍들의 분리:

시스템(100)은 필터링된 이미지에서 2개의 병합된 블랍 - 2개의 테일/헤드 라이트, 다른 라이트를 갖는 테일/헤드 라이트, 반사를 갖는 테일/헤드 라이트 등 - 을 분리하는 서브 모듈을 더 포함한다. 시스템(100)은 3 x 3 커널(kernel)을 갖는 2개의 침식 레벨을 분할된 이미지에 적용하여 2개의 병합된 블랍을 결정하고 분리한다. 다음 공정이 필터링된 이미지에 수행되어, 도 12에 도시된 바와 같이 2개의 병합된 블랍을 분리한다.

필터링된 이미지가 하나의 블랍을 가지는 한편, 2개의 레벨이 침식된 이미지는 동일한 위치에서 2개의 블랍을 가지는 경우, 2개의 블랍을 중심에 놓고 오버랩 영역을 수직으로 절단하여 필터링된 이미지에 있는 블랍을 분열(break)시킨다.

필터링된 이미지가 하나의 블랍을 가지는 한편, 2개의 레벨이 침식된 이미지는 동일한 위치에서 블랍을 전혀 가지지 않거나 또는 하나의 블랍을 가지는 경우, 필터링된 이미지에 블랍을 유지한다.

필터링된 이미지가 하나의 블랍을 가지는 한편, 2개의 레벨이 침식된 이미지는 동일한 위치에서 2개를 초과하는 블랍을 가지는 경우, 어떤 변화도 하지 않는다.

블랍 식별

블랍 식별 모듈(203)은 필터링된 이미지에서 상이한 유형의 블랍을 식별하고 또한 그 특성을 계산한다. 다음 단계들을 수행하여 블랍을 식별한다:

블랍 라벨링

블랍 특성 계산

블랍 융합

블랍 분류.

블랍 라벨링

도 13은 본 발명의 예시적인 실시예에 따라 각 블랍에 상이한 라벨이 할당된 이미지를 도시한다. 라벨링을 위하여, 픽셀들이 4-연결 방법(connectivity method) 을 통해 연결된 경우, 동일한 라벨을 픽셀 그룹에 할당하는 4-연결 방법이 사용된다. 각 블랍에 라벨을 할당한 후, 시작 행, 종료 행, 시작 열, 종료 열, 할당된 라벨, 및 픽셀 영역과 같은 정보가 어레이에 저장된다.

블랍 특성

각 블랍에 라벨을 할당한 후, 다음 특성이 계산된다:

블랍 기원, 이는 블랍이 어두운 프레임으로부터 온 것인지 또는 밝은 프레임으로부터 온 것인지를 나타낸다.

폭, 이는 종료 열과 시작 열 사이의 차이를 포함한다.

높이, 이는 종료 행과 시작 행 사이의 차이를 포함한다

박스 영역, 이는 폭과 높이(즉, 폭 x 높이)의 곱이다

픽셀 영역, 이는 박스 내 백색 픽셀의 총 수를 포함한다

적색 픽셀의 수, 이는 색상 값에 기초하여 적색 픽셀의 총 수를 포함한다

종횡비, 이는 최소(폭, 높이)/최대(폭, 높이)를 포함한다

블랍 프로파일, 이는 블랍의 형상을 포함한다.

블랍 융합

도 14는 본 발명의 일 실시예에 따라 어두운 프레임과 밝은 프레임으로부터 최종 블랍 리스트를 준비하는 공정의 흐름도를 도시한다. 단계(1401)에서, 낮은 노출/이득 프레임 블랍과 높은 노출/이득 프레임 블랍이 블랍의 오버랩을 결정하기 위해 수신된다. 단계(1402)에서, 오버랩이 없는 경우, 높은 노출/이득 프레임 블랍이 잠재적인 테일 라이트인지 여부에 대해 체크된다. 단계(1402)에서, 오버랩이 없는 경우, 낮은 노출/이득 프레임 블랍은 블랍 리스트에 포함되는 것이 허용된다. 낮은 노출/이득 프레임 블랍은 반사 이미지로 인해 발생할 수 있다. 단계(1402)에서 높은 노출/이득 프레임 블랍이 잠재적인 테일 라이트가 아닌 경우, 단계(1404)에서 블랍을 거부한다. 단계(1402)에서 높은 노출/이득 프레임 블랍이 잠재적인 테일 라이트인 경우, 단계(1405)에서 높은 노출/이득 프레임 블랍이 블랍 리스트에 포함되는 것이 허용된다. 단계(1401)에서 블랍들에 오버랩이 있는 경우, 낮은 노출/이득 프레임 블랍이 단계(1406)에서 블랍 리스트에 포함되는 것이 허용된다. 단계(1407)에서, 최종 블랍 리스트가 준비된다.

다음 기준에 기초하여 블랍 리스트가 준비된다:

블랍은 추정된 수평 영역에 있어야 한다.

블랍은 이 블랍 아래에 오버랩되는 다른 블랍을 가져서는 안된다.

이 블랍은 동일한 강도로 그 인접한 블랍들 사이에 영역을 가져서는 안된다.

수평 ROI는 밝은 프레임으로부터 잠재적인 후보를 식별하기 위해 총 폭의 35-65%로 한정된다.

밝은 프레임으로부터 주로 짝을 이루는 블랍들을 통과시킨다. 이 블랍이 병합된 블랍(높은 빔/낮은 빔)인 경우 이것은 2개의 블랍들 사이에 수평 오버랩을 짝 맞추기 위해 어두운 프레임을 통과시킨다. 연속적인 프레임으로 움직이는 것으로 인해 오버랩 임계값은 매우 낮게 취해진다.

밝은 프레임에 있는 하나의 큰 블랍이 어두운 프레임에서 1개를 초과하는 블랍을 가지는 경우, 블랍을 어두운 프레임으로부터 온 것으로 고려한다.

블랍 분류

도 15는 본 발명의 예시적인 실시예에 따라 헤드 라이트, 테일 라이트 또는 임의의 다른 라이트를 식별하기 위해 블랍들이 분류된 이미지를 도시한다. 최종 블랍 리스트가 준비되면, 블랍은 헤드 라이트, 테일 라이트, 병합된 라이트 및 다른 라이트로 분류된다. 블랍에 대한 적색 스코어(적색 픽셀의 수)가 미리 한정된 임계값을 초과하는 경우 블랍은 테일 라이트이다. 테일 라이트 분류는 도 15(a)에서 청색 컬러로 도시된다. 블랍은 다음 기준에 기초하여 헤드 라이트로 분류된다:

a) 반사로 인해 블랍이 블랍 아래에 임의의 블랍을 가지는 경우; 및/또는

b) 블랍들 사이에 수평 오버랩이 있고 또한 2개의 블랍들의 높이의 비율이 최대 차량 폭의 절반 미만인 경우; 및/또는

c) 블랍이 최소값을 가지고 블랍 주위에 2개의 최대값이 있는 경우 - 여기서 최소값과 최대값의 패턴은 특정 블랍의 수직 프로파일을 사용하여 결정된다 - .

테일 라이트와 헤드 라이트를 분류한 후, 낮은 적색 스코어를 가지고 있고 작은 사이즈를 가지는 모든 헤드라이트는 이를 무효 블랍으로 라벨링하는 것에 의해 리스트로부터 제거된다. 나아가, 임의의 블랍이 블록 아래에 하나를 초과하는 블랍을 가지고 있는 경우, 이 블랍도 또한 무효 블랍으로 라벨링된다.

상기 블랍을 병합된 블랍으로 분류하기 위하여, 101 및 111과 같은 패턴이 체크되고, 여기서 0은 최소값 위치에 대응하고, 1은 최대값 위치에 대응한다. 패턴을 결정하기 위해, 블랍은 3개의 구획으로 분할되고, 각 구획에 대해 최소(min) 위치와 최대(max) 위치가 필터링된 이미지를 사용하여 결정된다. 이들 값을 사용하여, 101 패턴을 체크하기 위해 좌측 구획과 우측 구획에 대한 중심 구획의 비율이 결정된다. 111 패턴을 체크하기 위해서는 중심 구획에 대한 좌측 구획과 우측 구획의 비율이 결정된다.

일 실시예에서, 블랍 식별 모듈(203)은 이륜차를 결정하기 위해 관심 구역(ROI)에서 단일 블랍을 식별한다.

도 16은 본 발명의 예시적인 실시예에 따라 블랍이 병합된 블랍으로 분류된 이미지를 도시한다. 블랍이 병합된 것으로 분류되고 그 사이즈가 작은 경우, 블랍은 테일 라이트 또는 헤드 라이트로서 그 앞선 분류에 기초하여 테일 라이트 또는 낮은 빔 라이트로 각각 고려된다.

짝 맞춤 논리

도 17은 본 발명의 일 실시예에 따라 짝 맞춤 논리에 기초하여 유효한 쌍을 식별하는 공정을 도시한다. 시스템(100)은 학습 기반 접근법을 따라 블랍으로부터 테일 라이트 쌍을 결정하는 짝 맞춤 논리 모듈을 더 포함한다. 짝 맞춤 공정은 아래에 나열된 기준에 기초하여 수행된다:

1. 블랍의 수평 오버랩에 대해 체크가 수행된다,

2. 블랍의 종횡비에 대해 체크가 수행된다,

3. 블랍의 픽셀 영역 비율에 대해 체크가 수행된다,

4. 블랍의 폭 비율에 대해 체크가 수행된다,

5. 블랍의 픽셀-대-박스 영역 비율에 대해 체크가 수행된다,

6. 더 큰 블랍에 대해서는, 블랍의 형상과 매칭하는지에 대해 체크가 수행된다. 블랍 형상은 침식된 이미지로부터 원래의 블랍 이미지를 공제하는 것에 의해 획득될 수 있다. 여기서, 사이즈 3의 구조적 요소에 침식이 수행된다. 코사인 유사성(cosine similarity)을 사용하여 블랍의 형상을 체크한다.

코사인 유사성: 이 코사인 유사성은 블랍의 벡터들 간의 유사성을 측정한다.

코사인 유사성 = A·B/

A

B

.

여기서,

A

는 벡터 A의 크기이고,

B

는 벡터 B의 크기이다.

상기 체크로부터 획득된 가중된 스코어에 기초하여 최종 신뢰성 스코어가 계산된다. 임계값을 초과하는 스코어를 갖는 스코어 매트릭스마다 짝 맞춤이 수행된다. 짝 맞춤은 매우 낮은 임계값에서는 매우 기본적이어서, 불균일한 테일 라이트, 사이드 라이트 온, 및 약간 어긋난 블랍 짝 맞춤을 또한 허용할 수 있다.

상기 결정된 쌍에 대해서는 동적 ROI에 기초하여 차량 폭을 체크하는 것이 수행된다. 이 전체 논리에 대해 중심이 되는 것은 시스템 초기화 시간에 미리-계산되고 로딩되는 동적 삼각형(dynamic triangle)이다(여기서 ROI는 카메라와 차량의 파라미터마다 업데이트를 계속 유지한다).

쌍의 도심의 행 폭(centroid row width)은 도 17(a)에 도시된 바와 같이 최소와 최대 삼각형 형상(동적 ROI)의 행 폭 사이에 놓여 있어야 한다. (도 17(b)에 도시된) 짝 맞춤 논리의 출력은 차량으로 예상되는 쌍이다.

쌍의 검증 및 확인(V&V)

쌍 검증 및 확인 모듈(205)은 쌍 블랍과 병합된 블랍을 검증하고 확인한다. 모듈(205)에의 입력은 도 19(a)에 도시된 바와 같이 모든 예상되는 쌍이다. 이 모듈(205)은 쌍 검증 모듈 및 병합된 라이트 검증 모듈을 포함하는 2개의 서브 모듈로 분할된다.

쌍의 검증

도 18은 본 발명의 일 실시예에 따라 블랍을 검증하고 확인하는 방법을 도시한다. 쌍의 검증은 개별 쌍에, 라이트 행들 사이에 있는 쌍에 대해, 및 쌍들 사이에 대해 수행된다.

단일 쌍의 확인:

도 18(a)은 일 실시예에 따라 블랍에 대해 단일 쌍을 검증하는 방법을 도시한다. 블랍의 단일 쌍을 검증하기 위하여 다음 조건이 충족될 필요가 있다:

1. 쌍의 폭과 종횡비

2. 쌍 사이에 짝이 맞춰지지 않은 블랍들의 수

3. 쌍의 폭의 퍼센트로서, 짝이 맞춰진 블랍과 짝이 맞춰지지 않은 블랍의 영역

라이트 행들 사이에 있는 쌍의 검증:

일 실시예에서, 반사기 또는 거리 조명과 같은 라이트 행의 시나리오에 대해 블랍의 쌍이 검증될 것이 요구된다. 대부분의 경우에 반사기 또는 거리 조명은 행으로 있다. 라인 맞춤 알고리즘이 라이트 행에 걸쳐 체크된다. 라이트 행이 라인으로 있고, 연속적인 블랍의 쌍 사이의 교차 비율(cross ratio)이 동일한 경우 이들 라이트로 형성된 쌍은 유효하지 않다.

쌍 사이의 검증:

도 18(b) 내지 도 18(j)는 일 실시예에 따라 블랍 쌍을 확인하는 방법을 도시한다. ROI에서 2개의 블랍 쌍들 중에서 실제 블랍 쌍을 결정하는데 다음 규칙이 적용된다:

1. 2개의 쌍들이 동일한 블랍을 공유하고 있고 열 오버랩이 매우 높거나 또는 매우 낮은 경우, 도 18(b) 내지 도 18(c)에 도시된 바와 같이 더 작은 폭의 쌍을 제거한다,

2. 2개의 쌍들이 동일한 블랍을 공유하고 있고 열 오버랩이 매우 높지도 않고 또 매우 낮지도 않고 그리고 중간 블랍이 대칭적으로 위치되지 않은 경우, 도 18(d) 내지 도 18(e)에 도시된 바와 같이 더 큰 폭의 쌍을 갖는 쌍을 제거한다,

3. 2개의 쌍들이 열 오버랩과 0의 행 오버랩을 가지고 있고 아래쪽 쌍의 폭과 높이가 위쪽 쌍보다 더 적은 경우, 아래쪽 쌍을 제거하고, 그리고 만약 아래쪽 쌍의 높이와 강도가 위쪽 쌍을 초과하고, 폭이 위쪽 쌍 미만인 것으로 가정하면, 위쪽 쌍을 제거하고, 그리고 만약 열 오버랩이 매우 높고 폭과 높이가 동일한 경우, 도 18(f), 도 18(g), 도 18(h)에 도시된 바와 같이 더 적은 강도를 갖는 쌍을 제거한다,

4. 만약 2개의 쌍들이 열과 행 오버랩을 가지고 있고 비-대칭인 경우, 더 큰 폭을 갖는 쌍을 제거하고, 그리고 만약 열 오버랩에 우수한 대칭성이 있는 것으로 가정하면, 도 18(i) 내지 도 18(j)에 도시된 바와 같이 더 작은 폭을 갖는 쌍을 제거한다,

5. 2개의 쌍들의 열 오버랩이 매우 적고 하나의 쌍이 다른 쌍 내에 있는 경우, 도 18(k)에 도시된 바와 같이 내부 쌍을 제거한다,

6. 2개의 쌍들의 열 오버랩이 매우 적고 하나의 쌍이 다른 쌍 아래에 있는 경우, 도 18(l)에 도시된 바와 같이 아래쪽 쌍을 제거한다.

도 19는 본 발명의 예시적인 실시예에 따라 검증과 확인을 수행하기 전과 후의 블랍 쌍을 갖는 이미지를 도시한다. 도 19(a)는 검증과 확인을 수행하기 전의 4개의 식별된 블랍 쌍을 도시하고, 도 19(b)는 도 18에 설명된 방법에 기초하여 체크를 수행한 후에 3개의 유효하고 확인된 블랍 쌍을 도시한다. 도 19에서 쌍의 검증 후에, 4륜차 기준을 만족시키는 쌍이 추적기에 허용되고 나머지 쌍은 제거된다.

병합된 라이트 검증

도 20은 본 발명의 예시적인 실시예에 따른 병합된 라이트/블랍을 도시한다. 일 실시예에서, 병합된 라이트는 먼 거리에서 차량의 헤드 라이트이고, 검증될 필요가 있다. 병합된 라이트를 검증하기 위하여, 다음 기준이 고려된다:

1. 병합된 라이트가 선행하는 4륜차 차량과 수직 오버랩을 가지고 있고 그 아래에 있는 경우, 이것은 무효이다.

2. 병합된 라이트가 접근하는 차량과 수직 오버랩을 가지는 경우, 병합된 라이트는 테일 라이트, 잡음, 또는 원치 않는 정보로 분류되고, 그리고 만약 병합된 라이트가 접근하는 차량 아래에 있는 경우, 병합된 라이트는 무효이다.

3. 병합된 라이트가 형상 매칭을 위한 제1 미리 한정된 임계값을 초과하는 형성 매칭 스코어를 가지는 쌍과 수직 오버랩을 가지고 있고, 병합된 라이트 스코어가 제2 미리 한정된 임계값 미만인 경우. 병합된 라이트가 제1 미리 한정된 임계값보다 더 작은 형상 매칭 스코어를 가지는 쌍과 수직 오버랩을 가지는 경우, 병합된 라이트는 무효이다.

4. 병합된 라이트가 4륜차의 선행하는 쌍과 수직 오버랩과 수평 오버랩을 가지는 경우, 병합된 라이트는 무효이다.

5. 병합된 라이트가 수직 오버랩을 가지고 있고, 수평 오버랩이 없고, 형상 매칭 스코어가 미리 한정된 임계값을 초과하고, 병합된 블랍 스코어가 미리 한정된 임계값 미만인 경우, 병합된 블랍은 무효이다.

6. 더 작은 병합된 라이트가 상기 경우에 제거되는 것으로 취해지는 경우, 병합된 라이트 추적기로 체크가 수행된다. 병합된 라이트가 수직 오버랩, 수평 오버랩, 영역 비율, 높이 비율을 가지고 있고, 미리 한정된 임계값의 범위 내에 있는 경우, 병합된 블랍은 유효하다.

이륜차 검출

도 21은 본 발명의 일 실시예에 따라 이륜차를 검출하기 위해 동적으로 변하는 ROI에서 유효한 블랍을 식별하는 방법을 도시한다. 이륜차 검출 모듈(206)은 블랍 분류 정보를 사용한다. 이 모듈(206)은 선행하는 접근하는 차량을 검출한다. 짝이 맞춰지지 않고, 병합된 라이트로 분류되지 않고, 헤드 라이트 또는 테일 라이트로 분류된 블랍은 이륜차로 예상되는것으로 고려되고, 도로 구배, 분류기를 통한 탑승자 프로파일, 블랍 움직임과 같은 추가적인 체크를 수행하여 이 블랍을 이륜차로 컨펌(confirm)한다. 또한 공간에서 발생 유효성(validity)에 대해 체크가 수행되는데, 예를 들어, 접근하는 헤드라이트에서 왼손 드라이브에 대해, 호스트 차량은 우측 구역에 블랍을 가지고 있고, 오른손 드라이브에 대해서 블랍은 좌측 구역에 있어야 한다. 추가적으로, 블랍은 쌍과 수직 오버랩을 가져서는 안된다. 상기 조건을 만족시키는 블랍은 이륜차로 식별된다. 도 21은 식별된 블랍이 전술된 조건에 순응하지 않아서 무효 블랍으로 고려되는 2개의 예를 도시한다.

추적기

도 22는 본 발명의 일 실시예에 따른 추적 모듈의 상태 기계 사이클을 도시한다. 추적 모듈(207)의 기능은 아이들 상태(2201), 선추적 상태(2202), 추적 상태(2203), 및 추적 취소 상태(2204)로 구성된 4개의 스테이지로 분할된다. 디폴트로, 추적 모듈/추적기는 아이들 상태(2201)에 있다. 물체가 4륜차의 경우에 하나의 쌍(/이륜차의 경우에 블랍)으로 검증되자마자, (이전의 매칭 활성 추적기가 존재하지 않는 경우) 아이들 상태(2201)로부터 선추적 상태(2202)로 상태 변화를 하고 새로운 추적이 개시된다. 선추적 상태(2202)는 쌍/블랍의 존재를 재컨펌하는데 적용된다. 선추적된 물체를 쌍/블랍으로 검증하고 이 물체를 추적 상태(2203)로 이동시키는 조건은 아래에 나열된다. 쌍/블랍으로 검증된 선추적된 물체는 다음 조건, 즉:

이것이'n'개의 프레임에서 우수한 신뢰성 스코어로 검출된 경우 - 각 프레임에서 쌍/블랍의 신뢰성은 짝 맞춤 논리/이륜차 검출에 의해 리턴된 검출 신뢰성으로부터 획득된다 - ,

이것이 우수한 발생 빈도를 가지는 경우,

이것이 (4륜차 차량에만 적용가능한) 우수한 움직임 스코어를 가지는 경우 - 추적기는 쌍의 거동을 추적한다. 여기서, 2개의 블랍은 직렬로 이동하는 것으로 고려된다. 전방 차량에 대해서만 반대 방향으로 움직이는 것이 허용되는데, 즉 차량이 호스트 차량 쪽으로 다가오거나 호스트 차량으로부터 멀어지는 방향으로 이동된다 -

이 충족되는 경우에만 추적 상태(2203)로 이동된다.

추적 상태(2203)에서는 칼만 필터(Kalman filter)를 사용하여 추적된 물체에 대해 연속적으로 예측하고 업데이트하는 것이 수행된다. 이 기술 분야에 알려진 임의의 다른 적절한 필터가 사용될 수 있다. 추적된 물체가 특정 프레임에서 놓친 것으로 발견된 경우, 칼만 예측을 사용하여 한정된 박스(bounding box)를 디스플레이한다. 또한, 동시에 추적기가 추적 상태(2203)로부터 추적 취소 상태(2204)로 이동된다. 추적 취소 상태(2204)에서는 'm'개의 프레임에 대해 물체가 검증된다. 추가적으로, 추적 취소 상태(2204)는 다음 사항, 즉:

운동 제약(constraint)을 가지고 자유로운 체크로 더 큰 영역을 서치하고,

상태가 매우 어두운 경우 높은 이득/높은 노출 프레임에서 서치하고,

근접한 차량 쌍에 대해, 하나의 블랍에 대한 매칭을 시도하여 수명(life)을 연장시키고,

근접한 이륜차 또는 4륜차에 대해, 분류기를 사용하여 인근 지역을 서치하는 것

을 통해 (우수한 개수의 프레임 동안 추적되고 있는) 우수한 추적기의 연속성을 개선시키도록 노력한다. 추적 취소 상태(2204)에 대해서는 'm'개의 프레임에 대한 쌍의 신뢰성을 획득하여, 추적기를 다시 추적 상태(2203)로 이동시킬지 또는 아이들 상태(2201)(비 유효한 쌍)로 이동시킬지 여부를 판정한다.

따라서, 추적 절차에서, 선추적과 다중-프레임 검증은 의사 검출(spurious detection)을 거부하는 반면, 추적 상태와 추적 취소 상태는 대응하는 물체의 검출 갭(gap)을 채우는 경향이 있다.

선추적 상태에서는 'n'개의 프레임의 관찰 시간 윈도우가 변수이고, 추적 취소 상태에서는 'm'개의 프레임의 관찰 시간 윈도우가 변수이다. 쌍/블랍 등급, 쌍/블랍 스코어 및 시간에 따른 움직임, 쌍의 폭, 깜빡이는 쌍(blinking pair)/블랍, 커브/경사 조건과 같은 상이한 조건은 추적기의 상태 변화 판정을 동적이게 만든다.

거리 추정

도 23은 본 발명에 따른 거리 추정 모듈(208)에 의해 검출된 차량과 호스트 차량 사이의 거리를 추정하는 일 실시예를 도시한다. 거리 추정 모듈(208)은, 검출된 차량 사이즈의 물리적 폭과 렌즈의 초점 길이의 곱과, 이미지에서 검출된 차량의 폭과 카메라의 픽셀로부터 계량기로 변환하는 팩터의 곱의 비율에 기초하여 적어도 하나의 검출된 차량과 호스트 차량 사이의 거리를 계산하도록 구성된다.

일 실시예에서, 이 거리는 투시 형상(perspective geometry)을 사용하여 추정된다. 2개의 삼각형은, 3개의 대응하는 정점(vertex) 쌍이 발생점에서 만나는 라인으로 합쳐지는 경우 하나의 점으로부터 투시된 것이다.

투시 방법에서, 검출된 차량과 호스트 차량 사이의 거리는, 도 23에서 도식적으로 도시되고 아래 수식, 즉:

여기서,

f : 렌즈의 초점 길이(mm)

W : 차량 사이즈의 물리적 폭(m)

w : 이미지에서 차량의 폭(픽셀)

k : CCD 카메라의 픽셀로부터 계량기로 변환하는 팩터, 및

D : 타깃 차량까지의 거리(m)

을 사용하여 추정된다.

도 24는 본 발명의 예시적인 실시예에 따라 추정된 거리에서 마지막으로 검출된 차량을 도시한다. 차량 검출 시스템(100)은 직사각형 박스로 지시된 3개의 차량을 검출하였다.

도 25는 본 발명의 일 실시예에 따라 차량 검출 시스템에 의해 하나 이상의 차량을 검출하는 방법을 도시한다. 단계(2501)에서, 높은 노출 이미지와 낮은 노출 이미지 중 하나가 장면 인식 모듈과 도로 지형 추정 모듈 중 적어도 하나에 의해 수신된다. 단계(2502)에서, 하나 이상의 장면의 상태가 장면 인식 모듈에 의해 동적으로 변하는 관심 구역(ROI)에서 식별된다. 단계(2503)에서, 도로의 커브, 경사 및 소실점 중 적어도 하나가 동적으로 변하는 관심 구역(ROI)에서 결정된다. 단계(2504)에서, 잡음과 원치 않는 정보가 필터링 모듈에 의해 제거된다. 단계(2505)에서, 필터링된 이미지에서 하나 이상의 블랍이 식별된다. 단계(2506)에서, 각 식별된 블랍의 특성이 결정된다. 단계(2507)에서, 동적으로 변하는 ROI에서 식별된 하나 이상의 블랍으로부터 하나 이상의 물체가 적어도 하나의 짝 맞춤 논리를 사용하여 식별된다. 단계(2508)에서, 하나 이상의 식별된 블랍 쌍이 검증되고 확인된다.

본 발명의 시스템 및 방법은 첨부 도면에 도시된 본 발명의 실시예에 대하여 설명되었으나, 본 발명은 이 실시예로 제한되지 않는다. 이 기술 분야에 통상의 지식을 가진 자라면, 본 발명의 사상과 범위를 벗어남이 없이 블랍 식별, 블랍 분류, 짝 맞춤 논리 및 쌍의 검증 및 확인에 여러 대체, 변형 및 변경이 이루어질 수 있다는 것을 명백히 인식할 수 있을 것이다.

Claims (17)

1. 차량 검출 시스템으로서,
   높은 노출 이미지와 낮은 노출 이미지 중 하나를 수신하여, 동적으로 변하는 관심 구역(region of interest: ROI)에서 하나 이상의 장면의 상태를 식별하도록 구성된 장면 인식 모듈;
   상기 높은 노출 이미지와 낮은 노출 이미지 중 하나를 수신하여, 상기 동적으로 변하는 관심 구역(ROI)에서 도로의 커브, 경사 및 소실점(vanishing point) 중 적어도 하나를 결정하도록 구성된 도로 지형 추정 모듈; 및
   상기 장면 인식 모듈 및 도로 지형 모듈과 결합되고, 상기 도로에서 하나 이상의 차량을 검출하도록 구성된 차량 검출 모듈
   을 포함하는 것인 차량 검출 시스템.
2. 제1항에 있어서, 상기 차량 검출 모듈은,
   상기 장면 인식 모듈과 상기 도로 지형 추정 모듈 중 적어도 하나로부터 입력 데이터를 수신하고, 이진(binary) 이미지 데이터를 제공하도록 구성된 이미지 분할 모듈;
   상기 이미지 분할 모듈에 결합되고, 잡음과 원치 않는 정보를 제거하도록 구성된 필터링 모듈;
   상기 필터링 모듈에 결합되고, 필터링된 이미지에서 하나 이상의 블랍(blob)을 식별하고 각 식별된 블랍의 특성을 결정하도록 구성된 블랍 식별 모듈;
   상기 블랍 식별 모듈에 결합되고, 적어도 하나의 짝 맞춤 논리(pairing logic)에 기초하여 물체를 식별하도록 구성된 물체 식별 모듈;
   상기 물체 식별 모듈에 결합되고, 하나 이상의 식별된 블랍 쌍을 검증하고 확인하도록 구성된 쌍 검증 및 확인 모듈; 및
   상기 쌍 검증 및 확인 모듈에 결합되고, 하나 이상의 스테이지에서 하나 이상의 검증되고 확인된 블랍 쌍을 추적하도록 구성된 추적 모듈을 포함하는 것인 차량 검출 시스템.
3. 제1항에 있어서, 상기 블랍 식별 모듈과 상기 쌍 검증 및 확인 모듈로부터 수신된 하나 이상의 블랍 정보에 기초하여 상기 ROI에서 식별된 물체를 이륜차로 결정하도록 구성된 이륜차 식별 모듈을 더 포함하고,
   상기 하나 이상의 블랍 정보는 헤드 라이트(head light)와 테일 라이트(tail light) 중 하나인 블랍을 포함하는 것인 차량 검출 시스템.
4. 제2항에 있어서, 상기 필터링된 이미지에서 하나 이상의 블랍을 식별하고 각 식별된 블랍의 특성을 결정하도록 구성된 상기 블랍 식별 모듈은, 다음 단계, 즉:
   상기 하나 이상의 블랍 각각에 고유한 라벨을 할당하는 단계;
   상기 하나 이상의 라벨된 블랍 각각의 특성을 결정하는 단계로서, 상기 특성은 블랍 기원, 폭, 높이, 박스 영역, 픽셀 영역, 적색 픽셀의 수, 종횡비, 및 블랍 프로파일을 포함하는, 상기 결정하는 단계;
   상기 결정된 특성에 기초하여 어두운 프레임과 밝은 프레임 중 하나에서 상기 하나 이상의 라벨된 블랍의 하나 이상의 융합(fusion)을 결정하는 단계; 및
   상기 하나 이상의 라벨된 블랍을 헤드 라이트, 테일 라이트, 병합된 라이트, 및 무효 라이트 중 적어도 하나로 분류하는 단계를 포함하는 것인 차량 검출 시스템.
5. 제2항에 있어서, 상기 적어도 하나의 짝 맞춤 논리에 기초하여 물체를 식별하도록 구성된 상기 물체 식별 모듈은, 다음 단계, 즉:
   상기 하나 이상의 블랍의 수평 오버랩을 결정하는 단계;
   상기 하나 이상의 블랍의 종횡비를 결정하는 단계;
   상기 하나 이상의 블랍의 픽셀 영역 비율을 결정하는 단계;
   상기 하나 이상의 블랍의 폭 비율을 결정하는 단계; 및
   상기 하나 이상의 블랍의 픽셀-대-박스 영역 비율을 결정하는 단계
   중 적어도 하나를 포함하는 것인 차량 검출 시스템.
6. 제2항에 있어서, 하나 이상의 식별된 블랍 쌍을 검증하고 확인하도록 구성된 상기 쌍 검증 및 확인 모듈은, 다음 단계, 즉:
   식별된 블랍 쌍을 검증하는 단계;
   라이트 행(row of light)들 사이에 하나 이상의 식별된 블랍을 검증하는 단계; 및
   2개 이상의 식별된 블랍 쌍 사이에 하나 이상의 식별된 블랍을 확인하는 단계
   중 적어도 하나를 포함하는 것인 차량 검출 시스템.
7. 제6항에 있어서, 하나 이상의 병합된 블랍을 식별하는 것에 의해 병합된 라이트를 검증하는 단계를 더 포함하는 것인 차량 검출 시스템.
8. 제6항에 있어서, 상기 식별된 블랍 쌍을 검증하는 단계는,
   쌍의 폭과 종횡비를 결정하는 단계,
   상기 쌍 사이에 짝이 맞춰지지 않은 블랍의 수를 결정하는 단계, 및
   짝이 맞춰진 블랍과 짝이 맞춰지지 않은 블랍의 영역을 쌍의 폭의 퍼센트로 결정하는 단계를 포함하는 것인 차량 검출 시스템.
9. 제6항에 있어서, 상기 ROI에서 라이트 행들 사이에 하나 이상의 식별된 블랍을 검증하는 단계는 상기 ROI에서 라이트 행에 걸쳐 라인 맞춤 알고리즘(line fit algorithm)을 수행하는 단계를 포함하는 것인 차량 검출 시스템.
10. 제6항에 있어서, 상기 2개 이상의 식별된 블랍 쌍들 사이에 하나 이상의 식별된 블랍을 확인하는 단계는, 다음 단계, 즉:
    상기 2개의 쌍들의 열 오버랩이 매우 높은 것과 매우 낮은 것 중 하나인 경우, 동일한 블랍을 공유하는 2개의 식별된 블랍 쌍들 중에서 더 작은 폭을 가지는 식별된 블랍의 쌍을 제거하는 단계 ;
    상기 2개의 쌍들의 열 오버랩이 매우 높은 것과 매우 낮은 것 중 어느 하나도 아니고, 중간 블랍이 대칭적으로 위치되지 않은 경우, 동일한 블랍을 공유하는 2개의 식별된 블랍 쌍들 중에서 더 큰 폭을 가지는 식별된 블랍 쌍을 제거하는 단계;
    상기 2개의 쌍들이 열 오버랩과 0의 행 오버랩을 가지고 있는 경우, 다른 식별된 블랍 쌍보다 더 작은 폭과 높이를 가지는 식별된 블랍 쌍을 제거하는 단계;
    다른 식별된 블랍 쌍보다 더 적은 강도와 높이를 가지고 있고 더 넓은 폭을 가지는 식별된 블랍 쌍을 제거하는 단계;
    상기 2개의 쌍들이 동일한 폭과 높이를 가지고 있고 매우 높은 열 오버랩을 가지고 있는 경우, 다른 식별된 블랍 쌍보다 더 적은 강도를 가지는 식별된 블랍 쌍을 제거하는 단계;
    상기 2개의 쌍들이 열과 행 오버랩을 가지고 있고 비-대칭인 경우, 다른 식별된 블랍 쌍보다 더 큰 폭을 가지는 식별된 블랍 쌍을 제거하는 단계;
    상기 2개의 쌍들이 열을 가지고 있고 대칭인 경우, 다른 식별된 블랍 쌍보다 더 적은 폭을 가지는 식별된 블랍 쌍을 제거하는 단계;
    상기 2개의 쌍들이 매우 적은 열 오버랩을 가지고 있는 경우, 다른 식별된 블랍 쌍 내에 놓인 식별된 블랍 쌍을 제거하는 단계; 및
    상기 2개의 쌍들이 매우 적은 열 오버랩을 가지고 있는 경우, 다른 식별된 블랍 쌍 아래에 놓인 식별된 블랍 쌍을 제거하는 단계
    중 적어도 하나를 포함하는 것인 차량 검출 시스템.
11. 제1항에 있어서, 상기 장면 인식 모듈은 상기 동적으로 변하는 관심 구역(ROI)에서, 포화된 픽셀, 휘도, 컬러 및 구역 변동을 결정하는 것인 차량 검출 시스템.
12. 제1항에 있어서, 상기 도로 지형 추정 모듈은 상기 장면 인식 모듈에 결합되고 상기 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 장면의 상태를 수신하는 것인 차량 검출 시스템.
13. 제1항에 있어서, 상기 검출된 차량 사이즈의 물리적 폭과 렌즈의 초점 길이의 곱과, 이미지에서 검출된 차량의 폭과 카메라의 픽셀로부터 계량기로 변환하는 팩터의 곱의 비율에 기초하여 적어도 하나의 검출된 차량과 호스트 차량 사이의 거리를 계산하도록 구성된 거리 추정 모듈을 더 포함하는 것인 차량 검출 시스템.
14. 차량 검출 시스템에 의해 하나 이상의 차량을 검출하는 방법으로서,
    장면 인식 모듈과 도로 지형 추정 모듈 중 적어도 하나에 의해 높은 노출 이미지와 낮은 노출 이미지 중 하나를 수신하는 단계;
    상기 장면 인식 모듈에 의해 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 이미지의 상태를 식별하는 단계;
    상기 동적으로 변하는 관심 구역(ROI)에서 도로의 커브, 경사 및 소실점 중 적어도 하나를 결정하는 단계; 및
    상기 하나 이상의 이미지를 처리하여 상기 동적으로 변하는 관심 구역(ROI)에서 하나 이상의 차량을 검출하는 단계를 포함하는 것인 방법.
15. 제14항에 있어서, 상기 하나 이상의 이미지를 처리하는 단계는,
    필터링 모듈에 의해 잡음과 원치 않는 정보를 제거하는 단계;
    필터링된 이미지에서 하나 이상의 블랍을 식별하는 단계;
    각 식별된 블랍의 특성을 결정하는 단계;
    적어도 하나의 짝 맞춤 논리를 사용하여 상기 동적으로 변하는 ROI에서 식별된 하나 이상의 블랍으로부터 하나 이상의 물체를 식별하는 단계; 및
    상기 하나 이상의 식별된 블랍 쌍을 검증하고 확인하는 단계를 포함하는 것인 방법.
16. 제14항에 있어서, 상기 블랍 식별 모듈과 상기 쌍 검증 및 확인 모듈로부터 수신된 하나 이상의 블랍 정보에 기초하여 상기 ROI에서 식별된 물체를 이륜차로 결정하는 단계를 더 포함하고,
    상기 하나 이상의 블랍 정보는 상기 블랍이 헤드 라이트와 테일 라이트 중 하나인 것을 포함하는 것인 방법.
17. 제14항에 있어서, 추적 모듈에 의해 하나 이상의 스테이지에서 상기 하나 이상의 검증되고 확인된 블랍 쌍/블랍을 추적하는 단계를 더 포함하고,
    상기 하나 이상의 스테이지는 아이들(idle) 스테이지, 선추적(pre-track) 스테이지, 추적(track) 스테이지 및 추적 취소(cancel track) 스테이지를 포함하는 것인 방법.

Images