KR101748083B1 - 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치 - Google Patents

야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치 Download PDF

Info

Publication number
KR101748083B1
KR101748083B1 KR1020160062809A KR20160062809A KR101748083B1 KR 101748083 B1 KR101748083 B1 KR 101748083B1 KR 1020160062809 A KR1020160062809 A KR 1020160062809A KR 20160062809 A KR20160062809 A KR 20160062809A KR 101748083 B1 KR101748083 B1 KR 101748083B1
Authority
KR
South Korea
Prior art keywords
rear lamp
outline information
lamp
candidate group
filtering
Prior art date
Application number
KR1020160062809A
Other languages
English (en)
Inventor
송병철
정경민
한태영
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020160062809A priority Critical patent/KR101748083B1/ko
Application granted granted Critical
Publication of KR101748083B1 publication Critical patent/KR101748083B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G06K9/00825
    • G06K9/4661
    • G06K9/6204
    • G06K9/6212
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching

Abstract

야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치가 제시된다. 본 발명에서 제안하는 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법은 입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 단계, 상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계, 상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 단계를 포함한다.

Description

야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치{Method and Apparatus for Vehicle Recognition using Ramp of Automobile in Grayscale Video of Night Scene}
본 발명은 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치에 관한 것이다.
최근 자동 주행 자동차에 대한 관심이 매우 높아진 가운데, 조금 더 낮은 차원의 첨단 운전자 지원 시스템(Advanced Driver Assistance Systems, ADAS)와 같은 주행 보조 시스템 산업 또한 매우 발전하고 있다. 주행 보조 시스템은 주행중인 차량의 전방에 다른 차량이나 사람, 신호등, 표지판, 차선 등을 인식하여 사람이 차량을 운전하기 편하게 해주는 시스템이다.
그러나 야간 상황의 경우 카메라로 획득하는 영상의 조도가 낮은 경우가 많기 때문에 이러한 시스템이 제대로 동작하지 않거나 제공 되지 않기도 한다. 특히 차량을 인식할 때에는 주로 기계 학습을 통해 이루어 지는고, 조도가 낮은 상황에서는 차량의 패턴 정보를 얻기가 쉽지 않다.
이를 보완하기 위해 어두운 주변에 비해 비교적 아주 밝은 자동차의 후방 램프를 검출하여 차량을 인식하는 방법이 있다. 차량 후방 램프는 주로 붉은색을 띄고, 이러한 색상 정보를 활용하여 램프를 검출한다. 그러나 조도가 낮은 야간 상황에서는 색상 정보를 온전히 얻기 힘들다. 또한, 후방 램프의 빛이 포화되어 색이 나타나지 않는 경우가 많다. 따라서 색상 정보를 사용하여 후방 램프를 검출하는 데에는 한계가 존재한다.
한국 등록특허공보 10-1583975호(2016.01.04.)
본 발명이 이루고자 하는 기술적 과제는 색상 정보를 사용하지 않고 흑백 영상에서의 후방 램프 검출 방법 및 장치를 제공하는데 있다. 후방 램프의 밝기를 이용해 후방 램프 후보들을 형성하고 여러 조건들을 대입하여 최종적인 차량 후방 램프를 검출하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법은 입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 단계, 상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계, 상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 단계를 포함한다.
상기 입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 단계는 ROI 영역 및 밝기에 대한 고정 임계값을 설정한 후, 상기 설정된 ROI 영역 이외의 픽셀 값은 0으로 설정하고, 설정된 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행한다.
상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계는 에로드 필터(erode filter)을 이용한 모포로지컬 필터링(morphological filtering)을 수행하는 단계, 상기 모포로지컬 필터링을 수행한 후 영상에서 윤곽 정보들을 획득하는 단계, 상기 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계를 포함한다.
상기 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계는 후방 램프 크기의 최대값 및 최소값을 설정하고, 상기 최대값 및 최소값에 해당하지 않는 윤곽 정보들은 후방 램프 후보군에서 제외한다.
상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 단계는 상기 선정된 후방 램프 후보군들을 두 개씩 비교하여 램프 쌍으로 페어링하는 단계, 미러 NCC 페어링을 이용하여 상기 페어링된 램프 쌍의 두 개의 램프 후보군들을 비교하고, 미리 정해진 임계값을 만족하는 못하는 램프 쌍을 후방 램프 후보군에서 제거하는 단계, 바운딩 박스를 확장하여 최종 후방 램프를 검출하는 단계를 포함한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 장치는 입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 톤 매핑부, 상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 후방 램프 후보군 선정부, 상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 최종 후방 램프 검출부를 포함한다.
상기 톤 매핑부는 ROI 영역 및 밝기에 대한 고정 임계값을 설정한 후, 상기 설정된 ROI 영역 이외의 픽셀 값은 0으로 설정하고, 설정된 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행한다.
상기 후방 램프 후보군 선정부는 에로드 필터(erode filter)을 이용한 모포로지컬 필터링(morphological filtering)을 수행하는 필터링부, 상기 모포로지컬 필터링을 수행한 후 영상에서 윤곽 정보들을 획득하는 윤곽 정보 수집부, 상기 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 검증부를 포함한다.
상기 검증부는 후방 램프 크기의 최대값 및 최소값을 설정하고, 상기 최대값 및 최소값에 해당하지 않는 윤곽 정보들은 후방 램프 후보군에서 제외한다.
상기 최종 후방 램프 검출부는 상기 선정된 후방 램프 후보군들을 두 개씩 비교하여 램프 쌍으로 페어링하는 페어링부, 미러 NCC 페어링을 이용하여 상기 페어링된 램프 쌍의 두 개의 램프 후보군들을 비교하고, 미리 정해진 임계값을 만족하는 못하는 램프 쌍을 후방 램프 후보군에서 제거하는 미러 NCC 페어링 적용부, 바운딩 박스를 확장하여 최종 후방 램프를 검출하는 바운딩 박스 적용부를 포함한다.
본 발명의 실시예들에 따르면 흑백 영상의 밝기 값 만으로 후방 램프를 검출하여 어떤 조도 상황에서든 차량을 인식을 원활하게 할 수 있다. 흑백 영상을 단순 이진화하지 않고 임계값 이상의 밝기에 대해 톤 매핑(tone mapping)을 수행하여 후방 램프의 모양이 깔끔하게 유지 되도록 검출할 수 있다.
도 1은 종래기술에 따른 자동차 후방 램프를 활용한 차량 인식 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 톤 매핑 결과 영상을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 후방 램프 후보군을 선정하는 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 모포로지컬 필터링의 차이에 의한 결과 영상을 비교하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 윤곽 정보들을 획득한 결과 영상을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 최종 후방 램프를 검출하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 램프 쌍으로 페어링한 후 바운딩 박스를 확장하여 최종 후방 램프를 검출한 결과 영상을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 장치의 구성을 나타내는 도면이다.
본 발명은 야간 환경에서 자동차의 후방 램프를 검출하여 차량을 인식하고자 한다. 본 발명은 크게 톤 매핑(Tone mapping), 후방 램프 후보군 선정, 램프 페어링(pairing)의 세 과정으로 나누어 진다.
본 발명의 일 실시예에 따른 톤 매핑(Tone mapping) 과정에서는 고정된 임계값(Threshold) 이상의 픽셀들을 톤 매핑하여 이진 영상과 유사하지만 보다 더 원본 영상에 가까운 영상을 얻는다. 기존의 고정된 값으로 임계값 이상의 픽셀들을 이용하여 이진 영상을 얻는 과정은 적절한 임계값을 찾아야 하며, 영상에 따라 이진 영상에서 램프의 모양이 일그러지는 경우가 많이 있다. 따라서, 본 발명에서는 톤 매핑(Tone mapping)을 이용함으로써 이러한 문제점을 해결하였다.
종래기술에 따른 후방 램프를 이용한 차량 인식 기술들은 램프의 색상 정보를 사용하여 후방 램프를 검출 했다. 그러나 야간 환경에서는 조도가 낮아 색상 정보가 온전하지 않은 경우가 많고, 많은 차량용 카메라는 이러한 낮은 조도에서 영상을 아예 흑백으로 출력 하기도 한다. 본 발명에서는 색상 정보를 사용하지 않고 흑백 영상에서의 후방 램프 검출 알고리즘을 제안한다. 후방 램프의 밝기를 이용해 후방 램프 후보들을 형성하고 여러 조건들을 대입해 최종적인 차량 후방 램프를 검출한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 종래기술에 따른 자동차 후방 램프를 활용한 차량 인식 방법을 설명하기 위한 도면이다.
종래기술에 따른 자동차 후방 램프를 활용한 차량 인식 방법에서는 야간 상황에서 차량의 후방을 검출하기 위해 후방 램프 페어링(pairing) 기법이 많이 사용된다. 야간이라는 시간적 특성상 주변 환경이 어두운데 반해, 차량의 후방 램프는 항상 밝고 대부분 붉은색을 띄고 있다. 그러므로 HSV(Hue Saturation Value) 색상 임계값(HSV Color Threshold)을 이용하여 차량의 후방 램프를 검출한다(110). 다시 말해, HSV 채널에서 밝기 값인 V와 색상 정보인 H를 활용하여 붉고 밝은 광원들을 추출한다. 추출한 광원들을 두 개씩 비교하여 램프 후보 쌍(Light Candidate)으로 페어링(pairing)한다(120). 램프 후보 두 개 중 하나를 좌우 반전하여 NCC 값을 비교하고 임계값보다 큰 값을 가지면 한 쌍으로 인정한다. 이 램프 쌍에 대하여 좌우 램프가 수평선상에 위치하는지 확인하고, 만족하지 못할 경우 탈락 시켜 오검출을 줄인다.
그러나 야간 상황에서는 조도 환경이 매우 다양하기 때문에, 때에 따라 색상 정보를 온전히 사용하지 못하는 경우가 생긴다. 예를 들어, 후방 램프가 붉은색이어야 하는데 뒤 차량 헤드라이트의 영향으로 색상이 모두 포화 되는 경우가 있다. 이러한 경우 종래기술은 전혀 동작하지 않는다. 첫 단계에서 색상정보를 활용해 1차적으로 광원을 뽑아내야 하는데, 색상 정보가 없어 후방 램프 후보군을 생성 할 수가 없다. 이는 야간 상황에서 차량을 인식하는데 큰 문제가 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법을 설명하기 위한 흐름도이다.
본 발명은 크게 세 단계로 나뉘어 진다. 먼저 채널 입력 영상의 미리 정해진 고정 임계값보다 높은 픽셀들이 0~255사이의 값을 가지도록 톤 매핑(Tone mapping)을 수행한다. 이 경우, 결과 영상의 밝은 광원들은 종래기술과 같이 단순 이진화를 수행한 결과보다 더욱 자연스럽고 정확한 결과를 나타낸다. 다음으로, 톤 매핑(Tone mapping)된 결과에서 후방 램프 후보군들을 뽑는다. 후방 램프 후보군들을 뽑을 때 영상의 특성을 고려하여 최대값 및 최소값과 같은 조건을 설정하여 비교한다. 이 과정에서 1차적으로 후방 램프 이외의 것들이 후방 램프 후보군에서 제거된다. 마지막으로, 선정된 후방 램프 후보군에 대하여 두 개씩 비교하고 한 차량의 후방 램프 쌍으로 페어링한다. 이때 램프 간의 거리, 또는 높이 차 등을 고려하여 페어링한다.
도 2를 참조하면, 제안하는 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법은 입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 단계(210), 상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계(220), 상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 단계(230)를 포함한다.
단계(210)에서, 입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행한다. 먼저 ROI 영역 및 밝기에 대한 고정 임계값을 설정한 후, 상기 설정된 ROI 영역 이외의 픽셀 값은 0으로 설정한다. 그리고, 설정된 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행한다.
입력 받은 원본 영상에서는 차량 후방 램프를 곧바로 찾아내기가 힘들다. 영상에 전처리를 해주어 광원과 광원 이외의 배경이 확연히 구분되도록 해야 한다. 기존에는 단순 임계값을 이용한 이진화 방법이 많이 쓰였지만, 이러한 방법은 램프의 모양이 매끄럽지 않은 부자연스러운 결과 영상을 얻게 된다. 따라서 본 발명에서는 단순 이진화를 하지 않고, 톤 매핑(Tone mapping)을 수행한다.
더욱 상세하게, 톤 매핑(Tone mapping)은 먼저 하늘과 같은 영역을 제외한 ROI(Region of Interest)를 설정한다. ROI를 설정한 후, 이 영역 내에서 다음을 수행한다. 먼저, 고정 임계값을 설정한다. 여러 영상들을 확인해본 결과에 의하면, 낮과 같이 조도가 높지 않은 야간 환경의 영상일 경우 차량 후방 램프의 밝기 값은 8bit를 기준으로 적어도 200 이상이 된다. 이러한 값은 영상에 따라 조절할 수 있으며 기본적으로 200으로 설정한다. 이후, 설정한 임계값보다 높은 밝기의 픽셀에 대하여 톤 매핑을 수행한다. 그리고, 200 이상의 밝기 값을 다시 0에서 255 사이의 값으로 매핑한다. 이와 같은 임계값 및 매핑을 위한 사이 값들은 실시예일뿐, 다양한 값을 가질 수 있다. 매핑을 위한 수학식은 하기식과 같다.
Figure 112016049197281-pat00001

도 3은 본 발명의 일 실시예에 따른 톤 매핑 결과 영상을 나타내는 도면이다.
도 3과 같이 입력 영상에 대하여 단순 이진화를 하지 않고, 톤 매핑(Tone mapping)을 수행한다. 먼저 하늘과 같은 영역을 제외한 ROI(Region of Interest)를 설정한다. 설정된 ROI 영역 내에서 고정 임계값을 설정한다. 낮과 같이 조도가 높지 않은 야간 환경의 영상일 경우 차량 후방 램프의 밝기 값은 8bit를 기준으로 적어도 200 이상이 된다. 이러한 고정 임계값은 영상에 따라 조절할 수 있으며 기본적으로 200으로 설정한다. 이후, 설정한 임계값보다 높은 밝기의 픽셀에 대하여 톤 매핑을 수행한다. 그리고, 200 이상의 밝기 값을 다시 0에서 255 사이의 값으로 매핑한다. 이와 같이 톤 매핑을 수행한 결과 영상을 도 3에 나타내었다.
다시 도 2를 참조하면, 단계(220)에서 상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정한다.
단계(220)는 에로드 필터(erode filter)을 이용한 모포로지컬 필터링(morphological filtering)을 수행하는 단계(410), 상기 모포로지컬 필터링을 수행한 후 영상에서 윤곽 정보들을 획득하는 단계(420), 상기 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계(430)를 포함한다.
도 4는 본 발명의 일 실시예에 따른 후방 램프 후보군을 선정하는 과정을 설명하기 위한 흐름도이다.
단계(410)에서, 에로드 필터(erode filter)을 이용한 모포로지컬 필터링(morphological filtering)을 수행한다.
톤 매핑을 수행하고 나면 영상에 따라 많은 잡음들이 나타날 수 있다. 여기서 잡음은 후방 램프를 제외한 나머지를 뜻한다. 이러한 잡음들 중 아주 작은 것들을 없애주기 위해 모포로지컬 필터링(morphological filtering)을 수행한다. 기존에는 3x3 사이즈의 커널로 에로드 필터링(erode filtering)을 수행한 후 다시 다일레이트 필터링(dilate filtering)을 수행하였다. 하지만, 이진화 영상에서 램프의 모양이 깔끔하지 못하면 모포로지컬 필터링(morphological filtering) 후에도 모양이 일그러지게 된다.
본 발명에서는 단순 이진화가 아닌 톤 매핑을 수행하였으므로, 톤 매핑 후의 영상에서 램프의 모양이 매끄러운 상태이다. 따라서, 커널의 사이즈는 3x3을 유지하고 에로드 필터링만 수행하였다. 에로드 필터를 수행하면 작은 잡음들은 제거되고 후방 램프라고 판단하기에 너무 작지 않은 것들만 남게 된다. 또한 램프의 모양이 매끄럽기 때문에 다일레이트 필터링을 수행하지 않아도 모양이 잘 보존 된다.
도 5는 본 발명의 일 실시예에 따른 모포로지컬 필터링의 차이에 의한 결과 영상을 비교하기 위한 도면이다.
에로드 필터를 수행하면 작은 잡음들은 제거되고 후방 램프라고 판단하기에 너무 작지 않은 것들만 남게 된다. 또한 램프의 모양이 매끄럽기 때문에 다일레이트 필터링을 수행하지 않아도 모양이 잘 보존 된다. 도 5 는 이러한 결과를 잘 보여준다. 도 5의 왼쪽은 기존 기술의 방법대로 단순 이진화 후 에로드 필터링과 다일레이트 필터링을 순서대로 진행 한 결과 이고, 오른쪽은 본 발명에서 제안하는 방법으로 톤 매핑 후 에로드 필터링을 수행한 결과이다.
단계(420)에서, 상기 모포로지컬 필터링을 수행한 후 영상에서 윤곽 정보들을 획득한다. 그리고, 단계(430)에서, 상기 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정한다.
모포로지컬 필터링을 수행한 후의 결과 영상에서 픽셀 값이 뭉쳐있는 것들의 윤곽(contour) 정보를 획득하여 각각을 후방 램프 후보군으로 선정한다. 기존의 기술들은 이 과정에서 색상 정보를 활용하여 불필요한 광원들을 제거한다. 일반적으로 차량의 후방 램프는 붉은 색상을 띄는 특성이 있어 HSV 채널에서 Hue 채널 값을 사용한다.
이와 같이 색상을 이용하여 후방 램프를 검출하게 되면 불필요한 램프 후보가 쉽게 제거되지만, 앞서 말했듯이 야간 상황에서는 색상 정보를 온전히 이용하지 못하는 경우도 빈번히 발생한다. 이러한 문제점을 해결하기 위해 본 발명에서는 흑백 영상의 밝기만을 이용하여 램프를 검출한다. 밝기만을 가지고 윤곽(contour) 정보를 획득한 후 각각의 윤곽 정보에 대해 검증을 수행한다. 후방 램프 크기의 최대값 및 최소값을 설정하고 그 기준에 미치지 못하는 램프는 후방 램프 후보군에서 제외시킨다. 최대값 및 최소값을 설정하는 기준은 차량을 검출하고자 하는 거리에 따라 달라질 수 있다.
도 6은 본 발명의 일 실시예에 따른 윤곽 정보들을 획득한 결과 영상을 나타내는 도면이다.
흑백 영상의 밝기만을 이용하여 윤곽 정보를 획득하고, 밝기만을 가지고 윤곽 정보를 획득한 후 각각의 윤곽 정보에 대해 검증을 수행한다. 후방 램프 크기의 최대값 및 최소값을 설정하고 그 기준에 미치지 못하는 램프는 후방 램프 후보군에서 제외시킨다. 최대값 및 최소값을 설정하는 기준은 차량을 검출하고자 하는 거리에 따라 달라질 수 있다. 도 6은 앞서 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정한 결과 영상을 나타내는 도면이다.
다시 도 2를 참조하면, 단계(230)에서 상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출한다.
단계(230)는 상기 선정된 후방 램프 후보군들을 두 개씩 비교하여 램프 쌍으로 페어링하는 단계(710), 미러 NCC 페어링을 이용하여 상기 페어링된 램프 쌍의 두 개의 램프 후보군들을 비교하고, 미리 정해진 임계값을 만족하는 못하는 램프 쌍을 후방 램프 후보군에서 제거하는 단계(720), 바운딩 박스를 확장하여 최종 후방 램프를 검출하는 단계(730)를 포함한다.
도 7은 본 발명의 일 실시예에 따른 최종 후방 램프를 검출하는 과정을 설명하기 위한 도면이다.
단계(710)에서, 상기 선정된 후방 램프 후보군들을 두 개씩 비교하여 램프 쌍으로 페어링한다.
먼저, 후방 램프 후보군들을 두 개씩 비교한다. 윤곽 정보들 각각에 대한 검증을 통해 선정된 후방 램프 후보군은 하나의 램프 각각이지만 윤곽 정보를 활용하여 이를 램프 쌍으로 페어링(pairing) 한다.
예를 들어, 획득한 윤곽 정보에는 각각의 x, y 좌표와 너비, 높이가 있다. 두 램프를 비교 할 때 고려하는 조건은 각 램프의 높이 차, 각 램프의 중심 높이 차, 각 램프의 크기 차, 각 램프 사이의 거리이다. 기본적으로 한 쌍의 램프는 같은 수평선 상에 있을 확률이 높으므로 램프의 높이나 중심 높이 차는 작은 값을 가진다. 램프 사이의 거리는 멀리 있는 차량 일수록 짧아진다. 그러므로 인식하고자 하는 차량의 범위에 따라 기준 값은 달라 질 수 있다.
단계(720)에서, 미러 NCC 페어링(Mirror NCC pairing)을 이용하여 상기 페어링된 램프 쌍의 두 개의 램프 후보군들을 비교하고, 미리 정해진 임계값을 만족하는 못하는 램프 쌍을 후방 램프 후보군에서 제거한다.
실제 차량 후방 램프 쌍 중 하나의 램프를 좌우 반전 하면 모양이 똑같으므로 두 램프 간의 NCC를 계산하면 아주 높은 값이 나오게 된다. 그러므로 NCC의 적절한 임계값을 선정하고, 페어링된 후보군에 대하여 앞서 말한 것과 같이 NCC값을 계산하여 임계값과 비교한다. NCC값이 임계값 보다 낮을 경우 후방 램프 후보군에서 제외시킨다.
마지막으로 단계(730)에서, 바운딩 박스(bounding box)를 확장하여 최종 후방 램프를 검출한다.
도 8은 본 발명의 일 실시예에 따른 램프 쌍으로 페어링한 후 바운딩 박스를 확장하여 최종 후방 램프를 검출한 결과 영상을 나타내는 도면이다.
도 8a는 윤곽 정보를 활용하여 램프 페어링을 수행하고, 바운딩 박스를 씌운 결과 영상을 나타내는 도면이다. 도 8b는 또 다른 실시예에 따른 윤곽 정보를 활용하여 램프 페어링을 수행하고, 바운딩 박스를 씌운 결과 영상을 나타내는 도면이다.
예를 들어, 도 8b와 같이 하나의 차량에 두 개의 박스가 생성되는 경우가 발생한다. 이는 일반적으로 차량의 후방 램프가 휠을 제외한 차량 본체 중간 부분에 위치하게 되고 그 아래쪽으로 제동 램프가 있기 때문이다. 그리고 보통은 제동 램프 사이의 너비가 후방 램프 사이의 너비보다 작다. 그러므로 바운딩 박스의 크기를 차량의 크기로 확장하여 겹치는 바운딩 박스 중 너비가 짧은 것을 제외시킨다. 바운딩 박스를 확장 할 때는 일반적으로 차량의 폭이 높이와 거의 같은 비율이라는 점을 활용한다.
도 9는 본 발명의 일 실시예에 따른 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 장치의 구성을 나타내는 도면이다.
야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 장치(900)는 톤 매핑부(910), 후방 램프 후보군 선정부(920), 최종 후방 램프 검출부(930)를 포함하다.
톤 매핑부(910)는 입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행한다.
먼저 ROI 영역 및 밝기에 대한 고정 임계값을 설정한 후, 상기 설정된 ROI 영역 이외의 픽셀 값은 0으로 설정한다. 그리고, 설정된 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행한다.
입력 받은 원본 영상에서는 차량 후방 램프를 곧바로 찾아내기가 힘들다. 영상에 전처리를 해주어 광원과 광원 이외의 배경이 확연히 구분되도록 해야 한다. 기존에는 단순 임계값을 이용한 이진화 방법이 많이 쓰였지만, 이러한 방법은 램프의 모양이 매끄럽지 않은 부자연스러운 결과 영상을 얻게 된다. 따라서 본 발명에서는 단순 이진화를 하지 않고, 톤 매핑(Tone mapping)을 수행한다.
더욱 상세하게, 톤 매핑(Tone mapping)은 먼저 하늘과 같은 영역을 제외한 ROI(Region of Interest)를 설정한다. ROI를 설정한 후, 이 영역 내에서 다음을 수행한다. 먼저, 고정 임계값을 설정한다. 여러 영상들을 확인해본 결과에 의하면, 낮과 같이 조도가 높지 않은 야간 환경의 영상일 경우 차량 후방 램프의 밝기 값은 8bit를 기준으로 적어도 200 이상이 된다. 이러한 값은 영상에 따라 조절할 수 있으며 기본적으로 200으로 설정한다. 이후, 설정한 임계값보다 높은 밝기의 픽셀에 대하여 톤 매핑을 수행한다. 그리고, 200 이상의 밝기 값을 다시 0에서 255 사이의 값으로 매핑한다. 이와 같은 임계값 및 매핑을 위한 사이 값들은 실시예일뿐, 다양한 값을 가질 수 있다. 매핑을 위한 수학식은 하기식과 같다.
Figure 112016049197281-pat00002

후방 램프 후보군 선정부(920)는 상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정한다.
후방 램프 후보군 선정부(920)는 필터링부(921), 윤곽 정보 수집부(922), 검증부(923)를 포함한다.
필터링부(921)는 에로드 필터(erode filter)을 이용한 모포로지컬 필터링(morphological filtering)을 수행한다.
톤 매핑을 수행하고 나면 영상에 따라 많은 잡음들이 나타날 수 있다. 여기서 잡음은 후방 램프를 제외한 나머지를 뜻한다. 이러한 잡음들 중 아주 작은 것들을 없애주기 위해 모포로지컬 필터링(morphological filtering)을 수행한다. 기존에는 3x3 사이즈의 커널로 에로드 필터링(erode filtering)을 수행한 후 다시 다일레이트 필터링(dilate filtering)을 수행하였다. 하지만, 이진화 영상에서 램프의 모양이 깔끔하지 못하면 모포로지컬 필터링(morphological filtering) 후에도 모양이 일그러지게 된다.
본 발명에서는 단순 이진화가 아닌 톤 매핑을 수행하였으므로, 톤 매핑 후의 영상에서 램프의 모양이 매끄러운 상태이다. 따라서, 커널의 사이즈는 3x3을 유지하고 에로드 필터링만 수행하였다. 에로드 필터를 수행하면 작은 잡음들은 제거되고 후방 램프라고 판단하기에 너무 작지 않은 것들만 남게 된다. 또한 램프의 모양이 매끄럽기 때문에 다일레이트 필터링을 수행하지 않아도 모양이 잘 보존 된다.
윤곽 정보 수집부(922)는 상기 모포로지컬 필터링을 수행한 후 영상에서 윤곽 정보들을 획득한다.
검증부(923)는 상기 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정한다.
모포로지컬 필터링을 수행한 후의 결과 영상에서 픽셀 값이 뭉쳐있는 것들의 윤곽(contour) 정보를 획득하여 각각을 후방 램프 후보군으로 선정한다. 기존의 기술들은 이 과정에서 색상 정보를 활용하여 불필요한 광원들을 제거한다. 일반적으로 차량의 후방 램프는 붉은 색상을 띄는 특성이 있어 HSV 채널에서 Hue 채널 값을 사용한다.
이와 같이 색상을 이용하여 후방 램프를 검출하게 되면 불필요한 램프 후보가 쉽게 제거되지만, 앞서 말했듯이 야간 상황에서는 색상 정보를 온전히 이용하지 못하는 경우도 빈번히 발생한다. 이러한 문제점을 해결하기 위해 본 발명에서는 흑백 영상의 밝기만을 이용하여 램프를 검출한다. 밝기만을 가지고 윤곽(contour) 정보를 획득한 후 각각의 윤곽 정보에 대해 검증을 수행한다.
검증부(923)는 후방 램프 크기의 최대값 및 최소값을 설정하고 그 기준에 미치지 못하는 램프는 후방 램프 후보군에서 제외시킨다. 최대값 및 최소값을 설정하는 기준은 차량을 검출하고자 하는 거리에 따라 달라질 수 있다.
최종 후방 램프 검출부(930)는 상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출한다.
최종 후방 램프 검출부(930)는 페어링부(931), 미러 NCC 페어링 적용부(932), 바운딩 박스 적용부(933)를 포함한다.
페어링부(931)는 상기 선정된 후방 램프 후보군들을 두 개씩 비교하여 램프 쌍으로 페어링한다. 페어링부(931)는 먼저, 후방 램프 후보군들을 두 개씩 비교한다. 윤곽 정보들 각각에 대한 검증을 통해 선정된 후방 램프 후보군은 하나의 램프 각각이지만 윤곽 정보를 활용하여 이를 램프 쌍으로 페어링(pairing) 한다.
예를 들어, 획득한 윤곽 정보에는 각각의 x, y 좌표와 너비, 높이가 있다. 두 램프를 비교 할 때 고려하는 조건은 각 램프의 높이 차, 각 램프의 중심 높이 차, 각 램프의 크기 차, 각 램프 사이의 거리이다. 기본적으로 한 쌍의 램프는 같은 수평선 상에 있을 확률이 높으므로 램프의 높이나 중심 높이 차는 작은 값을 가진다. 램프 사이의 거리는 멀리 있는 차량 일수록 짧아진다. 그러므로 인식하고자 하는 차량의 범위에 따라 기준 값은 달라 질 수 있다.
미러 NCC 페어링 적용부(932)는 미러 NCC 페어링을 이용하여 상기 페어링된 램프 쌍의 두 개의 램프 후보군들을 비교하고, 미리 정해진 임계값을 만족하는 못하는 램프 쌍을 후방 램프 후보군에서 제거한다.
실제 차량 후방 램프 쌍 중 하나의 램프를 좌우 반전 하면 모양이 똑같으므로 두 램프 간의 NCC를 계산하면 아주 높은 값이 나오게 된다. 그러므로 NCC의 적절한 임계값을 선정하고, 페어링된 후보군에 대하여 앞서 말한 것과 같이 NCC값을 계산하여 임계값과 비교한다. NCC값이 임계값 보다 낮을 경우 후방 램프 후보군에서 제외시킨다.
바운딩 박스 적용부(933)는 바운딩 박스를 확장하여 최종 후방 램프를 검출한다. 윤곽 정보를 활용하여 램프 페어링을 수행하고, 바운딩 박스를 씌운 결과 영상에서 하나의 차량에 두 개의 박스가 생성되는 경우가 발생한다. 이는 일반적으로 차량의 후방 램프가 휠을 제외한 차량 본체 중간 부분에 위치하게 되고 그 아래쪽으로 제동 램프가 있기 때문이다. 그리고 보통은 제동 램프 사이의 너비가 후방 램프 사이의 너비보다 작다. 그러므로 바운딩 박스의 크기를 차량의 크기로 확장하여 겹치는 바운딩 박스 중 너비가 짧은 것을 제외시킨다. 바운딩 박스를 확장 할 때는 일반적으로 차량의 폭이 높이와 거의 같은 비율이라는 점을 활용한다.
제안하는 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치는 흑백 영상의 밝기 값만을 이용하여 후방 램프를 검출한다.
야간 상황에서 차량의 후방 램프를 검출하여 차량을 인식하는 것은 매우 유용하다. 종래기술은 후방 램프의 붉은 색상을 이용하여 검출하였다. 하지만, 야간의 특성 상 조도 환경이 다양 하므로 색상 정보를 온전히 이용하기 힘든 경우가 많다. 색상 정보가 온전치 않더라도 후방 램프는 주변 보다 매우 밝다. 그러므로 본 발명에서는 흑백 영상의 밝기 값 만으로 후방 램프를 검출하여 어떤 조도 상황에서든 차량을 인식을 원활하게 하고자 한다.
또한, 제안하는 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치는 톤 매핑을 이용하여 종래기술의 단순 이진화를 대체하였다.
종래기술에서는 후방 램프를 검출하기 위해 초기 후보군을 생성 하는 방법으로 이진화가 많이 쓰였다. 그러나 이진화 결과 영상에서 실제 후방 램프는 모양이 매끄럽지 않고 부자연스럽게 나타나는 경우가 많다. 이러한 경우, 램프 쌍으로 페어링 하는 과정에서 NCC 값도 낮고 여러 조건들도 만족 시키지 못하게 된다. 그러므로 본 발명에서는 단순 이진화를 수행하지 않고 미리 정해진 임계값 이상의 값에 대하여 톤 매핑을 수행함으로써 후방 램프의 모양이 깔끔하게 유지 되도록 한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.  또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.  이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.  예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.  또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.  소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.  소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.  상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.  상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.  컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.  프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.  상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.  예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 차량 인식 방법에 있어서,
    입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 단계;
    상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계; 및
    상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 단계
    를 포함하고,
    상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계는,
    에로드 필터(erode filter)을 이용한 모포로지컬 필터링(morphological filtering)을 수행하는 단계;
    상기 모포로지컬 필터링을 수행한 후 영상에서 윤곽 정보들을 획득하는 단계; 및
    상기 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계
    를 포함하는 차량 인식 방법.
  2. 제1항에 있어서,
    상기 입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 단계는,
    ROI 영역 및 밝기에 대한 고정 임계값을 설정한 후, 상기 설정된 ROI 영역 이외의 픽셀 값은 0으로 설정하고, 설정된 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는
    차량 인식 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계는,
    후방 램프 크기의 최대값 및 최소값을 설정하고, 상기 최대값 및 최소값에 해당하지 않는 윤곽 정보들은 후방 램프 후보군에서 제외하는
    차량 인식 방법.
  5. 차량 인식 방법에 있어서,
    입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 단계;
    상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 단계; 및
    상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 단계
    를 포함하고,
    상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 단계는,
    상기 선정된 후방 램프 후보군들을 두 개씩 비교하여 램프 쌍으로 페어링하는 단계;
    미러 NCC 페어링을 이용하여 상기 페어링된 램프 쌍의 두 개의 램프 후보군들을 비교하고, 미리 정해진 임계값을 만족하는 못하는 램프 쌍을 후방 램프 후보군에서 제거하는 단계; 및
    바운딩 박스를 확장하여 최종 후방 램프를 검출하는 단계
    를 포함하는 차량 인식 방법.
  6. 차량 인식 장치에 있어서,
    입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 톤 매핑부;
    상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 후방 램프 후보군 선정부; 및
    상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 최종 후방 램프 검출부
    를 포함하고,
    상기 후방 램프 후보군 선정부는,
    에로드 필터(erode filter)을 이용한 모포로지컬 필터링(morphological filtering)을 수행하는 필터링부;
    상기 모포로지컬 필터링을 수행한 후 영상에서 윤곽 정보들을 획득하는 윤곽 정보 수집부; 및
    상기 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 검증부
    를 포함하는 차량 인식 장치.
  7. 제6항에 있어서,
    상기 톤 매핑부는,
    ROI 영역 및 밝기에 대한 고정 임계값을 설정한 후, 상기 설정된 ROI 영역 이외의 픽셀 값은 0으로 설정하고, 설정된 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는
    차량 인식 장치.
  8. 삭제
  9. 제6항에 있어서,
    상기 검증부는,
    후방 램프 크기의 최대값 및 최소값을 설정하고, 상기 최대값 및 최소값에 해당하지 않는 윤곽 정보들은 후방 램프 후보군에서 제외하는
    차량 인식 장치.
  10. 차량 인식 장치에 있어서,
    입력 받은 영상에서 고정 임계값 이상의 밝기를 갖는 픽셀들에 대하여 톤 매핑을 수행하는 톤 매핑부;
    상기 톤 매핑을 수행한 영상에서 필터링을 수행한 후 윤곽 정보들을 획득하고, 획득된 윤곽 정보들 각각에 대한 검증을 통해 후방 램프 후보군을 선정하는 후방 램프 후보군 선정부; 및
    상기 선정된 후방 램프 후보군들의 윤곽 정보를 이용하여 램프 쌍으로 페어링하고, 최종 후방 램프를 검출하는 최종 후방 램프 검출부
    를 포함하고,
    상기 최종 후방 램프 검출부는,
    상기 선정된 후방 램프 후보군들을 두 개씩 비교하여 램프 쌍으로 페어링하는 페어링부;
    미러 NCC 페어링을 이용하여 상기 페어링된 램프 쌍의 두 개의 램프 후보군들을 비교하고, 미리 정해진 임계값을 만족하는 못하는 램프 쌍을 후방 램프 후보군에서 제거하는 미러 NCC 페어링 적용부; 및
    바운딩 박스를 확장하여 최종 후방 램프를 검출하는 바운딩 박스 적용부
    를 포함하는 차량 인식 장치.
KR1020160062809A 2016-05-23 2016-05-23 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치 KR101748083B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160062809A KR101748083B1 (ko) 2016-05-23 2016-05-23 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160062809A KR101748083B1 (ko) 2016-05-23 2016-05-23 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101748083B1 true KR101748083B1 (ko) 2017-06-15

Family

ID=59217588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160062809A KR101748083B1 (ko) 2016-05-23 2016-05-23 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101748083B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610036B1 (ko) * 2014-12-05 2016-04-07 현대모비스 주식회사 터널 판단 장치 및 터널 판단 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610036B1 (ko) * 2014-12-05 2016-04-07 현대모비스 주식회사 터널 판단 장치 및 터널 판단 방법

Similar Documents

Publication Publication Date Title
US10380434B2 (en) Vehicle detection system and method
US20190087961A1 (en) Signal identifying device, signal identifying method, and driving support system
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
US8319854B2 (en) Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel
US8934669B2 (en) Self-adaptive image-based obstacle detection method
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
KR101738129B1 (ko) 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법
KR101799778B1 (ko) 원형 교통 표지 인식 환경에서 화이트 이너 서클과 관련된 확인 장치 및 그 방법
KR101546700B1 (ko) 영상을 활용한 도로 포트홀 영역 인식 장치 및 방법
KR102043089B1 (ko) 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체
US20170228606A1 (en) Information processing apparatus, information processing method, and recording medium
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
Lee et al. Traffic light detection and recognition based on Haar-like features
KR101735874B1 (ko) 차량 번호판 검출 장치 및 방법
WO2020130799A1 (en) A system and method for licence plate detection
US10417518B2 (en) Vehicle camera system
US10997743B2 (en) Attachable matter detection apparatus
Nguyen et al. Fast traffic sign detection under challenging conditions
KR101748083B1 (ko) 야간 환경의 흑백 영상에서 자동차 후방 램프를 활용한 차량 인식 방법 및 장치
KR102118783B1 (ko) 조명환경에 강인한 색상 필터링을 위한 전처리 방법 및 그 시스템
JP2007193702A (ja) 画像処理装置及び画像処理方法
JP6874315B2 (ja) 情報処理装置、情報処理方法およびプログラム
Jeong et al. Night time vehicle detection using rear-lamp intensity
Pillai et al. Night time vehicle detection using tail lights: a survey
JP7155870B2 (ja) 車両検出装置と方法及び電子機器

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant