KR20110012279A - 차량의 영상인식 기반 상향등 자동 제어 방법 - Google Patents

차량의 영상인식 기반 상향등 자동 제어 방법 Download PDF

Info

Publication number
KR20110012279A
KR20110012279A KR1020090069934A KR20090069934A KR20110012279A KR 20110012279 A KR20110012279 A KR 20110012279A KR 1020090069934 A KR1020090069934 A KR 1020090069934A KR 20090069934 A KR20090069934 A KR 20090069934A KR 20110012279 A KR20110012279 A KR 20110012279A
Authority
KR
South Korea
Prior art keywords
vehicle
image
light source
high beam
automatic
Prior art date
Application number
KR1020090069934A
Other languages
English (en)
Other versions
KR101180676B1 (ko
Inventor
김상일
심성보
김기태
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020090069934A priority Critical patent/KR101180676B1/ko
Publication of KR20110012279A publication Critical patent/KR20110012279A/ko
Application granted granted Critical
Publication of KR101180676B1 publication Critical patent/KR101180676B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/31—Atmospheric conditions
    • B60Q2300/314—Ambient light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

본 문서는 차량의 상향등 자동 제어 방법을 개시한다. 본 문서에서 개시되는 상향등 자동 제어 방법에 따르면 영상 인식 기반으로 전방 카메라에서 촬영되는 영상을 기준으로 주야를 판단하고, 전방 차량의 존부를 판단하여 판단 결과에 따라 상향등(high beam)의 켜고 끄는 것을 제어한다. 특히 영역 구분 방식에 따라 주야를 판단하여 판정 정확도를 높이고, 차량 특성을 고려한 광원 위치, 움직임 등의 광원 요소를 분석하여 전방 차량 판단 정확도를 높인다.
상향등 자동 제어

Description

차량의 영상인식 기반 상향등 자동 제어 방법{A METHOD FOR CONTROLLING HIGH BEAM AUTOMATICALLY BASED ON IMAGE RECOGNITION OF A VEHICLE}
본 발명은 차량의 상향등 자동 제어에 관한 것으로 보다 구체적으로 차량의 영상인식 기반 상향등 자동 제어에 관한 것이다.
자동차의 전조 상향등 자동제어장치에 있어서, 야간주행시 반대차선의 차량운전자가 상향등(high beam)에 의해 시야를 방해하지 않아 상대차량의 사고 위험성을 해소할 수 있도록, 차체 전조등의 일측 후방으로 설치되는 광감지센서와, 하향등의 온작동시 일측의 비반전단자(+)에 광감지센서(10)의 신호가 입력되고 타측의 반전단자(-)에는 기준치(Vref)가 입력되는 비교기의 출력신호를 기초로 상향등(high beam)을 자동 점멸하는 전조상향등 자동제어장치와 같이 각종 센서를 이용한 방식이 적용되고 있다.
본 발명은 상술한 배경기술에 있어서, 차량의 영상인식 기반 상향등 자동 제어 방법을 제공함을 해결 과제고 한다.
상술한 과제를 해결하기 위한 일 수단으로서의 차량의 영상인식 기반 상향등 자동 제어 방법은, 전방 영상을 획득하는 단계, 상기 영상 이미지 내에서 구분된 각 영역에 대한 색정보를 영역별로 설정된 기준과 비교하여 야간인지 여부를 판단하는 주야간 판단 단계, 상기 영상에서 추출되는 광원으로 검출되는 차량 후보를 선행 차량 및 대향 차량 중 하나를 차량 검출 단계, 및 야간으로 판단되고 선행 차량 및 대향 차량을 모두 검출하지 못한 경우 상향등(high beam)을 키도록 제어하는 단계를 포함한다.
상기 주야간 판단 단계에서, 영역별 평균 RGB 값을 계산해서 영역별로 설정된 임계값과 비교하고, 임계값보다 같거나 작은 경우 야간으로 판단할 수 있다.
상기 차량 검출 단계에서, 상기 영상의 연속적인 다수의 이미지에서 추출되는 광원의 변화에 대해 분포도를 생성하고 생성된 분포도를 기준으로 차량 후보의 측정 값을 비교하여 차량일 확률을 계산하여 차량을 검출할 수 있다.
상기 광원의 위치 변화에 대한 분포도를 생성하되, 이미지 내 광원의 X축 위치 값에 따른 Y축 위치 값의 평균과 표준편차로 가우스 분포도를 생성할 수 있다.
상기 광원의 모양 변화에 대한 분포도를 생성하되, 이미지 내 광원의 Y축 위 치 값에 따른 X, Y축 크기의 평균과 표준편차로 가우스 분포도를 생성할 수 있다.
상기 광원의 움직임 변화에 대한 분포도를 생성하되, 이미지 내 광원의 Y축 위치 값에 따른 움직인 각도 값의 평균과 표준편차로 가우스 분포도를 생성할 수 있다.
상기 차량 검출 단계에서, 상기 영상의 Red 검출영상으로부터 차량 후보 주의에 Red 성분을 가지는 픽셀들이 다량 존재할 경우 선행 차량이 있는 것으로 결정할 수 있다.
상기 차량 검출 단계에서, 상기 영상 이미지 내 Y축 상에서 동일한 높이에서 두 개의 광원이 X축 값 차이가 일정하게 나타나는 경우 차량 검출인 것으로 결정할 수 있다.
상기 차량 검출 단계에서, 상기 영상에서 추출된 광원에 대한 옵티컬 플로우와 광원 색을 이용하여 추월 차량을 검출할 수 있다.
상기 제어 단계에서, 차량 속도를 고려하여 일정 속도 이상인 경우에만 동작하고, 일정 속도 이상에서 일정 시간 이상 유지된 경우에는 잠시 상기 일정 속도보다 낮은 속도로 운행되더라도 동작이 유지되도록 제어할 수 있다.
본 발명에 따르면 영상 기반으로 상향등(high beam)을 자동으로 제어할 수 있다. 이로써, 반대차선의 차량 유무에 관계없이 번거로운 상향등(high beam) 점멸조작을 하지 않아 편리함이 증대됨과 동시에 반대차선 차량 운전자의 시야를 방해하지 않아 상대차량의 사고위험을 해소할 수 있는 효과가 있다. 또한 영상 기반에 따른 다양한 솔루션이 제시되어 제어 성능이 향상된 효과가 있다.
이하 도면을 참조하여 차량에 설치된 전방 카메라를 이용하여 영상 인식을 기반으로 판단되는 상황에 따라 운전자의 조작 없이 자동으로 상향등(high beam)을 키고 꺼주는 상향등 자동 제어에 관한 본 발명의 실시예들을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 상향등 자동 제어 시스템의 구조도이고, 도 2는 본 발명의 일 실시예에 따른 상향등 자동 제어 시스템에서 제어부의 구조도이다.
본 실시예에 따르면 도 1에 도시된 바와 같이 상향등 자동 제어 시스템은 영상처리 범용 제어부(100), 영상 모듈(110), 영상변환 보드(120), 상향등(high beam, 130), 구동기(140), 데이터 저장부(150)을 포함하여 영상 처리 결과에 기초하여 상향등(high beam, 130)의 키고 끔을 제어한다.
특히, 도 2를 참조할 때 영상처리 범용 제어부(100)는 전방 카메라(200)에서 촬영된 영상을 입력받아 디코딩하는 비디오 디코더부(10)와 전방 카메라(200) 전원을 공금하는 전원부(11), 비디오 디코더부(10)에서 처리된 신호를 이용하여 영상 기반의 상향등(high beam, 130) 제어에 필요한 영상 처리하고 디지털 신호 처리부(DSP, 12)를 포함할 수 있다. 그리고 디지털 신호 처리부(12)에서 하향등(15) 입력 신호를 처리해서 영상 처리 결과에 기초하여 상향등(high beam, 18) 제어 신호를 출력할 수 있다. 아울러 디지털 신호 처리부(12) 동작을 위한 데이터 저장을 위해 임시저장소(DDR RAM)/영구 저장소(FLASH ROM)를 포함하는 메모리부(13), 제어 부(100) 내외부 신호를 송수신하는 트랜시버(HS CAN TRANCEIVER, 14)를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 상향등 자동 제어 방법의 흐름도이다.
도 3을 참조하면 본 실시예에 따라 상향등 자동 제어하기 위해 먼저 단계 S300에서 영상을 획득한다. 그리고 단계 S310에서 차량 외부 환경이 주간인지 야간인지 판단한다. 그리고 단계 S320에서 자차 선행차량이나 대향차량이 존재하는지 검출한다. 그러면 단계 S330에서 단계 S310의 주야 판단 결과와 단계 S320의 선행차량이나 대향차량이 존재여부에 따라 상향등(high beam)의 켜고 끄는 것을 제어한다. 즉, 야간인 경우 상향등(high beam)을 키지만 선행 차량이나 대향 차량의 후미등 또는 상향등(high beam)의 영향으로 충분히 밝은 경우에는 상향등(high beam)을 끄도록 제어한다.
보다 구체적으로 단계 S310의 주야 판단 방법은, 단계 S312의 영상 이미지내 영역을 예를 들어, 하늘 영역과 지면 영역으로 구분하는 ROI 분리 과정, 단계 S314의 영역별 색정보 예를 들어 RGB 값 계산처리 과정, 단계 S316의 영역별 RGB 값을 기준 임계값(threshold)과 비교하는 과정, 단계 S318의 주/야 판단과정을 포함한다.
그리고 단계 S320의 선행차량이나 대향차량 판단 방법은, 단계 S321의 영상 전처리 과정, 단계 S322의 차량 후보 검출 과정, 단계 S323의 차량 및 차량후보 추적 과정, 단계 S324의 차량후보 검증 과정, 단계 S325의 차량후보 변환 과정, 단계 S326의 차량 및 차량후보 제거 과정, 단계 S327의 차량 리스트에 차량으로 저장된 차량정보 예를 들어 검출된 차량수 출력 과정을 포함한다.
단계 S330의 상향등 제어 방법은, 단계 S331에서 단계 S320의 선행차량이나 대향차량 존부 정보에 따라 차량이 없는 경우 긍정으로 단계 S336으로 진행하고, 단계 S332에서 단계 S310의 주야 판단 결과에 따라 야간 판정인 경우 긍정으로 단계 S336으로 진행하여 단계 S336에서 모두 긍정인 경우 단계 S337에서 상향등(High beam) 켜는 것으로 제어한다.
이때 단계 S330에서는 단계 S340에서 측정되는 차량 속도에 기초하여 일정 속도 예를 들어 40KPH 이상인 경우를 만족하거나(S333), 단계 S350에서 판단되는 하향등의 상태에 기초하여 하향등이 켜진 상태인 경우(S334), 단계 S360에서 측정되는 조향각에 기초하여 일정 범위내 속하는 경우(S335) 등을 더 고려하여 상향등(high beam)의 켜고 끄는 것을 제어할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 상향등 자동 제어에서 주야간 판단시 영상 분할예를 도시한 도면이다.
영상 기반의 상향등 자동 제어에서는 영상을 통해 주간으로 판단되면 상향등(high beam)을 끄는 쪽으로 제어되고, 야간으로 판단되면 상향등(high beam)을 켜는 쪽으로 제어된다. 이를 위해 영상을 통해 주간, 야간을 정확하게 구분하는 것이 중요하다. 본 실시예에 따르면 획득된 영상의 전체 영상 화면(400) 중에서 하늘 영역(410)과 지면 영역(420)을 구분하여 처리한다. 예를 들어, 하늘 영역은 1~55 픽셀 영역으로 정의하고, 지면 영역은 51~90 픽셀 영역으로 정의할 수 있다.
도 5는 본 발명의 일 실시예에 따른 상향등 자동 제어에서 영상 분할 방식에 따른 주야간 판단 방법의 흐름도이다.
본 실시예에 따르면 단계 S500에서 전방 영상을 획득한 후 단계 S510에서 하늘 영역(410)을 분리하고, 단계 S520에서 하늘 영역(410)에 대한 RGB 값을 추출한 후 단계 S530에서 RGB 평균값을 계산한다. 그리고 단계 S570에서 하늘 영역(410)에 설정된 임계값과 비교하여 RGB 평균값이 임계값보다 작거나 같은 경우 단계 S580로 진행한다.
그리고 단계 S540에서 지면 영역(420)을 분리하고, 단계 S550에서 지면 영역(420)에 대한 RGB 값을 추출한 후 단계 S560에서 RGB 평균값을 계산한다. 그리고 단계 S570에서 지면 영역(420)에 설정된 임계값과 비교하여 RGB 평균값이 임계값보다 작거나 같은 경우 단계 S580로 진행한다.
단계 S580에서 하늘 영역(410)에 대한 RGB 평균값이 임계값보다 작거나 같고, 지면 영역(420)에 대한 RGB 평균값도 임계값보다 작거나 같으면, 단계 S590으로 진행하여 상향등(high beam)을 켜는 쪽을 제어한다.
도 6 내지 도 9는 본 발명의 일 실시예에 따른 상향등 자동 제어에서 영상 분할 방식에 따른 주야간 판단 방법의 성능 확인을 나타내는 그래프이다.
도 6은 야간 조건에서 야간이 판정됨을 나타내는 그래프이고, 도 7은 주간 조건에서 주간이 판정됨을 나타내는 그래프이며, 도 8은 야간시 터널 조건에서 야간이 판정됨을 나타내는 그래프이고, 도 9는 주간시 터널 조건에서도 야간이 판정됨을 나타내는 그래프이다.
일반적으로 전방 영상을 촬영하는 전방 카메라는 고정된 위치에 장착되기 때 문에 도 6 내지 도 9에 나타나듯 영역 구분 방식은 비교적 정확한 판정 결과를 내고 있음을 확인할 수 있다. 이때 상향등(high beam)을 켜기위한 임계값과, 상향등(high beam)을 끄기위한 임계값은 이원화시켜 각각의 경우에 대해 별도로 설정해 놓을 수 있다. 도 6 내지 도 9을 참조하면 상향등(high beam)을 끄기위한 임계값(파란선)이 상향등(high beam)을 켜기위한 임계값(붉은선)보다 크게 설정된 것을 확인할 수 있다.
도 10은 본 발명의 일 실시예에 따른 상향등 자동 제어에서 차량 검출 방법의 제1 흐름도이다.
상향등 자동 제어에서 비록 야간이라도 주변에 선행차량이나 대향차량이 존재하는 경우에는 충분히 밝기 때문에 상향등(high beam)을 켜지 않더라도 주변 파악이 가능하다는 점에서 차량 검출이 적용되는 것이다. 이때 전방 영상에 기초하여 판단하므로 도로 위나 주면의 반사판과 전방 차량을 구분하여 정확하게 추적하는 것이 중요하다.
본 실시예에 따르면 먼저 단계 S600에서 영상 전처리 과정, 단계 S610에서 차량후보 검출 및 추적 과정, 단계 S620에서 차량후보 검증 과정, 단계 S630에서 차량 후보 결정 과정이 수행된다.
보다 구체적으로 단계 S600의 영상 전처리 과정에 따르면, 단계 S601에서 원본 영상을 획득하고 단계 S602에서 이진화 영상 처리한다. 도 11은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 이진화 처리 전후를 나타낸 도면이다. 본 실시예에 따르면 YCbCr 영상에서 Y성분만을 추출하여 이진화 처리한 다. 이는 영상처리 시간을 줄이고 밝기 값으로 광원을 찾기 위함이다.
그리고 단계 S603에서 광원을 추출한다. 도 12는 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 추출 처리 전후를 나타낸 도면이다. 도 11에서 추출한 Y영상에서 광원을 추출한다. 야간에는 거의 차량의 전조등이나 후미등 만이 보이기 때문에 광원이 차량의 존부를 판정하는데 중요한 요소가 된다. 광원이 멀리 있을 수록 밝기가 약해지기 때문에 세로축 값이 낮을수록 광원 판정 임계값도 낮게 설정하는 것이 바람직하다.
그리고 단계 S601에서 획득하는 원본 영상을 이용하여 단계 S604에서 RGB 영상 처리하고 단계 S605에서 Red 검출 처리한다. 도 13은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 Red 검출 처리 전후를 나타낸 도면이다. 전방차량 중에서 특히 선행차량을 검출하는데는 후미등 광원색(붉은색)에 기초하여 Red 성분의 픽셀을 검출하는 것이 매우 효과적이기 때문이다.
단계 S610의 차량후보 검출 및 추적 과정에 따르면, 단계 S611에서 새로운 차량후보를 검출한다. 추출된 광원 영상에서 차량후보들을 그룹핑해서 위치, 모양 등의 정보를 메모리에 저장하고, 영상 X, Y축으로 프로젝션하여 영상 위에서의 차량후보들의 위치를 찾는다. 그리고 발견된 차량후보들의 위치, 분산, 크기 등의 정보들을 저장하고 차량후보 리스트에 추가한다. 그리고, 단계 S612에서 차량후보의 위치를 추적하고, 단계 S613에서 차량의 위치를 추적한다. 차량후보 리스트에 저장된 차량후보, 차량 리스트에 저장된 차량의 이전 프레임에서의 위치, 크기 등을 고려하여 검색 영역을 설정하고, 검색 영역 내에서 다시 발견될 경우 광원에 대한 새 로운 위치, 분산, 크기 등의 정보를 갱신하여 차량, 차량후보의 위치를 추적한다.
그리고 단계 S620의 차량후보 검증 과정에 따르면, 광원 위치, 광원 모양, 광원 움직임, 광원 색, 광원 클러스터링, 추월 차량 등의 요소를 고려하여 차량후보가 차량인지 여부를 판단한다.
먼저 광원 위치의 경우 도 14를 참조한다. 도 14는 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 위치를 고려하는 방법을 설명한 도면이다. 본 실시예에 따르면 전방 카메라는 일반적으로 고정 설치되므로 선행차량, 대향차량이 영상에서 거의 동일한 영역을 지나게 된다는 점에서 착안된 것으로, X축 위치 값에 따른 Y축 위치 값의 평균과 표준편차로 가우스 분포도를 생성하고 이를 메모리에 저장한다. 그리고 저장되어 있는 가우스 분포도와 차량후보의 위치 값을 비교하여 차량일 확률을 계산한다.
광원 모양의 경우 도 15를 참조한다. 도 15는 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 모양을 고려하는 방법을 설명한 도면이다. 본 실시예에 따르면 검출된 차량의 거리에 따라 차량으로부터 나오의 광원의 모양과 크기아 달라지는 점에서 착안된 것으로 Y축 위치 값에 따른, X, Y축 크기의 평균과 표준편차로 가우스 분포도를 생성하고 메모리에 저장한다. 그리고 저장되어 있는 가우스 분포도와 차량후보의 위치 값을 비교하여 차량일 확률을 계산한다.
광원 움직임의 경우 도 16을 참조한다. 도 16은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 움직임 고려하는 방법을 설명한 도면이다. 본 실시예에 따르면 영상에서 나타나는 차량의 움직임이 거의 일정한 방향성 을 가지고 있다는 점에서 착안된 것으로 Y축 위치 값에 따른 광원이 움직인 각도 값의 평균과 표준편자로 가우스 분포도를 생성하고 이를 메모리에 저장한다. 그리고 저장되어 있는 가우스 분포도와 차량후보의 각도 값을 비교하여 차량일 확률을 계산한다.
광원 색의 경우 도 17을 참조한다. 도 17은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 색을 고려하는 방법을 설명한 도면이다. 본 실시예에 따르면 선행차량 후미등의 경우 붉은 색을 가지고 있다는 점에서 착안된 것으로 Red 검출 영상으로부터 차량후보 주변의 Red 성분을 가지는 픽셀들이 다량 존재할 경우 차량으로 판정한다.
광원 클러스터링의 경우 도 18을 참조한다. 도 18은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 클러스터링을 고려하는 방법을 설명한 도면이다. 본 실시예에 따르면 차량에서의 광원은 두개가 동시에 나타나는 것이 일반적이며 비슷한 크기와 움직임을 가지고 있다는 점에서 착안된 것으로 Y축 상에서 거의 동일한 높이에 있고, Y축 값에 따라 X축 값의 차이가 거의 일정하게 나타나는 경우, 그리고 광원의 모양과 방향성이 동일할수록 차량의 광원일 가능성이 높아진다.
추월 차량의 경우 도 19를 참조한다. 도 19는 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 추월 차량을 검증하는 방법을 설명한 도면이다. 본 실시예에 따르면 추월하는 선행차량의 경우 일정한 방향성을 가지고 빠르게 이동한다는 점에서 착안된 것으로 상대적으로 가까운 위치에서 나타나기 때문에 빠르게 인식하는 것이 중요하다. 예를 들어 옵티컬 플로우(Oprical Flow)와 광원색을 사용하여 카메라의 양 옆에서 이동하는 물체를 빠르게 인식할 수 있을 것이다.
단계 S630에서 차량 후보 결정 과정에 따르면 단계 S631에서 차량 후보 변환하고 단계 S632에서 차량 후보를 제거하고, 단계 S633에서 차량을 제거하여 최종적으로 선방차량이 존재함을 결정한다.
도 20은 본 발명의 일 실시예에 따른 상향등 자동 제어에서 차량 검출 방법의 제2 흐름도이다.
본 실시예에 따르면, 입력정보(800)에 기초하여 차량임을 판단(810)하고 판단 결과를 출력(820)한다. 입력정보(800)에는 상술한 바와 같이 광원 위치(801), 광원 모양(802), 광원 움직임(803), 광원 색(804), 광원 클러스터링(805), 추월 차량(806)에 대한 측정 결과들이 포함될 수 있다.
그리고, 각 측정 결과들이 차량 판단 기준을 만족하는 경우 차량임을 판단한다. 예를 들어, 광원 위치(801)에 따른 차량 확률이 32%를 초과하는 경우(S811), 광원 모양(802)에 따른 차량 확률이 32%를 초과하는 경우(S812), 광원 움직임(803)에 따른 차량 확률이 32%를 초과하는 경우(S813), 광원 색(804)에 따라 후미등으로 판정되는 경우(S814), 광원 클러스터링(805)이 되는 경우(S815), 단계 S817에서 차량수로서 카운트하고 단계 S818에서 차량수가 2이상인 경우 또는 단계 S819에서 추월 차량(806)이 있고 후미등이 검출되는 경우에는 단계 S822에서 상향등(high beam)을 켜는 것으로 제어한다. 그리고 광원 위치(801)에 따른 차량 확률이 32%를 초과하지 않고(S811), 단계 S818에서 차량수가 2이상이 아닌 경우에는 단계 S821에 서 상향등(high beam)을 끄는 것으로 제어한다.
도 21은 본 발명의 일 실시예에 따른 상향등 자동 제어 결과 그래프이다.
본 실시예에 따른 상향등 자동 제어는 동작 시간차를 적용하여 상향등(high beam) 키는 조건 판정시에서 일정 시간(3000ms)이 지난 후에 실제 상향등(high beam)이 켜지고 상향등(high beam) 끄는 조건 판정시에서 일정 시간(<=100ms) 지난 후에 실제 상향등(high beam)이 꺼지도록 제어할 수 있다.
도 22는 본 발명의 일 실시예에 따른 상향등 자동 제어에서 차속을 고려하는 경우의 제어 결과 그래프이다.
본 실시예에 따르면 상향등(high beam)을 제어함에 있어서 현재 차량의 속도 정보도 고려하여 제어할 수 있다. 일정 차속 예를 들어 차속 40KPH 미만에서는 상향등 자동 제어 시스템이 동작하지 않도록 설정할 수 있다. 또한, 차속 40KPH 이상 주행을 일정 시간 예를 들어 5초 이상 계속했을 경우에는 차속 40KPH보다 작은 경우 예를 들어 차속 36KPH 이상이어도 일정 시간 예를 들어 5초 동안 동작 가능 속도로 인정한다. 이로써 상향등(high beam)의 켜고 끄는 제어가 기준 이상으로 반복되는 것을 예방할 수 있을 것이다.
상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 상향등 자동 제어 시스템의 구조도.
도 2는 본 발명의 일 실시예에 따른 상향등 자동 제어 시스템에서 제어부의 구조도.
도 3은 본 발명의 일 실시예에 따른 상향등 자동 제어 방법의 흐름도.
도 4는 본 발명의 일 실시예에 따른 상향등 자동 제어에서 주야간 판단시 영상 분할예를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 상향등 자동 제어에서 영상 분할 방식에 따른 주야간 판단 방법의 흐름도.
도 6 내지 도 9는 본 발명의 일 실시예에 따른 상향등 자동 제어에서 영상 분할 방식에 따른 주야간 판단 방법의 성능 확인을 나타내는 그래프.
도 10은 본 발명의 일 실시예에 따른 상향등 자동 제어에서 차량 검출 방법의 제1 흐름도.
도 11은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 이진화 처리 전후를 나타낸 도면.
도 12는 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 추출 처리 전후를 나타낸 도면.
도 13은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 Red 검출 처리 전후를 나타낸 도면.
도 14는 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에 서 광원 위치를 고려하는 방법을 설명한 도면.
도 15는 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 모양을 고려하는 방법을 설명한 도면.
도 16은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 움직임 고려하는 방법을 설명한 도면.
도 17은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 색을 고려하는 방법을 설명한 도면.
도 18은 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 광원 클러스터링을 고려하는 방법을 설명한 도면.
도 19는 본 발명의 일 실시예에 따른 상향등 자동 제어를 위한 차량 검출에서 추월 차량을 검증하는 방법을 설명한 도면.
도 20은 본 발명의 일 실시예에 따른 상향등 자동 제어에서 차량 검출 방법의 제2 흐름도.
도 21은 본 발명의 일 실시예에 따른 상향등 자동 제어 결과 그래프.
도 22는 본 발명의 일 실시예에 따른 상향등 자동 제어에서 차속을 고려하는 경우의 제어 결과 그래프.

Claims (10)

  1. 차량의 영상인식 기반 상향등 자동 제어 방법에 있어서,
    전방 영상을 획득하는 단계;
    상기 영상 이미지 내에서 구분된 각 영역에 대한 색정보를 영역별로 설정된 기준과 비교하여 야간인지 여부를 판단하는 주야간 판단 단계;
    상기 영상에서 추출되는 광원으로 검출되는 차량 후보를 선행 차량 및 대향 차량 중 하나를 차량 검출 단계; 및
    야간으로 판단되고 선행 차량 및 대향 차량을 모두 검출하지 못한 경우 상향등(high beam)을 키도록 제어하는 단계
    를 포함하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
  2. 청구항 1에 있어서,
    상기 주야간 판단 단계에서, 영역별 평균 RGB 값을 계산해서 영역별로 설정된 임계값과 비교하고, 임계값보다 같거나 작은 경우 야간으로 판단하는 것을 특징으로 하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
  3. 청구항 1에 있어서,
    상기 차량 검출 단계에서, 상기 영상의 연속적인 다수의 이미지에서 추출되는 광원의 변화에 대해 분포도를 생성하고 생성된 분포도를 기준으로 차량 후보의 측정 값을 비교하여 차량일 확률을 계산하여 차량을 검출하는 것을 특징으로 하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
  4. 청구항 3에 있어서,
    상기 광원의 위치 변화에 대한 분포도를 생성하되, 이미지 내 광원의 X축 위치 값에 따른 Y축 위치 값의 평균과 표준편차로 가우스 분포도를 생성하는 것을 특징으로 하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
  5. 청구항 3에 있어서,
    상기 광원의 모양 변화에 대한 분포도를 생성하되, 이미지 내 광원의 Y축 위치 값에 따른 X, Y축 크기의 평균과 표준편차로 가우스 분포도를 생성하는 것을 특징으로 하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
  6. 청구항 3에 있어서,
    상기 광원의 움직임 변화에 대한 분포도를 생성하되, 이미지 내 광원의 Y축 위치 값에 따른 움직인 각도 값의 평균과 표준편차로 가우스 분포도를 생성하는 것을 특징으로 하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
  7. 청구항 1에 있어서,
    상기 차량 검출 단계에서, 상기 영상의 Red 검출영상으로부터 차량 후보 주 의에 Red 성분을 가지는 픽셀들이 다량 존재할 경우 선행 차량이 있는 것으로 결정하는 것을 특징으로 하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
  8. 청구항 1에 있어서,
    상기 차량 검출 단계에서, 상기 영상 이미지 내 Y축 상에서 동일한 높이에서 두 개의 광원이 X축 값 차이가 일정하게 나타나는 경우 차량 검출인 것으로 결정하는 것을 특징으로 하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
  9. 청구항 1에 있어서,
    상기 차량 검출 단계에서, 상기 영상에서 추출된 광원에 대한 옵티컬 플로우와 광원 색을 이용하여 추월 차량을 검출하는 것을 특징으로 하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
  10. 청구항 1에 있어서,
    상기 제어 단계에서, 차량 속도를 고려하여 일정 속도 이상인 경우에만 동작하고, 일정 속도 이상에서 일정 시간 이상 유지된 경우에는 잠시 상기 일정 속도보다 낮은 속도로 운행되더라도 동작이 유지되도록 제어하는 것을 특징으로 하는, 차량의 영상인식 기반 상향등 자동 제어 방법.
KR1020090069934A 2009-07-30 2009-07-30 차량의 영상인식 기반 상향등 자동 제어 방법 KR101180676B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090069934A KR101180676B1 (ko) 2009-07-30 2009-07-30 차량의 영상인식 기반 상향등 자동 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090069934A KR101180676B1 (ko) 2009-07-30 2009-07-30 차량의 영상인식 기반 상향등 자동 제어 방법

Publications (2)

Publication Number Publication Date
KR20110012279A true KR20110012279A (ko) 2011-02-09
KR101180676B1 KR101180676B1 (ko) 2012-09-10

Family

ID=43772228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090069934A KR101180676B1 (ko) 2009-07-30 2009-07-30 차량의 영상인식 기반 상향등 자동 제어 방법

Country Status (1)

Country Link
KR (1) KR101180676B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150145830A (ko) 2014-06-19 2015-12-31 안종국 집중력 향상을 위한 안경 보조기구
KR20170000228U (ko) 2015-07-08 2017-01-18 강병우 영화 관람용 주변시야 가리개

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150145830A (ko) 2014-06-19 2015-12-31 안종국 집중력 향상을 위한 안경 보조기구
KR20170000228U (ko) 2015-07-08 2017-01-18 강병우 영화 관람용 주변시야 가리개

Also Published As

Publication number Publication date
KR101180676B1 (ko) 2012-09-10

Similar Documents

Publication Publication Date Title
US8995723B2 (en) Detecting and recognizing traffic signs
JP4544233B2 (ja) 車両検出装置及びヘッドランプ制御装置
EP1671216B1 (en) Moving object detection using low illumination depth capable computer vision
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
CN104185588B (zh) 用于确定道路宽度的车载成像系统及方法
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
EP2551794A2 (en) Onboard environment recognition system
US9827956B2 (en) Method and device for detecting a braking situation
KR101511853B1 (ko) 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
US20170024622A1 (en) Surrounding environment recognition device
JP5313638B2 (ja) 車両用前照灯装置
US9372112B2 (en) Traveling environment detection device
US9747508B2 (en) Surrounding environment recognition device
US8643723B2 (en) Lane-marker recognition system with improved recognition-performance
JP5361901B2 (ja) 前照灯制御装置
KR101180676B1 (ko) 차량의 영상인식 기반 상향등 자동 제어 방법
JP5643877B2 (ja) 車両用前照灯装置
JP2018163530A (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム
KR101739163B1 (ko) 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치
JPWO2020129517A1 (ja) 画像処理装置
KR20140147212A (ko) 라이더를 이용한 hba 제어 방법 및 이를 위한 장치
KR102639790B1 (ko) 헤드램프 제어장치 및 방법
JP2022161700A (ja) 信号機認識装置
CN115817330A (zh) 一种控制方法、装置、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150831

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180829

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190827

Year of fee payment: 8