KR101774603B1

KR101774603B1 - 차량의 카메라 노출 제어 방법 및 이러한 방법을 사용하는 장치

Info

Publication number: KR101774603B1
Application number: KR1020120147488A
Authority: KR
Inventors: 정호철; 이병준; 최진하; 김삼용
Original assignee: 현대자동차주식회사
Priority date: 2012-12-17
Filing date: 2012-12-17
Publication date: 2017-09-04
Also published as: KR20140078282A

Abstract

차량의 카메라 노출 제어 방법 및 이러한 방법을 사용하는 장치가 개시되어 있다. 영상 처리 방법은 차량의 영상 촬영 장치를 이용하여 영상을 촬영하는 단계, 촬영된 영상을 기초로 영상 촬영 장치의 노출 값을 제어하는 단계와 영상 촬영 장치의 LED(light emitting diode)장치를 제어하는 단계를 포함할 수 있다. 따라서, 운행자는 좀 더 정확한 시간적인 정보를 영상으로부터 제공받을 수 있다.

Description

차량의 카메라 노출 제어 방법 및 이러한 방법을 사용하는 장치{METHOD OF CONTROLING EXPOSURE OF VEHICLE’S CAMERA AND APPARATUS FOR USING THE SAME}

본 발명은 영상 촬영 방법에 관한 것으로서, 보다 상세하게는 차량 카메라의 노출을 제어하는 방법 및 장치에 관한 것이다.

우리나라는 천연 자원이 부족하므로 인적 자원을 이용한 제조업 분야에 많은 투자를 해오고 그 기반으로 발전해왔다. 그 중 가장 두드러지고 중요한 분야가 바로 자동차 산업이다. 매출 규모는 물론이고 국가에 기여하는 수출 및 고용창출 측면에서 그 국가 경제에 대한 기여도는 어마어마하다.

자동차 산업은 전통적으로 기계, 소재 분야가 종합된 산업으로 우리나라 전체 제조업 부가 가치의 11%를 차지하는 부가 가치 산업이다. 과거의 자동차 기술은 기계 공학을 기반으로 발전하였으나 현재에는 전기·전자, 즉 전장 기술이 급속하게 접목되고 있다. 즉 자동차가 로봇화 되어가고 있는 것이다. 로봇 기술을 자동차에 접목하여 더욱 안전하고 똑똑한 미래형 자동차들이 개발되고 있는 것이 지금 현재의 기술 동향이다. 그러나 우리나라의 경우, 기계 중심의 자동차 개발 경향은 더욱 심화된 것이 사실이지만 지능형 자동차 개발에 있어서는 다른 선진국들에 비해 많이 뒤쳐진 느낌이 있다.

자동차 시장은 제조업의 꽃이라 불릴 만큼 그 시장의 크기와 가치가 어마어마 하지만 가장 오래된 산업이다 보니 시장이 거의 포화상태이다. 많은 메이저 회사들이 새로운 시장개척을 위해 개발 도상국을 두드리고 있다. 기존 시장유지 또한 아주 치열한 형국이다. 기존 시장에서 소비자의 요구의 맞추기 위한 노력도 엄청나다. 연비개선을 위해 하이브리드, 친환경 디젤차 및 전기차를 개발하고 있다. 그리고 소비자의 안전과 편의를 위한 시스템인 ADAS(Advanced Driver Assitance System) 개발도 경쟁이 치열하다. 국가별로 규제를 강화하고 있는 추세의 영향도 있어 첨단 안전 시스템의 개발이 불가피한 형국이다.

이러한 ADAS는 센서의 기술의 발전과 전자/반도체 기술의 발전으로 가능하게 되었다. 자동차를 더 똑똑하게 만들기 위해서는 사람의 감각기능처럼 작동할 수 있는 센서들이 필요하다. 근거리 장애물들과 충돌방지를 위해 초음파 센서를 사용하고 더 나아가 앞차와 자동 거리 유지 및 충돌방지를 위해 레이더센서를 장착하고 있다.

특히 지능형 자동차가 추구하는 안정성을 증대하기 위하여 카메라를 이용한 영상 시스템이 자동차에 널리 응용되어 개발되고 있다. 예를 들어, 전방 카메라를 장착하여 차선 이탈 방지, 교통 표지반 인식 등의 기능을 수행하고 있고 후방 시야를 확보하기 위해 후방카메라를 장착하기 시작했다. 지능형 자동차를 구현하기 위해서는 카메라를 영상 촬영을 수행함에 있어 좀 더 정확한 영상 정보를 얻기 위한 방법이 필요하다.

본 발명의 목적은 차량의 카메라에서 촬영된 영상의 처리 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 차량의 카메라에서 촬영된 영상의 처리 방법을 수행하는 장치를 제공하는 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 처리 방법은 차량의 영상 촬영 장치를 이용하여 영상을 촬영하는 단계, 상기 촬영된 영상을 기초로 상기 영상 촬영 장치의 노출 값을 제어하는 단계, 상기 영상 촬영 장치의 LED(light emitting diode)장치를 제어하는 단계를 포함할 수 있다. 상기 촬영된 영상을 기초로 상기 영상 촬영 장치의 노출 값을 제어하는 단계는 제1 촬영 영상의 평균 휘도값을 산출하고 상기 제1 촬영 영상의 평균 휘도값을 기준 영상의 기준 휘도값과 비교하는 단계와 상기 비교 결과를 기초로 상기 영상 촬영 장치의 노출값을 결정하는 단계를 포함할 수 있다. 상기 제1 촬영 영상의 평균 휘도값을 산출하고 상기 제1 촬영 영상의 평균 휘도값을 기준 영상의 기준 휘도값과 비교하는 단계는 상기 제1 촬영 영상에서 관심 영역을 결정하는 단계와 상기 관심 영역에 포함된 픽셀의 휘도 값의 평균을 산출하는 단계를 포함할 수 있다. 상기 촬영된 영상을 기초로 상기 영상 촬영 장치의 노출 값을 제어하는 단계는 제1 촬영 영상의 히스토그램을 산출하고 상기 제1 촬영 영상의 히스토그램을 기준 영상의 히스토그램과 비교하는 단계와 상기 비교 결과를 기초로 상기 영상 촬영 장치의 노출값을 결정하는 단계를 포함할 수 있다. 상기 제1 촬영 영상의 히스토그램을 산출하고 상기 제1 촬영 영상의 히스토그램을 기준 영상의 히스토그램과 비교하는 단계는 상기 제1 촬영 영상에서 관심 영역을 결정하는 단계와 상기 관심 영역에 포함된 픽셀을 기초로 히스토그램을 산출하는 단계를 포함할 수 있다. 상기 영상 촬영 장치의 LED(light emitting diode)장치를 제어하는 단계는 PWM(pulse width modulation) 신호의 듀티(duty)비를 기초로 전류를 제어하는 단계와 상기 전류를 기초로 상기 LED 장치의 밝기를 제어하는 단계를 포함할 수 있다.

상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 처리 장치는 차량의 영상 촬영 장치를 이용하여 영상을 촬영하는 영상 촬영부와 상기 촬영된 영상을 기초로 상기 영상 촬영 장치의 노출 값 및 LED(light emitting diode)장치를 제어하는 ECU(electronic control unit)를 포함할 수 있다. 상기 ECU는 제1 촬영 영상의 평균 휘도값을 산출하고 상기 제1 촬영 영상의 평균 휘도값을 기준 영상의 기준 휘도값과 비교하고 상기 비교 결과를 기초로 상기 영상 촬영 장치의 노출값을 결정하도록 구현될 수 있다. 상기 ECU는 1 촬영 영상의 평균 휘도값을 산출하고 상기 제1 촬영 영상의 평균 휘도값을 기준 영상의 기준 휘도값과 비교하기 위해 상기 제1 촬영 영상에서 관심 영역을 결정하고 상기 관심 영역에 포함된 픽셀의 휘도 값의 평균을 산출하도록 구현될 수 있다. 상기 ECU는 1 촬영 영상의 히스토그램을 산출하고 상기 제1 촬영 영상의 히스토그램을 기준 영상의 히스토그램과 비교하고 상기 비교 결과를 기초로 상기 영상 촬영 장치의 노출값을 결정하도록 구현될 수 있다. 상기 ECU는 상기 제1 촬영 영상의 히스토그램을 산출하고 상기 제1 촬영 영상의 히스토그램을 기준 영상의 히스토그램과 비교하기 위해 상기 제1 촬영 영상에서 관심 영역을 결정하고 상기 관심 영역에 포함된 픽셀을 기초로 히스토그램을 산출하도록 구현될 수 있다. 상기 ECU는 PWM(pulse width modulation) 신호의 듀티(duty)비를 기초로 전류를 제어하고 상기 전류를 기초로 상기 LED 장치의 밝기를 제어하도록 구현될 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 차량의 카메라 노출 제어 방법 및 이러한 방법을 사용하는 장치에서는 차량의 영상 촬영 장치에서 노출값 및 LED 장치의 동작을 제어하여 영상의 시각 인지성을 높여 안정적인 영상의 품질로 촤령이 이루어지도록 할 수 있다. 따라서, 운행자는 좀 더 정확한 시간적인 정보를 영상으로부터 제공받을 수 있다.

도 1은 기존의 단안 카메라를 사용하였을 경우 거리를 측정하는 방법을 나타낸 개념도이다.
도 2는 하단 비가림 차량의 거리를 측정하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 하단부 가림 정도로 차량 간 거리를 측정하는 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 하단부 가림 정도로 거리를 측정하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 템플릿 변화 크기로 거리를 측정하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 거리를 산출하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 차량의 거리 측정 장치를 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 LED 밝기를 제어하는 방법을 나타낸 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조 부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

기존의 차량에 구비된 영상 촬영 장치가 야간에 촬영을 수행 시 촬영 환경의 조도가 낮음으로 인해 영상의 노이즈 및 프레임 저하 문제가 발생할 수 있었다. 따라서 이러한 문제점을 해결하여 기존 영상 촬영 장치에서 촬영된 영상의 시인성 증대 및 영상 안정화가 필요하다.

또한 기존의 실외에 설치된 복수개의 영상 촬영 장치에 발생하는 조도 차에 의한 영상 품질 저하를 막기 위해 영상의 균일화 작업도 필요하다.

본 발명의 실시예에 따른 영상 촬영 방법에서는 야간의 저 조도의 촬영 환경에서 영상 촬영 장치에 의해 촬영되는 영상에서 발생하는 영상의 노이즈 및 프레임 저하의 문제를 해결하여 차량의 실내/실외 카메라에서 촬영된 영상의 시각 인식성을 높이고 영상의 안정화 방법에 대해 개시한다.

차량에서 사용되는 영상 촬영 장치로는 AVM(around view monitoring), DSM(driver state monitoring)이 사용될 수 있다.

(1) 실외 카메라 (AVM, Around View Monitoring)

실외 카메라는 차량의 전후 좌우에 장착된 4 대의 카메라를 사용하여 촬영된 영상을 기초로 수학적 모델링을 통해 가상 카메라를 설정하여 차량의 사방을 하나의 영상으로 보여줄 수 있다. 실외 카메라를 통해 촬영된 영상을 통해 차량의 운행자는 자신이 볼 수 없는 사각 지역의 영상을 볼 수 있다. 실외 카메라에서 촬영된 영상은 차량의 운행자에게 차량 주변의 환경에 대한 정보를 전달하기 위한 디스플레이가 목적이다. 즉, 다양한 촬영 환경에서 촬영된 영상에서 화질의 안정화가 수행되어야 하며, 장애물 등 관심 영역에 대한 디스플레이를 우선적으로 고려할 수 있다.

(2) 실내 카메라 (DSM, Driver State Monitoring)

실내 카메라는 차량의 실내에 장착된 적외선(IR, infrared) 카메라를 통해 운전자의 얼굴 상태를 인식하고 모니터링하기 위해 사용될 수 있다. 실내 카메라의 경우 영상을 디스플레이 하기 위해 촬영한다기 보다 우선적으로 영상에서 얼굴을 인식하는 것이 목적이다. 따라서, 다양한 광 환경에서 안경 반사 저감 및 영상 화질 안정화가 핵심이며, 운전자 얼굴 등 관심 영역에 대해 다른 영역보다 영상 안정화를 수행하여 영상 인식 성능 향상시킬 필요가 있다.

기존 기술은 카메라 자동 노출 기반으로 LED 램프를 상시 ON으로 설정하여 야간 촬영시 필요한 조도를 확보하여 영상의 화질을 안정화하는 방법을 사용하였다. 하지만, LED 램프를 항상 ON할 경우, LED의 수명에 문제가 되고, 또한 원하는 밝기로 LED를 강하게 조사하는 데에 한계가 있다. 또한, LED 전원을 상시 ON함에 따라 카메라의 발열이 발생하게 되어 장치에 무리가 갈 수 있다.. 또한 자동 노출을 사용할 경우 측광 영역이 정해져 있으므로, 관심 영역에 대해 좀 더 포커싱한 영상을 촬영할 수 없다.

도 1은 기존 영상 촬영 기술로 촬영된 영상의 사진이다.

도 1의 (A)는 실내 카메라를 이용하여 운행자의 얼굴을 촬영한 영상으로 좌측은 기존의 영상 촬영 기술로 촬영된 경우 영상의 이미지를 나타내고 오른쪽의 영상의 촬영 시 조도를 높이기 위해 사용하는 LED의 밝기를 증대시켜 촬영한 화면을 나타낸 것이다. 도 1의 (A)를 참조하면 기존의 촬영된 영상에서 LED의 밝기가 조정된 경우 운행자의 안경으로부터 일어나는 반사가 저감되어 좀 더 품질이 높은 영상을 획득하는 것을 확인할 수 있다.

도 1의 (B)는 실내 카메라를 이용하여 운행자의 얼굴을 촬영한 영상으로 도 1(A)와 동일하게 좌측은 기존의 영상 촬영 기술로 촬영된 경우 영상의 이미지를 나타내고 오른쪽의 영상은 LED의 밝기를 증대시켜 촬영한 화면을 나타낸 것이다. 도 1의 (B)를 참조하면 기존의 촬영된 영상에서 LED 의 밝기가 조정된 경우 기존의 촬영 환경보다 광량이 늘어나고 좀더 안정적인 화질의 영상을 얻을 수 있다.

즉, 본 발명의 실시예에 따른 영상 촬영 방법에서는 영상 촬영 시 노출을 제어함으로서 촬영된 영상에서 일어나는 반사를 줄이고 촬영된 영상을 좀더 안정적인 영상으로 생성할 수 있다.

도 1의 (C)는 실외 카메라를 사용하여 촬영된 야간 영상을 나타낸 것이다.

도 1의 (C)를 참조하면, 야간에서 실외 카메라를 이용해 촬영을 수행하는 경우 영상의 이미지가 뭉개지고 노이즈가 발생한 화면이 촬영될 수 있다.

도 1의 (D)는 실외 카메라를 사용하여 촬영된 영상의 조도 차이를 나타낸 개념도이다.

도 1의 (D)를 참조하면, 각각의 카메라에서 촬영된 영상에서 발생하는 조도 차이로 인해 디스플레이되는 영상에서 경계선이 생길 수 있다. 즉, 조도 차이로 인해 자연스럽지 않은 영상이 운행자에게 전송될 수 있다.

본 발명의 실시예에 따른 영상 촬영 방법에서는 야간에 촬영된 영상에 발생한 노이즈를 저감하고 영상에 발생한 조도 차이를 균일화하여 운행자에게 디스플레이 하기 위한 노력이 필요하다.

본 발명의 실시예에 따른 영상 촬영 방법은 물체 감지 센서(초음파, LIDAR, Radar, CV, Laser, 카메라 등) 등으로 물체를 감지하여 물체가 있는 영역을 관심 영역으로 설정하고 관심영역에 대해 히스토그램 분석과 같은 영상 분석 방법을 이용하여 영상을 촬영하는 카메라의 노출을 제어하고 LED 밝기를 제어하여 영상 촬영시 LED 램프를 조사할 수 있다.

도 2는 본 발명의 실시예에 따른 관심 영역을 설정하여 설정된 관심 영역에 대해 카메라 노출 제어 및 LED 밝기를 조절하는 방법을 나타낸다.

도 2를 참조하면 도 2(A)는 기존의 실외 카메라를 이용한 영상 촬영 방법으로 따로 영상이 촬영되기 위해 설정되는 관심 영역이 없이 촬영되는 경우를 나타낸다.

하지만, 본 발명의 실시예에 따른 영상 촬영 방법을 사용할 경우 물체 감지 센서를 이용하여 촬영되는 영상에서 관심 영역을 설정하고 관심 영역에 대하여 영상 촬영 시 노출을 제어하고 LED 밝기를 제어함으로서 관심 영역 부분에서 촬영된 영상의 이미지가 좀 더 명확하게 촬영되도록 제어할 수 있다.

도 3은 본 발명의 실시예에 따른 영상 촬영 장치를 나타낸 개념도이다.

도 3을 참조하면, 영상 촬영 장치는 영상 촬영부(300), LED 램프(310), 물체 감지 센서(320), 관심 영역 설정부(325), ECU(electric control unit, 330), 디스플레이 장치(350)를 포함할 수 있다.

물체 감지 센서(320)에서는 전방에 물체가 존재하는지 여부를 판단하기 위해 사용될 수 있다. 본 발명의 실시예에 따른 영상 촬영 방법에서는 물제 감지 센서(320)를 이용하여 촬영된 영상에서 특정한 관심 영역을 설정한 후 관심 영역에 대해 LED 제어 및 노출 제어를 통한 영상 촬영을 수행하여 촬영되는 영상의 퀄리티를 높일 수 있다.

물체 감지 센서(320)는 레이더를 통한 물체 감지 방법, 영상 정보를 기초로 한 물제 감지 방법 등 다양한 방법을 사용하여 물체를 감지할 수 있다. 예를 들어, 영상에서 차량 운행자의 얼굴 부분만을 감지하는 역할을 수행하기 위해 물체 감지 센서(320)가 사용될 수 있다.

관심 영역 설정부(325)는 물체 감지 센서를 기초로 센싱된 물체 또는 특정한 영역을 관심 영역으로 설정할 수 있다. 일반적으로 관심 영역은 운행자에게 가장 중요하게 전달되어야 하는 영상 정보일 수 있으며, 이러한 정보를 관심 영역으로 설정함으로서 운행자에게 필요한 영상 정보를 전달하거나 운행자에게 필요한 정보를 획득할 수 있다.

ECU(330)는 카메라의 노출 및 LED의 밝기 등을 제어하기 위한 프로세서로서 사용할 수 있다. 관심 영역 설정부(325)로부터 전송된 관심 영역 정보를 기초로 ECU(330)는 카메라의 노출 및 LED 조사 강도를 결정할 수 있다. ECU(330)는 결정된 노출 파라메터를 카메라의 노출을 제어하기 위한 정보로 영상 촬영부(300)로 송신할 수 있다. 또한 LED의 강도를 제어하기 위한 신호를 LED(310)로 송신할 수 있다. 이러한 방법을 사용함으로서 운행자는 관심 영역에 좀더 집중된 영상 정보를 수신할 수 있고 영상 촬영 장치는 분석이 필요한 영사에 대한 정보를 좀더 정확하게 얻을 수 있다.

LED(310)는 ECU(330) 및 영상 촬영부(300)와 연동하여 LED의 on/off 타이밍에 맞추어 LED 신호를 발생시킬 수 있고 LED 강도 제어 정보를 기초로 특정한 강도의 LED 신호를 조사할 수 있다.

영상 촬영부(300)는 ECU(330)와 연계되어 노출량을 제어할 수 있다. 또한 LED(310)와 연결되어 카메라에서는 LED(310)가 구동되는 타이밍을 조절하도록 할 수 있다.

도 4는 본 발명의 실시예에 따른 영상 촬영 장치와 LED가 구동하는 타이밍을 조절하는 방법을 나타낸 개념도이다.

도 4의 (A)는 기존의 LED를 제어하여 영상 촬영을 수행하는 방법을 나타내 개념도이다.

도 4의 (A)를 참조하면, 기존의 영상 촬영의 경우 영상 촬영 장치가 촬영 전부터 LED 가 구동됨으로서 불필요한 전력 소모가 이루어졌다.

하지만 도 4의 (B)는 영상 촬영 장치의 구동과 LED 구동의 싱크를 맞추는 경우를 나타낸 것이다. 본 발명의 실시예에 따르면 영상 촬영 장치의 LED OUT 신호와 LED 구동 제어 타이밍을 맞춤으로서 불필요하게 LED가 켜져 있는 경우를 방지할 수 있다.

도 5는 본 발명의 실시예에 따른 관심 영역을 설정하고 카메라의 노출을 제어하는 방법을 나타낸 개념도이다.

도 5를 참조하면, 관심 영역을 기반으로 카메라의 노출을 제어하기 위해서는 관심 영역 내의 평균 휘도 값을 산출하는 방식과 영상에 대한 히스토그램을 분석하는 방법이 사용될 수 있다. 평균 휘도 값을 산출하는 방법은 관심 영역 내 모든 픽셀의 평균을 구하여 평균값을 목표 노출 값으로 정하는 방법이고, 히스토그램 분석 방법은 히스토그램의 분포가 원하는 노말(normal)한 분포를 이루도록 목표 노출 값을 정하는 방식이다.

우선 IR 카메라에서 영상(500)을 입력 받을 수 있다. 입력 받은 영상 중 특정한 영역에 대해 관심 영역(510)이 설정될 수 있다. 관심 영역9510)을 설정하기 위해 물체 감지 센서(505)에서 소정의 알고리즘을 사용한 영상 인식 방법을 통해 관심 영역이 설정될 수 있다. 예를 들어, 촬영된 영상에서 얼굴 부분이 관심 영역인 경우, 물체 감지 센서에서는 촬영된 영상에서 얼굴 부분을 인식하여 관심 영역으로 설정할 수 있다. 예를 들어, 도 5에서와 같이 얼굴 부분이 관심 영역이 될 수 있다.

관심 영역으로 설정된 영역에 대하여 전술한 바와 같이 두 가지의 방법을 통해 영상 분석(520)을 수행할 수 있다.

(1) 우선 평균 휘도 값을 산출하여 영상을 분석하는 방법의 경우 관심 영상에 존재하는 픽셀의 휘도 값에 대한 평균 휘도 값을 산출하고 평균 휘도 값을 기준으로 목표 노출 값을 설정할 수 있다. 즉, 원하는 영상의 기준 휘도 값을 설정하고 기준 영상의 휘도값과 평균 휘도 값을 비교하여 카메라가 얼마나 더 노출을 수행해야 기준 영상과 유사한 노출량을 가지는 영상을 가질 수 있을지에 대해 판단할 수 있다.

(2) 히스토그램을 사용하여 영상을 분석하는 방법의 경우 영상 분석 영역의 영상에서 히스토그램을 산출하고 생성된 히스토그램과 기준 영상의 히스토그램의 값을 비교하여 영상에서 변화시킬 노출 량을 산출할 수 있다. 영상의 히스토그램은 영상의 특징를 비교하기 위한 변수 값으로 사용될 수 있다.

위와 같은 평균 휘도 값 및 히스토그램을 기초로 산출된 노출량은 목표 노출량(530)으로서 다시 IR 카메라(540)로 전송될 수 있다. IR 카메라(540)에서는 전송된 목표 노출량을 사용하여 카메라의 노출 정도를 다시 조정할 수 있고 조정된 노출 값으로 촬영된 영상을 디스플레이(550)로 전송하여 운행자가 촬영된 영상을 보도록 하거나 노출값이 조정된 영상을 기초로 영상 정보를 획득할 수 있다.

IR 카메라(500)에서 촬영된 영상과 기준 영상을 비교되는 단계는 반복적으로 수행될 수 있다. 즉, 촬영된 영상의 평균 휘도 및 히스토그램이 기준 영상과 대비하여 유사한 값을 가지도록 반복적으로 영상을 촬영하고 최종적으로 결정된 노출 값(530)으로 촬영된 영상이 운행자에게 디스플레이(550)되도록 할 수 있다.

도 6은 본 발명의 실시예에 따른 적외선 LED의 on/off를 제어하는 방법을 나타낸 개념도이다.

도 6에서는 이미지 센서 LED OUT 노출 시간 동기를 MICOM에서 감지하여 영상 촬영 장치의 IR LEN on/off 시간을 동기화할 수 있다.

도 6의 (A)은 제1 PWM(pulse width modulation) 옵션으로 카메라의 LED_OUT과 LED 구동 제어 타이밍의 동기를 맞추는 방법에 대해 개시한다.

LED_OUT의 논리 신호가 1의 값을 가질 경우 LED 구동 제어 타이밍도 동일한 논리값을 가지도록 함으로서 이미지 센서의 LED_OUT 노출 시간 동기를 감지하여 영상 촬영 장치의 LED의 구동 제어 타이밍을 동기화할 수 있다.

영상 촬영 장치의 LED 구동 타이밍은 다른 옵션으로 구동될 수도 있다.

도 6의 (B)의 경우 LED 구동 제어 타이밍이 노출 시간 동기가 구동하는 주기의 반에 해당하는 주기로 구동됨으로서 구동 사이클을 다르게 설정하는 것도 가능하다.

LED의 on/off 구동 타이밍뿐만 아니라 LED의 밝기를 제어함으로서 영상의 품질을 향상시킬 수 있다.

도 7은 본 발명의 실시예에 따른 LED 밝기를 제어하는 방법을 나타낸 개념도이다.

도 7에서는 PWM(pulse width modulation)에 의해 LED의 on/off 를 제어할 뿐만 아니라 LED on/off 제어를 수행하는 PWM(pulse width modulation) 방법에 의해서 LED의 밝기를 조절하는 방법에 대해 개시한다.

도 7을 참조하면, (A)는 카메라 LED_OUT(노출 시간 동기), (B)는 FRAME_VALID(VSYNC), (C)는 LED ON/OFF control(PWM)(MAX 2A)를 나타내고 (D)는 LED+를 나타낸다.

이미지 센서의 (A) LED_OUT 신호에 따라 MICOM에서 PWM 신호를 통해 적외선 LED를 on/off로 구동시킬 수 있다. 이때 PWM 주파수(frequency)는 100KHz 이상이 될 수 있다.

본 발명의 실시예에서는 PWM 신호의 duty 비에 의해 전류를 제어할 수 있는데 예를 들어, duty 비가 LED current 2A인 경우 1, duty 비가 LED current 1.5A인 경우 0.75, duty 비가 LED current 1A인 경우 0.5, duty 비가 LED current 0.5A인 경우 0.25의 듀티 사이클 비율을 가지고 LED 의 밝기를 조절하기 위한 전류의 양을 서로 다르게 하여 LED 밝기에 대한 제어를 수행할 수 있다. 즉 LED 밝기를 촬영 환경에 맞추어 조절함으로서 촬영된 영상의 품질을 높일 수 있다.

도 8은 본 발명의 실시예에 따른 카메라 노출 제어 및 LED 램프 제어를 사용한 경우 개선된 영상을 나타낸 것이다.

도 8의 (A)와 도 8의 (B)는 실외 카메라를 사용하여 촬영된 이미지로서 차량 외부를 촬영한 영상을 비교한 것이다.

도 8의 (A)는 본 발명에서 개시한 카메라 노출 제어 방법 및 LED 램프 제어 방법을 적용하기 전에 카메라를 사용하여 촬영한 이미지, 도 8의 (B)는 본 발명에서 개시한 카메라 노출 제어 방법 및 LED 램프 제어 방법을 적용하여 촬영한 이미지이다.

영상을 비교하면, 기존의 영상보다 카메라 제어 후의 영상이 빛의 반사를 적절이 제어한 영상을 보여주고 사물을 좀더 명확하게 나타내는 것을 확인할 수 있다.

도 8(B)는 본 발명에서 개시한 카메라 노출 제어 방법 및 LED 램프 제어 방법을 적용하기 전에 카메라를 사용하여 촬영한 이미지, 도 8의 (B)는 본 발명에서 개시한 카메라 노출 제어 방법 및 LED 램프 제어 방법을 적용하여 촬영한 이미지이다.

도 8의 (C)와 도 8의 (D)는 실내 카메라를 사용하여 촬영된 이미지로서 차량 내부를 촬영한 영상을 비교한 것이다.

도 8(C)는 기존의 영상 촬영 방법을 적용하여 촬영한 이미지이고 도 8(D)는 본 발명에서 개시한 카메라 노출 제어 방법 및 LED 램프 제어 방법을 적용하여 촬영한 이미지이다.

도 8의 (C)와 도 8의 (D)를 비교하면, 기존의 영상 촬영 방법에서 촬영된 이미지보다 본 발명에서 개시한 카메라 노출 제어 방법 및 LED 램프 제어 방법을 적용하여 촬영한 이미지로서 기존의 카메라를 사용하여 촬영한 경우가 좀더 화질이 좋고 이미지가 명확하게 인식되는 것을 확인할 수 있다.

즉, 본 발명에서 개시한 카메라 노출 제어 방법 및 LED 램프 제어 방법을 적용하는 경우 야간 노이즈 저감 및 카메라 영상 균일화로 차량 실내/실외 카메라 영상품질 향상, 야간 촬영시 카메라 프레임 속도 저하 문제 해결, 관심 영역 장애물 시각 인식성 향상 및 영상 화질 안정화가 가능할 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

영상 처리 방법에 있어서,
차량의 영상 촬영 장치를 이용하여 영상을 촬영하는 단계;
상기 촬영된 영상을 기초로 상기 영상 촬영 장치의 노출 값을 제어하는 단계; 및
상기 영상 촬영 장치의 LED(light emitting diode)장치를 제어하는 단계를 포함하되,
상기 영상 촬영 장치의 노출 값을 제어하는 단계는
상기 촬영된 영상의 히스토그램의 분포가 노말(normal)한 분포를 이루도록 목표 노출값을 결정하는 것을 특징으로 하는 영상 처리 방법.
제1항에 있어서, 상기 촬영된 영상을 기초로 상기 영상 촬영 장치의 노출 값을 제어하는 단계는,
제1 촬영 영상의 평균 휘도값을 산출하고 상기 제1 촬영 영상의 평균 휘도값을 기준 영상의 기준 휘도값과 비교하는 단계; 및
상기 비교 결과를 기초로 상기 영상 촬영 장치의 노출값을 결정하는 단계를 포함하는 영상 처리 방법.
제2항에 있어서, 제1 촬영 영상의 평균 휘도값을 산출하고 상기 제1 촬영 영상의 평균 휘도값을 기준 영상의 기준 휘도값과 비교하는 단계는,
카메라 노출 제어시에 물체를 감지하여 상기 제1 촬영 영상에서 관심 영역을 결정하는 단계; 및
상기 관심 영역에 포함된 픽셀의 휘도 값의 평균을 산출하는 단계를 포함하는 영상 처리 방법.
제1항에 있어서, 상기 촬영된 영상을 기초로 상기 영상 촬영 장치의 노출 값을 제어하는 단계는,
제1 촬영 영상의 히스토그램을 산출하고 상기 제1 촬영 영상의 히스토그램을 기준 영상의 히스토그램과 비교하는 단계; 및
상기 비교 결과를 기초로 상기 영상 촬영 장치의 노출값을 결정하는 단계를 포함하는 영상 처리 방법.
제4항에 있어서, 상기 제1 촬영 영상의 히스토그램을 산출하고 상기 제1 촬영 영상의 히스토그램을 기준 영상의 히스토그램과 비교하는 단계는,
상기 제1 촬영 영상에서 관심 영역을 결정하는 단계; 및
상기 관심 영역에 포함된 픽셀을 기초로 히스토그램을 산출하는 단계를 포함하는 영상 처리 방법.
제1항에 있어서, 상기 영상 촬영 장치의 LED(light emitting diode)장치를 제어하는 단계는,
PWM(pulse width modulation) 신호의 듀티(duty)비를 기초로 전류를 제어하는 단계; 및
상기 전류를 기초로 상기 LED 장치의 밝기를 제어하는 단계를 포함하는 영상 처리 방법.
영상 처리 장치에 있어서, 상기 장치는
차량의 영상 촬영 장치를 이용하여 영상을 촬영하는 영상 촬영부; 및
상기 촬영된 영상을 기초로 상기 영상 촬영 장치의 노출 값 및 LED(light emitting diode)장치를 제어하는 ECU(electronic control unit)를 포함하되,
상기 영상 촬영 장치의 노출 값은 상기 촬영된 영상의 히스토그램 분포가 노말(normal)한 분포를 이루도록 목표 노출값을 결정하는 것을 특징으로 하는 영상 처리 장치.
제7항에 있어서, 상기 ECU는,
제1 촬영 영상의 평균 휘도값을 산출하고 상기 제1 촬영 영상의 평균 휘도값을 기준 영상의 기준 휘도값과 비교하고 상기 비교 결과를 기초로 상기 영상 촬영 장치의 노출값을 결정하도록 구현되는 영상 처리 장치.
제8항에 있어서, 상기 ECU는,
제1 촬영 영상의 평균 휘도값을 산출하고 상기 제1 촬영 영상의 평균 휘도값을 기준 영상의 기준 휘도값과 비교하기 위해 상기 제1 촬영 영상에서 관심 영역을 결정하고 상기 관심 영역에 포함된 픽셀의 휘도 값의 평균을 산출하도록 구현되는 영상 처리 장치.
제7항에 있어서, 상기 ECU는,
제1 촬영 영상의 히스토그램을 산출하고 상기 제1 촬영 영상의 히스토그램을 기준 영상의 히스토그램과 비교하고 상기 비교 결과를 기초로 상기 영상 촬영 장치의 노출값을 결정하도록 구현되는 영상 처리 장치.
제10항에 있어서, 상기 ECU는,
상기 제1 촬영 영상의 히스토그램을 산출하고 상기 제1 촬영 영상의 히스토그램을 기준 영상의 히스토그램과 비교하기 위해 상기 제1 촬영 영상에서 관심 영역을 결정하고 상기 관심 영역에 포함된 픽셀을 기초로 히스토그램을 산출하도록 구현되는 영상 처리 장치.
제10항에 있어서, 상기 ECU는,
PWM(pulse width modulation) 신호의 듀티(duty)비를 기초로 전류를 제어하고 상기 전류를 기초로 상기 LED 장치의 밝기를 제어하도록 구현되는 영상 처리 장치.