KR101601324B1 - 차량용 카메라 시스템의 영상 획득 방법 - Google Patents

Abstract

본 발명은 차량용 카메라 시스템의 영상 획득 방법에 관한 것으로서, 물체의 식별이 불가능하거나 상황 확인이 어려운 불량 영상의 원인이 되는 외란 광의 영향, 특히 카메라의 촬영범위 또는 그 주변에 위치되는 차량 내 고정된 실내 광원의 영향을 제거하고 보정할 수 있는 차량용 카메라 시스템의 영상 획득 방법을 제공하는데 그 목적이 있다. 상기한 목적을 달성하기 위해, 카메라 제어부가 이미지 센서 모듈 및 디지털신호처리부를 통해 획득된 영상신호에서 실내 광원으로 인한 고휘도 영역을 검출하는 단계와; 카메라 제어부가 실내 광원으로 인한 고휘도 영역을 포함하는 영역에 대해 새로운 노광 가중치를 선정하는 단계와; 카메라 제어부가 고휘도 영역에 대한 새로운 노광 가중치 정보에 기초하여 디지털신호처리부의 이미지 센서 모듈에 대한 노광 제어값을 재설정하는 단계와; 디지털신호처리부가 재설정된 노광 제어값으로 이미지 센서 모듈에 대한 노광 제어를 수행함과 동시에 이미지 센서 모듈의 광전변환신호를 디지털 영상신호로 변환하여 출력하는 단계와; 시스템 제어부가 디지털신호처리부에서 입력되는 디지털 영상신호를 화상 처리하여 촬영 영상을 획득하는 단계;를 포함하여 이루어지는 차량용 카메라 시스템의 영상 획득 방법이 개시된다.

Description

차량용 카메라 시스템의 영상 획득 방법{Image acquiring method of vehicle camera system}

본 발명은 차량용 카메라 시스템의 영상 획득 방법에 관한 것으로서, 더욱 상세하게는 불량 영상의 원인이 되는 차량 내 고정된 실내 광원의 영향을 제거하고 보정할 수 있는 차량용 카메라 시스템의 영상 획득 방법에 관한 것이다.

최근에는 차량의 주행 제어, 운전 편의, 안전 등의 여러 목적으로 차량에 카메라 시스템을 부착하는 경우가 증가하고 있다.

그 예로, 카메라에서 얻어지는 영상을 기초로 차량의 동작을 제어하기 위한 시스템, 야간 주행 중 전방의 상황을 카메라로 촬영하여 사고 방지에 기여할 수 있도록 한 시스템, 운전 중 주변 상황을 기록하기 위한 차량용 블랙박스(LDW)나 운전기록장치(driver recorder) 등에 널리 사용되고 있다.

상기와 같은 시스템에서 차량의 전방을 촬영하기 위한 카메라, 특히 차량의 실내에 장착되는 전방 카메라는 통상 전면 유리나 운전석, 조수석의 주변 또는 룸미러 등에 장착되어 전면 유리를 통해 나타나는 전방의 상황을 촬영하게 된다.

그러나, 카메라의 촬영범위 내에 실내 광원이 존재하는 경우 카메라의 노광 제어가 영향을 받게 되고, 이에 전방의 상황을 양호한 상태로 촬영하지 못하여 원하는 영상을 얻기가 어렵게 된다.

예를 들어, 도 1에 도시된 바와 같이, 실내 전방의 대시 보드(dash board)나 전면 유리에 내비게이션(1)이 장착된 경우 내비게이션 화면이 카메라의 촬영범위에 위치할 수 있고, 야간 주행시에는 내비게이션의 고휘도 화면이 전방 카메라의 촬영에 영향을 주게 된다.

도 2는 전방 카메라에 의해 촬영된 영상의 일례를 보여주는 것으로, 카메라의 촬영범위에서 하부에 내비게이션의 화면(2)이 나타남을 보이고 있다.

이와 같이 카메라 전방의 촬영범위 내에 내비게이션이 위치할 경우 고휘도의 화면에 의해 카메라의 노광 제어가 영향을 받게 된다.

종래의 차량용 카메라 시스템에서는 고정 영역에서 작용하는 외란 광의 영향에 대응하기 위한 노광 제어 기술이 적용되어 있지 않으므로 외란 광의 영향을 받은 불량 영상을 얻을 수밖에 없다.

특히, 불량 영상으로 인해 카메라 시스템과 연계된 차량 내 시스템의 기능이 저하될 수 있고, 촬영된 영상 내에서 물체의 식별이 어려우므로 블랙박스나 운전기록장치로서의 기능 및 효과가 제대로 구현될 수 없다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 발명한 것으로서, 물체의 식별이 불가능하거나 상황 확인이 어려운 불량 영상의 원인이 되는 외란 광의 영향, 특히 카메라의 촬영범위 또는 그 주변에 위치되는 차량 내 고정된 실내 광원의 영향을 제거하고 보정할 수 있는 차량용 카메라 시스템의 영상 획득 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위해, 본 발명은, a) 카메라 제어부가 이미지 센서 모듈 및 디지털신호처리부를 통해 획득된 영상신호에서 실내 광원으로 인한 고휘도 영역을 검출하는 단계와; b) 카메라 제어부가 실내 광원으로 인한 고휘도 영역을 포함하는 영역에 대해 새로운 노광 가중치를 선정하는 단계와; c) 카메라 제어부가 고휘도 영역에 대한 새로운 노광 가중치 정보에 기초하여 디지털신호처리부의 이미지 센서 모듈에 대한 노광 제어값을 재설정하는 단계와; d) 디지털신호처리부가 재설정된 노광 제어값으로 이미지 센서 모듈에 대한 노광 제어를 수행함과 동시에 이미지 센서 모듈의 광전변환신호를 디지털 영상신호로 변환하여 출력하는 단계와; e) 시스템 제어부가 디지털신호처리부에서 입력되는 디지털 영상신호를 화상 처리하여 촬영 영상을 획득하는 단계;를 포함하여 이루어지는 차량용 카메라 시스템의 영상 획득 방법을 제공한다.

이에 따라, 본 발명에 따른 차량용 카메라 시스템의 영상 획득 방법에 의하면, 실내 광원으로 인한 외란 광 작용 영역을 검출하여 새로운 노광 가중치가 적용되도록 이미지 센서 모듈에 대한 디지털신호처리부의 노광 제어값을 재설정하고, 이로써 해당 영역에 대해 외란 광의 고휘도 영향이 제거되는 노광 제어, 및 외란 광의 고휘도 영향이 제거된 영상을 획득할 수 있는 효과가 있다.

도 1 및 도 2는 종래기술에 따른 문제점을 설명하기 위한 도면으로서, 도 1은 실내 광원으로서 내비게이션이 장착된 예를, 도 2는 전방 카메라에 의해 촬영된 영상의 일례를 보여주는 것이다.
도 3은 본 발명에 따른 영상 획득 과정에 의해 노광 제어가 이루어진 상태의 영상을 나타내는 도면이다.
도 4는 본 발명에 따른 영상 획득 과정을 수행하기 위한 카메라 시스템의 구성을 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 영상 획득 과정을 나타내는 순서도이다.
도 6은 본 발명의 실시예에 따른 영상 획득 과정을 설명하는 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명하기로 한다.

본 발명은 물체의 식별이 불가능하거나 상황 확인이 어려운 불량 영상의 원인이 되는 외란 광의 영향, 특히 카메라의 촬영범위 또는 그 주변에 위치되는 차량 내 고정된 실내 광원의 영향을 제거하고 보정할 수 있는 차량용 카메라 시스템의 영상 획득 방법에 관한 것이다.

도 3은 본 발명에 따른 영상 획득 과정에 의해 노광 제어가 이루어진 상태의 영상을 나타내는 도면으로, 좌측은 통상의 야간 촬영 영상을 나타내고, 우측은 학습 과정 후 노광 제어된 영상을 나타낸다.

본 발명에서는 야간시 이미지 센서 모듈의 광전변환신호(입사광을 변환한 전기신호)로부터 얻어지는 각 화소의 휘도 정보에 기초하여 일정 시간 동안 같은 위치에 나타나는 고휘도 화소 영역을 실내 광원으로 인한 외란 광의 작용 영역으로 판정하고, 이 부분의 외란 광 영향을 제거하기 위해 노광 제어값을 재설정하게 된다.

카메라에 의해 촬영된 영상에 내비게이션의 고휘도 화면 또는 그 화면으로 인한 고휘도 영역이 포함되어 있다고 할 때, 운전자나 승객이 내비게이션의 위치를 변경하지 않는 한 촬영된 영상에서 항상 같은 영역에 고휘도 화면 또는 그 작용으로 인한 고휘도 영역이 위치하게 된다.

따라서, 본 발명에서는 영상신호의 화소별 휘도 정보로부터 일정 시간 동안 고정되어 있는 고휘도 화소 영역을 실내 광원으로 인한 외란 광 작용 영역으로 판정하고 노광 가중치를 선정하는 학습 과정을 수행한 뒤, 새로운 노광 가중치가 적용되도록 이미지 센서 모듈에 대한 디지털신호처리부의 노광 제어값을 재설정함으로써, 그 이후부터는 해당 영역에 대해 외란 광의 고휘도 영향이 제거될 수 있는 노광 제어가 이루어지도록 한다.

이 경우, 촬영범위 내에 고정 실내 광원으로 인한 고휘도의 외란 광 작용 영역이 포함되어 있다 하더라도 사용자의 별도 조작 없이 양호한 영상을 얻을 수 있고, 차량용 카메라 시스템 본래의 성능을 유지할 수 있게 된다.

이러한 본 발명은 차량의 전방 상황을 촬영하여 영상 정보를 획득하는 차량 전방 카메라 시스템에 유용하게 적용될 수 있다.

이하, 상기와 같은 영상 획득 과정을 수행하는 카메라 시스템의 구성에 대해 먼저 설명한다.

도 4는 본 발명에 따른 영상 획득 과정을 수행하기 위한 카메라 시스템의 구성을 나타내는 블록도이다.

도시된 바와 같이, 카메라 시스템은, 카메라 렌즈(11)와, 상기 카메라 렌즈(11)를 통해 들어온 입사광을 전기신호로 변환하여 출력하는 이미지 센서 모듈(12)과, 상기 이미지 센서 모듈(12)의 노광을 제어하는 동시에 이미지 센서 모듈(12)에서 입력되는 전기신호를 디지털 영상신호로 변환하여 출력하는 디지털신호처리부(DSP:Digital Signal Processor)(13)와, 상기 이미지 센서 모듈(12)과 디지털신호처리부(13)의 기본 동작을 설정하는 카메라 제어부(MCU:Micro Control Unit)(14)와, 상기 디지털신호처리부(13)로부터 전달되는 디지털 영상신호를 화상 처리하는 시스템 제어부(15)를 포함하여 구성된다.

이러한 구성에서 디지털신호처리부(13)는 이미지 센서 모듈(12)의 노광 및 계조(階調)(gradation) 표현을 제어하는 동시에 영상신호의 각 화소별 휘도 정보를 카메라 제어부(14)로 전달하게 된다.

카메라 제어부(14)는 디지털신호처리부(13)로부터 입력되는 화소별 휘도 정보를 기초로 하여 노광 제어용 화면 분할을 수행하고, 각 분할된 화면 영역의 노광 가중치를 선정한다.

또한 카메라 제어부(14)는 노광 제어용 화면 분할 정보와 분할된 각 화면 영역의 노광 가중치 정보에 기초하여 이미지 센서 모듈(12)에 대한 디지털신호처리부(13)의 노광 제어값을 재설정한다.

시스템 제어부(15)는 디지털신호처리부(13)로부터 전달되는 디지털 영상신호를 화상 처리하여 촬영된 영상 정보로 획득하고, 아울러 촬영된 영상 정보를 저장하는 한편 표시부를 통해 표시되도록 한다.

여기서, 시스템 제어부(15)는 촬영된 영상을 이용하는 차량 내 연계 시스템의 제어부가 될 수 있으며, 이 경우 촬영된 영상으로부터 차량 내 카메라 연계 시스템의 작동을 제어하거나 경고 등 동작이 수행되도록 제어하는 역할을 추가로 수행하게 된다.

예컨대, 시스템 제어부(15)는 촬영된 영상을 기초로 차량의 동작을 제어하는 시스템이나 사고 방지에 기여할 수 있도록 한 시스템의 제어부, 또는 운전 중 주변 상황을 기록하기 위한 차량용 블랙박스나 운전기록장치 등의 제어부가 될 수 있다.

이하, 상기한 구성의 카메라 시스템에 의해 수행되는 영상 획득 과정에 대해 설명하면 다음과 같다.

도 5는 본 발명의 실시예에 따른 영상 획득 과정을 나타내는 순서도이고, 도 6은 본 발명의 실시예에 따른 영상 획득 과정을 설명하는 도면이다.

본 발명에 따른 영상 획득 과정은 영상신호의 화소별 휘도 정보로부터 일정 시간 동안 고정되어 있는 고휘도 화소 영역을 실내 광원으로 인한 외란 광 작용 영역으로 판정하고 외란 광 작용 영역의 노광 가중치를 선정하는 학습 과정을 포함한다.

이러한 학습 과정은 야간시 수행되도록 설정될 수 있는데, 이전의 노광 제어 설정 상태에서 카메라 제어부(14)가 차량 내 센서나 스위치(16)의 신호로부터 현재가 야간 상태임을 판정하게 되면 학습 모드로 전환하여 일련의 과정을 수행한다.

상기 센서로는 차량에 기 장착된 일사량 센서나 오토 라이트 시스템(auto light system)의 조도센서가 될 수 있고, 상기 스위치로는 헤드램프 스위치가 될 수 있다.

이에 카메라 제어부(14)는 센서의 검출값으로부터 현재의 일사량 또는 조도가 기준치 이하이거나 헤드램프 스위치로부터 온(On) 조작에 따른 신호가 입력되는 경우 야간 상태로 판정하여 학습 모드로 진입한다.

이와 같이 학습 모드로 진입한 상태에서, 이미지 센서 모듈(12)이 카메라 렌즈(11)를 통해 들어온 입사광을 전기신호로 변환하여 출력하고, 이에 디지털신호처리부(13)가 이미지 센서 모듈(12)에서 입력되는 전기신호를 디지털 영상신호로 변환하게 된다.

이와 더불어 디지털신호처리부(13)는 영상신호의 화소별 휘도 정보를 카메라 제어부(14)로 전달하게 된다.

이에 카메라 제어부(14)는 각 화소의 휘도 정보로부터 촬영 영상의 휘도 분포를 분석하여 일정 시간 동안 기준치 이상의 고휘도로 나타나는 화소 집합 영역을 검출하게 된다.

통상의 차량용 카메라 시스템에서는 맞은 편에서 주행하여 오는 상대 차량의 헤드램프 등 이동 광원에 대해서는 일시적인 역광 보정으로 대응할 수 있으나, 항상 같은 위치에 나타나는 고휘도 영역은 노광 제어에 영향을 주게 된다.

따라서, 본 발명에서는 항상 같은 영역에서 고휘도로 나타나는 외란 광 작용 영역에 대해서 디지털신호처리부(13)의 노광 제어값을 변경하는데, 이를 위해 카메라 제어부(14)가 고휘도 상태가 일정 시간 이상 지속되는 고휘도 화소 집합 영역을 검출하여 고정된 외란 광 작용 영역으로 판정하고, 이어 디지털신호처리부(13)의 노광 제어값을 재설정하게 된다.

즉, 같은 위치에서 일정 시간 이상 고휘도로 나타나는 화소 집합 영역을 검출하게 되면, 카메라 제어부(14)는 영상신호에서 검출된 고휘도 화소 집합 영역이 포함된 영역(도 6에서 'A')을 별도로 구분하는 노광 제어용 화면 분할을 수행하고, 이어 고휘도 화소 집합 영역이 포함된 영역과 나머지 구획된 각 영역에 대해서 노광 가중치를 선정하게 된다(도 6 참조).

이때, 고휘도 화소 집합 영역이 포함된 분할 영역에 대해서는 노광을 감소시키는 미리 설정된 낮은 값의 노광 가중치를 선정하게 된다.

이와 같이 노광 가중치를 선정하고 나면 노광 제어용 화면 분할 정보와 분할된 각 화면 영역의 노광 가중치 정보를 새로운 야간용 제어 설정값으로 메모리에 저장하여 학습을 완료한다.

그리고, 학습 완료 후 카메라 제어부(14)는 노광 제어용 화면 분할 정보와 각 분할된 화면 영역의 노광 가중치 정보에 기초하여 이미지 센서 모듈(12)에 대한 디지털신호처리부(13)의 노광 제어값을 재설정한다.

이와 같이 디지털신호처리부(13)의 노광 제어값 변경이 완료되면 이후 디지털 영상신호 획득은 새로운 노광 제어값으로 이루어진다.

이후의 야간 촬영시에는 이미지 센서 모듈(12)에 대한 새로운 노광 제어값이 적용되는 상태로 디지털신호처리부(13)가 디지털 영상신호를 획득하게 되고, 이 디지털 영상신호를 시스템 제어부(15)가 입력받아 화상 처리하여 촬영된 영상을 얻게 된다.

결국, 본 발명에서는 항상 동일한 위치에 나타나는 고정된 고휘도 영역을 제거한 영상을 얻을 수 있게 된다.

이상으로 본 발명의 실시예에 대하여 상세하게 설명하였는 바, 본 발명의 권리범위는 이에 한정되는 것이 아니고, 다음의 특허청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 포함된다.

11 : 카메라 렌즈 12 : 이미지 센서 모듈
13 : 디지털신호처리부 14 : 카메라 제어부
15 : 시스템 제어부 16 : 센서 또는 스위치

Claims (7)

1. a) 카메라 제어부가 이미지 센서 모듈 및 디지털신호처리부를 통해 획득된 영상신호에서 실내 광원으로 인한 고휘도 영역을 검출하는 단계와;
   b) 카메라 제어부가 실내 광원으로 인한 고휘도 영역을 포함하는 영역에 대해 새로운 노광 가중치를 선정하는 단계와;
   c) 카메라 제어부가 고휘도 영역에 대한 새로운 노광 가중치 정보에 기초하여 디지털신호처리부의 이미지 센서 모듈에 대한 노광 제어값을 재설정하는 단계와;
   d) 디지털신호처리부가 재설정된 노광 제어값으로 이미지 센서 모듈에 대한 노광 제어를 수행함과 동시에 이미지 센서 모듈의 광전변환신호를 디지털 영상신호로 변환하여 출력하는 단계와;
   e) 시스템 제어부가 디지털신호처리부에서 입력되는 디지털 영상신호를 화상 처리하여 촬영 영상을 획득하는 단계;
   를 포함하고,
   상기 디지털신호처리부가 영상신호 내 화소별 휘도 정보를 카메라 제어부에 전달하고, 상기 카메라 제어부가 각 화소의 휘도 정보로부터 같은 위치에서 일정 시간 동안 기준치 이상의 고휘도로 나타나는 화소 집합 영역을 실내 광원으로 인한 고휘도 영역으로 판정하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
   
2. 삭제
3. 청구항 1에 있어서,
   상기 카메라 제어부는 차량 내 센서나 스위치의 신호로부터 야간 상태임을 판정하게 되면, 상기 a) ~ d)의 단계를 수행하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
   
4. 청구항 1에 있어서,
   상기 카메라 제어부는,
   상기 실내 광원으로 인한 고휘도 영역을 포함하는 영역을 별도로 구분하는 노광 제어용 화면 분할을 수행하고,
   실내 광원으로 인한 고휘도 영역이 포함된 영역과 나머지 구획된 각 영역에 대해서 노광 가중치를 선정한 뒤,
   노광 제어용 화면 분할 정보와 각 분할된 화면 영역의 노광 가중치 정보에 기초하여 디지털신호처리부의 이미지 센서 모듈에 대한 노광 제어값을 재설정하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
   
5. 청구항 4에 있어서,
   상기 카메라 제어부는 차량 내 센서나 스위치의 신호로부터 야간 상태임을 판정하게 되면, 상기 a) 및 b) 단계, 그리고 노광 제어용 화면 분할 정보와 분할된 각 화면 영역의 노광 가중치 정보를 새로운 야간용 제어 설정값으로 메모리에 저장하는 단계로 이루어지는 학습 과정을 수행하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
   
6. 청구항 3 또는 청구항 5에 있어서,
   상기 센서는 검출값을 카메라 제어부에 전달하는 일사량 센서 또는 조도센서이고, 상기 스위치는 야간시 운전자 조작에 따라 온(On) 조작에 따른 신호를 카메라 제어부에 전달하는 헤드램프 스위치인 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
   
7. 청구항 1 또는 청구항 3에 있어서,
   상기 실내 광원으로 인한 고휘도 영역이 포함된 영역에 대해서는 노광을 감소시키는 노광 가중치를 선정하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
   

Images