KR20150022076A

KR20150022076A - 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치

Info

Publication number: KR20150022076A
Application number: KR20130099371A
Authority: KR
Inventors: 임준택
Original assignee: 주식회사 만도
Priority date: 2013-08-22
Filing date: 2013-08-22
Publication date: 2015-03-04
Also published as: CN104427255B; CN104427255A; KR101716928B1; US9619895B2; US20150054955A1; DE102014012653A1

Abstract

본 발명은 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치에 관한 것으로, 보다 상세하게는, 차량에 탑재되는 카메라를 통해 획득한 야간 영상을 효과적으로 보정함으로써 야간 영상을 이용하는 차량 주행 보조 시스템의 안정성과 신뢰성을 향상시킬 수 있는 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치에 관한 것으로, 제1 시간만큼 광원에 노출한 영상의 제1 프레임에서 광원을 추출하고, 제1 시간보다 긴 제2 시간만큼 광원에 노출한 영상의 제2 프레임에서 모션 블러(Motion Blur)가 발생한 광원을 추출하는 광원 추출부; 상기 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하고, 상기 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 타겟 광원 분류부; 및 상기 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심선인 제2 위치를 추정하여, 상기 제1 위치와 상기 제2 위치를 상호 비교하여 차량의 피치 모션(Pitch Motion) 발생 여부를 판단하는 모션 판단부;를 포함할 수 있다.

Description

차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치{IMAGE PROCESSING METHOD FOR VEHICLE CAMERA AND IMAGE PROCESSING APPARATUS USNIG THE SAME}

본 발명은 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치에 관한 것으로, 더욱 상세하게는, 차량에 탑재되는 카메라를 통해 획득한 야간 영상을 효과적으로 보정함으로써 야간 영상을 이용하는 차량 주행 보조 시스템의 안정성과 신뢰성을 향상시킬 수 있는 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치에 관한 것이다.

최근 들어, 차량 내 장착된 카메라 등 광학기기를 통하여, 차선, 신호, 차량 또는 기타 지형지물들 같은 오브젝트를 검출하는 검출장치의 개발이 활발하다. 이러한 검출 장치를 통해 검출된 오브젝트 정보는 차량의 안전 주행에 이용 가능하다. 그러나 차량의 주행 중에는 도로 상 노면의 상태에 따라 피치모션(Pitch Motion)이 발생하기도 한다. 피치모션이란 움직이는 노면 상태에 기인한 상기 차량의 업-다운(up-down) 운동을 지칭한다.

이러한 차량의 피치모션은 검출 장치가 오브젝트를 검출하는 데 있어 오류를 발생시키는 원인으로 작용한다. 따라서, 피치모션에 대한 오류를 최소화하는 기술이 필요하게 되었다.

기존의 피치 모션 해결 방법 등 영상 안정화 방법의 경우, 영상에 나타난 지평선 부근의 에지 성분을 추출하여 이전 프레임의 영상과 현재 프레임의 영상을 비교하여 얼마만큼 차이가 나는지 측정함으로써 현재 차량의 피치 모션을 추정하였다. 이러한 피치 모션 추정과 관련된 일례가 대한민국 공개특허공보 제2013-0015974호 (2013.02.14)에 개시되어 있다.

그러나 야간의 경우 조도가 부족하여 카메라 등을 통해 지평선을 관찰할 수 없는 경우가 발생하며, 이러한 경우 기존의 방법을 사용하면 성능 저하를 일으킬 수 있다.

한편, 야간 상황에서 영상 상단에 나타난 가로등과 관련하여, 영상 내 모션과 차량 속도, 요-레이트(Yaw-Rate) 등의 데이터를 이용하여 가로등의 움직임 특성을 알아낼 때 가로등의 영상 내 모션을 분석하는 것이 가장 중요하다. 이때 일반적으로 추적 알고리즘(Tracking Algorithm)을 이용하여 분석한다.

그러나 차량의 전방에 다양한 형태의 광원이 다수 존재하는 경우 추적 알고리즘을 수행하는 데 필요한 계산량이 매우 증가하며, 그에 따라 성능이 저하되는 문제점이 있다.

대한민국 공개특허공보 제2013-0015974호(2013.02.14)

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 차량에 탑재된 주행 보조 시스템이 차량 전방에 탑재되는 카메라를 통해 획득한 야간 영상에 기초하여 선행 차량 등과의 거리를 정할 때, 차량 진동에 의하여 차선 인식이나 거리 정확도의 신뢰성이 저하되는 것을 방지할 수 있는 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치를 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 제1 관점에 따른 영상 처리 장치는, 제1 시간만큼 광원에 노출한 영상의 제1 프레임에서 광원을 추출하고, 제1 시간 보다 긴 제2 시간만큼 광원에 노출한 영상의 제2 프레임에서 모션 블러(Motion Blur)가 발생한 광원을 추출하는 광원 추출부; 상기 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하고, 상기 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 타겟 광원 분류부; 및 상기 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심선인 제2 위치를 추정하여, 상기 제1 위치와 상기 제2 위치를 상호 비교하여 차량의 피치 모션(Pitch Motion) 발생 여부를 판단하는 모션 판단부;를 포함할 수 있다.

또한, 상기 제1 위치와 상기 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 보정부;를 더 포함할 수 있다.

또한, 상기 움직이지 않는 광원은 가로등 및 시선 유도 반사체 중 적어도 어느 하나일 수 있다.

또한, 상기 모션 판단부는 상기 제1 프레임 및 상기 제2 프레임을 중첩시켜 상기 제1 위치 및 상기 제2 위치가 중첩되는 위치를 바탕으로 차량이 발생시킨 피치 모션 방향을 판단할 수 있다.

또한, 상기 영상 처리 장치의 디지털 센서는 롤링셔터(Rolling Shutter) 방식의 CMOS 센서일 수 있다.

상기 목적을 달성하기 위한 본 발명의 제2 관점에 따른 영상 처리 방법은 차량 카메라로부터 획득한 제1 시간만큼 광원에 노출한 영상의 제1 프레임에서 광원을 추출하는 단계; 상기 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하는 단계; 상기 제1 타겟 광원의 중심점인 제1 위치를 산출하는 단계; 차량 카메라로부터 획득한 제1 시간보다 긴 제2 시간만큼 광원에 노출한 영상의 제2 프레임에서 모션 블러가 발생한 광원을 추출하는 단계; 상기 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 단계; 상기 제2 타겟 광원의 중심선인 제2 위치를 산출하는 단계; 상기 제1 위치와 상기 제2 위치를 비교하는 단계; 및

상기 제1 위치와 상기 제2 위치의 비교 결과를 토대로 차량의 피치 모션 발생 여부를 판단하는 단계;를 포함한다.

또한, 상기 제1 위치와 상기 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 단계;를 더 포함할 수 있다.

또한, 상기 제1 타겟 광원을 분류하는 단계 또는 상기 제2 타겟 광원을 분류하는 단계는, 상기 제1 또는 제2 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류할 수 있다.

또한, 상기 제1 타겟 광원을 분류하는 단계 또는 상기 제2 타겟 광원을 분류하는 단계는, 서포트 벡터 머신(Support Vector Machine)을 이용한 학습 방법으로 도로를 따라 나열되는 복수의 가로등 또는 시선 유도 반사체를 타겟 광원으로 분류할 수 있다.

또한, 상기 제1 위치를 산출하는 단계 또는 상기 제2 위치를 산출하는 단계는, 상기 제1 또는 제2 프레임의 영상을 이진화한 후 특정 값을 가진 픽셀들의 무게 중심의 좌표를 상기 제1 위치 또는 상기 제2 위치로 추출할 수 있다.

또한, 상기 제1 위치와 상기 제2 위치의 비교 결과를 토대로 차량의 피치 모션 발생 여부를 판단하는 단계는, 상기 제1 프레임 및 상기 제2 프레임을 중첩시켜 상기 제1 위치 및 상기 제2 위치가 중첩되는 위치를 바탕으로 차량이 발생시킨 피치 모션 방향을 판단할 수 있다.

또한, 상기 제2 프레임은 상기 영상에 포함된 복수의 프레임 중 상기 제1 프레임의 바로 다음에 위치하는 프레임일 수 있다.

또한, 상기 차량 카메라의 상기 영상을 보정하는 단계는, RANSAC(RANdom SAmple Consensus)를 통해 최적화된 보정 방향 및 거리를 추출하여 상기 영상을 보정할 수 있다.

따라서, 본 발명에 의한 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치는, 차량에 탑재된 주행 보조 시스템이 차량 전방에 탑재되는 카메라를 통해 획득한 야간 영상에 기초하여 선행 차량 등과의 거리를 추정할 때, 차량 진동에 의하여 차선 인식이나 거리 정확도의 신뢰성이 저하되는 것을 방지할 수 있는 효과를 제공한다.

도 1은 본 발명에 따른 영상 처리 장치의 개략적인 블록도이다.
도 2는 본 발명에 따른 전방 카메라의 영상 처리 방법에 대한 순서도이다.
도 3 및 도 4는 본 발명에 따른 차량 카메라의 영상 처리 방법을 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 차량의 모션을 파악하는 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 다른 실시예에 따른 차량의 모션을 파악하는 방법을 설명하기 위한 개념도이다.
도 7 내지 도 10은 도 2의 차량 카메라의 영상 처리 방법을 설명하기 위한 예시도이다.

이하, 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 구현예 및 실시예를 들어 상세히 설명한다.

그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현예 및 실시예에 한정되지 않는다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본원 명세서 전체에서, 어떤 단계가 다른 단계와 전에또는 후에 위치하고 있다고 할 때, 이는 어떤 단계가 다른 단계와 직접 연동하는 경우 뿐만 아니라 두 단계 사이에 또 다른 단계가 존재하는 경우도 포함한다.

본원 명세서 전체에서 사용되는 정도의 용어 약, 실질적으로 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다.

본원 명세서 전체에서 사용되는 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.

본 발명에 따른 영상 처리 장치의 구성을 설명하기 앞서 본 명세서에 언급되는 핵심용어에 대해서 먼저 검토한다.

다중 노출이란 한번 노출되었던 단일 프레임이 여러 번의 재노출을 받아 한 프레임 내에 여러 개의 영상이 부가되도록 하는 것을 의미한다.

모션 블러(Motion Blur)란 영상 및 애니메이션 같은 연속한 그림들이나 스틸 이미지 속에 비치는 빠르게 움직이는 물체의 뚜렷한 줄무늬를 지칭한다. 노출이 길거나 움직임이 빠른 까닭에, 아니면 프레임 하나를 촬영하는 동안 영상이 변화할 때 이러한 현상이 나타난다.

이하, 첨부한 도면 및 실시예를 들어, 본원에 속한 기술 분야의 평균적 지식을 가진 자가 용이하게 본원을 반복 재현할 수 있도록 상세히 설명하도록 한다.

도 1은 본 발명에 따른 영상 처리 장치의 개략적인 블록도이다.

도 1을 참조하면, 본 실시예에 따른 영상 처리 장치(10)는, 차량 카메라의 야간 영상을 분석하여 차량의 피치 모션을 분석하기 위하여 광원 추출부(11), 타겟 광원 분류부(12), 모션 판단부(13) 및 보정부(14)를 구비한다.

차량 카메라는 차량 전방에 설치되는 전방 카메라를 포함한다.

물론, 차량 전방을 포함하여 차량 사방의 영상을 촬영하는 카메라를 포함할 수 있다. 아울러, 차량 카메라는 차량 전방 이외에 차량 전방을 촬영할 수 있도록 차량에 탑재되는 카메라를 포함할 수 있다.

야간 영상은 차량 카메라에서 촬영되는 영상으로서, 야간에 촬영되는 영상을 지칭하며, 통상 해가 진 상태에서 주행 중인 차량 주위(특히, 차량 전방)를 촬영한 영상을 포함한다. 통상, 야간 영상은 동영상으로 촬영될 수 있고, 각 야간 영상은 1초에 약 수 프레임에서 약 수십 프레임의 정지 영상을 구비할 수 있다.

광원 추출부(11)는, 차량 카메라로부터 획득한 영상(야간 영상 등)의 제1 프레임에서 광원을 추출하고, 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출한다. 광원 추출부(11)는 일반적인 영상 처리(이진화 등)을 통해 각 프레임의 픽셀값(1 또는 0)에 따라 광원을 추출할 수 있다. 좀 더 상세하게, 상기 광원 추출부(11)는 제1 시간 동안 광원에 노출시킨 제1 프레임에서 광원을 추출하고, 제2 시간 동안 광원에 노출시킨 제2 프레임에서 광원을 추출한다. 이때, 제1 시간과 제2 시간은 서로 동일하지 않는 것이 바람직하다. 일반적으로 빠르게 움직이는 대상을 긴 시간 동안 광원에 노출된 영상의 경우 모션 블러(Motion Blur) 현상이 발생하고, 짧은 시간 동안 광원에 노출된 영상의 경우 모션 블러 현상이 발생하지 않는다. 이러한 현상을 이용하여, 본 발명에 따른 광원 추출부(11)는 모션 블러 현상이 발생된 프레임을 포함한 모든 프레임에서 광원을 추출한다.

타겟 광원 분류부(12)는, 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류한다. 또한, 타겟 광원 분류부(12)는 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류한다. 여기서, 움직이지 않는 광원은 차량이 주행 중인 도로 주변에 설치된 것으로, 가로등, 시선 유도 반사체 등을 포함할 수 있다.

가로등, 시선 유도 반사체 등은 도로 주변에서 빛을 내거나 반사하도록 설치되는 것으로서, 차량 카메라의 야간 영상에서 영상 프레임의 특정 영역에 위치하고, 주변의 다른 물체에 비해 휘도가 큰 것으로 촬영된다. 따라서, 타겟 광원 분류부(12)는 제1 및 제2 프레임의 이진화 과정에서 미리 설정된 영역(프레임의 좌측 상부, 우측 상부 등)에 위치하며 특정 픽셀값(1 등)을 가지는 광원을 타겟 광원으로 분류할 수 있다.

모션 판단부(13)는, 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심점인 모션 블러가 발생된 제2 위치를 추정하여, 차량의 피치 모션을 분석한다. 모션 판단부(13)는, 제1 프레임에서 복수의 픽셀들로 이루어진 제1 타겟 광원의 무게 중심을 제1 위치로 산출하고, 제2 프레임에서 복수의 픽셀들로 이루어진 제2 타겟 광원의 모션 블러 발생 위치를 제2 위치로 산출한다. 이러한 구성에 의하면, 모션 판단부(13)는, 각 프레임 상에서 하나의 타겟 광원에 대하여 하나의 픽셀을 제1 위치로, 하나 이상의 픽셀을 제2 위치로 각각 지정할 수 있다. 제2 위치는 모션 블러가 발생하므로 하나 이상의 픽셀로 구성되는 것이 바람직하다.

또한, 모션 판단부(13)는 제1 프레임과 제2 프레임을 겹쳐 제1 위치와 제2 위치를 상호 비교한다. 동일한 대상을 서로 다른 노출 시간 동안 촬영한 것이므로 두 장의 프레임에 나타난 대상은 서로 겹치게 되지만, 모션 블러 현상 때문에 중심은 겹치지 않는다. 모션 판단부(13)는 위와 같이 중심이 겹치지 않는 것을 이용하여 차량의 피치 모션의 방향 및 정도를 계산한다.

또한, 모션 판단부(13)는 차량의 차속 및 회전반경(Yaw Rate)를 토대로 제1 시간 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출한다. 이러한 구성에 의하면, 모션 판단부(13)은 제1 위치에 대한 추정 위치를 계산하여 추정함으로써 제1 시간 후의 영상 프레임(제2 프레임)에서의 제2 위치에 대한 보상 기준을 제공할 수 있다.

보정부(14)는, 제1 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정한다. 보정부(14)는 모션 판단부(13)에서 판단한 차량의 모션에 기초하여 차량 카메라의 영상을 보정할 수 있다.

본 실시예에 따른 영상 처리 장치(10)는 광원 추출부(11), 타겟 광원 분류부(12), 모션 판단부(13) 및 보정부(14)의 기능을 수행하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 구현될 수 있다. 예를 들어, 영상 처리 장치(10)는 플립플롭을 이용한 논리회로나 마이크로프로세서 등으로 구현될 수 있다. 이 경우, 영상 처리 장치(10)는 광원 추출부(11), 타겟 광원 분류부(12), 모션 판단부(13) 및 보정부(14)의 기능을 정의한 소정의 프로그램을 자체 메모리나 별도의 저장장치에 저장하고, 논리회로나 마이크로프로세서에서 메모리나 저장장치에 저장된 프로그램을 실행하는 형태로 구현될 수 있다.

도 2는 본 발명에 따른 전방 카메라의 영상 처리 방법에 대한 순서도이다.

도 2를 참조하면, 본 실시예에 따른 전방 카메라의 영상 처리 방법은, 우선 차량 카메라로부터 영상(야간 영상 등)이 입력되면(S21), 광원 추출부는 제1 시간 동안 노출시킨다(S22). 광원 추출부는 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출한다(S23).

다음, 타겟 광원 분류부는 제1 프레임에서 추출된 광원에서 움직이지 않는 광원에 속하는 제1 타겟 광원(E1)을 분류한다(S24). 제1 타겟 광원을 분류하는 단계에서, 타겟 광원 분류부는 도로 주변에 설치된 가로등, 시선 반사 유도체 등의 움직이지 않는 광원이 영상의 특정 영역에 위치하는 것을 고려하여, 제1 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류할 수 있다. 본 실시예에서는 가로등이 차량의 피치 모션을 판단하기 위한 타겟 광원이 될 수 있다.

다음, 모션 판단부는 제1 타겟 광원(E1)의 중심점인 제1 위치(P1)를 산출한다(S25). 제1 위치를 산출하는 단계에서, 모션 판단부는 제1 프레임의 영상을 이진화한 후 특정 값을 가진 픽셀들의 무게 중심의 좌표를 제1 위치로 추출할 수 있다.

다음, 광원 추출부는 제1 프레임과 제1 시간 간격을 두고 제2 시간 동안 영상을 노출시킨다(S26). 그리고 광원 추출부는 획득한 제2 프레임에서 광원을 추출한다(S27). 제2 프레임은 차량 카메라로부터의 입력 영상에 포함된 복수의 프레임 중 제1 프레임의 바로 다음에 위치하는 프레임인 것이 바람직하다. 차량 카메라로부터 입력되는 영상이 1초에 수 프레임 내지 수십 프레임을 고려하면, 제1 프레임에서의 광원 추출과 제2 프레임에서의 광원 추출은 거의 동시에 또는 병렬적으로 처리될 수 있다. 이것은 본 실시예에 따른 차량 카메라의 야간 영상 보정 방법이 약 100㎞/h(초당 약 28M)의 속도로 도로를 주행하는 차량에서 실시간 유용하게 이용될 수 있음을 나타낸다.

다음, 타겟 광원 분류부는, 제2 프레임에서 추출된 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류한다(S28). 제2 타겟 광원을 분류하는 단계에서, 타겟 광원 분류부는, 도로 주변에 설치된 가로등, 시선 반사 유도체 등의 움직이지 않는 광원이 영상의 특정 영역에 위치하는 것을 고려하여, 제2 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류할 수 있다.

또한, 타겟 광원 분류부는, 제1 타겟 광원을 분류하는 단계 또는 제2 타겟 광원을 분류하는 단계에서, 서포트 벡터 머신(Support Vector Machine)을 이용한 학습 방법으로 도로를 따라 나열되는 복수의 가로등 또는 시선 유도 반사체를 타겟 광원으로 분류할 수 있다. 서포트 벡터 머신은 입력 공간에 최대 마진의 초평면(Maximum-margin Hyperplane)을 만들고, 예(Yes) 또는 아니오(No) 값이 주어진 학습 샘플(Training Sample)을 주어 가장 가까이에 위치하는 표본에서 초평면까지의 거리가 최대가 되도록 학습 샘플을 예와 아니오로 나눔으로써 주어진 데이터를 통계적으로 이원 분류하기 위한 것이다. 서포트 벡터 머신을 이용하면, 야간 영상의 광원 중 움직이지 않는 광원에 속한 타겟 광원을 효과적으로 분류할 수 있다.

다음, 모션 판단부는 제2 타겟 광원의 중심점인 제2 위치(P2)를 산출한다(S29). 제2 위치를 산출하는 단계에 있어서, 모션 판단부는 제2프레임의 영상을 이진화한 후 특정 값(예컨대, 1과 0 중에서 1)을 가진 픽셀들의 무게 중심의 좌표를 제2 위치로 추출할 수 있다. 다만, 본 제2 타겟 광원의 중심점은 장시간의 노출에 의해 모션 블러가 발생한 타겟 광원이며, 이로 인해 제2 위치는 제1 위치와 달리 하나의 픽셀이 아닌 하나의 선 형태로 나타날 수 있다.

이때, 실제 제2 타겟 광원은 앞서 설명된 제1 타겟 광원과 동일하다. 그러나 제2 타겟 광원에 의해 노출된 시간은 제1 타겟 광원에 의해 노출된 시간과 서로 상이하기 때문에 제1 타겟 광원의 중심점인 제1 위치와 제2 타겟 광원의 중심점인 제2 위치는 겹쳐지기만 할 뿐이며 일치하지는 않는다. 다중 노출 카메라를 이용하여 동일한 장면에 대해 자동 노출(Auto Exposure)로 한 장의 영상을, 짧은 노출(Short Exposure)로 또 다른 한 장의 영상을 획득한다. 이때 영상 획득을 위한 디지털 센서는 롤링셔터(Rolling Shutter) 방식의 CMOS 센서를 이용한다. 롤링셔터는 일반적인 CMOS 방식의 이미지 센서에 사용되는 전자식 셔터이며, 롤링셔터 방식의 센서는 그 특성상 빠르게 이동하는 물체를 촬영할수록 더욱 큰 모션 블러가 나타난다. 이와 관련해서는 이미 널리 당업자에게 널리 알려졌으므로 본 명세서에서는 자세한 설명을 생략한다.

다음, 모션 판단부는 제1 타겟 광원의 중심점인 제1 위치(P1)과 제2 타겟 광원의 중심점인 제2 위치(P2)를 비교한다(S30). 제1 위치와 제2 위치를 비교하여 차량에 피치 모션이 발생하였는지, 발생하였다면 어떤 방향으로 발생하였는지 파악한다.

그리고 보정부는 상기 제1 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정한다 (S31).

또한, 보정부는, 차량 카메라의 야간 영상을 보정하는 단계에서, RANSAC(RANdom SAmple Consensus)를 통해 최적화된 보정 방향 및 거리를 추출하여 야간 영상을 보정할 수 있다. RANSAC 알고리즘은 주어진 원본 데이터에서 그 일부를 임의로 선택하는 과정을 반복적으로 수행하여 최적의 파라미터를 예측하기 위한 것으로, 본 실시예에 따른 영상 처리 장치에 탑재되는 영상 처리 방법용 프로그램 또는 프로시저(Procedure)의 형태로 구현될 수 있다.

또한, 보정부는, 구현에 따라서, 차량 카메라의 야간 영상을 보정하기 위하여 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 틸팅 장치의 현재 위치를 보정하기 위한 보정 신호를 출력할 수 있다. 보정 신호는 차량 카메라의 틸팅 장치에 직접 전송되거나 틸팅 장치를 제어하는 별도의 전자제어장치로 전송될 수 있다. 이러한 차량 카메라의 틸팅 장치나 그 전자제어장치는 이미 잘 알려져 있으므로 그에 대한 상세 설명은 생략한다.

도 3 및 도 4는 본 발명에 따른 차량 카메라의 영상 처리 방법을 설명하기 위한 것이다.

도 3에 도시한 바와 같이, 입력된 영상의 상단에 가로등이 존재하는 것으로 파악하고 광원을 추출한다. 도 3에서와 같이 부드러운 노면을 주행하는 경우 차량에 피치 모션이 발생하지 않는다. 그러므로 도 3의 좌측의 노출 시간이 긴 자동 노출로 촬영된 영상과 도 3의 우측의 노출 시간이 짧게 촬영된 영상에서 각각 추출된 광원은 거의 동일한 지점 또는 동일한 높이에 위치하게 된다.

이에 반해, 도 4에 도시한 바와 같이, 요철 등이 있는 노면을 주행하는 경우 차량에 피치 모션이 발생하게 된다. 그러므로 도 4의 좌측의 노출 시간이 긴 자동 노출로 촬영된 영상과 도 4의 우측의 노출 시간이 짧게 촬영된 영상에서 각각 추출된 광원은 모션 블러 때문에 겹치는 위치에 차이가 발생한다.

전술한 노출 시간에 따른 모션 블러를 이용하여 차량의 움직임을 파악하고, 야간 영상을 보정한다.

이하, 차량의 움직임을 파악하고, 야간 영상을 보정하는 방법을 좀 더 구체적으로 설명하면 다음과 같다.

도 5는 본 발명에 따른 차량의 모션을 파악하는 방법을 설명하기 위한 것이다.

도 5는, 차량이 요철을 만나서 상승하는 모션 피쳐가 발생하는 도중 제1 시간 및 제2 시간 동안 차례로 광원에 노출하는 경우를 나타낸다.

우선, 차량이 요철을 넘는 과정에서 광원에 제1 시간 동안 노출시킨 제1 프레임에서, 광원을 추출한다. 제1 시간 직후 제2 시간 동안 광원에 노출시킨 제2 프레임에서, 광원을 추출한다. 이 때 제1 시간은 제2 시간보다 상대적으로 긴 시간이다.

제1 시간은 제2 시간에 비해 길기 때문에 모션 블러가 발생한다. 그리고 제2 시간은 제1 시간에 비해 짧기 때문에 모션블러가 거의 나타나지 않는다. 그러므로 제1 시간 정보 및 제2 시간 정보를 이용하고 제1 프레임 및 제2 프레임을 분석하여 차량의 피치 모션 이 어떤 방향으로 나타나는지를 분석할 수 있다. 더욱 상세하게, 제1 프레임과 제2 프레임 내 광원이 하단부에서 겹치는 것으로 나타나면, 프레임 내의 가로등인 광원이 위에서 아래로, 즉, 차량이 아래에서 위로 피치 모션을 발생시킨 것으로 분석할 수 있다.

도 6은 본 발명의 다른 실시예에 다른 차량의 모션을 파악하는 방법을 설명하기 위한 것이다.

도 6은, 차량이 요철을 만나서 상승하는 모션 피쳐가 발생하는 도중 제1 시간 및 제2 시간 동안 차례로 광원에 노출하는 경우를 나타낸다.

도 5와 유사하게, 차량이 요철을 넘는 과정에서 광원에 제1 시간 동안 노출시킨 제1 프레임에서, 광원을 추출한다. 제1 시간 직후 제2 시간 동안 광원에 노출시킨 제2 프레임에서, 광원을 추출한다. 이 때 제2 시간은 제1 시간보다 상대적으로 긴 시간이다.

제2 시간은 제1 시간에 비해 길기 때문에 모션 블러가 발생한다. 그리고 제1 시간은 제2 시간에 비해 짧기 때문에 모션블러가 거의 나타나지 않는다. 그러므로 제1 시간 정모 및 제2 시간 정보를 이용하고 제1 프레임 및 제2 프레임을 분석하여 차량의 피치 모션 이 어떤 방향으로 얼마만큼 나타난지를 분석할 수 있다. 더욱 상세하게, 제1 프레임과 제2 프레임 내 광원이 상단부에서 겹치는 것으로 나타나면, 프레임 내의 가로등인 광원이 위에서 아래로, 즉, 차량이 아래에서 위로 피치 모션을 발생시킨 것으로 분석할 수 있다. 또한, 모션 블러가 길게 나타난 경우 차량의 피치 모션이 크게 일어난 것으로 파악할 수 있다.

한편, 차량 카메라가 탑재된 자차량이 움직이는 경우, 광원의 위치 변화만을 이용하여 야간 영상을 보정하는 데에는 문제가 있다. 이러한 문제점을 해결하기 위하여 차량의 움직임을 차속 센서와 요레이트 센서(Yaw Rate Sensor)로부터의 검출 신호를 토대로 얻을 수 있는 차량 속도와 회전 반경을 이용하여 계산함으로써 야간 영상에서의 광원의 움직임을 추적할 수 있다. 즉, 차속과 회전반경(Yaw Rate)을 알면 차량의 다음 위치를 알 수 있기 때문에 움직이지 않는 광원에 대해서 보상이 가능하다. 차속과 회전반경을 이용하여 차량의 다음 위치를 예측하는 기술은 이미 잘 알려져 있으므로 그에 대한 상세 설명은 생략한다.

전술한 광원의 위치 변화와 차량의 움직임을 이용하여 야간 영상을 보정하는 방법을 좀 더 구체적으로 설명하면 다음과 같다.

도 7 내지 도 10은 도 2의 차량 카메라의 영상 처리 방법을 설명하기 위한 예시도이다.

도 8에 도시한 바와 같이, 야간 영상 안정화를 위한 영상 보정은 야간 영상(80)에서 추출한 광원(81)의 위치 변화를 가지고 적용 가능하다. 즉, 광원(81)의 위치 변화를 이용하여 차량 흔들림이나 차량 카메라의 흔들임에 따른 야간영상에서의 오차를 보상할 수 있다.

우선, 도 8에 도시한 바와 같이, 차량 카메라로부터의 야간 영상에서 움직이는 광원과 움직이지 않는 광원으로 분리한다. 도 8에서는, 차량 카메라로부터 입력된 영상의 제1 프레임(80)에서 4개의 움직이지 않은 광원을 제1 타겟 광원(81)으로 분류하였다.

움직이지 않는 광원은 가로등이며 상대 차량의 광원 등은 움직이는 광원으로 분류할 수 있다. 또한, 반사체(중앙분리대나 가이드레일을 따라 거의 일정 간격으로 배치되는 시선 유도 반사체 등)의 경우도 움직이지 않기 때문에 움직이지 않는 광원으로 분류할 수 있다.

광원 인식 방법에서 가로등의 위치는 상대적으로 높은 곳에 있으며 좌측과 우측에 있다. 그러므로, 해당 영역의 광원을 가로등으로 분류할 수 있으며, 반사체의 경우도 가로등의 경우와 유사하게 소정의 인식 방법을 통해서 분류할 수 있다. 일례로, 서포트 벡터 머신(Support Vector Machine, SVM)을 이용한 학습(Training) 방법으로 광원을 분류할 수 있다.

다음, 제1 타겟 광원(81)을 찾은 후 제1 타겟 광원의 중심점을 찾는다. 제1 타겟 광원(81)의 중심점인 제1 위치(82)는 제1 프레임에서 하나의 픽셀로 지정될 수 있다. 도 9에서는 도시의 편의상 제1 타겟 광원의 중심점인 제1 위치(82)를 소정의 크기로 표시하고 있다.

본 실시예에 있어서, 타겟 광원의 크기는 위치에 따라서 달라지기 때문에 크기로 비교하기보다는 타겟 광원의 중심점의 위치를 이용한다. 타겟 광원의 중심점을 산출하는 것은 영상 이진화를 통하여 각 타겟 광원의 무게 중심 또는 영역 중심을 찾는 것에 대응할 수 있다.

다음, 영상 처리 장치는, 도 10에 도시된 바와 같이, 현재 프레임(제1 프레임)의 제1 타겟 광원(81)이 제1 시간 동안 노출된 영역(82)을 표시한다.

다음, 영상 처리 장치는, 도 10에 도시된 바와 같이, 다음 프레임(제2 프레임)에서 광원을 추출하고, 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원(83)을 분류한 후, 제1 시간보다 짧은 제2 시간 동안 노출된 영역(84)을 표시한다.

다음, 영상 처리 장치는, 제1 프레임과 제2 프레임이 오버랩된 영상 또는 프레임(80)에서, 광원이 노출된 제1 위치(82)와 제2 위치(84)를 비교하고, 비교 결과를 토대로 차량의 피치 모션이나 카메라의 흔들림 정도를 분석하고 이를 바탕으로 야간 영상 안정화(Stabilization)를 수행한다. 영상 처리 장치는 프레임(80)에서의 제1 위치(82)와 제2 위치(84)의 수직 위치 및 광원이 겹치는 부분 등을 비교하여 차량의 상하 진동 방향 및 정도를 계산할 수 있다.

한편, 차속과 회전 반경을 이용하여 추정 위치를 계산할 때, 영상 처리 장치는 프레임 개수를 단위 시간(1초)으로 나눈 시간 동안에 차량 카메라의 정중앙의 시점 또는 그에 상응하는 제1 프레임의 대략적인 정중앙을 기준으로, 차량의 회전반경에 따라 제1 프레임의 왼쪽에 위치하는 제1 위치로부터 이동한 추정 위치와 오른쪽에 위치하는 제1 위치로부터 이동하는 추정 위치의 이동 거리를 다르게 계산하여, 좀더 정확하게 차량의 피치 모션 정도를 계산할 수 있다.

도 11은 본 발명에 따른 제1 프레임과 제2 프레임을 겹친 것을 나타낸 도면이다.

도 11을 참조하면, 제1 프레임과 제2 프레임을 겹쳤을 때 제1 위치(82)와 제2 위치(84)가 오버랩 되는 부분이 하단에 생성된 것을 볼 수 있다. 이처럼 제1 위치와 제2 위치가 겹치는 부분이 상단 또는 하단에 생성되었는지를 판단하여 차량의 피치 모션 방향을 판단한다. 또한, 제1 위치의 길이를 참조하여 피치 모션의 정도를 판단할 수 있다.

한편, 제1 시간이 경과한 후에 생성된 영상 프레임을 이용하여 차량의 움직임을 분석하므로, 제1 시간 동안의 시간 차 동안의 차량 움직임을 고려하여 영상을 보정해 줄 필요가 있다. 더욱 상세하게, 현재 프레임(제1 프레임)의 제1 타겟 광원의 제1 위치가 일정 시간 제1 시간 이후에 다음 프레임(제2 프레임)에서 위치하게 될 추정 위치를 계산할 수 있다. 추정 위치는 차량의 속도와 회전 반경을 이용하여 계산될 수 있다.

본 실시예에 의하면, 차량 카메라의 야간 영상의 안정화를 효과적으로 수행할 수 있는 영상 처리 방법 및 영상 처리 장치를 제공할 수 있다. 게다가, 전술한 영상 처리 방법이나 영상 처리 장치를 이용하는 차량 주행 보조 시스템에서 선행 차량과의 거리 측정이나 전방 충돌 방지 등의 안정성과 신뢰성을 향상시키는 효과를 제공한다.

이상에서 살펴본 바와 같이, 본 발명의 바람직한 실시예를 들어 도시하고 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며 본 발명의 사상을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경, 치환, 수정이 가능할 것이며, 이러한 변경, 치환, 수정 등은 본 발명의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims

제1 시간만큼 광원에 노출한 제1 프레임에서 광원을 추출하고, 제1 시간보다 긴 제2 시간만큼 광원에 노출한 제2 프레임에서 모션 블러(Motion Blur)를 발생시킨 광원을 추출하는 광원 추출부;
상기 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하고, 상기 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 타겟 광원 분류부; 및
상기 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심점으로 구성된 중심선인 제2 위치를 추정하여, 상기 제1 위치와 상기 제2 위치를 상호 비교하여 차량의 피치 모션(Pitch Motion) 발생 여부를 판단하는 모션 판단부;
를 포함하는 차량 카메라의 영상 처리 장치.
제1 항에 있어서,
상기 제1 위치와 상기 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 보정부;
를 더 포함하는 차량 카메라의 영상 처리 장치.
제1 항 또는 제2 항에 있어서,
상기 움직이지 않는 광원은 가로등 및 시선 유도 반사체 중 적어도 어느 하나인 차량 카메라의 영상 처리 장치.
제1 항 또는 제2 항에 있어서,
상기 모션 판단부는
상기 제1 프레임 및 상기 제2 프레임을 중첩시켜 상기 제1 위치 및 상기 제2 위치가 중첩되는 위치를 바탕으로 차량이 발생시킨 피치 모션의 방향 또는 정도를 판단하는 것을 특징으로 하는 차량 카메라의 영상 처리 장치.
제1 항 또는 제2 항에 있어서,
상기 영상 처리 장치의 디지털 센서는 롤링셔터(Rolling Shutter) 방식의 CMOS 센서인 것을 특징으로 하는 차량 카메라의 영상 처리 장치.
차량 카메라로부터 획득한 제1 시간만큼 광원에 노출한 제1 프레임에서 광원을 추출하는 단계;
상기 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하는 단계;
상기 제1 타겟 광원의 중심점인 제1 위치를 산출하는 단계;
차량 카메라로부터 획득한 제1 시간보다 긴 제2 시간만큼 광원에 노출한 제2 프레임에서 모션 블러가 발생한 광원을 추출하는 단계;
상기 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 단계;
상기 제2 타겟 광원의 중심점으로 구성된 중심선인 제2 위치를 산출하는 단계;
상기 제1 위치와 상기 제2 위치를 비교하는 단계; 및
상기 제1 위치와 상기 제2 위치의 비교 결과를 토대로 차량의 피치 모션 발생 여부를 판단하는 단계;
를 포함하는 차량 카메라의 영상 처리 방법.
제6 항에 있어서,
상기 제1 위치와 상기 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 단계;
를 더 포함하는 차량 카메라의 영상 처리 방법.
제6 항 또는 제7 항에 있어서,
상기 제1 타겟 광원을 분류하는 단계 또는 상기 제2 타겟 광원을 분류하는 단계는, 상기 제1 또는 제2 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류하는 것을 특징으로 하는 차량 카메라의 영상 처리 방법.
제6 항 또는 제7 항에 있어서,
상기 제1 타겟 광원을 분류하는 단계 또는 상기 제2 타겟 광원을 분류하는 단계는, 서포트 벡터 머신(Support Vector Machine)을 이용한 학습 방법으로 도로를 따라 나열되는 복수의 가로등 또는 시선 유도 반사체를 타겟 광원으로 분류하는 것을 특징으로 하는 차량 카메라의 영상 처리 방법.
제6 항 또는 제7 항에 있어서,
상기 제1 위치를 산출하는 단계 또는 상기 제2 위치를 산출하는 단계는, 상기 제1 또는 제2 프레임의 영상을 이진화한 후 특정 값을 가진 픽셀들의 무게 중심의 좌표를 상기 제1 위치 또는 상기 제2 위치로 추출하는 것을 특징으로 하는 차량 카메라의 영상 처리 방법.
제6 항 또는 제7 항에 있어서,
상기 제1 위치와 상기 제2 위치의 비교 결과를 토대로 차량의 피치 모션 발생 여부를 판단하는 단계는, 상기 제1 프레임 및 상기 제2 프레임을 중첩시켜 상기 제1 위치 및 상기 제2 위치가 중첩되는 위치를 바탕으로 차량이 발생시킨 피치 모션의 방향 또는 정도를 판단하는 것을 특징으로 하는 차량 카메라의 영상 처리 방법.
제6 항 또는 제7 항에 있어서,
상기 제2 프레임은 상기 영상에 포함된 복수의 프레임 중 상기 제1 프레임의 바로 다음에 위치하는 프레임인 것을 특징으로 하는 차량 카메라의 영상 처리 방법.
제7 항에 있어서,
상기 차량 카메라의 상기 영상을 보정하는 단계는, RANSAC(RANdom SAmple Consensus)를 통해 최적화된 보정 방향 및 거리를 추출하여 상기 영상을 보정하는 것을 특징으로 하는 차량 카메라의 영상 처리 방법.