KR20140104857A - 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치 - Google Patents

Abstract

본 발명은 차량에 탑재되는 카메라를 통해 획득한 야간 영상을 효과적으로 보정함으로써 야간 영상을 이용하는 차량 주행 보조 시스템의 안정성과 신뢰성을 향상시킬 수 있는 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치에 관한 것으로, 영상 처리 장치는, 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출하고 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출하는 광원 추출부와, 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하고 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 타겟 광원 분류부와, 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심점인 제2 위치를 추정하는 타겟 위치 추정부와, 차량의 차속 및 회전반경을 토대로 제1 시간 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 추정 위치 산출부와, 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 보정부를 포함한다.

Description

차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치{IMAGE STABILIZATION METHOD FOR VEHICLE CAMERA AND IMAGE PROCESSING APPARATUS USNIG THE SAME}

본 발명은 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치에 관한 것으로, 보다 상세하게는, 차량에 탑재되는 카메라를 통해 획득한 야간 영상을 효과적으로 보정함으로써 야간 영상을 이용하는 차량 주행 보조 시스템의 안정성과 신뢰성을 향상시킬 수 있는 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치에 관한 것이다.

현재, 자동차에 탑재된 전방 카메라를 이용하여 차선, 차량, 광원, 보행자, 표지판 등을 인식하는 기술은 일반적이다. 예를 들어, 이러한 종래 기술의 일례가 공개특허공보 제2011-0132920호에 개시되어 있다.

상기한 공보의 '야간 주행 시 차량의 전방을 촬영한 영상에서 차량의 광원을 효과적으로 인식하는 차량의 전방 광원 인식 방법 및 시스템’에서는 전방 카메라를 통해 차량 전방을 촬영하여 영상을 획득하고, 획득한 영상에서 광원을 검출한 후, 광원이 기 설정된 검출영역에 포함되는지 여부에 따라 해당 광원을 차량의 광원으로 판정함으로써 차량의 전방 광원을 인식한다.

차량의 전방 카메라를 통해 획득한 영상을 처리하여 차선 및 차량을 인식하는 기술은 선행 차량의 거리 추정 등을 통해 전방 충돌 경고 시스템(Forward Collision Warning System, 이하, FCWS), 충돌 방지 시스템(Automatic Emergency Barke System, 이하, AEBS) 등과 같은 차량 주행 보조 시스템에 중요하게 이용되고 있다.

한편, 주간의 경우 차량의 진동에 대해서도 주변 환경에 대해 영상의 떨림에 대한 보정이 가능하므로 아무런 문제가 되지 않는다. 그러나, 야간의 경우 카메라 영상 내에서 주변환경에 대한 기본 정보가 부족하여 영상을 제대로 보정할 수 없기 때문에 영상의 떨림에 의해 거리 추정이 부정확하게 되는 문제가 발생한다. 더구나, 전방 충돌 경고 시스템(FCWS)이나 충돌 방지 시스템(AEBS) 등과 같은 중요한 차량 운행 보조 시스템에서 기본적인 영상 데이터의 오류는 치명적인 결과를 초례 할 수 있어 야간 영상에 대한 영상 보정 방안이 절실히 요구되고 있다.

대한민국 공개특허공보 제10-2011-0132920호(2011.12.09)

본 발명은 상기의 문제를 해결하기 위한 것으로, 차량에 탑재된 주행 보조 시스템이 차량 전방에 탑재되는 단안 카메라를 통해 획득한 야간 영상에 기초하여 선행 차량 등과의 거리를 추정할 때, 차량 진동에 의하여 차선 인식이나 거리 정확도의 신뢰성이 저하되는 것을 방지할 수 있는 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치를 제공하는데 그 목적이 있다.

본 발명은 또한 차량 탑재 카메라를 통해 획득한 야간 영상을 차량의 속도와 회전반경을 토대로 보정함으로써 야간 차량의 차량 주행보조 시스템 등에서 차선 인식이나 선행 차량과의 거리 추정에 대한 신뢰성을 향상시킬 수 있는 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치를 제공하는데 또 다른 목적이 있다.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 처리 장치는, 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출하고, 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출하는 광원 추출부; 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하고, 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 타겟 광원 분류부; 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심점인 제2 위치를 추정하는 타겟 위치 추정부; 차량의 차속 및 회전반경을 토대로 제1 시간 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 추정 위치 산출부; 및 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 보정부를 포함한다.

일 실시예에서, 보정부는 차량의 상하 방향에 대응하는 제1 및 제2 프레임의 수직 방향에서 추정 위치와 제2 위치를 비교하고, 추정 위치에서 제2 위치를 뺀 거리(또는 크기)와 방향에 기초하여 차량 카메라의 영상을 보정하는 것을 특징으로 한다.

일 실시예에서, 타겟 위치 추정부는 제1 또는 제2 타겟 광원의 무게 중심을 제1 위치 또는 제2 위치로 추정하는 것을 특징으로 한다.

일 실시예에서, 움직이지 않는 광원은 가로등 및 시선 유도 반사체 중 적어도 어느 하나를 포함할 수 있다.

본 발명에 따른 차량 카메라의 영상 보정 방법은, 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출하는 단계; 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하는 단계; 제1 타겟 광원의 중심점인 제1 위치를 산출하는 단계; 차량의 속도와 회전반경을 토대로 기설정된 제1 시간 경과 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 단계; 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출하는 단계; 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 단계; 제2 타겟 광원의 중심점인 제2 위치를 산출하는 단계; 추정 위치와 제2 위치를 비교하는 단계; 및 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정하는 단계를 포함한다.

일 실시예에서, 제1 타겟 광원을 분류하는 단계 또는 제2 타겟 광원을 분류하는 단계는, 제1 또는 제2 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류하는 것을 특징으로 한다.

일 실시예에서, 제1 타겟 광원을 분류하는 단계 또는 제2 타겟 광원을 분류하는 단계는, 서포트 벡터 머신(Support Vector Machine)을 이용한 학습 방법으로 도로를 따라 나열되는 복수의 가로등 또는 시선 유도 반사체를 타겟 광원으로 분류하는 것을 특징으로 한다.

일 실시예에서, 제1 위치를 산출하는 단계 또는 제2 위치를 산출하는 단계는, 제1 또는 제2 프레임의 영상을 이진화한 후 특정 값을 가진 픽셀들의 무게 중심의 좌표를 제1 위치 또는 제2 위치로 추출하는 것을 특징으로 한다.

일 실시예에서, 추정 위치와 제2 위치를 비교하는 단계는, 차량의 상하 방향에 대응하는 두 위치들을 비교하는 것을 특징으로 한다.

일 실시예에서, 차량 카메라의 영상을 보정하는 단계는, 추정 위치에서 제2 위치를 뺀 거리와 방향을 토대로 영상을 보정하는 것을 특징으로 한다.

일 실시예에서, 차량 카메라의 영상을 보정하는 단계는, RANSAC(RANdom SAmple Consensus)를 통해 최적화된 보정 방향 및 거리를 추출하여 영상을 보정하는 것을 특징으로 한다.

일 실시예에서, 제2 프레임은 차량 카메라로부터의 영상에 포함된 복수의 프레임 중 제1 프레임의 바로 다음에 위치하는 프레임인 것을 특징으로 한다.

본 발명에 의한 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치는, 차량에 탑재된 주행 보조 시스템이 차량 전방에 탑재되는 단안 카메라를 통해 획득한 야간 영상에 기초하여 선행 차량 등과의 거리를 추정할 때, 차량 진동에 의하여 차선 인식이나 거리 정확도의 신뢰성이 저하되는 것을 방지할 수 있는 효과를 제공한다.

또한, 본 발명의 실시예에 의한 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치는, 차량 탑재 카메라를 통해 획득한 야간 영상을 차량 속도와 회전반경을 토대로 보정함으로써 야간 차량의 차량 주행보조 시스템 등에서 차선 인식이나 선행 차량과의 거리 추정에 대한 신뢰성을 향상시키는 효과를 제공한다.

도 1은 본 발명에 따른 영상 처리 장치의 개략적인 블록도.
도 2는 본 발명에 따른 차량 카메라의 영상 보정 방법에 대한 순서도.
도 3 내지 도 8은 도 2의 차량 카메라의 영상 보정 방법을 설명하기 위한 예시도.

본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.

도 1은 본 발명에 따른 영상 처리 장치의 개략적인 블록도이다.

도 1을 참조하면, 본 실시예에 따른 영상 처리 장치(10)는, 차량 카메라의 야간 영상을 안정화하기 위하여 광원 추출부(11), 타겟 광원 분류부(12), 타겟 위치 추정부(13), 추정 위치 산출부(14) 및 보정부(15)를 구비한다.

차량 카메라는 차량 전방에 설치되는 전방 카메라를 포함한다. 물론, 차량 전방을 포함하여 차량 사방의 영상을 촬영하는 카메라를 포함할 수 있다. 아울러, 차량 카메라는 차량 전방 이외에 차량 전방을 촬영할 수 있도록 차량에 탑재되는 카메라를 포함할 수 있다.

야간 영상은 차량 카메라에서 촬영되는 영상으로서, 야간에 촬영되는 영상을 지칭하며, 통상 해가 진 상태에서 주행 중인 차량 주위(특히, 차량 전방)를 촬영한 영상을 포함한다. 통상, 야간 영상은 동영상으로 촬영될 수 있고, 각 야간 영상은 1초에 약 수 프레임에서 약 수십 프레임의 정지 영상을 구비할 수 있다.

광원 추출부(11)는, 차량 카메라로부터 획득한 영상(야간 영상 등)의 제1 프레임에서 광원을 추출하고, 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출한다. 광원 추출부(11)는 일반적인 영상 처리(이진화 등)을 통해 각 프레임의 픽셀값(1 또는 0)에 따라 광원을 추출할 수 있다.

타겟 광원 분류부(12)는, 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류한다. 또한, 타겟 광원 분류부(12)는 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류한다. 여기서, 움직이지 않는 광원은 차량이 주행 중인 도로 주변에 설치된 것으로, 가로등, 시선 유도 반사체 등을 포함할 수 있다.

가로등, 시선 유도 반사체 등은 도로 주변에서 빛을 내거나 반사하도록 설치되는 것으로서, 차량 카메라의 야간 영상에서 영상 프레임의 특정 영역에 위치하고, 주변의 다른 물체에 비해 휘도가 큰 것으로 촬영된다. 따라서, 타겟 광원 분류부(12)는 제1 및 제2 프레임의 이진화 과정에서 미리 설정된 영역(프레임의 좌측 상부, 우측 상부 등)에 위치하며 특정 픽셀값(1 등)을 가지는 광원을 타겟 광원으로 분류할 수 있다.

타겟 위치 추정부(13)는 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 제2 타겟 광원의 중심점인 제2 위치를 추정한다. 타겟 위치 추정부(13)는, 제1 프레임에서 복수의 픽셀들로 이루어진 제1 타겟 광원의 무게 중심을 제1 위치로 산출하고, 제2 프레임에서 복수의 픽셀들로 이루어진 제2 타겟 광원의 무게 중심을 제2 위치로 산출한다. 이러한 구성에 의하면, 타겟 위치 추정부(13)는, 각 프레임 상에서 하나의 타겟 광원에 대하여 하나의 픽셀을 제1 위치 및 제2 위치로 각각 지정할 수 있다.

추정 위치 산출부(14)는, 차량의 차속 및 회전반경(Yaw Rate)을 토대로 제1 시간 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출한다. 이러한 구성에 의하면, 추정 위치 산출부(14)는 제1 위치에 대한 추정 위치를 계산하여 추정함으로써 제1 시간 후의 영상 프레임(제2 프레임)에서의 제2 위치에 대한 보상 기준을 제공할 수 있다.

보정부(15)는, 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 영상을 보정한다. 보정부(15)는, 차량의 상하 방향에 대응하는 제1 및 제2 프레임의 수직 방향에서 추정 위치에서 제2 위치를 뺀 크기(또는 거리)와 방향에 기초하여 차량 카메라의 영상을 보정할 수 있다.

물론, 보정부(15)는 구현에 따라서 차량의 좌우 방향에 대응하는 제1 및 제2 프레임의 수평 방향에서 추정 위치에서 제2 위치를 뺀 거리와 방향에 기초하여 차량 카메라의 영상을 보정할 수도 있다. 다만, 본 실시예의 영상 처리 장치를 이용하는 전방 충돌 경고 시스템 등의 차량 주행 보조 시스템에 미치는 영향을 고려할 때, 적어도 각 프레임에서의 수직 방향에서의 거리와 방향에 기초하여 차량 카메라의 영상을 보정하는 것이 바람직하다. 그것은 카메라의 야간 영상에서 수 픽셀의 인식 차이는 전방 충돌 경고 시스템 등에서 실제 거리로 수 미터 내지 수십 미터의 오차를 발생할 수 있기 때문이다.

본 실시예에 따른 영상 처리 장치(10)는 광원 추출부(11), 타겟 광원 분류부(12), 타겟 위치 추정부(13), 추정 위치 산출부(14) 및 보정부(15)의 기능을 수행하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 구현될 수 있다. 예를 들어, 영상 처리 장치(10)는 플립플롭을 이용한 논리회로나 마이크로프로세서 등으로 구현될 수 있다. 이 경우, 영상 처리 장치(10)는 광원 추출부(11), 타겟 광원 분류부(12), 타겟 위치 추정부(13), 추정 위치 산출부(14) 및 보정부(15)의 기능을 정의한 소정의 프로그램을 자체 메모리나 별도의 저장장치에 저장하고, 논리회로나 마이크로프로세서에서 메모리나 저장장치에 저장된 프로그램을 실행하는 형태로 구현될 수 있다.

도 2는 본 발명에 따른 전방 카메라의 영상 보정 방법에 대한 순서도이다.

도 2를 참조하면, 본 실시예에 따른 전방 카메라의 영상 보정 방법은, 우선 차량 카메라로부터 영상(야간 영상 등)이 입력되면(S21), 광원 추출부는 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출한다(S22).

다음, 타겟 광원 분류부는 제1 프레임에서 추출된 광원에서 움직이지 않는 광원에 속하는 제1 타겟 광원(E1)을 분류한다(S23). 제1 타겟 광원을 분류하는 단계에서, 타겟 광원 분류부는 도로 주변에 설치된 가로등, 시선 반사 유도체 등의 움직이지 않는 광원이 영상의 특정 영역에 위치하는 것을 고려하여, 제1 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류할 수 있다.

다음, 타겟 위치 추정부는 제1 타겟 광원(E1)의 중심점인 제1 위치(P1)를 산출한다(S24). 제1 위치를 산출하는 단계에서, 타겟 위치 추정부는 제1 프레임의 영상을 이진화한 후 특정 값을 가진 픽셀들의 무게 중심의 좌표를 제1 위치로 추출할 수 있다.

다음, 추정 위치 산출부는 차량의 속도와 회전반경을 토대로 기설정된 제1 시간 경과 동안 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치(P3)를 산출한다(S25). 차속과 회전반경(Yaw Rate)을 이용하면, 제1 시점에서의 차량 위치에서 제1 시간이 경과한 제2 시점에서의 차량 위치를 신뢰성 있게 예측하는 것이 가능하다.

다음, 광원 추출부는 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출한다(S26). 제2 프레임은 차량 카메라로부터의 입력 영상에 포함된 복수의 프레임 중 제1 프레임의 바로 다음에 위치하는 프레임인 것이 바람직하다. 차량 카메라로부터 입력되는 영상이 1초에 수 프레임 내지 수십 프레임을 고려하면, 제1 프레임에서의 광원 추출과 제2 프레임에서의 광원 추출은 거의 동시에 또는 병렬적으로 처리될 수 있다. 이것은 본 실시예에 따른 차량 카메라의 야간 영상 보정 방법이 약 100㎞/h(초당 약 28M)의 속도로 도로를 주행하는 차량에서 실시간 유용하게 이용될 수 있음을 나타낸다.

다음, 타겟 광원 분류부는, 제2 프레임에서 추출된 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류한다(S27). 제2 타겟 광원을 분류하는 단계에서, 타겟 광원 분류부는, 도로 주변에 설치된 가로등, 시선 반사 유도체 등의 움직이지 않는 광원이 영상의 특정 영역에 위치하는 것을 고려하여, 제2 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류할 수 있다.

또한, 타겟 광원 분류부는, 제1 타겟 광원을 분류하는 단계 또는 제2 타겟 광원을 분류하는 단계에서, 서포트 벡터 머신(Support Vector Machine)을 이용한 학습 방법으로 도로를 따라 나열되는 복수의 가로등 또는 시선 유도 반사체를 타겟 광원으로 분류할 수 있다. 서포트 벡터 머신은 입력 공간에 최대 마진의 초평면(Maximum-margin Hyperplane)을 만들고, 예(Yes) 또는 아니오(No) 값이 주어진 학습 샘플(Training Sample)을 주어 가장 가까이에 위치하는 표본에서 초평면까지의 거리가 최대가 되도록 학습 샘플을 예와 아니오로 나눔으로써 주어진 데이터를 통계적으로 이원 분류하기 위한 것이다. 서포트 벡터 머신을 이용하면, 야간 영상의 광원 중 움직이지 않는 광원에 속한 타겟 광원을 효과적으로 분류할 수 있다.

다음, 타겟 위치 추정부는 제2 타겟 광원의 중심점인 제2 위치(P2)를 산출한다(S28). 제2 위치를 산출하는 단계에 있어서, 타겟 위치 추정부는 제2 프레임의 영상을 이진화한 후 특정 값(예컨대, 1과 0 중에서 1)을 가진 픽셀들의 무게 중심의 좌표를 제2 위치로 추출할 수 있다.

다음, 보정부는 추정 위치(P3)와 제2 위치(P2)를 비교한다(S29). 추정 위치와 제2 위치를 비교하는 단계에서, 보정부는 차량의 상하 방향에 대응하는 두 위치들을 비교할 수 있다. 차량의 상하 방향에서의 거리 즉 야간 영상의 제1 및 제2 프레임의 수직 방향의 거리는 차량 주행 보조 시스템에서 선행 차량과의 거리를 계산할 때 이용된다.

그리고, 보정부는 추정 위치(P3)와 제2 위치(P2)의 비교 결과를 토대로 차량 카메라의 영상을 보정한다(S30). 차량 카메라의 영상을 보정하는 단계에 있어서, 보정부는 추정 위치에서 제2 위치를 뺀 거리와 방향을 토대로 야간 영상(제2 프레임 등)을 보정한다.

또한, 보정부는, 차량 카메라의 야간 영상을 보정하는 단계에서, RANSAC(RANdom SAmple Consensus)를 통해 최적화된 보정 방향 및 거리를 추출하여 야간 영상을 보정할 수 있다. RANSAC 알고리즘은 주어진 원본 데이터에서 그 일부를 임의로 선택하는 과정을 반복적으로 수행하여 최적의 파라미터를 예측하기 위한 것으로, 본 실시예에 따른 영상 처리 장치에 탑재되는 영상 보정 방법용 프로그램 또는 프로시저(Procedure)의 형태로 구현될 수 있다.

또한, 보정부는, 구현에 따라서, 차량 카메라의 야간 영상을 보정하기 위하여 추정 위치와 제2 위치의 비교 결과를 토대로 차량 카메라의 틸팅 장치의 현재 위치를 보정하기 위한 보정 신호를 출력할 수 있다. 보정 신호는 차량 카메라의 틸팅 장치에 직접 전송되거나 틸팅 장치를 제어하는 별도의 전자제어장치로 전송될 수 있다. 이러한 차량 카메라의 틸팅 장치나 그 전자제어장치는 이미 잘 알려져 있으므로 그에 대한 상세 설명은 생략한다.

본 실시예에 의하면, 단안 카메라에서 광원을 위치를 추적하기 때문에 야간 영상에서 거리 측정이 부정확해지는 것을 방지할 수 있고, 차량의 움직임 정보를 이용함으로써 야간 영상을 효과적으로 안정화할 수 있다.

도 3 내지 도 7은 도 2의 차량 카메라의 영상 보정 방법을 설명하기 위한 예시도이다.

도 3에 도시한 바와 같이, 야간 영상 안정화를 위한 영상 보정은 야간 영상(30)에서 추출한 광원(31)의 위치 변화를 가지고 적용 가능하다. 즉, 광원(31)의 위치 변화를 이용하여 차량 흔들림이나 차량 카메라의 흔들임에 따른 야간 영상에서의 오차를 보상할 수 있다.

한편, 차량 카메라가 탑재된 자차량이 움직이는 경우, 광원(31)의 위치 변화만을 이용하여 야간 영상을 보정하는 데에는 문제가 있다. 이러한 문제점을 해결하기 위하여 차량의 움직임을 차속 센서와 요레이트 센서(Yaw Rate Sensor)로부터의 검출 신호를 토대로 얻을 수 있는 차량 속도와 회전 반경을 이용하여 계산함으로써 야간 영상에서의 광원의 움직임을 추적할 수 있다. 즉, 차속과 회전반경(Yaw Rate)을 알면 차량의 다음 위치를 알 수 있기 때문에 움직이지 않는 광원에 대해서 보상이 가능하다. 차속과 회전반경을 이용하여 차량의 다음 위치를 예측하는 기술은 이미 잘 알려져 있으므로 그에 대한 상세 설명은 생략한다.

전술한 광원의 위치 변화와 차량의 움직임을 이용하여 야간 영상을 보정하는 방법을 좀더 구체적으로 설명하면 다음과 같다.

우선, 도 4에 도시한 바와 같이, 차량 카메라로부터의 야간 영상에서 움직이는 광원과 움직이지 않는 광원으로 분리한다. 도 4에서는, 차량 카메라로부터 입력된 영상의 제1 프레임(40)에서 4개의 움직이지 않은 광원을 제1 타겟 광원(41)으로 분류하였다.

움직이지 않는 광원은 가로등이며 상대 차량의 광원 등은 움직이는 광원으로 분류할 수 있다. 또한, 반사체(중앙분리대나 가이드레일을 따라 거의 일정 간격으로 배치되는 시선 유도 반사체 등)의 경우도 움직이지 않기 때문에 움직이지 않는 광원으로 분류할 수 있다.

광원 인식 방법에서 가로등의 위치는 상대적으로 높은 곳에 있으며 좌측과 우측에 있다. 그러므로, 해당 영역의 광원을 가로등으로 분류할 수 있으며, 반사체의 경우도 가로등의 경우와 유사하게 소정의 인식 방법을 통해서 분류할 수 있다. 일례로, 서포트 벡터 머신(Support Vector Machine, SVM)을 이용한 학습(Training) 방법으로 광원을 분류할 수 있다.

다음, 제1 타겟 광원(41)을 찾은 후 제1 타겟 광원의 중심점을 찾는다. 제1 타겟 광원(41)의 중심점인 제1 위치(42)는 제1 프레임에서 하나의 픽셀로 지정될 수 있다. 도 5에서는 도시의 편의상 제1 타겟 광원의 중심점인 제1 위치(42)를 소정의 크기로 표시하고 있다.

본 실시예에 있어서, 타겟 광원의 크기는 위치에 따라서 달라지기 때문에 크기로 비교하기보다는 타겟 광원의 중심점의 위치를 이용한다. 타겟 광원의 중심점을 산출하는 것은 영상 이진화를 통하여 각 타겟 광원의 무게 중심 또는 영역 중심을 찾는 것에 대응할 수 있다.

다음, 영상 처리 장치는, 도 6에 도시한 바와 같이, 현재 프레임(제1 프레임)의 제1 타겟 광원의 제1 위치가 일정 시간 후에 다음 프레임(제2 프레임)에서 위치하게 될 추정 위치(43)를 계산한다. 추정 위치(43)는 차량의 속도와 회전 반경을 이용하여 계산될 수 있다. 한편, 도 6에서는 명확하게 도시되어 있지는 않지만, 차속과 회전 반경을 이용하여 4개의 추정 위치(43)를 계산할 때, 영상 처리 장치는 프레임 개수를 단위 시간(1초)으로 나눈 시간 동안에 차량 카메라의 정중앙의 시점 또는 그에 상응하는 제1 프레임(40)의 대략적인 정중앙을 기준으로, 차량의 회전반경에 따라 제1 프레임(40)의 왼쪽에 위치하는 제1 위치(42)로부터 이동한 추정 위치(43)와 오른쪽에 위치하는 제1 위치로부터 이동하는 추정 위치의 이동 거리를 다르게 계산할 수 있다.

다음, 영상 처리 장치는, 도 7에 도시한 바와 같이, 다음 프레임(제2 프레임)에서 광원을 추출하고, 광원 중 움직이지 않은 광원에 속하는 제2 타겟 광원(51)을 분류한 후, 각각의 제2 타겟 광원(51)의 중심점(무게 중심 등)인 제2 위치(53)를 산출한다.

다음, 영상 처리 장치는, 도 8에 도시한 바와 같이, 제2 프레임에 추정 위치(43)이 오버랩된 영상 또는 프레임(60)에서, 추정 위치(43)와 제2 위치(53)를 비교하고, 비교 결과를 토대로 야간 영상 안정화(Stabilization)를 수행한다. 영상 처리 장치는 프레임(60)에서의 추정 위치(43)와 제2 위치(53)의 수직 위치를 비교하여 차량의 상하 진동을 계산할 수 있다.

또한, 영상 처리 장치는, 도 8의 참조부호 H1 및 H2와 같이, 복수의 추정 위치(43)와 이에 대응하는 제2 위치(53)의 비교 결과가 여러 점마다 다른 움직임을 가질 수 있기 때문에, 본 발명에서는 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 최적화된 움직임(보정 거리 및 방향)을 추출하여 야간 영상 보정에 이용할 수 있다.

본 실시예에 의하면, 차량 카메라의 야간 영상의 안정화를 효과적으로 수행할 수 있는 영상 보정 방법 및 영상 처리 장치를 제공할 수 있다. 게다가, 전술한 영상 보정 방법이나 영상 처리 장치를 이용하는 차량 주행 보조 시스템에서 선행 차량과의 거리 측정이나 전방 충돌 방지 등의 안정성과 신뢰성을 향상시키는 효과를 제공한다.

이상에서 살펴본 바와 같이, 본 발명의 바람직한 실시예를 들어 도시하고 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며 본 발명의 사상을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경, 치환, 수정이 가능할 것이며, 이러한 변경, 치환, 수정 등은 본 발명의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (12)

1. 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출하고, 상기 제1 프레임과 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출하는 광원 추출부;
   상기 제1 프레임의 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하고, 상기 제2 프레임의 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 타겟 광원 분류부;
   상기 제1 타겟 광원의 중심점인 제1 위치를 추정하고, 상기 제2 타겟 광원의 중심점인 제2 위치를 추정하는 타겟 위치 추정부;
   상기 차량의 차속 및 회전반경을 토대로 상기 제1 시간 동안 상기 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 추정 위치 산출부; 및
   상기 추정 위치와 상기 제2 위치의 비교 결과를 토대로 상기 차량 카메라의 영상을 보정하는 보정부;
   를 포함하는 영상 처리 장치.
2. 제 1 항에 있어서,
   상기 보정부는 상기 차량의 상하 방향에 대응하는 상기 제1 및 제2 프레임의 수직 방향에서 상기 추정 위치와 상기 제2 위치를 비교하고, 상기 추정 위치에서 상기 제2 위치를 뺀 크기와 방향에 기초하여 상기 차량 카메라의 영상을 보정하는 것을 특징으로 하는 영상 처리 장치.
3. 제 1 항에 있어서,
   상기 타겟 위치 추정부는 상기 제1 또는 제2 타겟 광원의 무게 중심을 상기 제1 위치 또는 상기 제2 위치로 추정하는 것을 특징으로 하는 영상 처리 장치.
4. 제 1 항에 있어서,
   상기 움직이지 않는 광원은 가로등 및 시선 유도 반사체 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 영상 처리 장치.
5. 차량 카메라로부터 획득한 영상의 제1 프레임에서 광원을 추출하는 단계;
   상기 광원 중 움직이지 않는 광원에 속하는 제1 타겟 광원을 분류하는 단계;
   상기 제1 타겟 광원의 중심점인 제1 위치를 산출하는 단계;
   상기 차량의 속도와 회전반경을 토대로 기설정된 제1 시간 경과 동안 상기 제1 위치가 이동하여 위치할 것으로 예상되는 추정 위치를 산출하는 단계;
   상기 제1 프레임과 상기 제1 시간 간격을 두고 획득한 제2 프레임에서 광원을 추출하는 단계;
   상기 광원 중 움직이지 않는 광원에 속하는 제2 타겟 광원을 분류하는 단계;
   상기 제2 타겟 광원의 중심점인 제2 위치를 산출하는 단계;
   상기 추정 위치와 상기 제2 위치를 비교하는 단계; 및
   상기 추정 위치와 제2 위치의 비교 결과를 토대로 상기 차량 카메라의 영상을 보정하는 단계;
   를 포함하는 차량 카메라의 영상 보정 방법.
6. 제 5 항에 있어서,
   상기 제1 타겟 광원을 분류하는 단계 또는 상기 제2 타겟 광원을 분류하는 단계는, 상기 제1 또는 제2 프레임의 미리 정해진 영역에 존재하는 광원을 타겟 광원으로 분류하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.
7. 제 6 항에 있어서,
   상기 제1 타겟 광원을 분류하는 단계 또는 상기 제2 타겟 광원을 분류하는 단계는, 서포트 벡터 머신(Support Vector Machine)을 이용한 학습 방법으로 도로를 따라 나열되는 복수의 가로등 또는 시선 유도 반사체를 타겟 광원으로 분류하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.
8. 제 5 항에 있어서,
   상기 제1 위치를 산출하는 단계 또는 상기 제2 위치를 산출하는 단계는, 상기 제1 또는 제2 프레임의 영상을 이진화한 후 특정 값을 가진 픽셀들의 무게 중심의 좌표를 상기 제1 위치 또는 상기 제2 위치로 추출하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.
9. 제 5 항에 있어서,
   상기 추정 위치와 상기 제2 위치를 비교하는 단계는, 상기 차량의 상하 방향에 대응하는 두 위치들을 비교하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.
10. 제 9 항에 있어서,
    상기 차량 카메라의 영상을 보정하는 단계는, 상기 추정 위치에서 상기 제2 위치를 뺀 거리와 방향을 토대로 상기 영상을 보정하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.
11. 제 10 항에 있어서,
    상기 차량 카메라의 상기 영상을 보정하는 단계는, RANSAC(RANdom SAmple Consensus)를 통해 최적화된 보정 방향 및 거리를 추출하여 상기 영상을 보정하는 것을 특징으로 하는 차량 카메라의 영상 보정 방법.
12. 제 5 항에 있어서,
    상기 제2 프레임은 상기 영상에 포함된 복수의 프레임 중 상기 제1 프레임의 바로 다음에 위치하는 프레임인 것을 특징으로 하는 차량 카메라의 영상 보정 방법.

Images