KR20190054703A

KR20190054703A - 듀얼 카메라 영상 화질 보정 방법

Info

Publication number: KR20190054703A
Application number: KR1020170151578A
Authority: KR
Inventors: 김성용; 윤종호
Original assignee: 김민석
Priority date: 2017-11-14
Filing date: 2017-11-14
Publication date: 2019-05-22

Abstract

본 발명인 듀얼 카메라 영상 화질 보정 방법은,
좌측카메라와 우측카메라로 구성된 듀얼 카메라 영상장치로 동일 장소를 동시에 촬영하는 제1단계;
상기 좌측카메라에서 촬영된 좌측영상으로부터 좌측영상데이터를 추출하고, 상기 우측카메라에서 촬영된 우측영상으로부터 우측영상데이터를 추출하는 제2단계; 및
상기 좌측영상과 상기 우측영상이 겹치는 부분의 휘도차를 줄이기 위해, 상기 좌측영상과 상기 우측영상이 겹치는 부분의, 좌측영상데이터와 우측영상데이터를 보정하는 제3단계;를 포함하는 것을 특징으로 한다.

Description

듀얼 카메라 영상 화질 보정 방법{METHOD FOR CORRECTING IMAGE QUALITY TAKEN BY DUAL CAMERA}

본 발명은 듀얼 카메라 영상 화질 보정 방법에 관한 것이다.

차량용 블랙박스, 차량용 후방 카메라, 보안 카메라, 요금 징수 시스템, 과속 측정 구간에서 필요한 영상을 획득하기 위해, 카메라 촬영이 이루어지고 있다.

일반적으로, 카메라 촬영은 1대의 카메라로 이루어지기 때문에, 좁은 시야각으로 인해 사각지대가 많이 발생하고 있다. 그렇다고, 시야각을 넓히기 위해 어안 렌즈를 사용할 경우, 촬영된 영상에서 가운데를 제외한 대부분의 영역에서 심한 영상 왜곡이 발생한다. 이러한 영상 왜곡을 바로잡기 위해서는 매우 복잡한 알고리즘을 사용해야 한다.

본 출원인은 이러한 문제점을 해결하기 위하여, 2대의 카메라를 사용하여, 네 모서리의 영상 왜곡을 현저하게 줄이고, 시야각을 넓히는 듀얼 카메라 영상 촬영 방법을 연구하고 있다.

한편, 도 1에 도시된 바와 같이, 2대의 카메라로 한 장소를 동시에 촬영하면, 좌측카메라에서 좌측 시야가 더 확보된 좌측영상(LV)이 획득되고, 우측카메라에서는 우측 시야가 더 확보된 우측영상(RV)이 획득된다. 이때, 좌측영상(LV)의 우측부분과, 우측영상(RV)의 좌측부분이 서로 겹치게 된다.

이렇게 획득된 좌측영상(RV)과 우측영상(RV)을 시야각이 넓은 하나의 영상으로 만들려면, 영상이 겹치는 부분(Overlay Region, OR)을 하나의 영상으로 처리해야 한다.

그러나, 좌측영상(LV)의 우측부분과, 우측영상(RV)의 좌측부분의 휘도 차이가 도 1에 도시된 바와 같이 크면, 겹치는 부분을 매끄러운 영상으로 처리하기 어렵다.

이로 인해, 네 모서리의 영상 왜곡을 현저하게 줄이고, 시야각을 넓히기 위해, 2대의 카메라를 사용하는 이점이 줄어든다.

한국공개특허(10-2011-0026783)

본 발명의 목적은, 상술한 문제점을 해결할 수 있는 듀얼 카메라 영상 화질 보정 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 듀얼 카메라 영상 화질 보정 방법은,

좌측카메라와 우측카메라로 구성된 듀얼 카메라 영상장치로 동일 장소를 동시에 촬영하는 제1단계;

상기 좌측카메라에서 촬영된 좌측영상으로부터 좌측영상데이터를 추출하고, 상기 우측카메라에서 촬영된 우측영상으로부터 우측영상데이터를 추출하는 제2단계; 및

상기 좌측영상과 상기 우측영상이 겹치는 부분의 휘도차를 줄이기 위해, 상기 좌측영상과 상기 우측영상이 겹치는 부분의, 좌측영상데이터와 우측영상데이터를 보정하는 제3단계;를 포함하는 것을 특징으로 한다.

본 발명을 사용하면, 서로 겹치는 좌측영상 우측부분과, 우측영상 좌측부분의 휘도 차이를 줄일 수 있다. 이로 인해, 2대의 카메라로 찍은 각각의 영상을 합성하여, 시야각이 넓고 네 모서리의 영상 왜곡이 현저하게 줄어든 영상을 얻어낼 수 있다.

도 1은 2대의 카메라로 한 장소를 동시한 촬영한 영상으로, 좌측카메라로 촬영한 영상과 우측카메라 촬영한 영상을 서로 비교한 사진이다.
도 2는 본 발명의 일 실시예에 따른 듀얼 카메라 영상 화질 보정 방법을 나타낸 순서도이다.
도 3은 본 발명의 일 실시예에 따른 듀얼 카메라 영상 화질 보정 방법이 구현되는 듀얼 카메라 영상장치를 나타낸 블록도이다.
도 4는 2대의 카메라에서 출력되는 영상데이터를 나타낸 도면으로, 도 2(a)는 좌측카메라에서 출력되는 영상데이터를 나타낸 도면이고, 도 2(b)는 우측카메라에서 출력되는 영상 테이터를 나타낸 도면이다.
도 5는 도 3에 도시된 좌측카메라 라인버퍼부, 우측카메라 라인버퍼부, 휘도 자동값 컨트롤러를 발췌하여 나타낸 도면이다.
도 6은 도 5에 도시된 휘도 자동값 컨트롤러의 작동을 설명하기 위한 도면으로, 도 6(a)는 휘도 자동값 컨트롤러가 좌측카메라 라인버퍼에서 받는 픽셀값을 나타낸 도면이고, 도 6(b)는 휘도 자동값 컨트롤러가 우측카메라 라인버퍼에서 받는 픽셀값을 나타낸 도면이다.

이하, 본 발명의 일 실시예에 따른 듀얼 카메라 영상 화질 보정 방법을 자세히 설명한다.

본 발명의 일 실시예에 따른 듀얼 카메라 영상 화질 보정 방법은,

좌측카메라와 우측카메라로 구성된 듀얼 카메라 영상장치로 동일 장소를 동시에 촬영하는 제1단계(S11);

상기 좌측카메라에서 촬영된 좌측영상으로부터 좌측영상데이터를 추출하고, 상기 우측카메라에서 촬영된 우측영상으로부터 우측영상데이터를 추출하는 제2단계(S12);

상기 좌측영상과 상기 우측영상이 겹치는 부분의 휘도차를 줄이기 위해, 상기 좌측영상과 상기 우측영상이 겹치는 부분의 좌측영상데이터와 우측영상데이터를 보정하는 제3단계(S13)로 구성된다.

이하, 제1단계(S11)를 설명한다.

도 3에 도시된 바와 같이, 듀얼 카메라 영상장치는, 좌측카메라(미도시), 우측카메라(미도시) 좌측영상데이터 히스토그램 평활화부(11), 좌측카메라 라인버퍼부(12), 우측영상데이터 히스토그램 평활화부(21), 우측카메라 라인버퍼부(22), 휘도 자동값 제어부(30)를 포함하여 구성된다. 이러한 구성을 포함한 듀얼 카메라 영상장치로 동일 장소를 동시에 촬영한다.

이하, 제2단계(S12)를 설명한다.

도 4에 도시된 바와 같이, 좌측영상데이터와 우측영상데이터는 수평신호(Hsync) 기반으로 들어온다.

좌측카메라에서 촬영된 영상은 데이터(P0, P1, P2, Pn-2, Pn-1, Pn)로 추출되어, 좌측영상데이터 히스토그램 평활화부(11)로 입력된다. 좌측영상데이터 히스토그램 평활화부(11)에서, 좌측영상의 영상소값들을 균일하게 분산시킨다. 분산된 좌측영상소값(Pixel data)들은 좌측카메라 라인버퍼부(12)로 입력된다.

우측카메라에서 촬영된 영상은 데이터(P0, P1, P2, Pn-2, Pn-1, Pn)로 추출되어, 우측영상데이터 히스토그램 평활화부(21)로 입력된다. 좌측영상데이터 히스토그램 평활화부(11)에서, 우측영상의 영상소값들을 균일하게 분산시킨다. 분산된 우측영상소값(Pixel datat)들은 우측카메라 라인버퍼부(22)로 입력된다.

한편, 좌측영상과 우측영상이 겹치는 부분에서 휘도 차이를 검출하여, 겹치는 부분이 동일한 휘도값을 가지게 하려면, 좌측영상 우측데이터와 우측영상의 좌측데이터가 서로 겹쳐야 한다.

그러나, 시간적으로 보면, 좌측영상데이터는 왼쪽부터 오른쪽으로 들어오고, 우측영상데이터 역시 왼쪽부터 오른쪽으로 들어온다. 따라서, 좌측영상과 우측영상이 겹치는 부분의 데이터는 수평신호에서 보았을 때 우측에 위치되어, 좌측영상데이터의 우측부분 데이터는 우측영상데이터의 좌측부분 데이터보다 늦게 들어올 수밖에 없다.

이러한 문제점을 해결하기 위하여, 좌측영상데이터를 휘도 자동값 제어부(30)로 넣기 전에 좌측카메라 라인버퍼부(12)에 저장하고, 우측영상데이터를 휘도 자동값 제어부(30)로 넣기 전에 우측카메라 라인버퍼부(22)에 저장하여, 좌측영상데이터의 우측부분 데이터와 우측영상데이터의 좌측부분 데이터의 시간차를 보정한다.

이렇게 시간차를 보정한 후에, 좌측영상데이터와 우측영상데이터를 휘도 자동값 제어부(30)로 넣는다. 휘도 자동값 제어부(30)에서 처리된 좌측영상데이터와 우측영상데이터는 다시 좌측카메라 라인버퍼부(12)와 우측카메라 라인버퍼부(22) 각각에 저장된다.

이하, 제3단계(S13)를 설명한다.

휘도 자동값 제어부(30)는, 겹치는 좌측영상과 우측영상의 휘도 성분을 같은 분포로 만든다. 이때, 단순히 겹치는 부분의 왼쪽 영상데이터 전체와 오른쪽 영상데이터 전체의 평균값을 취하지 않고, 두 개의 영상데이터를 비교하면서 비슷한 휘도값을 갖는 영역을 찾아, 비슷한 휘도값을 갖는 영역별로 휘도값을 보정한다. 여기서, 비슷한 휘도값을 갖는 영역에는 동일한 휘도값을 갖는 영역도 포함된다.

이를 보다 구체적으로 설명한다.

도 6을 참조하면, 좌측영상에서 우측영상과 겹치는 픽셀들에서 비슷한 휘도값을 갖는 픽셀들을 찾아서 비슷한 휘도값을 갖는 영역(LR)으로 지정한다.

마찬가지로, 우측영상에서 좌측영상과 겹치는 픽셀들에서 비슷한 휘도값을 갖는 픽셀들을 찾아서 비슷한 휘도값을 갖는 영역(RR)으로 지정한다.

그런 다음, 좌측영상의 비슷한 휘도값을 갖는 영역(LR)과 우측영상의 비슷한 휘도값을 갖는 영역(RR)끼리 매칭하여, 중간값 필터(Median filter)를 사용하여 새로운 휘도값을 만들어 그 좌측영상의 비슷한 휘도값을 갖는 영역(LR)의 휘도값과, 그 우측영상의 비슷한 휘도값을 갖는 영역(RR)의 휘도값을, 새로운 휘도값으로 변경한다.

예)

좌측영상과 우측영상이 겹치는 영역 중, 좌측영상에서 비슷한 휘도값을 갖는 영역(LR)의 픽셀들 (L_P(1,n) , L_P(1,n+1), L_P(1,n+2), …… , L_P(1,2n)) 과,

우측영상이 좌측영상과 겹치는 영역 중, 우측영상에서 비슷한 휘도값을 갖는 영역(RR)의 픽셀들 (R_P(1,1) , R_P(1,2), R_P(1,3), …… , R_P(1,n)) 로,

중간값 필터(Median filter)를 사용하여 새로운 휘도값을 만들어낸다.

Median filter(L_P(1,n) , L_P(1,n+1), L_P(1,n+2), …… , L_P(1,2n), R_P(1,1) , R_P(1,2), R_P(1,3), …… , R_P(1,n) )

위와 같은 방법을 확장하여, 도 7에 도시된 바와 같이, 좌측영상과 우측영상이 겹치는 영역(Overlap)의 픽셀들에서 비슷한 휘도값을 갖는 픽셀들을 찾아서 비슷한 휘도값을 갖는 영역들(G1,G2,G3,G4)로 지정한다.

그리고, 좌측영상의 비슷한 휘도값을 갖는 영역(G1)과 우측영상의 비슷한 휘도값을 갖는 영역(G1) 끼리 매칭하여, 중간값 필터(Median filter)를 사용하여 새로운 휘도값을 만들어낸다. 그런 다음, 좌측영상의 비슷한 휘도값을 갖는 영역(G1)과, 그 우측영상의 비슷한 휘도값을 갖는 영역(G1)의 휘도값을, 새로운 휘도값으로 변경하다.

마찬가지로, 좌측영상의 비슷한 휘도값을 갖는 영역(G2)과 우측영상의 비슷한 휘도값을 갖는 영역(G2) 끼리 매칭하여, 중간값 필터(Median filter)를 사용하여 새로운 휘도값을 만들어, 그 좌측영상의 비슷한 휘도값을 갖는 영역(G2)과, 그 우측영상의 비슷한 휘도값을 갖는 영역(G2)의 휘도값을, 새로운 휘도값으로 변경하다.

마찬가지로, 좌측영상의 비슷한 휘도값을 갖는 영역(G3)과 우측영상의 비슷한 휘도값을 갖는 영역(G3) 끼리 매칭하여, 중간값 필터(Median filter)를 사용하여 새로운 휘도값을 만들어, 그 좌측영상의 비슷한 휘도값을 갖는 영역(G3)과, 그 우측영상의 비슷한 휘도값을 갖는 영역(G3)의 휘도값을, 새로운 휘도값으로 변경하다.

마찬가지로, 좌측영상의 비슷한 휘도값을 갖는 영역(G4)과 우측영상의 비슷한 휘도값을 갖는 영역(G4) 끼리 매칭하여, 중간값 필터(Median filter)를 사용하여 새로운 휘도값을 만들어, 그 좌측영상의 비슷한 휘도값을 갖는 영역(G4)과, 그 우측영상의 비슷한 휘도값을 갖는 영역(G4)의 휘도값을, 새로운 휘도값으로 변경하다.

물론, 겹치는 영역 내에서 비슷한 휘도값을 가진 영역이 더 있으면, 겹치는 영역에 더 많은 영역(G1,G2,G3,G4,G5,G6...)을 찾아서 지정할 수 있다.

상술한 바와 같이, 휘도 자동값 제어부(30)가 단순히 겹치는 부분의 왼쪽 영상데이터 전체와 오른쪽 영상데이터 전체의 평균값을 취하지 않고, 두 개의 영상데이터를 비교하면서 비슷한 휘도값을 갖는 영역을 찾아, 비슷한 휘도값을 갖는 영역별로 중간값 필터를 사용하여 새로운 휘도값을 만들어 영역별로 적용함으로써, 좌측영상과 우측영상의 겹치는 부분 내에서 휘도가 급격하게 변하는 부분이 설사 중간에 존재하더라도, 좌측영상과 우측영상이 겹치는 부분을 매끄러운 영상으로 처리할 수 있다. 이는 본 발명의 가장 큰 특징이 된다.

11: 좌측영상데이터 히스토그램 평활화부 12: 좌측카메라 라인버퍼부
21: 우측영상데이터 히스토그램 평활화부 22: 우측카메라 라인버퍼부
30: 휘도 자동값 제어부

Claims

좌측카메라와 우측카메라로 구성된 듀얼 카메라 영상장치로 동일 장소를 동시에 촬영하는 제1단계;
상기 좌측카메라에서 촬영된 좌측영상으로부터 좌측영상데이터를 추출하고, 상기 우측카메라에서 촬영된 우측영상으로부터 우측영상데이터를 추출하는 제2단계; 및
상기 좌측영상과 상기 우측영상이 겹치는 부분의 휘도차를 줄이기 위해, 상기 좌측영상과 상기 우측영상이 겹치는 부분의 좌측영상데이터와 우측영상데이터를 보정하는 제3단계;를 포함하는 것을 특징으로 하는 듀얼 카메라 영상 화질 보정 방법.
제1항에 있어서, 상기 제1단계는,
좌측카메라, 우측카메라 좌측영상데이터 히스토그램 평활화부, 좌측카메라 라인버퍼부, 우측영상데이터 히스토그램 평활화부, 우측카메라 라인버퍼부, 휘도 자동값 제어부를 포함하여 구성된 듀얼 카메라 영상장치에 의해 실행되는 것을 특징으로 하는 듀얼 카메라 영상 화질 보정 방법.
제2항에 있어서, 상기 제2단계는,
상기 좌측카메라에서 촬영된 영상은 데이터(P0, P1, P2, Pn-2, Pn-1, Pn)로 추출되어, 상기 좌측영상데이터 히스토그램 평활화부로 입력되어 히스토그램 평활화되고,
상기 우측카메라에서 촬영된 영상은 데이터(P0, P1, P2, Pn-2, Pn-1, Pn)로 추출되어, 상기 우측영상데이터 히스토그램 평활화부로 입력되어 히스토그램 평활화되는 것을 특징으로 하는 듀얼 카메라 영상 화질 보정 방법.
제3항에 있어서, 상기 제2단계에서,
상기 평활화된 좌측영상데이터를 상기 휘도 자동값 제어부로 넣기 전에 상기 좌측카메라 라인버퍼부에 저장하고,
상기 평활화된 우측영상데이터를 상기 휘도 자동값 제어부로 넣기 전에 상기 우측카메라 라인버퍼부에 저장하여,
상기 좌측영상데이터의 우측부분 데이터와 상기 우측영상데이터의 좌측부분 데이터의 시간차를 보정하는 것을 특징으로 하는 듀얼 카메라 영상 화질 보정 방법.
제4항에 있어서, 상기 제3단계에서,
상기 휘도 자동값 제어부는, 단순히 겹치는 부분의 왼쪽 영상데이터 전체와 오른쪽 영상데이터 전체의 평균값을 취하지 않고, 두 개의 영상데이터를 비교하면서 비슷한 휘도값을 갖는 영역을 찾아, 그 영역별로 휘도값을 보정하는 것을 특징으로 하는 듀얼 카메라 영상 화질 보정 방법.
제5항에 있어서, 상기 제3단계에서,
상기 좌측영상에서 우측영상과 겹치는 픽셀들에서 비슷한 휘도값을 갖는 픽셀들을 찾아서 비슷한 휘도값을 갖는 영역으로 지정하고,
상기 우측영상에서 좌측영상과 겹치는 픽셀들에서 비슷한 휘도값을 갖는 픽셀을 찾아서 비슷한 휘도값을 갖는 영역으로 지정한 다음,
상기 좌측영상의 비슷한 휘도값을 갖는 영역과 상기 우측영상의 비슷한 휘도값을 갖는 영역끼리 매칭하여, 중간값 필터를 사용하여 새로운 휘도값을 만들어,
상기 좌측영상의 비슷한 휘도값을 갖는 영역의 휘도값과, 상기 우측영상의 비슷한 휘도값을 갖는 영역의 휘도값을, 상기 새로운 휘도값으로 변경하는 것을 특징으로 하는 듀얼 카메라 영상 화질 보정 방법.