KR20200138972A

KR20200138972A - Hdr 영상 생성 장치 및 방법

Info

Publication number: KR20200138972A
Application number: KR1020190065395A
Authority: KR
Inventors: 권오설; 김범수
Original assignee: 창원대학교 산학협력단
Priority date: 2019-06-03
Filing date: 2019-06-03
Publication date: 2020-12-11
Also published as: KR102207441B1

Abstract

본 발명은 HDR 영상 생성 장치 및 방법에 관한 것으로, 보다 구체적으로는 입력 영상을 YCbCr 색공간으로 변환된 제1 변환영상을 생성하는 제1 색공간 변환부, 상기 제1 변환영상의 밝기를 조절하는 밝기 조절부, 상기 제1 변환영상 및 상기 입력 영상을 HSV 색공간으로 변환하는 제2 색공간 변환부, 상기 HSV 색공간으로 변환된 두 영상의 포화도를 비교하여 보상하는 포화도 보상부 및 상기 포화도가 보상된 상기 입력 영상을 RGB 색공간으로 변환하는 제3 색공간 변환부를 포함하여 구성될 수 있다.

Description

HDR 영상 생성 장치 및 방법{The apparatus and method of HDR imaging generation}

본 발명은 HDR(high Dynamic Range) 영상을 생성하는 장치 및 방법에 관한 것으로, 특히 입력영상의 밝기 변화에 따라 적응적으로 색 포화도를 보상하는 HDR 영상 생성 장치 및 그 방법에 관한 것이다.

HDR(High Dynamic Range)이란 디지털 영상에서 밝은 곳은 더 밝게, 어두운 곳은 더 어둡게 만들어 사람이 실제 눈으로 보는 것에 가깝게 밝기의 범위(Dynamic Range)를 확장시키는 기술을 의미한다.

현재, 블랙박스, CCTV, 자율주행자동차 등 다양한 분야에서 카메라가 사용됨에 따라 촬영된 영상에서 더 많은 정보의 획득을 위해서 더 넓은 동적 범위(HDR: High Dynamic Range)를 가진 HDR 영상을 필요로 하는 경우가 많아지고 있다.

최근에는, 각각 다른 노출시간으로 촬영된 복수의 LDR(Low Dynamic Range) 영상을 합성하면서 동적 범위를 확장하여 HDR 영상을 생성하거나, 단일 프레임의 LDR 영상을 다른 밝기값(노출값)을 가지는 LDR 영상들로 분해한 후 다시 합성하면서 동적 범위를 확장하여 HDR 영상을 생성하는 등, 복수의 LDR 영상들을 합성하여 HDR 영상을 생성하는 방법들이 주로 연구되고 있다.

다만, 각각 다른 노출시간으로 촬영된 복수의 LDR 영상을 합성하면서 동적 범위를 확장하여 HDR 영상을 생성하는 방법은 영상 장치의 움직임에 의해 야기되는 고스트 현상이 발생할 수 있으며, 단일 프레임의 LDR 영상에서 복수의 노출 영상을 생성하고, 밝기를 정규화하고, 디테일을 추정하여 합성하는 방법으로 HDR 영상을 생성하는 방법은 영상의 분해, 합성 방법이 복잡하고, 좋은 품질의 HDR 영상을 생성하기 어렵다는 문제점이 존재하였다.

상기의 문제점을 해결하기 위하여 기본적인 영상 대비 향상 기법으로 Garima et al.는 “Contrast limited adaptive histogram equalization based enhancement for real time video system” 에서 CLAHE 방법을 제안하였다. 이 방법은 다중 레이어 기반의 국부적 영역의 밝기 향상 기법이다.

한편, Guarnieri는 “High dynamic range image display with halo and clipping prevention”에서 에지 보존(edgepreserving) 저역 필터를 사용하여 날카로운 경계 주변에서 할로우(Halo)를 포함하는 일반적인 결함(Artifacts)을 제거하는 HDR 기법을 제안하였다. 더 나아가 Kim는 “Natural HDR image tone mapping based on retinex”에서 어두운 영역에서 대비를 향상시키기 위해 톤 맵핑 기능이 있는 Retinex 알고리즘을 제시했다.

또한, Hsia는 “High-performance high dynamic range image generation by inverted local patterns”에서 반전 지역 서술자(Inverted local pattern, ILP)를 이용한 HDR 기법을 제안하였다. 이 방법은 동일한 프레임 내에서 극단(Extreme)영상, 밝은(Bright) 영상, 및 어두운(Dark) 영상으로 분리하여 각 영상에 적합한 방법으로 HDR 영상을 생성하는 방법이다.

그러나 이러한 방법들은 밝기에만 적용되는 기술로서 HDR 영상을 생성한 후, 특정 영역에서 색의 포화도가 감소하는 문제가 발생하였다.

(논문 1) G. Yadav, S. Maheshwari, and A. Agarwal, "Contrast Limited Adaptive Histogram Equalization Based Enhancement For Real Time Video System," Proc. International Conference on Advances in Computing, Communications and Informatics, New Delhi, India, pp. 2392-2397. 2014. (논문 2) G. Guarnieri, S. Marsi, and G. Ramponi, "High dynamic range image display with halo and clipping prevention," IEEE Trans. Image Process., Vol. 20, No. 5, pp. 1351-1362, May 2011. (논문 3) K. Kim, J. Bae, and J. Kim, "Natural HDR image tone mapping based on retinex," IEEE Trans. Consum. Electron., Vol. 57, No. 4, pp. 1807 -1814, Nov. 2011. (논문 4) S. Hsia and T. Kuo, "High-performance high dynamic range image generation by inverted local patterns," IET Image Processing, Vol. 9, No. 12, pp. 1083-1091, Nov. 2015.

본 발명은 상기 기술적 과제에 대한 문제점을 해결하기 위한 것으로, 입력 영상의 밝기 성분에 따라 포화도를 보상하기 위한 방법 및 이를 구현하기 위한 장치를 제공하는 것을 목적으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 HDR 영상 생성장치는 입력 영상을 YCbCr 색공간으로 변환된 제1 변환영상을 생성하는 제1 색공간 변환부, 상기 제1 변환영상의 밝기를 조절하는 밝기 조절부, 상기 제1 변환영상 및 상기 입력 영상을 HSV 색공간으로 변환하는 제2 색공간 변환부, 상기 HSV 색공간으로 변환된 두 영상의 포화도를 비교하여 보상하는 포화도 보상부 및 상기 포화도가 보상된 상기 입력 영상을 RGB 색공간으로 변환하는 제3 색공간 변환부를 포함한다.

또한, 상기 밝기 조절부는 상기 제1 변환영상의 히스토그램을 생성 및 분석하는 히스토그램 분석부, 상기 히스토그램 분석 결과를 기반으로 어두운 영역을 개선하는 어두운 영역 향상부, 상기 제1 변환영상에 대하여 역변환 필터를 적용하는 역변환 필터 적용부, 상기 어두운 영역 향상부에서 밝기를 개선한 밝기값과 상기 역변환 필터적용부의 결과 영상을 융합하는 영상 융합부 및 상기 영상 융합부에서 출력된 영상의 밝기를 조절하는 밝기 개선부를 더 포함할 수 있다.

또한, 상기 밝기 개선부는 밝은 영역에 한하여 밝기 대비를 조절하는 밝은 영역 향상부 및 자동 이득 조절 방법(Auto gain control)을 이용하여 상기 파라미터가 조절된 영상의 전역역에 대하여 휘도 범위를 확대하는 밝기 이득 조정부를 더 포함할 수 있다.

또한, 상기 역변환 필터 적용부는 어두운 영역 향상을 거치게 되는 동시에 상기 입력 영상을 Y 채널에서 블록 처리기반의 반전 커널을 통해 반전계수를 계산하며, 상기 반전 커널은 최대 필터(Max filter)와 저역 통과 필터(Low pass filter)를 수행한 뒤에 반전시킬 수 있다.

또한, 상기 포화도 보상부는 상기 원본영상의 색포화도를 저장하는 색포화도 저장부, 상기 제3 변환영상과 상기 원본영상의 밝기 영역을 비교 분석하는 밝기 향상 분석부, 상기 밝기 향상 분석부의 비교분석 결과를 이용하여 밝기 변화에 따라 색 포화도가 떨어진 만큼의 값을 고려하여 보상계수를 도출하는 보상 계수 도출부 및 상기 도출된 보상계수를 이용하여 상기 원본영상의 색포화도를 보상하여 적용하는 색포화도 적용부를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 HDR 영상 생성방법은 입력영상을 YCbCr 색공간으로 변환한 제1 변환영상을 생성하는 단계, 상기 제1 변환영상의 밝기를 제어하는 단계, 상기 제1 변환영상 및 입력영상을 HVS 색공간으로 변환한 제2 변환영상 및 제3 변환영상을 생성하는 단계, 상기 제2 변환영상 및 제3 변환영상의 포화도를 비교하여 포화도를 보상하는 단계 및 상기 포화도가 보상된 영상을 RGB 색공간으로 변환하는 단계를 포함할 수 있다.

또한, 제1 변환영상의 밝기를 제어하는 단계는 상기 제1 변환영상의 히스토그램을 생성 및 분석하는 단계, 상기 히스토그램 분석을 통해 결정된 어두운 영역을 개선하는 단계, 상기 제1 변환영상에 대하여 역변환 필터를 적용하는 단계, 상기 어두운 영역을 개선한 밝기값과 상기 역변환 필터를 적용한 영상의 융합영상을 생성하는 단계 및 상기 융합영상의 밝기를 조절하는 단계를 더 포함할 수 있다.

또한, 상기 밝기를 조절하는 단계는, 밝은 영역에 한하여 밝기 대비를 조절하는 단계 및 자동 이득 조절 방법(Auto gain control)을 이용하여 상기 파라미터가 조절된 영상의 전역역에 대하여 휘도 범위를 확대하는 단계를 더 포함할 수 있다.

또한, 상기 역변환 필터는 어두운 영역 향상을 거치게 되는 동시에 상기 입력 영상을 Y 채널에서 블록 처리기반의 반전 커널을 통해 반전계수를 계산하며, 상기 반전 커널은 최대 필터(Max filter)와 저역 통과 필터(Low pass filter)를 수행한 뒤에 반전시킬 수 있다.

또한, 상기 포화도를 보상하는 단계는 상기 원본영상의 색포화도를 저장하는 단계, 상기 제3 변환영상과 상기 원본영상의 밝기 영역을 비교 분석하는 단계, 상기 비교분석 결과를 이용하여 밝기 변화에 따라 색 포화도가 떨어진 만큼의 값을 고려하여 보상계수를 도출하는 단계 및 상기 도출된 보상계수를 이용하여 상기 원본영상의 색포화도를 보상하여 적용하는 단계를 더 포함할 수 있다.

상기한 본 발명의 일 실시예에 따른 영상처리를 이용하여 HDR 영상을 생성하는 장치 및 방법에 따르면, 영상의 밝기에 따라 적절한 색 포화도를 보상함으로써 고품질의 HDR 영상을 획득할 수 있다.

본 발명의 일 실시예를 이용하여 HDR 영상을 생성하는 장치 및 방법에 따르면, HDR 영상 생성시 특정 영역에서 색의 포화도가 감소하기 때문에 HSV 색 공간에서 밝기 변화를 고려하여 색상의 포화도를 가변 시킴으로써 색의 포화도를 보상시킬 수 있다.

본 발명의 일 실시예를 이용하여 HDR 영상을 생성하는 장치 및 방법에 따르면, 밝기와 포화도가 함께 고려된 HDR 영상을 생성함으로써 보다 선명한 화질의 영상을 제공할 수 있다.

본 발명의 일 실시예를 이용하여 HDR 영상을 생성하는 장치 및 방법에 따르면, 밝기를 고려하여 밝기에 따라 적응적으로 색 포화도를 보상함에 따라 어두운 영역과 밝은 영역에서 색 포화도가 옅어지는 문제를 해결할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 HDR 영상 생성 장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 HDR 영상 생성 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 영상의 밝기 조절 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 포화도를 보상하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 실시 결과와 종래 기술과의 결과 영상을 비교하는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 실시 결과와 종래 기술과의 색 포화도 보상 성능을 비교하는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 이하에서, '영상'은 정지 영상뿐만 아니라 비디오와 같은 동영상을 포함하여 포괄적으로 지칭할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 HDR 영상 생성 장치의 블록도이다.

본 발명에 따른 HDR 영상 생성 장치는 영상 입력부(100), 제1 색공간 변환부(200), 밝기 조정부(300), 제2 색공간 변환부(400), 포화도 보상부(500), 제3 색공간 변환부(600) 및 영상 출력부(700)를 포함할 수 있다.

영상 입력부(100)는 HDR 영상 생성 장치에 HDR로 변환하기 위한 영상을 입력하는 입력 장치일 수 있으며, 입력되는 영상은 RGB 색공간으로 구성될 수 있다.

제1 생공간 변환부(200)는 입력 영상의 RGB 색공간을 YCbCr 색 공간으로 변환할 수 있다.

밝기 조정부(300)에서는 입력 영상의 밝기 성분 값을 증가 또는 감소하도록 변환하여 출력하기 위하여 히스토그램 분석부(310), 어두운 영역 향상부(320), 역변환 필터 적용부(330), 영상 융합부(340), 밝은 영역 향상부(350), 밝기 이득 조정부(360)를 더 포함하도록 구성될 수 있다.

히스토그램 분석부(310)는 YCbCr 색공간으로 변환된 영상에 대하여 전체 영상의 밝기에 대해서 히스토그램을 생성 및 분석하는 단계로써, 전체 영상에 대하여 생성된 히스토그램은 하기의 수학식 1을 이용하여 각각의 픽셀에서 밝은 영역과 어두운 영역에 해당하는 히스토그램 수인 Hi값과 Lo값을 계산할 수 있다.

또한, 히스토그램 수인 Hi값과 Lo값은 추후 밝기 값에 따라 다른 밝기조절 방법의 적용 및 포화도 보상 시에 이용될 수 있다.

상기의 수학식 1에서 h(i)는 i번째 밝기의 히스토그램을 나타내고, Th₁ 내지 Th₄는 8비트 영상에 대하여 j번째 문턱치 Th_j={15, 50, 205, 240}로 설정할 수 있다. 상기 Th_i는 화소에서의 밝기 값으로써 반복적 실험을 통하여 결정할 수 있으며, Th_i는 밝기 값은 0 내지 255 사이의 값을 가질 수 있다.

히스토그램 분석부(310)는 상기 수학식 1을 이용하여 계산된 Hi 값과 Lo값을 하기의 표 1의 조건에 따라 과다 영역, 밝은 영역, 어두운 영역으로 분류할 수 있다.

Types	Conditions
어두움	Lo>2Hi
밝음	Hi>2Lo
과다	&
표준	otherwise

어두운 영역 향상부(320)는 히스토그램 분석부(310)에서 분석한 영상의 밝기 정보를 기반으로 하기의 수학식 2를 이용하여 어두운 영역과 과다영역의 어두운(dim) 영역을 개선할 수 있다.

상기의 수학식 2에서 Y_dark는 어두운(dim) 영역에 대한 개선 결과 값이고, (i, j)는 각 화소의 좌표 값이고, Y_in은 입력 영상의 Y 채널의 신호값이며, Th_dark는 어두운 영역의 개선을 위한 문턱치로써 하기와 같이 정의될 수 있다.

역변환 필터 적용부(330)는 입력된 영상의 Y 채널에 대하여 블록 처리기반의 반전 커널(Inverse kernel)을 통해 반전계수를 계산할 수 있다.

상기 반전 커널(Inverse kernel)은 2×2 크기의 최대 필터(Max filter)와 3×3 크기의 저역 통과 필터(Low pass filter)로 구성되며, 상기 반전커널의 필터링을 수행한 결과값에 대하여 반전과정(Inverse operation)을 통해 반전 계수를 계산할 수 있다. 최대 필터는 하기의 수학식 3으로 구성될 수 있고, 저역 통과 필터는 하기의 수학식 4로 구성될 수 있다.

여기에서, max는 최댓값을 결정하는 함수이고, f_i,j는 최대 필터 내에 위치하는 화소들의 화소값이며, Y_max는 2x2 필터의 최대값을 나타낼 수 있다.

여기에서 Y_lpf는 저역 통과 필터의 결과를 나타내는 함수이며, m과 n은 필터의 크기에 대한 변수로써 본 발명의 일 실시 예에서는 3으로 설정하였으나, 이에 고정되지 않으며, 필요에 따라 자연수의 범위에서 변경할 수 있다.

상기 최대 필터는 입력 영상의 디테일을 살리는 효과를 가져오기 위해 사용되며, 저역 통과 필터는 최대 필터를 이용하는 동안 발생하는 재깅 결함(Jagging artifacts)을 제거하기 위해 사용될 수 있다.

상기 반전 과정(Inverse operation)은 밝은 포화(Positive saturation)와 어두운 포화(Negative saturation)를 피하기 위하여 어두운 영역은 밝게 하고 밝은 영역은 어둡게 하는 반전함수를 사용하여 동작 하도록 할 수 있다.

영상 융합부(340)는 각 픽셀 별로 어두운 영역에 대한 향상을 거친 밝기값은 통과하고, 밝은 영상 부분에 대해서만 역변환 필터 적용부(330)을 거친 반전 계수와 결합하여 융합된 영상을 생성할 수 있다.

밝은 영역 향상부(350)는 영상 융합부(340)에서 융합된 영상에서 하기의 수학식 5를 통해 밝은 영역에 대해서만 밝기 향상(Bright enhancement)을 수행할 수 있다.

여기에서 Y_inv는 반전 함수이고, Y_dark는 어두운 영역이 향상된 밝기값이며, k는 밝기 조절 변수로써 밝기를 조절하는 파라미터일 수 잇다.

어두운 화소는 Y_inv에 의해서 밝아지게 되지만, 밝은 화소들은 포화되는(over-exposed)것을 방지하기 위해서 더 어둡게 만들어야 하기 때문에 밝기 조절 계수 k를 이용하도록 권장하고 있다.

상기 밝기 조절 계수 k를 결정하기 위하여 S. Hsia and T. Kuo의 논문인 "High-performance high dynamic range image generation by inverted local patterns, IET Image Processing, Vol. 9, No. 12, pp. 1083-1091, Nov. 2015.”을 참조하면, 3개의 영상을 이용하여 영상의 형태(Type)별로 실험을 하고 적절한 k를 설정함으로써 밝은 화소의 밝기를 조절(Brightness enhancement)하는 구성을 개시하고 있으며, 본 발명의 실시 예에서도 이러한 밝기 조절 변수 k를 동일하게 이용할 수 있으나, 이에 한정하지 않으며, 필요에 따라 적절하게 변환할 수 있다.

밝기 이득 조정부(360)는 자동 이득 조절(Auto gain control, AGC)을 이용하여 입력영상 전 범위에 대하여 휘도 범위(Luminance range)를 확대할 수 있다.

제2 색공간 변환부(400)는 밝기 조정부(300)에서 영상의 밝기를 조절한 YCbCr 색공간을 HSV(hue saturation value) 색공간으로 변환하는 한편, 영상 입력부(100)의 원본영상을 RGB 색공간에서 HSV 색공간으로 변환할 수 있다.

포화도 보상부(500)는 원본 영상의 포화도와 밝기가 조절된 영상의 밝기 변화값을 고려하여 손실된 색 포화도를 보상하기 위하여 색 포화도를 보상하기 위하여 색 포화도 저장부(510), 밝기 향상 분석부(520), 보상 계수 도출부(530), 색 포화도 적용부(540)으로 구성될 수 있다.

색 포화도 저장부(510)는 밝기 조정부(300)에서 밝기가 조정된 영상의 색 포화도를 저장할 수 있다.

밝기 향상 분석부(520)는 원본 영상의 색 포화도와 밝기 조정부(300)에서 밝기가 조정된 영상과 원본 영상의 색 포화도를 비교, 분석할 수 있다.

일 실시 예에서, 밝기가 밝아지면 밝기에 대비하여 인지되는 색의 포화도가 감소하게 되므로, 밝기 향상 분석부(520)에서는 밝기가 밝아지는 만큼 색포화도를 비례하여 증가시킴으로써 영상의 정보를 유지시킬 수 있다.

보상 계수 도출부(530)는 밝기 향상 분석부(520)에서 도출된 색 포화도가 감소된 값을 고려하여 보상 계수를 도출할 수 있다.

보상 계수는 밝기 이득 조정부(360)는 자동 이득 조절을 이용하여 확대한 휘도 범위를 이용하며, 하기의 수학식 6을 이용하여 생성할 수 있다.

여기에서, S'은 포화도 보상 계수이고, S는 HSV 색공간으로 변환된 원본 영상의 S채널 값(채도)이고, Th_dark는 상기 수학식 2에서 이용된 어두운 영역의 개선을 위한 문턱치이고, Y_in은 입력 영상의 Y채널의 신호값이며, Y_mean은 입력 영상의 밝기 평균값이다.

색 포화도 적용부(540)은 보상 계수 도출부(530)에서 도출한 포화도 보상 계수를 이용하여 원본 영상의 감소한 색 포화도를 보상하여 적용할 수 있다.

제3 색공간 변환부(600)는 HSV 색공간으로 변환된 원본 영상을 RGB 색 공간으로 변환할 수 있다.

영상 출력부(700)는 제3 색공간 변환부(600)에서 RGB 색공간으로 변환된 원본 영상을 받아 최종적으로 색 포화도의 감소 문제를 해결한 HDR 영상을 디스플레이 등의 영상 출력 장치로 출력할 수 있다.

상기 영상 출력 장치는 디스플레이, 빔프로젝터 등의 영상을 외부로 출력하여 사용자에게 제공하는 장치뿐만 아니라, CCTV, 블랙박스, 카메라 등의 외부의 영상을 녹화하여 내부의 저장장치에 저장하기 위하여 변환하는 장치를 모두 포함할 수 있으며, 영상을 외부로 송출, 내부로의 저장 등 모든 영상 이용 방법을 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 HDR 영상 생성 방법을 설명하기 위한 흐름도이다.

HDR 변환을 수행하기 위한 원본 영상을 입력할 수 있다(S1100).

원본 영상의 밝기를 조절하기 위하여 RGB 색 공간으로 구성되어 있는 원본 영상을 YCbCr 색공간으로 변환할 수 있다(S1200).

YCbCr색공간으로 변환된 영상의 밝기 성분 값을 증가 또는 감소하는 조절을 행할 수 있으며(S1300), 구체적인 밝기 조절 방법은 하기의 도 3의 일 실시예를 통하여 설명하도록 한다.

YCbCr 색공간으로 구성되는 밝기가 조절된 영상을 HSV 색공간 영상으로 변환할 수 있다(S1400).

RGB색공간으로 구성되는 원본 영상을 HSV 색공간으로 변환할 수 있다(S1500).

밝기가 조절된 영상에서 도출한 보상변수를 이용하여 원본 영상의 색 포화도를 보상할 수 있으며(S1600), 구체적인 색 포화도 보상 방법은 하기의 도 4의 일 실시예를 통하여 설명하도록 한다.

색 포화도가 보상된 원본 영상은 HSV 색공간으로 구성되어 있으므로 영상을 출력하기 위하여 RGB 색공간으로 변환할 수 있다(S1700).

색 포화도의 감소 문제가 해결된 RGB 색공간으로 변환된 HDR 영상을 영상 출력 장치를 통해 외부로 출력할 수 있다(S1800).

도 3은 본 발명의 일 실시 예에 따른 영상의 밝기 조절 방법을 설명하기 위한 흐름도이다. 특히, 도 3은 상기 S1300단계인 영상의 밝기를 조절하는 단계를 구체화하여 설명하는 도면이다.

S1210 단계에서는, 상기 S1200 단계에서 YCbCr로 색변환을 수행한 입력영상에 대하여 밝기 성분 값(Y채널)에 대한 히스토그램을 생성할 수 있다. 생성된 히스토그램을 분석하여 영상의 밝기 성분 값을 기준으로 밝은 영역과 어두운 영역에 해당하는 히스토그램 수를 각각 계산할 수 있다.

밝은 영역(Hi)과 어두운 영역(Lo)의 히스토그램 수를 계산하는 방법은 상기 수학식 1에 구체적으로 개시되어 있으며, 밝은 영역과 어두운 영역의 히스토그램 수를 이용하여 상기 표 1의 조건에 따라 과다 영역, 밝은 영역, 어두운 영역으로 분류할 수 있다.

S1230 단계에서는, 히스토그램 분석을 통해 분류한 정보(과다 영역, 밝은 영역, 어두운 영역)를 기반으로 상기의 수학식 2를 이용하여 어두운 영역과 과다영역의 어두운(dim) 영역을 개선할 수 있다.

S1220 단계에서는, 입력된 영상의 Y 채널에 대하여 블록 처리기반의 반전 커널(Inverse kernel)을 통해 반전계수를 계산할 수 있으며, 상기 반전 커널(Inverse kernel)은 2×2 크기의 최대 필터(Max filter)와 3×3 크기의 저역 통과 필터(Low pass filter)로 구성되며, 상기 반전커널의 필터링을 수행한 결과값에 대하여 반전과정(Inverse operation)을 통해 반전 계수를 계산할 수 있다.

최대 필터는 상기의 수학식 3으로 구성되어 입력 영상의 디테일을 살리는 효과를 가져오기 위해 사용되며, 저역 통과 필터는 상기의 수학식 4로 구성되어 최대 필터를 이용하는 동안 발생하는 재깅 결함(Jagging artifacts)을 제거하기 위해 사용될 수 있다.

S1240 단계에서는, 역변환 필터 영상과 어두운 영역의 밝기가 개선된 영상을 융합하는 단계로써 각 픽셀 별로 어두운 영역에 대한 밝기 향상을 거친 밝기값은 통과하고, 밝은 영상 부분에 대해서만 역변환 필터 적용부(330)을 거친 반전 계수와 결합하여 융합된 영상을 생성할 수 있다.

S1250 단계에서는, 입력 영상의 전체 영역 중 밝은 영역에 대해서만 밝기 향상(Bright enhancement)을 수행할 수 있으며, 밝기 향상은 상기의 수학식 5를 통해 이루어질 수 있다.

S1260 단계에서는, 자동 이득 조절(Auto gain control, AGC)을 이용하여 입력 영상 전 범위에 대하여 휘도 범위(Luminance range)를 확대할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 포화도를 보상하는 방법을 설명하기 위한 흐름도이다. 특히, 도 4는 상기 S1600단계인 영상의 색 포화도를 보상하는 단계를 구체화하여 설명하는 도면이다.

S1610 단계에서는, 상기 S1400 단계에서 HSV 색공간으로 변환한 원본 영상의 색 포화도 및 상기 S1500 단계에서 HSV 색공간 영상으로 변환된 밝기가 조절된 영상의 색 포화도를 저장할 수 있다.

S1620 단계에서는, 원본 영상의 색 포화도와 밝기가 조절된 영상의 색 포화도를 비교 분석할 수 있다.

S1630 단계에서는, 상기 S1620 단계에서 비교 분석한 데이터를 받아 색 포화도가 감소된 값을 고려하여 보상계수를 도출할 수 있으며, 보상 계수는 상기의 수학식 6을 이용하여 도출할 수 있다.

S1640 단계에서는, 상기 도출한 보상 계수를 이용하여 원본 영상의 감소한 색 포화도를 보상하여 적용할 수 있다.

도 5 내지 6은 본 발명의 HDR 영상 처리 방법에 대한 성능을 비교하는 도면이다.

도 5는 종래 기술 중 세가지 형태의 영상에 대하여 HDR 처리된 영상과 본 발명의 일 실시예에 의해 HDR 처리된 영상의 비교 도면이다.

도 5의 (a) 는 영상 처리 결과를 비교하기 위하여 입력 영상으로 사용된 3가지 형태의 원본 영상 이미지이다.

도 5의 (b)는 는 CLAHE 방법을 이용하여 처리된 결과 이미지로서, (a)에 비하여 대비(contrast)가 향상되었으나, 색 포화도가 옅어지는 현상을 확인할 수 있다.

도 5의 (c)는 ILP 방법을 이용하여 처리된 결과 이미지로서, 원본 영상과 동일 영역에서 전반적으로 색 포화도의 변화가 없음을 확인할 수 있다.

도 5의 (d)는 본 발명을 이용하여 처리된 결과 이미지로서, 본 발명의 일 실시예에 의해 처리된 HDR 영상 처리 방법에 의하면 밝기 변화에 따라 적응적으로 색 포화도를 보상함으로써 어두운 영역에서 색 포화도의 향상이 일어나고 있음을 확인할 수 있다.

도 6은 본 발명의 성능을 평가하기 위하여 색 포화도 향상 결과를 확인하기 위하여 시각차 예측변수 (Visual Difference Predictor, VDP) 지표를 사용하여 비교를 수행한 도면이다.

VDP는 R. Mantiuk, K. Myszkowski, and H. Seidel의 논문(Visual difference predictor for HDR images, Proc. of IEEE International Conference on Systems, Man and Cybernetics, Hague, Netherlands, pp. 2763-2769, 2004.)에서 제시된 것으로써 두 영상 사이의 차이를 시각적으로 구별할 수 있는지 없는지를 예측할 수 있는 인지 기반의 계량(Perceptual metric)법이다.

도 6은 소녀의 영상에 대하여 ILP 방법과 본 발명의 일 실시예에 의한 영상 처리 결과에 대한 VDP 결과를 나타내고 있다. 도 6의 (a)는 ILP 방법을 이용한 영상 처리 결과의 VDP 이고, (b)는 본 발명의 일 실시예에 의해 처리된 결과의 VDP를 나타내고 있다.

도 6의 (a)에 비하여 (b)에 색 포화도가 많이 변화된 영역인 붉은 색 영역이 많이 포함되어 있는 것을 확인할 수 있으며, 특히 좌측의 밝은 영역에 비하여 우측의 어두운 영역의 색 포화도 차이가 많이 개선되었음을 확인할 수 있다.

본 발명은 색 포화도가 보상된 HDR 영상화 방법을 제안하는 것으로써 기존의 지역 반전 패턴에 의한 HDR 방법에 추가적으로 밝기 변화에 따라 적응적으로 색 포화도를 보상함으로써 어두운 영역과 밝은 영역에서 색 포화도가 옅어지는 문제를 해결할 수 있다.

상술한 실시 예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다.

따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. 또한, 이상에서 실시 예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 영상 입력부
200 : 제1 색공간 변환부
300 : 밝기 조정부
400 : 제2 색공간 변환부
500 : 포화도 보상부
600 : 제3 색공간 변환부
700 : 영상 출력부

Claims

HDR(High Dynamic Range) 영상을 생성하는 장치에 있어서,
입력 영상을 YCbCr 색공간으로 변환된 제1 변환영상을 생성하는 제1 색공간 변환부;
상기 제1 변환영상의 밝기를 조절하는 밝기 조절부;
상기 제1 변환영상 및 상기 입력 영상을 HSV 색공간으로 변환하는 제2 색공간 변환부;
상기 원본 영상의 색 포화도를 보상하는 포화도 보상부; 및
상기 포화도가 보상된 상기 입력 영상을 RGB 색공간으로 변환하는 제3 색공간 변환부;
를 포함하는 HDR 영상 생성 장치.
제1항에 있어서,
상기 밝기 조절부는,
상기 제1 변환영상의 히스토그램을 생성 및 분석하는 히스토그램 분석부;
상기 히스토그램 분석 결과를 기반으로 어두운 영역을 개선하는 어두운 영역 향상부;
상기 제1 변환영상에 대하여 역변환 필터를 적용하는 역변환 필터 적용부;
상기 어두운 영역 향상부에서 밝기를 개선한 밝기값과 상기 역변환 필터적용부의 결과 영상을 융합하는 영상 융합부; 및
상기 영상 융합부에서 출력된 영상의 밝기를 조절하는 밝기 개선부;
를 포함하는 HDR 영상 생성 장치.
제2항에 있어서,
상기 밝기 개선부는,
밝은 영역에 한하여 밝기 대비를 조절하는 밝은 영역 향상부; 및
자동 이득 조절 방법(Auto gain control)을 이용하여 상기 파라미터가 조절된 영상의 전역역에 대하여 휘도 범위를 확대하는 밝기 이득 조정부;
를 포함하는 HDR 영상 생성 장치.
제2항에 있어서,
상기 역변환 필터 적용부는 어두운 영역 향상을 거치게 되는 동시에 상기 입력 영상을 Y 채널에서 블록 처리기반의 반전 커널을 통해 반전계수를 계산하며, 상기 반전 커널은 최대 필터(Max filter)와 저역 통과 필터(Low pass filter)를 수행한 뒤에 반전시키는 것을 특징으로 하는 HDR 영상 생성 장치.
제1항에 있어서,
상기 포화도 보상부는,
상기 원본영상의 색포화도를 저장하는 색포화도 저장부;
상기 제3 변환영상과 상기 원본영상의 밝기 영역을 비교 분석하는 밝기 향상 분석부;
상기 밝기 향상 분석부의 비교분석 결과에 따라 상기 원본영상의 색 포화도 보상계수를 도출하는 보상 계수 도출부; 및
상기 도출된 보상계수를 이용하여 상기 원본영상의 색포화도를 보상하여 적용하는 색포화도 적용부;
를 포함하는 HDR 영상 생성 장치.
HDR(High Dynamic Range) 영상을 생성하는 방법에 있어서,
입력영상을 YCbCr 색공간으로 변환한 제1 변환영상을 생성하는 단계;
상기 제1 변환영상의 밝기를 제어하는 단계;
상기 제1 변환영상 HVS 색공간으로 변환한 제2 변환영상 및 입력영상을 HVS 색공간으로 변환한 제3 변환영상을 생성하는 단계;
상기 제2 변환영상 및 제3 변환영상의 포화도를 비교하여 상기 제3 변환영상의 포화도를 보상하는 단계; 및
포화도가 보상된 상기 제3 변환영상을 RGB 색공간으로 변환하는 단계;
를 포함하는 HDR 영상 생성 방법.
제6항에 있어서,
상기 제1 변환영상의 밝기를 제어하는 단계는,
상기 제1 변환영상의 히스토그램을 생성 및 분석하는 단계;
상기 히스토그램 분석을 통해 결정된 어두운 영역을 개선하는 단계;
상기 제1 변환영상에 대하여 역변환 필터를 적용하는 단계;
상기 어두운 영역을 개선한 밝기값과 상기 역변환 필터를 적용한 영상의 융합영상을 생성하는 단계; 및
상기 융합영상의 밝기를 조절하는 단계;
를 포함하는 HDR 영상 생성 방법.
제7항에 있어서,
상기 밝기를 조절하는 단계는,
밝은 영역에 한하여 밝기 대비를 조절하는 단계; 및
자동 이득 조절 방법(Auto gain control)을 이용하여 상기 파라미터가 조절된 영상의 전역역에 대하여 휘도 범위를 확대하는 단계;
를 포함하는 HDR 영상 생성 방법.
제7항에 있어서,
상기 역변환 필터는 어두운 영역 향상을 거치게 되는 동시에 상기 입력 영상을 Y 채널에서 블록 처리기반의 반전 커널을 통해 반전계수를 계산하며,
상기 반전 커널은 최대 필터(Max filter)와 저역 통과 필터(Low pass filter)를 수행한 뒤에 반전시키는 것을 특징으로 하는 HDR 영상 생성 방법.
제6항에 있어서,
상기 포화도를 보상하는 단계는,
상기 원본영상의 색포화도를 저장하는 단계;
상기 제3 변환영상과 상기 원본영상의 밝기 영역을 비교 분석하는 단계;
상기 비교분석 결과를 이용하여 상기 원본영상의 밝기 변화에 따라 색 포화도 보상계수를 도출하는 단계; 및
상기 도출된 보상계수를 이용하여 상기 원본영상의 색포화도를 보상하여 적용하는 단계;
를 포함하는 HDR 영상 생성 방법.