KR20170131813A

KR20170131813A - 영상 처리 장치 및 방법

Info

Publication number: KR20170131813A
Application number: KR1020160083512A
Authority: KR
Inventors: 송효섭; 황정미; 정철곤; 커펑; 최옥
Original assignee: 삼성에스디에스 주식회사; 서안 유니버시티
Priority date: 2016-05-19
Filing date: 2016-07-01
Publication date: 2017-11-30
Also published as: CN107404600B; CN107404600A; KR102482225B1

Abstract

영상 처리 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 방법은, 영상을 복수 개의 블록으로 분할하고, 분할된 각 블록 별 픽셀 값에 대한 히스토그램(histogram)을 생성하는 단계; 상기 히스토그램으로부터 상기 각 블록 별 클립 포인트(clip point)를 계산하고, 이로부터 상기 각 블록 별 히스토그램을 재분배하는 단계; 재분배된 상기 히스토그램으로부터 상기 각 블록의 맵핑 함수를 생성하고, 상기 각 블록의 픽셀 값을 재계산하는 단계; 및 픽셀 값이 재계산된 상기 영상에 대한 이중 감마 보정을 수행하는 단계를 포함한다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}

본 발명의 실시예들은 영상 처리 기술과 관련된다.

디지털 영상은 응용분야에 따라 화질 개선의 필요가 발생한다. 특히 어두운 영역과 밝은 영역이 혼재되어 있는 저조도 영상의 경우 시각적으로 정보를 얻기 어려운 부분이 발생할 수 있다. 이에 따라 영상의 대비를 향상시켜 화질을 개선하기 위한 다양한 방법들이 연구되었다.

그러나 종래의 영상 처리 방법들은 특히 밝은 영역이 포함된 저조도 영상의 경우 과잉 개선(over enhancement), 후광 잔상(halo artifact), 색조 왜곡(tone distortion) 등이 나타나는 문제가 있었다.

대한민국 공개특허공보 제10-2014-0008980호 (2014. 01. 22.)

본 발명의 실시예들은 영상의 색조를 유지하면서 영상의 대비(contrast)를 효과적으로 개선하기 위한 처리 수단을 제공하기 위한 것이다.

본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 영상을 복수 개의 블록으로 분할하고, 분할된 각 블록 별 픽셀 값에 대한 히스토그램(histogram)을 생성하는 단계; 상기 히스토그램으로부터 상기 각 블록 별 클립 포인트(clip point)를 계산하고, 이로부터 상기 각 블록 별 히스토그램을 재분배하는 단계; 재분배된 상기 히스토그램으로부터 상기 각 블록의 맵핑 함수를 생성하고, 상기 각 블록의 픽셀 값을 재계산하는 단계; 및 픽셀 값이 재계산된 상기 영상에 대한 이중 감마 보정을 수행하는 단계를 포함하는, 방법이 제공된다.

상기 각 블록 별 클립 포인트는, 각 블록에 포함된 픽셀 값의 평균값 및 평균 제곱오차(mean square error)를 고려하여 계산될 수 있다.

상기 클립 포인트는 다음의 수학식에 의하여 계산될 수 있다.

(이때, β는 블록의 클립 포인트, M은 블록의 픽셀 개수, N은 블록 내 픽셀들의 밝기 표현 범위(dynamic range), p 및 α는 각각 가중치 조정 파라미터, l_max는 블록의 픽셀 값 중 최대값, R은 상기 영상의 밝기 표현 가능 범위(full dynamic range), Avg는 블록의 픽셀 값의 평균값, σ는 블록의 픽셀 값의 평균 제곱 오차(mean square error))

상기 이중 감마 보정을 수행하는 단계는, 제1 감마 보정 계수(γ₁)에 기반하여 상기 각 블록 내 전체 영역의 픽셀 값을 보정하는 제1 감마 보정 단계; 및 제2 감마 보정 계수(γ₂)에 기반하여 상기 각 블록 내 영역 중 밝기 레벨이 기 설정된 기준값 이하인 영역의 픽셀 값을 보정하는 제2 감마 보정 단계를 포함할 수 있다.

상기 제1 감마 보정 단계는, 각 블록의 최대 픽셀 값, 영상의 최대 픽셀 값, 및 영상의 평균 픽셀 값으로부터 각 블록의 보정된 최대 픽셀 값을 계산하는 단계; 및 상기 각 블록의 보정된 최대 픽셀 값을 상기 각 블록의 맵핑 함수에 적용하는 단계를 포함할 수 있다.

상기 각 블록의 보정된 최대 픽셀 값은, 다음의 수학식 에 의하여 계산될 수 있다.

(이때, l_max는 보정전 블록의 최대 픽셀 값, l'_max는 보정후 블록의 최대 픽셀 값, L_max는 영상의 최대 픽셀 값, L_avg는 영상의 평균 픽셀 값, γ₁은 제1 감마 보정 계수)

상기 제2 감마 보정 단계는, 다음의 수학식을 이용하여 수행될 수 있다.

(이때, L_max는 영상의 최대 픽셀 값, T(l)은 1차 맵핑 함수, T'(l)은 2차 맵핑 함수, l은 각 픽셀의 픽셀 값, D_threshold는 문턱값, γ₂는 제2 감마 보정 계수)

다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 영상을 복수 개의 블록으로 분할하고, 분할된 각 블록 별 픽셀 값에 대한 히스토그램(histogram)을 생성하기 위한 명령; 상기 히스토그램으로부터 상기 각 블록 별 클립 포인트(clip point)를 계산하고, 이로부터 상기 각 블록 별 히스토그램을 재분배하기 위한 명령; 재분배된 상기 히스토그램으로부터 상기 각 블록의 맵핑 함수를 생성하고, 상기 각 블록의 픽셀 값을 재계산하기 위한 명령; 및 픽셀 값이 재계산된 상기 영상에 대한 이중 감마 보정을 수행하기 위한 명령을 포함하는, 컴퓨팅 장치가 제공된다.

상기 이중 감마 보정을 수행하기 위한 명령은, 제1 감마 보정 계수(γ₁)에 기반하여 상기 각 블록 내 전체 영역의 픽셀 값을 보정하는 제1 감마 보정을 수행하기 위한 명령; 및 제2 감마 보정 계수(γ₂)에 기반하여 상기 각 블록 내 영역 중 밝기 레벨이 기 설정된 기준값 이하인 영역의 픽셀 값을 보정하는 제2 감마 보정 을 수행하기 위한 명령을 포함할 수 있다.

상기 제1 감마 보정을 수행하기 위한 명령은, 각 블록의 최대 픽셀 값, 영상의 최대 픽셀 값, 및 영상의 평균 픽셀 값으로부터 각 블록의 보정된 최대 픽셀 값을 계산하기 위한 명령; 및 상기 각 블록의 보정된 최대 픽셀 값을 상기 각 블록의 맵핑 함수에 적용하기 위한 명령을 포함할 수 있다.

상기 각 블록의 보정된 최대 픽셀 값은, 다음의 수학식에 의하여 계산될 수 있다.

상기 제2 감마 보정을 수행하기 위한 명령은, 다음의 수학식을 이용하여 수행될 수 있다.

다른 예시적인 실시예에 따르면, 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 영상을 복수 개의 블록으로 분할하고, 분할된 각 블록 별 픽셀 값에 대한 히스토그램(histogram)을 생성하고; 상기 히스토그램으로부터 상기 각 블록 별 클립 포인트(clip point)를 계산하고, 이로부터 상기 각 블록 별 히스토그램을 재분배하고; 재분배된 상기 히스토그램으로부터 상기 각 블록의 맵핑 함수를 생성하고, 상기 각 블록의 픽셀 값을 재계산하고; 그리고 픽셀 값이 재계산된 상기 영상에 대한 이중 감마 보정을 수행하도록 하는, 컴퓨터 프로그램이 제공된다.

상기 컴퓨터 프로그램은, 상기 이중 감마 보정을 수행하기 위하여, 상기 컴퓨팅 장치로 하여금, 제1 감마 보정 계수(γ₁)에 기반하여 상기 각 블록 내 전체 영역의 픽셀 값을 보정하는 제1 감마 보정 단계를 수행하고; 그리고 제2 감마 보정 계수(γ₂)에 기반하여 상기 각 블록 내 영역 중 밝기 레벨이 기 설정된 기준값 이하인 영역의 픽셀 값을 보정하는 제2 감마 보정 단계를 수행하도록 할 수 있다.

상기 컴퓨터 프로그램은, 상기 제1 감마 보정 단계를 수행하기 위하여, 상기 컴퓨팅 장치로 하여금, 각 블록의 최대 픽셀 값, 영상의 최대 픽셀 값, 및 영상의 평균 픽셀 값으로부터 각 블록의 보정된 최대 픽셀 값을 계산하고; 그리고 상기 각 블록의 보정된 최대 픽셀 값을 상기 각 블록의 맵핑 함수에 적용하도록 할 수 있다.

상기 제2 감마 보정 단계는, 다음의 수학식에 의하여 수행될 수 있다.

본 발명의 실시예들에 따르면, 영상의 특성을 고려하여 자동으로 적절한 클립 포인트(clip point)를 설정하고, 듀얼 감마 보정(dual gamma correction)을 적용함으로써, 영상의 전체적인 색조를 유지하면서 영상의 내용에 기반하여 영상의 대비를 효과적으로 개선할 수 있다.

도 1는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도
도 3은 본 발명의 일 실시예에 따른 히스토그램 재분배 과정을 설명하기 위한 예시도
도 4는 본 발명의 일 실시예에 따른 각 블록의 맵핑 함수에 대한 보간을 설명하기 위한 예시도
도 5는 본 발명의 일 실시예에 따른 이중 감마 보정 과정을 나타내기 위한 예시도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안된다.

도 1는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예에 따른 영상 처리를 수행하기 위한 장치일 수 있다.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.

도 2는 본 발명의 일 실시예에 따른 영상 처리 방법(200)을 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 방법(200)은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에서 수행될 수 있다. 이를 위하여, 상기 영상 처리 방법(200)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.

또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

단계 202에서, 컴퓨팅 장치(12)는 처리 대상 영상을 복수 개의 블록으로 분할한다. 개시되는 실시예들에서, 상기 처리 대상 영상은 스캐너, 디지털 카메라, 캠코더, CCTV 등 다양한 영상 처리 수단을 이용하여 획득된 디지털 이미지(digital image)를 의미한다. 본 단계에서, 컴퓨팅 장치(12)는 입력된 처리 대상 영상을 각각 동일한 크기(예를 들어 8픽셀 * 8픽셀)를 가지는 직사각형 블록으로 분할할 수 있다. 이때 각 블록의 크기는 처리 대상 영상의 특성 등을 고려하여 적절히 결정될 수 있으며, 본 발명의 실시예들은 특정한 사이즈의 블록에 제한되는 것은 아니다. 본 발명의 실시예에서 영상을 동일한 크기의 블록으로 분할하는 이유는 영상 처리 과정에서 각 블록 별 픽셀 값들의 특성을 활용하기 위한 것이다.

단계 204에서, 컴퓨팅 장치(12)는 분할된 각 블록 별 픽셀 값에 대한 히스토그램(histogram)을 생성한다. 히스토그램은 블록 내부에 존재하는 픽셀 값의 분포로서, 픽셀 값의 빈도에 대한 확률 밀도 함수(probability density function; pdf)로 표현된다. 본 발명의 실시예들에서, 상기 픽셀 값은 각 픽셀의 휘도(brightness)일 수 있다. 예를 들어 각 픽셀의 픽셀 값을 8비트로 표현할 경우, 각 픽셀들은 0에서 255 사이의 픽셀 값을 가질 수 있다.

단계 206에서, 컴퓨팅 장치(12)는 상기 히스토그램으로부터 상기 각 블록 별 클립 포인트(clip point)를 계산한다.

단계 204에서 분할된 블록들은 픽셀 값들이 비교적 균일하게 분포되어 있는 블록과, 다양한 픽셀 값들이 분포되어 있는 블록으로 분류할 수 있다. 또한 픽셀 값들이 균일하게 분포되어 있는 블록은 픽셀 값이 작은, 즉 어두운 색조의 픽셀들이 모여있는 블록과 픽셀 값이 큰, 다시 말해 밝은 색조의 픽셀들이 모여있는 블록으로 다시 분류 가능하다.

만약 이와 같은 각 블록의 특성을 고려하지 않고, 동일한 기준으로 블록들의 밝기를 조절할 경우, 밝은 픽셀이 모여있는 블록에서는 과잉 개선(over enhancement)이 발생할 뿐만 아니라, 전체적으로 색조 왜곡이 발생하게 된다. 이러한 색조 왜곡과 과잉 개선을 방지하기 위해 본 발명의 실시예들에서는 각 블록 별 특성을 고려하여 히스토그램 재배포를 위한 클립 포인트(clip point) β를 산출하게 된다.

일 실시예에서, 상기 클립 포인트는 각 블록에 포함된 픽셀 값의 평균값 및 평균 제곱오차(mean square error)를 고려하여 계산될 수 있다. 다시 말해 블록의 밝기 표현 범위(dynamic range)가 클수록 클립 포인트 값도 커지게 된다. 구체적으로 상기 클립 포인트는 다음의 수학식 1을 이용하여 계산될 수 있다.

[수학식 1]

이때, β는 해당 블록의 클립 포인트, M은 해당 블록의 픽셀 개수, N은 상기 해당 블록 내 픽셀들의 밝기 표현 범위(dynamic range), p 및 α는 각각 가중치 조정 파라미터, l_max는 상기 해당 블록의 픽셀 값 중 최대값, R은 상기 영상의 밝기 표현 가능 범위(full dynamic range), Avg는 상기 해당 블록의 픽셀 값의 평균값, σ는 상기 특정 블록의 픽셀 값의 평균 제곱 오차(mean square error)를 각각 나타낸다. 만약 각 픽셀의 휘도를 8비트로 나타낼 경우 R 값은 2⁸ = 256이 된다.

위 수학식 1에서 알 수 있는 바와 같이, 본 발명의 실시예에서 클립 포인트는 σ/Avg 값에 따라 달라지게 된다. σ/Avg 값이 크다는 것은 그만큼 해당 블록 내 픽셀들이 균일하지 않고 질감(texture)가 존재한다(more textual)는 의미이므로, 블록의 질감을 표현하기 위하여 클립 포인트 값 또한 그에 맞추어 증가하여야 하기 때문이다. 반대로 σ/Avg 값이 작을 경우에는 해당 블록 내 픽셀들의 밝기가 균일한 경우이므로 클립 포인트 값 또한 그에 맞추어 감소하게 된다. 즉, 본 발명의 실시예에서 각 블록의 클립 포인트는 각 블록의 특성에 따라 적응적으로 결정되는 바, 동일한 클립 포인트를 일괄적으로 적용할 경우와 비교하여 과잉 개선 및 색조 왜곡의 발생을 방지할 수 있게 된다.

각 블록별 클립 포인트가 계산되면, 다음으로 단계 208에서 컴퓨팅 장치(12)는 계산된 상기 각 블록 별 클립 포인트를 이용하여, 상기 각 블록 별 히스토그램을 재분배한다. 구체적으로, 본 단계에서 컴퓨팅 장치는 히스토그램에서 클립 포인트를 초과하는 부분을 히스토그램의 전 영역에 고르게 분배하게 된다.

도 3은 본 발명의 일 실시예에 따른 영상 처리 방법(200)에서 히스토그램 재분배 과정을 설명하기 위한 예시도이다. 구체적으로 도 3의 (a)는 재분배 전의 히스토그램을 (b)는 재분배 후의 히스토그램을 각각 나타낸다. 도 3의 (a)에서 클립 포인트를 초과하는 부분(빗금으로 표시)이 도 3의 (b)의 하단 영역으로 균일하게 재분배된 것을 알 수 있다. 즉, 도 3의 (a)와 (b)의 빗금 영역의 크기는 서로 같다.

다음으로, 단계 210에서 컴퓨팅 장치(12)는 재분배된 상기 히스토그램으로부터 상기 각 블록의 맵핑 함수를 생성하고, 상기 각 블록의 픽셀 값을 재계산한다.

먼저, 각 블록의 맵핑 함수는 다음의 수학식 2와 같이 얻어질 수 있다.

[수학식 2]

(이때, T(l)은 각 블록의 맵핑 함수), l은 각 픽셀의 픽셀 값, l_max는 각 블록의 픽셀 값의 최대값)

상기 각 블록의 맵핑 함수는 블록 단위로 재배포된 히스토그램의 누적분포함수(Cumulative Distribution Function, CDF)를 기반으로 얻어지는 바, 각 블록의 경계에서 왜곡 현상(block artifact)을 유발할 수 있다. 이를 방지하기 위해, 컴퓨팅 장치(12)는 영상의 각 픽셀 별로 인접한 4개의 블록을 이용하여 상기 맵핑 함수를 보간(interpolation)한다.

구체적으로, 컴퓨팅 장치(12)는 각 픽셀 별로 인접한 4개의 블록을 이용한 이중 선형 보간(bilinear interpolation)을 통하여 상기 맵핑 함수를 보간할 수 있다.

도 4는 본 발명의 일 실시예에 따른 각 블록의 맵핑 함수에 대한 보간을 설명하기 위한 예시도이다. 도시된 바와 같이, 픽셀 p와 가장 인접한 4개의 블록의 중앙 픽셀을 각각 a, b, c, d이라 할 때, p의 맵핑 함수는 다음의 수학식 3과 같이 보간될 수 있다.

[수학식 3]

(이때, p(i)는 p의 픽셀 값, T는 맵핑 함수, T_a, T_b, T_c, T_d는 각각 픽셀 a, b, c, d가 속한 블록의 맵핑 함수, (x_a, y_a), (x_b, y_b), (x_c, y_c), (x_d, y_d), (x_p, y_p)는 각각 a, b, c, d, p의 좌표)

이후, 컴퓨팅 장치(12)는 보간된 맵핑 함수를 이용하여 각 픽셀의 픽셀 값을 재계산한다.

단계 212에서, 컴퓨팅 장치(12)는 픽셀 값이 재계산된 상기 영상에 대한 감마 보정을 수행한다. 카메라 센서는 사람의 시각 구조에 비교하여 더 적은 색 표현 범위를 가진다. 사람의 눈을 통해 잘 구분되는 어두운 물체도 카메라를 통해 촬영된 영상에서는 구분이 잘 되지 않는 경우가 있다. 따라서, 이 경우 어두운 영역을 보정하기 위한 방법으로서 일반적으로 감마 보정(Gamma Correction)이 사용된다. 그러나, 종래의 감마 보정의 경우 영상의 밝기가 증가할수록 콘트라스트 왜곡이 발생되는 문제가 있다. 이에 따라, 본 발명의 실시예에서 컴퓨팅 장치(12)는 이중 감마 보정(Dual Gamma Correction)을 통해 영상의 화질을 개선하도록 구성된다. 구체적으로, 본 단계에서 컴퓨팅 장치(12)는 제1 감마 보정을 통해 전체 블록의 밝기를 개선시킨 후, 제2 감마 보정을 통해 영상의 어두운 영역을 개선하도록 구성된다.

상기 제1 감마 보정 단계에서, 컴퓨팅 장치(12)는 먼저 각 블록의 최대 픽셀 값, 영상의 최대 픽셀 값, 및 영상의 평균 픽셀 값으로부터 각 블록의 보정된 최대 픽셀 값을 계산하게 된다. 이를 수식으로 표현하면 아래의 수학식 4와 같다.

[수학식 4]

이때, l_max는 보정전 블록의 최대 픽셀 값, l'_max는 보정후 블록의 최대 픽셀 값, L_max는 전체 영상의 최대 픽셀 값, L_avg는 전체 영상의 평균 픽셀 값, γ₁은 제1 감마 보정 계수이다.

이후, 컴퓨팅 장치(12)는 각 블록의 보정된 최대 픽셀 값(l'_max)을 상기 각 블록의 맵핑 함수에 적용한다. 구체적으로, 수학식 2의 맵핑 함수에서 l_max 값을 l'_max 값으로 대체함으로써 1차 맵핑 함수를 생성하고, 이를 이용하여 각 블록의 밝기 표현 범위(dynamic range)를 조절하게 된다. 이와 같이 구성됨으로써, 컴퓨팅 장치(12)는 영상의 색조 왜곡(tone distortion) 및 과잉 개성(over enhancement)를 방지하면서 영상의 밝기를 개선할 수 있다.

다음으로 제2 감마 보정 단계에서, 컴퓨팅 장치(12)는 픽셀 값이 문턱값 이하인 픽셀의 밝기를 추가적으로 보정한다. 이를 수학식으로 표현하면 다음의 수학식 5와 같다.

[수학식 5]

이때, L_max는 영상의 최대 픽셀 값, T(l)은 제1 감마 보정 과정에서 얻어진 1차 맵핑 함수, T'(l)은 2차 맵핑 함수, l은 각 픽셀의 픽셀 값, D_threshold는 문턱값, γ₂는 제2 감마 보정 계수이다.

제1 감마 보정 계수 및 제2 감마 보정 계수는 영상의 특성 및 영상 처리의 목적 등을 고려하여 적절히 정해질 수 있다.

도 5는 본 발명의 일 실시예에 따른 이중 감마 보정 과정을 나타내기 위한 예시도이다. 구체적으로, 도 5의 (a)에 도시된 그래프에서 X축은 입력 픽셀 값, Y축은 출력 픽셀 값, 점선은 제1 감마 보정 계수에 따른 맵핑 커브를, 일점쇄선은 제2 감마 보정 계수에 따른 맵핑 커브를, 실선은 제1 감마 보정을 거친 후의 맵핑 함수를 각각 나타낸다. 또한, 도 5의 (b)는 제2 감마 보정을 거친 후의 맵핑 함수이다. 도시된 바와 같이, 제2 감마 보정을 통하여 어두운 영역의 밝기가 개선되었음을 알 수 있다(도 5의 (a)에서 화살표로 표시).

한편, 본 발명의 실시예들은 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스

Claims

하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
영상을 복수 개의 블록으로 분할하고, 분할된 각 블록 별 픽셀 값에 대한 히스토그램(histogram)을 생성하는 단계;
상기 히스토그램으로부터 상기 각 블록 별 클립 포인트(clip point)를 계산하고, 이로부터 상기 각 블록 별 히스토그램을 재분배하는 단계;
재분배된 상기 히스토그램으로부터 상기 각 블록의 맵핑 함수를 생성하고, 상기 각 블록의 픽셀 값을 재계산하는 단계; 및
픽셀 값이 재계산된 상기 영상에 대한 이중 감마 보정을 수행하는 단계를 포함하는, 방법.
청구항 1에 있어서,
상기 각 블록 별 클립 포인트는, 각 블록에 포함된 픽셀 값의 평균값 및 평균 제곱오차(mean square error)를 고려하여 계산되는, 방법.
청구항 2에 있어서,
상기 클립 포인트는 다음의 수학식

(이때, β는 블록의 클립 포인트, M은 블록의 픽셀 개수, N은 블록 내 픽셀들의 밝기 표현 범위(dynamic range), p 및 α는 각각 가중치 조정 파라미터, l_max는 블록의 픽셀 값 중 최대값, R은 상기 영상의 밝기 표현 가능 범위(full dynamic range), Avg는 블록의 픽셀 값의 평균값, σ는 블록의 픽셀 값의 평균 제곱 오차(mean square error))
에 의하여 계산되는, 방법.
청구항 1에 있어서,
상기 이중 감마 보정을 수행하는 단계는,
제1 감마 보정 계수(γ₁)에 기반하여 상기 각 블록 내 전체 영역의 픽셀 값을 보정하는 제1 감마 보정 단계; 및
제2 감마 보정 계수(γ₂)에 기반하여 상기 각 블록 내 영역 중 밝기 레벨이 기 설정된 기준값 이하인 영역의 픽셀 값을 보정하는 제2 감마 보정 단계를 포함하는, 방법.
청구항 4에 있어서,
상기 제1 감마 보정 단계는,
각 블록의 최대 픽셀 값, 영상의 최대 픽셀 값, 및 영상의 평균 픽셀 값으로부터 각 블록의 보정된 최대 픽셀 값을 계산하는 단계; 및
상기 각 블록의 보정된 최대 픽셀 값을 상기 각 블록의 맵핑 함수에 적용하는 단계를 포함하는, 방법.
청구항 5에 있어서,
상기 각 블록의 보정된 최대 픽셀 값은, 다음의 수학식

(이때, l_max는 보정전 블록의 최대 픽셀 값, l'_max는 보정후 블록의 최대 픽셀 값, L_max는 영상의 최대 픽셀 값, L_avg는 영상의 평균 픽셀 값, γ₁은 제1 감마 보정 계수)
에 의하여 계산되는, 방법.
청구항 4에 있어서,
상기 제2 감마 보정 단계는, 다음의 수학식

(이때, L_max는 영상의 최대 픽셀 값, T(l)은 1차 맵핑 함수, T'(l)은 2차 맵핑 함수, l은 각 픽셀의 픽셀 값, D_threshold는 문턱값, γ₂는 제2 감마 보정 계수)
에 의하여 수행되는, 방법.
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
영상을 복수 개의 블록으로 분할하고, 분할된 각 블록 별 픽셀 값에 대한 히스토그램(histogram)을 생성하기 위한 명령;
상기 히스토그램으로부터 상기 각 블록 별 클립 포인트(clip point)를 계산하고, 이로부터 상기 각 블록 별 히스토그램을 재분배하기 위한 명령;
재분배된 상기 히스토그램으로부터 상기 각 블록의 맵핑 함수를 생성하고, 상기 각 블록의 픽셀 값을 재계산하기 위한 명령; 및
픽셀 값이 재계산된 상기 영상에 대한 이중 감마 보정을 수행하기 위한 명령을 포함하는, 컴퓨팅 장치.
청구항 8에 있어서,
상기 각 블록 별 클립 포인트는, 각 블록에 포함된 픽셀 값의 평균값 및 평균 제곱오차(mean square error)를 고려하여 계산되는, 컴퓨팅 장치.
청구항 9에 있어서,
상기 클립 포인트는 다음의 수학식

(이때, β는 블록의 클립 포인트, M은 블록의 픽셀 개수, N은 블록 내 픽셀들의 밝기 표현 범위(dynamic range), p 및 α는 각각 가중치 조정 파라미터, l_max는 블록의 픽셀 값 중 최대값, R은 상기 영상의 밝기 표현 가능 범위(full dynamic range), Avg는 블록의 픽셀 값의 평균값, σ는 블록의 픽셀 값의 평균 제곱 오차(mean square error))
에 의하여 계산되는, 컴퓨팅 장치.
청구항 8에 있어서,
상기 이중 감마 보정을 수행하기 위한 명령은,
제1 감마 보정 계수(γ₁)에 기반하여 상기 각 블록 내 전체 영역의 픽셀 값을 보정하는 제1 감마 보정을 수행하기 위한 명령; 및
제2 감마 보정 계수(γ₂)에 기반하여 상기 각 블록 내 영역 중 밝기 레벨이 기 설정된 기준값 이하인 영역의 픽셀 값을 보정하는 제2 감마 보정 을 수행하기 위한 명령을 포함하는, 컴퓨팅 장치.
청구항 11에 있어서,
상기 제1 감마 보정을 수행하기 위한 명령은,
각 블록의 최대 픽셀 값, 영상의 최대 픽셀 값, 및 영상의 평균 픽셀 값으로부터 각 블록의 보정된 최대 픽셀 값을 계산하기 위한 명령; 및
상기 각 블록의 보정된 최대 픽셀 값을 상기 각 블록의 맵핑 함수에 적용하기 위한 명령을 포함하는, 컴퓨팅 장치.
청구항 12에 있어서,
상기 각 블록의 보정된 최대 픽셀 값은, 다음의 수학식

(이때, l_max는 보정전 블록의 최대 픽셀 값, l'_max는 보정후 블록의 최대 픽셀 값, L_max는 영상의 최대 픽셀 값, L_avg는 영상의 평균 픽셀 값, γ₁은 제1 감마 보정 계수)
에 의하여 계산되는, 컴퓨팅 장치.
청구항 11에 있어서,
상기 제2 감마 보정을 수행하기 위한 명령은, 다음의 수학식

(이때, L_max는 영상의 최대 픽셀 값, T(l)은 1차 맵핑 함수, T'(l)은 2차 맵핑 함수, l은 각 픽셀의 픽셀 값, D_threshold는 문턱값, γ₂는 제2 감마 보정 계수)
에 의하여 수행되는, 컴퓨팅 장치.
비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
영상을 복수 개의 블록으로 분할하고, 분할된 각 블록 별 픽셀 값에 대한 히스토그램(histogram)을 생성하고;
상기 히스토그램으로부터 상기 각 블록 별 클립 포인트(clip point)를 계산하고, 이로부터 상기 각 블록 별 히스토그램을 재분배하고;
재분배된 상기 히스토그램으로부터 상기 각 블록의 맵핑 함수를 생성하고, 상기 각 블록의 픽셀 값을 재계산하고; 그리고
픽셀 값이 재계산된 상기 영상에 대한 이중 감마 보정을 수행하도록 하는, 컴퓨터 프로그램.
청구항 15에 있어서,
상기 각 블록 별 클립 포인트는, 각 블록에 포함된 픽셀 값의 평균값 및 평균 제곱오차(mean square error)를 고려하여 계산되는, 컴퓨터 프로그램.
청구항 16에 있어서,
상기 클립 포인트는 다음의 수학식

(이때, β는 블록의 클립 포인트, M은 블록의 픽셀 개수, N은 블록 내 픽셀들의 밝기 표현 범위(dynamic range), p 및 α는 각각 가중치 조정 파라미터, l_max는 블록의 픽셀 값 중 최대값, R은 상기 영상의 밝기 표현 가능 범위(full dynamic range), Avg는 블록의 픽셀 값의 평균값, σ는 블록의 픽셀 값의 평균 제곱 오차(mean square error))
에 의하여 계산되는, 컴퓨터 프로그램.
청구항 15에 있어서,
상기 컴퓨터 프로그램은, 상기 이중 감마 보정을 수행하기 위하여, 상기 컴퓨팅 장치로 하여금,
제1 감마 보정 계수(γ₁)에 기반하여 상기 각 블록 내 전체 영역의 픽셀 값을 보정하는 제1 감마 보정 단계를 수행하고; 그리고
제2 감마 보정 계수(γ₂)에 기반하여 상기 각 블록 내 영역 중 밝기 레벨이 기 설정된 기준값 이하인 영역의 픽셀 값을 보정하는 제2 감마 보정 단계를 수행하도록 하는, 컴퓨터 프로그램.
청구항 18에 있어서,
상기 컴퓨터 프로그램은, 상기 제1 감마 보정 단계를 수행하기 위하여, 상기 컴퓨팅 장치로 하여금,
각 블록의 최대 픽셀 값, 영상의 최대 픽셀 값, 및 영상의 평균 픽셀 값으로부터 각 블록의 보정된 최대 픽셀 값을 계산하고; 그리고
상기 각 블록의 보정된 최대 픽셀 값을 상기 각 블록의 맵핑 함수에 적용하도록 하는, 컴퓨터 프로그램.
청구항 19에 있어서,
상기 각 블록의 보정된 최대 픽셀 값은, 다음의 수학식

(이때, l_max는 보정전 블록의 최대 픽셀 값, l'_max는 보정후 블록의 최대 픽셀 값, L_max는 영상의 최대 픽셀 값, L_avg는 영상의 평균 픽셀 값, γ₁은 제1 감마 보정 계수)
에 의하여 계산되는, 컴퓨터 프로그램.
청구항 18에 있어서,
상기 제2 감마 보정 단계는, 다음의 수학식

(이때, L_max는 영상의 최대 픽셀 값, T(l)은 1차 맵핑 함수, T'(l)은 2차 맵핑 함수, l은 각 픽셀의 픽셀 값, D_threshold는 문턱값, γ₂는 제2 감마 보정 계수)
에 의하여 수행되는, 컴퓨터 프로그램.