KR20100039664A

KR20100039664A - 영역 특성을 고려한 영상 보정 장치 및 그 방법

Info

Publication number: KR20100039664A
Application number: KR1020080098723A
Authority: KR
Inventors: 김성대; 이근동; 김수정; 이황수
Original assignee: 한국과학기술원
Priority date: 2008-10-08
Filing date: 2008-10-08
Publication date: 2010-04-16
Also published as: US20100085361A1; KR100970883B1; US8300051B2

Abstract

본 발명은 영역 특성을 고려한 영상 보정 장치 및 그 방법에 관한 것으로서, 밝기 영역을 m개의 영역으로 나누어 각각 다르게 처리하되, 어두운 영역 안에서도 역광 등과 같이 외부 광원의 요소로 인해 어두워진 영역과, 물체 고유의 반사도가 낮아 원래의 밝기 및 색이 어두운 영역을 구분하여, 각각 다른 보정방법을 적용하도록하는 영상 보정 장치 및 그 방법을 제공함에 있다.

이러한 목적을 달성하기 위한 본 발명은, 감마 변환을 해제하여 R,G,B 각각을 선형화하는 역감마 변환부; 픽셀의 밝기를 m개의 영역으로 나누기 위해 m-1개의 경계값을 계산하는 경계값 계산부; 입력 영상을 다수의 블록(M×N)으로 분할하는 블록 분할부; 각 블록이 m 개의 밝기 영역 중, 어느 영역에 속하는지 여부를 판단하여 각 블록을 해당 밝기 영역으로 지정하는 블록 통계 계산부; 블록별 보정 룩업테이블을 생성하는 블록별 룩업테이블 생성부; 상기 블록별 룩업테이블 생성부를 통해 생성한 블록별 룩업테이블을 이용하여 영상을 보정하는 영상 보정부; 및 감마 변환을 수행하는 감마 변환부; 를 포함한다.

역광 보정, 영역특성 고려, 높은 동적 범위

Description

영역 특성을 고려한 영상 보정 장치 및 그 방법{THE APPARATUS FOR ENHANCING IMAGE CONSIDERING THE REGION CHARACTERISTIC AND METHOD THEREFOR}

본 발명은 영상 보정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 역광(Backlight) 상황에서 촬영된 영상과 같이, 밝기 레벨의 동적 범위(Dynamic Range)가 제한된 영상을 높은 동적 범위의 영상(High Dynamic Range Image)으로 보정하기 위한 장치 및 방법에 관한 것이다.

주지된 바와 같이, 동적 범위, 즉 다이내믹 레인지(dynamic range)란 영상에서 세부 관심영역이 식별 가능한 부분 중 가장 어두운 부분과 가장 밝은 부분의 밝기 차이를 의미한다. 예를 들어, 8bit로 표현된 흑백 영상의 경우, 어두운 영역이나 밝은 영역 모두 밝기 포화가 발생하지 않는다면, 이 영상의 다이내믹 레인지는 256:1 이 된다. 인간의 눈은 10000:1 이상의 다이내믹 레인지로 장면(scene)을 인지할 수 있다. 하지만, 이런 장면을 디지털 카메라로 촬영한다면, 불연속(discrete)한 밝기 레벨(주로 pixel의 한 컬러채널 당 8bit)로 양자화 하는 과정에서 모든 영역을 골고루 표현하지 못하고, 포화되어 정보를 잃어버리는 부분이 발생한다.

일례로, 역광 상황(Backlight Compensation)에서 영상을 촬영한다면, 노출부족(Underexposure)으로 피사체가 어둡게 나와 피사체의 세부 관심영역을 식별할 수 없다는 단점이 있고, 이를 개선하기 위해 노출을 증가시키면 피사체의 세부 관심영역은 식별 할 수 있으나, 배경 등 역광의 영향을 받지 않던 영역은 과다노출(Overexposure)로 인해 밝기포화 되어 배경의 세부 관심영역을 식별 할 수 없다.

이와 같은 문제점을 해결하기 위해 많은 방법들이 제안되어 왔다. 하드웨어 적인 방법으로는 한 번의 촬영으로 다중 노출시간의 이미지를 얻는 이미지 센서 등 의 방법이 있다. 다른 접근으로 기존 카메라를 이용하여 촬영하고 이것을 신호 처리적으로 해결하는 것에는, 기본적으로는 감마보정이나 히스토그램 등화(Histogram Equalization)와 같은 방법이 존재한다.

하지만, 감마보정의 경우 어두운 영역의 밝기분포를 확대 하여 이 부분의 세부 관심영역을 식별할 수 있지만, 하나의 룩업테이블(Look-up table:LUT)을 사용하므로 이를 위해서는 밝은 영역의 밝기 분포를 지나치게 압축할 수 밖에 없어 밝은 영역에서 정보가 손실되고, 색의 채도가 낮아지는 단점이 있다. 히스토그램 등화 방법도 마찬가지로 하나의 LUT을 사용하여 전체적으로 대비가 자연스럽지 못하고 색 왜곡이 심하다는 단점이 있다. 그 외에도 하나의 LUT을 사용하는 여러 가지 방법이 존재하지만, 어두운 영역의 확대를 위해서는 다른 영역의 지나친 압축이 불가피하여 지역적 대비(local contrast)를 고려하지 못하고, 픽셀의 밝기만이 보정될 값을 제어할 뿐, 픽셀의 위치에 따른 정보는 고려하지 않는다는 공통된 단점이 존재한다.

이러한 한계를 극복하기 위해 다수의 LUT를 사용하는 방법들이 제안되었다. 블록별로 히스토그램 등화를 하는 Adaptive Histogram Equalization가 간단한 일례이다. 이 방법은 지역적 대비(local contrast)를 고려하는 장점이 있지만, Block 내부의 밝기 레벨의 수가 많지 않아 이것을 등화하는 과정에서 Halo Effect 등이 발생하고 노이즈가 증폭된다는 단점이 있다. 이외에도 위치에 따라 다른 LUT을 적용하는 방법이 있지만, 물체의 반사도가 낮아 원래 색이 어두운 피사체가 밝은 영역 안 에 있는 경우 이것을 역광으로 인해 어두워진 피사체와 구별하지 못하여 정상적인 물체의 밝기 및 색 정보를 왜곡시키는 문제점이 있다. 이는 이들 방법이 픽셀 보정 시 주변의 정보를 참조하여 위치에 따라 다른 보정 특성을 갖는다고는 하지만, 참조하는 주변의 픽셀 정보가 연산량 때문에 제한적일 수 밖에 없기 때문이다. 역광으로 인해 어두워진 피사체와 물체 고유의 반사도 때문에 원래 어두운 피사체를 정확히 구별하기는 힘들지만, 나은 화질의 보정 영상을 획득하기 위해서는 같은 어두운 영역이라도 낮은 반사도와 역광 중 그 원인에 따라 다른 보정방법을 취해야 할 필요성이 있다.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 목적은 동적 범위가 제한된 영상을 높은 동적 범위의 영상으로 보정함에 있어서, 밝기 영역을 m개의 영역으로 나누어 각각 다르게 처리하되, 어두운 영역 안에서도 역광 등과 같이 외부 광원의 요소로 인해 어두워진 영역과, 물체 고유의 반사도가 낮아 원래의 밝기 및 색이 어두운 영역을 구분하여, 각각 다른 보정 방법을 적용하도록 하는 영상 보정 장치 및 그 방법을 제공함에 있다.

보다 구체적으로는, 밝은 영역은 보정을 최소화하고, 중간 밝기 영역은 약한 강도의 보정을, 어두운 영역 중 외부 광원의 요소로 어두워진 영역은 보정의 강도를 높게 하고, 물체의 원래 밝기 및 색이 어두운 영역은 보정의 강도를 작게 하도록 함에 그 목적이 있다.

본 발명은 영역 특성을 고려한 영상 보정 장치에 관한 것으로서, 이러한 기술적 과제를 달성하기 위하여, 감마 변환을 해제하여 R,G,B 각각을 선형화하는 역감마 변환부; 픽셀의 밝기를 m개의 영역으로 나누기 위해 m-1개의 경계값을 계산함으로써, 모든 픽셀에 대한 m개의 밝기 영역 중, 어느 하나의 영역으로 지정하는 경계값 계산부; 입력 영상을 다수의 블록(M×N)으로 분할하는 블록 분할부; 각 블록이 m 개의 밝기 영역 중, 어느 영역에 속하는지 여부를 판단하여 각 블록을 해당 밝기 영역으로 지정하는 블록 통계 계산부; 블록별 보정 룩업테이블을 생성하는 블 록별 룩업테이블 생성부; 상기 블록별 룩업테이블 생성부를 통해 생성한 블록별 룩업테이블을 이용하여 영상을 보정하는 영상 보정부; 및 감마 변환을 수행하는 감마 변환부; 를 포함하는 것을 특징으로 한다.

한편, 본 발명은 영역 특성을 고려한 영상 보정 방법에 관한 것으로서, (a) 역감마 변환부가 영상의 디스플레이를 위하여 적용된 감마 변환을 해제하여 R,G,B 각각을 선형화 하는 단계; (b) 경계값 계산부가 픽셀의 밝기를 m개의 영역으로 나누기 위해 m-1개의 경계값을 계산함으로써, 모든 픽셀에 대한 m개의 밝기 영역 중, 어느 하나의 영역으로 지정하는 단계; (c) 블록 분할부가 입력 영상을 가로 M개, 세로 N개의 블록으로 분할하는 단계; (d) 블록 통계 계산부가 블록의 통계적 특성을 나타낼 수 있는 블록 지표들을 계산하고, 각 블록이 m개의 밝기 영역 중, 어느 영역에 속하는지 여부를 판단하여 각 블록을 해당 밝기 영역으로 지정하는 단계; (e) 블록별 룩업테이블 생성부가 m개의 기본 룩업테이블(basis LUT)들을 밝기 영역 오버래핑과 블록 지표를 이용하여 각 블록의 룩업테이블(LUT)를 합성하여 1차적으로 블록별 룩업테이블(LUT)을 생성하고, 1차적인 블록별 룩업테이블과 주변 블록들의 룩업테이블(LUT)과의 평균 혹은 가중 평균을 구하여 최종 블록별 룩업테이블(LUT)을 생성하는 단계; (f) 영상 보정부가 상기 (e) 단계를 통해 생성한 블록별 룩업테이블(LUT)을 이용해 블록 내의 픽셀의 값을 보정하는 단계; 및 (g) 감마 변환부가 상기 역감마 변환부를 통해 해제했던 감마 변환을 다시 적용하는 단계; 를 포함한다.

상기와 같은 본 발명에 따르면, 세분화된 밝기 영역에서 다수의 룩업테이블(LUT)을 활용하고 영역별 특성을 고려하여 어두운 영역이나 밝은 영역에서의 밝기 값 포화 없이 영상의 모든 영역에서 피사체의 세부(detail)가 식별 가능한 영상으로 보정할 수 있는 효과가 있다.

또한 본 발명에 따르면, 역광(Backlight) 상황 등과 같이 노출 부족으로 어두워진 영역과 물체 자체의 낮은 반사도 때문에 어두운 영역을 구별하여 보정할 수 있으므로 다른 방법에 비해 화질을 향상 시킬 수 있으며, 룩업테이블(LUT) 합성 방법을 이용하여 아티팩트 없이 자연스러운 보정 영상을 얻을 수 있는 효과가 있다.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

본 발명에 따른 영역 특성을 고려한 영상 보정 장치 및 그 방법에 관하여 도 1 내지 도 10 을 참조하여 설명하면 다음과 같다.

도 1 은 본 발명에 따른 영역 특성을 고려한 영상 보정 장치(100)에 관한 전체 구성도로서, 도시된 바와 같이 역감마 변환부(110), 경계값 계산부(120), 블록 분할부(130), 블록 통계 계산부(140), 룩업테이블 생성부(150), 영상 보정부(160) 및 감마 변환부(170)를 포함하여 이루어진다.

구체적으로, 역감마 변환부(Inverse Gamma)(110)는 입력 영상의 디스플레이(display)를 위하여 적용된 감마 변환을 해제하여 R,G,B 각각을 선형화(linearized)하는 기능을 수행한다.

일반적으로 모니터의 비선형적인 디스플레이 특성으로 인해 r=0.45의 감마 변환을 하기 때문에, r=1/0.45 = 2.2 의 역감마 변환을 수행하여 선형화된 R,G,B 값을 얻는다. 하지만, 입력 영상이 픽셀의 한 컬러채널 당

-bit로 표현되고(주로

=8) 역광 상황과 같이 동적 범위가 제한된 영상에 r=2.2로 역감마 변환하여 입력 영상과 같이 픽셀의 한 컬러채널 당

-bit (주로

=8) 로 표현한다면, 여러 레벨을 갖던 어두운 밝기값들이 보다 작은 개수의 레벨로 줄어들게 된다. 이는 r=2.2인 감마가 어두운 밝기 값들을 압축하기 때문이다. 원래 다른 값을 갖던 밝기가 역감마 변환을 거친 후 같은 값을 갖게 되면, 정보를 잃어버린 것이므로 문제가 된다.

이를 방지하기 위해서는 역감마 변환 후 원래 입력 영상의 픽셀의 한 컬러채널 당 bit 수 인

보다 큰

-bit (

>

)로 픽셀의 한 컬러채널의 정보를 표현하여야 한다. 이와 같은 경우, 입력된 밝기 레벨이 달랐으나 역감마 변환 후 같은 레벨이 되어버리는 문제점을 방지할 수 있다.

이와 같은 역감마 변환은 도 2 및 아래의 [수식 1] 과 같다. 이때, x는 입력 영상의 컬러채널의 레벨이며, y는 역감마 변환 후 컬러채널의 레벨을 의미한다.

[수식 1]

경계값 계산부(120)는 픽셀의 밝기를 m개의 영역으로 나누기 위해 m-1개의 경계값을 계산한다. 즉, 영상의 밝기 영역에 따라 그 보정 강도를 다르게 하기 위하여, 밝기 영역을 m개로 나누기 위한 m-1개의 밝기 영역 경계값을 계산한다.

본 발명에서는 '밝기 영역'을 어두운 영역, 중간 밝기 영역, 밝은 영역의 3영역으로 나누고, 이를 위해 2개의 밝기 영역 경계값

,

를 구하게 된다. 또한, 픽셀의 밝기 정보에 대한 히스토그램을 작성하여 경계값 기반 분할(Threshold-based Segmentation)에서 사용되는 오쯔의 방법(Ostu's method)을 응용하여 상기 경계값들을 얻도록 한다. 본 실시예에서, 밝기 영역을 3영역으로 설정하였으나, 본 발명이 이에 한정되지 않는 바, 4영역, 5영역 등으로 다양하게 설정가능하다.

오쯔의 방법은 임의의 데이터 집합을 두 개의 그룹으로 나누는데 사용된다. 이 방법의 원리는 같은 그룹 내의 분산(

)은 최소화하고, 다른 그룹끼리의 분산(

)은 최대화 하는 것이다. 즉,

를 최소화 하는 경계값 k를 구하는 것이다.

한편, 동적 범위가가 제한된 영상의 경우, 밝기 영역 히스토그램에서 어두운 영역과 밝은 영역에 각각 커다란 Valley가 있고, 중간 영역은 평탄한 모양을 갖으 며, 밝기 영역을 3개 혹은 그 이상의 영역으로 나누어 보다 세분화된 밝기 영역별 보정을 하는 것이 효과적이다.

즉, 경계값 계산부(120)는 입력 영상의 특정 영역에서의 히스토그램을 작성하고, 작성된 히스트로그램을 3영역으로 나눈다.

도 3 에는 I (

) 영역에서의 히스토그램과 이것을 3영역으로 나눈 것이 3영역은 어두운 영역의 Valley, 중간의 평탄한 모양의 영역, 밝은 영역의 Valley으로 구성된다.

이때, 히스토그램을 2영역으로 분할되고, 경계값이 k이며, 픽셀의 한 컬러채널이

-bit 일 경우, 히스토그램의

와

같이 경계값을 중심으로 영역에 오버랩을 두어 각각 오쯔의 방법을 다시 적용하여 경계값

,

를 얻어 내면, 이는 각각 {어두운 영역 / 중간 밝기 영역} , {중간 밝기 영역 / 밝은 영역} 을 나누는 경계값이 된다.

이 경계값을 이용하여 모든 픽셀에 대해 3영역 중, 하나의 영역으로 지정(labeling)을 할 수 있다. 4개 이상의 영역으로 히스토그램을 나눌 때에도 이와 같은 방식을 사용하면 된다.

다음으로, 블록 분할부(130)는 도 4 에 도시된 바와 같이 입력 영상을 가로 M개, 세로 N개의 블록으로 분할하는 기능을 수행한다. 블록의 개수는 고정되어 있고, 블록의 크기는 입력영상의 크기에 따라 유동적이다.

이때, 블록별로 처리함에 있어서 블록 사이의 경계에 있어서 다르게 처리되는 부분을 없게 하기 위하여, 도 5 에 도시된 바와 같이 M×N 의 입력영상 블록을 오버랩(Overlap)하여 (2M-1)×(2N-1)으로 블록화 할 수도 있다.

또한, 블록 통계 계산부(140)는 블록의 통계적 특성을 나타낼 수 있는 지표(이하, '블록 지표')들을 계산하고, 각 블록이 m개의 밝기 영역 중, 어느 영역에 속하는지 여부를 판단하여 각 블록을 해당 밝기 영역으로 지정(labeling)한다.

이때, 밝기 영역을 m개의 영역으로 나누었을 경우, 상기 지표는, 각 블록안에서 이들 중 가장 많은 분포를 차지하는 영역의 인덱스, 블록 안에서의 상기 영역의 무게 중심, 각 블록 안에서 m개로 구분된 각각의 밝기 영역이 차지하는 비중, 블록의 밝기 평균, 밝기 분산 등이 될 수 있다.

즉, 블록은 밝기 영역을 나눌 때와 마찬가지로, m가지의 블록으로 나뉠 수 있다. 본 발명에서는, 밝기 영역을 3개의 영역(어두운 영역, 중간 밝기 영역, 밝은 영역)으로 나누고, 블록 안에서 각 픽셀들이 어느 영역에 속하는지 조사하고 가장 많은 비중을 차지하는 영역을 블록의 대표영역으로 할당한다.

예를 들어, 한 블록에서 어두운 영역에 속한 픽셀이 다른 영역에 속한 픽셀에 비해 더 많다면 이 블록은 어두운 블록이 된다. 이와 같은 방식으로 블록은 어두운 블록, 중간 밝기 블록, 밝은 블록 등으로 분류될 수 있다.

또한, 블록별 룩업테이블 생성부(150)는 각 해당 블록별 룩업테이블(Look-Up Table:LUT)를 생성한다.

밝기 영역을 m가지로 나누었다면, 기본 룩업테이블(basis LUT)도 m개가 존재한다. 즉, 밝기 영역을 어두운 영역, 중간 밝기 영역, 밝은 영역의 3가지로 나누었다면 3개의 기본 룩업테이블(basis LUT)이 존재한다. 기본 룩업테이블(basis LUT)은 Gamma Function, Modified Gamma Function, Histogram Equalization 등 기본적인 것을 비롯해 현존하는 모든 방법이 룩업테이블(LUT)로 적용 될 수 있다.

본 발명에서는, 밝기 영역을 3가지로 나누었을 경우, 이에 따른 3개의 기본 룩업테이블(basis LUT)는 각각 어두운 영역에 적용하기 위해 보정의 강도가 높은 것(LUT_1 : 제 1 테이블), 밝은 영역에 적용하기 위해 보정을 거의 하지 않는 것(LUT_3 : 제 3 테이블), 중간 밝기 영역에 적용하기 위해 보정의 강도가 이 둘의 중간 인 것(LUT_2 : 제 2 테이블)을 사용한다. 본 발명에 따른 3개의 기본 룩업테이블(basis LUT)이 도 6 에 도시되어 있다.

이때, m개의 기본 룩업테이블(Basis LUT)을 그대로 사용하는 것이 아니라, m개의 룩업테이블(LUT)을 적절히 합성하여 블록별로 다른 룩업테이블(LUT)을 생성한다. 본 발명의 바람직한 실시예에서는 룩업테이블(LUT) 합성에 밝기영역 오버래핑, 블록지표, 주변 블록들의 룩업테이블(LUT) 참조라는 3가지 요소가 적용되도록 한다.

첫째로, 밝기영역 오버래핑이 사용되는 이유는 다음과 같다. 앞서, 밝기 영역 경계값 계산부(120)에서 3개의 영역으로 나눌 경계값

을 구했다 면, 픽셀의 밝기 레벨이

보다 작은 영역에서는 제 1 테이블(LUT_1)을 사용하고,

보다 크고

보다 작은 영역에서는 제 2 테이블(LUT_2)을 사용하며,

보다 큰 영역에서는 제 3 테이블(LUT_3)을 사용한다. 하지만 경계값을 전, 후로 다른 룩업테이블(LUT)을 사용한다면 이 경계값 부근에서 이질적인 보정으로 인한 아티팩트가 생길 것이다. 따라서 경계값을 전, 후로 바로 다른 룩업테이블(LUT)을 쓰지 않고, 도 7 에서와 같이

,

를 기준점으로

,

의 밝기영역에서의 룩업테이블(LUT) 합성 경계값을 설정하여, 픽셀의 밝기 레벨이

보다 작은 경우 제 1 테이블(LUT_1)을 사용하고,

과

사이에 있을 경우, 제 1 테이블(LUT_1)과 제 2 테이블(LUT_2)을 적절히 합성하여 경계값

에서 보정 룩업테이블(LUT)이 급격히 변하지 않도록 한다.

또한,

와

사이에 픽셀의 밝기 레벨이 있는 경우는 제 2 테이블(LUT_2)과 제 3 테이블(LUT_3) 을 적절히 합성하여 경계값

에서 보정 룩업테이블(LUT)이 급격히 변하지 않도록 하고,

이상의 밝기 레벨을 갖는 경우는 제 3 테이블(LUT_3) 만을 사용한다.

본 발명의 바람직한 하나의 실시 예로서, 밝기 영역 오버래핑을 통해서 룩업테이블(LUT)을 합성하는 방법에서 경계값

,

까지 각각의 상대적인 거리를 합성 비율로 계산할 수 있다.

둘째로 블록 지표를 사용하는 이유는, 이 발명의 가장 큰 목적인 역광 등 외부적인 요소로 어두워진 영역과 물체 고유의 낮은 반사도 때문에 밝기가 어두운 영역을 구별하여 보정하기 위해서이다. 영상을 블록화 하였을 때, 특정 블록이 블록 통계 계산부(140)에서 어두운 블록으로 판단되었다고 가정해보자. 이 블록이 어두운 블록으로 판단 되는 이유가, 내부의 픽셀 들 중 어두운 영역에 속하는 것들의 비중이 높기 때문이라면, 그 비중이 50% 였는지, 90% 였는지에 따라 다른 보정을 할 필요성이 있다. 만약 그 블록 내의 어두운 픽셀들의 비중이 90% 라면 이는 역광으로 인해 어두워진 넓은 영역일 확률이 높고, 반대로 그 블록 내의 어두운 픽셀들의 비중이 가장 크지만 예를 들어 50% 정도의 작은 비중이라면 이것은 밝은 영역 안에 물체 고유의 낮은 반사도로 인해 어두운 물체가 속해 있을 가능성이 있다. 이러한 두 경우의 차이점을 고려하지 않고 보정 강도를 같게 한다면, 보정하지 않았어야 할 후자의 경우는 보정 후 오히려 화질 저하가 발생한다. 외부광원의 영향으로 어두워진 영역과 원래 밝기가 어두운 영역을 정확히 구분하기는 힘들지만, 블록 내의 통계를 이용하여 같은 어두운 영역이라도 보정의 강도에 차별화를 두어 어두운 영역이지만 보정하지 않아야 할 부분의 보정을 억제하는 것이 본 발명의 주된 아이디어이며, 영상을 블록화 하는 것도 이 때문이다. 블록 지표(블록 내의 통계)를 이용하여 보정의 강도를 차별화 하는 방법은, 본 발명의 바람직한 실시예에 따르면 위에서 설명한 밝기 영역 오버래핑을 이용한 LUT 합성의 방법을 그대로 따르면서 블록 내의 특정 밝기 영역에 해당하는 픽셀의 비중을 이용한다.

예를 들어, 어두운 영역의 비중이 크다면 어두운 영역에 사용하는 제 1 룩업 테이블(LUT_1)의 합성 비중을 높이고, 같은 어두운 블록이라도 어두운 픽셀의 비중이 상대적으로 작다면 제 1 룩업테이블(LUT_1)의 합성 비중을 줄인다.

마지막으로, 블록별 룩업테이블(LUT) 합성에 있어서 주변 블록들의 룩업테이블(LUT)을 참조할 수 있다. 블록별로 다른 룩업테이블(LUT)을 사용한다면 지역적 대비(local contrast)를 잘 보존할 수 있지만, 블록 간 경계에서 주변 블록의 룩업테이블(LUT)과 이질적인 보정으로 인해 블록 간 아티팩트가 발생할 수 있다.

이를 개선하기 위해서 우선 앞서 설명한 대로 m개의 기본 룩업테이블(basis LUT)들을 앞서 설명한 밝기 영역 오버래핑과 블록 지표를 이용하여 각 블록의 룩업테이블(LUT)를 합성하여 1차적으로 블록별 룩업테이블(LUT)을 생성하고, 1차적인 블록별 룩업테이블과 주변 블록들의 룩업테이블(LUT)과의 평균 혹은 가중 평균을 구하여 최종 블록별 룩업테이블(LUT)을 생성한다. 이는 도 8 에 도시되어 있다. 가중 평균시 가중치는 해당 블록의 무게 중심으로부터 이웃블록의 무게 중심까지의 거리를 이용할 수 있다.

또한, 영상 보정부(160)는 룩업테이블(LUT)을 이용하여 영상을 보정한다.

즉, 블록별 룩업테이블(LUT) 생성부(150)에서 생성한 블록별 룩업테이블(LUT)을 이용해 블록 내의 픽셀의 값을 보정한다.

역감마 변환을 거친 픽셀의 Y=0.299*R+0.587*G+0.114*B 혹은 I=(R+G+B)/3 를 룩업테이블(LUT)에 넣어 룩업테이블(LUT)을 거친 보정 결과값

또는

를 얻는다.

이후, 아래의 [수식 2] 에 따라 R,G,B 각각의 컬러값을 보정하여 보정 결과값

를 얻는다. R,G,B를 각각 룩업테이블(LUT)에 넣어 따로 보정하면 원래의 색상비율이 깨지기 때문에, 아래의 [수식2] 와 같은 방법을 이용해 선형화된 R,G,B의 색상비율을 유지한다.

이때, gain을 로 하지 않고,

로 설정한 이유는, I=0 인 경우 gain이 수치화될 수 없는 경우를 방지하기 위해서이다.

[수식 2]

비록 한 블록의 룩업테이블(LUT)을 생성할 때 주변 룩업테이블(LUT)을 고려하여 이들을 평균 혹은 가중 평균하였지만, 픽셀 보정 시 픽셀이 속한 하나의 블록의 룩업테이블(LUT)만 이용하여 보정값을 얻어낸다면, 블록 간의 경계에서 부자연스러운 아티팩트가 발생할 수 있다. 따라서, 픽셀이 속한 블록의 룩업테이블(LUT) 뿐만 아니라 주변 블록의 룩업테이블(LUT)에 픽셀의 I 혹은 Y를 넣어 상기 [수식 2] 에 따라 보정한 각각의 보정 결과값을 이용하여 이들의 평균 혹은 가중 평균을 픽셀의 최종 보정 결과값으로 얻어 낼 수 있다. 가중평균 시 보정할 픽셀에서 이웃 블록의 밝기 영역 무게 중심 까지의 거리를 이용하여 가중치를 구할 수 있다. 본 발명의 또 다른 바람직한 실시예로는 이들 블록들이 도 5 와 같이 오버랩되어 블록 간 경계에서 아티팩트를 없앨 수 있다.

그리고, 감마 변환부(170)는 보정을 위해 역감마 변환을 하여 디스플레이를 위한 감마를 해제하였기 때문에, 이 부분에서 디스플레이를 위한 감마를 다시 적용해준다.

위에서 설명한 일련의 과정을 거치면 최종 보정 영상을 얻을 수 있다. 입력영상이 RGB 도메인이 아닌 YCbCr, HSI, L*a*b* 등 다른 도메인일 경우에는 이들의 색좌표를 RGB로 변환하여 상기 서술한 방법과 같이 보정하고 난 뒤 R,G,B 좌표계를 다시 해당 좌표계로 변환한다.

상술한 영상 보정 장치(100)를 이용한 영상 보정 방법에 관하여 도 9 를 참조하여 설명하면 다음과 같다.

도 9 는 본 발명에 따른 영역 특성을 고려한 영상 보정 방법에 관한 전체 흐름도로서, 도시된 바와 같이 역감마 변환부(110)는 영상의 디스플레이를 위하여 적용된 감마 변환을 해제하여 R,G,B 각각을 선형화 하며(S10), 경계값 계산부(120)는 픽셀의 밝기를 m개의 영역으로 나누기 위해 m-1개의 경계값을 계산한다(S20).

이후, 블록 분할부(130)는 입력 영상을 가로 M개, 세로 N개의 블록으로 분할하며(S30), 블록 통계 계산부(140)는 블록의 통계적 특성을 나타낼 수 있는 지표(이하, '블록 지표')들을 계산하고, 각 블록이 m개의 밝기 영역 중, 어느 영역에 속하는지 여부를 판단하여 각 블록을 해당 밝기 영역으로 지정한다(S40).

다음으로, 블록별 룩업테이블 생성부(150)는 m개의 기본 룩업테이블(basis LUT)들을 밝기 영역 오버래핑과 블록 지표를 이용하여 각 블록의 룩업테이블(LUT)를 합성하여 1차적으로 블록별 룩업테이블(LUT)을 생성하고, 1차적인 블록별 룩업테이블과 주변 블록들의 룩업테이블(LUT)과의 평균 혹은 가중 평균을 구하여 최종 블록별 룩업테이블(LUT)을 생성한다(S50).

영상 보정부(160)는 블록별 룩업테이블(LUT) 생성부(150)에서 생성한 블록별 룩업테이블(LUT)을 이용해 블록 내의 픽셀의 값을 보정한다(S60).

그리고, 감마 변환부(170)는 역감마 변환부(110)를 통해 해제했던 감마 변환을 다시 적용한 후, 영상을 출력한다(S70).

한편, 사용자가 낮은 반사도로 인해 본래 밝기가 어두운 영역을 외부 광원의 영향으로 어두워진 영역과 구별할 필요가 없고, 보정 속도를 우선시한다면 앞서 상술한 도 9 의 방법은 다음의 도 10 과 같이 단순화 될 수 있다.

도 10 에 도시된 바와 같이, 역감마 변환부(110)가 영상의 디스플레이를 위하여 적용된 감마 변환을 해제하여 R,G,B 각각을 선형화 하고(S110), 경계값 계산부(120)가 픽셀의 밝기를 m개의 영역으로 나누기 위해 m-1개의 경계값을 계산함으로써, 모든 픽셀에 대한 m개의 밝기 영역 중, 어느 하나의 영역으로 지정한다(S120).

이후, 영상 보정부(160)가 영상 내의 픽셀의 값을 보정하고(S130), 감마 변 환부(170)가 상기 역감마 변환부(110)를 통해 해제했던 감마 변환을 다시 적용한다(S140).

이와 같은 보정 방법은, 도 9 의 보정방법으로부터 블록 분할 및 블록 통계 계산, 블록별 룩업테이블(LUT) 생성의 단계(S30 내지 S50)를 생략한 것을 제외하고는 모든 방법이 도 9 의 방법과 동일하다. 즉, 영상의 블록화를 생략하여 보정 시 픽셀의 위치 정보를 사용하지 않고, 픽셀의 밝기 정보만을 사용하는 대신 보정 시간을 줄일 수 있다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

도 1 은 본 발명에 따른 영상 보정 장치에 관한 전체 구성도.

도 2 는 본 발명에 따른 역감마 변환을 보여주는 일예시도.

도 3 은 본 발명에 따른 I 영역에서 입력 영상의 히스토그램과 밝기 영역을 보여주는 일예시도.

도 4 는 본 발명에 따른 입력영상을 MㅧN으로 블록화한 일예시도.

도 5 는 본 발명에 따른 입력영상을 블록화할 때, 블록끼리 오버랩을 수행한 모습의 일예시도.

도 6 은 본 발명에 따른 3가지 Modified Gamma Function을 이용한 기본 룩업테이블(basis LUT)을 나타내는 일예시도.

도 7 은 본 발명에 따른 밝기 영역 오버랩을 이용한 룩업테이블(LUT) 합성을 나타내는 일예시도.

도 8 은 본 발명에 따른 블록별 룩업테이블 생성시, 주변 블록의 룩업테이블을 평균 또는 가중평균 한 것을 나타내는 일예시도.

도 9 는 본 발명에 따른 영역 특성을 고려한 영상 보정 방법에 관한 흐름도.

도 10 은 본 발명의 다른 실시예에 따른 영역 특성을 고려한 영상 보정 방법에 관한 흐름도.

** 도면의 주요 부분에 대한 부호의 설명 **

100: 영상 보정 장치 110: 역감마 변환부

120: 경계값 계산부 130: 블록 분할부

140: 블록 통계 계산부 150: 룩업테이블 생성부

160: 영상 보정부 170: 감마 변환부

Claims

영역 특성을 고려한 영상 보정 장치에 있어서,

감마 변환을 해제하여 R,G,B 각각을 선형화하는 역감마 변환부;

픽셀의 밝기를 m개의 영역으로 나누기 위해 m-1개의 경계값을 계산함으로써, 모든 픽셀에 대한 m개의 밝기 영역 중, 어느 하나의 영역으로 지정하는 경계값 계산부;

입력 영상을 다수의 블록(M×N)으로 분할하는 블록 분할부;

각 블록이 m 개의 밝기 영역 중, 어느 영역에 속하는지 여부를 판단하여 각 블록을 해당 밝기 영역으로 지정하는 블록 통계 계산부;

블록별 보정 룩업테이블을 생성하는 블록별 룩업테이블 생성부;

상기 블록별 룩업테이블 생성부를 통해 생성한 블록별 룩업테이블을 이용하여 영상을 보정하는 영상 보정부; 및

감마 변환을 수행하는 감마 변환부; 를 포함하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 장치.
제 1 항에 있어서,

상기 역감마 변환부는,

변환 전 다른 레벨이었던 값이 변환 후 같은 값으로 바뀌는 것을 방지하기 위하여, 입력 영상보다 높은 비트의 역감마 변환을 수행하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 장치.
제 1 항에 있어서,

상기 경계값 계산부는,

밝기 영역 경계값을 계산하여 다수의 밝기 영역의 개수로 나누고, 해당 영역에 따라 보정 강도를 다르게 하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 장치.
제 1 항에 있어서,

상기 블록 분할부는,

블록사이의 경계에 있어 다르게 처리되는 부분을 없게 하기 위하여, 각 블록사이를 오버래핑(Overlapping)하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 장치.
제 1 항에 있어서,

상기 블록 통계 계산부는,

각 블록안에서 가장 많은 분포를 차지하는 영역의 인덱스, 블록 안에서의 상기 영역의 무게 중심, 각 블록 안에서 m개로 구분된 각각의 밝기 영역이 차지하는 비중, 블록의 밝기 평균, 밝기 분산을 포함하는 블록 지표를 계산하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 장치.
제 1 항에 있어서,

상기 블록별 룩업테이블 생성부는,

다수의 밝기 영역의 개수와 동일한 개수의 기본 룩업테이블(basis LUT)을 생성하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 장치.
제 1 항에 있어서,

상기 블록별 룩업테이블 생성부는,

m개의 룩업테이블를 합성하여 블록별로 룩업테이블을 생성하되,

m개의 기본 룩업테이블(basis LUT)을 밝기 영역의 오버래핑, 블록지표를 이용하여 각 블록의 룩업테이블을 합성하여 1차적인 블록별 룩업테이블을 생성하고, 상기 1차적인 블록별 룩업테이블과 주변 블록들의 룩업테이블의 평균 또는 가중 평균을 이용하여, 최종 블록별 룩업테이블을 생성하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 장치.
제 1 항에 있어서,

상기 영상 보정부는,

상기 블록별 룩업테이블 생성부를 통해 생성한 블록별 룩업테이블을 이용하여 블록 내의 픽셀값을 보정하되,

픽셀이 속한 블록의 룩업테이블 뿐만 아니라, 주변 블록의 룩업테이블을 이용한 각각의 보정 결과값을 이용하여, 이들의 평균 혹은 가중 평균을 픽셀의 최종 보정 결과값으로 추출하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 장치.
영역 특성을 고려한 영상 보정 방법에 있어서,

(a) 역감마 변환부가 영상의 디스플레이를 위하여 적용된 감마 변환을 해제하여 R,G,B 각각을 선형화 하는 단계;

(b) 경계값 계산부가 픽셀의 밝기를 m개의 영역으로 나누기 위해 m-1개의 경계값을 계산함으로써, 모든 픽셀에 대한 m개의 밝기 영역 중, 어느 하나의 영역으로 지정하는 단계;

(c) 블록 분할부가 입력 영상을 가로 M개, 세로 N개의 블록으로 분할하는 단계;

(d) 블록 통계 계산부가 블록의 통계적 특성을 나타낼 수 있는 블록 지표들을 계산하고, 각 블록이 m개의 밝기 영역 중, 어느 영역에 속하는지 여부를 판단하여 각 블록을 해당 밝기 영역으로 지정하는 단계;

(e) 블록별 룩업테이블 생성부가 m개의 기본 룩업테이블(basis LUT)들을 밝기 영역 오버래핑과 블록 지표를 이용하여 각 블록의 룩업테이블(LUT)를 합성하여 1차적으로 블록별 룩업테이블(LUT)을 생성하고, 1차적인 블록별 룩업테이블과 주변 블록들의 룩업테이블(LUT)과의 평균 혹은 가중 평균을 구하여 최종 블록별 룩업테이블(LUT)을 생성하는 단계;

(f) 영상 보정부가 상기 (e) 단계를 통해 생성한 블록별 룩업테이블(LUT)을 이용해 블록 내의 픽셀의 값을 보정하는 단계; 및

(g) 감마 변환부가 상기 역감마 변환부를 통해 해제했던 감마 변환을 다시 적용하는 단계; 를 포함하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 방법.
제 9 항에 있어서,

상기 (a) 단계에서, 상기 역감마 변환부가 입력 영상보다 높은 비트의 역감마 변환을 수행하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 방법.
제 9 항에 있어서,

상기 (b) 단계에서, 상기 경계값 계산부가 밝기 영역 경계값을 계산하여 다수의 밝기 영역의 개수로 나누고, 해당 영역에 따라 보정 강도를 다르게 하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 방법.
제 9 항에 있어서,

상기 (c) 단계에서, 상기 블록 분할부가 블록사이의 경계에 있어 다르게 처리되는 부분을 없게 하기 위하여, 각 블록사이를 오버래핑(Overlapping)하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 방법.
제 9 항에 있어서,

상기 (d) 단계에서, 상기 블록 통계 계산부가 각 블록안에서 가장 많은 분포를 차지하는 영역의 인덱스, 블록 안에서의 상기 영역의 무게 중심, 각 블록 안에서 m개로 구분된 각각의 밝기 영역이 차지하는 비중, 블록의 밝기 평균, 밝기 분산을 포함하는 블록 지표를 계산하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 방법.
제 9 항에 있어서,

상기 (e) 단계에서, 상기 블록별 룩업테이블 생성부가 다수의 밝기 영역의 개수와 동일한 개수의 기본 룩업테이블(basis LUT)을 생성하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 방법.
제 9 항에 있어서,

상기 (e) 단계에서, 상기 블록별 룩업테이블 생성부가 m개의 룩업테이블를 합성하여 블록별로 룩업테이블을 생성하되, m개의 기본 룩업테이블(basis LUT)을 밝기 영역의 오버래핑, 블록지표를 이용하여 각 블록의 룩업테이블을 합성하여 1차적인 블록별 룩업테이블을 생성하고, 상기 1차적인 블록별 룩업테이블과 주변 블록들의 룩업테이블의 평균 또는 가중 평균을 이용하여, 최종 블록별 룩업테이블을 생성하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 방법.
제 9 항에 있어서,

상기 (f) 단계에서, 상기 영상 보정부가 상기 (e) 단계를 통해 생성한 블록별 룩업테이블을 이용하여 블록 내의 픽셀값을 보정하되, 픽셀이 속한 블록의 룩업테이블 뿐만 아니라, 주변 블록의 룩업테이블을 이용한 각각의 보정 결과값을 이용하여, 이들의 평균 혹은 가중 평균을 픽셀의 최종 보정 결과값으로 추출하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 방법.
영역 특성을 고려한 영상 보정 방법에 있어서,

(a) 역감마 변환부가 영상의 디스플레이를 위하여 적용된 감마 변환을 해제하여 R,G,B 각각을 선형화 하는 단계;

(b) 경계값 계산부가 픽셀의 밝기를 m개의 영역으로 나누기 위해 m-1개의 경계값을 계산함으로써, 모든 픽셀에 대한 m개의 밝기 영역 중, 어느 하나의 영역으로 지정하는 단계;

(c) 영상 보정부가 영상 내의 픽셀의 값을 보정하는 단계; 및

(d) 감마 변환부가 상기 역감마 변환부를 통해 해제했던 감마 변환을 다시 적용하는 단계; 를 포함하는 것을 특징으로 하는 영역 특성을 고려한 영상 보정 방법.