KR101874538B1 - 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치 - Google Patents

영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR101874538B1
KR101874538B1 KR1020160155901A KR20160155901A KR101874538B1 KR 101874538 B1 KR101874538 B1 KR 101874538B1 KR 1020160155901 A KR1020160155901 A KR 1020160155901A KR 20160155901 A KR20160155901 A KR 20160155901A KR 101874538 B1 KR101874538 B1 KR 101874538B1
Authority
KR
South Korea
Prior art keywords
channel
output
image
contrast
input image
Prior art date
Application number
KR1020160155901A
Other languages
English (en)
Other versions
KR20180057365A (ko
Inventor
강문기
송기선
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160155901A priority Critical patent/KR101874538B1/ko
Publication of KR20180057365A publication Critical patent/KR20180057365A/ko
Application granted granted Critical
Publication of KR101874538B1 publication Critical patent/KR101874538B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Abstract

본 실시예들은 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출하고, 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출하고, (i) 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나 및 (ii) 출력 밝기 성분을 결합하여 출력 영상을 산출함으로써, 컬러 영상의 대비 및 채도를 동시에 향상시켜 영상의 품질을 극대화할 수 있는 영상 처리 방법 및 장치을 제공한다.

Description

영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치 {Method and Apparatus for Processing Image to Simultaneously Enhance Contrast and Saturation of Image}
본 실시예가 속하는 기술 분야는 영상의 대비 및 채도를 동시에 향상시키는 영상 처리 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
인간의 눈은 영상을 세 가지 성분인 밝기, 색상, 및 채도로 구분하여 인식한다. 선명한 영상을 획득하기 위한 기존의 방식은 영상의 밝기 성분에 대하여만 대비 증가 방식을 적용하였다. 하지만, 적색, 녹색, 청색(Red, Green, Blue; RGB)으로 이루어진 컬러 영상에 대하여 밝기 성분에만 대비 증가 방식을 적용하면, 채도가 감소하는 현상이 발생하는 문제가 있다.
이를 해결하기 위하여, 기존의 방식은 RGB 컬러 영상을 YCbCr 도메인으로 변환한 후, 밝기 성분인 Y값에 대비 증가 방식을 적용하고, 다시 이에 대하여 색차 성분들(Cb값, Cr값)에 대한 채도 향상 방식을 적용하였다. 이러한 방식은 색차 성분의 특성상 채도를 향상시키는 데 한계가 있다.
대비 증가 방식은 전역 대비 증가 방식과 블록 대비 증가 방식으로 구분된다. 전역 대비 증가 방식은 영상 전체에 대하여 하나의 대비 증가 함수를 추정하는 방식이다. 블록 대비 증가 방식은 영상을 기 설정된 사이즈를 갖는 블록으로 나누고, 각 블록에 대하여 대비 증가 함수를 추정하는 방식이다. 블록 대비 증가 방식은 전역 대비 증가 방식에 비하여 대비 증가 성능이 향상되는 장점이 있다. 하지만, 블록 대비 증가 방식은 인접 블록 간에 대비 차이가 큰 영상에 대하여 블록 사이즈를 충분히 크게 적용하지 않으면, 영상에 아티팩트가 발생하는 문제가 있다.
이상에서 언급한 문제점들을 해결한 영상의 대비 및 채도를 동시에 향상시키는 영상 처리 방법 및 장치는 아직 구현되지 못한 실정이다.
본 발명의 실시예들은 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출하고, 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출하고, (i) 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나 및 (ii) 출력 밝기 성분을 결합하여 출력 영상을 산출함으로써, 컬러 영상의 대비 및 채도를 동시에 향상시켜 영상의 품질을 극대화하는 데 발명의 주된 목적이 있다.
본 발명의 실시예들은 각 블록에 대한 주변 화소값들을 참조하여 대비 증가 함수를 변화시킴으로써, 블록 사이즈를 작게 설정하여 대비 증가 성능을 크게 향상시키면서도 대비 증가를 위한 변환 함수 추정 과정에서 발생하는 아티팩트를 억제하는 데 발명의 다른 목적이 있다.
본 발명의 실시예들은 (i) RGB 각 채널에 대비 증가 방법을 적용시킨 결과 및 (ii) 색상 틀어짐이 발생한 영역에 대하여 밝기 값에 대비 증가 방법을 적용시킨 결과를 결합함으로써, 채널 간 상관관계를 고려하지 않고도 색상 틀어짐 현상을 방지하는 데 발명의 또 다른 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 영상 처리 방법에 있어서, 입력 영상을 획득하는 단계, 상기 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출하는 단계, 상기 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여, 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출하는 단계, 및 (i) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 적어도 하나 및 (ii) 상기 출력 밝기 성분을 결합하여 출력 영상을 산출하는 단계를 포함하는 영상 처리 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 입력 영상을 획득하는 영상 획득부, 상기 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출하는 밝기 정보 산출부, 상기 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여, 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출하는 채널 정보 산출부, 및 (i) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 적어도 하나 및 (ii) 상기 출력 밝기 성분을 결합하여 출력 영상을 산출하는 출력 영상 산출부를 포함하는 영상 처리 장치를 제공한다.
본 실시예의 또 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록된 영상 처리를 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에, 입력 영상을 획득하는 단계, 상기 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출하는 단계, 상기 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여, 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출하는 단계, 및 (i) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 적어도 하나 및 (ii) 상기 출력 밝기 성분을 결합하여 출력 영상을 산출하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 각 블록에 대한 주변 화소값들을 참조하여 대비 증가 함수를 변화시킴으로써, 블록 사이즈를 작게 설정하여 대비 증가 성능을 크게 향상시키면서도 대비 증가를 위한 변환 함수 추정 과정에서 발생하는 아티팩트를 억제할 수 있는 효과가 있다.
본 발명의 실시예들에 의하면, RGB 각 채널에 대비 증가 방법을 적용하여 채도를 크게 향상시킬 수 있는 효과가 있다.
본 발명의 실시예들에 의하면, (i) RGB 각 채널에 대비 증가 방법을 적용시킨 결과 및 (ii) 색상 틀어짐이 발생한 영역에 대하여 밝기 값에 대비 증가 방법을 적용시킨 결과를 결합함으로써, 채널 간 상관관계를 고려하지 않고도 색상 틀어짐 현상을 방지할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1 및 도 2는 본 발명의 실시예들에 따른 영상 처리 장치를 예시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치가 변환한 출력 영상을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치가 대비 증가 함수를 조정하는 동작을 설명하기 위한 예식적인 그래프이다.
도 5는 본 발명의 일 실시예에 따라 영상 처리 장치가 변환한 출력 영상을 예시한 도면이다.
도 6 및 도 7은 본 발명의 다른 실시예들에 따른 영상 처리 방법을 예시한 흐름도이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
본 실시예들은 대비 증가 방법을 적용하여 밝기 영상의 대비를 증가시키고 이를 컬러 영상으로 나타낸다. 본 실시예들은 색차 영상을 처리하는 방법이 아닌 밝기 값의 변화율을 고려한다. 기존의 컬러 영상의 각 채널을 직접 처리하는 채널 별 처리 방식의 일 예는 수학식 1과 같이 표현된다.
Figure 112016114194326-pat00001
C는 컬러 영상의 RGB 채널 입력 값이고, C'는 출력 값을 나타낸다. Y와 Y'은 각각 입력 영상과 대비가 증가된 영상의 밝기 값을 나타낸다. γ는 채도 향상 정도를 조절하는 변수이다. 이러한 방식은 결과 영상의 RGB 채널 간 차이를 증가시키는 방식으로서, 색차 영상을 이용하지 않고 색상 틀어짐 없이 안정적으로 채도를 향상시킬 수 있다. 하지만 휘도 영상의 변화율에 크게 영향을 받기 때문에 채도 향상 성능이 제한적인 문제가 있다.
이러한 문제를 해결하기 위하여, 본 실시예들은 RGB 각 채널에 대비 증가 방식을 직접 적용한다.
도 1 및 도 2는 본 발명의 실시예들에 따른 영상 처리 장치를 예시한 블록도이다. 도 1에 도시한 바와 같이, 영상 처리 장치(100)는 영상 획득부(110), 밝기 정보 산출부(120), 채널 정보 산출부(130), 및 출력 영상 산출부(140)를 포함한다. 영상 처리 장치(100)는 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 도 2에 도시된 바와 같이, 영상 처리 장치(100)는 블록 대비 증가 함수 추정부(150) 및 색상 틀어짐 방지부(160) 중 적어도 하나를 추가로 포함할 수 있다.
영상 획득부(110)는 입력 영상을 획득한다. 입력 영상은 정지 영상 또는 동영상일 수 있고, 입력 영상은 카메라로 촬영하여 획득한 컬러 영상 또는 기 저장된 컬러 영상일 수 있다.
밝기 정보 산출부(120)는 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출한다. 제1 대비 증가 함수는 히스토그램 평활화 방식에 기반하여 추정될 수 있다.
채널 정보 산출부(130)는 상기 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여, 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출한다. 제 2 대비 증가 함수는 히스토그램 평활화 방식에 기반하여 추정될 수 있다.
입력 영상의 밝기 성분에 적용하는 상기 제1 대비 증가 함수와 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 적용하는 제2 대비 증가 함수는 동일할 수 있다.
출력 영상 산출부(140)는 (i) 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나 및 (ii) 출력 밝기 성분을 결합하여 출력 영상을 산출한다.
영상 처리 장치(100)는 제1 대비 증가 함수 또는 제2 대비 증가 함수를 추정하는 블록 대비 증가 함수 추정부를 추가로 포함할 수 있다. 도 3 및 도 4를 참조하여, 블록 대비 증가 함수 추정부는 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치가 변환한 출력 영상을 예시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 영상 처리 장치가 대비 증가 함수를 조정하는 동작을 설명하기 위한 예식적인 그래프이다.
본 발명의 실시예에 의하면, 대비 증가를 위한 방법으로 일루미넌스 값을 이용하여 영상 적응적 히스토그램 평탄화(Histogram Equalization, HE) 방법 기반 변환 함수를 생성한다. 영상을 작은 블록 단위로 쪼개어 각 블록에 대하여 영상 적응적 HE 기반 변환 함수를 추정하는 방법은 영상 전체에 대해 하나의 변환 함수를 추정하는 것보다 대비 증가 성능을 향상 시킬 수 있다. 하지만 영상의 변화 폭이 큰 부분에서 변환 함수를 구하게 되면, 블록 사이즈가 충분히 크지 않을 경우에 인접 블록과의 낮은 상관관계로 인하여 원치 않는 아티팩트가 발생한다. 이 때문에 큰 대비 증가를 위한 작은 블록 사이즈 설정은 어려워지게 된다. 이러한 문제를 해결하고자 블록 사이즈를 크게 설정하게 되면 대비 증가 성능 향상은 제한되게 된다.
도 3을 참조하면, 도면부호 310은 입력영상이고, 도면부호 320은 전역적 대비 증가 방법을 적용한 결과이고, 도면부호 330은 지역 블록 기반 대비 증가 방법을 적용한 결과이고, 도면부호 340은 본 실시예에 의한 대비 증가 방법을 적용한 결과이다. 도 3에서는 블록 사이즈가 작을 때 나타나는 아티팩트의 예(330)가 도시되어 있다. 도 3에서 확인할 수 있듯이 밝기 차가 크게 나는 영상의 에지 부분에서 얼룩 형태의 아티팩트가 발생한다.
본 실시예에서는 이러한 아티팩트 없이 영역 적응적 HE를 적용하기 위하여 일루미넌스 값을 추정하여 참조 값으로 사용한다. 블록 기반 히스토그램의 단점은 각 블록의 평균 밝기 값이 모두 달라지게 되어 블록 간의 어색함이 발생하게 되는 점이다. 본 실시예는 각 블록에서의 일루미넌스(평균밝기값) 값으로의 보상을 해주는 과정을 통해 블록간의 밝기 차이에 의한 어색함을 해결한다.
블록 대비 증가 함수 추정부(150)는 입력 영상을 기 설정된 사이즈를 갖는 복수의 블록들로 나누고, 블록들에 대한 일루미넌스 값을 추정한다. 여기서, 일루미넌스 값은 주변 화소와의 평균 밝기 값을 나타내고, 입력 영상의 밝기 값에 기 설정된 마스크 사이즈를 갖는 저주파 필터를 적용하여 추정될 수 있다.
블록 대비 증가 함수 추정부(150)는 복수의 블록들에 대한 제1 대비 증가 함수 또는 제2 대비 증가 함수를 추정한다. 블록 대비 증가 함수 추정부(150)는 블록들에 대한 일루미넌스 값에 기반하여 추정한 제1 대비 증가 함수 또는 추정한 제2 대비 증가 함수를 조정한다.
블록 대비 증가 함수 추정부(150)는 복수의 블록들 중 소정의 거리에 위치한 인접 블록들 간에 일루미넌스 값의 차이가 기 설정된 범위 내에 존재하는지 여부를 판단한다. 즉, 블록 대비 증가 함수 추정부(150)는 (i) 입력 영상의 특정 위치의 일루미넌스 값 및 (ii) 입력 영상의 특정 위치의 일루미넌스 값에 대한 제1 대비 증가 함수 또는 제2 대비 증가 함수 간의 차이가 기 설정된 범위의 값을 갖도록, 제1 대비 증가 함수 또는 제2 대비 증가 함수를 스케일링한다.
도 3에서 발생하는 아티팩트는 인접 블록 간에 밝기 차이가 크기 때문에 나타나는 것이므로, 영상 처리 장치(100)는 인접 블록간의 유사한 밝기를 갖게 되는 일루미넌스를 이용하여 블록 간의 변화의 폭을 조절한다. 즉, 영상의 위치에서 영역 적응적 HE의 변환 함수를
Figure 112016114194326-pat00002
로 나타내었을 때, x 위치의 일루미넌스 값을 이용해서
Figure 112016114194326-pat00003
함수를 재조정한다. 재조정하는 과정은 수학식 2와 같이 표현된다.
Figure 112016114194326-pat00004
Figure 112016114194326-pat00005
는 x 위치의 일루미넌스 값을 나타내고, M은 영상의 최댓값을 나타낸다. 예컨대, 비트수가 8비트인 경우 M은 255일 수 있다.
Figure 112016114194326-pat00006
는
Figure 112016114194326-pat00007
에 의해 재조정된 변환 함수를 나타낸다.
도 4에 도시된 바와 같이,
Figure 112016114194326-pat00008
가 되도록 만들고 변환 함수를 조정한다. 즉, 변환 함수를 스케일링하게 된다. 이로써 블록 사이즈를 작게 하여 대비 증가 성능을 크게 향상시키면서도 아티팩트 발생을 억제할 수 있다.
본 실시예에 의하면, 밝기값 처리 후 RGB 채널을 변경해주는 기존 방법보다 RGB 채널을 직접 처리하여 획득하는 결과가 컬러 영상의 채도 향상이 훨씬 뛰어난 결과를 획득할 수 있는 효과가 있다.
도 2를 다시 참조하면, 영상 처리 장치(100)는 (i) 채도 향상 성능이 뛰어난 채널 별 대비 증가 방법 적용 결과 및 (ii) 채도 향상 성능은 제한적이지만 색상 틀어짐이 발생하지 않아 원본 영상의 색상이 유지되는 밝기 값에 대한 대비 증가 방법 적용 결과를 융합하여 최종 결과를 출력한다. 영상 처리 장치(100)는 채널 간 상관 관계가 고려되지 않고 각 채널의 값에 따라 처리하므로 색상 틀어짐이 발생할 수 있다. 이는 원본 영상의 색상과 다른 색상으로 결과 영상이 만들어지는 결과를 초래한다.
영상 처리 장치(100)는 발생하는 색상 틀어짐 문제를 해결하기 위해 두 결과를 융합하면 발생하는 색상 틀어짐이 큰 영역을 검출한다. 이를 위해, 영상 처리 장치(100)는 원본 영상과 채널 별 적용 결과간의 채널 간 비율 변화를 이용한다.
영상 처리 장치(100)는 색상 틀어짐 방지부(160)를 추가로 포함할 수 있다.
색상 틀어짐 방지부(160)는, 입력 영상에서 특정 영역을 검출하고, 특정 영역에 (i) 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나 및 (ii) 출력 밝기 성분에 가중치를 적용하여, 출력 영상을 산출한다. 여기서, 특정영역은 (i) 입력 영상의 R채널, G채널, 및 B채널 및 (ii) 출력 R채널, 출력 G채널, 및 출력 B채널 중 두 개 이상 채널들을 선택하여, 두 개 이상의 채널들 간의 비율 변화를 기준으로 검출된다.
도 5를 참조하면, 도면부호 510은 입력영상이고, 도면부호 520은 대비 증가 방법을 밝기 값에 적용한 결과이고, 도면부호 530은 대비 증가 방법을 채널 별로 적용한 결과이고, 도면부호 540은 본 실시예에 의한 대비 증가 방법을 적용한 결과이다. 대비 증가 방법을 밝기 값에 적용한 결과(520)는 색상 틀어짐 없이 채도가 향상되었으나 그 정도가 원본 영상 대비 크지 않다. 각 채널에 적용한 결과(530)는 채도는 향상이 되었으나, 색상 틀어짐이 발생하여 원본 영상의 색상과는 다른 색상을 갖는다.
이러한 색상 틀어짐 문제는 영상 전체에 걸쳐 발생하지만, 주로 원색 영역에서 크게 발생하게 된다. 본 실시예에서는 이러한 색상 틀어짐이 발생하는 영역을 원본 영상과 결과 영상 간의 채널 간 비율 변화를 계산하여 검출 한 후 해당 영역에 밝기 영상에 대비 증가 방법을 적용시킨 결과를 사용함으로써 색상 틀어짐을 방지한다. 이러한 과정은 수학식 3 및 수학식 4와 같이 표현된다.
Figure 112016114194326-pat00009
Cout은 색상 틀어짐이 보정된 최종 결과이고, Cout은
Figure 112016114194326-pat00010
로 표현된다. Cch는 채널 별 처리 결과이고, Cy는 밝기 영상 기반 처리 결과이다. m과 n은 색상 틀어짐이 크게 발생했는지를 측정하는 가중치 값이다. 가중치 값은 수학식 4와 같이 표현된다.
Figure 112016114194326-pat00011
Rin, Gin, Bin은 각각 원본 영상의 RGB 채널 값을 나타낸다. Rch, Gch, Bch는 각 채널에 대비 증가 방법을 적용시킨 값이다. 영상 처리 장치는 R, G, B 채널간의 비율이 대비증가 함수를 각 채널이 통과한 후의 R' G', B' 채널간의 비율과 얼마나 달라졌는지를 측정한다. 즉, 영상 처리 장치는 G채널과 R채널간의 비율 변화와 G채널과 B채널간의 비율 변화가 크지 않으면, 색상 틀어짐이 발생하지 않은 것을 판단한다. 따라서, 각 채널에 대비 증가 방법을 적용하여 획득한 결과를 사용하게 되고, 비율 변화가 클 경우 색상 틀어짐이 발생한 것으로 간주하여 밝기 영상에 대비 증가 방법을 적용한 결과를 사용하여 색상 틀어짐을 방지하도록 한다.
본 실시예에 의하면, 원색 영역의 경우 비율 변화가 일반 색상들에 비해 크기 때문에 원색 영역에서의 색상 틀어짐을 효과적으로 방지할 수 있다.
영상 처리 장치에 포함된 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
영상 처리 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
영상 처리 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 6 및 도 7은 본 발명의 다른 실시예들에 따른 영상 처리 방법을 예시한 흐름도이다. 영상 처리 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있으며, 영상 처리 장치와 동일한 방식으로 동작한다.
단계 S610에서, 컴퓨팅 디바이스는 입력 영상을 획득한다.
단계 S620에서, 컴퓨팅 디바이스는 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출한다.
단계 S630에서, 컴퓨팅 디바이스는 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여, 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출한다.
제1 대비 증가 함수 또는 제2 대비 증가 함수는 히스토그램 평활화 방식에 기반하여 추정된다. 입력 영상의 밝기 성분에 적용하는 제1 대비 증가 함수와 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 적용하는 제2 대비 증가 함수는 동일할 수 있다.
단계 S640에서, 컴퓨팅 디바이스는 (i) 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나 및 (ii) 출력 밝기 성분을 결합하여 출력 영상을 산출한다.
도 7을 참조하면, 영상 처리 방법은 블록 기반으로 대비 증가 함수를 조정하는 단계를 추가로 포함할 수 있다.
단계 S710에서, 컴퓨팅 디바이스는 입력 영상을 획득한다.
단계 S720에서, 컴퓨팅 디바이스는 입력 영상을 기 설정된 사이즈를 갖는 복수의 블록들로 나누고, 블록들에 대한 일루미넌스 값을 추정한다. 일루미넌스 값은 주변 화소와의 평균 밝기 값을 나타내고, 입력 영상의 밝기 값에 기 설정된 마스크 사이즈를 갖는 저주파 필터를 적용하여 추정된다. 단계 S720에서, 컴퓨팅 디바이스는 복수의 블록들에 대한 제1 대비 증가 함수들 또는 제2 대비 증가 함수들을 추정한다. 단계 S720에서, 컴퓨팅 디바이스는 블록들에 대한 일루미넌스 값에 기반하여 추정한 제1 대비 증가 함수 또는 추정한 제2 대비 증가 함수를 조정한다.
추정한 제1 대비 증가 함수 또는 상기 추정한 제2 대비 증가 함수를 조정하는 단계(S720)는, 복수의 블록들 중 소정의 거리에 위치한 인접 블록들 간에 일루미넌스 값의 차이가 기 설정된 범위 내에 존재하는지 여부를 판단한다. 컴퓨팅 디바이스는 (i) 입력 영상의 특정 위치의 일루미넌스 값 및 (ii) 입력 영상의 특정 위치의 일루미넌스 값에 대한 제1 대비 증가 함수 또는 제2 대비 증가 함수 간의 차이가 기 설정된 범위의 값을 갖도록, 제1 대비 증가 함수 또는 제2 대비 증가 함수를 스케일링할 수 있다.
단계 S730에서, 컴퓨팅 디바이스는 컴퓨팅 디바이스는 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출한다.
단계 S740에서, 컴퓨팅 디바이스는 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여, 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출한다.
단계 S750에서, 컴퓨팅 디바이스는 (i) 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나 및 (ii) 출력 밝기 성분을 결합하여 출력 영상을 산출한다.
출력 영상을 산출하는 단계(S750)는, 입력 영상에서 특정 영역을 검출하고, 특정 영역에 (i) 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나 및 (ii) 출력 밝기 성분에 가중치를 적용하여, 출력 영상을 산출한다. 여기서, 특정영역은 (i) 입력 영상의 R채널, G채널, 및 B채널 및 (ii) 출력 R채널, 출력 G채널, 및 출력 B채널 중 두 개 이상 채널들을 선택하여, 두 개 이상의 채널들 간의 비율 변화를 기준으로 검출된다.
도 6 및 도 7에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6 및 도 7에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 영상 처리 장치 110: 영상 획득부
120: 밝기 정보 산출부 130: 채널 정보 산출부
140: 출력 영상 산출부 150: 블록 대비 증가 함수 추정부
160: 색상 틀어짐 방지부

Claims (15)

  1. 컴퓨팅 디바이스에 의한 영상 처리 방법에 있어서,
    입력 영상을 획득하는 단계;
    상기 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출하는 단계;
    상기 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여, 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출하는 단계; 및
    (i) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 적어도 하나 및 (ii) 상기 출력 밝기 성분을 결합하여 출력 영상을 산출하는 단계를 포함하며,
    상기 출력 영상을 산출하는 단계는, 상기 입력 영상에서 특정 영역을 검출하고, 상기 특정 영역에 (i) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 적어도 하나 및 (ii) 상기 출력 밝기 성분에 가중치를 적용하여, 상기 출력 영상을 산출하며,
    상기 특정영역은 (i) 상기 입력 영상의 상기 R채널, 상기 G채널, 및 상기 B채널 및 (ii) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 두 개 이상 채널들을 선택하여, 상기 두 개 이상의 채널들 간의 비율 변화를 기준으로 검출되는 것을 특징으로 하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 제1 대비 증가 함수 또는 상기 제2 대비 증가 함수는 히스토그램 평활화 방식에 기반하여 추정되며,
    (i) 상기 입력 영상의 밝기 성분에 적용하는 상기 제1 대비 증가 함수와 (ii) 상기 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 적용하는 상기 제2 대비 증가 함수가 동일한 것을 특징으로 하는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 입력 영상을 기 설정된 사이즈를 갖는 복수의 블록들로 나누고, 상기 블록들에 대한 일루미넌스 값을 추정하는 단계;
    상기 복수의 블록들에 대한 상기 제1 대비 증가 함수들 또는 상기 제2 대비 증가 함수들을 추정하는 단계; 및
    상기 블록들에 대한 일루미넌스 값에 기반하여 상기 추정한 제1 대비 증가 함수 또는 상기 추정한 제2 대비 증가 함수를 조정하는 단계를 추가로 포함하는 영상 처리 방법.
  4. 제3항에 있어서,
    상기 일루미넌스 값은 주변 화소와의 평균 밝기 값을 나타내고, 상기 입력 영상의 밝기 값에 기 설정된 마스크 사이즈를 갖는 저주파 필터를 적용하여 추정되는 것을 특징으로 하는 영상 처리 방법.
  5. 제3항에 있어서,
    상기 추정한 제1 대비 증가 함수 또는 상기 추정한 제2 대비 증가 함수를 조정하는 단계는, 상기 복수의 블록들 중 소정의 거리에 위치한 인접 블록들 간에 일루미넌스 값의 차이가 기 설정된 범위 내에 존재하는지 여부를 판단하며,
    (i) 상기 입력 영상의 특정 위치의 일루미넌스 값 및 (ii) 상기 입력 영상의 특정 위치의 일루미넌스 값에 대한 상기 제1 대비 증가 함수 또는 상기 제2 대비 증가 함수 간의 차이가 기 설정된 범위의 값을 갖도록, 상기 제1 대비 증가 함수 또는 상기 제2 대비 증가 함수를 스케일링하는 것을 특징으로 하는 영상 처리 방법.
  6. 삭제
  7. 삭제
  8. 입력 영상을 획득하는 영상 획득부;
    상기 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출하는 밝기 정보 산출부;
    상기 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여, 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출하는 채널 정보 산출부; 및
    (i) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 적어도 하나 및 (ii) 상기 출력 밝기 성분을 결합하여 출력 영상을 산출하는 출력 영상 산출부를 포함하며,
    상기 출력 영상 산출부는 상기 입력 영상에서 특정 영역을 검출하고, 상기 특정 영역에 (i) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 적어도 하나 및 (ii) 상기 출력 밝기 성분에 가중치를 적용하여, 상기 출력 영상을 산출하는 색상 틀어짐 방지부를 추가로 포함하며
    상기 특정영역은 (i) 상기 입력 영상의 상기 R채널, 상기 G채널, 및 상기 B채널 및 (ii) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 두 개 이상 채널들을 선택하여, 상기 두 개 이상의 채널들 간의 비율 변화를 기준으로 검출되는 것을 특징으로 하는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 제1 대비 증가 함수 또는 상기 제2 대비 증가 함수는 히스토그램 평활화 방식에 기반하여 추정되며,
    (i) 상기 입력 영상의 밝기 성분에 적용하는 상기 제1 대비 증가 함수와 (ii) 상기 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 적용하는 상기 제2 대비 증가 함수가 동일한 것을 특징으로 하는 영상 처리 장치.
  10. 제8항에 있어서,
    상기 제1 대비 증가 함수 또는 상기 제2 대비 증가 함수를 추정하는 블록 대비 증가 함수 추정부를 추가로 포함하며,
    상기 블록 대비 증가 함수 추정부는,
    상기 입력 영상을 기 설정된 사이즈를 갖는 복수의 블록들로 나누고, 상기 블록들에 대한 일루미넌스 값을 추정하고;
    상기 복수의 블록들에 대한 상기 제1 대비 증가 함수들 또는 상기 제2 대비 증가 함수들을 추정하고; 및
    상기 블록들에 대한 일루미넌스 값에 기반하여 상기 추정한 제1 대비 증가 함수 또는 상기 추정한 제2 대비 증가 함수를 조정하는 것을 특징으로 하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 일루미넌스 값은 주변 화소와의 평균 밝기 값을 나타내고, 상기 입력 영상의 밝기 값에 기 설정된 마스크 사이즈를 갖는 저주파 필터를 적용하여 추정되는 것을 특징으로 하는 영상 처리 장치.
  12. 제10항에 있어서,
    상기 블록 대비 증가 함수 추정부는,
    상기 복수의 블록들 중 소정의 거리에 위치한 인접 블록들 간에 일루미넌스 값의 차이가 기 설정된 범위 내에 존재하는지 여부를 판단하며,
    (i) 상기 입력 영상의 특정 위치의 일루미넌스 값 및 (ii) 상기 입력 영상의 특정 위치의 일루미넌스 값에 대한 상기 제1 대비 증가 함수 또는 상기 제2 대비 증가 함수 간의 차이가 기 설정된 범위의 값을 갖도록, 상기 제1 대비 증가 함수 또는 상기 제2 대비 증가 함수를 스케일링하는 것을 특징으로 하는 영상 처리 장치.
  13. 삭제
  14. 삭제
  15. 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 기록매체로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에,
    입력 영상을 획득하는 단계;
    상기 입력 영상의 밝기 성분에 제1 대비 증가 함수를 적용하여 출력 밝기 성분을 산출하는 단계;
    상기 입력 영상의 R채널, G채널, 및 B채널 중 적어도 하나에 제2 대비 증가 함수를 적용하여, 출력 R채널, 출력 G채널, 및 출력 B채널 중 적어도 하나를 산출하는 단계; 및
    (i) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 적어도 하나 및 (ii) 상기 출력 밝기 성분을 결합하여 출력 영상을 산출하는 단계를 포함한 동작들을 수행하며,
    상기 출력 영상을 산출하는 단계는, 상기 입력 영상에서 특정 영역을 검출하고, 상기 특정 영역에 (i) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 적어도 하나 및 (ii) 상기 출력 밝기 성분에 가중치를 적용하여, 상기 출력 영상을 산출하며,
    상기 특정영역은 (i) 상기 입력 영상의 상기 R채널, 상기 G채널, 및 상기 B채널 및 (ii) 상기 출력 R채널, 상기 출력 G채널, 및 상기 출력 B채널 중 두 개 이상 채널들을 선택하여, 상기 두 개 이상의 채널들 간의 비율 변화를 기준으로 검출되는 것을 특징으로 하는 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020160155901A 2016-11-22 2016-11-22 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치 KR101874538B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160155901A KR101874538B1 (ko) 2016-11-22 2016-11-22 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160155901A KR101874538B1 (ko) 2016-11-22 2016-11-22 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180057365A KR20180057365A (ko) 2018-05-30
KR101874538B1 true KR101874538B1 (ko) 2018-07-04

Family

ID=62300500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160155901A KR101874538B1 (ko) 2016-11-22 2016-11-22 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101874538B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301970B2 (en) 2019-05-02 2022-04-12 Samsung Electronics Co., Ltd. Image processing method and apparatus
US11373280B2 (en) 2019-05-16 2022-06-28 Samsung Electronics Co., Ltd. Electronic device and method of training a learning model for contrast ratio of an image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329902A (ja) * 2006-05-08 2007-12-20 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329902A (ja) * 2006-05-08 2007-12-20 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301970B2 (en) 2019-05-02 2022-04-12 Samsung Electronics Co., Ltd. Image processing method and apparatus
US11373280B2 (en) 2019-05-16 2022-06-28 Samsung Electronics Co., Ltd. Electronic device and method of training a learning model for contrast ratio of an image

Also Published As

Publication number Publication date
KR20180057365A (ko) 2018-05-30

Similar Documents

Publication Publication Date Title
US8948506B2 (en) Image processing device, image processing method, and program
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8861851B2 (en) Color highlight reconstruction
JP6269286B2 (ja) 画像ノイズ低減方法及び画像ノイズ低減装置
US8149293B2 (en) Image processing apparatus, imaging apparatus, image processing method and program recording medium
CN110246087B (zh) 参考多通道的多分辨率去除图像色度噪声的系统和方法
US9830690B2 (en) Wide dynamic range imaging method
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
US9153013B2 (en) Image processing apparatus, image processing method and computer readable medium
US8417025B2 (en) Image processing apparatus and program recording medium
KR101874538B1 (ko) 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치
WO2018100950A1 (ja) 画像処理装置、デジタルカメラ、画像処理プログラム、及び記録媒体
JP5907590B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN111861893A (zh) 一种消除图像伪彩色边方法、系统、设备及计算机介质
US9998631B2 (en) Information processing apparatus, method for processing information, and computer program
KR20130058972A (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
KR20180064028A (ko) 영상 처리 방법 및 장치
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
US20150055863A1 (en) Image processing apparatus and method of controlling the same
US11580620B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
KR101517407B1 (ko) 색수차 제거 방법 및 장치
CN116391202B (zh) 图像降噪方法、装置及芯片
JP7278234B2 (ja) 画像処理装置
KR20130000537A (ko) 퍼플 프린징 보정 장치 및 방법
KR101809384B1 (ko) Rwb 컬러 필터 어레이 사용 시 관심영역기반 화이트 채널과 밝기의 상관관계를 이용한 그린 채널 추출 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant