KR101711370B1 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR101711370B1
KR101711370B1 KR1020120120584A KR20120120584A KR101711370B1 KR 101711370 B1 KR101711370 B1 KR 101711370B1 KR 1020120120584 A KR1020120120584 A KR 1020120120584A KR 20120120584 A KR20120120584 A KR 20120120584A KR 101711370 B1 KR101711370 B1 KR 101711370B1
Authority
KR
South Korea
Prior art keywords
image
luminance channel
target image
separated
luminance
Prior art date
Application number
KR1020120120584A
Other languages
English (en)
Other versions
KR20140054733A (ko
Inventor
문영수
이시화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120120584A priority Critical patent/KR101711370B1/ko
Priority to US13/894,523 priority patent/US8929652B2/en
Publication of KR20140054733A publication Critical patent/KR20140054733A/ko
Application granted granted Critical
Publication of KR101711370B1 publication Critical patent/KR101711370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

온라인 밝기변환을 수행할 수 있는 영상 처리 방법 및 장치가 개시된다. 영상 처리 방법은 기준 영상 및 타겟 영상에서, 색차 채널의 크기에 기초하여 상기 기준 영상 및 상기 타겟 영상의 휘도 채널을 분리하는 단계; 상기 휘도 채널이 분리된 기준 영상을 이용하여 상기 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 단계; 상기 화질이 향상된 타겟 영상을 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 단계; 및 상기 화질이 향상된 타겟 영상의 휘도 채널과 상기 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하는 단계를 포함할 수 있다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING THE IMAGE}
아래의 설명은 노출 조건이 다른 복수 개의 영상을 이용하여 영상의 화질을 향상시키는 영상 처리 방법에 관한 것이다.
저조도 환경(조도가 상대적으로 낮은 어두운 환경)에서 카메라와 같은 영상 획득 장치로 영상을 촬영하는 경우 일반적으로 두 가지의 화질 열화 문제가 발생할 수 있다. 첫 번째로, 충분한 노출(exposure) 확보를 위해 장 노출 시간(long exposure time)을 설정하여 촬영하는 경우, 셔터 스피드가 길어지게 되고, 영상 획득 장치의 흔들림이나 오브젝트의 움직임에 의한 모션 블러(motion blur) 현상이 발생할 수 있다. 두 번째로, 단 노출 시간(short exposure time)을 설정하여 촬영하는 경우, 강한 영상 노이즈와 함께 컬러 왜곡 문제가 발생할 수 있다.
위와 같은 저조도 환경에서 촬영된 영상의 화질 열화 문제를 해결하기 위해, 한 장의 결과 영상에 기초하여 모션 블러를 제거하는 기술 및 고성능의 노이즈 제거 기술 등이 개발되어 왔다.
그러나, 장 노출 시간을 설정하여 촬영하는 경우에는 상대적으로 영상의 밝기 및 색감이 우수한 영상을 획득할 수 있고, 단 노출 시간을 설정하여 촬영하는 경우에는 모션 블러가 적은 디테일한 영상을 획득할 수 있다.
최근에는 위 내용에 기초하여 한 장의 영상이 아닌 여러 장의 영상을 연속적으로 촬영한 후, 이를 융합하여 처리하는 기술이 개발되고 있다. 예를 들어, 서로 다른 노출 조건에서 촬영된 영상을 이용하여 화질 열화 문제를 해결하려는 기술들이 개발되고 있다. 이와 같은 영상 처리 기술은 저조도 환경에서 촬영된 영상의 화질을 향상시키기 위해 또는 예술 사진과 같은 밝기나 색감을 위한 영상 편집 등에 이용될 수 있다.
현재 널리 사용되고 있는 카메라 신호 처리 장치(ISP, image signal processor)의 출력 영상은 일반적으로 전체 컬러 채널(full color channel) 영상(예를 들어, YCbCr444)이 아닌 일부 채널의 컴포넌트가 서브샘플링(sub-sampling)되거나 또는 다운샘플링(down sampling)된 영상(예를 들어, YCbCr422)이다. 일반적으로, YCbCr422 영상의 화질을 향상시키기 위해 YCbCr422 영상을 YCbCr444 영상으로 변환한 후에 영상 처리를 수행하고, 영상 처리된 YCbCr444 영상을 다시 YCbCr422 영상으로 재변환하는 방법이 이용되고 있다. 그러나 위와 같은 영상의 변환 과정은 시간 및 시스템의 자원을 소비하고, 화질의 열화 문제를 발생시킬 수 있으므로 이를 개선시키기 위한 영상 처리 기술이 요구되고 있다.
일실시예에 따른 영상 처리 방법은, 기준 영상 및 타겟 영상에서, 색차 채널의 크기에 기초하여 상기 기준 영상 및 상기 타겟 영상의 휘도 채널을 분리하는 단계; 상기 휘도 채널이 분리된 기준 영상을 이용하여 상기 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 단계; 상기 화질이 향상된 타겟 영상을 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 단계; 및 상기 화질이 향상된 타겟 영상의 휘도 채널과 상기 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하는 단계를 포함할 수 있다.
다른 실시예에 따른 영상 처리 방법은, 기준 영상 및 타겟 영상에서, 색차 채널의 크기에 기초하여 상기 기준 영상 및 상기 타겟 영상의 휘도 채널을 분리하는 단계; 상기 휘도 채널이 분리된 기준 영상 및 상기 휘도 채널이 분리된 타겟 영상의 색공간을 변환하는 단계; 상기 색공간이 변환된 기준 영상을 이용하여 상기 색공간이 변환된 타겟 영상의 화질을 향상시키는 단계; 상기 화질이 향상된 타겟 영상의 색공간을 원래의 색공간으로 재변환하는 단계; 상기 색공간이 재변환된 타겟 영상을 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 단계; 및 상기 화질이 향상된 타겟 영상의 휘도 채널과 상기 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 장치는, 기준 영상 및 타겟 영상에서, 색차 채널의 크기에 기초하여 상기 기준 영상 및 상기 타겟 영상의 휘도 채널을 분리하는 휘도 채널 분리부; 상기 휘도 채널이 분리된 기준 영상을 이용하여 상기 휘도 채널이 분리된 타겟 영상의 화질을 향상시키고, 상기 화질이 향상된 타겟 영상을 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 화질 향상부; 및 상기 화질이 향상된 타겟 영상의 휘도 채널과 상기 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하는 휘도 채널 조합부를 포함할 수 있다.
다른 실시예에 따른 영상 처리 장치는, 기준 영상 및 타겟 영상에서, 색차 채널의 크기에 기초하여 상기 기준 영상 및 상기 타겟 영상의 휘도 채널을 분리하는 휘도 채널 분리부; 상기 휘도 채널이 분리된 기준 영상 및 상기 휘도 채널이 분리된 타겟 영상의 색공간을 변환하는 색공간 변환부; 상기 색공간이 변환된 기준 영상을 이용하여 상기 색공간이 변환된 타겟 영상의 화질을 향상시키고, 화질이 향상된 타겟 영상을 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 화질 향상부; 및 상기 화질이 향상된 타겟 영상의 휘도 채널과 상기 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하는 휘도 채널 조합부를 포함할 수 있다.
도 1은 일실시예에 따른 영상 처리 장치가 타겟 영상의 화질을 향상시키는 전체적인 동작을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 3은 다른 실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 4는 일실시예에 따른 기준 영상을 이용하여 타겟 영상의 화질을 향상시키는 일례를 도시한 도면이다.
도 5는 일실시예에 따른 휘도 채널을 분리하는 일례를 도시한 도면이다.
도 6은 일실시예에 따른 영상 처리 방법의 동작을 도시한 흐름도이다.
도 7는 다른 실시예에 따른 영상 처리 방법의 동작을 도시한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행될 수 있으며, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 영상 처리 장치가 타겟 영상의 화질을 향상시키는 전체적인 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 영상 처리 장치(110)는 기준 영상(120) 및 타겟 영상(130)을 이용하여 영상 처리를 수행하고, 최종적으로 화질이 향상된 타겟 영상(140)을 출력할 수 있다. 영상 처리 장치(110)는 각각 하나 이상의 기준 영상(120) 또는 타겟 영상(130)을 이용할 수 있고, 복수 개의 타겟 영상(130)에서 추정한 움직임 정보를 이용하여 타겟 영상(130)의 노이즈를 제거할 수 있다. 이하에서는 설명의 편의를 위해 하나의 기준 영상(120) 및 타겟 영상(130)에 기초하여 설명하도록 한다.
기준 영상(reference image)(120)은 타겟 영상(target image)(130)에 비해 상대적으로 노출 시간이 긴 조건에서 촬영된 영상을 나타낸다. 따라서, 기준 영상(120)은 타겟 영상(130)에 비해 영상의 밝기가 밝거나 또는 색감이 우수할 수 있는 반면에 모션 블러 현상이 발생할 수 있다.
타겟 영상(130)은 영상 처리의 대상이 되는 영상을 나타내며, 기준 영상(120)에 비해 상대적으로 노출 시간이 짧은 조건에서 촬영된 영상을 나타낸다. 따라서, 타겟 영상(130)은 기준 영상(120)에 비해 영상의 밝기가 어둡거나 또는 색감이 왜곡될 수 있는 반면에 모션 블러가 적은 디테일한 영상을 나타낼 수 있다.
기준 영상(120) 및 타겟 영상(130)은 휘도 채널(luminance channel), 색차 채널(chroma channel)을 포함할 수 있다. 예를 들어, 기준 영상(120) 및 타겟 영상(130)의 포맷은 YCbCr의 색공간일 수 있고, 하나의 휘도 채널(Y), 두 개의 색차 채널(Cb, Cr)을 포함할 수 있다.
영상 처리 장치(110)는 기준 영상(120)의 밝기 또는 색감을 이용하여 상대적으로 밝기가 어둡거나 또는 색감이 왜곡된 타겟 영상(130)의 화질을 향상시킬 수 있다. 영상 처리 장치(110)는 위와 같은 영상 처리를 수행함에 있어, 기준 영상(120) 및 타겟 영상(130)을 구성하고 있는 휘도 채널을 분리하여 영상 처리를 수행할 수 있다. 이를 통해, 영상 처리 장치(110)는 별도의 포맷 변환 과정을 수행하지 아니하고 타겟 영상(130)의 화질을 향상시킬 수 있다.
예를 들어, 영상 처리 장치(110)에 YCbCr422 포맷의 기준 영상(120) 및 타겟 영상(130)이 입력되더라도, 영상 처리 장치(110)는 YCbCr422 포맷을 YCbCr444 포맷으로 변환하지 아니하고 타겟 영상(130)의 화질을 향상시킬 수 있고, 최종적으로 화질이 향상된 YCbCr422 포맷의 타겟 영상(140)을 출력할 수 있다.
위 일례에서는 YCbCr422 포맷의 기준 영상(120) 및 타겟 영상(130)에 기초하여 설명하였지만, 영상 처리 장치(110)는 YCbCr420 또는 YCbCr411 포맷 등의 기준 영상(120) 및 타겟 영상(130)을 입력으로 하여 영상 처리 과정을 수행할 수도 있다.
영상 처리 장치(110)는 입력 영상에 대한 별도의 포맷 변환 과정을 수행하지 않으므로, 영상 처리 시간의 단축 및 시스템 자원의 경제적 사용을 가능하게 한다. 또한, 영상 처리 장치(110)는 이를 통해 영상의 포맷 변환 과정에서 발생하는 화질의 열화 문제를 해결할 수 있으며, 영상 처리 과정에서의 계산량을 최소화할 수 있다.
영상 처리 장치(110)는 카메라, 폰 카메라, 태블릿 PC(tablet PC), 퍼스널 컴퓨터 등에 내장 또는 외장될 수 있다. 그리고, 영상 처리 장치(110)가 수행하는 영상 처리 방법은 미래형 HMD(head mount display) 형태의 증강 현실(AR, augmented reality) 안경 또는 지능형 자동차의 HUD(head-up display) 형태의 증강 현실 윈드실드(windshield) 등에 적용될 수 있다.
도 2는 일실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 2를 참조하면, 일실시예에 따른 영상 처리 장치(210)는 휘도 채널 분리부(220), 화질 향상부(230) 및 휘도 채널 조합부(240)를 포함할 수 있다.
휘도 채널 분리부(220)는 기준 영상 및 타겟 영상에서, 색차 채널의 크기에 기초하여 기준 영상 및 타겟 영상의 휘도 채널을 분리할 수 있다. 휘도 채널 및 색차 채널의 크기는 양 채널 간의 상대적인 개념으로, 채널 영상의 크기, 면적, 단위 픽셀 당 포함되는 채널의 수, 일정 시간 동안 샘플링되거나 또는 디스플레이되는 채널의 수 등을 나타낼 수 있다.
휘도 채널 분리부(220)는 기준 영상 및 타겟 영상이 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함하도록 기준 영상 및 타겟 영상의 휘도 채널을 분리할 수 있다.
예를 들어, YCbCr422 포맷의 기준 영상 및 타겟 영상이 입력되는 경우, 휘도 채널 분리부(220)는 각각의 기준 영상 및 타겟 영상에서, 색차 채널(Cb, Cr)의 크기인 "2"에 기초하여 휘도 채널(Y)을 크기가 "2"인 두 개의 휘도 채널(Y)들로 분리할 수 있다.
다른 예로, YCbCr420 또는 YCbCr411 포맷의 기준 영상 및 타겟 영상이 입력되는 경우, 휘도 채널 분리부(220)는 각각의 기준 영상 및 타겟 영상에서, Cb, Cr 채널의 크기인 "1"에 기초하여 Y 채널을 크기가 "1"인 Y 채널과 크기가 "3"인 Y 채널로 분리할 수 있다.
휘도 채널을 분리하는 경우에 있어, 휘도 채널 분리부(220)는 휘도 채널의 컴포넌트들을 교대로 샘플링하여 휘도 채널을 두 개의 휘도 채널들로 분리할 수 있다. 휘도 채널 분리부(220)는 휘도 채널의 영상에서 컬럼(column) 방향, 로우(row) 방향 또는 컬럼 방향 및 로우 방향에 기초하여 휘도 채널의 컴포넌트들을 교대로 샘플링할 수 있다.
예를 들어, 휘도 채널 분리부(220)는 홀수 번째 컬럼(로우)에 있는 휘도 채널의 컴포넌트들을 샘플링하여 하나의 휘도 채널로 생성하고, 짝수 번째 컬럼(로우)에 있는 휘도 채널의 컴포넌트들을 샘플링하여 또 다른 휘도 채널을 생성할 수 있다. YCbCr420 또는 YCbCr411 포맷의 기준 영상 및 타겟 영상이 입력되는 경우, 휘도 채널 분리부(220)는 컬럼 방향 및 로우 방향 모두에 기초하여 휘도 채널의 컴포넌트들을 교대로 샘플링할 수 있다.
휘도 채널 분리부(220)가 수행하는 위 과정을 통해, 색차 채널의 크기와 동일한 크기의 휘도 채널이 포함된 기준 영상 및 타겟 영상(예를 들어, YCbCr222 컬러 영상), 기준 영상 및 타겟 영상에서 분리된 휘도 채널(Y 모노 영상)이 생성될 수 있다.
화질 향상부(230)는 휘도 채널이 분리된 기준 영상을 이용하여 휘도 채널이 분리된 타겟 영상의 화질을 향상시킬 수 있다. 화질 향상부(230)는 휘도 채널이 분리된 기준 영상의 밝기 또는 색감 정보를 이용하여 휘도 채널이 분리된 타겟 영상의 화질을 향상시킬 수 있다.
구체적으로, 화질 향상부(230)는 휘도 채널이 분리된 기준 영상과 휘도 채널이 분리된 타겟 영상 간의 밝기변환 관계를 이용할 수 있고, 밝기변환 관계는 히스토그램 매칭(histogram matching) 기법을 통해 도출될 수 있다. 예를 들어, 화질 향상부(230)는 휘도 채널이 분리된 기준 영상과 휘도 채널이 분리된 타겟 영상의 히스토그램을 계산하고, 계산된 히스토그램에 기초하여 누적 히스토그램을 계산할 수 있으며, 누적 히스토그램에 기초하여 밝기변환 맵핑(mapping)을 수행할 수 있다.
화질 향상부(230)는 실시간으로 계산된 밝기변환 관계 모델을 이용하여 휘도 채널이 분리된 타겟 영상의 화질을 향상시킬 수 있고, 이를 통해 휘도 채널이 분리된 타겟 영상은 휘도 채널이 분리된 기준 영상의 화질과 유사한 화질을 가질 수 있다.
또는, 화질 향상부(230)는 캘리브레이션(calibration)을 통해 도출된 밝기변환 관계를 이용하여 휘도 채널이 분리된 타겟 영상의 화질을 향상시킬 수 있다. 예를 들어, 화질 향상부(230)는 룩업 테이블(LUT, lookup table) 형태로 저장된 밝기변환 모델을 이용하여 휘도 채널이 분리된 타겟 영상의 화질을 향상시킬 수 있다.
휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 과정이 종료되면, 화질 향상부(230)는 화질이 향상된 타겟 영상을 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다.
구체적으로, 화질 향상부(230)는 화질이 향상된 타겟 영상에 포함된 휘도 채널의 밝기 또는 색감 정보를 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다. 화질 향상부(230)는 앞서 설명한 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 방법과 동일한 방법을 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다.
예를 들어, 화질 향상부(230)는 타겟 영상에서 분리된 휘도 채널의 영상을 향상시키기 위해 화질이 향상된 타겟 영상에 포함된 휘도 채널과 타겟 영상에서 분리된 휘도 채널 간의 밝기변환 관계를 이용할 수 있고, 히스토그램 매칭 기법 또는 룩업 테이블을 이용할 수 있다.
다른 실시예에 따르면, 화질 향상부(230)는 타겟 영상에 포함된 휘도 채널이 아닌 기준 영상에 포함된 휘도 채널을 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수도 있다.
휘도 채널 조합부(240)는 화질이 향상된 타겟 영상의 휘도 채널과 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합할 수 있다. 구체적으로, 휘도 채널 조합부(240)는 휘도 채널 분리부(220)가 수행했던 휘도 채널의 분리 과정을 역으로 수행하여 타겟 영상의 휘도 채널을 조합할 수 있다.
휘도 채널 조합부(240)가 화질이 향상된 타겟 영상의 휘도 채널과 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하면, 최종적으로 원래의 타겟 영상에 비해 화질이 향상된 타겟 영상이 생성될 수 있다. 예를 들어, 영상 처리 장치(210)는 영상 포맷의 변환 과정을 수행하지 않아도 타겟 영상의 화질을 향상시킬 수 있다.
도 3은 다른 실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 3을 참조하면, 다른 실시예에 따른 영상 처리 장치(310)는 휘도 채널 분리부(320), 색공간 변환부(330), 화질 향상부(340) 및 휘도 채널 조합부(350)를 포함할 수 있다.
휘도 채널 분리부(320)는 기준 영상 및 타겟 영상에서, 색차 채널의 크기에 기초하여 기준 영상 및 타겟 영상의 휘도 채널을 분리할 수 있다. 구체적으로, 휘도 채널 분리부(320)는 기준 영상 및 타겟 영상이 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함하도록 기준 영상 및 타겟 영상의 휘도 채널을 분리할 수 있다.
예를 들어, YCbCr422 포맷의 기준 영상 및 타겟 영상이 입력되는 경우, 휘도 채널 분리부(320)는 각각의 기준 영상 및 타겟 영상에서, 색차 채널(Cb, Cr)의 크기인 "2"에 기초하여 휘도 채널(Y)을 크기가 "2"인 두 개의 휘도 채널(Y)들로 분리할 수 있다.
다른 예로, YCbCr420 또는 YCbCr411 포맷의 기준 영상 및 타겟 영상이 입력되는 경우, 휘도 채널 분리부(320)는 각각의 기준 영상 및 타겟 영상에서, Cb, Cr 채널의 크기인 "1"에 기초하여 Y 채널을 크기가 "1"인 Y 채널과 크기가 "3"인 Y 채널로 분리할 수 있다.
휘도 채널 분리부(320)는 휘도 채널의 컴포넌트들을 교대로 샘플링하여 휘도 채널을 두 개의 휘도 채널들로 분리할 수 있다. 휘도 채널 분리부(320)는 휘도 채널의 영상에서 컬럼 방향, 로우 방향 또는 컬럼 방향 및 로우 방향에 기초하여 휘도 채널의 컴포넌트들을 교대로 샘플링할 수 있다.
예를 들어, 휘도 채널 분리부(320)는 홀수 번째 컬럼(로우)에 있는 휘도 채널의 컴포넌트들을 샘플링하여 하나의 휘도 채널로 생성하고, 짝수 번째 컬럼(로우)에 있는 휘도 채널의 컴포넌트들을 샘플링하여 또 다른 휘도 채널을 생성할 수 있다.
색공간 변환부(330)는 휘도 채널이 분리된 기준 영상 및 휘도 채널이 분리된 타겟 영상의 색공간을 변환할 수 있다. 예를 들어, 색공간 변환부(330)는 휘도 채널이 분리된 기준 영상 및 휘도 채널이 분리된 타겟 영상을 YCbCr 포맷의 영상에서 RGB 포맷, CIE 포맷 등을 포함하는 다른 색공간의 영상으로 변환할 수 있다. 또한, 색공간 변환부(330)는 RGB 포맷 또는 CIE 포맷 등의 영상을 원래의 YCbCr 포맷의 영상으로 재변환할 수 있다. 색공간 변환부(330)는 색공간 변환 공식을 이용하여 영상의 포맷 변환을 수행할 수 있다.
색공간 변환부(330)가 휘도 채널이 분리된 타겟 영상을 YCbCr 포맷의 영상에서 RGB 포맷 등의 영상으로 변환함으로써, 화질 향상부(340)는 타겟 영상의 색감 복원 측면에서 YCbCr 포맷보다 우수한 RGB 포맷의 영역에서 영상 처리를 수행할 수 있다. 색공간 변환부(330)는 화질 향상부(340)가 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 과정을 종료하면, 화질이 향상 타겟 영상을 RGB 포맷의 영상에서 YCbCr 포맷의 영상으로 재변환할 수 있다.
화질 향상부(340)는 색공간이 변환된 기준 영상을 이용하여 색공간이 변환된 타겟 영상의 화질을 향상시킬 수 있다. 예를 들어, 화질 향상부(340)는 YCbCr 포맷의 영상에서 RGB 포맷의 영상으로 변환된 기준 영상 및 타겟 영상에 기초하여 타겟 영상의 화질을 향상시킬 수 있다. 화질 향상부(340)는 색공간이 변환된 기준 영상의 밝기 또는 색감 정보를 이용하여 색공간이 변환된 타겟 영상의 화질을 향상시킬 수 있다.
화질 향상부(340)는 색공간이 변환된 기준 영상과 색공간이 변환된 타겟 영상 간의 밝기변환 관계를 이용할 수 있고, 밝기변환 관계는 히스토그램 매칭 기법을 통해 도출될 수 있다. 예를 들어, 화질 향상부(340)는 색공간이 변환된 기준 영상과 색공간이 변환된 타겟 영상의 히스토그램을 계산하고, 계산된 히스토그램에 기초하여 누적 히스토그램을 계산할 수 있으며, 누적 히스토그램에 기초하여 밝기변환 맵핑을 수행할 수 있다.
화질 향상부(340)는 실시간으로 계산된 밝기변환 관계 모델을 이용하여 색공간이 변환된 타겟 영상의 화질을 향상시킬 수 있고, 이를 통해 색공간이 변환된 타겟 영상은 색공간이 변환된 기준 영상의 화질과 유사한 화질을 가질 수 있다. 또는, 화질 향상부(340)는 캘리브레이션을 통해 도출된 밝기변환 관계 또는 룩업 테이블 등을 이용하여 색공간이 변환된 타겟 영상의 화질을 향상시킬 수 있다.
앞서 기재하였듯이, 화질 향상부(340)가 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 과정을 종료하면, 색공간 변환부(330)는 화질이 향상된 타겟 영상을 RGB 포맷의 영상에서 YCbCr 포맷의 영상으로 재변환할 수 있다.
색공간 변환부(330)에 의해 화질이 향상된 타겟 영상의 포맷이 재변환되면, 화질 향상부(340)는 화질이 향상된 타겟 영상을 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다.
구체적으로, 화질 향상부(340)는 화질이 향상된 타겟 영상에 포함된 휘도 채널의 밝기 또는 색감 정보를 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다. 화질 향상부(340)는 타겟 영상에서 분리된 휘도 채널의 영상을 향상시키기 위해 화질이 향상된 타겟 영상에 포함된 휘도 채널과 타겟 영상에서 분리된 휘도 채널 간의 밝기변환 관계를 이용할 수 있고, 히스토그램 매칭 기법 또는 룩업 테이블을 이용할 수 있다.
다른 실시예에 따르면, 화질 향상부(340)는 타겟 영상에 포함된 휘도 채널이 아닌 기준 영상에 포함된 휘도 채널을 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수도 있다.
휘도 채널 조합부(350)는 화질이 향상된 타겟 영상의 휘도 채널과 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합할 수 있다. 구체적으로, 휘도 채널 조합부(350)는 휘도 채널 분리부(320)가 수행했던 휘도 채널의 분리 과정을 역으로 수행하여 타겟 영상의 휘도 채널을 조합할 수 있다.
휘도 채널 조합부(350)가 화질이 향상된 타겟 영상의 휘도 채널과 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하면, 최종적으로 원래의 타겟 영상에 비해 화질이 향상된 타겟 영상이 생성될 수 있다.
도 4는 일실시예에 따른 기준 영상을 이용하여 타겟 영상의 화질을 향상시키는 일례를 도시한 도면이다.
도 4에서는, 영상 처리 장치가 휘도 채널을 분리하는 과정을 통해 타겟 영상의 화질을 향상시키는 과정이 도시되어 있다.
설명의 편의를 위해 기준 영상(405) 및 타겟 영상(410)은 YCbCr422 포맷이고, 휘도 채널들(415, 430)은 높이 H, 너비 W의 영상을 나타내며, 색차 채널들(420, 425, 435, 440)은 높이 H, 너비 W/2의 영상을 나타낸다고 가정한다.
휘도 채널들(415, 430)의 너비는 W인데 반해 색차 채널들(420, 425, 435, 440)의 너비는 W/2이므로, 영상 처리 장치는 기준 영상(405) 및 타겟 영상(410)이 색차 채널들(420, 425, 435, 440)의 크기와 동일한 크기의 휘도 채널을 포함하도록 기준 영상(405) 및 타겟 영상(410)의 휘도 채널들(415, 430)을 분리할 수 있다.
따라서, 영상 처리 장치는 기준 영상(405) 및 타겟 영상(410)에 포함된 휘도 채널들(415, 430)을 높이 H, 너비 W/2의 크기를 가지는 두 개의 휘도 채널들(445, 450, 455, 460)로 분리할 수 있다. 기준 영상(405) 및 타겟 영상(410)의 휘도 채널들(415, 430)이 분리되면, 색차 채널들(420, 425, 435, 440)의 크기와 동일한 크기의 휘도 채널(445, 455)을 포함하는 기준 영상(이하 "기준 영상 2")(465) 및 타겟 영상(이하 "타겟 영상 2")(470), 기준 영상(405) 및 타겟 영상(410)에서 분리된 휘도 채널들(450, 460)이 생성될 수 있다.
영상 처리 장치는 기준 영상 2(465)의 밝기 또는 색감 정보를 이용하여 타겟 영상 2(470)의 화질을 향상시킬 수 있다. 구체적으로, 영상 처리 장치는 히스토그램 매칭 기법을 통해 도출된 기준 영상 2(465)와 타겟 영상 2(470)의 밝기변환 관계를 이용하여 타겟 영상 2(470)의 화질을 향상시킬 수 있다. 또는, 영상 처리 장치는 캘리브레이션을 통해 도출된 밝기변환 관계 또는 룩업 테이블을 이용하여 타겟 영상 2(470)의 화질을 향상시킬 수도 있다.
영상 처리 장치는 타겟 영상(410)의 화질을 향상시키기 위해 입력된 기준 영상(405) 및 타겟 영상(410)을 전체 컬러 채널인 YCbCr444 포맷으로 변환할 필요 없이, YCbCr422 포맷에서 영상 처리를 수행할 수 있다.
화질이 향상된 타겟 영상 2(이하 "타겟 영상 3")(472)은 화질이 향상된 휘도 채널(474) 및 색차 채널들(476, 478)을 포함할 수 있다. 영상 처리 장치는 타겟 영상 2(470)의 화질이 향상되면, 타겟 영상 3(472)에 포함된 휘도 채널(474)을 이용하여 타겟 영상(410)에서 분리된 휘도 채널(460)의 영상의 화질을 향상시킬 수 있다. 이 경우, 영상 처리 장치는 타겟 영상 3(472)에 포함된 휘도 채널(474)과 타겟 영상(410)에서 분리된 휘도 채널(460) 간의 밝기변환 관계를 이용할 수 있고, 밝기 변환 관계는 히스토그램 매칭 기법, 룩업 테이블 등에 기초할 수 있다.
영상 처리 장치는 타겟 영상 3(472)에 포함된 휘도 채널(474)과 타겟 영상(410)에서 분리되어 화질이 향상된 휘도 채널(480)을 조합하여 하나의 휘도 채널(482)을 생성할 수 있고, 전체적으로 화질이 향상된 타겟 영상(484)을 출력할 수 있다. 이 경우, 영상 처리 장치는 휘도 채널이 분리된 과정을 역으로 수행하여 타겟 영상의 휘도 채널들(474, 480)을 조합할 수 있다.
다른 실시예에 따르면, 영상 처리 장치는 타겟 영상(410)의 화질을 향상시키기 위해 색공간을 변환할 수 있다. 예를 들어, 영상 처리 장치는 기준 영상(405) 및 타겟 영상(410)의 포맷을 YCbCr422에서 RGB으로 변환하고, RGB 포맷에 기초하여 타겟 영상(410)의 화질을 향상시킬 수 있다. 영상 처리 장치는 RGB 포맷 영역에서 영상 처리를 수행함으로써, 색감 측면에서 보다 우수한 화질의 타겟 영상을 생성할 수 있다.
예를 들어, 영상 처리 장치는 기준 영상 2(465) 및 타겟 영상 2(470)를 RGB 포맷으로 변환하고, RGB 포맷 영역에서 타겟 영상 2(470)의 화질을 향상시킬 수 있다. 또한, 영상 처리 장치는 타겟 영상 2(470)의 화질이 향상되면, 타겟 영상 2(470)에서 화질이 향상된 타겟 영상 3(472)을 원래의 포맷인 YCbCr422으로 재변환할 수 있다.
타겟 영상 3(472)이 원래의 영상 포맷으로 재변환되면, 영상 처리 장치는 타겟 영상 3(472)에 포함된 휘도 채널(474)을 이용하여 타겟 영상(410)에서 분리된 휘도 채널(460)의 영상의 화질을 향상시킬 수 있다. 타겟 영상(410)에 분리된 휘도 채널(460)의 영상의 화질이 향상되면, 영상 처리 장치는 타겟 영상의 휘도 채널들(474, 480)을 조합하여 전체적으로 화질이 향상된 타겟 영상(484)을 생성할 수 있다.
도 5는 일실시예에 따른 휘도 채널을 분리하는 일례를 도시한 도면이다.
도 5에서는, 영상 처리 장치가 기준 영상 및 타겟 영상에 포함된 휘도 채널(510)을 분리하는 과정이 도시되어 있다. 설명의 편의를 위해 기준 영상 및 타겟 영상은 YCbCr422 포맷이고, 휘도 채널(510)은 높이 H, 너비 W의 영상을 나타내며, 색차 채널들은 높이 H, 너비 W/2의 영상을 나타낸다고 가정한다.
동일한 과정을 통해 기준 영상 및 타겟 영상의 휘도 채널이 분리될 수 있으므로, 도 5에서는 타겟 영상의 휘도 채널(510)이 분리되는 과정만을 설명하도록 한다.
타겟 영상에서 색차 채널의 크기가 높이 H, 너비 W/2이라면, 휘도 채널(510)의 크기는 높이 H, 너비 W이므로, 영상 처리 장치는 색차 채널의 크기에 기초하여 휘도 채널(510)을 분리할 수 있다. 영상 처리 장치는 타겟 영상이 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함하도록 휘도 채널을 분리할 수 있다. 따라서, 영상 처리 장치는 타겟 영상의 휘도 채널을 높이 H, 너비 W/2의 크기를 가지는 두 개의 휘도 채널들(520, 530)로 분리할 수 있다.
이 경우, 영상 처리 장치는 휘도 채널(510)의 컴포넌트들을 교대로 샘플링하여 휘도 채널을 두 개의 휘도 채널들(520, 530)로 분리할 수 있다. 영상 처리 장치가 샘플링을 수행하는 방향은 컬럼 방향, 로우 방향 또는 컬럼 방향 및 로우 방향이 될 수 있다. 타겟 영상에 포함된 휘도 채널(510)의 너비가 W에서 W/2로 줄어들어야 하므로, 영상 처리 장치는 컬럼 방향으로 샘플링을 수행하여 휘도 채널(510)을 분리할 수 있다.
영상 처리 장치는 타겟 영상에 포함된 휘도 채널(510)을 컬럼 방향으로 분할하여 홀수 번째 컬럼에 있는 휘도 채널(510)의 컴포넌트들을 하나의 휘도 채널(520)로 생성하고, 짝수 번째 컬럼에 있는 휘도 채널(510)의 컴포넌트들을 또 다른 휘도 채널(530)로 생성할 수 있다. 도 5에서, 빗금 친 영역은 설명의 편의를 위한 것이고, 다른 영역과 구별되는 특징을 갖는 것은 아니다.
타겟 영상에 포함된 휘도 채널의 너비는 그대로이고, 높이가 H/2로 줄어들어야 하는 경우, 영상 처리 장치는 로우 방향으로 휘도 채널의 컴포넌트들을 샘플링할 수 있다.
또한, 입력으로 YCbCr420 또는 YCbCr411 포맷이 입력되는 경우에는 타겟 영상에 포함된 휘도 채널의 높이뿐만 아니라 너비도 1/2로 줄어들어야 하므로, 영상 처리 장치는 휘도 채널의 컴포넌트들을 컬럼 방향 및 로우 방향 모두에 대해 샘플링을 수행할 수 있다. 이 경우, 영상 처리 장치는 먼저 컬럼 방향으로 샘플링을 수행한 후에 로우 방향의 샘플링을 수행하거나 또는 로우 방향으로 샘플링을 수행한 후에 컬럼 방향으로 샘플링을 수행할 수 있다.
도 6은 일실시예에 따른 영상 처리 방법의 동작을 도시한 흐름도이다.
단계(610)에서, 영상 처리 장치는 기준 영상 및 타겟 영상에서, 색차 채널의 크기에 기초하여 기준 영상 및 타겟 영상의 휘도 채널을 분리할 수 있다. 영상 처리 장치는 기준 영상 및 타겟 영상이 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함하도록 기준 영상 및 타겟 영상의 휘도 채널을 분리할 수 있다.
영상 처리 장치는 휘도 채널을 분리하는 경우에 있어, 휘도 채널의 컴포넌트들을 교대로 샘플링하여 휘도 채널을 두 개의 휘도 채널들로 분리할 수 있다. 영상 처리 장치는 휘도 채널의 영상에서 컬럼 방향, 로우 방향 또는 컬럼 방향 및 로우 방향에 기초하여 휘도 채널의 컴포넌트들을 교대로 샘플링할 수 있다.
단계(620)에서, 영상 처리 장치는 휘도 채널이 분리된 기준 영상을 이용하여 휘도 채널이 분리된 타겟 영상의 화질을 향상시킬 수 있다. 영상 처리 장치는 휘도 채널이 분리된 기준 영상의 밝기 또는 색감 정보를 이용하여 휘도 채널이 분리된 타겟 영상의 화질을 향상시킬 수 있다.
구체적으로, 영상 처리 장치는 휘도 채널이 분리된 기준 영상과 휘도 채널이 분리된 타겟 영상 간의 밝기변환 관계를 이용할 수 있고, 밝기변환 관계는 히스토그램 매칭 기법을 통해 도출될 수 있다. 또는, 영상 처리 장치는 캘리브레이션을 통해 도출된 밝기변환 관계 또는 룩업 테이블을 이용하여 휘도 채널이 분리된 타겟 영상의 화질을 향상시킬 수 있다.
영상 처리 장치는 휘도 채널이 분리된 기준 영상과 휘도 채널이 분리된 타겟 영상 간의 밝기변환 관계를 이용하여 휘도 채널이 분리된 타겟 영상의 화질을 향상시킬 수 있다.
단계(630)에서, 영상 처리 장치는 화질이 향상된 타겟 영상을 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다. 영상 처리 장치는 화질이 향상된 타겟 영상과 타겟 영상에서 분리된 휘도 채널의 영상 간의 밝기변환 관계를 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다. 영상 처리 장치는 히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다.
단계(640)에서, 영상 처리 장치는 화질이 향상된 타겟 영상의 휘도 채널과 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합할 수 있다. 구체적으로, 영상 처리 장치는 휘도 채널 분리부가 수행했던 휘도 채널의 분리 과정을 역으로 수행하여 타겟 영상의 휘도 채널을 조합할 수 있다. 영상 처리 장치가 화질이 향상된 타겟 영상의 휘도 채널과 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하면, 최종적으로 원래의 타겟 영상에 비해 화질이 향상된 타겟 영상이 생성될 수 있다.
도 7는 다른 실시예에 따른 영상 처리 방법의 동작을 도시한 흐름도이다.
단계(710)에서, 영상 처리 장치는 기준 영상 및 타겟 영상에서, 색차 채널의 크기에 기초하여 기준 영상 및 타겟 영상의 휘도 채널을 분리할 수 있다. 영상 처리 장치는 기준 영상 및 타겟 영상이 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함하도록 기준 영상 및 타겟 영상의 휘도 채널을 분리할 수 있다. 또한, 영상 처리 장치는 휘도 채널의 컴포넌트들을 교대로 샘플링하여 휘도 채널을 두 개의 휘도 채널들로 분리할 수 있다.
단계(720)에서, 영상 처리 장치는 휘도 채널이 분리된 기준 영상 및 휘도 채널이 분리된 타겟 영상의 색공간을 변환할 수 있다. . 예를 들어, 영상 처리 장치는 휘도 채널이 분리된 기준 영상 및 휘도 채널이 분리된 타겟 영상을 YCbCr 포맷의 영상에서 RGB 포맷, CIE 포맷 등을 포함하는 다른 색공간의 영상으로 변환할 수 있다. 이 경우, 영상 처리 장치는 색공간 변환 공식을 이용할 수 있다. 영상 처리 장치는 이를 통해, 타겟 영상의 색감 복원 측면에서 YCbCr 포맷보다 우수한 RGB 포맷의 영역에서 영상 처리를 수행할 수 있다.
단계(730)에서, 영상 처리 장치는 색공간이 변환된 기준 영상을 이용하여 색공간이 변환된 타겟 영상의 화질을 향상시킬 수 있다. 영상 처리 장치는 색공간이 변환된 기준 영상과 색공간이 변환된 타겟 영상 간의 밝기변환 관계를 이용할 수 있고, 밝기변환 관계는 히스토그램 매칭 기법을 통해 도출될 수 있다. 예를 들어, 영상 처리 장치는 색공간이 변환된 기준 영상과 색공간이 변환된 타겟 영상의 히스토그램을 계산하고, 계산된 히스토그램에 기초하여 누적 히스토그램을 계산할 수 있으며, 누적 히스토그램에 기초하여 밝기변환 맵핑을 수행할 수 있다.
단계(740)에서, 영상 처리 장치는 화질이 향상된 타겟 영상의 색공간을 원래의 색공간으로 재변환할 수 있다. 예를 들어, 영상 처리 장치는 RGB 포맷 또는 CIE 포맷 등의 영역에서 화질이 향상된 타겟 영상을 원래의 YCbCr 포맷으로 재변환할 수 있다.
단계(750)에서, 영상 처리 장치는 색공간이 재변환된 타겟 영상을 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다.
영상 처리 장치는 색공간이 재변환된 타겟 영상과 타겟 영상에서 분리된 휘도 채널의 영상 간의 밝기변환 관계를 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다. 영상 처리 장치는 히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수 있다.
다른 실시예에 따르면, 영상 처리 장치는 타겟 영상에 포함된 휘도 채널이 아닌 기준 영상에 포함된 휘도 채널을 이용하여 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시킬 수도 있다.
단계(760)에서, 영상 처리 장치는 화질이 향상된 타겟 영상의 휘도 채널과 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합할 수 있다. 구체적으로, 휘도 채널 조합부는 휘도 채널 분리부가 수행했던 휘도 채널의 분리 과정을 역으로 수행하여 타겟 영상의 휘도 채널을 조합할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

  1. 색차 채널의 크기에 기초하여 기준 영상의 휘도 채널 및 타겟 영상의 휘도 채널을 분리하는 단계 - 상기 휘도 채널이 분리된 기준 영상 및 상기 휘도 채널이 분리된 타겟 영상은 각각 상기 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함함 -;
    상기 휘도 채널이 분리된 기준 영상을 이용하여 상기 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 단계;
    상기 화질이 향상된 타겟 영상을 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 단계; 및
    상기 화질이 향상된 타겟 영상에 포함된 휘도 채널과 상기 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 휘도 채널을 분리하는 단계는,
    기준 영상 및 타겟 영상이 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함하도록 기준 영상 및 타겟 영상의 휘도 채널을 분리하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 휘도 채널을 분리하는 단계는,
    휘도 채널의 컴포넌트들을 교대로 샘플링하여 휘도 채널을 두 개의 휘도 채널들로 분리하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 단계는,
    상기 휘도 채널이 분리된 기준 영상과 상기 휘도 채널이 분리된 타겟 영상 간의 밝기변환 관계를 이용하여 상기 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 영상 처리 방법.
  5. 제4항에 있어서,
    상기 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 단계는,
    히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 상기 휘도 채널이 분리된 타겟 영상의 화질을 향상시키는 영상 처리 방법.
  6. 제1항에 있어서,
    상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 단계는,
    상기 화질이 향상된 타겟 영상과 상기 타겟 영상에서 분리된 휘도 채널의 영상 간의 밝기변환 관계를 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 영상 처리 방법.
  7. 제6항에 있어서,
    상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 단계는,
    히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 영상 처리 방법.
  8. 색차 채널의 크기에 기초하여 기준 영상의 휘도 채널 및 타겟 영상의 휘도 채널을 분리하는 단계 - 상기 휘도 채널이 분리된 기준 영상 및 상기 휘도 채널이 분리된 타겟 영상은 각각 상기 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함함 -;
    상기 휘도 채널이 분리된 기준 영상 및 상기 휘도 채널이 분리된 타겟 영상의 색공간을 변환하는 단계;
    상기 색공간이 변환된 기준 영상을 이용하여 상기 색공간이 변환된 타겟 영상의 화질을 향상시키는 단계;
    상기 화질이 향상된 타겟 영상의 색공간을 원래의 색공간으로 재변환하는 단계;
    상기 색공간이 재변환된 타겟 영상을 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 단계; 및
    상기 화질이 향상된 타겟 영상에 포함된 휘도 채널과 상기 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하는 단계
    를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 휘도 채널을 분리하는 단계는,
    기준 영상 및 타겟 영상이 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함하도록 기준 영상 및 타겟 영상의 휘도 채널을 분리하는 영상 처리 방법.
  10. 제9항에 있어서,
    상기 휘도 채널을 분리하는 단계는,
    휘도 채널의 컴포넌트들을 교대로 샘플링하여 휘도 채널을 두 개의 휘도 채널들로 분리하는 영상 처리 방법.
  11. 제8항에 있어서,
    상기 색공간이 변환된 타겟 영상의 화질을 향상시키는 단계는,
    상기 색공간이 변환된 기준 영상과 상기 색공간이 변환된 타겟 영상 간의 밝기변환 관계를 이용하여 상기 색공간이 변환된 타겟 영상의 화질을 향상시키는 영상 처리 방법.
  12. 제11항에 있어서,
    상기 색공간이 변환된 타겟 영상의 화질을 향상시키는 단계는,
    히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 상기 색공간이 변환된 타겟 영상의 화질을 향상시키는 영상 처리 방법.
  13. 제8항에 있어서,
    상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 단계는,
    상기 색공간이 재변환된 타겟 영상과 상기 타겟 영상에서 분리된 휘도 채널의 영상 간의 밝기변환 관계를 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 단계는,
    히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 영상 처리 방법.
  15. 제1항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  16. 색차 채널의 크기에 기초하여 기준 영상의 휘도 채널 및 타겟 영상의 휘도 채널을 분리하는 휘도 채널 분리부 - 상기 휘도 채널이 분리된 기준 영상 및 상기 휘도 채널이 분리된 타겟 영상은 각각 상기 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함함 -;
    상기 휘도 채널이 분리된 기준 영상을 이용하여 상기 휘도 채널이 분리된 타겟 영상의 화질을 향상시키고, 상기 화질이 향상된 타겟 영상을 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 화질 향상부; 및
    상기 화질이 향상된 타겟 영상에 포함된 휘도 채널과 상기 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하는 휘도 채널 조합부
    를 포함하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 휘도 채널 분리부는,
    기준 영상 및 타겟 영상이 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함하도록 기준 영상 및 타겟 영상의 휘도 채널을 분리하는 영상 처리 장치.
  18. 제17항에 있어서,
    상기 휘도 채널 분리부는,
    휘도 채널의 컴포넌트들을 교대로 샘플링하여 휘도 채널을 두 개의 휘도 채널들로 분리하는 영상 처리 장치.
  19. 색차 채널의 크기에 기초하여 기준 영상의 휘도 채널 및 타겟 영상의 휘도 채널을 분리하는 휘도 채널 분리부 - 상기 휘도 채널이 분리된 기준 영상 및 상기 휘도 채널이 분리된 타겟 영상은 각각 상기 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함함 -;
    상기 휘도 채널이 분리된 기준 영상 및 상기 휘도 채널이 분리된 타겟 영상의 색공간을 변환하는 색공간 변환부;
    상기 색공간이 변환된 기준 영상을 이용하여 상기 색공간이 변환된 타겟 영상의 화질을 향상시키고, 화질이 향상된 타겟 영상을 이용하여 상기 타겟 영상에서 분리된 휘도 채널의 영상의 화질을 향상시키는 화질 향상부; 및
    상기 화질이 향상된 타겟 영상에 포함된 휘도 채널과 상기 타겟 영상에서 분리되어 화질이 향상된 휘도 채널을 조합하는 휘도 채널 조합부
    를 포함하는 영상 처리 장치.
  20. 제19항에 있어서,
    상기 휘도 채널 분리부는,
    기준 영상 및 타겟 영상이 색차 채널의 크기와 동일한 크기의 휘도 채널을 포함하도록 기준 영상 및 타겟 영상의 휘도 채널을 분리하는 영상 처리 장치.
  21. 제20항에 있어서,
    상기 휘도 채널 분리부는,
    휘도 채널의 컴포넌트들을 교대로 샘플링하여 휘도 채널을 두 개의 휘도 채널들로 분리하는 영상 처리 장치.
KR1020120120584A 2012-10-29 2012-10-29 영상 처리 방법 및 장치 KR101711370B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120120584A KR101711370B1 (ko) 2012-10-29 2012-10-29 영상 처리 방법 및 장치
US13/894,523 US8929652B2 (en) 2012-10-29 2013-05-15 Method and apparatus for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120120584A KR101711370B1 (ko) 2012-10-29 2012-10-29 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140054733A KR20140054733A (ko) 2014-05-09
KR101711370B1 true KR101711370B1 (ko) 2017-03-02

Family

ID=50547253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120120584A KR101711370B1 (ko) 2012-10-29 2012-10-29 영상 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US8929652B2 (ko)
KR (1) KR101711370B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288459B2 (en) * 2013-06-17 2016-03-15 Carlos Francisco Luizetto Pinto Real-time correction/calibration system for the color spectrum contained on an image output (transmitted) from an image capture and output macro-system, according to a previously defined color spectrum reference
US10055821B2 (en) 2016-01-30 2018-08-21 John W. Glotzbach Device for and method of enhancing quality of an image
KR102656674B1 (ko) * 2022-09-23 2024-04-11 네이버웹툰 유한회사 타겟 스타일 및 타겟 색상 정보에 기반하여, 입력 이미지를 변환하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009022044A (ja) 2008-10-09 2009-01-29 Olympus Corp 画像処理装置及び画像処理プログラム
JP2009164723A (ja) 2007-12-28 2009-07-23 Fujifilm Corp 撮像装置及び撮像制御方法
JP2010068331A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 撮像装置および撮像方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
KR100892972B1 (ko) 2007-05-29 2009-04-10 한국과학기술연구원 영상센서의 물리적 특성을 이용한 넓은 생동폭을 갖는 영상신호 처리 방법
KR20090111065A (ko) 2008-04-21 2009-10-26 엘지전자 주식회사 영상 합성 장치
KR101534317B1 (ko) 2008-10-10 2015-07-06 삼성전자주식회사 높은 동적 대역(ｈｄｒ) 영상 생성방법 및 장치
KR101551690B1 (ko) 2009-06-26 2015-09-09 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
JP5411842B2 (ja) 2010-12-07 2014-02-12 シャープ株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009164723A (ja) 2007-12-28 2009-07-23 Fujifilm Corp 撮像装置及び撮像制御方法
JP2010068331A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 撮像装置および撮像方法
JP2009022044A (ja) 2008-10-09 2009-01-29 Olympus Corp 画像処理装置及び画像処理プログラム

Also Published As

Publication number Publication date
US20140119649A1 (en) 2014-05-01
US8929652B2 (en) 2015-01-06
KR20140054733A (ko) 2014-05-09

Similar Documents

Publication Publication Date Title
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5183297B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5413002B2 (ja) 撮像装置および方法、並びにプログラム
EP2536152B1 (en) Image processing device and image processing method
US9058640B2 (en) Image processing apparatus, image processing method and recording medium
JP5006814B2 (ja) 撮像装置
US20130021504A1 (en) Multiple image processing
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
US20120224766A1 (en) Image processing apparatus, image processing method, and program
US9386287B2 (en) Image processor which rearranges color information, image processing method, and digital camera
WO2010016166A1 (ja) 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路
JP4798236B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2011135400A (ja) 画像処理装置、画像処理方法及びプログラム
US10091415B2 (en) Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium
KR101711370B1 (ko) 영상 처리 방법 및 장치
US8531570B2 (en) Image processing device, image processing method, and program
US9979943B2 (en) Image processing apparatus for applying emphasis effect processing to a specific component of an image signal, image processing method and image capture apparatus
JP6032912B2 (ja) 撮像装置、その制御方法及びプログラム
US20190191138A1 (en) Image processing apparatus, image processing method, and program
JP5527639B2 (ja) 撮像装置および方法、並びにプログラム
JP2010213105A (ja) 撮像装置
JP5131399B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6512208B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6592293B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2007028468A (ja) 画像処理装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant