KR20190041639A - 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법 - Google Patents

컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법 Download PDF

Info

Publication number
KR20190041639A
KR20190041639A KR1020170133106A KR20170133106A KR20190041639A KR 20190041639 A KR20190041639 A KR 20190041639A KR 1020170133106 A KR1020170133106 A KR 1020170133106A KR 20170133106 A KR20170133106 A KR 20170133106A KR 20190041639 A KR20190041639 A KR 20190041639A
Authority
KR
South Korea
Prior art keywords
channel
sub
block
value
color correlation
Prior art date
Application number
KR1020170133106A
Other languages
English (en)
Other versions
KR101994897B1 (ko
Inventor
송병철
이승현
최동윤
김용준
안준모
Original Assignee
주식회사 아이닉스
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이닉스, 인하대학교 산학협력단 filed Critical 주식회사 아이닉스
Priority to KR1020170133106A priority Critical patent/KR101994897B1/ko
Publication of KR20190041639A publication Critical patent/KR20190041639A/ko
Application granted granted Critical
Publication of KR101994897B1 publication Critical patent/KR101994897B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

컬러 영상 디모자이싱 방법은, (a) G 채널 영상에 대해, R 채널 및 B 채널과의 컬러 상관도값을 산출하는 단계; (b) 상기 (a) 단계에서 산출된 컬러 상관도값을 미리 설정된 제 1 문턱값과 비교하는 단계; (c) 상기 (b) 단계의 비교 결과, 상기 (a) 단계에서 산출된 컬러 상관도값이 상기 제 1 문턱값 보다 큰 경우, G 채널의 정보, R 채널의 정보 및 B 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 단계; 및 (d) 상기 (b) 단계의 비교 결과, 상기 (a) 단계에서 산출된 컬러 상관도값이 상기 제 1 문턱값 이하인 경우, G 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 단계;를 포함한다.

Description

컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법{DEMOSAICING SYSTEM FOR COLOR IMGAE AND DEMOSAICING METHOD THEREFOR}
본 발명은 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법에 관한 것으로, 더욱 상세하게는 RGB 채널의 컬러 상관 관계에 따라 다른 모자이싱 기법을 적응적으로 사용할 수 있는 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법에 관한 것이다.
컬러 필터 어레이(Color Filter Array)를 이용하면 밝기 정보만을 알 수 있는 센서와 컬러 필터를 사용하여 컬러 영상을 얻을 수 있기 때문에, 상대적으로 저렴한 가격으로 카메라 센서를 제작할 수 있다는 장점이 있어 일반적인 디지털 카메라에서 널리 사용되고 있다.
컬러 필터 어레이를 사용하게 될 경우 초기에는 한 픽셀에 RGB 중 오직 한 가지 색상 정보만을 가지고 있고 이를 이용하여 전체 영상에 대한 RGB 정보를 디모자이싱(Demosaicing)하여 컬러 영상을 얻게 된다. 이때 자연 영상에서는 각 컬러 정보가 서로 연관이 있기 때문에 한 컬러 정보를 디모자이싱할 때 다른 컬러 정보를 같이 이용하여 성능을 개선하게 된다. 특히 가이디드 필터(Guided Filter)를 기반으로 한 레지듀얼(Residual) 기반의 방식이 개발되면서 큰 성능 향상이 있었다.
가이디드 필터링 기반의 레지듀얼 디모자이싱 기법은 RGB 컬러 채널간의 상관 관계를 추정하고 그 서로 다른 컬러 채널 정보를 이용하여 목표로 하는 픽셀(Pixel) 정보를 보간(Interpolation)한다. 그러나 컬러 채널간 상관 관계의 추정이 정확하지 않은 영역에서는 잘못된 정보를 이용하여 서로의 컬러 채널의 정보를 보간하게 되면, 잘못된 픽셀값을 추정하고 아티팩트(Artifact)가 발생되는 원인이 된다.
D. Kiku et al., "Beyond Color Difference: Residual Interpolation for Color Image Demosaicking", IEEE Transactions on Image Processing, Vol.25, pp. 1288-1300, 2016.
본 발명은 전술한 바와 같은 기술적 과제를 해결하는 데 목적이 있는 발명으로서, 컬러 필터 어레이 중 베이어 패턴에 대하여 각 컬러 채널간의 컬러 상관도값의 추정 정확도를 파악하고 그 정보를 이용하여 적응적으로 디모자이싱 기법을 결정함으로써, 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법에서 발생되는 아티팩트의 발생을 개선한 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법을 제공하는 것에 그 목적이 있다.
본 발명의 컬러 영상 디모자이싱 방법은, (a) G 채널 영상에 대해, R 채널 및 B 채널과의 컬러 상관도값을 산출하는 단계; (b) 상기 (a) 단계에서 산출된 컬러 상관도값을 미리 설정된 제 1 문턱값과 비교하는 단계; (c) 상기 (b) 단계의 비교 결과, 상기 (a) 단계에서 산출된 컬러 상관도값이 상기 제 1 문턱값 보다 큰 경우, G 채널의 정보, R 채널의 정보 및 B 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 단계; 및 (d) 상기 (b) 단계의 비교 결과, 상기 (a) 단계에서 산출된 컬러 상관도값이 상기 제 1 문턱값 이하인 경우, G 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 단계;를 더 포함한다.
구체적으로, 상기 (d) 단계는, (d-1) 타겟 픽셀이 포함된 제 G-1 서브 블록, 제 G-2 서브 블록, 제 G-3 서브 블록 및 제 G-4 서브 블록으로 해당 패치를 나누는 단계; (d-2) 상기 제 G-1 서브 블록을 45도 회전한 후 다수의 필터를 적용하거나 상기 제 G-1 서브 블록에 대해 45도 회전시킨 다수의 필터를 적용하여, 상기 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하는 단계; (d-3) 상기 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 상기 제 G-1 서브 블록에 대한 추정 픽셀값을 산출하는 단계; 및 (d-4) 상기 제 G-1 서브 블록에 대한 추정 픽셀값, 상기 제 G-2 서브 블록에 대한 추정 픽셀값, 상기 제 G-3 서브 블록에 대한 추정 픽셀값 및 상기 제 G-4 서브 블록에 대한 추정 픽셀값을 이용하여 타겟 픽셀을 디모자이싱하는 단계;를 포함하는 것을 특징으로 한다.
아울러, 본 발명의 컬러 영상 디모자이싱 방법은, (e) R 채널 영상에 대해, 상기 (c) 단계 또는 상기 (d) 단계에 의한 디모자이싱된 G 채널과의 컬러 상관도값을 산출하는 단계; (f) 상기 (e) 단계에서 산출된 컬러 상관도값을 미리 설정된 제 2 문턱값과 비교하는 단계; (g) 상기 (f) 단계의 비교 결과, 상기 (e) 단계에서 산출된 컬러 상관도값이 상기 제 2 문턱값 보다 큰 경우, R 채널의 정보 및 G 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하는 단계; (h) 상기 (f) 단계의 비교 결과, 상기 (e) 단계에서 산출된 컬러 상관도값이 상기 제 2 문턱값 이하인 경우, R 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하는 단계; (i) B 채널 영상에 대해, 상기 (c) 단계 또는 상기 (d) 단계에 의한 디모자이싱된 G 채널과의 컬러 상관도값을 산출하는 단계; (j) 상기 (i) 단계에서 산출된 컬러 상관도값을 미리 설정된 제 3 문턱값과 비교하는 단계; (k) 상기 (j) 단계의 비교 결과, 상기 (i) 단계에서 산출된 컬러 상관도값이 상기 제 3 문턱값 보다 큰 경우, B 채널의 정보 및 G 채널의 정보를 이용하여 B 채널의 디모자이싱을 실시하는 단계; 및 (l) 상기 (j) 단계의 비교 결과, 상기 (i) 단계에서 산출된 컬러 상관도값이 상기 제 3 문턱값 이하인 경우, B 채널의 정보를 이용하여 B 채널의 디모자이싱을 실시하는 단계;를 더 포함하는 것이 바람직하다.
또한, 상기 (l) 단계는, (l-1) 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는다면, 픽셀을 보간하는 단계; (l-2) 상기 (l-1) 단계의 보간된 B 채널 또는 타겟 픽셀의 상하좌우에 픽셀이 존재하는 경우 보간되지 않은 B 채널에 대해, 타겟 픽셀이 포함된 제 B-1 서브 블록, 제 B-2 서브 블록, 제 B-3 서브 블록 및 제 B-4 서브 블록으로 해당 패치를 나누는 단계; (l-3) 상기 제 B-1 서브 블록을 45도 회전한 후 다수의 필터를 적용하거나 상기 제 B-1 서브 블록에 대해 45도 회전시킨 다수의 필터를 적용하여 상기 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하는 단계; (l-4) 상기 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 상기 제 B-1 서브 블록에 대한 추정 픽셀값을 산출하는 단계; 및 (l-5) 상기 제 B-1 서브 블록에 대한 추정 픽셀값, 상기 제 B-2 서브 블록에 대한 추정 픽셀값, 상기 제 B-3 서브 블록에 대한 추정 픽셀값 및 상기 제 B-4 서브 블록에 대한 추정 픽셀값을 이용하여 타겟 픽셀을 디모자이싱하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 컬러 영상 디모자이싱 시스템은, R 채널 영상에 대해 디모자이싱을 실시하는 R 채널 디모자이싱부; G 채널 영상에 대해 디모자이싱을 실시하는 G 채널 디모자이싱부; 및 B 채널 영상에 대해 디모자이싱을 실시하는 B 채널 디모자이싱부;를 포함한다.
구체적으로, 상기 G 채널 디모자이싱부는, G 채널 영상에 대해, R 채널 및 B 채널과의 컬러 상관도값을 산출하고, 산출된 컬러 상관도값을 미리 설정된 제 1 문턱값과 비교하는 것이 바람직하다. 아울러, 상기 G 채널 디모자이싱부는, 상기 제 1 문턱값과의 비교 결과, R 채널 및 B 채널과의 컬러 상관도값이 상기 제 1 문턱값 보다 큰 경우, G 채널의 정보, R 채널의 정보 및 B 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하고, 상기 제 1 문턱값과의 비교 결과, R 채널 및 B 채널과의 컬러 상관도값이 상기 제 1 문턱값 이하인 경우, G 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 것을 특징으로 한다. 또한, 상기 G 채널 디모자이싱부는, 타겟 픽셀이 포함된 제 G-1 서브 블록, 제 G-2 서브 블록, 제 G-3 서브 블록 및 제 G-4 서브 블록으로 해당 패치를 나누고, 상기 제 G-1 서브 블록을 45도 회전한 후 다수의 필터를 적용하거나 상기 제 G-1 서브 블록에 대해 45도 회전시킨 다수의 필터를 적용하여 상기 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하고, 상기 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 상기 제 G-1 서브 블록에 대한 추정 픽셀값을 산출한다. 바람직하게는, 상기 G 채널 디모자이싱부는, 상기 제 G-1 서브 블록에 대한 추정 픽셀값, 상기 제 G-2 서브 블록에 대한 추정 픽셀값, 상기 제 G-3 서브 블록에 대한 추정 픽셀값 및 상기 제 G-4 서브 블록에 대한 추정 픽셀값을 이용하여 타겟 픽셀을 디모자이싱하는 것을 특징으로 한다.
아울러, 상기 R 채널 디모자이싱부는, R 채널 영상에 대해, 디모자이싱된 G 채널과의 컬러 상관도값을 산출하고, 산출된 G 채널과의 컬러 상관도값을 미리 설정된 제 2 문턱값과 비교하고, 상기 제 2 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 상기 제 2 문턱값 보다 큰 경우, R 채널의 정보 및 G 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하고, 상기 제 2 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 상기 제 2 문턱값 이하인 경우, R 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시한다. 또한, 상기 B 채널 디모자이싱부는, B 채널 영상에 대해, 디모자이싱된 G 채널과의 컬러 상관도값을 산출하고, 산출된 B 채널과의 컬러 상관도값을 미리 설정된 제 3 문턱값과 비교하고, 상기 제 3 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 상기 제 3 문턱값 보다 큰 경우, B 채널의 정보 및 G 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하고, 상기 제 3 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 상기 제 3 문턱값 이하인 경우, B 채널의 정보를 이용하여 B 채널의 디모자이싱을 실시하는 것을 특징으로 한다.
또한, 상기 B 채널 디모자이싱부는, 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는다면, 픽셀의 보간을 실시한다. 아울러, 상기 B 채널 디모자이싱부는, 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는 경우 보간된 B 채널 또는 타겟 픽셀의 상하좌우에 픽셀이 존재하는 경우 보간되지 않은 B 채널에 대해, 타겟 픽셀이 포함된 제 B-1 서브 블록, 제 B-2 서브 블록, 제 B-3 서브 블록 및 제 B-4 서브 블록으로 해당 패치를 나누고, 상기 제 B-1 서브 블록을 45도 회전한 후 다수의 필터를 적용하거나 상기 제 B-1 서브 블록에 대해 45도 회전시킨 다수의 필터를 적용하여 상기 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하고, 상기 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 상기 제 B-1 서브 블록에 대한 추정 픽셀값을 산출하는 것을 특징으로 한다. 바람직하게는, 상기 B 채널 디모자이싱부는, 상기 제 B-1 서브 블록에 대한 추정 픽셀값, 상기 제 B-2 서브 블록에 대한 추정 픽셀값, 상기 제 B-3 서브 블록에 대한 추정 픽셀값 및 상기 제 B-4 서브 블록에 대한 추정 픽셀값을 이용하여 타겟 픽셀을 디모자이싱한다.
본 발명의 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법에 따르면, 컬러 필터 어레이 중 베이어 패턴에 대하여 각 컬러 채널간의 컬러 상관도값의 추정 정확도를 파악하고 그 정보를 이용하여 적응적으로 디모자이싱 기법을 결정함으로써, 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법에서 발생되는 아티팩트의 발생을 개선할 수 있다.
도 1은 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법의 적용 결과.
도 2는 본 발명의 동작 설명도.
도 3는 각 영상 패치내의 상관에 따른 파라미터의 분포도.
도 4는 서브 블록의 생성 방법에 대한 설명도.
도 5는 베이어 패턴의 제 1 예시도.
도 6은 베이어 패턴의 제 2 예시도.
도 7은 본 발명의 바람직한 일실시예에 따른 컬러 영상 디모자이싱 시스템의 구성도.
도 8은 본 발명의 바람직한 일실시예에 따른 컬러 영상 디모자이싱 방법의 흐름도.
이하, 첨부된 도면을 참조하면서 본 발명의 실시예에 따른 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법에 대해 상세히 설명하기로 한다.
본 발명의 하기의 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
먼저, 종래의 가이디드 필터링(Guided Filtering) 기반의 레지듀얼 디모자이싱(Residual Demosaicing) 기법에 대해 설명하면 다음과 같다.
가이디드 필터링 기반의 레지듀얼 디모자이싱 기법
먼저, G 채널을 디모자이싱하기 위하여, 다음의 3 과정을 거친다. 첫번째로 가로 및 세로 방향으로 R 채널 및 B 채널, 2개의 채널을 가이드(Guide)로 사용하여 디모자이싱을 실시한다. R 채널 및 B 채널을 가이디드 필터로 사용하기 위해 G 채널과의 컬러 상관도값을 이용하여 회귀 파라미터(Regression Parameter)를 추정한다. 이때 강인하게 회귀를 하기 위해 파라미터 a값은 다음 [수학식 1]과 같이 비용 함수(Cost Function)를 정의한다.
Figure pat00001
여기서
Figure pat00002
는 라플라시안 필터(Lapacian Filter)이고,
Figure pat00003
및
Figure pat00004
는 각각 R 채널의 베이어 패턴 및 R 채널의 베이어 패턴과 같은 위치의 G 채널의 정보를 나타낸다. 또한, p는 타겟 픽셀(Target Pixel)의 인덱스(index),
Figure pat00005
는 p를 중심으로 하는 윈도우(Window)로
Figure pat00006
에 따른 에너지
Figure pat00007
를 최소화하는
Figure pat00008
를 정한다. 또한, 파라미터 b값을 산출할 때는 라플라시안 필터를 적용하게 되면 강도(intensity) 정보가 없기 때문에, 다음의 [수학식 2]와 같이 비용 함수를 정의한다.
Figure pat00009
이때 R 채널 및 B 채널과 G 채널의 관계는 다음의 [수학식 3]과 같다.
Figure pat00010
다음으로, 산출된 회귀 파라미터 a 및 b를 가중치에 의해 합산하고,
Figure pat00011
및
Figure pat00012
를 구한 후 이를 이용하여 가이디드 필터링하여 산출한 임시(Tentative) G 채널과 실제 G 채널과의 차이를 이용하여, 레지듀얼 맵(Residual Map)을 구하여 이를 통해 G 채널을 디모자이싱하게 된다. R 채널 및 B 채널의 경우, 디모자이싱된 G 채널 정보를 가이드 영상(Guide Image)으로 활용하여 같은 방식으로 각각 디모자이싱하여 최종적인 컬러 영상을 획득하게 된다.
도 1은 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법의 적용 결과를 나타낸다.
상술한 바와 같은 컬러 상관(Color Correlation)을 이용하여 디모자이싱을 할 경우 만약 컬러 상관이 떨어지는 영역이 있다면 그 영역에서 구한 회귀 파라미터 a 및 b가 정확도가 떨어지게 되면서 제대로 된 예측을 하지 못하게 된다. 따라서, 도 1과 같이 R 채널에서는 에지(Edge)가 분명하지만 G 채널에서는 에지가 없는 경우 평탄(flat)한 정보를 가이드로 사용하여 R 채널을 디모자이싱하게 되어, 디모자이싱 성능이 떨어지게 된다.
도 2는 본 발명의 동작 설명도를 나타낸다.
도 2로부터 알 수 있는 바와 같이, 본 발명에서는 먼저 G 채널의 베이어 패턴 영상에서 입력 패치(Patch)를 적응적 패딩(Adaptive Padding) 및 필터링(Filtering)을 통해 부족한 데이터 추정 및 복원을 한 후 컬러 상관을 계산한다. 그 후 컬러 상관 정확도가 임의의 패치 내에서 컬러 채널들 간의 상관이 정확히 추정되었다고 하면 기존의 가이디드 필터링 기반의 레지듀얼 디모자이싱을 수행한다. 반대로 컬러 상관 정확도가 작다면 멀티 필터(Multi-Filter, MF) 기반의 디모자이싱 기법을 이용하여 단일 채널 디모자이싱을 수행하게 된다. 그 후 R 채널 및 B 채널은 디모자이싱된 G 채널을 가이드 영상으로 이용하여 디모자이싱하게 된다. 먼저, G 채널과 같이 패딩 및 필터링을 적용하여 부족한 데이터를 추정 및 복원한 후 R 채널과 G 채널의 컬러 상관 및 B 채널과 G 채널 간의 컬러 상관을 추정하고 정확도를 판단한 후에 적응적으로 디모자이싱 방식을 결정하게 된다. 최종적으로 복원된 RGB 채널을 합쳐서 아티팩트(Artifact)가 감소한 고화질 컬러 영상을 얻게 된다.
본 발명에서 적용되는 컬러 상관 추정 정확도의 산출 기법에 대해 설명하면 다음과 같다.
컬러 상관 추정 정확도의 산출 기법
적응적 디모자이싱을 위한 컬러 상관 정확도를 계산할 필요가 있다. 디모자이싱할 컬러 채널과 가이디드 필터로 사용할 컬러 채널간의 컬러 상관도값을 산출한다. 이때 연산의 효율화를 위해 우선 G 채널을 디모자이싱할 때 사용할 파라미터를 산출한다. 가이디드 필터를 하기 위해, 산출한 회귀 파라미터 a를 이용하여 타겟 픽셀 주변의 a값들의 분산(variance)을 다음의 [수학식 4]와 같이 산출한다.
Figure pat00013
여기서 p는 타겟 픽셀의 인덱스(Index),
Figure pat00014
는 p를 중심으로 하는 윈도우(Window)이고,
Figure pat00015
는 윈도우 내의 픽셀 수이다.
Figure pat00016
는
Figure pat00017
내의 a값의 평균이다.
도 3는 각 영상 패치내의 상관에 따른 파라미터의 분포도를 나타낸다.
패치내의 상관이 떨어지게 되면, 도 3에 나타낸 바와 같이 분산이 커지게 되고, 반대의 경우 차이가 거의 없게 된다. 따라서, 상관도(Correlation Degree)값
Figure pat00018
를 이용하여, 다음의 [수학식 5]와 같은 관계식에 의해 디모자이싱 기법을 결정하게 된다.
Figure pat00019
예를 들면, 문턱(threshold)값은 10으로 하고,
Figure pat00020
,
Figure pat00021
은 각각 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법 및 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 의미한다.
본 발명에서 적용되는 멀티 필터를 이용한 단일 채널 디모자이싱 기법에 대해 설명하면 다음과 같다.
멀티 필터를 이용한 단일 채널 디모자이싱 기법
컬러 상관 정확도가 떨어지는 영역에 대해서는 단일 채널의 정보만을 이용한 디모자이싱 기법이 필요하다. 이때 고주파 성분을 잘 복원하기 위하여 영상의 에지를 고려한 보간을 수행하는 멀티 필터 기법을 사용할 수 있다. 멀티 필터 기법은 입력 픽셀의 위치에 따라 다른 방식으로 보간을 실시하게 된다.
도 4는 서브 블록의 생성 방법에 대한 설명도를 나타낸다.
입력 패치가 도 4의 좌측과 같은 위치라면, 타겟 픽셀을 포함하는 4개의 서브 블록으로 나눈 후, 각 서브 블록에서 추정 픽셀값을 [수학식 6]과 [수학식 7]에 의해 산출하고, 가중치를 [수학식 8]과 [수학식 9]에 의해 산출한다.
Figure pat00022
Figure pat00023
Figure pat00024
Figure pat00025
여기서
Figure pat00026
및
Figure pat00027
는 각 대각선 방향으로 픽셀 p를 추정한 값이고,
Figure pat00028
및
Figure pat00029
는 각 대각선 방향의 추출(Derivative) 정보로 이를 이용하여 서브 블록에 대한 추정 픽셀값
Figure pat00030
과 가중치
Figure pat00031
를 각각 [수학식 10] 및 [수학식 11]과 같이 산출하게 된다.
Figure pat00032
Figure pat00033
[수학식 10] 및 [수학식 11]에서 C는 미리 설정된 상수값이다.
마지막으로 산출된 각 서브 블록에 대한 추정 픽셀값을 [수학식 12]와 같이 가중합을 하여, 타겟 픽셀을 디모자이싱하게 된다.
Figure pat00034
참고로, [수학식 6]의
Figure pat00035
과 [수학식 7]의
Figure pat00036
을 각각 하나의 필터 성분이라고 볼 수 있어, 본 발명에서는 2개의 필터를 사용할 수 있다. 다만, 경우에 따라서는 더 많은 수의 필터를 사용할 수 있음은 물론이다.
도 5는 베이어 패턴의 제 1 예시도를 나타낸다.
베이어 패턴의 G 채널의 경우 도 5의 좌측과 같은 배치를 하고 있어, 45도 시계방향으로 회전시키면 우측과 같은 픽셀 배치가 되기 때문에 필터를 45도 시계방향으로 회전시킨 후 같은 방식을 사용하게 된다. 따라서, 도 5의 우측과 같이 만들어서 같은 방식으로 필터링하여 디모자이싱하게 된다.
도 6은 베이어 패턴의 제 2 예시도를 나타낸다.
입력된 베이어 패턴이 도 6의 좌측과 같다면 먼저 주변 픽셀을 도 6의 우측과 같이 보간한다. 이후에는 이전 G 채널과 방식과 같은 방식으로 45도 시계방향으로 회전시킨 필터를 이용하여 디모자이싱하게 된다.
R 채널 및 B 채널의 베이어 패턴은 도 5와 같이 나타날 수도 있고, 도 6과 같이 나타날 수도 있다.
R 채널 및 B 채널의 디모자이싱은 하기와 같이 G 채널을 이용한다.
구체적으로 R 채널 및 B 채널의 디모자이싱은 디모자이싱된 G 채널을 가이드로 하여 이루어진다. 먼저 입력 패치를 한번에 반복(Replicate) 방식으로 베이어 패턴에 맞도록 패딩하여 필요한 패치에 맞춰준다. 이후 패딩된 패치를 이용하여 G 채널과 같이 컬러 상관도값을 계산한 후 적응적 디모자이싱을 바로 수행하여 R 채널 및 B 채널을 각각 복원하게 된다.
하기에 구체적으로 본 발명의 컬러 영상 디모자이싱 시스템(100)과 컬러 영상 디모자이싱 방법에 대해 설명하기로 한다.
본 발명의 컬러 영상 디모자이싱 시스템(100)과 컬러 영상 디모자이싱 방법은, 상술한 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법, 컬러 상관 추정 정확도의 산출 기법 및 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 이용하므로, 별도의 설명이 없더라도 상술한 기법들의 특징을 모두 포함하고 있음은 물론이다.
도 7은 본 발명의 바람직한 일실시예에 따른 컬러 영상 디모자이싱 시스템(100)의 구성도를 나타낸다.
도 7로부터 알 수 있는 바와 같이, 본 발명의 바람직한 일실시예에 따른 컬러 영상 디모자이싱 시스템(100)은, RGB(Red, Green, Blue) 채널로 이루어진 컬러 영상을 디모자이싱 하기 위해, R 채널 디모자이싱부(10), G 채널 디모자이싱부(20) 및 B 채널 디모자이싱부(30)를 포함한다.
본 발명의 바람직한 일실시예에 따른 컬러 영상 디모자이싱 시스템(100)은, MCU, MPU, DSP와 같은 프로세서(Processor)를 이용하여 구현할 수 있다.
R 채널 디모자이싱부(10), G 채널 디모자이싱부(20) 및 B 채널 디모자이싱부(30)는 각각, 컬러 상관도값을 미리 정해진 문턱값과 비교하여, 컬러 상관도값이 문턱값 보다 큰 경우에는 종래의 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법을 적용하고, 컬러 상관도값이 문턱값 이하인 경우에는 본 발명에서 제안하는 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 적용하게 된다.
R 채널 디모자이싱부(10), G 채널 디모자이싱부(20) 및 B 채널 디모자이싱부(30)는 각각, R 채널 영상에 대한 디모자이싱, G 채널 영상에 대한 디모자이싱, B 채널 영상에 대한 디모자이싱을 실시한다.
구체적으로 G 채널 디모자이싱부(20)는, G 채널 영상에 대해, R 채널 및 B 채널과의 컬러 상관도값을 산출하고, 산출된 컬러 상관도값을 미리 설정된 제 1 문턱값과 비교한다. 다만, G 채널 디모자이싱부(20)는, 입력 패치(Patch)를 적응적 패딩(Adaptive Padding) 및 필터링(Filtering)을 통해 부족한 데이터 추정 및 복원을 한 후 컬러 상관도값을 산출하는 것이 바람직하다.
아울러, G 채널 디모자이싱부(20)는, 제 1 문턱값과의 비교 결과, R 채널 및 B 채널과의 컬러 상관도값이 제 1 문턱값 보다 큰 경우, G 채널의 정보, R 채널의 정보 및 B 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시한다. 또한, G 채널 디모자이싱부(20)는, 제 1 문턱값과의 비교 결과, R 채널 및 B 채널과의 컬러 상관도값이 제 1 문턱값 이하인 경우, G 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시한다.
즉, G 채널 디모자이싱부(20)는, 컬러 상관도값을 미리 정해진 제 1 문턱값과 비교하여, 컬러 상관도값이 문턱값 보다 큰 경우에는 종래의 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법을 적용하고, 컬러 상관도값이 제 1 문턱값 이하인 경우에는 본 발명에서 제안하는 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 적용하게 된다.
G 채널 디모자이싱부(20)는, 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 다음과 같이 적용한다.
G 채널 디모자이싱부(20)는, 타겟 픽셀이 포함된 제 G-1 서브 블록, 제 G-2 서브 블록, 제 G-3 서브 블록 및 제 G-4 서브 블록으로 해당 패치를 나누고, 제 G-1 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 G-1 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 제 G-1 서브 블록에 포함된 대각선상에 위치하는 다수의 픽셀을 이용하여 산출한다. 여기서 서브 추정 픽셀값의 개수는, 필터의 개수와 동일하게 된다. 아울러, G 채널 디모자이싱부(20)는 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 제 G-1 서브 블록에 대한 추정 픽셀값을 산출하는 것을 특징으로 한다.
제 G-1 서브 블록에 대한 추정 픽셀값의 산출 방법과 동일한 방법에 의해, G 채널 디모자이싱부(20)는, 제 G-2 서브 블록에 대한 추정 픽셀값, 제 G-3 서브 블록에 대한 추정 픽셀값 및 제 G-4 서브 블록에 대한 추정 픽셀값을 산출한다.
또한, G 채널 디모자이싱부(20)는, 제 G-1 서브 블록에 대한 추정 픽셀값, 제 G-2 서브 블록에 대한 추정 픽셀값, 제 G-3 서브 블록에 대한 추정 픽셀값 및 제 G-4 서브 블록에 대한 추정 픽셀값에 가중치를 적용하여 합산하여 타겟 픽셀을 디모자이싱한다.
R 채널 디모자이싱부(10)는, R 채널 영상에 대해, 디모자이싱된 G 채널과의 컬러 상관도값을 산출한다. 다만, R 채널 디모자이싱부(10)는, 입력 패치(Patch)를 적응적 패딩 및 필터링을 통해 부족한 데이터 추정 및 복원을 한 후 컬러 상관도값을 산출하는 것이 바람직하다. 즉, R 채널 디모자이싱부(10)는, 입력 패치를 한번에 반복(Replicate) 방식으로 베이어 패턴에 맞도록 패딩하여 필요한 패치에 맞춰준다. 이후 패딩된 패치를 이용하여 G 채널과 같이 컬러 상관도값을 계산한 후 적응적 디모자이싱을 바로 수행하여 R 채널을 복원하게 된다.
아울러, R 채널 디모자이싱부(10)는, R 채널 영상에 대해, 디모자이싱된 G 채널과의 컬러 상관도값을 산출하고, 산출된 G 채널과의 컬러 상관도값을 미리 설정된 제 2 문턱값과 비교한다. 또한, R 채널 디모자이싱부(10)는, 제 2 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 제 2 문턱값 보다 큰 경우, R 채널의 정보 및 G 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시한다. R 채널 디모자이싱부(10)는, 제 2 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 제 2 문턱값 이하인 경우, R 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시한다.
즉, R 채널 디모자이싱부(10)는, 컬러 상관도값을 미리 정해진 제 2 문턱값과 비교하여, 컬러 상관도값이 문턱값 보다 큰 경우에는 종래의 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법을 적용하고, 컬러 상관도값이 제 2 문턱값 이하인 경우에는 본 발명에서 제안하는 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 적용하게 된다.
R 채널 디모자이싱부(10)는, 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 다음과 같이 적용한다.
R 채널 디모자이싱부(10)는, 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는다면, 픽셀의 보간을 실시할 필요가 있다. 즉, R 채널 디모자이싱부(10)는, 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는 경우 보간된 B 채널 또는 타겟 픽셀의 상하좌우에 픽셀이 존재하는 경우 보간되지 않은 B 채널에 대해, 타겟 픽셀이 포함된 제 R-1 서브 블록, 제 R-2 서브 블록, 제 R-3 서브 블록 및 제 R-4 서브 블록으로 해당 패치를 나눈다. 아울러, R 채널 디모자이싱부(10)는, 제 R-1 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 R-1 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 제 R-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 제 R-1 서브 블록에 포함된 대각선상에 위치하는 다수의 픽셀을 이용하여 산출한다. 아울러, R 채널 디모자이싱부(10)는, 제 R-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 제 R-1 서브 블록에 대한 추정 픽셀값을 산출하는 것을 특징으로 한다. 여기서 서브 추정 픽셀값의 개수는, 필터의 개수와 동일하게 된다.
제 R-1 서브 블록에 대한 추정 픽셀값의 산출 방법과 동일한 방법에 의해, R 채널 디모자이싱부(10)는, 제 R-2 서브 블록에 대한 추정 픽셀값, 제 R-3 서브 블록에 대한 추정 픽셀값 및 제 R-4 서브 블록에 대한 추정 픽셀값을 산출한다.
또한, R 채널 디모자이싱부(10)는, 제 R-1 서브 블록에 대한 추정 픽셀값, 제 R-2 서브 블록에 대한 추정 픽셀값, 제 R-3 서브 블록에 대한 추정 픽셀값 및 제 R-4 서브 블록에 대한 추정 픽셀값에 가중치를 적용하여 합산하여 타겟 픽셀을 디모자이싱한다.
B 채널 디모자이싱부(30)는, B 채널 영상에 대해, 디모자이싱된 G 채널과의 컬러 상관도값을 산출한다. 다만, B 채널 디모자이싱부(30)는, 입력 패치를 적응적 패딩 및 필터링을 통해 부족한 데이터 추정 및 복원을 한 후 컬러 상관도값을 산출하는 것이 바람직하다.
아울러, B 채널 디모자이싱부(30)는, 산출된 B 채널과의 컬러 상관도값을 미리 설정된 제 3 문턱값과 비교한다. 제 3 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 제 3 문턱값 보다 큰 경우, B 채널 디모자이싱부(30)는, B 채널의 정보 및 G 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시한다. 제 3 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 제 3 문턱값 이하인 경우, B 채널 디모자이싱부(30)는, B 채널의 정보를 이용하여 B 채널의 디모자이싱을 실시하는 것을 특징으로 한다.
즉, B 채널 디모자이싱부(30)는, 컬러 상관도값을 미리 정해진 제 3 문턱값과 비교하여, 컬러 상관도값이 문턱값 보다 큰 경우에는 종래의 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법을 적용하고, 컬러 상관도값이 제 3 문턱값 이하인 경우에는 본 발명에서 제안하는 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 적용하게 된다.
B 채널 디모자이싱부(30)는, 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 다음과 같이 적용한다.
B 채널 디모자이싱부(30)는, 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는다면, 픽셀의 보간을 실시한다. 즉, B 채널 디모자이싱부(30)는, 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는 경우 보간된 B 채널 또는 타겟 픽셀의 상하좌우에 픽셀이 존재하는 경우 보간되지 않은 B 채널에 대해, 타겟 픽셀이 포함된 제 B-1 서브 블록, 제 B-2 서브 블록, 제 B-3 서브 블록 및 제 B-4 서브 블록으로 해당 패치를 나눈다. 아울러, B 채널 디모자이싱부(30)는, 제 B-1 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 B-1 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하고, 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 제 B-1 서브 블록에 대한 추정 픽셀값을 제 B-1 서브 블록에 포함된 대각선상에 위치하는 다수의 픽셀을 이용하여 산출한다. 여기서 서브 추정 픽셀값의 개수는, 필터의 개수와 동일하게 된다.
제 B-1 서브 블록에 대한 추정 픽셀값의 산출 방법과 동일한 방법에 의해, B 채널 디모자이싱부(30)는, 제 B-2 서브 블록에 대한 추정 픽셀값, 제 B-3 서브 블록에 대한 추정 픽셀값 및 제 B-4 서브 블록에 대한 추정 픽셀값을 산출한다.
또한, B 채널 디모자이싱부(30)는, 제 B-1 서브 블록에 대한 추정 픽셀값, 제 B-2 서브 블록에 대한 추정 픽셀값, 제 B-3 서브 블록에 대한 추정 픽셀값 및 제 B-4 서브 블록에 대한 추정 픽셀값에 가중치를 적용하여 합산하여 타겟 픽셀을 디모자이싱하는 것을 특징으로 한다.
제 1 문턱값, 제 2 문턱값, 제 3 문턱값은 동일한 값으로 설정될 수도 있고, 상이한 값으로 설정될 수도 있다.
하기에 본 발명의 바람직한 일실시예에 따른 컬러 영상 디모자이싱 방법에 대해 설명하기로 한다.
본 발명의 컬러 영상 디모자이싱 방법은 상술한 본 발명의 컬러 영상 디모자이싱 시스템(100)을 이용하므로, 별도의 설명이 없더라도 상술한 컬러 영상 디모자이싱 시스템(100)의 특징을 모두 포함하고 있음은 물론이다.
본 발명의 바람직한 일실시예에 따른 컬러 영상 디모자이싱 방법은 프로세서에 의해 실시되는 컴퓨터 소프트웨어 프로그램의 형태로 구현할 수 있다.
도 8은 본 발명의 바람직한 일실시예에 따른 컬러 영상 디모자이싱 방법의 흐름도를 나타낸다. 도 8로부터 알 수 있는 바와 같이 본 발명의 바람직한 일실시예에 따른 컬러 영상 디모자이싱 방법은, G 채널 영상에 대해 디모자이싱을 실시하는 단계(S100), R 채널 영상에 대해 디모자이싱을 실시하는 단계(S200) 및 B 채널 영상에 대해 디모자이싱을 실시하는 단계(S300)를 포함한다.
구체적으로 S100 단계는, G 채널 영상에 대해, R 채널 및 B 채널과의 컬러 상관도값을 산출하는 단계(S110); S110 단계에서 산출된 컬러 상관도값을 미리 설정된 제 1 문턱값과 비교하는 단계(S120); S120 단계의 비교 결과, S110 단계에서 산출된 컬러 상관도값이 제 1 문턱값 보다 큰 경우, G 채널의 정보, R 채널의 정보 및 B 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 단계(S130); 및, S120 단계의 비교 결과, S110 단계에서 산출된 컬러 상관도값이 제 1 문턱값 이하인 경우, G 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 단계(S140);를 포함한다.
아울러, S140 단계는, 타겟 픽셀이 포함된 제 G-1 서브 블록, 제 G-2 서브 블록, 제 G-3 서브 블록 및 제 G-4 서브 블록으로 해당 패치를 나누는 단계(S141); 제 G-1 서브 블록에 대한 추정 픽셀값, 제 G-2 서브 블록에 대한 추정 픽셀값, 제 G-3 서브 블록에 대한 추정 픽셀값 및 제 G-4 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S142); 및 제 G-1 서브 블록에 대한 추정 픽셀값, 제 G-2 서브 블록에 대한 추정 픽셀값, 제 G-3 서브 블록에 대한 추정 픽셀값 및 제 G-4 서브 블록에 대한 추정 픽셀값에 가중치를 적용하여 합산하여 타겟 픽셀을 디모자이싱하는 단계(S143);를 포함한다.
S142 단계는, 제 G-1 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 G-1 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하는 단계(S1421); 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 제 G-1 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S1422); 제 G-2 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 G-2 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 다수의 제 G-2 서브 블록의 서브 추정 픽셀값을 산출하는 단계(S1423); 다수의 제 G-2 서브 블록의 서브 추정 픽셀값을 이용하여, 제 G-2 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S1424); 제 G-3 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 G-3 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 다수의 제 G-3 서브 블록의 서브 추정 픽셀값을 산출하는 단계(S1425); 다수의 제 G-3 서브 블록의 서브 추정 픽셀값을 이용하여, 제 G-3 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S1426); 제 G-4 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 G-4 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 다수의 제 G-4 서브 블록의 서브 추정 픽셀값을 산출하는 단계(S1427); 및 다수의 제 G-4 서브 블록의 서브 추정 픽셀값을 이용하여, 제 G-4 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S1428);를 포함하는 것이 바람직하다.
구체적으로 S200 단계는, R 채널 영상에 대해, S130 단계 또는 S140 단계에 의한 디모자이싱된 G 채널과의 컬러 상관도값을 산출하는 단계(S210); S210 단계에서 산출된 컬러 상관도값을 미리 설정된 제 2 문턱값과 비교하는 단계(S220); S220 단계의 비교 결과, S210 단계에서 산출된 컬러 상관도값이 제 2 문턱값 보다 큰 경우, R 채널의 정보 및 G 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하는 단계(S230); 및 S220 단계의 비교 결과, S210 단계에서 산출된 컬러 상관도값이 제 2 문턱값 이하인 경우, R 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하는 단계(S240);를 포함한다.
아울러, S240 단계는, 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는다면, 픽셀을 보간하는 단계(S241); S241 단계의 보간된 R 채널 또는 타겟 픽셀의 상하좌우에 픽셀이 존재하는 경우 보간되지 않은 R 채널에 대해, 타겟 픽셀이 포함된 제 R-1 서브 블록, 제 R-2 서브 블록, 제 R-3 서브 블록 및 제 R-4 서브 블록으로 나누는 단계(S242); 제 R-1 서브 블록에 대한 추정 픽셀값, 제 R-2 서브 블록에 대한 추정 픽셀값, 제 R-3 서브 블록에 대한 추정 픽셀값 및 제 R-4 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S243); 및 제 R-1 서브 블록에 대한 추정 픽셀값, 제 R-2 서브 블록에 대한 추정 픽셀값, 제 R-3 서브 블록에 대한 추정 픽셀값 및 제 R-4 서브 블록에 대한 추정 픽셀값에 가중치를 적용하여 합산하여 타겟 픽셀을 디모자이싱하는 단계(S244);를 포함한다.
S243 단계는, 제 R-1 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 R-1 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 제 R-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하는 단계(S2421); 제 R-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 제 R-1 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S2422); 제 R-2 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 R-2 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 다수의 제 R-2 서브 블록의 서브 추정 픽셀값을 산출하는 단계(S2423); 다수의 제 R-2 서브 블록의 서브 추정 픽셀값을 이용하여, 제 R-2 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S2424); 제 R-3 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 R-3 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 다수의 제 R-3 서브 블록의 서브 추정 픽셀값을 산출하는 단계(S2425); 다수의 제 R-3 서브 블록의 서브 추정 픽셀값을 이용하여, 제 R-3 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S2426); 제 R-4 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 R-4 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 다수의 제 R-4 서브 블록의 서브 추정 픽셀값을 산출하는 단계(S2427); 및 다수의 제 R-4 서브 블록의 서브 추정 픽셀값을 이용하여, 제 R-4 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S2428);를 포함하는 것이 바람직하다.
구체적으로 S300 단계는, B 채널 영상에 대해, S130 단계 또는 S140 단계에 의한 디모자이싱된 G 채널과의 컬러 상관도값을 산출하는 단계(S310); S310 단계에서 산출된 컬러 상관도값을 미리 설정된 제 3 문턱값과 비교하는 단계(S320); S320 단계의 비교 결과, S210 단계에서 산출된 컬러 상관도값이 제 3 문턱값 보다 큰 경우, B 채널의 정보 및 G 채널의 정보를 이용하여 B 채널의 디모자이싱을 실시하는 단계(S330); 및 S320 단계의 비교 결과, S310 단계에서 산출된 컬러 상관도값이 제 3 문턱값 이하인 경우, B 채널의 정보를 이용하여 B 채널의 디모자이싱을 실시하는 단계(S340);를 포함한다.
아울러, S340 단계는, 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는다면, 픽셀을 보간하는 단계(S341); S341 단계의 보간된 B 채널 또는 타겟 픽셀의 상하좌우에 픽셀이 존재하는 경우 보간되지 않은 B 채널에 대해, 타겟 픽셀이 포함된 제 B-1 서브 블록, 제 B-2 서브 블록, 제 B-3 서브 블록 및 제 B-4 서브 블록으로 나누는 단계(S342); 제 B-1 서브 블록에 대한 추정 픽셀값, 제 B-2 서브 블록에 대한 추정 픽셀값, 제 B-3 서브 블록에 대한 추정 픽셀값 및 제 B-4 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S343); 및 제 B-1 서브 블록에 대한 추정 픽셀값, 제 B-2 서브 블록에 대한 추정 픽셀값, 제 B-3 서브 블록에 대한 추정 픽셀값 및 제 B-4 서브 블록에 대한 추정 픽셀값에 가중치를 적용하여 합산하여 타겟 픽셀을 디모자이싱하는 단계(S344);를 포함한다.
S343 단계는, 제 B-1 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 B-1 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하는 단계(S3421); 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 제 B-1 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S3422); 제 B-2 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 B-2 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 다수의 제 B-2 서브 블록의 서브 추정 픽셀값을 산출하는 단계(S3423); 다수의 제 B-2 서브 블록의 서브 추정 픽셀값을 이용하여, 제 B-2 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S3424); 제 B-3 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 B-3 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 다수의 제 B-3 서브 블록의 서브 추정 픽셀값을 산출하는 단계(S3425); 다수의 제 B-3 서브 블록의 서브 추정 픽셀값을 이용하여, 제 B-3 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S3426); 제 B-4 서브 블록을 45도 시계방향으로 회전한 후 다수의 필터를 적용하거나 제 B-4 서브 블록에 대해 45도 시계방향으로 회전시킨 다수의 필터를 적용하여, 다수의 제 B-4 서브 블록의 서브 추정 픽셀값을 산출하는 단계(S3427); 및 다수의 제 B-4 서브 블록의 서브 추정 픽셀값을 이용하여, 제 B-4 서브 블록에 대한 추정 픽셀값을 산출하는 단계(S3428);를 포함하는 것이 바람직하다.
상술한 바와 같이 본 발명에서는 컬러 상관도를 계산하여 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법과 멀티 필터를 이용한 단일 채널 디모자이싱 기법을 적응적으로 사용하도록 하여 컬러 상관도가 떨어지는 영역에서도 성능 저하가 없도록 하였다. 아울러, 컬러 상관 회귀 파라미터를 이용해 계산하여 연산량이 크게 증가하지 않도록 하였다. 또한, 보간 기법은 멀티 필터링 방식을 사용하여 에지와 패턴을 고려함으로써 고주파 정보를 더 잘 보간하도록 하였다. 따라서 본 발명에 따르면, 컬러 상관도를 이용한 적응적 디모자이싱에 의해 하드웨어 상에서 더 좋은 화질의 영상을 얻을 수 있게 된다.
상술한 바와 같이 본 발명의 컬러 영상 디모자이싱 시스템(100) 및 그 디모자이싱 방법에 따르면, 컬러 필터 어레이 중 베이어 패턴에 대하여 각 컬러 채널간의 컬러 상관도값의 추정 정확도를 파악하고 그 정보를 이용하여 적응적으로 디모자이싱 기법을 결정함으로써, 가이디드 필터링 기반의 레지듀얼 디모자이싱 기법에서 발생되는 아티팩트의 발생을 개선할 수 있음을 알 수 있다.
100 : 컬러 영상 디모자이싱 시스템
10 : R 채널 디모자이싱부
20 : G 채널 디모자이싱부
30 : B 채널 디모자이싱부

Claims (18)

  1. RGB 채널로 이루어진 컬러 영상의 디모자이싱 방법에 있어서,
    (a) G 채널 영상에 대해, R 채널 및 B 채널과의 컬러 상관도값을 산출하는 단계; 및
    (b) 상기 (a) 단계에서 산출된 컬러 상관도값을 미리 설정된 제 1 문턱값과 비교하는 단계;를 포함하는 것을 특징으로 하는 컬러 영상 디모자이싱 방법.
  2. 제1항에 있어서,
    상기 컬러 영상 디모자이싱 방법은,
    (c) 상기 (b) 단계의 비교 결과, 상기 (a) 단계에서 산출된 컬러 상관도값이 상기 제 1 문턱값 보다 큰 경우, G 채널의 정보, R 채널의 정보 및 B 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 단계; 및
    (d) 상기 (b) 단계의 비교 결과, 상기 (a) 단계에서 산출된 컬러 상관도값이 상기 제 1 문턱값 이하인 경우, G 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 단계;를 더 포함하는 것을 특징으로 하는 컬러 영상 디모자이싱 방법.
  3. 제2항에 있어서,
    상기 (d) 단계는,
    (d-1) 타겟 픽셀이 포함된 제 G-1 서브 블록, 제 G-2 서브 블록, 제 G-3 서브 블록 및 제 G-4 서브 블록으로 해당 패치를 나누는 단계;
    (d-2) 상기 제 G-1 서브 블록을 45도 회전한 후 다수의 필터를 적용하거나 상기 제 G-1 서브 블록에 대해 45도 회전시킨 다수의 필터를 적용하여, 상기 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하는 단계; 및
    (d-3) 상기 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 상기 제 G-1 서브 블록에 대한 추정 픽셀값을 산출하는 단계;를 포함하는 것을 특징으로 하는 컬러 영상 디모자이싱 방법.
  4. 제3항에 있어서,
    상기 (d) 단계는,
    (d-4) 상기 제 G-1 서브 블록에 대한 추정 픽셀값, 상기 제 G-2 서브 블록에 대한 추정 픽셀값, 상기 제 G-3 서브 블록에 대한 추정 픽셀값 및 상기 제 G-4 서브 블록에 대한 추정 픽셀값을 이용하여 타겟 픽셀을 디모자이싱하는 단계;를 더 포함하는 것을 특징으로 하는 컬러 영상 디모자이싱 방법.
  5. 제2항에 있어서,
    상기 컬러 영상 디모자이싱 방법은,
    (e) R 채널 영상에 대해, 상기 (c) 단계 또는 상기 (d) 단계에 의한 디모자이싱된 G 채널과의 컬러 상관도값을 산출하는 단계;
    (f) 상기 (e) 단계에서 산출된 컬러 상관도값을 미리 설정된 제 2 문턱값과 비교하는 단계;
    (g) 상기 (f) 단계의 비교 결과, 상기 (e) 단계에서 산출된 컬러 상관도값이 상기 제 2 문턱값 보다 큰 경우, R 채널의 정보 및 G 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하는 단계; 및
    (h) 상기 (f) 단계의 비교 결과, 상기 (e) 단계에서 산출된 컬러 상관도값이 상기 제 2 문턱값 이하인 경우, R 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하는 단계;를 더 포함하는 것을 특징으로 하는 컬러 영상 디모자이싱 방법.
  6. 제2항에 있어서,
    상기 컬러 영상 디모자이싱 방법은,
    (i) B 채널 영상에 대해, 상기 (c) 단계 또는 상기 (d) 단계에 의한 디모자이싱된 G 채널과의 컬러 상관도값을 산출하는 단계;
    (j) 상기 (i) 단계에서 산출된 컬러 상관도값을 미리 설정된 제 3 문턱값과 비교하는 단계;
    (k) 상기 (j) 단계의 비교 결과, 상기 (i) 단계에서 산출된 컬러 상관도값이 상기 제 3 문턱값 보다 큰 경우, B 채널의 정보 및 G 채널의 정보를 이용하여 B 채널의 디모자이싱을 실시하는 단계; 및
    (l) 상기 (j) 단계의 비교 결과, 상기 (i) 단계에서 산출된 컬러 상관도값이 상기 제 3 문턱값 이하인 경우, B 채널의 정보를 이용하여 B 채널의 디모자이싱을 실시하는 단계;를 더 포함하는 것을 특징으로 하는 컬러 영상 디모자이싱 방법.
  7. 제6항에 있어서,
    상기 (l) 단계는,
    (l-1) 타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는다면, 픽셀을 보간하는 단계;를 포함하는 것을 특징으로 하는 컬러 영상 디모자이싱 방법.
  8. 제7항에 있어서,
    (l-2) 상기 (l-1) 단계의 보간된 B 채널 또는 타겟 픽셀의 상하좌우에 픽셀이 존재하는 경우 보간되지 않은 B 채널에 대해, 타겟 픽셀이 포함된 제 B-1 서브 블록, 제 B-2 서브 블록, 제 B-3 서브 블록 및 제 B-4 서브 블록으로 해당 패치를 나누는 단계;
    (l-3) 상기 제 B-1 서브 블록을 45도 회전한 후 다수의 필터를 적용하거나 상기 제 B-1 서브 블록에 대해 45도 회전시킨 다수의 필터를 적용하여 상기 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하는 단계; 및
    (l-4) 상기 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 상기 제 B-1 서브 블록에 대한 추정 픽셀값을 산출하는 단계;를 포함하는 것을 특징으로 하는 컬러 영상 디모자이싱 방법.
  9. 제8항에 있어서,
    상기 (l) 단계는,
    (l-5) 상기 제 B-1 서브 블록에 대한 추정 픽셀값, 상기 제 B-2 서브 블록에 대한 추정 픽셀값, 상기 제 B-3 서브 블록에 대한 추정 픽셀값 및 상기 제 B-4 서브 블록에 대한 추정 픽셀값을 이용하여 타겟 픽셀을 디모자이싱하는 단계;를 더 포함하는 것을 특징으로 하는 컬러 영상 디모자이싱 방법.
  10. RGB 채널로 이루어진 컬러 영상의 디모자이싱 시스템에 있어서,
    R 채널 영상에 대해 디모자이싱을 실시하는 R 채널 디모자이싱부;
    G 채널 영상에 대해 디모자이싱을 실시하는 G 채널 디모자이싱부; 및
    B 채널 영상에 대해 디모자이싱을 실시하는 B 채널 디모자이싱부;를 포함하되,
    상기 G 채널 디모자이싱부는,
    G 채널 영상에 대해, R 채널 및 B 채널과의 컬러 상관도값을 산출하고, 산출된 컬러 상관도값을 미리 설정된 제 1 문턱값과 비교하는 것을 특징으로 하는 컬러 영상 디모자이싱 시스템.
  11. 제10항에 있어서,
    상기 G 채널 디모자이싱부는,
    상기 제 1 문턱값과의 비교 결과, R 채널 및 B 채널과의 컬러 상관도값이 상기 제 1 문턱값 보다 큰 경우, G 채널의 정보, R 채널의 정보 및 B 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하고,
    상기 제 1 문턱값과의 비교 결과, R 채널 및 B 채널과의 컬러 상관도값이 상기 제 1 문턱값 이하인 경우, G 채널의 정보를 이용하여 G 채널의 디모자이싱을 실시하는 것을 특징으로 하는 컬러 영상 디모자이싱 시스템.
  12. 제11항에 있어서,
    상기 G 채널 디모자이싱부는,
    타겟 픽셀이 포함된 제 G-1 서브 블록, 제 G-2 서브 블록, 제 G-3 서브 블록 및 제 G-4 서브 블록으로 해당 패치를 나누고, 상기 제 G-1 서브 블록을 45도 회전한 후 다수의 필터를 적용하거나 상기 제 G-1 서브 블록에 대해 45도 회전시킨 다수의 필터를 적용하여 상기 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하고, 상기 제 G-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 상기 제 G-1 서브 블록에 대한 추정 픽셀값을 산출하는 것을 특징으로 하는 컬러 영상 디모자이싱 시스템.
  13. 제12항에 있어서,
    상기 G 채널 디모자이싱부는,
    상기 제 G-1 서브 블록에 대한 추정 픽셀값, 상기 제 G-2 서브 블록에 대한 추정 픽셀값, 상기 제 G-3 서브 블록에 대한 추정 픽셀값 및 상기 제 G-4 서브 블록에 대한 추정 픽셀값을 이용하여 타겟 픽셀을 디모자이싱하는 것을 특징으로 하는 컬러 영상 디모자이싱 시스템.
  14. 제10항에 있어서,
    상기 R 채널 디모자이싱부는,
    R 채널 영상에 대해, 디모자이싱된 G 채널과의 컬러 상관도값을 산출하고, 산출된 G 채널과의 컬러 상관도값을 미리 설정된 제 2 문턱값과 비교하고,
    상기 제 2 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 상기 제 2 문턱값 보다 큰 경우, R 채널의 정보 및 G 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하고,
    상기 제 2 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 상기 제 2 문턱값 이하인 경우, R 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하는 것을 특징으로 하는 컬러 영상 디모자이싱 시스템.
  15. 제10항에 있어서,
    상기 B 채널 디모자이싱부는,
    B 채널 영상에 대해, 디모자이싱된 G 채널과의 컬러 상관도값을 산출하고, 산출된 B 채널과의 컬러 상관도값을 미리 설정된 제 3 문턱값과 비교하고,
    상기 제 3 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 상기 제 3 문턱값 보다 큰 경우, B 채널의 정보 및 G 채널의 정보를 이용하여 R 채널의 디모자이싱을 실시하고,
    상기 제 3 문턱값과의 비교 결과, G 채널과의 컬러 상관도값이 상기 제 3 문턱값 이하인 경우, B 채널의 정보를 이용하여 B 채널의 디모자이싱을 실시하는 것을 특징으로 하는 컬러 영상 디모자이싱 시스템.
  16. 제15항에 있어서,
    상기 B 채널 디모자이싱부는,
    타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는다면, 픽셀의 보간을 실시하는 것을 특징으로 하는 컬러 영상 디모자이싱 시스템.
  17. 제16항에 있어서,
    상기 B 채널 디모자이싱부는,
    타겟 픽셀의 상하좌우에 픽셀이 존재하지 않는 경우 보간된 B 채널 또는 타겟 픽셀의 상하좌우에 픽셀이 존재하는 경우 보간되지 않은 B 채널에 대해, 타겟 픽셀이 포함된 제 B-1 서브 블록, 제 B-2 서브 블록, 제 B-3 서브 블록 및 제 B-4 서브 블록으로 해당 패치를 나누고, 상기 제 B-1 서브 블록을 45도 회전한 후 다수의 필터를 적용하거나 상기 제 B-1 서브 블록에 대해 45도 회전시킨 다수의 필터를 적용하여 상기 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 산출하고, 상기 제 B-1 서브 블록에 대한 다수의 서브 추정 픽셀값을 이용하여, 상기 제 B-1 서브 블록에 대한 추정 픽셀값을 산출하는 것을 특징으로 하는 컬러 영상 디모자이싱 시스템.
  18. 제17항에 있어서,
    상기 B 채널 디모자이싱부는,
    상기 제 B-1 서브 블록에 대한 추정 픽셀값, 상기 제 B-2 서브 블록에 대한 추정 픽셀값, 상기 제 B-3 서브 블록에 대한 추정 픽셀값 및 상기 제 B-4 서브 블록에 대한 추정 픽셀값을 이용하여 타겟 픽셀을 디모자이싱하는 것을 특징으로 하는 컬러 영상 디모자이싱 시스템.

KR1020170133106A 2017-10-13 2017-10-13 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법 KR101994897B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170133106A KR101994897B1 (ko) 2017-10-13 2017-10-13 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170133106A KR101994897B1 (ko) 2017-10-13 2017-10-13 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법

Publications (2)

Publication Number Publication Date
KR20190041639A true KR20190041639A (ko) 2019-04-23
KR101994897B1 KR101994897B1 (ko) 2019-07-01

Family

ID=66285339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170133106A KR101994897B1 (ko) 2017-10-13 2017-10-13 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법

Country Status (1)

Country Link
KR (1) KR101994897B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805744A (zh) * 2019-07-05 2021-05-14 百度时代网络技术（北京）有限公司 用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. Kiku et al., "Beyond Color Difference: Residual Interpolation for Color Image Demosaicking", IEEE Transactions on Image Processing, Vol.25, pp. 1288-1300, 2016.
Daisuke et. al., "Beyoud Color Difference:Residual Interpolation for Color Image Demosaicking", IEEE Transactions on image processing. vol.25. no.3, 1288-1300(13 pages), 2016.03.* *
유두식 외 2명, "컬러 채널 상관관계를 고려한 에지 방향성 컬러 디모자이킹 알고리즘", 한국방송미디어공학회, 619-630 (12 pages), 2013.07* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805744A (zh) * 2019-07-05 2021-05-14 百度时代网络技术（北京）有限公司 用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法
CN112805744B (zh) * 2019-07-05 2024-04-09 百度时代网络技术（北京）有限公司 用于对多光谱图像去马赛克的系统和方法

Also Published As

Publication number Publication date
KR101994897B1 (ko) 2019-07-01

Similar Documents

Publication Publication Date Title
US8711249B2 (en) Method of and apparatus for image denoising
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8571312B2 (en) Image interpolation method and apparatus using pattern characteristics of color filter array
CN110730336B (zh) 一种去马赛克方法及装置
KR100667803B1 (ko) 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치
WO2011158572A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN103347190B (zh) 一种边相关的联合彩色去马赛克和放大方法
KR101225056B1 (ko) 이미지 센서 노이즈 저감 장치 및 방법
KR101700928B1 (ko) 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치
KR101637488B1 (ko) 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
US20220005159A1 (en) Noise estimation
CN111127359A (zh) 一种基于选择性补偿颜色和三区间均衡的水下图像增强方法
KR100891825B1 (ko) 디지털 영상의 컬러 노이즈 제거 장치 및 방법
US7903901B2 (en) Recursive filter system for a video signal
KR101994897B1 (ko) 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법
US8655058B2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
KR101692747B1 (ko) 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법
Ponomarenko et al. Color image lossy compression based on blind evaluation and prediction of noise characteristics
KR100925794B1 (ko) 영상의 지역 명암대비 개선을 통한 전역 명암대비 향상 방법
KR101780726B1 (ko) 앤티-에일리어싱 fir 필터에 기반한 디모자이킹 방법
KR101444850B1 (ko) 불량화소 보정 장치 및 방법
JP3899144B2 (ja) 画像処理装置
Ueki et al. Adaptive guided upsampling for color image demosaicking
JP5139350B2 (ja) 画像処理装置、画像処理方法、撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant