KR20090015566A - 컬러 보간 방법 및 장치 - Google Patents

컬러 보간 방법 및 장치 Download PDF

Info

Publication number
KR20090015566A
KR20090015566A KR1020070079979A KR20070079979A KR20090015566A KR 20090015566 A KR20090015566 A KR 20090015566A KR 1020070079979 A KR1020070079979 A KR 1020070079979A KR 20070079979 A KR20070079979 A KR 20070079979A KR 20090015566 A KR20090015566 A KR 20090015566A
Authority
KR
South Korea
Prior art keywords
color
low resolution
image
pixel
channel
Prior art date
Application number
KR1020070079979A
Other languages
English (en)
Other versions
KR100932217B1 (ko
Inventor
강문기
오현묵
김창원
한영석
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020070079979A priority Critical patent/KR100932217B1/ko
Publication of KR20090015566A publication Critical patent/KR20090015566A/ko
Application granted granted Critical
Publication of KR100932217B1 publication Critical patent/KR100932217B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Abstract

컬러 보간 방법 및 장치가 개시된다. 본 발명에 따른 컬러 보간 방법은, 컬러 필터 어레이(Color Filter Array)를 갖는 단일 이미지 센서에 의해 획득된 입력 영상으로부터 잃어버린 채널을 복원하기 위한 컬러 보간 방법에 있어서, 입력 영상을 R, G, B 채널의 영상으로 분리하고, 분리된 각 영상을 다운 샘플링함으로써 저해상도 영상들을 형성하는 단계, 저해상도 영상에서 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하고, 판단 결과에 기초하여 픽셀의 컬러를 보간함으로써 잃어버린 채널을 복원하는 단계 및 잃어버린 채널이 복원된 저해상도 영상들을 업샘플링하고, 업샘플링된 영상들을 이용하여 풀컬러 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
컬러 보간, 컬러 필터 어레이(Color Filter Array), 베이어(Bayer) 패턴

Description

컬러 보간 방법 및 장치{Method and apparatus for color interpolation}
본 발명은 컬러 보간 방법 및 장치에 관한 것으로, 보다 상세하게는 컬러 필터 어레이(Color Filter Array)를 갖는 단일 이미지 센서에 의해 획득된 입력 영상으로부터 잃어버린 채널을 복원하기 위한 컬러 보간 방법 및 장치에 관한 것이다.
일반적으로, 디지털 카메라나 캠코더는 필름 대신에 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 이미지 센서(image sensor)를 이용한다. 이와 같은 센서는 빛의 밝기값을 감지하므로 상기 센서를 통해 획득되는 영상은 컬러 영상이 아닌 흑백 영상이다. 따라서, 컬러 영상을 획득하기 위해서 상기 센서의 각 픽셀마다 R(Red), G(Green), B(Blue) 컬러 성분을 통과시키는 컬러 필터 어레이(Color Filter Array, 이하 "CFA"라 함)가 설치되고, 상기 센서의 각 픽셀들은 상기 CFA를 통과한 R, G, B 컬러 신호들의 강도를 감지한다. 이 때, RGB 컬러 포맷은 빛의 3원색이면서, 인간의 눈 속에 있는 원추 세포들이 주로 반응하는 파장대의 대역이기 때문에 고품질의 영상을 획득하기 위해서 많이 이용된다. 방송 장비 등에 있어서 상기 R, G, B 각각의 컬러 정보를 검출하는 3개의 CCD 또는 CMOS 센서가 이용되기도 하지만, 일반적으로는 비용 감소를 위하여 단일(single) CCD 또는 CMOS 센서가 이용된다. 단일 이미지 센서의 각 픽셀에는 여러 채널의 컬러 정보 중에서 하나의 컬러 정보만이 저장되므로, 완전한 영상의 컬러 정보를 얻기 위해서는 픽셀에 저장되지 않은 다른 채널의 컬러 정보를 주변 픽셀의 컬러 정보로부터 보간(interpolation)해야 한다.
도 1은 베이어(Bayer) CFA를 나타낸 도면이다. 도 1에서 각 정사각형은 이미지 센서의 하나의 픽셀에 대응된다. 도 1에 도시된 베이어 CFA에 있어서, 각 픽셀에 대한 R, G 및 B의 값을 구하기 위하여 다양한 보간 알고리즘이 사용될 수 있다. 예를 들어 색차 영역에서의 컬러 보간법(Color interpolation on the color difference domain), 에지 적응적 컬러 보간법(Edge adaptive color interpolation) 등이 있다.
먼저 색차 영역에서의 컬러 보간법을 설명한다. 우선 R 컬러값만 있는 픽셀 또는 B 컬러값만 있는 픽셀에서 G 값을 보간한다. 예를 들어 R 컬러값만을 가지는 픽셀에서 G 컬러값의 보간은 다음과 같다. R 컬러값만을 가지는 픽셀 (i, j)를 중심으로 네 개의 색차 영역(color difference domain) 값들을 다음 수학식과 같이 정의할 수 있다.
Figure 112007057773022-PAT00001
다음 수학식과 같이 상기 네 개의 색차 영역 값들의 평균에서 픽셀 (i, j)의 R 컬러값을 빼면 구하고자 하는 G 컬러값 G(i, j)을 구할 수 있다.
Figure 112007057773022-PAT00002
한편, B 컬러값만을 가지는 픽셀에서 G 컬러값의 보간 역시 상기된 R 컬러값만을 가지는 픽셀에서 G 컬러값의 보간과 마찬가지로 수행될 수 있다.
G 컬러값이 구해진 뒤에 B 컬러값만을 가지는 픽셀 (i, j)에서 R 컬러값을 구하려면 색차 영역 값들을 다음과 같이 정의하고,
Figure 112007057773022-PAT00003
상기 색차 영역 값들을 이용하여 다음 수학식을 이용하여 R 컬러 값 R(i, j)를 구할 수 있다.
Figure 112007057773022-PAT00004
그리고, 위에서 구한 G 컬러값과 R 컬러값을 이용하여 G 컬러값만 있는 픽셀 (i, j)에서의 R 컬러값을 구하려면, 색차 영역 값들을 다음과 같이 정의하고,
Figure 112007057773022-PAT00005
다음 수학식과 같이 상기 색차 영역 값들의 평균과 G 컬러값의 차이를 통해 R 컬러값을 구할 수 있다.
Figure 112007057773022-PAT00006
다음으로 에지 적응적 색상 보간법을 설명한다. 우선 R 컬러값만 있는 픽셀 또는 B 컬러값만 있는 픽셀에서 G 컬러값의 보간은 다음과 같다. 예를 들어 R 컬러값만 있는 픽셀 (i, j)에서 G 컬러값을 보간하고자 할 때, G 채널에서의 방향성을 추정하기 위해 다음과 같이 이웃하는 G 값들의 차를 구한다. 여기서 △H는 수평 방향의 차를, △V는 수직 방향의 차를 의미한다.
Figure 112007057773022-PAT00007
상기 차가 작은 쪽이 올바른 방향이 될 가능성이 크므로 미리 정하여진 임계값 Th와 비교하여 그 결과에 따라 다음과 같이 방향성을 고려하여 G 컬러값을 보간한다.
Figure 112007057773022-PAT00008
한편, B 컬러값만을 가지는 픽셀에서 G 컬러값의 보간 역시 상기된 R 컬러값만을 가지는 픽셀에서 G 컬러값의 보간과 마찬가지로 수행될 수 있다.
그리고, R, B 채널의 복원은 상기된 바에 따라 복원된 G 채널을 이용하여 색차 영역에서의 컬러 보간법을 사용하여 복원한다.
그러나, 종래의 컬러 보간 방법들은 영상의 에지 정보를 효과적으로 고려하지 못하고 채널 간의 상관관계를 잘 고려하지 않기 때문에, 컬러 보간시 물체의 윤곽이나 경계선 등의 에지에서 원래의 컬러와는 전혀 다른 색으로 보간되어 일부 픽셀들이 주위와 어울리지 않게 눈에 띄게 튀어 보이는 현상인 색상 오류(false color error)나 체크무늬 영상과 같은 패턴 영역에서 무지개와 같이 알록달록한 컬러 왜곡이 발생하는 물결무늬 효과(moire effect)가 발생하는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 에지 정보를 효과적으로 고려하고 채널 간의 상관관계를 고려하여 컬러 보간시 발생할 수 있는 오류를 최소화하는 컬러 보간 방법 및 장치, 상기된 컬러 보간 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데에 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 컬러 보간 방법은, 컬러 필터 어레이(Color Filter Array)를 갖는 단일 이미지 센서에 의해 획득된 입력 영상으로부터 잃어버린 채널을 복원하기 위한 컬러 보간 방법에 있어서, (a) 상기 입력 영상을 R, G, B 채널의 영상으로 분리하고, 상기 분리된 각 영상을 다운 샘플링함으로써 저해상도 영상들을 형성하는 단계; (b) 상기 저해상도 영상에서 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하고, 상기 판단 결과에 기초하여 상기 픽셀의 컬러를 보간함으로써 잃어버린 채널을 복원하는 단계; 및 (c) 상기 잃어버린 채널이 복원된 저해상도 영상들을 업샘플링하고 상기 업샘플링된 영상들을 이용하여 풀컬러 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 컬러 보간 장치는, 컬러 필터 어레이(Color Filter Array)를 갖는 단일 이미지 센서에 의해 획득된 입력 영상으로부터 잃어버린 채널을 복원하기 위한 컬러 보간 장치에 있어서, 상기 입력 영상을 R, G, B 채널의 영상으로 분리하고, 상기 분리된 각 영상을 다운 샘플링함으로써 저해상도 영상들을 형성하는 채널분리 및 다운샘플링부; 상기 저해상도 영상에서 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하고, 상기 판단 결과에 기초하여 상기 픽셀의 컬러를 보간함으로써 잃어버린 채널을 복원하는 채널 복원부; 및 상기 잃어버린 채널이 복원된 저해상도 영상들을 업샘플링하고 상기 업샘플링된 영상들을 이용하여 풀컬러 영상을 생성하는 풀컬러 영상 생성부를 포함하는 것을 특징으로 한다.
상기 또 다른 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른, 컬러 필터 어레이(Color Filter Array)를 갖는 단일 이미지 센서에 의해 획득된 입력 영상으로부터 잃어버린 채널을 복원하기 위한 컬러 보간 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 의하면, 에지 정보를 효과적으로 고려하고 채널 간의 상관관계를 고려하여 컬러 보간시 발생할 수 있는 오류를 최소화할 수 있으며, 고해상도의 보간된 풀컬러 영상을 제공할 수 있다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 2은 본 발명의 일 실시예에 따른 컬러 보간 방법을 나타낸 흐름도이다. 도 2를 참조하면, 우선 210단계에서, 베이어 패턴의 컬러 필터 어레이를 갖는 단일 이미지 센서에 의해 획득된 영상을 입력받는다.
220단계에서, 입력 영상을 R, G, B 채널의 영상으로 분리하고, 분리된 각 영상을 다운 샘플링함으로써 저해상도 영상들을 형성한다. 도 3은 상기 220단계에서의 채널 분리와 다운샘플링의 일 예를 설명하기 위한 도면이다.
도 3을 참조하면 도면부호 310은 상기 210단계에서 입력된 영상을 나타내며, 각 픽셀이 R, G 또는 B에 해당하는 하나의 컬러값만을 가진다. 도면부호 321 내지 323은 각각 입력 영상이 R, G, B의 각 채널로 분리된 각 영상을 나타낸다. 베이터 패턴의 컬러 필터 어레이는 G 성분이 R 및 B 성분의 2배이므로, 도 3에 도시된 바와 같이 분리된 G 채널의 영상(322)은 R 또는 B 채널의 영상의 두 배의 컬러 정보를 가지게 된다. 도면부호 331 내지 334는 분리된 각 영상이 다운샘플링된 영상들로서, R 채널의 영상이 다운샘플링된 제1 저해상도 영상(331), G 채널의 영상(322)이 다운샘플링된 영상들로서 소정 픽셀들의 G 컬러값이 포함된 제2 저해상도 영상(322)과 상기 소정 픽셀들을 제외한 픽셀들의 G 컬러값이 포함된 제3 저해상도 영상(333), 그리고 B 채널의 영상이 다운샘플링된 제4 저해상도 영상(334)을 나타낸다. 특히 G 채널의 영상(322)으로부터는 두 개의 저해상도 영상이 형성되는데, G 컬러값을 가지는 픽셀들의 컬러값들이 행과 열에 따라 번갈아서 다운샘플링된다. 즉, 픽셀들(a, b, c, d)의 컬러 정보가 포함된 제2 저해상도 영상(332)과 픽셀들(e, f, g, h)의 컬러 정보가 포함된 제2 저해상도 영상(333)이 형성된다.
상기된 바와 같이 형성된 저해상도 영상들은 공간적으로는 비어있는 픽셀이 없기 때문에 각각 하나의 완전한 영상이 되지만, 컬러 채널 상으로는 R, G, B 세 개의 채널 중 하나씩만 존재하기 때문에 컬러 채널 상으로는 불완전한 영상이 된다.
다음으로, 230단계에서 저해상도 영상들 각각에서 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하고, 판단 결과에 기초하여 픽셀의 컬러를 보간함으로써 잃어버린 채널 복원을 복원한다. 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하는 상세한 과정은 후술하기로 한다.
도 4는 본 발명의 일 실시예에 따라 저해상도 영상들 각각에서 컬러를 보간하는 과정을 설명하기 위한 도면이다. 도 4를 참조하면, 제1 저해상도 영상(331)의 각 픽셀은 R 컬러값만을 가지고 있으므로, G 컬러값과 B 컬러값을 보간하여야 한다. 마찬가지로, 제2 저해상도 영상(332)의 각 픽셀은 G 컬러값만을 가지고 있으므로, R 컬러값과 B 컬러값을 보간하여야 한다. 도 4를 참조하면 가장 우측에 상기 230단계의 컬러 보간을 거친 후에 잃어버린 채널이 복원된 4개의 저해상도 영상들(410-440)이 도시되어 있으며, 저해상도 영상들(410-440)에서 각 픽셀은 R, G, B의 컬러값을 가지고 있다.
240단계에서, 잃어버린 채널이 복원된 저해상도 영상들을 업샘플링하고, 업샘플링된 영상들을 이용하여 풀컬러 영상을 생성한다. 도 5는 본 발명의 일 실시예에 따른 240단계에서의 업샘플링 및 풀컬러 영상의 생성을 설명하기 위한 도면이다.
도 5를 참조하면, 잃어버린 채널이 복원된 저해상도 영상(420)이 업샘플링된 결과 형성된 3개 채널의 영상들(510)이 도시되어 있다. 도시하지는 않았지만 잃어버린 채널이 복원된 나머지 저해상도 영상들(410, 430, 440) 각각에 대해서도 도 5에 도시된 바와 마찬가지로 업샘플링함으로써 3개 채널의 영상들이 형성된다. 이렇게 형성된 영상들에서 컬러값을 가지는 픽셀들을 본래 입력 영상에 존재하던 위치에 등록함으로써, 도면부호 520에 나타난 바와 같이 R, G, B의 각 채널에 해당하는 본래 해상도의 영상을 생성한다. 그리고, 이들 각 채널의 영상들이 합성된 결과 도면부호 530에 나타난 바와 같은 풀컬러 영상이 생성된다.
도 6은 본 발명의 일 실시예에 따라 상기 230단계를 보다 구체적으로 나타낸 흐름도이다.
우선, 610단계에서, 상기 220단계에서 형성된 저해상도 영상들을 이용하여, 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단한다. 여기서, R 채널의 영상이 다운샘플링된 저해상도 영상에서 G 컬러값을 보간하는 경우로 예를 들어 설명하기로 한다. 상기 220단계에서 형성된 저해상도 영상들 사이에는 상관관계가 존재하는데, 동일 채널에서의 상관관계와 다른 채널의 저해상도 영상들과의 상관관계를 정의할 수 있다. 이하에서는 설명의 편의를 위하여 R 채널의 영상이 다운샘플링된 제1 저해상도 영상(331)을 R01, G 채널의 영상이 다운샘플링된 제2 저해상도 영상(332) 및 제3 저해상도 영상(333)을 G00 및 G11, B 채널의 영상이 다운샘플링된 제4 저해상도 영상(334)을 B10라 하기로 한다. 한편, 이하에서, 예를 들면 G00(x, y)라 함은 저해상도 영상 G00의 픽셀 (x. y)에서의 컬러값을 의미한다.
그러면 상기 각 저해상도 영상들을 위치 관계에 따라서 도 7에 도시된 바와 같이 배열할 수 있다. 그리고, 저해상도 영상 R01에서 컬러값을 보간하고자 하는 경우, 도 8에 도시된 바와 같이 R01을 기준으로 G00와 G11을 각각 1픽셀만큼 우측 및 상측으로 1픽셀씩 시프트함으로써 형성되는 허상인 G00' 및 G11'를 위치시킨다. 따라서 저해상도 영상 G00 및 G11과 그 허상 G00' 및 G11'은 도 8에 도시된 바와 같이 저해상도 영상 R01을 기준으로는 각각 0.5 픽셀만큼의 시프트를 가지고 위치해 있음을 알 수 있다.
이때 상기 동일 채널에서의 상관관계란 G00와 G00'의 상관관계 및 G11과 G11'의 상관관계가 있으며, 각각 동일 채널의 저해상도 영상에서 수평 또는 수직 방향에 따른 상관도가 존재함을 나타낸다. 한편, 다른 채널의 저해상도 영상들과의 상관관계란 R01을 기준으로 G00, G00' G11, G11' 각각과 상관관계가 있으며, 각각 수평(좌측 및 우측) 및 수직(하측 및 상측) 방향에 위치하는 G 채널의 저해상도 영상과의 상관도가 존재함을 나타낸다.
상기 동일 채널에서의 상관관계는 다음 수학식에 의해 계산되는 유사도인 제1 유사도로서 나타낼 수 있다.
Figure 112007057773022-PAT00009
여기서,
Figure 112007057773022-PAT00010
는 픽셀 (i, j)에서 G 채널의 저해상도 영상에서의 수평 방향의 유사도를 의미하고,
Figure 112007057773022-PAT00011
는 픽셀 (i, j)에서 G 채널의 저해상도 영상에서의 수직 방향의 유사도를 의미하며, 이들은 그 값이 클수록 유사도가 큼을 나타낸다.
그리고, 상기 다른 채널의 저해상도 영상들과의 상관관계는 R01을 기준으로 다음 수학식에 의해 계산되는 유사도인 제2 유사도로서 나타낼 수 있다.
Figure 112007057773022-PAT00012
여기서,
Figure 112007057773022-PAT00013
및
Figure 112007057773022-PAT00014
는 수평 방향의 유사도로서 각각 픽셀 (i, j)에서 좌측 및 우측 방향의 G 채널의 저해상도 영상과의 유사도를 의미하고,
Figure 112007057773022-PAT00015
및
Figure 112007057773022-PAT00016
는 수직 방향의 유사도로서 각각 픽셀 (i, j)에서 하측 및 상측 방향의 G 채널의 저해상도 영상과의 유사도를 의미하며, 이들은 그 값이 작을수록 유사도가 큼을 나타낸다.
이때, 상기 수학식 2의 D 값들은 다음 수학식에 의해 계산되는 값으로서 픽셀 (i, j)에서 주변의 저해상도 영상들 각각과 중심의 저해상도 영상 R01의 컬러값의 차이를 나타낸다.
Figure 112007057773022-PAT00017
여기서 G00(i, j)는 저해상도 영상 G00의 픽셀 (i, j)에서의 컬러값, R01(i, j)는 저해상도 영상 R01의 픽셀 (i, j)에서의 컬러값, G11(i, j)는 저해상도 영상 G11의 픽셀 (i, j)에서의 컬러값, G'11(i, j)는 저해상도 영상 G'11의 픽셀 (i, j)에서의 컬러값을 의미한다.
도 9는 본 발명의 일 실시예에 따라 상기 610단계, 즉 저해상도 영상에서 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하는 과정을 보다 구체적으로 나타낸 흐름도로서 상기된 바에 따라 구한 유사도를 이용하여 보간할 픽셀이 존재하는 영역을 평탄 영역, 에지 영역, 패턴 영역으로 분류하고, 나아가 에지 영역과 패턴 영역으로 구분되는 경우, 방향성을 결정하는 과정을 나타내고 있다.
상기된 수학식 2에서와 같이
Figure 112007057773022-PAT00018
값은 수평 방향과 수직 방향에 대해 각각 2개씩 생기게 되는데, 수평 방향의
Figure 112007057773022-PAT00019
값 중 큰 값을
Figure 112007057773022-PAT00020
, 작은 값을
Figure 112007057773022-PAT00021
, 수직 방향의
Figure 112007057773022-PAT00022
값 중 큰 값을
Figure 112007057773022-PAT00023
, 작은 값을
Figure 112007057773022-PAT00024
이라 하자.
우선, 910단계에서 상기 값 및 s 값이 (
Figure 112007057773022-PAT00026
<
Figure 112007057773022-PAT00027
and
Figure 112007057773022-PAT00028
>
Figure 112007057773022-PAT00029
) 또는 (
Figure 112007057773022-PAT00030
>
Figure 112007057773022-PAT00031
and
Figure 112007057773022-PAT00032
<
Figure 112007057773022-PAT00033
)을 만족하면 915단계로 진행하여 에지영역으로 분류하고 그렇지 않다면 935단계로 진행한다.
920단계에서 (
Figure 112007057773022-PAT00034
<
Figure 112007057773022-PAT00035
and
Figure 112007057773022-PAT00036
>
Figure 112007057773022-PAT00037
)을 만족하면 925단계로 진행하여 수평방향의 에지 영역으로 결정하고, 그렇지 않으면, 즉 (
Figure 112007057773022-PAT00038
>
Figure 112007057773022-PAT00039
and
Figure 112007057773022-PAT00040
<
Figure 112007057773022-PAT00041
)를 만족하면 930단계로 진행하여 수직 방향의 에지 영역으로 결정한다.
935단계에서
Figure 112007057773022-PAT00042
<
Figure 112007057773022-PAT00043
또는
Figure 112007057773022-PAT00044
>
Figure 112007057773022-PAT00045
을 만족하면 940단계로 진행하여 패턴 영역으로 분류하고, 그렇지 않다면 960단계로 진행하여 평탄 영역으로 분류한다.
940단계 다음에는 945단계에서
Figure 112007057773022-PAT00046
<
Figure 112007057773022-PAT00047
인지 판단한다. 그리고 그 결과에 따라 947단계에서 임시로 방향성을 결정한다. 이때
Figure 112007057773022-PAT00048
<
Figure 112007057773022-PAT00049
인 경우 수평 방향, 그렇지 않은 경우, 즉
Figure 112007057773022-PAT00050
>
Figure 112007057773022-PAT00051
인 경우 수직 방향으로 결정한다. 다만, 패턴 영역에서는 에지의 방향성 예측에 오류가 발생하기 쉬운 점을 감안하여 950단계에서, 방향성을 결정할 픽셀 주변의 픽셀들의 방향성의 통계를 측정하고, 그 결과에 따라서 955단계에서 방향성을 다시 결정한다. 예를 들면 방향성을 판단할 픽셀을 중심으로 3ㅧ3 마스크 사이즈 안에 있는 픽셀들 중에 수직 방향의 픽셀이 많은 경우 수직 방향으로, 수평 방향의 픽셀이 많은 경우 수평 방향으로 방향성을 결정한다.
다시 도 6을 참조하면, 620단계에서는 저해상도 영상에서 컬러를 보간할 픽셀을 기준으로 색차 영역 값을 계산한다. 도 8을 예로 들었을 때 색차 영역 값은 다음 수학식에 따라 계산할 수 있다.
Figure 112007057773022-PAT00052
상기 수학식들의 좌변에서 위첨자, n, s, w, e는 각각 방향을 나타내는 north, south, west, east를 의미한다. 그리고, 우변의 첫 번째 항인 저해상도 영상 G'11, G11, G00, G'00 각각에서의 픽셀 (i, j)의 컬러값들은 이미 가지고 있는 값이며, 두 번째 항 r01은, 도 8을 참조하면 저해상도 영상 R01 주변의 네 개의 저해상도 영상들은 R 컬러값을 가지고 있지 않으므로, G 채널의 영상의 위치에서 저해상도 영상 R01의 컬러값을 보간한 값으로서, 다음 수학식에 따라 계산된다.
Figure 112007057773022-PAT00053
그리고 630단계에서 컬러를 보간할 픽셀을 중심으로 각 방향에 대하여 에지의 방향성을 나타내는 가중치를 계산한다. 이 가중치는 다음 수학식에 따라 계산할 수 있다.
Figure 112007057773022-PAT00054
좌변의 위첨자 d는 방향, 즉 east, west, south, north 중 어느 하나를 의미하며,
Figure 112007057773022-PAT00055
는 중앙의 저해상도 영상에서의 컬러값 차이,
Figure 112007057773022-PAT00056
은 방향 d와 일치하는 위치에 있는 저해상도 영상들에서의 컬러값 차이,
Figure 112007057773022-PAT00057
는 방향 d와 일치하지 않는 위치의 저해상도 영상들에서의 컬러값 차이를 의미한다. 도 8을 예로 들었을 때 north 방향, 즉 위쪽 방향의 가중치를 구하고자 할 때,
Figure 112007057773022-PAT00058
,
Figure 112007057773022-PAT00059
,
Figure 112007057773022-PAT00060
는 각각 다음 수학식에 따라 계산된다.
Figure 112007057773022-PAT00061
640단계에서는, 상기 610단계에서 판단된 컬러를 보간할 픽셀이 존재하는 영역의 특성에 따라서, 상기 620단계에서 계산된 색차 영역 값과 상기 630단계에서 계산된 가중치를 이용하여 컬러를 보간한다.
상기 610단계에서, 컬러를 보간할 픽셀이 존재하는 영역이 평탄 영역으로 판단되었다면 다음 수학식을 이용하여 컬러를 보간한다.
Figure 112007057773022-PAT00062
그리고, 상기 610단계에서, 컬러를 보간할 픽셀이 존재하는 영역이 에지 영역으로 판단되었다면 방향성에 따라서 다음 수학식을 이용하여 컬러를 보간한다.
Figure 112007057773022-PAT00063
그리고, 상기 610단계에서, 컬러를 보간할 픽셀이 존재하는 영역이 패턴 영역으로 판단되었다면 방향성에 따라서 다음 수학식을 이용하여 컬러를 보간한다.
Figure 112007057773022-PAT00064
상기된 수학식 8 내지 10은 이미 설명한 것처럼 R 채널의 영상이 다운샘플링된 저해상도 영상에서 G 컬러값을 보간하는 경우에 해당한다. B 채널의 영상이 다운샘플링된 저해상도 영상에서 G 컬러값을 보간하는 경우 역시 이미 설명한 G 컬러값의 보간과 실질적으로 동일한 과정을 통하여 수행될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 그리고 B 채널의 저해상도 영상에서의 R 컬러값의 보간과 R 채널의 저해상도 영상에서의 B 컬러값의 보간은 상기 보간된 G 컬러값을 이용하여 다음 수학식에 따라서 수행된다.
Figure 112007057773022-PAT00065
여기서,
Figure 112007057773022-PAT00066
는 각각 픽셀 R 컬러값을 보간할 픽셀 (i, j)를 기준으로 하는 네 방향의 색차 영역 값을 의미하며,
Figure 112007057773022-PAT00067
는 각각 B 컬러 값을 보간할 픽셀 (i, j)를 기준으로 하는 네 방향의 색차 영역 값을 의미한다.
마지막으로, G 채널의 영상이 다운샘플링된 저해상도 영상에서 R 컬러값 및 B 컬러값의 보간 역시 상술한 바와 같은 G 컬러값의 보간과 실질적으로 동일한 과정을 통하여 수행될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 10은 본 발명의 일 실시예에 따른 컬러 보간 장치의 구성을 나타낸 블록도이다. 본 실시예에 따른 컬러 보간 장치는 전술한 컬러 보간 방법에 따라서, 컬러 필터 어레이(Color Filter Array)를 갖는 단일 이미지 센서에 의해 획득된 입력 영상으로부터 잃어버린 채널을 복원하는 장치이다.
도 10을 참조하면, 본 실시예에 따른 컬러 보간 장치는 채널 분리 및 다운샘플링부(1010), 채널 복원부(1020) 및 풀컬러 영상 생성부(1030)를 포함한다.
채널 분리 및 다운샘플링부(1010)는 베이어 패턴의 컬러 필터 어레이를 갖는 단일 이미지 센서에 의해 획득된 영상을 입력받아, R, G, B 채널의 영상으로 분리하고, 분리된 각 영상을 다운 샘플링함으로써 저해상도 영상들을 형성한다. 채널 분리 및 다운샘플링부(1010)의 동작은 도 2의 220단계에 관련된 설명과 동일하며, 구체적인 설명은 생략한다.
채널 복원부(1020)는 채널 분리 및 다운샘플링부(1010)에서 형성된 저해상도 영상들 각각에서 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하고, 판단 결과에 기초하여 픽셀의 컬러를 보간함으로써 잃어버린 채널 복원을 복원한다. 채널 복원부(1020)의 동작은 도 2의 230단계에 관련된 설명과 동일하며, 구체적인 설명은 생략한다.
풀컬러 영상 생성부(1030)는 채널 복원부(1020)에서 잃어버린 채널이 복원된 저해상도 영상들을 업샘플링하고, 업샘플링된 영상들을 이용하여 풀컬러 영상을 생성한다. 풀컬러 영상 생성부(1030)의 동작은 도 2의 240단계에 관련된 설명과 동일하며, 구체적인 설명은 생략한다.
도 11은 본 발명의 일 실시예에 따라 채널 복원부(1020)의 구성을 보다 구체적으로 나타낸 블록도이다.
도 11을 참조하면 채널 복원부(1020)는 영역 특성 판단부(1021), 색차 영역 값 계산부(1022), 가중치 계산부(1023) 및 컬러 보간부(1024)를 포함한다.
영역 특성 판단부(1021)는 채널 분리 및 다운샘플링부(1010)에서 형성된 저해상도 영상들을 입력받아, 저해상도 영상에서 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단한다. 영역 특성 판단부(1021)의 구체적인 동작은 도 6의 610단계에 관련된 설명과 동일하며, 구체적인 설명은 생략한다.
색차 영역 값 계산부(1022)는 저해상도 영상에서 컬러를 보간할 픽셀을 기준으로 색차 영역 값을 계산한다. 색차 영역 값 계산부(1022)의 구체적인 동작은 도 6의 620단계에 관련된 설명과 동일하며, 구체적인 설명은 생략한다.
가중치 계산부(1023)는 컬러를 보간할 픽셀을 중심으로 각 방향에 대하여 에지의 방향성을 나타내는 가중치를 계산한다. 가중치 계산부(1023)의 구체적인 동작은 도 6의 630단계에 관련된 설명과 동일하며, 구체적인 설명은 생략한다.
컬러 보간부(1024)는 영역 특성 판단부(1021)에서 판단된 컬러를 보간할 픽셀이 존재하는 영역의 특성에 따라서, 색차 영역 값 계산부(1022)에서 계산된 색차 영역 값과 가중치 계산부(1023)에서 계산된 가중치를 이용하여 컬러를 보간하여, 보간된 저해상도 영상을 출력한다. 컬러 보간부(1024)의 구체적인 동작은 도 6의 640단계에 관련된 설명과 동일하며, 구체적인 설명은 생략한다.
상술한 본 발명에 의하면, 베이어 패턴의 컬러 필터 어레이를 갖는 단일 이미지 센서에 의해 획득된 영상을 R, G, B 채널의 영상으로 분리하고, 상기 분리된 각 영상을 다운 샘플링함하여 4개의 저해상도 영상을 형성하는데, 이들 저해상도 영상을 이용하면 채널 간의 상관관계를 잘 고려할 수 있게 된다. 또한, 저해상도 영상을 이용한 채널 간의 상관관계를 에지의 방향성 판단에 사용함으로써 보다 정확히 판단할 수 있으며, 컬러를 보간하고자 하는 픽셀이 존재하는 영역의 특성을 평탄 영역과 에지 영역 뿐만 아니라 패턴 영역까지도 고려하여 컬러를 보간하기 때문에 기존의 컬러 보간에서 발생하였던 색상 오류(false color error)나 물결무늬 효과(moire effect) 등의 문제점을 최소화시킬 수 있다.
도 12는 본 발명에 따른 컬러 보간 방법 및 장치에 의하여 컬러 보간을 수행한 결과의 일 예 나타내는 도면이며, 도 13 및 도 14는 각각 도 12의 펜스 부분과 창문 부분을 확대한 모습을 나타내는 도면이다. 도 13을 참조하면, 종래의 컬러 보 간 방법서는 물결 무늬 현상이나 색상 오류 현상이 발견되나, 본 발명에 따른 컬러 보간 방법에 의하면 펜스 부분과 같이 에지가 반복되는 패턴 영역에서 물결 무늬 현상이나 색상 오류가 현저히 줄어든 것을 확인할 수 있다. 도 14에서도, 본 발명에 따른 컬러 보간 방법에 의하면 창틀 부분에서 물결 무늬 현상이나 색상 오류가 현저히 줄어든 것을 확인할 수 있다.
도 15는 본 발명에 따른 컬러 보간 방법 및 장치에 의하여 컬러 보간을 수행한 결과의 다른 예를 나타내는 도면이며, 도 16는 도 15의 숫자 부분을 확대한 모습을 나타낸 도면이다. 도 16를 참조하면, 본 발명에 따른 컬러 보간 방법에 의하면 숫자의 경계 부분에서 색상 오류가 현저히 줄어든 것을 확인할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 베이어(Bayer) CFA를 나타낸 도면이다.
도 2은 본 발명의 일 실시예에 따른 컬러 보간 방법을 나타낸 흐름도이다.
도 3은 도 2의 220단계에서의 채널 분리와 다운샘플링의 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 저해상도 영상들 각각에서 컬러를 보간하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 도 2의 240단계에서의 업샘플링 및 풀컬러 영상의 생성을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 도 2의 230단계를 보다 구체적으로 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 딸 각 저해상도 영상들을 위치 관계에 따라서 배열한 모습을 나타낸다.
도 8은 본 발명의 일 실시예에 따라 저해상도 영상의 허상을 형성하여 배열한 모습을 나타낸다.
도 9는 본 발명의 일 실시예에 따라 도 6의 610단계를 보다 구체적으로 나타낸 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 컬러 보간 장치의 구성을 나타낸 블록도이다.
도 11은 본 발명의 일 실시예에 따라 채널 복원부의 구성을 보다 구체적으로 나타낸 블록도이다.
도 12는 본 발명에 따른 컬러 보간 방법 및 장치에 의하여 컬러 보간을 수행한 결과의 일 예 나타내는 도면이다.
도 13 및 도 14는 각각 도 12의 펜스 부분과 창문 부분을 확대한 모습을 나타내는 도면이다.
도 15는 본 발명에 따른 컬러 보간 방법 및 장치에 의하여 컬러 보간을 수행한 결과의 다른 예를 나타내는 도면이다.
도 16는 도 15의 숫자 부분을 확대한 모습을 나타낸 도면이다.

Claims (25)

  1. 컬러 필터 어레이(Color Filter Array)를 갖는 단일 이미지 센서에 의해 획득된 입력 영상으로부터 잃어버린 채널을 복원하기 위한 컬러 보간 방법에 있어서,
    (a) 상기 입력 영상을 R, G, B 채널의 영상으로 분리하고, 상기 분리된 각 영상을 다운 샘플링함으로써 저해상도 영상들을 형성하는 단계;
    (b) 상기 저해상도 영상에서 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하고, 상기 판단 결과에 기초하여 상기 픽셀의 컬러를 보간함으로써 잃어버린 채널을 복원하는 단계; 및
    (c) 상기 잃어버린 채널이 복원된 저해상도 영상들을 업샘플링하고 상기 업샘플링된 영상들을 이용하여 풀컬러 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 컬러 보간 방법.
  2. 제1항에 있어서,
    상기 컬러 필터 어레이는 베이어(Bayer) 패턴의 컬러 필터 어레이인 것을 특징으로 하는 컬러 보간 방법.
  3. 제2항에 있어서,
    상기 (a) 단계에서 형성되는 저해상도 영상들은, 상기 R 채널의 영상이 다운 샘플링된 제1 저해상도 영상(R01), 상기 G 채널의 영상이 다운 샘플링된 저해상도 영상들로서 소정 픽셀들의 G 컬러값이 포함된 제2 저해상도 영상(G00)과 상기 소정 픽셀들을 제외한 픽셀들의 G 컬러값이 포함된 제3 저해상도 영상(G11) 및 상기 B 채널의 영상이 다운 샘플링된 제4 저해상도 영상(B10)인 것을 특징으로 하는 컬러 보간 방법.
  4. 제3항에 있어서, 상기 (b) 단계는,
    (b1) 상기 저해상도 영상들을 이용하여 상기 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하는 단계;
    (b2) 상기 컬러를 보간할 픽셀을 기준으로 각 방향에 대하여 색차 영역 값을 계산하는 단계;
    (b3) 상기 컬러를 보간할 픽셀을 중심으로 각 방향에 대하여 에지의 방향성을 나타내는 가중치를 계산하는 단계; 및
    (b4) 상기 판단된 영역의 특성에 따라서 상기 색차 영역 값 및 상기 가중치를 이용하여 상기 픽셀의 컬러를 보간하는 단계를 포함하는 것을 특징으로 하는 컬러 보간 방법.
  5. 제4항에 있어서,
    상기 (b1) 단계는, 상기 저해상도 영상들 중 소정 채널의 저해상도 영상과 상기 소정 채널의 저해상도 영상을 수평 또는 수직으로 시프트함으로써 형성되는 허상과의 유사도인 제1 유사도와 상기 저해상도 영상들 중 소정 채널들 간의 유사 도인 제2 유사도를 이용하여 상기 픽셀이 존재하는 영역의 특성을 판단하는 것을 특징으로 하는 컬러 보간 방법.
  6. 제5항에 있어서,
    상기 제1 유사도는 상기 소정 채널이 G 채널인 경우 다음 수학식을 이용하여 구하는 것을 특징으로 하는 컬러 보간 방법.
    Figure 112007057773022-PAT00068
    여기서 G'00는 상기 제2 저해상도 영상(G00)을 수평 방향으로 1픽셀 시프트함으로써 형성되는 영상이고, G'11은 상기 제3 저해상도 영상(G11)을 수직 방향으로 1픽셀 시프트함으로써 형성되는 영상이다.
  7. 제5항에 있어서,
    상기 제2 유사도는 상기 제1 저해상도 영상(R01)을 기준으로 다음 수학식을 이용하여 구하는 것을 특징으로 하는 컬러 보간 방법.
    Figure 112007057773022-PAT00069
    여기서,
    Figure 112007057773022-PAT00070
    그리고, G'00는 상기 제2 저해상도 영상(G00)을 수평 방향으로 1 픽셀 시프트함으로써 형성되는 영상이고, G'11은 상기 제3 저해상도 영상(G11)을 수직 방향으로 1픽셀 시프트함으로써 형성되는 영상이다.
  8. 제5항에 있어서,
    상기 (b1) 단계는, 상기 제1 유사도 및 상기 제2 유사도를 이용하여 상기 픽셀이 존재하는 영역을 에지 영역, 평탄 영역, 패턴 영역 중 어느 하나로 분류하는 단계를 포함하는 것을 특징으로 하는 컬러 보간 방법.
  9. 제8항에 있어서,
    상기 (b1) 단계는, 상기 픽셀이 존재하는 영역이 에지 영역으로 분류되는 경우 상기 제1 유사도 및 상기 제2 유사도를 이용하여 에지의 방향성을 결정하는 단계를 더 포함하는 것을 특징으로 하는 컬러 보간 방법.
  10. 제8항에 있어서,
    상기 (b1) 단계는, 상기 픽셀이 존재하는 영역이 패턴 영역으로 분류되는 경 우 상기 제2 유사도를 이용하여 패턴의 방향성을 결정하는 단계를 더 포함하는 것을 특징으로 하는 컬러 보간 방법.
  11. 제10항에 있어서,
    상기 (b1) 단계는, 상기 컬러를 보간할 픽셀 주변의 픽셀들의 방향성의 통계를 측정하고, 상기 측정된 결과에 따라서 상기 패턴의 방향성을 다시 결정하는 단계를 더 포함하는 것을 특징으로 하는 컬러 보간 방법.
  12. 제4항에 있어서,
    상기 (b2) 단계에서 상기 색차 영역 값은, 상기 제1 저해상도 영상(R01)에서 G 컬러값을 보간하고자 할 때 다음 수학식을 이용하여 구하는 것을 특징으로 하는 컬러 보간 방법.
    Figure 112007057773022-PAT00071
    여기서,
    Figure 112007057773022-PAT00072
    그리고 위첨자 n, s, w, e는 각각 상, 하, 좌, 우의 방향을 나타낸다.
  13. 제12항에 있어서,
    상기 (b1) 단계는 상기 픽셀이 존재하는 영역을 평탄 영역, 수평 또는 수직 방향의 에지 영역, 수평 또는 수직 방향의 패턴 영역으로 분류하고,
    상기 (b3) 단계에서 상, 하, 좌, 우의 각 방향에 대하여 에지의 방향성을 나타내는 가중치
    Figure 112007057773022-PAT00073
    를 계산하고,
    상기 (b4) 단계는 상기 제1 저해상도 영상(R01)에서 G 컬러값을 보간하고자 할 때 다음 수학식들을 이용하여 보간하는 것을 특징으로 하는 컬러 보간 방법.
    ⅰ) 평탄 영역일 경우
    Figure 112007057773022-PAT00074
    ⅱ) 수평 또는 수직 방향의 에지 영역일 경우
    Figure 112007057773022-PAT00075
    ⅲ) 수평 또는 수직 방향의 패턴 영역일 경우
    Figure 112007057773022-PAT00076
  14. 제1항에 있어서,
    상기 (c) 단계에서 풀컬러 영상의 생성은, 상기 업샘플링된 영상들에서 컬러값을 가지는 픽셀들을, 상기 픽셀들이 상기 입력 영상에 존재하던 위치에 등록함으로써 풀컬러 영상을 생성하는 것을 특징으로 하는 컬러 보간 방법.
  15. 제1항 내지 제14항 중 어느 한 항의, 컬러 필터 어레이(Color Filter Array)를 갖는 단일 이미지 센서에 의해 획득된 입력 영상으로부터 잃어버린 채널을 복원하기 위한 컬러 보간 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  16. 컬러 필터 어레이(Color Filter Array)를 갖는 단일 이미지 센서에 의해 획득된 입력 영상으로부터 잃어버린 채널을 복원하기 위한 컬러 보간 장치에 있어서,
    상기 입력 영상을 R, G, B 채널의 영상으로 분리하고, 상기 분리된 각 영상을 다운 샘플링함으로써 저해상도 영상들을 형성하는 채널분리 및 다운샘플링부;
    상기 저해상도 영상에서 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하고, 상기 판단 결과에 기초하여 상기 픽셀의 컬러를 보간함으로써 잃어버린 채널을 복원하는 채널 복원부; 및
    상기 잃어버린 채널이 복원된 저해상도 영상들을 업샘플링하고 상기 업샘플링된 영상들을 이용하여 풀컬러 영상을 생성하는 풀컬러 영상 생성부를 포함하는 것을 특징으로 하는 컬러 보간 장치.
  17. 제16항에 있어서,
    상기 컬러 필터 어레이는 베이어(Bayer) 패턴의 컬러 필터 어레이인 것을 특징으로 하는 컬러 보간 장치.
  18. 제17항에 있어서,
    상기 채널분리 및 다운샘플링부에서 형성되는 저해상도 영상들은, 상기 R 채널의 영상이 다운 샘플링된 제1 저해상도 영상(R01), 상기 G 채널의 영상이 다운 샘플링된 저해상도 영상들로서 소정 픽셀들의 G 컬러값이 포함된 제2 저해상도 영상(G00)과 상기 소정 픽셀들을 제외한 픽셀들의 G 컬러값이 포함된 제3 저해상도 영상(G11) 및 상기 B 채널의 영상이 다운 샘플링된 제4 저해상도 영상(B10)인 것을 특징으로 하는 컬러 보간 장치.
  19. 제18항에 있어서, 상기 채널 복원부는,
    상기 저해상도 영상들을 이용하여 상기 컬러를 보간할 픽셀이 존재하는 영역의 특성을 판단하는 영역특성 판단부;
    상기 컬러를 보간할 픽셀을 기준으로 각 방향에 대하여 색차 영역 값을 계산하는 색차영역값 계산부;
    상기 컬러를 보간할 픽셀을 중심으로 각 방향에 대하여 에지의 방향성을 나타내는 가중치를 계산하는 가중치 계산부; 및
    상기 판단된 영역의 특성에 따라서 상기 색차 영역 값 및 상기 가중치를 이용하여 상기 픽셀의 컬러를 보간하는 컬러 보간부를 포함하는 것을 특징으로 하는 컬러 보간 장치.
  20. 제19항에 있어서,
    상기 영역특성 판단부는, 상기 저해상도 영상들 중 소정 채널의 저해상도 영상과 상기 소정 채널의 저해상도 영상을 수평 또는 수직으로 시프트함으로써 형성되는 허상과의 유사도인 제1 유사도와 상기 저해상도 영상들 중 소정 채널들 간의 유사도인 제2 유사도를 이용하여 상기 픽셀이 존재하는 영역의 특성을 판단하는 것을 특징으로 하는 컬러 보간 장치.
  21. 제20항에 있어서,
    상기 영역특성 판단부는, 상기 제1 유사도 및 상기 제2 유사도를 이용하여 상기 픽셀이 존재하는 영역을 에지 영역, 평탄 영역, 패턴 영역 중 어느 하나로 분류하는 단계를 포함하는 것을 특징으로 하는 컬러 보간 장치.
  22. 제21항에 있어서,
    상기 영역특성 판단부는, 상기 픽셀이 존재하는 영역이 에지 영역으로 분류되는 경우 상기 제1 유사도 및 상기 제2 유사도를 이용하여 에지의 방향성을 결정하는 단계를 더 포함하는 것을 특징으로 하는 컬러 보간 장치.
  23. 제21항에 있어서,
    상기 영역특성 판단부는, 상기 픽셀이 존재하는 영역이 패턴 영역으로 분류되는 경우 상기 제2 유사도를 이용하여 패턴의 방향성을 결정하는 단계를 더 포함하는 것을 특징으로 하는 컬러 보간 장치.
  24. 제23항에 있어서,
    상기 영역특성 판단부는, 상기 컬러를 보간할 픽셀 주변의 픽셀들의 방향성의 통계를 측정하고, 상기 측정된 결과에 따라서 상기 패턴의 방향성을 다시 결정하는 단계를 더 포함하는 것을 특징으로 하는 컬러 보간 장치.
  25. 제16항에 있어서,
    상기 풀컬러 영상 생성부는, 상기 업샘플링된 영상들에서 컬러값을 가지는 픽셀들을, 상기 픽셀들이 상기 입력 영상에 존재하던 위치에 등록함으로써 풀컬러 영상을 생성하는 것을 특징으로 하는 컬러 보간 장치.
KR1020070079979A 2007-08-09 2007-08-09 컬러 보간 방법 및 장치 KR100932217B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070079979A KR100932217B1 (ko) 2007-08-09 2007-08-09 컬러 보간 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070079979A KR100932217B1 (ko) 2007-08-09 2007-08-09 컬러 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090015566A true KR20090015566A (ko) 2009-02-12
KR100932217B1 KR100932217B1 (ko) 2009-12-16

Family

ID=40685118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070079979A KR100932217B1 (ko) 2007-08-09 2007-08-09 컬러 보간 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100932217B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
CN101969571B (zh) * 2009-07-27 2013-08-21 慧帝科技(深圳)有限公司 像素处理方法
KR101408360B1 (ko) * 2010-01-14 2014-06-18 연세대학교 산학협력단 영상 보간 장치 및 방법
KR101721632B1 (ko) * 2016-01-21 2017-03-30 인천대학교 산학협력단 변형된 커널 회귀 방법을 이용한 영상 보간 장치, 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR101723212B1 (ko) * 2016-01-19 2017-04-05 인천대학교 산학협력단 업샘플링을 위한 라그랑지 보간 장치, 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20180024717A (ko) * 2016-08-31 2018-03-08 주식회사 인트로메딕 캡슐 내시경에서의 영상 처리 방법, 캡슐 내시경 장치, 캡슐 내시경 장치와 연동하는 수신기, 수신기의 영상 처리 방법 및 캡슐 내시경 시스템
WO2019177368A1 (ko) * 2018-03-15 2019-09-19 삼성전자 주식회사 카메라를 이용하여 획득한 이미지에 대한 복원 정보를 이용하여 압축 처리하는 전자 장치 및 방법
CN111200716A (zh) * 2020-01-08 2020-05-26 珠海亿智电子科技有限公司 特征映射缩放的精度补偿方法、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072508B2 (en) 2001-01-10 2006-07-04 Xerox Corporation Document optimized reconstruction of color filter array images
JP3902525B2 (ja) 2002-09-05 2007-04-11 三洋電機株式会社 画像信号処理装置
JP4934991B2 (ja) 2005-05-16 2012-05-23 ソニー株式会社 撮像信号処理装置及び方法並びに撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969571B (zh) * 2009-07-27 2013-08-21 慧帝科技(深圳)有限公司 像素处理方法
KR101408360B1 (ko) * 2010-01-14 2014-06-18 연세대학교 산학협력단 영상 보간 장치 및 방법
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
KR101723212B1 (ko) * 2016-01-19 2017-04-05 인천대학교 산학협력단 업샘플링을 위한 라그랑지 보간 장치, 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR101721632B1 (ko) * 2016-01-21 2017-03-30 인천대학교 산학협력단 변형된 커널 회귀 방법을 이용한 영상 보간 장치, 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20180024717A (ko) * 2016-08-31 2018-03-08 주식회사 인트로메딕 캡슐 내시경에서의 영상 처리 방법, 캡슐 내시경 장치, 캡슐 내시경 장치와 연동하는 수신기, 수신기의 영상 처리 방법 및 캡슐 내시경 시스템
KR101878891B1 (ko) * 2016-08-31 2018-07-16 주식회사 인트로메딕 캡슐 내시경에서의 영상 처리 방법, 캡슐 내시경 장치, 캡슐 내시경 장치와 연동하는 수신기, 수신기의 영상 처리 방법 및 캡슐 내시경 시스템
WO2019177368A1 (ko) * 2018-03-15 2019-09-19 삼성전자 주식회사 카메라를 이용하여 획득한 이미지에 대한 복원 정보를 이용하여 압축 처리하는 전자 장치 및 방법
CN111200716A (zh) * 2020-01-08 2020-05-26 珠海亿智电子科技有限公司 特征映射缩放的精度补偿方法、系统及存储介质

Also Published As

Publication number Publication date
KR100932217B1 (ko) 2009-12-16

Similar Documents

Publication Publication Date Title
KR100932217B1 (ko) 컬러 보간 방법 및 장치
JP5461568B2 (ja) カラーおよび全色性チャネルｃｆａ画像の修正
KR100782812B1 (ko) 에지 적응적 컬러 보간 방법 및 장치
US7652700B2 (en) Interpolation method for captured color image data
US9179113B2 (en) Image processing device, and image processing method, and program
US7667738B2 (en) Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera
US9338364B2 (en) Imaging device and image generation method
CN110557584B (zh) 图像处理方法及装置、计算机可读存储介质
US20060291746A1 (en) Method of and apparatus for removing color noise based on correlation between color channels
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
CN110430403B (zh) 一种图像处理方法和装置
US20110032269A1 (en) Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
US8213710B2 (en) Apparatus and method for shift invariant differential (SID) image data interpolation in non-fully populated shift invariant matrix
JP4810807B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US9237321B2 (en) Image processing device to generate an interpolated image that includes a large amount of high-frequency component and has high resolution, imaging device, image processing method, and information storage device
JP4934839B2 (ja) 画像処理装置及びその方法並びにプログラム
Paul et al. Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
KR101327790B1 (ko) 영상 보간 방법 및 장치
CN111988592B (zh) 影像色彩还原与增强电路
KR101072877B1 (ko) 색 보간 방법 및 그 장치
JP2003134523A (ja) 撮像装置及び撮像方法
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
Jeong et al. Edge-Adaptive Demosaicking for Reducing Artifact along Line Edge

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131002

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee