KR100782812B1 - 에지 적응적 컬러 보간 방법 및 장치 - Google Patents

에지 적응적 컬러 보간 방법 및 장치 Download PDF

Info

Publication number
KR100782812B1
KR100782812B1 KR1020050051258A KR20050051258A KR100782812B1 KR 100782812 B1 KR100782812 B1 KR 100782812B1 KR 1020050051258 A KR1020050051258 A KR 1020050051258A KR 20050051258 A KR20050051258 A KR 20050051258A KR 100782812 B1 KR100782812 B1 KR 100782812B1
Authority
KR
South Korea
Prior art keywords
color
pixel
pixels
interpolated
interpolation
Prior art date
Application number
KR1020050051258A
Other languages
English (en)
Other versions
KR20060131083A (ko
Inventor
강문기
김창원
박민규
한영석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050051258A priority Critical patent/KR100782812B1/ko
Priority to US11/393,710 priority patent/US7835573B2/en
Publication of KR20060131083A publication Critical patent/KR20060131083A/ko
Application granted granted Critical
Publication of KR100782812B1 publication Critical patent/KR100782812B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 단판식 이미지 센서의 각 픽셀에서 감지한 컬러 신호에 대한 정보를 수신하여 상기 픽셀에서 제외된 컬러 신호를 보간하는 컬러 보간 방법 및 장치에 관한 것으로, 본 발명에 따른 컬러 보간 방법은 보간될 픽셀을 중심으로 주변 픽셀에서 G 컬러값으로부터 R 또는 B 컬러값을 빼서 차영상 채널을 형성하는 단계와 차영상 채널을 이용하여 보간될 픽셀이 속하는 에지의 방향을 검출하고, 주변 픽셀 중 컬러 보간에 이용되는 주변 픽셀을 선택하는 단계와 컬러 보간에 이용되는 주변 픽셀에 에지의 방향을 나타내는 가중치를 계산하여 제공하는 단계 및 컬러 보간에 이용되는 주변 픽셀에서의 차영상값과 가중치를 이용하여 보간될 픽셀에서 제외된 컬러 성분을 계산하는 단계를 포함한다. 본 발명에 의하면, 에지의 방향을 고려하여 컬러 보간시 발생할 수 있는 오류를 최소화할 수 있으며, 고해상도의 보간된 영상을 제공할 수 있다.

Description

에지 적응적 컬러 보간 방법 및 장치{Method and apparatus for edge adaptive color interpolation}
도 1은 일반적인 베이어(Bayer) CFA를 나타낸 도면.
도 2는 본 발명에 따른 컬러 보간 방법을 나타낸 플로우 차트.
도 3은 본 발명에 따른 컬러 보간 방법에서 이용되는 차영상을 도시한 도면.
도 4는 본 발명에 따른 컬러 보간 방법에 따라서, 보간될 픽셀의 제 1 에지 방향을 검출하는 과정을 설명하기 위한 도면
도 5는 본 발명에 따른 컬러 보간 방법에 따라서, 제 2 에지 방향을 검출하는 과정을 설명하기 위한 도면.
도 6은 상기 도 5의 컬러 보간에 이용되는 주변 픽셀을 선택하는 단계(S210)를 구체적으로 나타낸 플로우 차트.
도 7은 본 발명에 따른 컬러 보간 방법에 따라서, 컬러 보간에 이용되는 주변 픽셀에 에지의 방향을 나타내는 가중치를 계산하여 제공하는 과정을 설명하기 위한 도면.
도 8은 상기 도 2의 컬러 보간을 수행하는 단계 230을 구체화한 플로우 차트.
도 9는 본 발명에 따른 컬러 보간 방법에 따라 B 컬러값을 보간하는 예를 설 명하기 위한 도면.
도 10a 및 10b는 본 발명에 따른 컬러 보간 방법에 따라서 G 컬러를 갖는 픽셀의 컬러 보간에 이용되는 주변 픽셀들을 나타낸 도면.
도 11은 본 발명에 따른 컬러 보간 장치의 구성을 나타낸 블록도.
도 12는 상기 도 11의 컬러 보간부(140)의 구성을 구체적으로 나타낸 블록도.
도 13은 본 발명에 따른 컬러 보간 방법 및 장치에 의하여 등대 영상의 컬러 보간을 수행한 결과를 나타낸 도면.
본 발명은 컬러 보간 방법 및 장치에 관한 것으로, 보다 상세히는 단판식 이미지 센서의 각 픽셀에서 감지한 컬러 신호에 대한 정보를 수신하여 상기 픽셀에서 제외된 컬러 신호를 보간하는 컬러 보간 방법 및 장치에 관한 것이다.
일반적으로, 디지털 카메라나 캠코더는 필름 대신에 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 이미지 센서(image sensor)를 이용한다. 이와 같은 센서는 빛의 밝기값을 감지하므로 상기 센서를 통해 획득되는 영상은 컬러 영상이 아닌 흑백 영상이다. 따라서, 컬러 영상을 획득하기 위해서 상기 센서의 각 픽셀마다 R(Red), G(Green), B(Blue) 컬러 성분을 통과시키는 컬러 필터 어레이(Color Filter Array, 이하 "CFA"라 함)가 설치 되고, 상기 센서의 각 픽셀들은 상기 CFA를 통과한 R, G, B 컬러 신호들의 강도를 감지한다. 이 때, RGB 컬러 포맷은 빛의 3원색이면서, 인간의 눈 속에 있는 원추 세포들이 주로 반응하는 파장대의 대역이기 때문에 고품질의 영상을 획득하기 위해서 많이 이용된다.
방송 장비 등에 있어서 상기 R, G, B 각각의 컬러 정보를 검출하는 3개의 CCD 또는 CMOS 센서가 이용되기도 하지만, 일반적으로는 비용 감소를 위하여 단판식(single) CCD 또는 CMOS 센서가 이용된다. 단판식 센서의 각 픽셀에는 여러 채널의 컬러 정보 중에서 하나의 컬러 정보만이 저장되므로, 완전한 영상의 컬러 정보를 얻기 위해서는 픽셀에 저장되지 않은 다른 채널의 컬러 정보를 주변 픽셀의 컬러 정보로부터 보간(interpolation)해야 한다.
도 1은 베이어(Bayer) CFA를 나타낸 도면이다. 도 1에서 각 정사각형은 이미지 센서의 하나의 픽셀에 대응되며, 아래 첨자로 표시된 숫자 ab는 a번째 행, b번째 렬을 가리키는 (a, b) 위치의 픽셀을 나타내는 것으로 가정한다. 예를 들어, B33은 (3,3) 위치의 픽셀이 갖는 B 컬러값을 가리킨다.
도 1에 도시된 베이어 CFA에 있어서, 각 픽셀에 대한 R, G 및 B의 값을 구하기 위하여 다양한 보간 알고리즘이 사용될 수 있다. 예를 들어, 주위 픽셀의 평균값을 사용하는 쌍일차 보간법(bilinear interpolation), 컬러 상호간의 상관 관계를 고려하는 평탄 색상 변화 보간법(smooth hue transition interpolation) 등이 있다.
쌍일차 보간법을 사용하는 경우, 도 1에 도시된 B 컬러값(B33)만을 가진 픽셀 (3,3)에서 G 컬러값(G33)은 상하좌우의 주변 4 픽셀의 G 컬러값의 평균, 즉
Figure 112005031505384-pat00001
으로부터 계산될 수 있으며, R 컬러값(R33)은 대각선 방향의 주변 4 픽셀의 평균, 즉
Figure 112005031505384-pat00002
으로부터 계산될 수 있다. 마찬가지로, R 컬러값 또는 G 컬러값만을 가진 픽셀은 보간하고자 하는 컬러 채널 성분을 갖는 주변 픽셀들의 컬러값의 평균을 이용하여 다른 채널의 컬러값을 보간할 수 있다.
평탄 색상 변화 보간법은, 영상의 국부 영역에서는 컬러 채널 사이의 차이가 일정하다는 가정을 이용해서 컬러 보간을 하는 것이다. 즉, 상기 평탄 색상 변화 보간법은 G 컬러값으로부터 R 또는 B 컬러값을 뺀 차(difference)영상 채널(DR, DB)을 이용하여 보간을 수행한다. 여기서,
Figure 112005031505384-pat00003
이다.
다시 도 1을 참조하여, 평탄 색상 변화 보간법을 이용한 컬러 보간 과정을 설명한다. 먼저, R 또는 B 컬러값만을 갖는 픽셀에서 G 컬러값을 보간하는 과정을 설명한다. 예를 들어, B 컬러값(B33)만을 가진 픽셀 (3,3)의 G 컬러값(G33) 및 R 컬러값(R33)을 보간하는 과정을 설명하면 다음과 같다.
상기 픽셀 (3,3)을 중심으로 상하좌우의 픽셀들 (2,3), (3,2), (3,4), (4,3) 의 차영상 채널(DB)의 값을 구한다. Da,xy를 (x,y) 픽셀에서의 G 컬러값과 임의의 a 컬러값의 차이를 나타낸다고 하면, 상기 (2,3), (3,2), (3,4), (4,3) 위치에서의 G 컬러값과 B 컬러값과의 차이(DB,23, DB,32, DB,34, DB,43)는 다음과 같이 표현된다.
Figure 112005031505384-pat00004
여기서, 프라임(prime) 부호가 붙은 것은, 센서로부터 직접적으로 획득되는 컬러값이 아니라 보간된 컬러값을 의미한다. 상기 픽셀 (3,3)의 보간된 G 컬러값(G33')은 상기 차영상 채널값들(DB,23, DB,32, DB,34, DB,43)의 평균값과 현재 보간될 픽셀 (3,3)의 B 컬러값(B33)을 더하여 계산된다. 즉,
Figure 112005031505384-pat00005
이다.
다음, R 컬러값 또는 B 컬러값만을 갖는 픽셀에서 다른 컬러값을 보간하는 과정을 설명한다. 예를 들어, 픽셀 (2,2)와 같이 R 컬러값(R22)만을 갖는 픽셀에서 B 컬러값(B22)은 상기 픽셀 (2,2)의 대각선 방향의 주변 4개의 픽셀들 (1,1),(1,3),(3,1),(3,3) 에서의 G 컬러값과 B 컬러값의 차이(DB,11, DB,13, DB,31, DB,33)의 평균값을 상기 픽셀 (2,2)의 G 컬러값(G22')에 더하여 구할 수 있다. 상기 픽셀들 (1,1),(1,3),(3,1),(3,3) 에서의 G 컬러값과 B 컬러값의 차이(DB,11, DB,13, DB,31, DB,33)는 다음과 같이 표현된다.
Figure 112005031505384-pat00006
여기서, G11',G13',G31',G33'는 상기 픽셀 (3,3)의 보간된 G 컬러값(G33')을 구하는 과정과 유사하게 주변 차영상 채널값으로부터 보간될 수 있다.
상기 픽셀 (2,2)의 보간된 B 컬러값(B22')은 상기 보간될 픽셀(2,2)의 대각선 방향의 4 픽셀에서의 차영상 채널값들(DB,11, DB,13, DB,31, DB,33)의 평균값을 상기 픽셀 (2,2)의 G 컬러값(G22')으로부터 빼서 계산될 수 있다. 즉,
Figure 112005031505384-pat00007
이다.
다음, G 컬러값만을 갖는 픽셀에서 R 또는 B 컬러값을 보간하는 과정을 설명한다. 예를 들어, G 컬러값(G23)만을 가진 픽셀 (2,3)의 B 컬러값(B23)을 보간하기 위해서는, 상기 픽셀 (2,3)의 G 컬러값(G23)으로부터 상기 픽셀 (2,3)을 중심으로 B 컬러값을 갖는 주변 픽셀 (1,3),(3,3)에서의 차영상 채널값(DB,13, DB,33)의 평균을 뺀다. 즉, 상기 픽셀 (1,3),(3,3)에서의 차영상 채널값(DB,13, DB,33)은
Figure 112005031505384-pat00008
이고, 픽셀 (2,3)의 보간된 B 컬러값(B23)은,
Figure 112005031505384-pat00009
이다.
이와 같이, 상기 평탄 색상 변화 보간법에 의하면 보간하고자 하는 컬러 채널의 정보를 갖는 픽셀 위치들에서 차영상 채널값들의 평균을 구하고, 현재 보간될 픽셀의 컬러값에 더하거나 빼서 컬러 보간을 수행한다.
그러나, 종래의 컬러 보간 방법들은 영상의 에지 정보를 효과적으로 고려하지 못하고 컬러 상호간의 상관관계를 잘 고려하지 않기 때문에, 컬러 보간시 물체의 윤곽이나 경계선 등의 에지에서 원래의 컬러와는 전혀 다른 색으로 보간되어 일부 픽셀들이 주위와 어울리지 않게 눈에 띄게 튀어 보이는 현상인 색상 오류(false color error)나 체크무늬 영상에서 무지개와 같이 알록달록한 컬러 왜곡이 발생하는 물결무늬 효과(moire effect)가 발생하는 문제점이 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 에지의 방향을 고려하여 컬러 보간시 발생할 수 있는 오류를 최소화하는 컬러 보간 방법 및 장치를 제공하는 데에 목적이 있다.
또한, 본 발명은 컬러 채널간의 상관 관계를 고려하여 컬러 보간시 발생할 수 있는 오류를 최소화하면서 고해상도의 보간 영상을 제공하는 컬러 보간 방법 및 장치를 제공하는 데에 목적이 있다.
전술한 바와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 컬러 보간 방법은 보간될 픽셀을 중심으로 주변 픽셀에서 G 컬러값으로부터 R 또는 B 컬러값을 빼서 차영상 채널을 형성하는 단계; 상기 차영상 채널을 이용하여 보간될 픽셀이 속하는 에지의 방향을 검출하고, 상기 주변 픽셀 중 컬러 보간에 이용되는 주변 픽셀을 선택하는 단계; 상기 컬러 보간에 이용되는 주변 픽셀에 에지의 방향을 나타내는 가중치를 계산하여 제공하는 단계; 및 상기 컬러 보간에 이용되는 주변 픽셀에서의 차영상값과 상기 가중치를 이용하여 상기 보간될 픽셀에서 제외된 컬러 성분을 계산하는 단계;를 포함한다.
또한, 본 발명에 따른 컬러 보간 장치는 보간될 픽셀을 중심으로 주변 픽셀에서 G 컬러값으로부터 R 또는 B 컬러값을 빼서 차영상 채널을 형성하는 차영상 채널 형성부; 상기 차영상 채널 형성부에서 형성된 차영상 채널을 이용하여 보간될 픽셀이 속하는 에지의 방향을 검출하고, 상기 주변 픽셀 중 컬러 보간에 이용되는 주변 픽셀을 선택하는 에지 방향성 검출부; 상기 에지 방향성 검출부에서 선택된 컬러 보간에 이용되는 주변 픽셀에 에지의 방향을 나타내는 가중치를 계산하여 제공하는 가중치 계산부; 및 상기 컬러 보간에 이용되는 주변 픽셀에서의 차영상값과 상기 가중치를 이용하여 상기 보간될 픽셀에서 제외된 컬러 성분을 계산하는 컬러 보간부를 포함한다.
먼저, 본 발명을 설명함에 있어서 사용되는 기호에 대하여 정의한다.
DA는 영상을 구성하는 각 픽셀에서 G 채널의 컬러값과 A 채널의 컬러값을 뺀 차영상(Difference) 채널을 나타낸다. 여기서, A 채널은 R 또는 B 채널 중 어느 하나를 나타낸다.
Da,xy는 (x,y) 픽셀에서의 G 채널의 컬러값과 a 채널의 컬러값의 차이인 차영상값을 나타낸다. 여기서, (x,y) 픽셀이라 함은 컬러 필터 어레이의 구조에서 x번째 행, y번째 열에 있는 픽셀을 가리킨다.
Rxy, Gxy, Bxy는 각각 (x,y) 픽셀로부터 직접적으로 획득된 R, G, B 컬러값을 의미하며, Rxy', Gxy', Bxy'는 각각 (x,y) 픽셀의 보간된 R, G, B 컬러값을 의미한다.
ωx,y는 컬러 보간에 이용되는 (x,y) 픽셀의 가중치를 의미한다.
이하, 첨부된 도면을 참조하여 본 발명에 대하여 상세히 설명한다.
본 발명에 따른 컬러 보간 방법 및 장치는 단판식(single) 이미지 센서의 각 픽셀에서 감지한 컬러 신호에 대한 정보를 수신하고, 각 픽셀에서 제외된 컬러 신호를 주변 픽셀의 컬러 신호로부터 보간하여 출력한다. 특히, 본 발명에 따른 컬러 보간 방법 및 장치는 보간될 픽셀이 에지(edge)에 속하는 경우, 에지의 방향을 고려하여 보간에 이용되는 주변 픽셀에 가중치를 부여하고 가중 보간을 수행함으로써 에지 적응적인 고해상도의 보간된 영상을 제공한다.
도 2는 본 발명에 따른 컬러 보간 방법을 나타낸 플로우 차트이다.
전체적으로 보았을 때, 본 발명에 따른 컬러 보간 방법은 G 채널에 대한 컬러 보간을 수행한 후 보간된 G 채널의 정보를 이용해서 R, B 채널을 보간하게 된다. 또한, 본 발명에 따른 컬러 보간 방법은, 원래의 R, G, B 채널 상에서 컬러 보간을 수행하지 않고 차영상 채널에서 여러 방향의 에지 방향 검출 및 컬러 보간을 수행한다.
도 2를 참조하면, 먼저 G 채널에 대한 컬러 보간을 수행하기 위하여 단판식 이미지 센서의 각 픽셀에서 감지한 컬러 신호의 처리 채널을 변환한다. 즉, 보간될 픽셀을 중심으로 주변 픽셀이 갖는 G 컬러값으로부터 R 또는 B 컬러값을 빼서 차영상 채널(DR, DB)을 형성한다(단계 100). 여기서, 차영상 채널(DR, DB) 중 어떠한 차영상 채널을 형성할 것인지는 보간하고자 하는 컬러 성분과, 현재 보간될 픽셀이 갖는 컬러 성분에 따라 결정된다.
본 발명에 따른 컬러 보간 방법에서 이용되는 차영상을 도시한 도 3을 참조하여, B 컬러값(B33)을 갖는 (3,3) 픽셀의 G 컬러값을 보간하기 위한 차영상 채널을 형성하는 과정을 예를 들어 설명하면 다음과 같다. 이하에서 설명되는 B 컬러값을 갖는 픽셀에서의 G 컬러값 보간 과정은, R 컬러값을 갖는 임의의 픽셀의 G 컬러값을 보간하는 과정에도 동일하게 적용될 수 있다.
먼저 (3,3) 픽셀에 해당되는 G 컬러값을 보간하기 위해서는, 상기 보간될 (3,3) 픽셀을 중심으로 상하좌우로 인접한 (2,3), (3,2), (3,4) 및 (4,3) 픽셀들에서 G 컬러값과 보간될 (3,3) 위치의 픽셀이 갖는 컬러 성분인 B 컬러값과의 차이인 차영상값(DB,23, DB,32, DB,34, DB,43)을 계산한다. 후술되는 바와 같이, 상기 (2,3), (3,2), (3,4) 및 (4,3) 픽셀들 상호간의 차영상값의 차이는 상기 보간될 (3,3) 픽셀의 제 1 에지 방향을 검출하는데 이용된다.
구체적으로는, 상기 (2,3), (3,2), (3,4) 및 (4,3) 픽셀들 각각에서 차영상값(DB,23, DB,32, DB,34, DB,43)은 다음의 수학식 1과 같다.
Figure 112005031505384-pat00010
또한, 상기 (2,3), (3,2), (3,4) 및 (4,3) 픽셀들 이외에 상기 보간될 (3,3) 픽셀 주변의 (1,2), (1,4), (2,1), (2,5), (4,1), (4,5), (5,2) 및 (5,4) 픽셀들 각각에서 G 컬러값과 B 컬러값과의 차이인 차영상값(DB,12, DB,14, DB,21, DB,25, DB,41, DB,45, DB,52, DB,54)을 계산한다. 후술되는 바와 같이, 상기 보간될 픽셀 (3,3)을 중심으로 서로 마주보는 픽셀들의 차영상값(DB,12, DB,14, DB,21, DB,25, DB,41, DB,45, DB,52, DB,54)의 차이는 제 2 에지 방향을 검출하는데 이용된다.
여기서, 상기 차영상값(DB,12, DB,14, DB,21, DB,25, DB,41, DB,45, DB,52, DB,54)은 다음의 수학식 2를 통해 계산될 수 있다.
Figure 112005031505384-pat00011
다시 도 2를 참조하면, 상기 단계 200을 통해 차영상 채널이 형성되면, 상기 차영상 채널을 이용하여 보간될 픽셀이 속하는 에지의 방향을 검출하고, 보간될 픽셀의 주변 픽셀 중에서 컬러 보간에 이용되는 픽셀을 선택한다(단계 210).
에지 적응적인 컬러 보간을 위해서는 보간될 픽셀이 에지에 속해 있는지 여부를 판단해야 하고, 만약 에지에 있다면 어느 방향으로 에지가 있는지를 판단해야 한다. 에지 유무 및 방향을 판단하기 위하여, 본 발명에 따른 컬러 보간 방법에서는 기울기(gradient)의 절대값과 차영상값 상호간의 차이값을 이용한다.
먼저, 에지의 방향을 알기 위해서 다음 수학식 3의 두 함수를 사용한다.
Figure 112005031505384-pat00012
여기서, Direction 1 함수는 보간될 픽셀의 상하좌우로 인접한 픽셀들 중에서, 차영상값의 차이가 가장 작은 2개의 픽셀(D1m1, D1m2)을 선택하는 함수이다. 상기 선택된 2개의 픽셀(D1m1, D1m2)을 연결하는 직선은 보간될 픽셀의 제 1 에지 방향을 나타낸다. 또한, Direction 2 함수는 상기 상하좌우로 인접한 픽셀들을 제외하고, 주변 픽셀들 중에서 상기 보간될 픽셀을 중심으로 마주보는 픽셀들 상호간의 차영상값의 차이가 가장 작은 한 쌍의 픽셀들(D2m1, D2m2)을 선택하는 함수이다. 상기 선택된 한 쌍의 픽셀들(D2m1, D2m2)을 연결한 직선은 보간될 픽셀의 제 2 에지 방향을 나타낸다. 이와 같이, 차영상값의 차이가 가장 작은 픽셀들을 선택하여 에지의 방향을 결정하는 것은, 에지의 방향을 따라서 위치하는 픽셀 위치 상호간의 차영상값의 차이는 작기 때문이다.
도 4는 본 발명에 따른 컬러 보간 방법에 따라서, 보간될 픽셀의 제 1 에지 방향을 검출하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 상기 도 3의 보간될 (3,3) 픽셀의 상하좌우로 인접한 (2,3), (3,2), (3,4) 및 (4,3) 픽셀들에서의 차영상값(DB,23, DB,32, DB,34, DB,43)을 이 용하여 제 1 에지 방향을 나타내는 2개의 픽셀(D1m1, D1m2)을 선택한다. 이때, 상기 수학식 3의 direction 1 함수를 이용한다.
상기 direction 1 함수는 (2,3), (3,2), (3,4) 및 (4,3) 픽셀들에서의 차영상값(DB,23, DB,32, DB,34, DB,43) 상호간의 차이, 즉
Figure 112005031505384-pat00013
,
Figure 112005031505384-pat00014
,
Figure 112005031505384-pat00015
,
Figure 112005031505384-pat00016
,
Figure 112005031505384-pat00017
및
Figure 112005031505384-pat00018
중에서 그 값이 가장 작은 것을 선택하여 제 1 에지 방향을 나타내는 2개의 픽셀(D1m1, D1m2)을 선택하게 된다. 예를 들어,
Figure 112005031505384-pat00019
이 가장 작은 값을 갖는 경우, 에지의 방향은 직선(d11)을 따라서 수직 방향으로 존재하는 것으로 판단되고, 제 1 에지 방향을 나타내는 2개의 픽셀(D1m1, D1m2)로서 (2,3) 및 (4,3) 픽셀이 선택된다.
한편, 상기 direction 2 함수는 영상에 존재할 수 있는 다양한 에지의 방향을 고려하여 상기 direction 1 함수에 의하여 검출되는 제 1 에지 방향을 보충하고 수정하는 기능을 한다.
도 5는 본 발명에 따른 컬러 보간 방법에 따라서, 제 2 에지 방향을 검출하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 보간될 (3,3) 픽셀을 중심으로 서로 마주보는 주변 픽셀들 상호간의 차영상값의 차이가 가장 작은 한 쌍의 픽셀을 선택하여 보간될 픽셀의 제 2 에지 방향을 검출하고 상기 제 2 에지 방향을 나타내는 한 쌍의 픽셀을 결정한다. 전술한 바와 같이, 제 2 에지 방향을 검출하기 위하여 direction 2 함수가 이용된다.
상기 direction 2 함수는 (1,4) 및 (5,2) 픽셀들이 갖는 차영상값의 절대값 차이인
Figure 112005031505384-pat00020
, (2,5) 및 (4,1) 픽셀들이 갖는 차영상값의 절대값 차이인
Figure 112005031505384-pat00021
, (4,5) 및 (2,1) 픽셀들이 갖는 차영상값의 절대값 차이인
Figure 112005031505384-pat00022
, (1,2) 및 (5,4) 픽셀들이 갖는 차영상값의 절대값 차이인
Figure 112005031505384-pat00023
를 각각 계산하여 그 차이가 가장 작은 한 쌍의 픽셀을 연결하는 직선을 보간될 픽셀의 제 2 에지 방향으로 결정한다. 예를 들어,
Figure 112005031505384-pat00024
가 가장 작은 값이라면, 제 2 에지 방향은 직선(d21)을 따라서 존재하는 것으로 판단되고, 상기 제 2 에지 방향을 나타내는 2개의 픽셀(D2m1, D2m2)로서 (1,4) 및 (5,2) 픽셀이 선택된다.
도 6은 상기 도 5의 컬러 보간에 이용되는 주변 픽셀을 선택하는 단계(S210)를 구체적으로 나타낸 플로우 차트이다.
direction 1 및 direction 2 함수에 의하여, 제 1 에지 방향과 제 2 에지 방향을 나타내는 주변 픽셀이 선택되면, 상기 제 1 에지 방향 및 제 2 에지 방향을 나타내는 주변 픽셀 중 어떠한 것을 컬러 보간에 이용할 것인지, 즉 상기 제 1 에 지 방향과 제 2 에지 방향 중에서 어느 방향이 보간될 픽셀의 에지 방향에 더 적합한지를 선택하여야 한다.
이를 위해, 먼저 제 1 에지 방향과 제 2 에지 방향의 유사 여부를 판단한다(단계 211). 예를 들어 다시 도 4 및 도 5를 참조하면, 제 1 에지 방향으로 수직인 직선(d11)이 검출되고, 제 2 에지 방향으로 수직에 가까운 직선(d21 또는 d24)이 검출된 경우라면, 제 1 에지 방향과 제 2 에지 방향이 유사한 것으로 판단한다. 또한, 제 1 에지 방향으로 수평인 직선(d14)이 검출되고, 제 2 에지 방향으로 수평에 가까운 직선(d22 또는 d23)이 검출된 경우에도 제 1 에지 방향과 제 2 에지 방향이 유사한 것으로 판단된다. 그러나, 제 1 에지 방향이 수직 방향(d11), 제 2 에지 방향이 수평에 가까운 방향(d22 또는 d23)으로 검출되거나, 또는 제 1 에지 방향이 수평 방향(d14), 제 2 에지 방향이 수직에 가까운 방향(d21 또는 d24)으로 검출된 경우에는, 제 1 에지 방향과 제 2 에지 방향이 비유사한 것으로 판단된다. 후술되는 바와 같이, 제 1 에지 방향과 제 2 에지 방향이 비유사한 경우에는 차영상의 수평 기울기(hor)와 수직 기울기(ver)를 비교하여 수평 또는 수직 에지 방향 중 어느 하나를 선택하게 된다.
상기 단계 211의 판단 결과, 검출된 제 1 에지 방향과 제 2 에지 방향이 유사한 것으로 판단된 경우에는, 제 1 에지 방향을 나타내는 픽셀들(D1m1, D1m2) 사이의 절대값 차이인 제 1 에지 방향 계수(α)와, 제 2 에지 방향을 나타내는 픽셀들 (D2m1, D2m2) 사이의 절대값 차이인 제 2 에지 방향 계수(β)를 계산한다(단계 212). 상기 제 1 에지 방향 계수(α)와 제 2 에지 방향 계수(β)는 다음의 수학식 4와 같이 계산된다.
Figure 112005031505384-pat00025
상기 제 1 에지 방향 계수(α)와 제 2 에지 방향 계수(β)는 서로 유사한 제 1 에지 방향과 제 2 에지 방향 중에서 더 적합한 에지 방향을 검출하기 위한 것이다. 상기 제 1 에지 방향 계수(α)와 제 2 에지 방향 계수(β)의 차이인
Figure 112005031505384-pat00026
와 소정 임계값(Th1)을 비교하여(단계 213), 상기 차이
Figure 112005031505384-pat00027
가 소정 임계값(Th1)보다 작은 경우에는 제 1 에지 방향을 보간될 픽셀이 속하는 에지 방향으로 최종적으로 결정하고(단계 214), 상기 차이
Figure 112005031505384-pat00028
가 소정 임계값(Th1)보다 큰 경우에는 제 2 에지 방향을 보간될 픽셀이 속하는 에지 방향으로 최종적으로 결정한다(단계 215). 즉, 임계값(Th1)을 기준으로 에지 방향 계수가 더 작은 값을 갖는 것을 최종적인 에지 방향으로 결정한다. 상기 과정에 따라 에지 방향이 최종적으로 결정되면, 상기 제 1 에지 방향을 나타내는 픽셀들(d1m1, d1m2)과 제 2 에지 방향을 나타내는 픽셀들(d2m1, d2m2) 중에서 상기 최종적으로 결정된 에지 방향에 따라 컬러 보간에 이용되는 픽셀이 결정된다.
한편, 상기 단계 211의 판단 결과, 제 1 에지 방향과 제 2 에지 방향이 서로 유사하지 않은 경우라면, 보간될 픽셀을 중심으로 주변 픽셀의 차영상값을 이용하여 수평 기울기(hor) 및 수직 기울기(ver)를 계산한다(단계 216). 이는 에지가 얇을 경우 에지의 방향이 잘못 판단되는 것을 방지하기 위하여 에지 방향을 보정해 주기 위한 것이다.
상기 수평 기울기(hor) 및 수직 기울기(ver)는 다음의 수학식 5와 같이 계산된다.
Figure 112005031505384-pat00029
수학식 5에 표현된 바와 같이, 상기 수평 기울기(hor)는 상기 도 3에 도시된 바와 같은 차영상 채널에서, 수평 방향의 차영상값들의 절대값 차이를 합산한 값이다. 상기 수평 기울기(hor)는 전체 영상에서 수평 방향의 에지 성분의 정도를 나타내는 기준으로 이용된다. 또한, 상기 수직 기울기(ver)는 차영상 채널에서 수직 방향의 차영상값들의 절대값 차이를 합산한 값이다. 상기 수직 기울기(ver)는 전체 영상에서 수직 방향의 에지 성분의 정도를 나타내는 기준으로 이용된다.
다음, 상기 단계 216에서 계산된 수평 기울기(hor)와 수직 기울기(ver)의 차이와 소정 임계값(Th2)을 비교한다(단계 217).
만약, 상기 수직 기울기(ver)와 수평 기울기(hor)의 차이인 ver-hor 값이 소 정 임계값(Th2)보다 큰 경우에는 수평 에지 방향을 선택하고(단계 218), 상기 ver-hor 값이 소정 임계값(Th2)보다 작은 경우에는 수직 에지 방향을 선택한다(단계 219). 다시 말해서, 제 1 에지 방향과 제 2 에지 방향이 비유사한 것으로 판단된 경우, 상기 소정 임계값(Th2)을 기준으로 차영상 채널의 수직 기울기(ver)와 수평 기울기(hor)를 계산하여 더 작은 기울기 값을 갖는 방향을 최종적인 에지 방향으로 결정하는 것이다. 상기 과정에 의하여 수평 또는 수직 에지 방향이 결정되면, 검출된 제 1 에지 방향 및 제 2 에지 방향에 관계없이 최종적으로 결정된 에지 방향에 존재하는 인접 픽셀의 차영상값을 이용하여 컬러 보간을 수행하게 된다. 예를 들어 상기 도 3에서, 보간될 (3,3) 픽셀의 제 1 에지 방향과 제 2 에지 방향이 비유사하고, ver-hor>Th2로서 최종적으로 수평 에지 방향으로 에지 방향이 결정된 경우라면, 상기 (3,3) 픽셀을 기준으로 수평 방향에 위치한 인접 픽셀들인 (3,2)와 (3,4) 픽셀에서의 차영상값을 이용하여 컬러 보간을 수행하며, 수직 에지 방향으로 에지 방향이 결정된 경우에는 (2,3)와 (4,3) 픽셀에서의 차영상값을 이용하여 컬러 보간을 수행한다.
다시 도 2를 참조하면, 차영상 채널로부터 보간될 픽셀이 속하는 에지의 방향성이 검출되고 컬러 보간에 이용될 주변 픽셀이 결정되면, 상기 컬러 보간에 이용되는 주변 픽셀에 상기 에지의 방향을 나타내는 가중치를 계산하여 제공한다(단계 220).
도 7은 본 발명에 따른 컬러 보간 방법에 따라, 컬러 보간에 이용되는 주변 픽셀에 에지의 방향을 나타내는 가중치를 계산하여 제공하는 과정을 설명하기 위한 도면이다.
상기 단계 210에 의하여 에지의 방향과 컬러 보간에 이용될 주변 픽셀이 결정되면, 상기 컬러 보간에 이용될 주변 픽셀에 에지의 방향을 나타내는 가중치를 계산하여 제공하고, 상기 주변 픽셀에서의 차영상값과 상기 가중치를 곱해서 컬러 보간을 수행하게 된다. 보간될 픽셀의 위치를 (i,j), 보간에 이용되는 픽셀의 위치를 (x,y)라고 하면, 보간에 이용되는 픽셀의 가중치(ωx,y)는 다음의 수학식 6을 통해 계산될 수 있다.
Figure 112005031505384-pat00030
여기서, A는 상기 보간될 픽셀이 갖는 컬러 채널을 의미하며, A 는 R 또는 B 채널 중 어느 하나를 나타내기 위하여 일반적으로 표시한 것이다. 또한, m은 보간될 픽셀과 보간에 이용되는 픽셀 위치의 행(row) 차이값을 나타내는 것으로 m=i-x이다. 또한, n은 보간될 픽셀과 보간에 이용되는 픽셀 위치의 열(column) 차이값을 나타내는 것으로 n=j-y이다. 또한,
Figure 112005031505384-pat00031
이다. 또한, direct 1 함수, 즉 제 1 에지 방향을 나타내는 두 픽셀(d1m1,d1m2)에 제공되는 가중치의 계산시에는 상기
Figure 112005031505384-pat00032
이다. 또한, direct 2 함수, 즉 제 2 에지 방향을 나타내는 두 픽셀(d2m1,d2m2)에 제공되는 가중치의 계산시에는 상기
Figure 112005031505384-pat00033
이다. 또한,
Figure 112005031505384-pat00034
및
Figure 112005031505384-pat00035
는 각각 G 컬러 채널의 표준 편차, A 컬러 채널의 표준 편차를 의미한다.
상기 수학식 6에 표현된 바와 같이, 보간에 이용되는 픽셀에 제공되는 가중치는 G 채널과 현재 보간될 위치의 A 채널의 두 지수 함수의 조화 평균으로 표현된다. 두 채널의 조화평균을 에지 방향을 나타내는 가중치를 계산하는데 이용함으로써 컬러 보간시 에지 정보를 좀 더 효율적으로 반영할 수 있다.
도 7은 본 발명에 따른 컬러 보간 방법에 따라서, 보간에 이용되는 제 1 픽셀 내지 제 4 픽셀의 가중치를 계산하는 과정의 예를 설명하기 위한 도면이다. 도 7에서, 보간될 픽셀의 위치를 (i,j), 보간에 이용되는 제 1 픽셀(P1)의 위치를 (i-1,j), 제 2 픽셀(P2)의 위치를 (i+1,j), 제 3 픽셀(P3)의 위치를 (i-2,j-1), 제 4 픽셀(P4)의 위치를 (i+2,j+1)이라고 가정한다. 또한, 보간될 (i,j)는 B 컬러값을 갖는다고 가정한다. 보간될 픽셀 (i,j)이 속하는 에지 방향이 제 1 에지 방향 또는 제 2 에지 방향으로 검출된 각각의 경우에 대하여 컬러 보간에 이용되는 픽셀에 제공되는 가중치를 계산하는 과정을 설명하면 다음과 같다.
먼저, 보간될 픽셀 (i,j)이 속하는 에지 방향이 제 1 에지 방향(d11)으로 검출된 경우, 상기 제 1 에지 방향(d11)을 나타내는 제 1 픽셀(P1)의 가중치(ωi-1,j) 및 제 2 픽셀(P2)의 가중치(ωi+1,j) 는 다음의 수학식 7a와 같이 계산된다.
Figure 112005031505384-pat00036
마찬가지로, 보간될 픽셀 (i,j)이 속하는 에지 방향이 제 2 에지 방향(d24)으로 검출된 경우, 상기 제 2에지 방향(d24)을 나타내는 제 3 픽셀(P3)의 가중치(ωi-2,j-1) 및 제 4 픽셀(P4)의 가중치(ωi+2,j+1)는 다음의 수학식 7b와 같이 계산된다.
Figure 112005031505384-pat00037
여기서,
Figure 112005031505384-pat00038
,
Figure 112005031505384-pat00039
이다.
다시 도 2를 참조하면, 상기 단계 220을 통해 컬러 보간에 이용되는 주변 픽셀에 제공되는 가중치가 계산되면, 상기 가중치와 상기 주변 픽셀이 갖는 차영상값 을 이용하여 컬러 보간을 수행한다(단계 230).
도 8은 상기 도 2의 컬러 보간을 수행하는 단계 230을 구체화한 플로우 차트이다.
도 8을 참조하면, 상기 주변 픽셀의 차영상값과 가중치를 이용하여 먼저 G 컬러를 갖지 않는 픽셀들에서의 G 컬러를 보간한다(단계 231). 다음 B 컬러를 갖는 픽셀에서 R 컬러 및 B 컬러를 갖는 픽셀에서 R 컬러를 보간한다(단계 232). 또한, G 컬러를 갖는 픽셀에서 R 및 B 컬러를 보간한다(단계 233). 이하에서는, 상기 단계 231 내지 233에 대하여 구체적으로 살펴본다.
먼저, 상기 단계 231의 G 컬러 보간 과정을 구체적으로 살펴본다.
G 컬러의 보간 과정은 (a) 제 1 에지 방향을 나타내는 픽셀들(D1m1,D1m2)을 이용한 컬러 보간, (b) 제 2 에지 방향을 나타내는 픽셀들(D2m1,D2m2)을 이용한 컬러 보간, 및 (c) 제 1 에지 방향과 제 2 에지 방향이 비유사할 때, 상기 수평 기울기(hor) 및 수직 기울기(ver)의 크기를 비교하여 상기 보간될 픽셀의 상하좌우로 인접한 픽셀들 중에서 선택된 수평 또는 수직 방향의 두 픽셀들을 이용한 컬러 보간의 3가지 경우로 구분된다.
상기 (a) 제 1 에지 방향을 나타내는 픽셀들(D1m1,D1m2)을 이용한 컬러 보간은, 상기 제 1 에지 방향 계수(α)와 제 2 에지 방향 계수(β)의 차이인
Figure 112005031505384-pat00040
가 소정 임계값(Th1)보다 작은 경우에 수행된다. 보간될 픽셀에 인접한 상하좌우의 4 픽셀 중에서 제 1 에지 방향을 나타내는 픽셀들(D1m1,D1m2)에 에지 방향을 나타내는 가중치를 제공하고, 가중치 평균을 내어 보간을 수행하면 에지를 가로지르지 않고 보간을 할 수 있다.
상기 (a)의 경우의 예로서, 상기 도 3을 참조하여 (3,3) 픽셀의 G 컬러값을 보간하는 경우를 설명한다. 여기서, 제 1 에지 방향을 나타내는 픽셀들(D1m1,D1m2)로서, (2,3) 및 (4,3) 픽셀이 선택되었다고 가정한다. 이때, (3,3) 픽셀의 보간된 G 컬러값(G33')은 상기 (2,3) 및 (4,3) 픽셀의 가중치와 차영상값을 이용한 다음의 수학식 8로부터 계산될 수 있다.
Figure 112005031505384-pat00041
상기 (b) 제 2 에지 방향을 나타내는 픽셀들(D2m1,D2m2)을 이용한 컬러 보간은, 상기 제 1 에지 방향 계수(α)와 제 2 에지 방향 계수(β)의 차이인
Figure 112005031505384-pat00042
가 소정 임계값(Th1)보다 큰 경우에 수행된다. 보간될 픽셀에 인접한 상하좌우의 4 픽셀을 제외한 주변의 8개의 픽셀들 중에서 제 2 에지 방향을 나타내는 픽셀들(D2m1,D2m2)에 에지 방향을 나타내는 가중치를 제공하고, 가중치 평균을 내어 보간을 수행한다. 전술한 바와 같이, 제 2 에지 방향에 따른 컬러 보간은 에지가 얇을 경우 에지의 방향이 잘못 결정되어 보간시 발생될 수 있는 화질의 열화를 방지하기 위한 것으로, 이것은 전체 영상에서 일부분에서만 발생하지만 컬러 보간된 영상에서 가장 눈에 띄게 문제가 되는 부분이므로, 본 발명과 같이 제 1 에지 방향을 보충하여 제 2 에지 방향을 검출하여 잘못된 에지 방향을 보정해 줌으로써, 고 해상도의 보간된 영상을 제공할 수 있게 된다.
상기 (b)의 경우의 예로서, 다시 상기 도 3을 참조하여 (3,3) 픽셀의 G 컬러값을 보간하는 경우를 설명한다. 여기서, 제 2 에지 방향을 나타내는 픽셀들(D2m1,D2m2)로서, (1,2) 및 (5,4) 픽셀이 선택되었다고 가정한다. 이때, (3,3) 픽셀의 보간된 G 컬러값(G33')은 상기 (1,2) 및 (5,4) 픽셀의 가중치와 차영상값을 이용한 다음의 수학식 9로부터 계산될 수 있다.
Figure 112005031505384-pat00043
상기 (c) 제 1 에지 방향과 제 2 에지 방향이 비유사할 때, 상기 수평 기울기(hor) 및 수직 기울기(ver)의 크기를 비교하여 상기 보간될 픽셀의 상하좌우로 인접한 픽셀들 중에서 선택된 수평 또는 수직 방향의 두 픽셀들을 이용하여 컬러 보간이 수행된다. 전술한 바와 같이 상기 수직 기울기(ver)과 수평 기울기(hor) 사이의 차이값인 ver-hor값이 소정 임계값(Th2)보다 큰 경우에는 수직 에지 방향으로, 소정 임계값(Th2)보다 작은 경우에는 수평 에지 방향으로 컬러 보간을 수행한다.
상기 (c)의 경우의 예로서, 다시 상기 도 3을 참조하여 (3,3) 픽셀의 G 컬러값을 보간하는 경우를 설명한다. 먼저, 수평 기울기(hor)가 수직 기울기(ver)보다 작은 경우는 전술한 바와 같이 수평 방향의 두 픽셀들을 이용하여 컬러 보간이 수행된다. 여기서, 상기 수평 방향의 두 픽셀로는 보간될 (3,3) 픽셀에 인접한 좌우의 (3,2) 및 (3,4) 픽셀을 이용할 수 있다. 이 경우, 상기 (3,3) 픽셀의 보간된 G 컬러값(G33')은 상기 (3,2) 및 (3,4) 픽셀의 가중치와 차영상값을 이용한 다음의 수학식 10으로부터 계산될 수 있다.
Figure 112005031505384-pat00044
유사하게, 수직 기울기(ver)가 수평 기울기(hor)보다 작은 경우는 수직 방향의 두 픽셀들을 이용하여 컬러 보간이 수행된다. 여기서, 상기 수직 방향의 두 픽셀로는 보간될 (3,3) 픽셀에 인접한 상하의 (2,3) 및 (4,3) 픽셀이 이용될 수 있다. 이 경우, 상기 (3,3) 픽셀의 보간된 G 컬러값(G33')은 상기 (2,3) 및 (4,3) 픽셀의 가중치와 차영상값을 이용한 다음의 수학식 11로부터 계산될 수 있다.
Figure 112005031505384-pat00045
상기 G 컬러값의 보간 과정을 일반화하면 다음과 같다.
보간될 픽셀의 위치를 (i,j), 상기 보간될 픽셀이 원래 갖는 컬러 채널을 A, 보간에 이용되는 픽셀의 위치를 각각 (x1,y1), (x2,y2), 상기 보간에 이용되는 픽셀 위치에서의 차영상값을 각각 DA,x1y1, DA,x2y2, 상기 보간에 이용되는 픽셀의 가중치를 각각 ωx1,y1 , ωx,y 라 할 때, 상기 (i,j) 픽셀의 보간된 G 컬러값(Gij)는 다음의 수학식 12를 통해 계산된다.
Figure 112005031505384-pat00046
다음, 상기 단계 232의 B 컬러를 갖는 픽셀에서 R 컬러 및 B 컬러를 갖는 픽셀에서 R 컬러를 보간하는 방법에 대하여 구체적으로 설명한다. 여기서, 전술한 단계 231을 통해 이미 G 채널에 대한 보간이 완료되어, 모든 픽셀에서 G 컬러값은 모두 존재한다고 가정한다.
베이어 CFA를 거쳐서 단판식 이미지 센서에서 검출되는 컬러 신호에 의하면, R 컬러를 검출하는 픽셀의 대각선 방향에 위치한 픽셀에서 B 컬러를 검출하며, B 컬러를 검출하는 픽셀의 대각선 방향에 위치한 픽셀에서 R 컬러를 검출하게 된다. 따라서, R 컬러를 검출하는 픽셀 위치에서의 B 컬러를 보간하거나, 또는 B 컬러를 검출하는 픽셀 위치에서의 R 컬러를 보간하기 위해서는, 각각 그 대각선 방향에 위치한 픽셀에서의 차영상값을 이용하여 컬러 보간을 수행하게 된다.
상기 B 컬러를 갖는 픽셀의 R 컬러를 보간하고, R 컬러를 갖는 픽셀의 B 컬 러를 보간하는 단계를 일반적으로 설명하면 다음과 같다.
보간될 픽셀의 위치를 (i,j), 상기 보간될 픽셀의 G 컬러값을 Gij', 보간하고자 하는 컬러 채널을 C, 보간에 이용되는 픽셀의 위치를 각각 (x1,y1), (x2,y2), (x3,y3), (x4,y4), 상기 보간에 이용되는 픽셀의 G 컬러값과 보간하고자 하는 컬러값의 차이인 차영상값을 각각 Dc,x1y1, Dc,x2y2, Dc,x3y3, Dc,x4y4, 상기 보간에 이용되는 픽셀의 가중치를 각각 ωx1,y1 , ωx2,y2, ωx3,y3 , ωx4,y4 라 할 때, 상기 (i,j) 픽셀의 보간된 C 컬러값(Cij')은 다음의 수학식 13을 통해 계산될 수 있다.
Figure 112005031505384-pat00047
도 9는 본 발명에 따른 컬러 보간 방법에 따라 B 컬러값을 보간하는 예를 설명하기 위한 참조도이다.
도 9를 참조하면, (2,2) 픽셀의 B 컬러값을 보간하기 위해서는 (2,2) 픽셀의 대각선 방향에 위치한 (1,1), (1,3), (3,1) 및 (3,3) 픽셀들 각각에서 G 컬러값과 보간하고자 하는 컬러 채널인 B 컬러값의 차이를 계산하여 차영상값(DB,11, DB,13, DB,31, DB,33)을 계산한다. 상기 차영상값(DB,11, DB,13, DB,31, DB,33)은 다음의 수학식 14와 같다.
Figure 112005031505384-pat00048
G 채널의 보간시와는 달리, R 또는 B 컬러 보간시에는 이미 보간이 완료된 G 채널의 정보를 이용할 수 있기 때문에 에지 방향을 따로 검출하지 않고, 에지 정보를 반영하는 가중치 평균을 이용하여 컬러 보간을 수행하게 된다. 이는 영상의 밝기 정보의 대부분은 G 채널이 가지고 있기 때문에 G 채널의 보간이 개선된다면, 상기 G 채널의 정보를 이용한 R, B 채널의 보간된 영상도 개선되기 때문이다.
상기 (1,1), (1,3), (3,1) 및 (3,3) 픽셀들의 가중치는 상기 수학식 6을 이용하여 각각 다음의 수학식 15과 같이 계산될 수 있다.
Figure 112005031505384-pat00049
상기 수학식 15에 표현된 바와 같이, 상기 가중치들은 보간된 G 채널과 현재 보간될 B 채널의 두 지수 함수의 조화 평균으로 나타낼 수 있다.
다음, 상기 (1,1), (1,3), (3,1) 및 (3,3) 픽셀들의 가중치와 차영상값을 이용하여 (2,2) 픽셀의 B 컬러값(B22')은 다음의 수학식 16를 통해 계산될 수 있다.
Figure 112005031505384-pat00050
마찬가지로, B 컬러값을 갖는 픽셀에서의 R 컬러값은 대각선 방향의 차영상값과 가중치를 계산하여 가중 평균을 구하고, 이를 보간될 픽셀의 G 컬러값으로부터 빼서 계산될 수 있다.
다음, 상기 단계 233의 G 컬러를 갖는 픽셀에서 R 컬러 및 B 컬러를 보간하는 방법에 대하여 구체적으로 설명한다.
도 10a 및 10b는 본 발명에 따른 컬러 보간 방법에 따라서 G 컬러를 갖는 픽셀의 컬러 보간에 이용되는 주변 픽셀들을 나타낸 도면이다.
종래의 컬러 보간 방법에서는 G 컬러를 검출하는 픽셀의 위치에 따라서 상하 또는 좌우 2개의 픽셀에서 검출된 다른 채널의 컬러 정보만을 사용하거나 이전 과정에서 보간된 정보를 이용해서 4 픽셀의 컬러 정보를 이용해서 보간을 수행하는 것이 일반적이었다. 그러나, 본 발명에 따른 컬러 보간 방법에서는 G 컬러를 갖는 픽셀에서 R 컬러 및 B 컬러를 보간하기 위하여 주변의 6개의 픽셀에서 검출된 다른 채널의 컬러 정보를 이용하여 컬러 보간을 수행함으로서, 주변 픽셀에서 검출된 컬러 정보와의 상관 관계를 보다 효율적으로 고려한다.
도 10a를 참조하면, G 컬러값을 갖는 (3,4) 픽셀에서 R 채널의 컬러값(R34')을 보간하기 위하여 마스크를 3×5로 확장하여 주변의 (2,2), (2,4), (2,6), (4,2), (4,4) 및 (4,6) 픽셀의 총 6개의 차영상값을 사용한다.
상기 (3,4) 픽셀에서 R 채널의 컬러값(R34')은, 상기 확장된 마스크 영역에 포함된 주변의 6개의 픽셀의 차영상값과 가중치를 이용하여 다음의 수학식 17과 같이 계산될 수 있다.
Figure 112005031505384-pat00051
즉, 전술한 R 컬러를 갖는 픽셀 위치에서의 B 컬러 보간, 및 B 컬러를 갖는 픽셀 위치에서의 R 컬러 보간과 마찬가지로 6개 픽셀의 차영상값의 가중치 평균을 이용하여 G 컬러를 갖는 픽셀 위치에서의 R 컬러 및 B 컬러의 보간을 수행한다. 여기서, 상기 가중치는 상기 수학식 6을 통해 계산될 수 있다.
한편, 상기 G 컬러값의 보간을 위해 이용되는 상기 마스크의 크기는 3×5, 5×3 에 한정되지 않고 더 확장될 수 있다.
도 11은 본 발명에 따른 컬러 보간 장치의 구성을 나타낸 블록도이다.
본 발명에 따른 컬러 보간 장치는 전술한 컬러 보간 방법에 따라서, 단판식 이미지 센서의 각 픽셀에서 감지한 컬러 신호에 대한 정보를 수신하여 상기 픽셀에서 제외된 컬러 신호를 보간하는 장치이다.
도 11을 참조하면, 본 발명에 따른 컬러 보간 장치는 차영상 채널 형성부(110), 에지 방향 검출부(120), 가중치 계산부(130) 및 컬러 보간부(140)를 포함한다.
차영상 채널 형성부(110)는 보간될 픽셀을 중심으로 그 주변 픽셀에서 G 컬러값으로부터 R 컬러값을 뺀 차영상 채널(DR) 또는 G 컬러값으로부터 B 컬러값을 뺀 차영상 채널(DB)을 형성한다. 상기 차영상 채널(DR, DB)중 어떠한 것을 이용할 것인지는 보간될 픽셀이 갖는 컬러 성분 및 보간하고자 하는 컬러 성분의 종류에 따라 결정된다. 예를 들어, R 컬러값을 보간하고자 하는 경우라면 보간될 픽셀의 주변 픽셀 각각에서 G 컬러값과 R 컬러값을 뺀 차영상을 형성하고, B 컬러값을 보간하고자 하는 경우라면 보간될 픽셀의 주변 픽셀 각각에서 G 컬러값과 B 컬러값을 뺀 차영상을 형성한다. 또한, G 컬러값을 보간하고자 하는 경우라면, 보간될 픽셀의 주변 픽셀 각각에서 G 컬러값과 현재 보간될 픽셀이 갖는 컬러 성분의 컬러값을 뺀 차영상을 형성한다.
에지 방향성 검출부(120)는 상기 차영상 채널 형성부(110)에서 차영상 채널이 형성되면, 상기 차영상 채널을 이용하여 보간될 픽셀이 속하는 에지의 방향을 검출하고, 보간될 픽셀의 주변 픽셀 중에서 컬러 보간에 이용되는 픽셀을 선택한 다. 전술한 바와 같이, 상기 에지 방향성 검출부(120)는 에지의 방향 검출을 위해 상기 Direction 1 함수 및 Direction 2 함수를 이용하여 제 1 에지 방향과 제 2 에지 방향을 나타내는 주변 픽셀이 선택하고, 상기 제 1 에지 방향 및 제 2 에지 방향을 나타내는 주변 픽셀 중 어떠한 것을 컬러 보간에 이용할 것인지를 선택한다. 상기 에지 방향성 검출부(120)의 동작은 상기 도 2의 단계 210에 관련된 설명과 동일하며 구체적인 설명은 생략한다.
가중치 계산부(130)는 상기 에지 방향성 검출부(120)에서 보간될 픽셀이 속하는 에지의 방향성이 검출되고 컬러 보간에 이용될 주변 픽셀이 결정되면, 상기 컬러 보간에 이용되는 주변 픽셀에 상기 에지의 방향을 나타내는 가중치를 계산하여 제공한다.
컬러 보간부(140)는 상기 차영상 채널 형성부(110)에서 형성된 차영상값과 상기 가중치 계산부(130)에서 계산된 컬러 보간에 이용되는 픽셀의 가중치를 이용하여 각 픽셀에서 제외된 컬러 성분의 보간을 수행한다.
도 12는 상기 도 11의 컬러 보간부(140)의 구성을 구체적으로 나타낸 블록도이다.
도 12를 참조하면 상기 컬러 보간부(140)는 제 1 컬러 보간부(141), 제 2 컬러 보간부(142) 및 제 3 컬러 보간부(143)를 포함한다.
제 1 컬러 보간부(141)는 상기 주변 픽셀의 차영상값과 가중치를 이용하여 G 컬러를 갖지 않는 픽셀들에서의 G 컬러를 보간하고, 제 2 컬러 보간부(142)는 B 컬러를 갖는 픽셀에서 R 컬러 및 B 컬러를 갖는 픽셀에서 R 컬러를 보간하며, 제 3 컬러 보간부(143)는 G 컬러를 갖는 픽셀에서 R 및 B 컬러를 보간한다. 상기 제 1 내지 제 3 컬러 보간부(141,142,143)의 동작은 상기 도 8의 단계 231 내지 233과 각각 동일하므로 구체적인 설명은 생략한다.
도 13은 본 발명에 따른 컬러 보간 방법 및 장치에 의하여 등대(lighthouse) 영상의 컬러 보간을 수행한 결과를 나타낸 도면이다. 종래의 컬러 보간 방법에 의하면 펜스 영역에서 물결 무늬 현상이나 색상 오류 현상이 발견되나, 본 발명에 따른 컬러 보간 방법에 따르면 펜스 영역과 같이 에지가 반복되는 영역에서 컬러 보간시에 발생되는 오류가 많이 줄어드는 것을 확인할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같은 본 발명에 의하면, 에지의 방향을 고려하여 컬러 보간시 발생할 수 있는 오류를 최소화할 수 있으며, 고해상도의 보간된 영상을 제공할 수 있다.

Claims (31)

  1. 단판식 이미지 센서의 각 픽셀에서 감지한 컬러 신호에 대한 정보를 수신하여 상기 픽셀에서 제외된 컬러 신호를 보간하는 컬러 보간 방법에 있어서,
    보간될 픽셀을 중심으로 주변 픽셀에서 G 컬러값으로부터 R 또는 B 컬러값을 빼서 차영상 채널을 형성하는 단계;
    상기 차영상 채널을 이용하여 보간될 픽셀이 속하는 에지의 방향을 검출하고, 상기 주변 픽셀 중 컬러 보간에 이용되는 주변 픽셀을 선택하는 단계;
    상기 컬러 보간에 이용되는 주변 픽셀에 에지의 방향을 나타내는 가중치를 계산하여 제공하는 단계; 및
    상기 컬러 보간에 이용되는 주변 픽셀에서의 차영상값과 상기 가중치를 이용하여 상기 보간될 픽셀에서 제외된 컬러 성분을 계산하는 단계;를 포함하며,
    상기 보간될 픽셀이 속하는 에지의 방향을 검출하는 단계는,
    상기 보간될 픽셀의 상하좌우로 인접한 픽셀들 중에서, 차영상값의 차이가 가장 작은 2개의 픽셀(D1m1,D1m2)을 선택하고, 상기 선택된 2개의 픽셀(D1m1,D1m2)을 연결하는 직선을 보간될 픽셀의 제 1 에지 방향으로 검출하는 단계; 및
    상기 상하좌우로 인접한 픽셀들을 제외한 주변 픽셀들 중에서 상기 보간될 픽셀을 중심으로 마주보는 픽셀들 상호간의 차영상값의 차이가 가장 작은 2개의 픽셀(D2m1,D2m2)을 선택하고, 상기 선택된 2개의 픽셀(D2m1,D2m2)을 연결하는 직선을 보간될 픽셀의 제 2 에지 방향으로 검출하는 단계를 포함하며,
    상기 컬러 보간에 이용되는 주변 픽셀을 선택하는 단계는
    상기 제 1 에지 방향과 상기 제 2 에지 방향의 유사 여부에 따라서 상기 컬러 보간에 이용되는 주변 픽셀을 결정하는 것을 특징으로 하는 컬러 보간 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 제 1 에지 방향과 제 2 에지 방향이 유사한 경우,
    상기 제 1 에지 방향을 나타내는 2개의 픽셀(D1m1, D1m2) 사이의 절대값 차이값
    Figure 712007004153886-pat00052
    를 갖는 제 1 에지 방향 계수(α)를 계산하는 단계;
    상기 제 2 에지 방향을 나타내는 2개의 픽셀(D2m1, D2m2) 사이의 절대값 차이값
    Figure 712007004153886-pat00053
    를 갖는 제 2 에지 방향 계수(β)를 계산하는 단계;를 포함하며,
    상기 제 1 에지 방향 계수값(α)과 상기 제 2 에지 방향 계수값(β)의 차이와 소정 임계값(Th1)을 비교하여 컬러 보간에 이용되는 주변 픽셀을 선택하는 것을 특징으로 하는 컬러 보간 방법.
  4. 제 3항에 있어서,
    상기 제 1 에지 방향 계수(α)와 상기 제 2 에지 방향 계수값(β)의 차이인 α-β가 소정 임계값(Th1) 이하인 경우 상기 제 1 에지 방향을 보간될 픽셀의 에지 방향으로 결정하고, 상기 제 1 에지 방향을 나타내는 2개의 픽셀(D1m1, D1m2)을 보간에 이용되는 주변 픽셀로서 결정하는 것을 특징으로 하는 컬러 보간 방법.
  5. 제 3항에 있어서,
    상기 제 1 에지 방향 계수(α)와 상기 제 2 에지 방향 계수값(β)의 차이인 α-β가 소정 임계값(Th1) 이상인 경우 상기 제 2 에지 방향을 보간될 픽셀의 에지 방향으로 결정하고, 상기 제 2 에지 방향을 나타내는 2개의 픽셀(D2m1, D2m2)을 보간에 이용되는 주변 픽셀로서 결정하는 것을 특징으로 하는 컬러 보간 방법.
  6. 제 1항에 있어서,
    상기 제 1 에지 방향과 제 2 에지 방향이 비유사한 경우,
    보간될 픽셀을 중심으로 주변 픽셀의 차영상값을 이용하여 수평 기울기(hor) 및 수직 기울기(ver)를 계산하는 단계; 및
    상기 수직 기울기(ver)와 수평 기울기(hor)의 크기를 비교하여 보간될 픽셀이 속하는 에지의 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 컬러 보간 방법.
  7. 제 6항에 있어서,
    상기 보간될 픽셀이 속하는 에지의 방향을 결정하는 단계는,
    상기 수직 기울기(ver)와 수평 기울기(hor)의 차이(ver-hor)가 소정 임계값(Th2)보다 큰 경우 보간될 픽셀이 속하는 에지의 방향을 수평 에지 방향으로 선택하고, 상기 보간될 픽셀의 좌우에 인접한 픽셀을 보간에 이용되는 주변 픽셀로 결정하는 것을 특징으로 하는 컬러 보간 방법.
  8. 제 6항에 있어서,
    상기 보간될 픽셀이 속하는 에지의 방향을 결정하는 단계는,
    상기 수직 기울기(ver)와 수평 기울기(hor)의 차이(ver-hor)가 소정 임계값(Th2)보다 작은 경우 보간될 픽셀이 속하는 에지의 방향을 수직 에지 방향으로 선택하고, 상기 보간될 픽셀의 상하에 인접한 픽셀을 보간에 이용되는 주변 픽셀로 결정하는 것을 특징으로 하는 컬러 보간 방법.
  9. 제 6항에 있어서,
    상기 수평 기울기(hor)는 보간될 픽셀을 중심으로 수평 방향의 차영상값들의 절대값 차이를 합산하여 계산되고, 상기 수직 기울기(ver)는 보간될 픽셀을 중심으로 수직 방향의 차영상값들의 절대값 차이를 합산하여 계산되는 것을 특징으로 하는 컬러 보간 방법.
  10. 제 1항에 있어서,
    상기 가중치는 G 컬러 채널의 지수 함수 및 보간하고자 하는 컬러 채널의 지수 함수 사이의 조화 평균을 이용하여, 보간에 이용되는 주변 픽셀에 제공되는 것을 특징으로 하는 컬러 보간 방법.
  11. 제 10항에 있어서,
    보간될 픽셀의 위치를 (i,j), 보간에 이용되는 픽셀의 위치를 (x,y), m=i-x, n=j-y,
    Figure 112005031505384-pat00054
    , 제 1 에지 방향을 나타내는 두 픽셀에 제공되는 가중치의 계산시에는
    Figure 112005031505384-pat00055
    , 제 2 에지 방향을 나타내는 두 픽셀에 제공되는 가중치의 계산시에는
    Figure 112005031505384-pat00056
    ,
    Figure 112005031505384-pat00057
    는 G 컬러 채널의 표준 편차,
    Figure 112005031505384-pat00058
    는 A 컬러 채널의 표준 편차라 할 때, 보간에 이용되는 (x,y) 픽셀의 가중치(ωx,y)는 다음의 수학식을 통해 계산되는 것을 특징으로 하는 컬러 보간 방법.
    Figure 112005031505384-pat00059
  12. 제 1항에 있어서,
    상기 보간될 픽셀에서 제외된 컬러 성분을 계산하는 단계는,
    상기 컬러 보간에 이용되는 것으로 선택된 주변 픽셀에서의 차영상값과 상기 가중치를 이용한 가중치 평균을 계산하여 G 컬러를 보간하는 단계;
    상기 주변 픽셀의 차영상값과 가중치를 이용한 가중치 평균을 계산하여 B 컬러를 갖는 픽셀의 R 컬러를 보간하고, R 컬러를 갖는 픽셀의 B 컬러를 보간하는 단계; 및
    상기 주변 픽셀의 차영상값과 가중치를 이용한 가중치 평균을 계산하여 G 컬러를 갖는 픽셀에서 R 및 B 컬러를 보간하는 단계를 포함하는 것을 특징으로 하는 컬러 보간 방법.
  13. 제 12항에 있어서,
    상기 G 컬러를 보간하는 단계에 있어서,
    보간될 픽셀의 위치를 (i,j), 상기 보간될 픽셀이 원래 갖는 컬러 채널을 A, 보간에 이용되는 픽셀의 위치를 각각 (x1,y1), (x2,y2), 상기 보간에 이용되는 픽셀 위치에서의 차영상값을 각각 DA,x1y1, DA,x2y2, 상기 보간에 이용되는 픽셀의 가중치를 각각 ωx1,y1 , ωx2,y2 라 할 때, 상기 (i,j) 픽셀의 보간된 G 컬러값(Gij')은 다음의 수학식을 통해 계산되는 것을 특징으로 하는 컬러 보간 방법.
    Figure 112005031505384-pat00060
  14. 제 12항에 있어서,
    상기 B 컬러를 갖는 픽셀의 R 컬러를 보간하고, R 컬러를 갖는 픽셀의 B 컬러를 보간하는 단계에 있어서,
    보간될 픽셀의 위치를 (i,j), 상기 보간될 픽셀의 G 컬러값을 Gij', 보간하고자 하는 컬러 채널을 C, 보간에 이용되는 픽셀의 위치를 각각 (x1,y1), (x2,y2), (x3,y3), (x4,y4), 상기 보간에 이용되는 픽셀의 G 컬러값과 보간하고자 하는 컬러값의 차이인 차영상값을 각각 Dc,x1y1, Dc,x2y2, Dc,x3y3, Dc,x4y4, 상기 보간에 이용되는 픽셀의 가중치를 각각 ωx1,y1 , ωx2,y2, ωx3,y3 , ωx4,y4 라 할 때, 상기 (i,j) 픽셀의 보간된 C 컬러값(Cij')은 다음의 수학식을 통해 계산되는 것을 특징으로 하는 컬러 보간 방법.
    Figure 112005031505384-pat00061
  15. 제 12항에 있어서,
    상기 G 컬러를 갖는 픽셀에서 R 및 B 컬러를 보간하는 단계는,
    소정 크기의 마스크 내부에 포함된 적어도 6개의 주변 픽셀의 차영상값과 가 중치를 이용하여 컬러 보간을 수행하는 것을 특징으로 하는 컬러 보간 방법.
  16. 제 15항에 있어서,
    상기 소정 크기의 마스크는 3×5 또는 5×3 중 어느 하나의 크기를 갖는 것을 특징으로 하는 컬러 보간 방법.
  17. 단판식 이미지 센서의 각 픽셀에서 감지한 컬러 신호에 대한 정보를 수신하여 상기 픽셀에서 제외된 컬러 신호를 보간하는 컬러 보간 장치에 있어서,
    보간될 픽셀을 중심으로 주변 픽셀에서 G 컬러값으로부터 R 또는 B 컬러값을 빼서 차영상 채널을 형성하는 차영상 채널 형성부;
    상기 차영상 채널 형성부에서 형성된 차영상 채널을 이용하여 보간될 픽셀이 속하는 에지의 방향을 검출하고, 상기 주변 픽셀 중 컬러 보간에 이용되는 주변 픽셀을 선택하는 에지 방향성 검출부;
    상기 에지 방향성 검출부에서 선택된 컬러 보간에 이용되는 주변 픽셀에 에지의 방향을 나타내는 가중치를 계산하여 제공하는 가중치 계산부; 및
    상기 컬러 보간에 이용되는 주변 픽셀에서의 차영상값과 상기 가중치를 이용하여 상기 보간될 픽셀에서 제외된 컬러 성분을 계산하는 컬러 보간부를 포함하며,
    상기 에지 방향성 검출부는,
    상기 보간될 픽셀의 상하좌우로 인접한 픽셀들 중에서, 차영상값의 차이가 가장 작은 2개의 픽셀(D1m1,D1m2)을 선택하고, 상기 선택된 2개의 픽셀(D1m1,D1m2)을 연결하는 직선을 보간될 픽셀의 제 1 에지 방향으로 검출하며, 상기 상하좌우로 인접한 픽셀들을 제외한 주변 픽셀들 중에서 상기 보간될 픽셀을 중심으로 마주보는 픽셀들 상호간의 차영상값의 차이가 가장 작은 2개의 픽셀(D2m1,D2m2)을 선택하고 상기 선택된 2개의 픽셀(D2m1,D2m2)을 연결하는 직선을 보간될 픽셀의 제 2 에지 방향으로 검출하며, 상기 제 1 에지 방향과 상기 제 2 에지 방향의 유사 여부에 따라서 상기 컬러 보간에 이용되는 주변 픽셀을 결정하는 것을 특징으로 하는 컬러 보간 장치.
  18. 삭제
  19. 제 17항에 있어서,
    상기 에지 방향성 검출부는 검출된 상기 제 1 에지 방향과 제 2 에지 방향이 유사한 경우,
    상기 제 1 에지 방향을 나타내는 2개의 픽셀(D1m1, D1m2) 사이의 절대값 차이값
    Figure 712007004153886-pat00062
    를 갖는 제 1 에지 방향 계수(α) 및 상기 제 2 에지 방향을 나타내는 2개의 픽셀(D2m1, D2m2) 사이의 절대값 차이값
    Figure 712007004153886-pat00063
    를 갖는 제 2 에지 방향 계수(β)를 계산하고, 상기 제 1 에지 방향 계수값(α)과 상기 제 2 에지 방향 계수값(β)의 차이와 소정 임계값(Th1)을 비교하여 컬러 보간에 이용되는 주변 픽셀을 선택하는 것을 특징으로 하는 컬러 보간 장치.
  20. 제 19항에 있어서,
    상기 에지 방향성 검출부는, 상기 제 1 에지 방향 계수(α)와 상기 제 2 에지 방향 계수값(β)의 차이인 α-β가 소정 임계값(Th1) 이하인 경우 상기 제 1 에지 방향을 보간될 픽셀의 에지 방향으로 결정하고, 상기 제 1 에지 방향을 나타내는 2개의 픽셀(D1m1, D1m2)을 보간에 이용되는 주변 픽셀로서 결정하는 것을 특징으로 하는 컬러 보간 장치.
  21. 제 19항에 있어서,
    상기 에지 방향성 검출부는, 상기 제 1 에지 방향 계수(α)와 상기 제 2 에지 방향 계수값(β)의 차이인 α-β가 소정 임계값(Th1) 이상인 경우 상기 제 2 에지 방향을 보간될 픽셀의 에지 방향으로 결정하고, 상기 제 2 에지 방향을 나타내는 2개의 픽셀(D2m1, D2m2)을 보간에 이용되는 주변 픽셀로서 결정하는 것을 특징으로 하는 컬러 보간 장치.
  22. 제 17항에 있어서,
    상기 에지 방향성 검출부는, 상기 제 1 에지 방향과 제 2 에지 방향이 비유사한 경우, 보간될 픽셀을 중심으로 주변 픽셀의 차영상값을 이용하여 수평 기울기(hor) 및 수직 기울기(ver)를 계산하고, 상기 수직 기울기(ver)와 수평 기울기(hor)의 크기를 비교하여 보간될 픽셀이 속하는 에지의 방향을 결정하는 것을 특징으로 하는 컬러 보간 장치.
  23. 제 22항에 있어서,
    상기 에지 방향성 검출부는, 상기 수직 기울기(ver)와 수평 기울기(hor)의 차이(ver-hor)가 소정 임계값(Th2)보다 큰 경우 보간될 픽셀이 속하는 에지의 방향을 수평 에지 방향으로 선택하고, 상기 보간될 픽셀의 좌우에 인접한 픽셀을 보간에 이용되는 주변 픽셀로 결정하는 것을 특징으로 하는 컬러 보간 장치.
  24. 제 22항에 있어서,
    상기 에지 방향성 검출부는, 상기 수직 기울기(ver)와 수평 기울기(hor)의 차이(ver-hor)가 소정 임계값(Th2)보다 작은 경우 보간될 픽셀이 속하는 에지의 방향을 수직 에지 방향으로 선택하고, 상기 보간될 픽셀의 상하에 인접한 픽셀을 보간에 이용되는 주변 픽셀로 결정하는 것을 특징으로 하는 컬러 보간 장치.
  25. 제 22항에 있어서,
    상기 수평 기울기(hor)는 보간될 픽셀을 중심으로 수평 방향의 차영상값들의 절대값 차이를 합산하여 계산되고, 상기 수직 기울기(ver)는 보간될 픽셀을 중심으로 수직 방향의 차영상값들의 절대값 차이를 합산하여 계산되는 것을 특징으로 하는 컬러 보간 장치.
  26. 제 17항에 있어서,
    상기 가중치 계산부는, G 컬러 채널의 지수 함수 및 보간하고자 하는 컬러 채널의 지수 함수 사이의 조화 평균을 이용하여, 보간에 이용되는 주변 픽셀에 가중치를 계산하여 제공하는 것을 특징으로 하는 컬러 보간 장치.
  27. 제 26항에 있어서,
    상기 가중치 계산부는,
    보간될 픽셀의 위치를 (i,j), 보간에 이용되는 픽셀의 위치를 (x,y), m=i-x, n=j-y,
    Figure 112005031505384-pat00064
    , 제 1 에지 방향을 나타내는 두 픽셀에 제공되는 가중치의 계산시에는
    Figure 112005031505384-pat00065
    , 제 2 에지 방향을 나타내는 두 픽셀에 제공되는 가중치의 계산시에는
    Figure 112005031505384-pat00066
    ,
    Figure 112005031505384-pat00067
    는 G 컬러 채널의 표준 편차,
    Figure 112005031505384-pat00068
    는 A 컬러 채널의 표준 편차라 할 때, 다음의 수학식을 통해 상기 보간에 이용되는 (x,y) 픽셀의 가중치(ωx,y)를 계산하는 것을 특징으로 하는 컬러 보간 장치.
    Figure 112005031505384-pat00069
  28. 제 17항에 있어서,
    상기 컬러 보간부는,
    상기 컬러 보간에 이용되는 것으로 선택된 주변 픽셀에서의 차영상값과 상기 가중치를 이용한 가중치 평균을 계산하여 G 컬러를 보간하는 제 1 컬러 보간부;
    상기 주변 픽셀의 차영상값과 가중치를 이용한 가중치 평균을 계산하여 B 컬러를 갖는 픽셀의 R 컬러를 보간하고, R 컬러를 갖는 픽셀의 B 컬러를 보간하는 제 2 컬러 보간부; 및
    상기 주변 픽셀의 차영상값과 가중치를 이용한 가중치 평균을 계산하여 G 컬러를 갖는 픽셀에서 R 및 B 컬러를 보간하는 제 3 컬러 보간부를 포함하는 것을 특징으로 하는 컬러 보간 장치.
  29. 제 28항에 있어서,
    상기 제 1 컬러 보간부는,
    보간될 픽셀의 위치를 (i,j), 상기 보간될 픽셀이 원래 갖는 컬러 채널을 A, 보간에 이용되는 픽셀의 위치를 각각 (x1,y1), (x2,y2), 상기 보간에 이용되는 픽셀 위치에서의 차영상값을 각각 DA,x1y1, DA,x2y2, 상기 보간에 이용되는 픽셀의 가중치를 각각 ωx1,y1 , ωx2,y2 라 할 때, 상기 (i,j) 픽셀의 보간된 G 컬러값(Gij')을 다음의 수학식을 통해 계산하는 것을 특징으로 하는 컬러 보간 장치.
    Figure 112005031505384-pat00070
  30. 제 28항에 있어서,
    상기 제 2 컬러 보간부는,
    보간될 픽셀의 위치를 (i,j), 상기 보간될 픽셀의 G 컬러값을 Gij', 보간하고자 하는 컬러 채널을 C, 보간에 이용되는 픽셀의 위치를 각각 (x1,y1), (x2,y2), (x3,y3), (x4,y4), 상기 보간에 이용되는 픽셀의 G 컬러값과 보간하고자 하는 컬러값의 차이인 차영상값을 각각 Dc,x1y1, Dc,x2y2, Dc,x3y3, Dc,x4y4, 상기 보간에 이용되는 픽셀의 가중치를 각각 ωx1,y1 , ωx2,y2, ωx3,y3 , ωx4,y4 라 할 때, 상기 (i,j) 픽셀의 보간된 C 컬러값(Cij')을 다음의 수학식을 통해 계산하는 것을 특징으로 하는 컬러 보간 장치.
    Figure 112005031505384-pat00071
  31. 제 28항에 있어서,
    상기 제 3 컬러 보간부는,
    소정 크기의 마스크 내부에 포함된 적어도 6개의 주변 픽셀의 차영상값과 가중치를 이용하여 컬러 보간을 수행하는 것을 특징으로 하는 컬러 보간 장치.
KR1020050051258A 2005-06-15 2005-06-15 에지 적응적 컬러 보간 방법 및 장치 KR100782812B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050051258A KR100782812B1 (ko) 2005-06-15 2005-06-15 에지 적응적 컬러 보간 방법 및 장치
US11/393,710 US7835573B2 (en) 2005-06-15 2006-03-31 Method and apparatus for edge adaptive color interpolation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050051258A KR100782812B1 (ko) 2005-06-15 2005-06-15 에지 적응적 컬러 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060131083A KR20060131083A (ko) 2006-12-20
KR100782812B1 true KR100782812B1 (ko) 2007-12-06

Family

ID=37588964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050051258A KR100782812B1 (ko) 2005-06-15 2005-06-15 에지 적응적 컬러 보간 방법 및 장치

Country Status (2)

Country Link
US (1) US7835573B2 (ko)
KR (1) KR100782812B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101068652B1 (ko) 2009-11-17 2011-09-28 연세대학교 산학협력단 색상 보간 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101408360B1 (ko) 2010-01-14 2014-06-18 연세대학교 산학협력단 영상 보간 장치 및 방법
KR101515957B1 (ko) 2008-09-08 2015-05-04 삼성전자주식회사 컬러 보간 장치와 컬러 보간 방법

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100548611B1 (ko) * 2003-08-07 2006-01-31 삼성전기주식회사 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법
KR100780932B1 (ko) * 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
KR100826215B1 (ko) * 2006-07-25 2008-04-29 엠텍비젼 주식회사 격자 노이즈 및 에지 방향을 고려한 컬러 보간 방법 및장치
TWI330492B (en) * 2006-09-26 2010-09-11 Himax Tech Ltd De-interlacing method and apparatus
TWI319676B (en) * 2006-10-18 2010-01-11 Quanta Comp Inc Image processing apparatus and method
US8063948B2 (en) * 2007-02-26 2011-11-22 Texas Instruments Incorporated Proximity-based system and method for reducing gain imbalance in a bayer pattern and digital camera employing the same
US7920751B2 (en) * 2007-03-16 2011-04-05 General Electric Company Adaptive gradient weighting technique for detector bad cell correction
JP4946581B2 (ja) * 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
JP2009077051A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 撮像装置及びその撮像方法
WO2009098619A2 (en) * 2008-02-07 2009-08-13 Nxp B.V. Method and device for reconstructing a color image
KR100943068B1 (ko) * 2008-02-29 2010-02-18 전남대학교산학협력단 곡선 보간을 이용한 에러복원방법
US7995840B2 (en) 2008-03-28 2011-08-09 Seiko Epson Corporation Image processing apparatus, image processing method, and program for attaining image processing
US8111299B2 (en) * 2008-08-15 2012-02-07 Seiko Epson Corporation Demosaicking single-sensor camera raw data
KR101527409B1 (ko) * 2008-09-22 2015-06-09 삼성전자주식회사 영역 구분을 이용한 영상 보간 장치 및 그 방법
TWI376646B (en) * 2008-12-23 2012-11-11 Silicon Motion Inc Pixel processing method and image processing system
US8340407B2 (en) * 2009-01-14 2012-12-25 Cisco Technology, Inc. System and method for image demosaicing
KR101637488B1 (ko) * 2009-01-16 2016-07-07 삼성전자주식회사 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
US8571312B2 (en) * 2009-01-16 2013-10-29 Samsung Electronics Co., Ltd. Image interpolation method and apparatus using pattern characteristics of color filter array
JP5574615B2 (ja) * 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
KR101335127B1 (ko) 2009-08-10 2013-12-03 삼성전자주식회사 에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말
KR101600312B1 (ko) * 2009-10-20 2016-03-07 삼성전자주식회사 영상처리장치 및 영상처리방법
US8345130B2 (en) * 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences
KR101114586B1 (ko) * 2010-02-08 2012-03-02 삼성전자주식회사 불량 화소 제거 장치 및 방법
KR101678690B1 (ko) 2010-04-15 2016-11-24 삼성전자주식회사 이미지 처리 방법 및 장치
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8692906B2 (en) * 2010-07-13 2014-04-08 Canon Kabushiki Kaisha Luminance signal generation apparatus, luminance signal generation method, image pickup apparatus, and storage medium
JP2012099903A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、撮像装置
KR101146171B1 (ko) 2010-11-19 2012-05-24 에스케이하이닉스 주식회사 영상 처리 장치 및 시스템
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
TW201305965A (zh) * 2011-07-18 2013-02-01 Novatek Microelectronics Corp 影像處理方法
CN102905083A (zh) * 2011-07-27 2013-01-30 联咏科技股份有限公司 图像处理方法
WO2013123133A1 (en) 2012-02-14 2013-08-22 Gentex Corporation High dynamic range imager system
RU2557261C2 (ru) * 2013-08-20 2015-07-20 Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования Московский технический университет связи и информатики (ФГОБУ ВПО МТУСИ) Способ и устройство формирования сигналов изображения в системах цифрового телевидения стандартной и высокой четкости
US9613396B2 (en) * 2013-12-09 2017-04-04 Marvell World Trade Ltd. Method and apparatus for demosaicing of color filter array image
KR102116095B1 (ko) * 2014-03-17 2020-05-27 한화에어로스페이스 주식회사 컬러보간개선 방법
CN104159091B (zh) * 2014-07-30 2016-08-24 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于边缘检测的颜色插值方法
JP6045625B2 (ja) * 2015-03-20 2016-12-14 株式会社Pfu 画像処理装置、領域検出方法及びコンピュータプログラム
JP6099686B2 (ja) 2015-03-20 2017-03-22 株式会社Pfu 画像処理装置、領域検出方法及びコンピュータプログラム
CN106937064B (zh) * 2015-12-29 2019-05-10 展讯通信（上海）有限公司 数字图像坏点的检测方法、校正方法及装置
KR102366232B1 (ko) * 2017-08-30 2022-02-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US11694480B2 (en) 2020-07-27 2023-07-04 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
CN114519967B (zh) * 2022-02-21 2024-04-16 北京京东方显示技术有限公司 源驱动装置及其控制方法、显示系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164602A (ja) 1996-11-26 1998-06-19 Minolta Co Ltd 画素補間装置及びその画素補間方法
JPH11103466A (ja) 1997-07-31 1999-04-13 Fuji Film Microdevices Co Ltd 画像信号処理装置及びプログラムを記録した媒体
JPH11122626A (ja) 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
JP2000244934A (ja) 1998-12-21 2000-09-08 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
JP2001292454A (ja) 2000-04-06 2001-10-19 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2003143615A (ja) 2001-09-13 2003-05-16 Samsung Electronics Co Ltd イメージセンサ出力データ処理装置及び処理方法
JP2004260378A (ja) 2003-02-25 2004-09-16 Sanyo Electric Co Ltd 画素信号処理回路

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258040A (ja) 2000-03-10 2001-09-21 Seiko Epson Corp 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体
US6707937B1 (en) * 2000-07-14 2004-03-16 Agilent Technologies, Inc. Interpolation of edge portions of a digital image
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
KR100506086B1 (ko) * 2002-12-26 2005-08-03 삼성전자주식회사 영상의 재현 품질 향상 장치 및 그 방법
US7525584B2 (en) * 2004-01-05 2009-04-28 Lifesize Communications, Inc. Fast edge directed demosaicing
US7502505B2 (en) * 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164602A (ja) 1996-11-26 1998-06-19 Minolta Co Ltd 画素補間装置及びその画素補間方法
JPH11103466A (ja) 1997-07-31 1999-04-13 Fuji Film Microdevices Co Ltd 画像信号処理装置及びプログラムを記録した媒体
JPH11122626A (ja) 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
JP2000244934A (ja) 1998-12-21 2000-09-08 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
JP2001292454A (ja) 2000-04-06 2001-10-19 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2003143615A (ja) 2001-09-13 2003-05-16 Samsung Electronics Co Ltd イメージセンサ出力データ処理装置及び処理方法
JP2004260378A (ja) 2003-02-25 2004-09-16 Sanyo Electric Co Ltd 画素信号処理回路

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101515957B1 (ko) 2008-09-08 2015-05-04 삼성전자주식회사 컬러 보간 장치와 컬러 보간 방법
KR101068652B1 (ko) 2009-11-17 2011-09-28 연세대학교 산학협력단 색상 보간 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101408360B1 (ko) 2010-01-14 2014-06-18 연세대학교 산학협력단 영상 보간 장치 및 방법

Also Published As

Publication number Publication date
US20070002154A1 (en) 2007-01-04
US7835573B2 (en) 2010-11-16
KR20060131083A (ko) 2006-12-20

Similar Documents

Publication Publication Date Title
KR100782812B1 (ko) 에지 적응적 컬러 보간 방법 및 장치
JP4385282B2 (ja) 画像処理装置および画像処理方法
US7929032B2 (en) Method and apparatus for correcting a defective pixel
CN102959958B (zh) 彩色成像设备
US7825965B2 (en) Method and apparatus for interpolating missing colors in a color filter array
US7499089B2 (en) Color interpolation method in bayer array
US7995840B2 (en) Image processing apparatus, image processing method, and program for attaining image processing
KR100818447B1 (ko) 컬러 필터를 사용하여 검출된 영상의 컬러 보간 방법
EP1389771A2 (en) Digital image system and method for combining demosaicing and bad pixel correction
CN101511031B (zh) 一种用于拜尔数据插值的方法
US7760255B2 (en) Method and apparatus for interpolation of interlaced CMYG color format
EP2320665B1 (en) Image processing apparatus for chromatic aberration correction and control method therefor
JP5040519B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR20070103229A (ko) 컬러 보간 방법 및 장치
KR100866187B1 (ko) 영역 적응적 방향성 색 보간 방법
JP2008258931A (ja) 画像処理装置
JP2000023174A (ja) 画像処理装置及び画像処理方法
JP4104495B2 (ja) データ処理装置、画像処理装置およびカメラ
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
KR101327790B1 (ko) 영상 보간 방법 및 장치
US8810680B1 (en) Method and apparatus for color data synthesis in digital image and video capture systems
JP5109911B2 (ja) 撮像装置および補間処理方法
JP2006067214A (ja) 画像補間装置及び画像補間方法
KR20110035632A (ko) 디지털 카메라에서 결여된 색상 성분을 복원하는 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20050615

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061121

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20070816

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20061121

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20070914

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20070816

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20071026

Appeal identifier: 2007101009811

Request date: 20070914

AMND Amendment
PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20071015

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20070914

Patent event code: PB09011R01I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20071026

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20071019

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20071130

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20071203

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction
PR1001 Payment of annual fee

Payment date: 20101028

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20111028

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20111028

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20121030

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee