KR20100078623A - 컬러 보간 장치 및 컬러 보간 방법 - Google Patents

컬러 보간 장치 및 컬러 보간 방법 Download PDF

Info

Publication number
KR20100078623A
KR20100078623A KR1020080136928A KR20080136928A KR20100078623A KR 20100078623 A KR20100078623 A KR 20100078623A KR 1020080136928 A KR1020080136928 A KR 1020080136928A KR 20080136928 A KR20080136928 A KR 20080136928A KR 20100078623 A KR20100078623 A KR 20100078623A
Authority
KR
South Korea
Prior art keywords
edge
information
color
pixel
data
Prior art date
Application number
KR1020080136928A
Other languages
English (en)
Other versions
KR101580168B1 (ko
Inventor
현지철
전승헌
Original Assignee
주식회사 동부하이텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 동부하이텍 filed Critical 주식회사 동부하이텍
Priority to KR1020080136928A priority Critical patent/KR101580168B1/ko
Priority to TW098145358A priority patent/TW201026079A/zh
Priority to US12/648,929 priority patent/US8363132B2/en
Priority to CN200910266067A priority patent/CN101771883A/zh
Publication of KR20100078623A publication Critical patent/KR20100078623A/ko
Application granted granted Critical
Publication of KR101580168B1 publication Critical patent/KR101580168B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

연속되는 1-라인 에지를 정확하게 검출함으로써 베이어 패턴에서 현재 픽셀의 에지 방향성을 정밀하게 구할 수 있는 컬러 보간 장치 및 보간 방법에 관한 것이다. 이 장치는 각 화소에서 감지한 색 신호에 대한 정보를 담은 이미지 센서; 이미지 센서의 출력데이터를 수신하여 저장하는 제 1 라인 메모리; 제 1 라인 메모리의 데이터에서 연속된 1-line narrow edge가 존재하는 영역에서 잘못된 에지-센싱의 단점을 보완하여 미싱(missing)된 녹색 화소 정보를 추출하는 미싱된 녹색 정보 추출기; 상기 제 1 라인 메모리의 데이터를 수신하고, 수신된 데이터들을 소정 시간 지연시킨 후 출력하는 지연기; 상기 미싱된 녹색 정보 추출기에서 출력되는 데이터와 상기 지연기를 통해 제공되는 데이터를 임시저장하는 제 2 라인 메모리; 상기 제 2 라인 메모리의 데이터로부터 미싱된 적색 및 청색 정보를 추출하는 미싱된 적/청색 정보 출력기로 구성된다.
컬러, 보간, 이미지

Description

컬러 보간 장치 및 컬러 보간 방법{a color demosaicing device and a color demosaicing method}
본 발명은 이미지 센서의 컬러 보간 장치 및 컬러 보간 방법에 관한 것이다.
디지털 이미지를 캡처하는 능력을 갖는 디지털 카메라 또는 셀 폰과 같은 디지털 이미지 캡처 디바이스(image capture device)는 이미지 센서(image sensor)를 포함한다. 이미지 센서는 2차원 어레이의 센서를 포함한다. 각 센서는 "픽셀 위치"에 위치되는 것으로 공지되어 있다. 각 센서는 광의 하나의 컬러의 강도를 검출한다. 통상적으로, 녹색용 센서, 적색용 센서, 및 청색용 센서가 있다.
현재 CCD 혹은 CMOS 이미지센서에서 채택하고 있는 픽셀의 어레이 타입은 여러 종류가 존재한다. 하지만 픽셀 설계상의 간편성과 우수한 색 재현성 및 제조 공정상의 수율 등의 이유로 대부분의 이미지 센서들이 도 1에서와 같이 베이어 패턴( 을 채택하고 있다. 인간이 컬러 및 이미지를 시각화하는 방식으로 인해, 종종 이미지 센서가 녹색의 샘플링에 관하여 적색 및 청색을 서브 샘플링하는 것이 바람직하다. 센서의 최상위 로우(row)는 교대하는 방식으로 녹색 및 적색 화소를 포함한다. 센서의 다음의 로우(row)는 교대하는 방식으로 녹색 및 청색 화소를 포함한 다. 센서의 이러한 순서는 이미지 센서의 로우의 수직 아래로, 로우 바이 로우 (row by row) 로 발생한다.
녹색(G) 화소의 개수는 적색(R) 화소 또는 청색(B) 화소의 개수에 비해 상대적으로 많다. 녹색(G) 화소의 개수는 적색(R) 화소의 개수와 청색(B) 화소의 개수의 합과 동일하다. 이와 같이 녹색(G) 화소의 개수가 상대적으로 적색(R) 화소의 개수와 청색(B) 화소의 개수보다 많은 이유는 녹색(G) 컬러가 휘도 성분에 가장 가까우며, 녹색(G) 컬러에 대해 사람이 가장 민감하게 반응하기 때문이다.
따라서, 도 1의 이미지 센서는 적색 센서 또는 청색 센서보다는 녹색 센서를 더 많이 갖는다. 따라서, 적색 및 청색이 서브샘플링된다고 한다. 하나의 컬러 샘플값만이 이미지 센서상의 각각의 픽셀 위치에서 취해진다. 각 컬러 샘플값은 예를 들어, 8-비트 값일 수도 있다.
일반적으로 영상은 하나의 픽셀이 적,녹,청색으로 구성된다. 그러나, 도 1에서 보는 바와 같이, 베이어 패턴에는 하나의 픽셀에 적, 녹, 혹은 청색의 하나의 색으로만 구성되어 있다. 따라서, 완전한 영상을 만들기 위해서는 각 픽셀에서 미싱(missing)된 색 정보를 주변 픽셀들을 이용하여 보간하여야 한다.
이와 같이 미싱된 색 정보를 정확하게 보간하기 위한 연구가 계속적으로 이루어 왔다. 그러나 도 2의 예와 같이 영상의 고주파 영역에서 주변의 잘못된 픽셀 정보를 이용하게 되면 이미지의 인위적 영상이 표시된다. 도 2a는 원래 영상(Original Image)이고 도 2b는 잘못된 픽셀정보를 이용한 보간의 결과 영상이다.
이러한 문제를 해결하기 위하여 앞서 연구된 기술은 Color Demosaicing Using Variance Of Color Correlation과 Effective Color Interpolation in CCD Color Filter Arrays Using Signal Correlation 등에서 기술되어 있다. 이러한 기술은 에지-센싱을 통해 잘못된 픽셀 정보의 취득을 줄이고, 더욱 정확한 픽셀의 정보를 취득하듯이 edge-sensing을 통하여 정확한 픽셀 정보를 취득하여 보간을 수행하는 것이다.
가장 많이 사용하는 에지-센싱 기술은 Hamilton edge-classifier를 주로 사용하며 이는 다음의 [식 1]과 같다. 이미지 센서는 로우 및 컬럼에 배열된 컬러 센서의 2 차원 어레이를 포함한다. 각각의 컬러 센서는 하나의 픽셀 위치에서 하나의 컬러를 검출한다. 이 예에서, 각각의 컬러 센서는 8 비트 컬러 서브-픽셀 값을 생성한다.
"Gij" 표기는 컬러 서브-픽셀 값을 나타내기 위해 이용된다. 이 표기에서, 선두의 대문자는 감지된 컬러를 표시한다. 이 문자가 "R" 인 경우에, 감지된 컬러는 적색이다. 이 문자가 "G" 인 경우에, 감지된 컬러는 녹색이다. 이 문자가 "B" 인 경우에, 감지된 컬러는 청색이다. 이러한 선두 문자에는 2개의 숫자 "ij" 에 의한 표기가 뒤따른다. 이 표기에서의 제 1 숫자 "n" 은 서브-픽셀 값의 로우(row)를 나타낸다. 이 표기에서의 제 2 숫자 "j" 은 서브-픽셀 값의 컬럼(column)을 나타낸다.
[식 1]
Figure 112008090526251-PAT00001
Figure 112008090526251-PAT00002
[식 1]은 영상에서 현재 미싱된 색 정보를 구하고자 하는 픽셀의 위치가 (i,j)일 때 수평 기울기 값
Figure 112008090526251-PAT00003
과 수직 기울기 값
Figure 112008090526251-PAT00004
를 구하여, 수평/수직 방향 중 어느 방향의 에지 성분이 더 두드러지는가를 판단하여 다음의 [식 2]에서와 같이 미싱된 녹색값을 구하게 된다.
[식 2]
Figure 112008090526251-PAT00005
Figure 112008090526251-PAT00006
Figure 112008090526251-PAT00007
[식 1]과 [식 2]을 이용하더라도 도 2와 같이 연속된 1 라인 네로우 에지(line narrow edge)가 존재하는 경우 베이어 패턴의 특성상 [식 1]으로는 에지의 정확한 방향성을 완벽하게 구분해내지 못함으로써 보간의 오류가 발생하게 된다.
이에 Color Demosaicing Using Variance Of Color Correlation에서는 color correlation을 이용한 9x9 kernel에서의 에지-센싱 기법을 소개하였다. Effective Color Interpolation in CCD Color Filter Arrays Using Signal Correlation에서는 앞서 설명한 Hamilton edge-classifier를 좀 더 보완하는 방법을 기법을 소개하였지만 연속된 1-라인 네로우 에지(line narrow edge)가 존재하는 경우, 잘못된 에지 -센싱이 여전히 존재하였다.
본 발명은 고품질의 영상을 제공할 수 있는 이미지 보간 장치 및 보간 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 고주파 영역에서의 에지-센싱을 정확하게 수행하여 주변 픽셀의 정보를 취득할 수 있는 보간 장치 및 보간방법을 제공하는 것이다.
본 발명의 다른 목적은 연속된 1-라인 네로우 에지가 존재하는 영역에서 발생하는 에지-센싱의 오류로 인한 단점을 보완할 수 있는 보간 장치 및 보간방법을 제공하는 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 컬러 보간장치는 각 화소에서 감지한 색 신호에 대한 정보를 담은 이미지 센서; 상기 이미지 센서의 출력데이터를 수신하여 저장하는 제 1 라인 메모리; 상기 제 1 라인 메모리의 데이터에서 연속된 1-line narrow edge가 존재하는 영역에서 잘못된 에지-센싱의 단점을 보완하여 미싱(missing)된 녹색 화소 정보를 추출하는 미싱된 녹색 정보 추출기; 상기 제 1 라인 메모리의 데이터를 수신하고, 수신된 데이터들을 소정 시간 지연시킨 후 출력하는 지연기; 상기 미싱된 녹색 정보 추출기에서 출력되는 데이터와 상기 지연기를 통해 제공되는 데이터를 임시저장하는 제 2 라인 메모리; 상기 제 2 라인 메모리의 데이터로부터 미싱된 적색 및 청색 정보를 추출하는 미싱된 적/청색 정보 출 력기를 포함하여 이루어지는 것을 구성의 특징으로 한다.
본 발명에 따른 컬러 보간장치의 세부적 구성의 특징은 상기 녹색 정보 추출기가, 현재 수행하고자 하는 픽셀에서의 기울기 값을 구하는 기울기 산출부; kernel 내의 녹색 화소 값들의 최소/최대 차이 값과 임계값을 비교하여 그 결과에 따라 연속되는 1-라인 에지 영역의 존재 여부를 판단하기 위한 라인 에지 판단부; 중심 픽셀을 기준으로 주변 8 픽셀에 대한 에지-센싱을 통해 현재 중심 픽셀에서의 에지의 방향성을 판단하는 방향성 판단부; 상기 기울기 산출부와 라인 에지 판단부로부터 제공되는 값을 토대로 평탄면, 연속되는 1-라인 에지영역, 수직 에지영역, 수평 에지영역, 텍스춰 에지영역 중 어느 하나의 값으로 구별하는 에지 분류부; 및 상기 에지 분류부와 방향성 판단부로부터 제공되는 값과 임계값을 이용하여 주변 에지 방향을 수정하는 에지 개량부를 포함하여 이루어지는 점이다.
본 발명에 따른 컬러 보간 방법은 이미지 센서로부터 각 화소에서 감지한 색 신호에 대한 정보를 수신하여 저장하는 제 1 색정보 저장 과정; 상기 제 1 색정보 저장과정에서 연속된 1-line narrow edge가 존재하는 영역에 대한 잘못된 에지-센싱의 단점을 보완하여 미싱(missing)된 녹색 화소 정보를 추출하는 미싱된 녹색 정보 추출과정; 상기 제 1 색정보 데이터들을 소정 시간 지연시킨 후 출력하는 지연과정; 및 상기 미싱된 녹색 정보 추출과정을 통해 추출된 데이터와 지연과정을 거쳐 제공되는 데이터를 저장하는 제 2 색정보 저장과정; 상기 제 2 색정보로부터 미싱된 적색 및 청색 정보를 추출하는 미싱된 적/청색 정보 출력과정을 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 컬러 보간 방법의 세부적 특징은 미싱된 녹색 정보 추출과정이 현재 수행하고자 하는 픽셀에서의 기울기 값을 구하는 단계; kernel 내의 녹색 화소 값들의 최소/최대 차이 값과 임계값을 비교하여 그 과에 따라 연속되는 1-라인 에지 영역의 존재 여부를 판단하는 단계; 중심 픽셀을 기준으로 주변 8 픽셀에 대한 에지-센싱을 통해 현재 중심 픽셀에서의 에지의 방향성을 판단하는 단계; 상기 기울기 값과 1-라인 에지 영역의 존재 여부를 기초로 하여 평탄면, 연속되는 1-라인 에지영역, 수직 에지영역, 수평 에지영역, 텍스춰 에지영역 중 어느 하나의 값으로 구별하는 에지 분류단계; 및 상기 분류된 에지와 그 에지의 방향성을 근거로 임계값을 이용하여 주변 에지 방향을 수정하는 에지 개량단계를 포함하여 이루어지는 점이다.
본 발명에 따른 이미지 보간 장치 및 보간 방법에 의한 효과는 다음과 같다.
첫째, 본 발명은 베이어 패턴에서의 현재 픽셀의 에지 방향성을 정확하게 구할 수 있다.
둘째, 1-라인 에지를 정확하게 검출할 수 있어 edge-classifier의 성능을 높여준다.
셋째, 베이어 패턴의 컬러 보간의 정확도가 높아진다.
본 발명에 따른 컬러 보간 장치의 구성은 도 3에 도시된 바와 같이, 각 화소에서 감지한 색 신호에 대한 정보를 담은 이미지 센서(10); 상기 이미지 센서(10) 의 출력데이터를 수신하여 저장하는 제 1 라인 메모리(20); 상기 제 1 라인 메모리(20)의 데이터에서 연속된 1-line narrow edge가 존재하는 영역에서 잘못된 에지-센싱의 단점을 보완하여 미싱(missing)된 녹색 화소 정보를 추출하는 미싱된 녹색 정보 추출기(30); 상기 제 1 라인 메모리(20)의 데이터를 수신하고, 수신된 데이터들을 소정 시간 지연시킨 후 출력하는 지연기(40); 상기 미싱된 녹색 정보 추출기(30)에서 출력되는 데이터와 상기 지연기(40)를 통해 제공되는 데이터를 임시저장하는 제 2 라인 메모리(50); 상기 제 2 라인 메모리(50)의 데이터로부터 미싱된 적색 및 청색 정보를 추출하는 미싱된 적/청색 정보 출력기(60)를 포함하여 이루어지는 것을 구성의 특징으로 한다.
에지-분류부 (Edge-classifier)는 도 3의 미싱된 녹색 픽셀 정보 추출기(30)에 존재하며 도 3에서와 같이 먼저 녹색(Green)을 추출한 다음 이 값들을 이용하여 미싱된 적색(Red)과 청색(Blue)를 추출하게 된다.
도 4는 본 발명에 따른 컬러 보간장치 중 미싱된 녹색 정보 추출기의 세부적 구성을 나타낸 블럭도이다.
그 구성을 살펴보면 현재 수행하고자 하는 픽셀에서의 기울기 값을 구하는 기울기 산출부(31); kernel 내의 녹색 화소 값들의 최소/최대 차이 값과 임계값을 비교하여 그 결과에 따라 연속되는 1-라인 에지 영역의 존재 여부를 판단하기 위한 라인 에지 판단부(32); 중심 픽셀을 기준으로 주변 8 픽셀에 대한 에지-센싱을 통해 현재 중심 픽셀에서의 에지의 방향성을 판단하는 방향성 판단부(33); 상기 기울기 산출부(31)와 라인 에지 판단부(32)로부터 제공되는 값을 토대로 평탄면, 연속 되는 1-라인 에지영역, 수직 에지영역, 수평 에지영역, 텍스춰 에지영역 중 어느 하나의 값으로 구별하는 에지 분류부(34); 및 상기 에지 분류부(34)와 방향성 판단부(34)로부터 제공되는 값과 임계값을 이용하여 주변 에지 방향을 수정하는 에지 개량부(35)를 포함하여 이루어진다.
먼저 기울기 산출부(31)는 현재 수행하고자 하는 픽셀(pixel)에서의 기울기(gradient) 값을 구하는 블럭이다. 본 기울기 산출부(31)에서 사용하는 기울기 계산 기법은 컬러 상호변경을 이용한 컬러 보간(Color Demosaicing Using Variance Of Color Correlation) 방법에서 제시된 색상차(color difference)를 이용한 기울기 ㄱ계산 기법을 일부 수정한 것이다. 즉, 종래 기술에 따른 컬러 상호변경을 이용한 컬러 보간 방식(Color Demosaicing Using Variance Of Color Correlation)에서는 좀 더 정확한 에지-센싱(edge-sensing)을 위하여 kernel내의 주변 픽셀(pixel)의 색상차(color difference)들의 분산 값을 구하였다. 그러나, 이러한 방법은 연산량이 많기 때문에 다음의 [식 3] 및 [식 4]을 적용하였다.
[식 3]
수평 가중치를
Figure 112008090526251-PAT00008
, 수직 가중치를
Figure 112008090526251-PAT00009
라 할때,
Figure 112008090526251-PAT00010
Figure 112008090526251-PAT00011
주변 픽셀의 컬러 차이를 나타내는 [식 4]는,
Figure 112008090526251-PAT00012
Figure 112008090526251-PAT00013
을 적용한다.
라인 에지 판단부(32)는 종래 기술에 따른 에지-분류부(edge-classifier)에 새롭게 추가되는 블럭이다. 1-line narrow edge가 연속적으로 나타나는 고주파 (high frequency) 영역에서는 컬러 차이(dH, dV)가 매우 작은 값으로 나타난다. 따라서, 이 영역이 에지(edge)가 존재하는 영역인지 에지(edge)가 존재하지 않는 평탄면 영역인지 구분하기가 어렵다. 도 5는 연속적 내로우 에지 영역을 갖는 커널에서의 녹색 성분 정보를 나타낸 예시도이다. 즉, 도 5에서 보는 바와 같이, 수직 혹은 수평 방향으로 녹색(green)에 대한 기울기(gradient)를 구하더라도 거의 유사한 값을 가지게 될 것임 예상할 수 있다. 그러나 위의 kernel내의 녹색 값들의 최소(min)값과 최대(max)값을 구하여 그 차이를 구하여 보면 평탄면인 경우와는 다르게 그 값 차이가 매우 큼을 알 수 있다. 그러므로 본 발명에 따른 에지-분류부 (edge-classifier)(34)에서는 연속되는 1-라인 에지 영역과 평탄 면 영역을 구분하기 위하여 kernel내의 녹색 값들의 최소 / 최대 값을 구하고 그 차이 값이 특정 임계치 (narrowEdgeThr) 값을 넘을 경우 1-라인 에지가 존재하는 영역으로 판단하게 된다.
방향성 판단부(Local Gradient)(33)는 종래 기술에 따른 에지-분류부(edge- classifier)에 새롭게 추가되는 블럭이다. Kernel내에서 수행하고자 하는 중심 픽셀(pixel)을 기준으로 주변 8 픽셀(pixel)에 대한 간단한 에지-센싱(edge-sensing)을 수행한다. 이때 사용하는 에지-분류는 기존에 많이 사용하는 Hamilton edge-sensing 기법을 사용하도록 한다 (식 1 및 식 2 참조).
에지-분류부(Edge-Classifier)(34)에서는 입력되는 기울기(gradient) 값들과 kernel내의 녹색 값들의 최소 / 최대 값의 차(diffMinMaxVal)를 이용하여 현재 중심 픽셀(pixel)에서의 에지의 방향성을 우선 검출하게 된다. 그 후 현재 구해진 에지의 방향성이 올바른 값인가에 대하여 다시 한 번 개량(refinement)하는 과정을 수행하기 위한 기준을 마련한다.
에지-분류부(Edge-Classifier)(34)에서는 상기 기울기 산출부(31)와 라인 에지 판단부(32)로부터 제공되는 값을 토대로 제 1 임계값 제공부(36)에서 제공되는 PlainThr, StrongThr, NarrowEdgeThr 값과 비교하여, 평탄면, 연속되는 1-라인 에지영역, 수직 에지영역, 수평 에지영역, 텍스춰 에지영역 중 어느 하나의 값으로 구별한다.
종래의 [식 2]에서는 수직 기울기 값과 수평 기울기 값을 비교하여, ΔH>ΔV, ΔH<ΔV 또는 ΔH=ΔV 중 어느 하나에 따른 에지를 판단하였다. 그러나, 본 발명에서는,
1. ΔH가 평탄 임계값(plainThr)보다 작거나 같고,ΔV가 평탄 임계값(plainThr)보다 작거나 같고, 최소값과최대값의 차이(diffMinMaxVal)가 narrow에지임계값(narrowEdgethr)보다 작거나 같으면 평탄면으로 판단한다.
2. ΔH가 평탄 임계값(plainThr)보다 작거나 같고,ΔV가 평탄 임계값(plainThr)보다 작거나 같고, 최소값과최대값의 차이(diffMinMaxVal)가 narrow에지임계값(narrowEdgethr)보다 크면 연속되는 1-line edge 영역으로 판단한다.
3. ΔH가 ΔV에 강임계값(stronThr)을 더한 값보다 크면, 수직 에지 영역으로 판단한다.
4. ΔV가 ΔH에 강임계값(stronThr)을 더한 값보다 크면, 수평 에지 영역으로 판단한다.
5. 상기 조건 외의 경우에는 텍스춰 에지 영역으로 판단한다.
한편, 에지 개량부(edge-refinement)(35)는 상기 방향성 판단부(Local gradient block)(33)에서 구한 주변 픽셀(pixel)의 기울기 값을 기준으로 사용한다.
그 예는 도 6에서 보는 바와 같다. 도 6은 상기 판단부(Local Gradient Block)(33)에서 출력되는 값들을 이용하여 주변 픽셀의 에지 방향 맵(edge direction map)을 구성한 예를 나타낸 것이다. 현재 중심 픽셀(pixel)은 수평 방향으로 에지 ㅂ방향이 결정되어 있으나 주변 픽셀들은 주로 수직 방향으로 에지 방향이 결정되어 있다. 이러한 경우, 중심을 제외한 나머지 픽셀들의 에지 방향성은 다음과 같은 규칙을 적용하여 에지 방향에 대한 판단(criterion) 수행한다.
edgeCriterion = 0;
for indxR = -1 : 1
for indxC = -1 : 1,
if (indxR != 0) & (indxC != 0)
if edgeMap(i+indxR,j+indxC == V
edgeCriterion += 2;
elseif edgeMap(i+indxR,j+indxC == A_V
edgeCriterion += 1;
elseif edgeMap(i+indxR,j+indxC == A_H
edgeCriterion -= 1;
elseif edgeMap(i+indxR,j+indxC == H
edgeCriterion -= 2;
end
end
end
end
이와 같이 에지 판단(edge criterion) 값이 일정 임계치 이상일 경우 중심 픽셀의 에지 방향성 정보를 수정하도록 한다. 도 6의 예는 에지 판단값(edge criterion)이 6이고, 만약 제2임계값 제공부(37)에서 제공하는 임계치(edge RefinementThr)가 5인 경우, 에지 판단값이 임계치를 넘겼으므로 중심 픽셀의 에지 방향성을 수직(V)으로 수정하도록 한다.
도 7은 본 발명에 따른 컬러 보간 방법의 진행과정을 나타낸 흐름도이다.
이미지 센서로부터 각 화소에서 감지한 색 신호에 대한 정보를 수신하여 저 장한다 (1st color data storing) (S10).
연속된 1-line narrow edge가 존재하는 영역에 대한 잘못된 에지-센싱의 단점을 보완하여 미싱(missing)된 녹색 화소 정보를 추출하는 미싱된 녹색 정보를 추출한다 (Missing green pixel estimation) (S20).
저장된 색정보 데이터들을 소정 시간 지연시킨 후 출력한다 (delaying) (S30).
상기 미싱된 녹색 정보 추출과정을 통해 추출된 데이터와 지연과정을 거쳐 제공되는 데이터를 저장한다 (2nd color data storing) (S40).
상기 미싱된 녹색 정보 추출을 마친 데이터로부터 미싱된 적색 및 청색 정보를 추출한다 (Missing Red and Blue pixel estimation) (S50).
도 8은 본 발명에 따른 컬러 보간 방법의 세부적 과정을 나타낸 흐름도이다.
특히 미싱된 녹색 정보 추출과정(Missing green pixel estimation)을 상세히 나타낸 것이다. 현재 수행하고자 하는 픽셀에서의 기울기 값을 산출한다 (calculating gradient using color diff) (S21).
kernel 내의 녹색 화소 값들의 최소/최대 차이 값과 임계값을 비교하여 그 과에 따라 연속되는 1-라인 에지 영역의 존재 여부를 판단한다 (Diff = Gmax - Gmin) (S22).
중심 픽셀을 기준으로 주변 8 픽셀에 대한 에지-센싱을 통해 현재 중심 픽셀에서의 에지의 방향성을 판단한다 (Local gradient at neighbor 8 pixels)(S23).
상기 기울기 값과 1-라인 에지 영역의 존재 여부를 기초로 하여 평탄면, 연 속되는 1-라인 에지영역, 수직 에지영역, 수평 에지영역, 텍스춰 에지영역 중 어느 하나의 값으로 구별한다 (Edge - classfier) (S24).
상기 분류된 에지와 그 에지의 방향성을 근거로 임계값을 이용하여 주변 에지 방향을 수정한다 (Edge-sensing refinement) (S25).
다양한 변형 예, 적용 예 및 설명한 특정 실시형태의 다양한 특징의 조합이 청구범위에 설명된 바와 같은 본 발명의 범위를 벗어나지 않고 실시될 수 있다.
도 1은 베이어 패턴의 일례를 나타낸 예시도이다.
도 2a 및 도 2b는 종래 기술에 따른 컬러 보간의 예를 나타낸 예시도이다.
도 3은 본 발명에 관련한 컬러 보간 장치의 구성을 나타낸 블럭구성도이다.
도 4는 본 발명에 따른 컬러 보간 장치의 구성을 좀 더 상세히 나타낸 블럭 구성도이다.
도 5는 연속적 내로우 에지 영역을 갖는 커널에서의 녹색 성분 정보를 나타낸 예시도이다.
도 6은 에지 방향성 맵의 예시도이다.
도 7은 본 발명에 따른 컬러 보간 방법의 진행과정을 나타낸 흐름도이다.
도 8은 본 발명에 따른 컬러 보간 방법의 세부적 과정을 나타낸 흐름도이다.

Claims (5)

  1. 각 화소에서 감지한 색 신호에 대한 정보를 담은 이미지 센서;
    상기 이미지 센서의 출력데이터를 수신하여 저장하는 제 1 라인 메모리;
    상기 제 1 라인 메모리의 데이터에서 연속된 1-line narrow edge가 존재하는 영역에서 잘못된 에지-센싱의 단점을 보완하여 미싱(missing)된 녹색 화소 정보를 추출하는 미싱된 녹색 정보 추출기;
    상기 제 1 라인 메모리의 데이터를 수신하고, 수신된 데이터들을 소정 시간 지연시킨 후 출력하는 지연기;
    상기 미싱된 녹색 정보 추출기에서 출력되는 데이터와 상기 지연기를 통해 제공되는 데이터를 임시저장하는 제 2 라인 메모리;
    상기 제 2 라인 메모리의 데이터로부터 미싱된 적색 및 청색 정보를 추출하는 미싱된 적/청색 정보 출력기를 포함하여 이루어지는 컬러 보간 장치.
  2. 제 1 항에 있어서, 상기 녹색 정보 추출기는,
    현재 수행하고자 하는 픽셀에서의 기울기 값을 구하는 기울기 산출부;
    kernel 내의 녹색 화소 값들의 최소/최대 차이 값과 임계값을 비교하여 그 결과에 따라 연속되는 1-라인 에지 영역의 존재 여부를 판단하기 위한 라인 에지 판단부;
    중심 픽셀을 기준으로 주변 8 픽셀에 대한 에지-센싱을 통해 현재 중심 픽셀 에서의 에지의 방향성을 판단하는 방향성 판단부;
    상기 기울기 산출부와 라인 에지 판단부로부터 제공되는 값을 토대로 평탄면, 연속되는 1-라인 에지영역, 수직 에지영역, 수평 에지영역, 텍스춰 에지영역 중 어느 하나의 값으로 구별하는 에지 분류부;
    상기 에지 분류부와 방향성 판단부로부터 제공되는 값과 임계값을 이용하여 주변 에지 방향을 수정하는 에지 개량부를 포함하여 이루어지는 것을 특징으로 하는 컬러 보간 장치.
  3. 제 2 항에 있어서, 상기 기울기 산출부는,
    수평 가중치를
    Figure 112008090526251-PAT00014
    라 하고,
    수직 가중치를
    Figure 112008090526251-PAT00015
    라 할때,
    주변 픽셀의 컬러 차이를
    Figure 112008090526251-PAT00016
    Figure 112008090526251-PAT00017
    라 정의하는 수식이 적용된 컬러 상호변경을 이용한 컬러 보간 (Color Demosaicing Using Variance Of Color Correlation)방식을 이용하는 것을 특징으로 하는 컬러 보간 장치.
  4. 이미지 센서로부터 각 화소에서 감지한 색 신호에 대한 정보를 수신하여 저장하는 제 1 색정보 저장 과정;
    상기 제 1 색정보 저장과정에서 연속된 1-line narrow edge가 존재하는 영역에 대한 잘못된 에지-센싱의 단점을 보완하여 미싱(missing)된 녹색 화소 정보를 추출하는 미싱된 녹색 정보 추출과정;
    상기 제 1 색정보 데이터들을 소정 시간 지연시킨 후 출력하는 지연과정;
    상기 미싱된 녹색 정보 추출과정을 통해 추출된 데이터와 지연과정을 거쳐 제공되는 데이터를 저장하는 제 2 색정보 저장과정;
    상기 제 2 색정보로부터 미싱된 적색 및 청색 정보를 추출하는 미싱된 적/청색 정보 출력과정을 포함하여 이루어지는 컬러 보간 방법.
  5. 제 4 항에 있어서, 미싱된 녹색 정보 추출과정은,
    현재 수행하고자 하는 픽셀에서의 기울기 값을 구하는 단계;
    kernel 내의 녹색 화소 값들의 최소/최대 차이 값과 임계값을 비교하여 그 결과에 따라 연속되는 1-라인 에지 영역의 존재 여부를 판단하는 단계;
    중심 픽셀을 기준으로 주변 8 픽셀에 대한 에지-센싱을 통해 현재 중심 픽셀에서의 에지의 방향성을 판단하는 단계;
    상기 기울기 값과 1-라인 에지 영역의 존재 여부를 기초로 하여 평탄면, 연 속되는 1-라인 에지영역, 수직 에지영역, 수평 에지영역, 텍스춰 에지영역 중 어느 하나의 값으로 구별하는 에지 분류단계; 및
    상기 분류된 에지와 그 에지의 방향성을 근거로 임계값을 이용하여 주변 에지 방향을 수정하는 에지 개량단계를 포함하여 이루어지는 것을 특징으로 하는 컬러 보간 방법.
KR1020080136928A 2008-12-30 2008-12-30 컬러 보간 장치 KR101580168B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080136928A KR101580168B1 (ko) 2008-12-30 2008-12-30 컬러 보간 장치
TW098145358A TW201026079A (en) 2008-12-30 2009-12-28 Apparatus for demosaicing colors and method thereof
US12/648,929 US8363132B2 (en) 2008-12-30 2009-12-29 Apparatus for demosaicing colors and method thereof
CN200910266067A CN101771883A (zh) 2008-12-30 2009-12-30 用于对颜色进行去马赛克的装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080136928A KR101580168B1 (ko) 2008-12-30 2008-12-30 컬러 보간 장치

Publications (2)

Publication Number Publication Date
KR20100078623A true KR20100078623A (ko) 2010-07-08
KR101580168B1 KR101580168B1 (ko) 2015-12-24

Family

ID=42284465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080136928A KR101580168B1 (ko) 2008-12-30 2008-12-30 컬러 보간 장치

Country Status (4)

Country Link
US (1) US8363132B2 (ko)
KR (1) KR101580168B1 (ko)
CN (1) CN101771883A (ko)
TW (1) TW201026079A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875678B2 (en) 2014-06-10 2018-01-23 Samsung Display Co., Ltd. Image display method
US10083349B2 (en) 2016-01-22 2018-09-25 Samsung Electronics Co., Ltd. Event signal processing method and apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5454075B2 (ja) 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5113929B1 (ja) * 2011-06-24 2013-01-09 楽天株式会社 画像提供装置、画像処理方法、画像処理プログラム及び記録媒体
TWI464704B (zh) * 2011-08-22 2014-12-11 Novatek Microelectronics Corp 色彩資訊插補方法
JP2013143730A (ja) * 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法
TWI517099B (zh) * 2013-11-15 2016-01-11 瑞昱半導體股份有限公司 影像連續邊緣偵測系統與其方法
CN106296773B (zh) * 2016-08-12 2019-11-29 中国科学院计算技术研究所 一种生成多层次矢量图的方法与装置
US20190020411A1 (en) * 2017-07-13 2019-01-17 Qualcomm Incorporated Methods and apparatus for efficient visible light communication (vlc) with reduced data rate
CN111062331B (zh) * 2019-12-18 2023-09-05 银河互联网电视有限公司 图像的马赛克检测方法、装置、电子设备及存储介质
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023174A (ja) * 1998-07-01 2000-01-21 Ricoh Co Ltd 画像処理装置及び画像処理方法
US20010045988A1 (en) * 1999-12-20 2001-11-29 Satoru Yamauchi Digital still camera system and method
JP2008035470A (ja) * 2006-06-29 2008-02-14 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4108969B2 (ja) * 2000-12-14 2008-06-25 松下電器産業株式会社 画像角度検出装置およびそれを備えた走査線補間装置
WO2003102868A2 (en) * 2002-05-29 2003-12-11 Pixonics, Inc. Classifying image areas of a video signal
JP3926363B2 (ja) * 2004-11-04 2007-06-06 三菱電機株式会社 画素信号処理装置及び画素信号処理方法
JP3729842B1 (ja) * 2004-12-02 2005-12-21 三菱電機株式会社 画素信号処理装置及び方法
CN101459853B (zh) * 2007-12-10 2011-08-10 鸿富锦精密工业（深圳）有限公司 色彩处理装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023174A (ja) * 1998-07-01 2000-01-21 Ricoh Co Ltd 画像処理装置及び画像処理方法
US20010045988A1 (en) * 1999-12-20 2001-11-29 Satoru Yamauchi Digital still camera system and method
JP2008035470A (ja) * 2006-06-29 2008-02-14 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875678B2 (en) 2014-06-10 2018-01-23 Samsung Display Co., Ltd. Image display method
US10083349B2 (en) 2016-01-22 2018-09-25 Samsung Electronics Co., Ltd. Event signal processing method and apparatus

Also Published As

Publication number Publication date
US8363132B2 (en) 2013-01-29
CN101771883A (zh) 2010-07-07
US20100165157A1 (en) 2010-07-01
KR101580168B1 (ko) 2015-12-24
TW201026079A (en) 2010-07-01

Similar Documents

Publication Publication Date Title
KR20100078623A (ko) 컬러 보간 장치 및 컬러 보간 방법
JP4374488B2 (ja) デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法
US6724945B1 (en) Correcting defect pixels in a digital image
JP4815807B2 (ja) Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
US7366347B2 (en) Edge detecting method
JP4610930B2 (ja) 画像処理装置、画像処理プログラム
US8212899B2 (en) Imaging apparatus capable of highly accurate defective pixel correction processing
US7499089B2 (en) Color interpolation method in bayer array
US7590301B2 (en) Method and system for correcting defective pixels of a color image
US10348989B2 (en) Image processing device, image processing method, and image processing system
US9111365B2 (en) Edge-adaptive interpolation and noise filtering method, computer-readable recording medium, and portable terminal
JP4668185B2 (ja) 画像処理方法
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
US20130077858A1 (en) Image processing module and image processing method
US11272146B1 (en) Content adaptive lens shading correction method and apparatus
TWI492621B (zh) 適應性影像處理方法及其相關裝置
JP2011205477A (ja) 画像処理装置および方法，ならびに画像処理プログラム
JP2010016812A (ja) 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体
KR100565429B1 (ko) 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
JP4166974B2 (ja) 画素キズ検出・補正装置
US8810680B1 (en) Method and apparatus for color data synthesis in digital image and video capture systems
JP5153842B2 (ja) 画像処理装置、画像処理プログラム
JP2002271806A (ja) Ｃｃｄ撮像素子の画素欠陥信号補正回路
KR101444850B1 (ko) 불량화소 보정 장치 및 방법
CN115760776A (zh) 坏点检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190923

Year of fee payment: 5