KR100859052B1 - 픽셀 어레이의 보간 방법 - Google Patents

픽셀 어레이의 보간 방법 Download PDF

Info

Publication number
KR100859052B1
KR100859052B1 KR1020070012314A KR20070012314A KR100859052B1 KR 100859052 B1 KR100859052 B1 KR 100859052B1 KR 1020070012314 A KR1020070012314 A KR 1020070012314A KR 20070012314 A KR20070012314 A KR 20070012314A KR 100859052 B1 KR100859052 B1 KR 100859052B1
Authority
KR
South Korea
Prior art keywords
standard deviation
block
pixel
value
color
Prior art date
Application number
KR1020070012314A
Other languages
English (en)
Other versions
KR20080073564A (ko
Inventor
이형욱
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020070012314A priority Critical patent/KR100859052B1/ko
Priority to US12/026,664 priority patent/US20080186326A1/en
Publication of KR20080073564A publication Critical patent/KR20080073564A/ko
Application granted granted Critical
Publication of KR100859052B1 publication Critical patent/KR100859052B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 픽셀 어레이의 보간 방법에 관한 것으로서, 표준편차를 고려하여 새로운 보정 블록을 생성하여 이를 대상으로 보간이 이루어지도록 하는 특징을 가진다. 본 발명은 픽셀 어레이의 블록을 읽어와서 블록 중심 픽셀에 없는 색상에 대해서 블록 주변의 각 R/G/B의 평균값(mean value)을 산출하는 제1단계와, 상기 산출한 각 R/G/B의 평균값과 주변 각 R/G/B에 대한 색상 차이를 나타내는 각 R/G/B 표준편차를 산출하는 제2단계와, 상기 각 R/G/B 평균값이 상기 블록내의 각 픽셀의 해당 색상값보다 작거나 같은 경우에는 상기 각 R/G/B 평균값에 상기 각 R/G/B 표준편차를 더한 값을 해당 픽셀의 보정된 색상 값으로 설정하고, 상기 각 R/G/B 평균값이 상기 블록내의 각 픽셀의 해당 색상값보다 큰 경우에는 상기 각 R/G/B 평균값에 상기 각 R/G/B 표준편차를 뺀 값을 해당 픽셀의 보정된 색상 값으로 설정하여 표준편차 보정된 보정 블록을 생성하는 제3단계와, 상기 생성된 보정블록내 픽셀들에 있는 각 색상 값별로 평균내어 색상별 보간된 값을 산출하는 제4단계를 포함한다.
픽셀, 블록, 보간, interpolation, RGB, 색상, 이미지센서, 표준편차

Description

픽셀 어레이의 보간 방법{Method for interpolation in pixel array}
도 1은 픽셀 어레이 내의 3*3 블록을 도시한 그림이다.
도 2는 다수의 블록으로 이루어지는 픽셀 어레이를 도시한 그림이다.
도 3은 색상값이 기재된 픽셀 어레이를 도시한 그림이다.
도 4는 각 블록마다의 R/G/B 평균값을 도시한 테이블이다.
도 5는 본 발명의 실시 예에 따라 픽셀 어레이 내의 블록을 읽어와 보간을 수행하는 RGB 보간부를 도시한 그림이다.
도 6은 본 발명의 실시 예에 따른 제21블록을 도시한 그림이다.
도 7은 본 발명의 실시 예에 따라 제21블록의 R/G/B 평균값, 표준편차, 보정블록 값을 도시한 테이블이다.
도 8은 본 발명의 실시 예에 따라 제21블록에 대해 새롭게 생성된 보정 블록을 도시한 그림이다.
도 9는 본 발명의 실시 예에 따라 표준편차를 고려한 보간이 이루어지는 단계를 도시한 플로차트이다.
도 10은 본 발명의 실시 예에 따라 제11,21,12,22블록에 대해 새롭게 생성된 보정 블록들을 도시한 그림이다.
도 11은 종래 보간에 의한 거리값을 도시한 테이블이다.
도 12는 본 발명의 실시 예에 따른 보간에 따를 때 거리값을 도시한 테이블이다.
*도면의 주요 부분에 대한 부호의 설명*
S91: 3*3 블록 읽어옴　　　　　　　　　　　　　　　　 S92: R/G/B 평균값 산출
S93: 표준편차 산출　　　　　　　　　　　　　　　　　　　
S94: R/G/B 평균값 <= 각 픽셀의 해당 색상값
S95: 각 픽셀의 해당 색상값 = R/G/B평균값 + 표준편차
S96: 각 픽셀의 해당 색상값 = R/G/B 평균값 - 표준편차
S97: 새로운 보정 블록 생성
S98: 보간값 산출
본 발명은 픽셀 어레이의 보간 방법에 관한 것이다.
이미지센서(Image Sensor)는 현재 모바일 폰(Mobile phone), PC(Personal Computer)용 카메라(Camera) 및 전자기기 등에서 광범위하게 사용되고 있는 디바이스(Device)이다. 이미지센서는 기존에 이미지센서로 사용되던 CCD(Charge Coupled Device)에 비해 구동방식이 간편하며, 신호 처리 회로(Signal Processing Circuit)를 한 칩에 집적할 수 있어서 SOC(System On Chip)가 가능하므로 모듈의 소형화를 가능하게 한다. 또한, 기존에 셋-업(Set-up)된 CMOS 기술을 호환성 있게 사용할 수 있으므로 제조 단가를 낮출 수 있는 등 많은 장점을 가지고 있다.
상기 이미지 센서는 모든 픽셀의 위치에서 RGB 값을 가지도록 하는 보간(interpolation)을 수행하는데, 즉, 이미지 센서는 보간을 통해 하나의 픽셀에서 또 다른 2가지 컬러(color)를 만들어 내게 된다.
현재 사용되는 보간(interpolation)은 한 픽셀의 평균치를 이용하여 추출하는 방식이다. 즉, 픽셀 어레이(pixel array)내의 3*3을 가지는 블록(제11블록)을 도시한 도 1을 참조하여 설명하면, 블록 내의 중심 픽셀인 {11} 픽셀의 경우에는, 하기 [식 1]에 의해 이웃 픽셀값들을 이용한 보간을 통해 해당 픽셀의 R11, G11의 색상을 만들어 낼 수 있다.
[식 1]
G11 = (G10 + G01 + G21 + G12)/4
R11 = (R00 + R20 + R02 + R22)/4
B11 = B11
마찬가지로, 도 2에 도시한 픽셀 어레이(pixel array)내의 각 픽셀에　 보간되어 생성되는 값들은 하기 [표 1]에 의하여 구해질 수 있다.
[표 1]
블록 보간식
제11블록(11) G11 = (G10 + G01 + G21 + G12)/4 R11 = (R00 + R20 + R12 + R22)/4 B11 = B11
제21블록(21) G21 = G21 R21 = (R20 + R22)/2 B11 = (B11 + B31)/2
제12블록(12) G12 = G12 R12 = (R02 + R22)/2 B12 = (B11 + B13)/2
제22블록(22) G22 = (G21 + G12 + G32 + G23)/4 R22 = R22 B22 = (B11 + B31 + B13 + B33)/4
그런데, 상기와 같이 종래의 보간법을 이용하여 픽셀 색상을 추출할 때 이웃한 픽셀 값(value)의 차가 클 경우 평균치의 오류가 나타나는 문제가 있다.
예를 들어, 도 3과 같이 이웃 픽셀 값의 차이가 크게 나는 픽셀 어레이가 있다고 하고, 각 픽셀들의 픽셀 값이 도 3과 같이 주어졌다고 할 때, 보간에 의해 나머지 다른 두 가지 색상을 추출한 후 이들 각 블록들의 R,G,B 평균값을 구해보면, 도 4에 도시한 바와 같이 평균에 오차량에 의해 새로이 얻어진 값들은 영상의 변화가 큰 부분에 대해 대표성을 갖기 어려운 문제가 있다.
상기의 문제점을 해결하고자 본 발명은 안출된 것으로서, 픽셀 보간을 수행할 때 영상의 변화가 큰 부분에 대해서도 대표성이 담보되는 보간이 이루어지도록 하는 알고리즘을 제시함을 목적으로 한다.
상기 목적을 이루기 위하여 본 발명은, 픽셀 어레이의 블록을 읽어와서 블록 중심 픽셀에 없는 색상에 대해서 블록 주변의 각 R/G/B의 평균값(mean value)을 산출하는 제1단계와, 상기 산출한 각 R/G/B의 평균값과 주변 각 R/G/B에 대한 색상 차이를 나타내는 각 R/G/B 표준편차를 산출하는 제2단계와, 상기 각 R/G/B 평균값이 상기 블록내의 각 픽셀의 해당 색상값보다 작거나 같은 경우에는 상기 각 R/G/B 평균값에 상기 각 R/G/B 표준편차를 더한 값을 해당 픽셀의 보정된 색상 값으로 설정하고, 상기 각 R/G/B 평균값이 상기 블록내의 각 픽셀의 해당 색상값보다 큰 경우에는 상기 각 R/G/B 평균값에 상기 각 R/G/B 표준편차를 뺀 값을 해당 픽셀의 보정된 색상 값으로 설정하여 표준편차 보정된 보정 블록을 생성하는 제3단계와, 상기 생성된 보정블록내 픽셀들에 있는 각 색상 값별로 평균내어 색상별 보간된 값을 산출하는 제4단계를 포함한다.
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.
도 5는 본 발명의 실시 예에 따른 이미지 센서 내의 RGB 보간부를 도시한 블록도이다.
RGB 보간부(51)는 픽셀 어레이의 특정 크기의 블록(예컨대, 3*3 픽셀을 가지는 블록)으로부터 각 블록내의 해당 픽셀의 R/G/B 평균값(mean value)을 각각 구한 후, 상기 각 R/G/B 평균값이 상기 블록내의 각 픽셀의 해당 색상값보다 작거나 같은 경우에는 상기 각 R/G/B 평균값에 상기 각 R/G/B 표준편차를 더한 값을 해당 픽셀의 보정된 색상 값으로 설정하고, 상기 각 R/G/B 평균값이 상기 블록내의 각 픽셀의 해당 색상값보다 큰 경우에는 상기 각 R/G/B 평균값에 상기 각 R/G/B 표준편차를 뺀 값을 해당 픽셀의 보정된 색상 값으로 설정하여 표준편차 보정된 보정 블록을 생성한다. 그 후 상기와 같이 새롭게 생성된 블록을 대상으로 하여 평균값을 구하는 보간을 수행하는 알고리즘을 가진다.　
우선, 본 발명의 설명의 간단을 위하여 픽셀 어레이 전체에 대한 설명에 앞서 픽셀 어레이의 일부인 블록을 대상으로 하는 보간에 대하여 설명한다.
도 6의 제21블록을 보면 픽셀{20}{21}{22}와 픽셀{30}{31}{32}간의 경계선 상에서 색상값 변화가 크게 일어남을 알 수 있다. 이들을 종래와 같이 단순한 보간만을 수행할 경우에는 평균치에 대한 오류가 발생할 우려가 크기 때문에 본 발명은 표준편차 보정을 통해 새롭게 블록을 구성한 후 이를 바탕으로 보간을 수행하는 것이다.
이를 위하여 본 발명은, 도 6과 같이 픽셀 어레이의 3*3 픽셀을 가지는 제21블록을 읽어 와서 픽셀{21}에 대한 보간을 수행한다고 할 때, 먼저 표준편차 보정을 하여 새로운 블록(이하, '보정 블록' 이라 함)을 만들어낸다.
이하, 상기 도 6과 같은 제21블록의 각 픽셀에 대한 표준편차 보정에 대하여 설명한다.
도 6에 도시한 제21블록의 중심 픽셀{21}에 대한 각 R/G/B 평균값, 표준편차 등을 도 7의 테이블에 도시하였는데, 도 6 및 도 7을 참조하면, 제21블록 내의 각 픽셀값들에 대해 살펴보면, 픽셀{10}의 G 색상(이하, G10이라 함)은 240 값을 가지고, R20은 242, G30은 98, B11은 240, G21은 242, B31은 90, G12는 230, R22는 230, G32는 88의 색상값을 가짐을 알 수 있다.
상기 값들을 바탕으로 제21블록에 대한 R/G/B 값들의 평균값을 각각 구하면, G21값은 주어진 값 그대로 242가 되고, R21은 인접해 있는 픽셀들의 R 색상의 평균값, 즉, (R20+R22)/2 = (242+230)/2 = 236이 됨을 알 수 있다. 마찬가지로, B21은 인접해 있는 픽셀의 B 색상값의 평균값, 즉, (B11+R31)/2 = (240+90)/2 = 165가 됨을 알 수 있다.
한편, 해당 픽셀의 각 색상의 표준편차는 일반적으로 공지된 표준편차 구하는 공식에 의해 구할 수 있다. 즉, 일반적으로 표준편차는 하기 [식 2]에 의해 구해질 수 있는데, 본 발명에서 각 픽셀의 색상별 표준편차를 하기 [식 2]에 의해 구한다.
[식 2]
Figure 112007011193051-pat00001
상기 [식 2]에 의해 G21, R21, B21에 대한 표준편차를 구하면 다음의 [식 3]과 같다.
[식 3]
Figure 112007011193051-pat00002
[식 4]
R21의 표준편차
Figure 112007011193051-pat00003
[식 5]
B21의 표준편차
Figure 112007011193051-pat00004
상기에서 구한 G21, R21, B21의 표준편차를 평균값에 각각 더하거나 뺀 값을 도 7에 'R/G/B평균값+표준편차', 'R/G/B평균값-표준편차'로서 도시하였다.
상기와 같이 G21, R21, B21에 대한 표준편차를 구한 후, 소정의 조건에 따라 이들 표준편차를 평균값에 더하거나 빼는 보정을 수행함으로써 새로운 블록인 보정 블록을 생성한다. 즉, 픽셀{21}의 색상 평균값이 블록내의 각 픽셀 색상 값보다 작거나 같을 시에는 픽셀{21}의 색상 평균값에 표준편차를 더한 값을 해당 픽셀의 색상값으로 설정하며, 픽셀{21}의 색상 평균값이 블록내의 각 픽셀 색상 값보다 클 시에는 픽셀{21}의 색상 평균값에 표준편차를 뺀 값을 해당 픽셀의 색상값으로 설정하여 새로운 보정 블록을 생성하는 것이다.
예를 들어, 도 7을 참조하면, 픽셀{21}의 R/G/B 평균값인 G21값은 242로서 최초 보정전의 픽셀{10}의 G10값인 240보다 크기 때문에, 새로운 표준편차 보정된 G10값은 평균값에서 표준편차를 뺀 199.762576(= 242 - 42.23742)으로 설정된다.
마찬가지로, 픽셀{21}의 평균값인 R21값은 236으로서 최초 보정전의 픽셀{20}의 R20값인 242보다 작기 때문에, 새로운 표준편차 보정된 R20값은 평균값에서 표준편차를 더한 240.242641(= 236 + 4.242641)로 설정된다.
상기와 같이 해당 블록의 평균값과 각 픽셀의 색상값의 크고 작음에 따라 표준 편차 보정을 하여 줌으로서, G10은 240 -> 199.7626(표준편차 빼는 보정함), R20은 242 -> 240.242641(표준편차 더하는 보정함), G30은 98 ->199.7626(표준편차 빼는 보정함), B11은 240 -> 218.033(표준편차 더하는 보정함), G21은 242 -> 284.2374(표준편차 더하는 보정함), B31은 90 -> 111.967(표준편차 빼는 보정함), G12는 230 -> 199.7626(표준편차 빼는 보정함), R22는 230 -> 231.7574(표준편차 빼는 보정함), G32는 88 -> 199.7626(표준편차 빼는 보정함) 으로 각각 표준편차 보정되어 새로운 보정 블록을 형성할 수 있다. 상기와 같이 최초의 도 6의 블록에서 표준편차 보정을 거쳐 새롭게 생성된 보정 블록의 각 픽셀 값들을 도 8에 도시하였다.
상기와 같이 새롭게 생성된 보정 블록을 이용하여 보간을 통한 픽셀{21}의 값들을 생성할 수 있다.
[표 2]
블록 색상 픽셀 색상 최초값 표준편차 보정된 값 G21의 보간된 값(표준편차 보정된 값들의 평균값)
제21블록 G G10 240 199.7625758 (G21평균값-G21표준편차) 216.6575458
G30 98 199.7625758 (G21평균값-G21표준편차)
G21 242 284.2374242 (G21평균값+G21표준편차)
G12 230 199.7625758 (G21평균값-G21표준편차)
G32 88 199.7625758 (G21평균값-G21표준편차)
R R20 242 240.2426407 (R21평균값+R21표준편차) 236
R22 230 231.7573593 (R21평균값-R21표준편차)
B B11 240 218.0330086 (B21평균값+B21표준편차) 165
B31 90 111.9669914 (B21평균값-B21표준편차)
상기 [표 2]를 보면, 표준편차 보정된 값들의 평균값인 각 색상들의 보간된 값은 G는 222.8812879, R은 236, B는 165가 됨을 알 수 있다.
도 9는 본 발명의 실시 예에 따라 표준편차를 적용한 보간 알고리즘을 도시한 플로차트이다.
우선, RGB보간부는 보간을 수행할 픽셀을 포함하는 3*3 블록의 색상값을 읽어(S91)와서, 해당 블록에 대한 R/G/B 평균값을 산출하는 단계(S92)를 가진다. 만약, 픽셀 어레이의 특정 블록인 제21블록이 도 6과 같이 G10은 240, R20은 242, G30은 98, B11은 240, G21은 242, B31은 90, G12는 230, R22는 230, G32는 88의 색상값을 가지 고 있다고 할 때, 상기 블록의 각 색상 평균값은 상기에서 살핀 도 7에 기재한 바와 같이 G21값은 주어진 값 그대로 242가 되고, R21은 인접해 있는 픽셀의 R 색상의 평균값, 즉, (R20+R22)/2 = (242+230)/2 = 236이 됨을 알 수 있다. 마찬가지로, B21은 인접해 있는 픽셀의 B 색상값의 평균값, 즉, (B11+R31)/2 = (240+90)/2 = 165가 된다.
상기와 같이 블록의 각 색상 평균값을 구한 후에는 해당 블록의 각 색상마다 표준편차를 구하는 단계(S93)를 가진다. 상기 표준편차를 구하는 방식은 상기 설명한 [식 2]의 표준편차 공식에 의해 [식 3], [식 4], [식 5]의 계산들을 거쳐 G21 , R21 , B21 을 각각 구할 수 있다.
상기와 같이 블록의 각 색상 평균값 및 표준편차를 구한 후에는, 각각의 색상 평균값이 픽셀 어레이의 각 색상값보다 작은지를 판단(S94)한다.
판단결과, 산출한 색상 평균값이 각 픽셀의 색상값보다 작거나 같은 경우에는 각 R/G/B 평균값에 상기에서 구한 표준편차를 더한 값을 해당 픽셀의 색상값으로 설정하는 보정을 수행(S95)하고, 반대로 산출한 색상 평균값이 상기 픽셀의 색상값보다 큰 경우에는 각 R/B/B 평균값에 상기에서 구한 표준편차를 뺀 값을 해당 픽셀의 색상값으로 설정하는 보정(S96)을 수행하여 새로운 보정 블록을 생성(S97)한다.
각 픽셀의 표준편차 보정된 색상값을 상기 [표 2]에 기재하였다. 상기 [표 2]를 보면, G10은 240->199.7626(표준편차 빼는 보정함), R20은 242 ->240.242641(표준편차 더하는 보정함), G30은 98 ->199.7626(표준편차 빼는 보정함), B11은 240 -> 218.033(표준편차 더하는 보정함), G21은 242 -> 284.2374(표준편차 더하는 보정함), B31은 90 -> 111.967(표준편차 빼는 보정함), G12는 230 -> 199.7626(표준편차 빼는 보정함), R22는 230 -> 231.7574(표준편차 빼는 보정함), G32는 88 -> 199.7626(표준편차 빼는 보정함) 으로 각각 표준편차 보정되어, 결국, 도 8과 같이 표준편차 보정된 새로운 보정 블록을 형성할 수 있다.
그 후, 도 8과 같이 새로운 보정 블록을 대상으로 각 색상별로 평균값을 산출함으로써, 최종 보간된 값을 추출(S98)할 수 있다.
예를 들어, 상기 [표 2]에 기재한 바와 같이 제21블록의 표준편차 보정된 G값은 각각 199.7625758(G10), 199.7625758(G30), 284.2374242(G21), 199.7625758(G12), 199.7625758(G32)를 가지기 때문에 이들의 평균값인 199.7625758 + 199.7625758 + 284.2374242 + 199.7625758 + 199.7625758)/5 = 216.6575458 이 G21의 보간값으로 된다.
마찬가지로, 제21블록의 표준편차 보정된 R값은 240.2426407(R20), 231.7573593(R22)를 가지기 때문에 이들의 평균값인 (240.2426407 + 231.7573593)/2 2 = 236 이 R21의 보간값으로 되며, 제21블록의 표준편차 보정된 B값은 218.0330086(B11), 111.9669914(B31)을 가지기 때문에 이들의 평균값인 (218.0330086 + 111.9669914)/2 = 165 가 B21의 보간값으로 된다.
한편, 상기 도 9는 픽셀 어레이 중에서 어느 하나의 특정 블록에 대해 보간을 수행할 때의 단계들을 도시한 플로차트이다. 이는 설명의 편의를 위하여 하나의 블록에 대한 보간이 이루어질 때의 과정을 설명한 것이다.
보간은 도 3과 같이 픽셀 어레이 전체에 대해서 이루어져야 하는데, 도 3의 픽셀 어레이 전체에 대한 보간이 이루어질 때, 상기 [식 2], [식 3], [식 4], [식 5] 방식에 의하여 각 블록들에 대한 표준편차를 구한 후 새로운 보정 블록을 생성한 후 보간이 이루어지도록 하는 도 9의 단계들이 반복되어 이루어진다.
도 10은 도 3과 같은 픽셀 어레이가 존재한다고 가정할 때, 제11블록, 제21블록, 제12블록, 제22블록에 대해서 표준편차 보정되어 새롭게 생성되는 보정 블록을 도시한 그림이다. 도 10에서는 대표적으로 4개의 블록만 기재하였지만, 물론, 나머지 블록들에 대해서도 새로운 보정 블록이 생성된 후 보간이 이루어져야 함은 자명할 것이다.
또한, 하기 [표 3]은 도 3과 같은 픽셀 어레이가 존재한다고 가정할 때, 제11블록, 제21블록, 제12블록, 제22블록에 대해서 산출한 평균값 및 표준편차 및 보간된 값을 도시한 테이블이다. 마찬가지로, [표 3]은 4개의 블록만 기재하였지만, 물론, 나머지 블록들에 대해서도 보간이 이루어져야 함은 자명할 것이다.
[표 3]
블록 색상 픽셀 색상 최초값 표준편차 보정된 값 G21의 보간된 값(표준편차 보정된 값들의 평균값)
제11 블록 G G10 240 237.055352(G11평균값+G11표준편차) 234.25
G01 225 231.444648(G11평균값-G11표준편차)
G21 242 237.055352(G11평균값+G11표준편차)
G12 230 237.055352(G11평균값-G11표준편차)
R R00 225 233.3331207(R11평균값+R11표준편차) 231.2915604
R20 242 233.3331207(R11평균값+R11표준편차)
R02 220 225.1668793(R11평균값-R11표준편차)
R22 230 233.3331207(R11평균값+R11표준편차)
B B11 240 240 240
제21 블록 G G10 240 199.7625758(G21평균값-G21표준편차) 216.6575458
G30 98 199.7625758(G21평균값-G21표준편차)
G21 242 284.2374242(G21평균값+G21표준편차)
G12 230 199.7625758(G21평균값-G21표준편차)
G32 88 199.7625758(G21평균값-G21표준편차)
R R20 242 240.2426407(R21평균값+R21표준편차) 236
R22 230 231.7573593(R21평균값-R21표준편차)
B B11 240 218.0330086(B21평균값+B21표준편차) 165
B31 90 111.9669914(B21평균값-B21표준편차)
제12 블록 G G01 225 233.1496031(G12평균값+G12표준편차) 233.1496031
G21 242 233.1496031(G12평균값+G12표준편차)
G12 230 233.1496031(G12평균값+G12표준편차)
G03 230 233.1496031(G12평균값+G12표준편차)
G23 232 233.1496031(G12평균값+G12표준편차)
R R02 220 221.4644661(R12평균값-R12표준편차) 225
R22 230 228.5355339(R12평균값+R12표준편차)
B B11 240 238.5355339(B12평균값+B12표준편차) 235
B13 230 231.4644661(B12평균값-B12표준편차)
제22 블록 G G21 242 196.7029905(G22평균값+G22표준편차) 178.1014952
G12 230 196.7029905(G22평균값+G22표준편차)
G32 88 122.2970097(G22평균값-G22표준편차)
G23 232 196.7029905(G22평균값+G22표준편차)
R R22 230 230 230
B B11 240 121.6491414(B22평균값-B22표준편차) 140.5745707
B31 90 121.6491414(B22평균값-B22표준편차)
B13 230 197.3508586(B22평균값+B22표준편차)
B33 78 121.6491414(B22평균값-B22표준편차)
한편, 본 발명과 같이 평균값에 표준편차 크기를 고려한 보간이 종래의 일반적인 평균값만을 고려한 보간에 비해 정밀한 보간이 이루어짐을 알 수 있는데, 이는　 종래의 평균값에만 의한 보간 디스턴스(interpolation distance)를 도시한 도 11과, 본 발명에 따라 표준편차를 고려한 보간 디스턴스(interpolation distance)를 도시한 도 12를 보면 더욱 명확함을 알 수 있다.
상기 보간 디스턴스는 보간된 픽셀과 인접한 픽셀의 해당 색상의 차이를 나타내는 절대 차이값으로서, 하기 [식 6]에 의해 구해질 수 있다.
[식 6]
Figure 112007011193051-pat00005
즉, 종래의 평균값에만 의한 보간 디스턴스(interpolation distance)를 도시한 도 10을 보면, G10과 G11의 절대 차이값은, 평균값 보간에 의한 G11이 234.25가 나오고 인접한 G10값이 240이기 때문에, 이들의 절대 차이값은 5.75가 나옴을 알 수 있다. 마찬가지로 G01과 G11의 절대 차이값은 9.25가 나오고, G21과 G11의 절대 차이값은 7.75가 나오고, G12와 G11의 절대 차이값은 4.25가 나옴을 알 수 있다.
이들 G의 절대 차이값들의 평균인 색상 차이값을 구하면 6.75(=(5.75+9.25+7.75+4.25)/4)가 나오고, 마찬가지로 R의 색상 차이값을 구하면 6.75가 나오고, B의 색상 차이값은 0이 나옴을 알 수 있다. 그리고 이들 R/G/B의 색상 차이값을 평균화한 제11블록의 전체 차이값을 구하면 4.5(=(6.75+6.75+0)/3)가 나옴을 알 수 있다.
마찬가지로, 본 발명에 의해 표준편차가 고려된 제11블록에 대한 전체 차이값을 구하면 3.439883이 됨을 알 수 있다.
따라서 상기에서 구한 종래의 전체 차이값 4.5보다 본 발명에서 구한 전체 차이값 3.439883이 더 작음을 알 수 있고, 이를 볼 때 본 발명의 표준편차를 이용한 보간을 수행할 때 인접한 픽셀의 색상과의 차이를 좀 더 좁힐 수 있음을 알 수 있다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.
상기에서 기술한 바와 같이 본 발명은, 표준편차를 고려하여 새로운 보정 블록을 생성한 후 상기 보정 블록을 대상으로 보간을 수행함으로써, 픽셀 보간을 수행할 때 영상의 변화가 큰 부분에 대해서도 대표성이 담보되는 효과가 있다.

Claims (6)

  1. 픽셀 어레이의 블록을 읽어와서 블록 중심 픽셀에 없는 색상에 대해서 블록 주변의 각 R/G/B의 평균값(mean value)을 산출하는 제1단계와,
    상기 산출한 각 R/G/B의 평균값과 주변 각 R/G/B에 대한 색상 차이를 나타내는 각 R/G/B 표준편차를 산출하는 제2단계와,
    상기 각 R/G/B 평균값과 상기 블록내의 각 픽셀의 해당 색상값의 비교에 따라 표준편차 보정을 수행한 색상값으로 각 픽셀의 해당 색상값으로 설정하여 표준편차 보정된 보정 블록을 생성하는 제3단계와,
    상기 생성된 보정블록내 픽셀들에 있는 각 색상 값별로 평균내어 색상별 보간된 값을 산출하는 제4단계와,
    상기 각 단계들이 픽셀 어레이 내에 있는 각 블록들에 대해서 반복되어 수행되는 제5단계
    를 포함하는 픽셀 어레이의 보간 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 블록은 3*3 사이즈 크기를 갖는 픽셀 어레이의 보간 방법.
  4. 제1항에 있어서, 상기 표준편차는,
    Figure 112007011193051-pat00006
    에 의해 산출되는 픽셀 어레이의 보간 방법.
  5. 제1항에 있어서, 제1단계에서 블록 중심 픽셀에 존재하는 색상에 대해서는 해당 색상값을 평균값으로 결정하는 픽셀 어레이의 보간 방법.
  6. 제1항에 있어서, 상기 제3단계는, 상기 각 R/G/B 평균값이 상기 블록내의 각 픽셀의 해당 색상값보다 작거나 같은 경우에는 상기 각 R/G/B 평균값에 상기 각 R/G/B 표준편차를 더한 값을 해당 픽셀의 보정된 색상 값으로 설정하고, 상기 각 R/G/B 평균값이 상기 블록내의 각 픽셀의 해당 색상값보다 큰 경우에는 상기 각 R/G/B 평균값에 상기 각 R/G/B 표준편차를 뺀 값을 해당 픽셀의 보정된 색상 값으로 설정하여 표준편차 보정된 보정 블록을 생성하는 픽셀 어레이의 보간 방법.
KR1020070012314A 2007-02-06 2007-02-06 픽셀 어레이의 보간 방법 KR100859052B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070012314A KR100859052B1 (ko) 2007-02-06 2007-02-06 픽셀 어레이의 보간 방법
US12/026,664 US20080186326A1 (en) 2007-02-06 2008-02-06 Image Interpolation Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070012314A KR100859052B1 (ko) 2007-02-06 2007-02-06 픽셀 어레이의 보간 방법

Publications (2)

Publication Number Publication Date
KR20080073564A KR20080073564A (ko) 2008-08-11
KR100859052B1 true KR100859052B1 (ko) 2008-09-17

Family

ID=39675781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070012314A KR100859052B1 (ko) 2007-02-06 2007-02-06 픽셀 어레이의 보간 방법

Country Status (2)

Country Link
US (1) US20080186326A1 (ko)
KR (1) KR100859052B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071228A1 (en) * 2012-09-12 2014-03-13 National University of Sciences & Technology(NUST) Color correction apparatus for panorama video stitching and method for selecting reference image using the same
KR102003780B1 (ko) * 2014-01-02 2019-07-25 한화테크윈 주식회사 색 보간 장치
KR102116095B1 (ko) * 2014-03-17 2020-05-27 한화에어로스페이스 주식회사 컬러보간개선 방법
CN105976743B (zh) * 2016-04-28 2019-03-26 蚌埠国显科技有限公司 一种自带显示校准功能的显示屏
CN105825802B (zh) * 2016-04-28 2019-03-26 蚌埠国显科技有限公司 一种显示屏色差纠正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001268593A (ja) * 2000-03-15 2001-09-28 Nec Corp 色差信号補間回路及びそれに用いる色差信号補間方法
KR100574185B1 (ko) * 1997-07-15 2006-04-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 컬러 샘플 보간방법 및 보간장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5936684A (en) * 1996-10-29 1999-08-10 Seiko Epson Corporation Image processing method and image processing apparatus
US6381374B1 (en) * 1998-10-30 2002-04-30 General Electric Company Histogram analysis method for defective pixel identification
JP3951939B2 (ja) * 2003-02-28 2007-08-01 ノーリツ鋼機株式会社 画像処理方法、画像処理装置、画像処理プログラム、画像処理プログラムを記録した記録媒体
JP2004318696A (ja) * 2003-04-18 2004-11-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP3938120B2 (ja) * 2003-09-17 2007-06-27 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
US7433512B2 (en) * 2004-11-09 2008-10-07 Dalsa Corporation Method and apparatus for finding and correcting single-pixel noise defects in a two-dimensional camera pixel field and a camera provided with such an apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100574185B1 (ko) * 1997-07-15 2006-04-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 컬러 샘플 보간방법 및 보간장치
JP2001268593A (ja) * 2000-03-15 2001-09-28 Nec Corp 色差信号補間回路及びそれに用いる色差信号補間方法

Also Published As

Publication number Publication date
KR20080073564A (ko) 2008-08-11
US20080186326A1 (en) 2008-08-07

Similar Documents

Publication Publication Date Title
US7945091B2 (en) Image processor correcting color misregistration, image processing program, image processing method, and electronic camera
US8593548B2 (en) Apparataus and method of automatic color shading removal in CMOS image sensors
KR100859052B1 (ko) 픽셀 어레이의 보간 방법
US9379156B2 (en) Per-channel image intensity correction
TWI458333B (zh) 用於使用雜訊模型減少影像雜訊之方法及裝置
KR100795256B1 (ko) 화상 보정 방법 및 촬상 장치
US9282303B2 (en) Automatic color correction method and color correction module thereof
JP6619565B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN113112424B (zh) 图像处理方法、装置、计算机设备和存储介质
KR20110092322A (ko) 화상 처리 방법 및 장치, 및 차량 탑재 카메라 장치
JP2016208093A (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
US20070253632A1 (en) Method and Related Compensation Circuit for Compensating Black Cores of An Image Sensor
CN108701353B (zh) 一种抑制图像伪彩的方法及装置
US9628730B2 (en) Dark current gradient estimation using optically black pixels
CN112073718B (zh) 一种电视机花屏检测方法、装置、计算机设备及储存介质
CN103259960B (zh) 数据的插值方法及装置、图像输出方法及装置
CN112911366B (zh) 饱和度调整方法、装置及显示设备
JP5309940B2 (ja) 画像処理装置、および撮像装置
KR100831970B1 (ko) 결함 화소 검출 방법 및 이를 위해 사용되는 장치
CN115866422A (zh) 像素数据确定方法、装置及电子设备
JP5463871B2 (ja) 画像処理装置および電子カメラ
US8995766B1 (en) Image processing method and image processing device
JP4958672B2 (ja) 撮像装置及びその制御方法
CN107517367B (zh) 拜尔域图像插值方法、装置、图像处理芯片及存储装置
JP2008028475A (ja) 画像処理装置、画像処理プログラム、画像処理プログラムを記録する記録媒体、画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110613

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee