KR20010005128A - 이미지 센서의 컬러 보간 장치 - Google Patents

이미지 센서의 컬러 보간 장치 Download PDF

Info

Publication number
KR20010005128A
KR20010005128A KR1019990025926A KR19990025926A KR20010005128A KR 20010005128 A KR20010005128 A KR 20010005128A KR 1019990025926 A KR1019990025926 A KR 1019990025926A KR 19990025926 A KR19990025926 A KR 19990025926A KR 20010005128 A KR20010005128 A KR 20010005128A
Authority
KR
South Korea
Prior art keywords
bit
color value
color
pixel
storage type
Prior art date
Application number
KR1019990025926A
Other languages
English (en)
Other versions
KR100341581B1 (ko
Inventor
김현은
Original Assignee
김영환
현대전자산업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영환, 현대전자산업 주식회사 filed Critical 김영환
Priority to KR1019990025926A priority Critical patent/KR100341581B1/ko
Publication of KR20010005128A publication Critical patent/KR20010005128A/ko
Application granted granted Critical
Publication of KR100341581B1 publication Critical patent/KR100341581B1/ko

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B5/00—Floors; Floor construction with regard to insulation; Connections specially adapted therefor
    • E04B5/16—Load-carrying floor structures wholly or partly cast or similarly formed in situ
    • E04B5/32—Floor structures wholly cast in situ with or without form units or reinforcements
    • E04B5/36—Floor structures wholly cast in situ with or without form units or reinforcements with form units as part of the floor
    • E04B5/38—Floor structures wholly cast in situ with or without form units or reinforcements with form units as part of the floor with slab-shaped form units acting simultaneously as reinforcement; Form slabs with reinforcements extending laterally outside the element
    • E04B5/40—Floor structures wholly cast in situ with or without form units or reinforcements with form units as part of the floor with slab-shaped form units acting simultaneously as reinforcement; Form slabs with reinforcements extending laterally outside the element with metal form-slabs
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04C—STRUCTURAL ELEMENTS; BUILDING MATERIALS
    • E04C3/00—Structural elongated elements designed for load-supporting
    • E04C3/02—Joists; Girders, trusses, or trusslike structures, e.g. prefabricated; Lintels; Transoms; Braces
    • E04C3/04—Joists; Girders, trusses, or trusslike structures, e.g. prefabricated; Lintels; Transoms; Braces of metal
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04C—STRUCTURAL ELEMENTS; BUILDING MATERIALS
    • E04C5/00—Reinforcing elements, e.g. for concrete; Auxiliary elements therefor
    • E04C5/01—Reinforcing elements of metal, e.g. with non-structural coatings
    • E04C5/06—Reinforcing elements of metal, e.g. with non-structural coatings of high bending resistance, i.e. of essentially three-dimensional extent, e.g. lattice girders

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 평균값 필터 방식 및 중간값 필터 방식을 사용하여 보간 컬러값이 해당 화소의 컬러값만으로 보간되는 경우에 한해 이웃하는 2개의 화소를 더 포함하여 컬러 보간함으로써 상기 해당 화소가 오류가 있는 경우 해당 화소로 인한 오류를 화면 상에 표시되지 않도록 하여 이미지 센서의 화질을 개선하는 이미지 센서의 컬러 보간 장치를 제공하기 위한 것으로, 이를 위해 본 발명은 하나의 특정 컬러만을 검출하는 다수의 화소를 구비하는 베이어 패턴의 다수개 단위 화소 어레이를 포함하여 R(Red), G(Green), B(Blue) 중 하나의 컬러값만을 번갈아 출력하는 이미지 센서에서 상기 단위 화소 어레이가 제1 라인에 제1 내지 제3 화소, 제2 라인에 제4 내지 제8 화소, 제3 라인에 제9 내지 제11 화소를 구비하며 상기 제2 라인의 제6 화소에 대해 컬러 보간하여 보간된 상기 R, G, B 컬러값을 출력하기 위한 이미지 센서의 컬러 보간 장치에 있어서, 상기 제2 화소로부터의 N 비트 컬러값 및 상기 제10 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제1 N비트 가산 수단; 상기 제5 화소로부터의 N 비트 컬러값 및 상기 제7 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제2 N비트 가산 수단; 상기 제6 화소로부터의 N 비트 컬러값 및 상기 제9 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제3 N비트 가산 수단; 상기 제1 화소로부터의 N 비트 컬러값 및 상기 제3 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제4 N비트 가산 수단; 상기 제9 화소로부터의 N 비트 컬러값 및 상기 제11 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제5 N비트 가산 수단; 상기 제1 및 제2 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제1 N+1 비트 가산 수단; 상기 제3 및 제4 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제2 N+1 비트 가산 수단; 상기 제4 및 제5 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제3 N+1 비트 가산 수단; 상기 제4, 제6 및 제6 화소로부터의 N 비트 컬러값을 입력받아 그 중 중간값에 해당하는 임의의 컬러값을 출력하기 위한 중간값 필터링 수단; 상기 베이어 패턴의 저장 유형에 따라 상기 제1 및 제2 N비트 가산 수단, 상기 중간값 필터링 수단 및 상기 제2 N+1 비트 가산 수단으로부터 출력되는 컬러값들 중 하나를 선택하여 상기 보간된 R 컬러값으로 출력하기 위한 제1 선택 수단; 상기 베이어 패턴의 저장 유형에 따라 상기 제1 및 제2 N+1비트 가산 수단으로부터 출력되는 컬러값들 중 하나를 선택하여 상기 보간된 G 컬러값으로 출력하기 위한 제2 선택 수단; 및 상기 베이어 패턴의 저장 유형에 따라 상기 제1 및 제2 N비트 가산 수단, 상기 중간값 필터링 수단 및 상기 제2 N+1 비트 가산 수단으로부터 출력되는 컬러값들 중 하나를 선택하여 상기 보간된 B 컬러값으로 출력하기 위한 제3 선택 수단을 포함한다.

Description

이미지 센서의 컬러 보간 장치{Color interpolation apparatus in image sensor}
본 발명은 이미지 센서에 관한 것으로, 특히 R(Red), G(Green), B(Blue) 중 하나의 컬러값만을 번갈아 출력하는 격자 모양의 RGB 컬러 필터 어레이를 구비한 이미지 센서의 컬러 보간 장치에 관한 것이다.
일반적으로, 이미지 센서란 빛에 반응하는 반도체의 성질을 이용하여 이미지를 찍어(capture)내는 장치를 말하는 것이다. 자연계에 존재하는 각 피사체의 부분부분은 빛의 밝기 및 파장 등이 서로 달라서 감지하는 장치의 각 화소에서 다른 전기적인 값을 보이는데, 이 전기적인 값을 신호처리가 가능한 레벨로 만들어 주는 것이 바로 이미지 센서가 하는 일이다.
이를 위해 이미지 센서는 수만에서 수백만 개의 화소로 구성된 화소 어레이와, 화소에서 감지한 아날로그(analog) 전압을 디지털(digital) 전압으로 바꿔주는 아날로그-디지털 변환 장치와, 아날로그-디지털 변환 장치로부터의 디지털 값을 저장하는 저장 장치 등으로 구성된다.
한편, 각 화소는 빛을 감지하는 소자를 구비하여 포톤(photon)을 전자-홀(electron-hole) 쌍으로 바꿔 전하를 축적하게 되는데, 이때 빛의 세기 및 빛을 비추는 시간에 따라 축적되는 전하량이 달라지며, 상기 전하량을 측정하면 빛의 화상 데이터를 전기적 양으로 바꿀 수 있어 다루기 쉬워진다. 이렇게 얻은 아날로그 전압값을 아날로그-디지털 변환 장치에서 다루기 쉬운 디지털 값으로 변환하여 저장하고 여러 프로세싱에 이용한다.
그리고, 각 화소는 해당 화소에 씌워진 컬러 필터에 상응하는 특정 컬러만을 감지한다.
도 1은 베이어 패턴으로 불리는 통상적인 화소 어레이 패턴을 도시한 도면이다. 베이어 패턴에 따라, 화소 어레이는 제1 라인의 RGRG 컬러 필터 및 제2 라인의 GBGB 컬러 필터의 반복으로 구현된다. 베이어 패턴 화소 어레이를 갖는 이미지 센서는 각각의 화소로부터 해당 화소의 R/G/B 값에 관한 정보를 모두 획득하는 대신에 그 화소에 씌워진 컬러 필터에 상응하는 특정 컬러를 감지한다. 따라서, 이들 특정 컬러 데이터로부터 최종 및 완전 컬러값들을 획득해야만 하며, 이것을 컬러 보간이라 한다.
다시 말해, 컬러 보간(color interpolation)은 이웃한 화소의 단일 컬러값들로부터 해당 화소의 RGB 컬러값을 유추하여 출력함으로써, 이미지 센서의 불완전한 이미지 데이터를 완전한 이미지 데이터로 변환하는 것이다.
이웃한 화소의 단일 컬러값들로부터 해당 화소의 RGB 컬러값을 구하는 컬러 보간 동작 시 통상 평균값 필터(mean filter) 또는 중간값 필터(median filter) 방식을 사용한다. 평균값 필터 방식은 이웃한 화소의 단일 컬러값들에 대한 평균값으로부터 해당 화소의 RGB 컬러값을 구하는 방식이고, 중간값 필터는 이웃한 화소의 단일 컬러값들의 중간값을 해당 화소의 RGB 컬러값으로 취하는 방식이다. 예를 들어, 해당 화소의 이웃한 3개 화소의 컬러값이 G1, G2, G3 이고, G1 〈 G2 〈 G3 인 경우에 평균값은 (G1 + G2 + G3)/3이고, 중간값은 G2가 된다. 평균값 필터 방식을 사용할 경우에는 로우 패스 필터(low pass filter) 역할을 하여 고주파 노이즈를 제거할 수 있고, 중간값 필터 방식을 사용할 경우에는 비정상적으로 주변의 화소값과 동떨어진 값을 제거할 수 있다.
도 2는 3 × 3 베이어 패턴의 유형에 따른 컬러 보간 동작을 설명하기 위한 도면이다.
일반적으로, 해당 화소의 R, G, B 값을 구하기 위해 도 2에 도시된 바와 같이 해당 화소와 이웃한 8개의 화소를 이용하여 컬러 보간한다.
도 2의 Gb 유형(a)에서 빗금친 화소(G0)에 대한 R 컬러값은 2개의 화소(R1, R2)의 평균 R 컬러값으로부터 추출되고, 화소(G0)에 대한 G 컬러값은 해당 화소(G0)의 G 컬러값 또는 5개의 화소(G0, G1, G2, G3, G4)의 평균 G 컬러값으로부터 추출된다. 이와 마찬가지로, 화소(G0)에 대한 B 컬러값은 2개의 화소(B1, B2)의 평균 B 컬러값으로부터 추출된다.
R = (R1 + R2)/2
G = G0 또는 (G0 + G1 + G2 + G3 + G4)/5
B = (B1 + B2)/2
유사하게, 도 2의 Gr 유형(b)에서 빗금친 화소(G0)에 대한 R 컬러값은 2개의 화소(R1, R2)의 평균 R 컬러값으로부터 추출되고, 화소(G0)에 대한 G 컬러값은 해당 화소(G0)의 G 컬러값 또는 5개의 화소(G0, G1, G2, G3, G4)의 평균 G 컬러값으로부터 추출된다. 이와 마찬가지로, 화소(G0)에 대한 B 컬러값은 2개의 화소(B1, B2)의 평균 B 컬러값으로부터 추출된다.
R = (R1 + R2)/2
G = G0 또는 (G0 + G1 + G2 + G3 + G4)/5
B = (B1 + B2)/2
도 2의 R 유형(c)에서 빗금친 화소(R0)에 대한 R 컬러값은 해당 화소(R0)의 R 컬러값으로부터 추출되고, 화소(R0)에 대한 G 컬러값은 4개의 화소(G1, G2, G3, G4)의 평균 G 컬러값으로부터 추출된다. 이와 마찬가지로, 화소(R0)에 대한 B 컬러값은 4개의 화소(B1, B2, B3, B4)의 평균 B 컬러값으로부터 추출된다.
R = R0
G = (G1 + G2 + G3 + G4)/4
B = (B1 + B2 + B3 + B4)/4
마지막으로, 도 2의 B 유형(d)에서 빗금친 화소(B0)에 대한 R 컬러값은 4개의 화소(R1, R2, R3, R4)의 평균 R 컬러값으로부터 추출되고, 화소(B0)에 대한 G 컬러값은 4개의 화소(G1, G2, G3, G4)의 평균 G 컬러값으로부터 추출된다. 이와 마찬가지로, 화소(B0)에 대한 B 컬러값은 해당 화소(B0)의 B 컬러값으로부터 추출된다.
R = (R1 + R2 + R3 + R4)/4
G = (G1 + G2 + G3 + G4)/4
B = B0
그러나, 상기와 같이 이루어지는 컬러 보간 동작 시의 문제점은 도 2의 (c) 및 (d)의 R 유형 및 B 유형처럼 보간 컬러값이 해당 화소의 컬러값만으로 보간되는 경우, 즉 도 2의 (c)에서의 해당 화소(R0)에 대한 R 컬러값이 해당 화소(R0)의 R 컬러값만으로 추출되고, 도 2의 (d)에서의 해당 화소(B0)에 대한 B 컬러값이 해당 화소(B0)의 B 컬러값만으로 추출됨으로써, 해당 화소(R0, B0) 자체가 빛에 정확하게 반응하지 못하는 오류가 있는 화소인 경우 오류의 컬러값이 최종 이미지 데이터에 사용되게 된다.
본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로써, 평균값 필터 방식 및 중간값 필터 방식을 사용하여 보간 컬러값이 해당 화소의 컬러값만으로 보간되는 경우에 한해 이웃하는 2개의 화소를 더 포함하여 컬러 보간함으로써 상기 해당 화소가 오류가 있는 경우 해당 화소로 인한 오류를 화면 상에 표시되지 않도록 하여 이미지 센서의 화질을 개선하는 이미지 센서의 컬러 보간 장치를 제공하는 데 그 목적이 있다.
도 1은 베이어 패턴으로 불리는 통상적인 화소 어레이 패턴을 도시한 도면.
도 2는 3 × 3 베이어 패턴의 유형에 따른 컬러 보간 동작을 설명하기 위한 도면.
도 3은 베이어 패턴의 3, 5, 3 어레이에서 본 발명의 컬러 보간 동작을 설명하기 위한 도면.
도 4는 본 발명의 일실시예에 따른 컬러 보간 장치의 블록도.
* 도면의 주요 부분에 대한 설명
10, 12, 14, 16 및 18 : n비트 가산기
20, 22 및 24 : n+1비트 가산기
26 : 중간값 필터
28, 30 및 32 : 멀티플렉서
상기 목적을 달성하기 위한 본 발명은, 하나의 특정 컬러만을 검출하는 다수의 화소를 구비하는 베이어 패턴의 다수개 단위 화소 어레이를 포함하여 R(Red), G(Green), B(Blue) 중 하나의 컬러값만을 번갈아 출력하는 이미지 센서에서 상기 단위 화소 어레이가 제1 라인에 제1 내지 제3 화소, 제2 라인에 제4 내지 제8 화소, 제3 라인에 제9 내지 제11 화소를 구비하며 상기 제2 라인의 제6 화소에 대해 컬러 보간하여 보간된 상기 R, G, B 컬러값을 출력하기 위한 이미지 센서의 컬러 보간 장치에 있어서, 상기 제2 화소로부터의 N 비트 컬러값 및 상기 제10 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제1 N비트 가산 수단; 상기 제5 화소로부터의 N 비트 컬러값 및 상기 제7 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제2 N비트 가산 수단; 상기 제6 화소로부터의 N 비트 컬러값 및 상기 제9 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제3 N비트 가산 수단; 상기 제1 화소로부터의 N 비트 컬러값 및 상기 제3 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제4 N비트 가산 수단; 상기 제9 화소로부터의 N 비트 컬러값 및 상기 제11 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제5 N비트 가산 수단; 상기 제1 및 제2 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제1 N+1 비트 가산 수단; 상기 제3 및 제4 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제2 N+1 비트 가산 수단; 상기 제4 및 제5 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제3 N+1 비트 가산 수단; 상기 제4, 제6 및 제6 화소로부터의 N 비트 컬러값을 입력받아 그 중 중간값에 해당하는 임의의 컬러값을 출력하기 위한 중간값 필터링 수단; 상기 베이어 패턴의 저장 유형에 따라 상기 제1 및 제2 N비트 가산 수단, 상기 중간값 필터링 수단 및 상기 제2 N+1 비트 가산 수단으로부터 출력되는 컬러값들 중 하나를 선택하여 상기 보간된 R 컬러값으로 출력하기 위한 제1 선택 수단; 상기 베이어 패턴의 저장 유형에 따라 상기 제1 및 제2 N+1비트 가산 수단으로부터 출력되는 컬러값들 중 하나를 선택하여 상기 보간된 G 컬러값으로 출력하기 위한 제2 선택 수단; 및 상기 베이어 패턴의 저장 유형에 따라 상기 제1 및 제2 N비트 가산 수단, 상기 중간값 필터링 수단 및 상기 제2 N+1 비트 가산 수단으로부터 출력되는 컬러값들 중 하나를 선택하여 상기 보간된 B 컬러값으로 출력하기 위한 제3 선택 수단을 포함하여 이루어진다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.
앞서 설명한 바와 같이, 베이어 패턴의 화소 어레이에서 컬러 보간하기 위한 해당 화소의 컬러값이 R 또는 B 컬러값인 경우(R 유형 및 B 유형) 해당 화소의 컬러값이 보간 컬러값으로 그대로 추출됨으로써 해당 화소에 결함이 있을 때 이 결함이 화상에 그대로 나타나며, 이러한 문제는 해당 화소의 컬러값이 G 컬러값이고 이 G 컬러값이 보간 컬러값으로 그대로 나올 경우에도 마찬가지로 발생된다.
한편, 컬러 보간 시 평균값 필터 방식을 사용하는 경우는 고주파 노이즈를 줄이고 비교적 간단한 하드웨어로 구현할 수 있는 장점이 있는 반면, 화상의 선명도(sharpness)가 떨어지고 오류 화소를 완전히 보상하지 못하는 단점이 있다. 그리고, 컬러 보간 시 중간값 필터 방식을 사용하는 경우는 고주파 노이즈 제거 및 오류 화소에 대한 보상이 가능한 반면, 중간값을 구하기 위해 화소의 컬러값을 크기 순서대로 나열해야 하므로 다수의 화소 중에서 중간값의 화소를 구하기가 어렵고 하드웨어로 구현할 때 하드웨어 자원이 많이 소모되는 단점이 있다. 그러므로, 중간값 필터 방식은 적은 수의 화소에 적용하는 것이 유리하다.
따라서, 본 발명은 하드웨어를 최소화하고, 화질을 개선하기 위하여 컬러 보간의 해당 화소가 G 컬러 필터인 경우에는 해당 화소와 이웃한 8개의 화소를 이용하여 평균값 필터 방식으로 보간 동작을 수행하고, 해당 화소가 R 또는 B 컬러 필터인 경우에는 해당 화소와 이웃한 10개의 화소를 이용하여 R 또는 B 값은 중간값 필터 방식으로 보간하고 나머지 컬러값은 평균값 필터 방식으로 보간 동작을 수행한다.
그리고, 본 발명은 종래의 3 × 3 어레이 대신에 3, 5, 3 어레이를 통해 동일 컬러값에서 최소한 2개 이상의 화소를 확보하여 오류 화소의 영향을 줄인다.
도 3은 베이어 패턴의 3, 5, 3 어레이에서 본 발명의 컬러 보간 동작을 설명하기 위한 도면이다.
베이어 패턴의 유형은 도 3에 도시된 바와 같이 4가지 유형, 즉 3 × 3 어레이의 가운데 위치한 화소(도면에서 빗금 친 부분)에 G 컬러 필터가 씌워지고, 바로 이웃한 화소에 B 컬러 필터가 씌워진 Gb 유형(a)과, 3 × 3 어레이의 가운데 위치한 화소(도면에서 빗금 친 부분)에 G 컬러 필터가 씌워지고, 바로 이웃한 화소에 R 컬러 필터가 씌워진 Gr 유형(b)과, 3 × 3 어레이의 가운데 위치한 화소(도면에서 빗금 친 부분)에 R 컬러 필터가 씌워진 R 유형(c)과, 3 × 3 어레이의 가운데 위치한 화소(도면에서 빗금 친 부분)에 B 컬러 필터가 씌워진 B 유형(d)이 있다.
본 발명은 해당 화소의 R, G, B 값을 구하기 위해 도 3에 도시된 바와 같이 해당 화소와 이웃한 10개의 화소를 이용하여 컬러 보간한다.
도 3의 Gb 유형(a)에서 빗금친 화소(G0)에 대한 R 컬러값은 2개의 화소(R1, R2)의 평균 R 컬러값으로부터 추출되고, 화소(G0)에 대한 G 컬러값은 해당 화소(G0)의 4개의 화소(G0, G1, G2, G3)의 평균 G 컬러값으로부터 추출된다. 이와 마찬가지로, 화소(G0)에 대한 B 컬러값은 2개의 화소(B1, B2)의 평균 B 컬러값으로부터 추출된다.
R = (R1 + R2)/2
G = (G0 + G1 + G2 + G3)/4
B = (B1 + B2)/2
유사하게, 도 3의 Gr 유형(b)에서 빗금친 화소(G0)에 대한 R 컬러값은 2개의 화소(R1, R2)의 평균 R 컬러값으로부터 추출되고, 화소(G0)에 대한 G 컬러값은 해당 화소(G0)에 이웃한 4개의 화소(G0, G1, G2, G3)의 평균 G 컬러값으로부터 추출된다. 이와 마찬가지로, 화소(G0)에 대한 B 컬러값은 2개의 화소(B1, B2)의 평균 B 컬러값으로부터 추출된다.
R = (R1 + R2)/2
G = (G0 + G1 + G2 + G3)/4
B = (B1 + B2)/2
도 3의 R 유형(c)에서 빗금친 화소(R0)에 대한 R 컬러값은 해당 화소(R0)의 R 컬러값과 본 발명에서 추가된 2개 화소(R1, R2)의 R 컬러값 중 중간값의 R 컬러값으로 추출되고, 화소(R0)에 대한 G 컬러값은 4개의 화소(G1, G2, G3, G4)의 평균 G 컬러값으로부터 추출된다. 화소(R0)에 대한 B 컬러값은 4개의 화소(B1, B2, B3, B4)의 평균 B 컬러값으로부터 추출된다.
R = median(R1, R1, R2)
G = (G1 + G2 + G3 + G4)/4
B = (B1 + B2 + B3 + B4)/4
마지막으로, 도 3의 B 유형(d)에서 빗금친 화소(B0)에 대한 R 컬러값은 4개의 화소(R1, R2, R3, R4)의 평균 R 컬러값으로부터 추출되고, 화소(B0)에 대한 G 컬러값은 4개의 화소(G1, G2, G3, G4)의 평균 G 컬러값으로부터 추출된다. 그리고, 화소(B0)에 대한 B 컬러값은 해당 화소(B0)의 B 컬러값과 본 발명에서 추가된 2개 화소(B1, B2)의 B 컬러값 중 중간값의 B 컬러값으로 추출된다.
R = (R1 + R2 + R3 + R4)/4
G = (G1 + G2 + G3 + G4)/4
B = median(B0, B1, B2)
상기와 같이 이루어지는 본 발명에 따른 컬러 보간 동작은, 동일 컬러값에서 최소한 2개 이상의 화소를 확보하기 위하여 3, 5, 3 어레이를 사용함으로써 오류 화소의 영향을 줄인다. 특히, 도 3의 R 유형(c)에서 R 컬러값을 보간할 때와 B 유형(d)에서 B 컬러값을 보간할 때 중간값 필터 방식을 사용함으로써 선명도 손실을 줄이고, 평균값 필터 방식을 사용하는 나머지 경우에 2개 또는 4개의 화소를 이용하여 하드웨어 구성 시 나누기 회로를 사용하지 않고 가산기만으로 구현 가능하게 한다.
도 4는 본 발명의 일실시예에 따른 컬러 보간 장치의 블록도이다.
도면에 도시된 바와 같이, 본 발명의 컬러 보간 장치는 임의의 컬러 필터를 씌운 화소(P0)에 대한 컬러 보간 시 화소로부터의 컬러값이 n 비트의 디지털 값으로 표시되는 경우 5개의 n 비트 가산기(10 내지 18)와, 3개의 n+1 비트 가산기(20 내지 24)와, 1개의 중간값 필터(26)와, 3개의 4:1 멀티플렉서(28 내지 32)로 이루어진다.
도면에 도시된 바와 같이, 3, 5, 3 어레이의 11개 화소(P0 내지 P10)로부터 11개의 n 비트 데이터를 입력받아, n 비트 가산기(10)에서 2개의 화소(P2, P7)로부터 나오는 n비트 데이터를 가산하고, n 비트 가산기(12)에서 다른 2개의 화소(P4, P5)로부터 나오는 n 비트 데이터를 가산하고, n 비트 가산기(14)에서 2개의 화소 (P0, P6)로부터 나오는 n 비트 데이터를 가산하고, n 비트 가산기(16)에서 2개의 화소(P1, P3)로부터 나오는 n 비트 데이터를 가산하고, n 비트 가산기(18)에서 2개의 화소(P6, P8)로부터 나오는 n 비트 데이터를 가산한다.
그리고, n+1 비트 가산기(20)에서 n 비트 가산기(10)로부터 출력되는 n+1 비트의 가산 결과(V1)와 n 비트 가산기(12)로부터 출력되는 n+1 비트의 가산 결과(V3)를 입력받아 가산하고, n+1 비트 가산기(22)에서 n 비트 가산기(14)로부터 출력되는 n+1 비트의 가산 결과와 n 비트 가산기(16)로부터 출력되는 n+1 비트의 가산 결과를 입력받아 가산하고, n+1 비트 가산기(24)에서 n 비트 가산기(16)로부터 출력되는 n+1 비트의 가산 결과와 n 비트 가산기(18)로부터 출력되는 n+1 비트의 가산 결과를 입력받아 가산한다.
또한, 중간값 필터(26)를 통해 3개의 화소(P9, P0, P10)로부터 나오는 n 비트 데이터 중에서 중간값을 구한다.
상기 n 비트 가산기, n+1 가산기 및 중간값 필터로부터 출력되는 데이터(V0 내지 V5) 중 V0은 n 비트이고, V1 및 V3은 n+1 비트이고, V2, V4 및 V5는 n+2 비트이다. 따라서, 최종적으로 모두 n 비트 데이터를 가지도록 V1 및 V3은 하위 1 비트를 버리고, V2, V4 및 V5는 하위 2비트를 버림으로써 6개의 n 비트 데이터를 3개의 멀티플렉서(28 내지 32)로 출력하고, 멀티플렉서(28 내지 32)에서 상기 도 3의 4가지 유형에 응답하여 화소(P0)에 대해 보간된 R, G, B 컬러값을 각각 출력하게 된다. 예를 들어, 멀티플렉서(28)를 통해 Gb 유형인 경우에 V1, Gr 유형인 경우에 V3, R 유형인 경우에 V0, B 유형인 경우에 V5가 각각 보간된 R 컬러값으로 선택되고, 이와 유사하게, 멀티플렉서(30)를 통해 Gb 유형과 Gr 유형인 경우에 V4, R 유형과 B 유형인 경우에 V2가 각각 보간된 G 컬러값으로 선택된다. 그리고, 멀티플렉서(32)를 통해 Gb 유형인 경우에 V3, Gr 유형인 경우에 V1, R 유형인 경우에 V5, B 유형인 경우에 V0이 각각 보간된 B 컬러값으로 선택된다.
본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
상기와 같이 이루어지는 본 발명은, 동일 컬러값에서 최소한 2개 이상의 화소를 확보하기 위하여 3, 5, 3 어레이를 사용하여 컬러 보간 동작을 수행함으로써 오류 화소의 영향을 줄이고, 중간값 필터 방식과 평균값 필터 방식을 함께 사용하여 선명도 손실을 줄이는 동시에 구현 하드웨어를 최소화할 수 있는 효과가 있다.

Claims (12)

  1. 하나의 특정 컬러만을 검출하는 다수의 화소를 구비하는 베이어 패턴의 다수개 단위 화소 어레이를 포함하여 R(Red), G(Green), B(Blue) 중 하나의 컬러값만을 번갈아 출력하는 이미지 센서에서 상기 단위 화소 어레이가 제1 라인에 제1 내지 제3 화소, 제2 라인에 제4 내지 제8 화소, 제3 라인에 제9 내지 제11 화소를 구비하며 상기 제2 라인의 제6 화소에 대해 컬러 보간하여 보간된 상기 R, G, B 컬러값을 출력하기 위한 이미지 센서의 컬러 보간 장치에 있어서,
    상기 제2 화소로부터의 N 비트 컬러값 및 상기 제10 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제1 N비트 가산 수단;
    상기 제5 화소로부터의 N 비트 컬러값 및 상기 제7 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제2 N비트 가산 수단;
    상기 제6 화소로부터의 N 비트 컬러값 및 상기 제9 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제3 N비트 가산 수단;
    상기 제1 화소로부터의 N 비트 컬러값 및 상기 제3 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제4 N비트 가산 수단;
    상기 제9 화소로부터의 N 비트 컬러값 및 상기 제11 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제5 N비트 가산 수단;
    상기 제1 및 제2 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제1 N+1 비트 가산 수단;
    상기 제3 및 제4 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제2 N+1 비트 가산 수단;
    상기 제4 및 제5 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제3 N+1 비트 가산 수단;
    상기 제4, 제6 및 제6 화소로부터의 N 비트 컬러값을 입력받아 그 중 중간값에 해당하는 임의의 컬러값을 출력하기 위한 중간값 필터링 수단;
    상기 베이어 패턴의 저장 유형에 따라 상기 제1 및 제2 N비트 가산 수단, 상기 중간값 필터링 수단 및 상기 제2 N+1 비트 가산 수단으로부터 출력되는 컬러값들 중 하나를 선택하여 상기 보간된 R 컬러값으로 출력하기 위한 제1 선택 수단;
    상기 베이어 패턴의 저장 유형에 따라 상기 제1 및 제2 N+1비트 가산 수단으로부터 출력되는 컬러값들 중 하나를 선택하여 상기 보간된 G 컬러값으로 출력하기 위한 제2 선택 수단; 및
    상기 베이어 패턴의 저장 유형에 따라 상기 제1 및 제2 N비트 가산 수단, 상기 중간값 필터링 수단 및 상기 제2 N+1 비트 가산 수단으로부터 출력되는 컬러값들 중 하나를 선택하여 상기 보간된 B 컬러값으로 출력하기 위한 제3 선택 수단
    을 포함하여 이루어지는 이미지 센서의 컬러 보간 장치.
  2. 제 1 항에 있어서, 상기 제1 내지 제3 선택 수단은 각각,
    상기 제1 및 제2 N비트 가산 수단으로부터 출력되는 가산 결과 컬러값의 최하위 1비트를 제외한 나머지 N비트의 가산 결과 컬러값을 입력받고,
    상기 제1 내지 제3 N+1비트 가산 수단으로부터 출력되는 가산 결과 컬러값의 최하위 2비트를 제외한 나머지 N비트의 가산 결과 컬러값을 입력받는 것을 특징으로 하는 이미지 센서의 컬러 보간 장치.
  3. 제 1 항에 있어서, 상기 제1 선택 수단은,
    상기 베이어 패턴의 저장 유형이 Gb 저장 유형인 경우에 상기 제1 N비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 R 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 Gr 저장 유형인 경우에 상기 제2 N비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 R 컬러값으로 출력하며,
    상기 베이어 패턴의 저장 유형이 R 저장 유형인 경우에 상기 중간값 필터링 수단으로부터의 컬러값을 상기 보간된 R 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 B 저장 유형인 경우에 상기 제3 N+1비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 R 컬러값으로 출력하는 것을 특징으로 하는 이미지 센서의 컬러 보간 장치.
  4. 제 1 항에 있어서, 상기 제2 선택 수단은,
    상기 베이어 패턴의 저장 유형이 상기 Gb 저장 유형 또는 상기 Gr 저장 유형인 경우에 상기 제2 N+1비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 G 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 상기 R 저장 유형 또는 상기 B 저장 유형인 경우에 상기 제1 N+1비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 G 컬러값으로 출력하는 것을 특징으로 하는 이미지 센서의 컬러 보간 장치.
  5. 제 1 항에 있어서, 상기 제3 선택 수단은,
    상기 베이어 패턴의 저장 유형이 Gb 저장 유형인 경우에 상기 제2 N비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 B 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 Gr 저장 유형인 경우에 상기 제1 N비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 B 컬러값으로 출력하며,
    상기 베이어 패턴의 저장 유형이 R 저장 유형인 경우에 상기 제3 N+1비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 B 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 B 저장 유형인 경우에 상기 중간값 필터링 수단으로부터의 컬러값을 상기 보간된 B 컬러값으로 출력하는 것을 특징으로 하는 이미지 센서의 컬러 보간 장치.
  6. 하나의 특정 컬러만을 검출하는 제1 내지 제11 화소로 이루어지는 베이어 패턴의 다수개 단위 화소 어레이를 포함하여 R(Red), G(Green), B(Blue) 중 하나의 컬러값만을 번갈아 출력하는 이미지 센서에서 상기 화소에 대한 보간된 R, G, B 컬러값을 출력하기 위한 이미지 센서의 컬러 보간 장치에 있어서,
    중간값 필터링 수단과 다수의 가산 수단을 구비하여,
    상기 제1 내지 제11 화소로부터 각각 출력되는 N 비트 컬러값으로부터 상기 화소에 대한 제1 내지 제6 보간 컬러값을 생성하고,
    상기 베이어 패턴의 저장 유형에 응답하여 상기 제1 내지 제6 보간 컬러값으로부터 상기 화소의 보간된 R, G, B 컬러값을 선택하여 출력하기 위한 제1 내지 제3 선택 수단
    을 포함하여 이루어지는 이미지 센서의 컬러 보간 장치.
  7. 제 6 항에 있어서, 상기 단위 화소 어레이는,
    제1 라인에 제1 내지 제3 화소, 제2 라인에 제4 내지 제8 화소, 제3 라인에 제9 내지 제11 화소를 구비하는 것을 특징으로 하는 이미지 센서의 컬러 보간 장치.
  8. 제 7 항에 있어서, 상기 중간값 필터링 수단은,
    상기 제4, 제6 및 제6 화소로부터의 N 비트 컬러값을 입력받아 그 중 중간값에 해당하는 임의의 컬러값을 출력하는 것을 특징으로 하는 이미지 센서의 컬러 보간 장치.
  9. 제 8 항에 있어서,
    상기 제2 화소로부터의 N 비트 컬러값 및 상기 제10 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제1 N비트 가산 수단;
    상기 제5 화소로부터의 N 비트 컬러값 및 상기 제7 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제2 N비트 가산 수단;
    상기 제6 화소로부터의 N 비트 컬러값 및 상기 제9 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제3 N비트 가산 수단;
    상기 제1 화소로부터의 N 비트 컬러값 및 상기 제3 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제4 N비트 가산 수단;
    상기 제9 화소로부터의 N 비트 컬러값 및 상기 제11 화소로부터의 N 비트 컬러값을 입력받아 가산하기 위한 제5 N비트 가산 수단;
    상기 제1 및 제2 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제1 N+1 비트 가산 수단;
    상기 제3 및 제4 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제2 N+1 비트 가산 수단; 및
    상기 제4 및 제5 N비트 가산 수단으로부터 각각 출력되는 N+1 비트의 가산 결과 컬러값을 입력받아 가산하기 위한 제3 N+1 비트 가산 수단
    을 포함하여 이루어지는 이미지 센서의 컬러 보간 장치.
  10. 제 9 항에 있어서, 상기 제1 선택 수단은,
    상기 베이어 패턴의 저장 유형이 Gb 저장 유형인 경우에 상기 제1 N비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 R 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 Gr 저장 유형인 경우에 상기 제2 N비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 R 컬러값으로 출력하며,
    상기 베이어 패턴의 저장 유형이 R 저장 유형인 경우에 상기 중간값 필터링 수단으로부터의 컬러값을 상기 보간된 R 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 B 저장 유형인 경우에 상기 제3 N+1비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 R 컬러값으로 출력하는 것을 특징으로 하는 이미지 센서의 컬러 보간 장치.
  11. 제 9 항에 있어서, 상기 제2 선택 수단은,
    상기 베이어 패턴의 저장 유형이 상기 Gb 저장 유형 또는 상기 Gr 저장 유형인 경우에 상기 제2 N+1비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 G 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 상기 R 저장 유형 또는 상기 B 저장 유형인 경우에 상기 제1 N+1비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 G 컬러값으로 출력하는 것을 특징으로 하는 이미지 센서의 컬러 보간 장치.
  12. 제 9 항에 있어서, 상기 제3 선택 수단은,
    상기 베이어 패턴의 저장 유형이 Gb 저장 유형인 경우에 상기 제2 N비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 B 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 Gr 저장 유형인 경우에 상기 제1 N비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 B 컬러값으로 출력하며,
    상기 베이어 패턴의 저장 유형이 R 저장 유형인 경우에 상기 제3 N+1비트 가산 수단으로부터의 가산 결과 컬러값을 선택하여 상기 보간된 B 컬러값으로 출력하고,
    상기 베이어 패턴의 저장 유형이 B 저장 유형인 경우에 상기 중간값 필터링 수단으로부터의 컬러값을 상기 보간된 B 컬러값으로 출력하는 것을 특징으로 하는 이미지 센서의 컬러 보간 장치.
KR1019990025926A 1999-06-30 1999-06-30 이미지 센서의 컬러 보간 장치 KR100341581B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990025926A KR100341581B1 (ko) 1999-06-30 1999-06-30 이미지 센서의 컬러 보간 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990025926A KR100341581B1 (ko) 1999-06-30 1999-06-30 이미지 센서의 컬러 보간 장치

Publications (2)

Publication Number Publication Date
KR20010005128A true KR20010005128A (ko) 2001-01-15
KR100341581B1 KR100341581B1 (ko) 2002-06-22

Family

ID=19597960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990025926A KR100341581B1 (ko) 1999-06-30 1999-06-30 이미지 센서의 컬러 보간 장치

Country Status (1)

Country Link
KR (1) KR100341581B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100769548B1 (ko) * 2005-12-30 2007-10-23 엠텍비젼 주식회사 컬러 필터 어레이 및 영상 보간 방법
KR100776385B1 (ko) * 2005-12-29 2007-11-16 엠텍비젼 주식회사 에지 향상과 노이즈 제거를 위한 컬러 보간 장치
KR100776379B1 (ko) * 2005-12-29 2007-11-16 엠텍비젼 주식회사 색차 신호를 이용한 불량 화소 보간 장치 및 그 방법
USRE43479E1 (en) 2004-04-21 2012-06-19 Intellectual Ventures Ii Llc Color interpolation method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100390847B1 (ko) * 2001-06-30 2003-07-12 주식회사 하이닉스반도체 이미지 센서의 칼라 보간 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE43479E1 (en) 2004-04-21 2012-06-19 Intellectual Ventures Ii Llc Color interpolation method
KR100776385B1 (ko) * 2005-12-29 2007-11-16 엠텍비젼 주식회사 에지 향상과 노이즈 제거를 위한 컬러 보간 장치
KR100776379B1 (ko) * 2005-12-29 2007-11-16 엠텍비젼 주식회사 색차 신호를 이용한 불량 화소 보간 장치 및 그 방법
KR100769548B1 (ko) * 2005-12-30 2007-10-23 엠텍비젼 주식회사 컬러 필터 어레이 및 영상 보간 방법

Also Published As

Publication number Publication date
KR100341581B1 (ko) 2002-06-22

Similar Documents

Publication Publication Date Title
US7728882B2 (en) Green reconstruction for image sensors
US6888568B1 (en) Method and apparatus for controlling pixel sensor elements
US7133073B1 (en) Method and apparatus for color interpolation
US8310577B1 (en) Method and apparatus for color compensation
CN104170376A (zh) 图像处理设备、成像装置、图像处理方法及程序
US6803955B1 (en) Imaging device and imaging apparatus
KR20090023690A (ko) 고체 이미지 센서
JP2000308080A (ja) カラー撮像素子及びカラー撮像装置
JPS61154357A (ja) カラ−画像入力装置
US20090310000A1 (en) Solid-state imaging device
JP2007288439A (ja) 画像処理装置及び方法
US8379977B2 (en) Method for removing color fringe in digital image
KR100398564B1 (ko) 고체 컬러 촬상 장치
US6967660B2 (en) Image processing apparatus and image processing system
CN1312901C (zh) 成像设备
US6900838B1 (en) Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
KR100341581B1 (ko) 이미지 센서의 컬러 보간 장치
JP2004519142A (ja) イメージセンサにおける緑色の不均一性の防止
JP2004519156A (ja) 画像検知器の出力信号用の輪郭フィルタ
US20090147093A1 (en) Color processing circuit
EP1833263B1 (en) Method and apparatus for generating correction information for multi-divided CCD
KR100390847B1 (ko) 이미지 센서의 칼라 보간 장치
JPH0823541A (ja) カラー撮像装置
US6373532B1 (en) Method and apparatus for processing image data
US20090244321A1 (en) Multi-segment reading ccd correcting apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110530

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee