KR100786154B1 - 화상 처리 회로 및 화상 처리 방법 - Google Patents

화상 처리 회로 및 화상 처리 방법 Download PDF

Info

Publication number
KR100786154B1
KR100786154B1 KR1020060031701A KR20060031701A KR100786154B1 KR 100786154 B1 KR100786154 B1 KR 100786154B1 KR 1020060031701 A KR1020060031701 A KR 1020060031701A KR 20060031701 A KR20060031701 A KR 20060031701A KR 100786154 B1 KR100786154 B1 KR 100786154B1
Authority
KR
South Korea
Prior art keywords
circuit
signal
image processing
solid
matrix
Prior art date
Application number
KR1020060031701A
Other languages
English (en)
Other versions
KR20070065766A (ko
Inventor
구니히로 오하라
도모히로 후쿠오카
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20070065766A publication Critical patent/KR20070065766A/ko
Application granted granted Critical
Publication of KR100786154B1 publication Critical patent/KR100786154B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 RGB 독립 배열의 CCD가 이용되는 경우에 있어서도, 베이어 배열의 CCD용 각종 기술을 사용할 수 있는 동시에, 베이어 배열의 CCD에도 대응할 수 있는 화상 처리 회로 및 방법을 제공하는 것을 목적으로 한다.
제1 매트릭스 취득 회로(21G)는 R 신호를 기본 매트릭스마다 취득하고, 제1 평균화 회로(31G)는 R 신호의 평균값(AveCH1)을 출력한다. 마찬가지로 하여 제2 매트릭스 취득 회로(22G)는 G 신호를 취득하고, 제2 평균화 회로(32G)는 G 신호의 평균값(AveCH2)을 출력한다. 또 마찬가지로, 제3 매트릭스 취득 회로(23G)는 B 신호를 취득하고, 제3 평균화 회로(33G)는 B 신호의 평균값(AveCH3)을 출력한다. 데이터 배열 변환 회로(40G)는 평균값(AveCH1 내지 AveCH3)을 베이어(bayer) 배열의 2 화소×2 화소의 변환 매트릭스로 변환한다. 베이어 배열용 검파 회로(70)에 의해 변환 매트릭스가 검파된다.

Description

화상 처리 회로 및 화상 처리 방법{IMAGE PROCESSING CIRCUIT AND IMAGE PROCESSING METHOD}
도 1은 본 발명의 원리도
도 2는 화상 처리 회로(1)의 회로도
도 3은 제1 화상 처리 회로 블록 CH1의 회로도
도 4는 RGB 독립 배열 센서의 개략도
도 5는 제1 화상 처리 회로 블록 CH1의 동작을 도시한 도면
도 6은 베이어 배열 센서의 개략도
도 7은 종래 기술에 따른 화상 처리 장치(1O0)의 회로도
<도면의 주요 부분에 대한 부호의 설명>
1 : 화상 처리 회로 25 내지 28 : 래치 회로
29 : 1 라인 메모리 31 : 제1 평균화 회로
32 : 제2 평균화 회로 33 : 제3 평균화 회로
35 : 연산 회로 41 내지 43 : 데이터 배열 변환 회로
61 : 출력 셀렉터 71 내지 73 : 검파 회로
90 : CCD AveCH1 내지 AveCH3 : 평균값
IroCH1 내지 IroCH3 : 색 정보 CH1 : 제1 화상 처리 회로 블록
CH2 : 제2 화상 처리 회로 블록 CH3 : 제3 화상 처리 회로 블록
본 발명은 화상 처리 회로에 관한 것이며, 특히 고체 촬상 디바이스로서 RGB 독립 배열 센서를 이용하는 경우에 있어서도 화상 신호를 처리하는 것이 가능한 화상 처리 회로에 관한 것이다.
도 7은 종래 기술에 따른 화상 처리 장치(100)의 블록도이다. 화상 처리 장치(100)는 CCD(190), 화상 보정 회로(151), 1 라인 메모리(129), 래치 회로(125 내지 128), 검파 회로(171)를 구비한다. CCD(190)는 베이어 배열의 CCD 이다. CCD(190)의 각 화소에 축적된 픽셀 데이터(PD)가 화상 보정 회로(151), 1 라인 메모리(129), 래치 회로(127, 128)에 입력된다. 1 라인 메모리(129)에는 어떤 하나의 선행 라인의 R, Gr 신호가 유지된다. 그리고 선행 라인에 이어 입력되는 현행 라인의 Gb, B 신호와, 1 라인 메모리(29)에 기억되어 있는 선행 라인의 R, Gr 신호가 동시에 취득되고, 검파 회로(171)에 입력된다. 검파 회로(171)에서는 색조(color-shade) 조정, 노출 조정, 오토포커스 등의 검파가 행해져 검파 결과(DR100)가 출력된다. 또 화상 보정 회로(151)에서는 입력되는 픽셀 데이터(PD)에 대하여 결함 화소 보정이나 노이즈 보정, OB(옵티컬 블랙) 보정 등의 각종 보정이 행해진다. 그리고 화상 보정 회로(151)로부터는 보정 후 픽셀 데이터(CPD)가 후단의 도시되지 않은 회로에 출력된다.
또한, 상기한 관련 기술로서 특허 문헌 1이 개시되어 있다.
[특허 문헌 1] 일본 특허 공개 제2001-245141호 공보
그러나, 종래 기술의 화상 처리 장치(100)에서는 베이어 배열의 CCD 이미지 센서만 대응되어 있으며, 하나의 화소로 R, G, B 전체 색을 취입하는 것이 가능한, 소위 RGB 독립 배열 센서(예컨대 미 Foveon사의 이미지 센서)를 사용할 수 없기 때문에 문제이다.
또, RGB 독립 배열 센서에 대응하도록 검파 회로(171)의 회로 구성을 변경하면, 첫째로 새로운 설계가 필요해지며 비용 증가로 연결되기 때문에 문제이다. 또 둘째로 베이어 배열용으로 오랜 시간 연구되어 온 소프트웨어 라이브러리 등의 각종 기술을 사용할 수 없게 되기 때문에 문제이다. 또 셋째로 변경 후의 검파 회로(171)에 있어서는 베이어 배열의 데이터에는 대응할 수 없게 되기 때문에 문제이다.
본 발명은 상기 배경 기술의 과제 중 적어도 하나를 해소하기 위해 이루어진 것이며, 소위 RGB 독립 배열의 고체 촬상 디바이스가 이용되는 경우에 있어서도, 베이어 배열의 고체 촬상 디바이스용으로 오랜 시간 연구되어 온 소프트웨어 라이브러리 등의 각종 기술을 사용할 수 있는 동시에, 베이어 배열의 고체 촬상 디바이스에도 대응하는 것이 가능한 화상 처리 회로 및 화상 처리 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명에 있어서의 제1 개념에 있어서의 화상 처리 회로에서는, 고체 촬상 디바이스의 출력 신호로부터, 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 기본 매트릭스를 취득하는 제1 내지 제3 매트릭스 취득 회로와, 제1 매트릭스 취득 회로에서 취득되는 기본 매트릭스의 평균값을 산출하는 제1 평균화 회로와, 제2 매트릭스 취득 회로에서 취득되는 기본 매트릭스의 평균값을 산출하는 제2 평균화 회로와, 제3 매트릭스 취득 회로에서 취득되는 기본 매트릭스의 평균값을 산출하는 제3 평균화 회로와, 제1 내지 제3 평균화 회로의 출력을, 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 베이어 배열의 변환 매트릭스로 변환하는 데이터 배열 변환 회로를 구비하고, 고체 촬상 디바이스가 화소마다 R 신호, G 신호, B 신호를 취득하는 RGB 독립 배열 센서 방식의 고체 촬상 디바이스인 경우에는 R 신호, G 신호, B 신호가 제1 내지 제3 매트릭스 취득 회로의 각각에 입력되는 것을 특징으로 한다.
제1 내지 제3 매트릭스 취득 회로는 고체 촬상 디바이스의 출력 신호로부터 서로 인접하는 2 화소×2 화소의 기본 매트릭스를 취득하는 회로이다. 고체 촬상 디바이스가 화소마다 R, G, B 신호를 출력하는 RGB 독립 배열 센서 방식의 고체 촬상 디바이스인 경우에는, RGB 독립 배열 센서 방식의 고체 촬상 디바이스로부터는 R, G, B 신호의 각각이 개별적으로 출력되고, 각각 제1 내지 제3 매트릭스 취득 회로에 입력된다. 따라서 R, R, R …의 수평 라인의 R 신호를 베이어 배열과 같은 기본 매트릭스의 단위마다 캡쳐할 수 있다. 또 G, G, G …의 수평 라인의 G 신호, B, B, B …의 수평 라인의 B 신호에 대해서도 마찬가지로, 기본 매트릭스의 단위마다 캡쳐할 수 있다. 따라서 입력되는 R, G, B 신호의 각각에 대해서, 2×2 화소의 기본 매트릭스가 취득된다. 그리고, 기본 매트릭스가 순차 갱신됨으로써, 화상 1 프레임 분의 데이터가 취득된다.
제1 내지 제3 평균화 회로는 제1 내지 제3 매트릭스 취득 회로의 각각에 대응하여 구비되고, 기본 매트릭스에 있어서의 각 화소 신호의 평균값을 산출한다. 따라서, R 신호의 2×2 화소의 기본 매트릭스로부터 베이어 배열의 고체 촬상 소자와 동일하게 하여, 하나의 R 신호를 취득할 수 있다. 또, G 신호의 2×2 화소의 기본 매트릭스로부터 하나의 G 신호를 취득하고, B 신호의 2×2 화소의 기본 매트릭스로부터 하나의 B 신호를 취득할 수 있다.
데이터 배열 변환 회로는 제1 내지 제3 평균화 회로에서 출력되는 동시 신호(R, G, B 신호)를 베이어 배열(R, Gr, Gb, B 신호)의 2 화소×2 화소의 변환 매트릭스로 변환하여, 후단의 각종 회로에 출력한다. 그리고, 기본 매트릭스의 갱신에 따라서, 변환 매트릭스가 순차 갱신됨으로써, 화상 1 프레임 분의 베이어 배열의 데이터를 취득할 수 있다. 여기서 후단의 각종 회로에서는, 예컨대 변환 매트릭스에 따라서 화이트 밸런스 조정, 포커스 조정, 노출 조정 등의 평가값의 산출을 행하는 베이어 배열 데이터용의 검파 회로를 들 수 있다.
또, 본 발명에 있어서의 제2 개념에 있어서의 화상 처리 회로에서는, 고체 촬상 디바이스의 출력 신호로부터 고체 촬상 디바이스 상에 있어서 서로 인접하는 2화소×2 화소의 기본 매트릭스를 취득하는 매트릭스 취득 회로와, 고체 촬상 디바이스가 화소마다 R 신호, G 신호, B 신호를 취득하는 RGB 독립 배열 센서 방식의 고체 촬상 디바이스인 경우에는, 매트릭스 취득 회로에서 취득되는 R, G, B 신호 중 어느 하나의 신호에 대한 기본 매트릭스의 평균값을 산출하는 평균화 회로와, 평균화 회로의 출력을 화상 처리 회로 블록의 외부에 출력하는 출력 회로와, 다른 화상처리 회로 블록에 있어서의 R, G, B 신호 중 다른 2 신호에 대한 평균화 회로의 출력이 입력되는 입력 회로와, 입력되는 평균화 회로의 출력과 입력 회로의 출력을 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 베이어 배열의 변환 매트릭스로 변환하는 데이터 배열 변환 회로를 각각 구비하는 제1 내지 제3 화상 처리 회로 블록을 구비하는 것을 특징으로 한다.
화상 처리 회로는 제1 내지 제3 화상 처리 회로 블록을 구비한다. 제1 내지 제3 화상 처리 회로 블록은 각각 매트릭스 취득 회로, 평균화 회로, 출력 회로, 입력 회로 및 데이터 배열 변환 회로를 구비한다. 제1 화상 처리 회로 블록의 출력 회로로부터는 기본 매트릭스의 평균값이 출력되고, 제2 및 제3 화상 처리 회로 블록에 입력된다. 또, 제2 및 제3 화상 처리 회로 블록의 출력 회로로부터 출력되는 기본 매트릭스의 평균값은 제1 화상 처리 회로 블록의 입력 회로에 입력된다. 따라서, 제1 화상 처리 회로 블록의 데이터 배열 변환 회로에는 R, G, B의 3 신호가 입력된다. 그리고 데이터 배열 변환 회로는 입력되는 R, G, B 신호를 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 베이어 배열의 변환 매트릭스로 변환한다. 이하 마찬가지로 하여, 제2 화상 처리 회로 블록 및 제3 화상 처리 회로 블록의 데이터 배열 변환 회로에서도 입력되는 R, G, B 신호를 베이어 배열의 변환 매트릭스로 변환하는 동작이 행해진다. 즉, 제1 내지 제3 화상 처리 회로 블록에서 는 동일한 변환 매트릭스가 취득된다.
이것에 의해, 소위 RGB 독립 배열의 고체 촬상 디바이스를 이용하는 경우에도 R, G, B 독립적으로 입력되는 신호를 기본 매트릭스마다 캡쳐한 뒤에 평균화하고, 그 후 베이어 배열로 변환할 수 있다. 따라서, RGB 독립 배열 센서 방식의 고체 촬상 디바이스를 이용하는 경우에도, 기존 시스템인 베이어 배열용 후단 회로를 이용하는 것이 가능해지며, 또, 베이어 배열에 있어서 오랜 시간 연구되어 온 데이터 평가 방법이나 소프트웨어 라이브러리를 이용하는 것이 가능해진다.
이하, 본 발명의 화상 처리 회로 및 화상 처리 방법에 대해서 구체화한 실시형태를 도 1 내지 도 6에 기초하여 도면을 참조하면서 상세히 설명한다. 본 발명의 원리도를 도 1에 도시한다. 화상 처리 장치(1G)는 제1 매트릭스 취득 회로(21G) 내지 제3 매트릭스 취득 회로(23G), 제1 평균화 회로(31G) 내지 제3 평균화 회로(33G), 데이터 배열 변환 회로(40G), 베이어 배열용 검파 회로(70), 고체 촬상 소자(90G)를 구비한다.
고체 촬상 소자(90G)는 화소마다 R, G, B 신호를 취득하는 RGB 독립 배열 센서 방식 고체 촬상 디바이스이며, 고체 촬상 소자(90G)는 R, G, B 신호의 각각을 개별적으로 출력한다. 제1 매트릭스 취득 회로(21G)에는 R 신호가 입력되고, 제2 매트릭스 취득 회로(22G)에는 G 신호가 입력되며, 제3 매트릭스 취득 회로(23G)에는 B 신호가 입력된다.
제1 매트릭스 취득 회로(21G)는 고체 촬상 소자(90G)에서 출력되는 R, G, B 신호 중 R 신호를 기본 매트릭스마다 취득한다. 여기서 기본 매트릭스는 고체 촬상 소자(90G) 상에 있어서 서로 인접하는 2 화소×2 화소에 의해 구성되는 영역이다. 제1 평균화 회로(31G)는 기본 매트릭스 내의 각 화소의 R 신호의 평균값인 평균값(AveCH1)을 출력한다. 따라서 2×2 화소의 기본 매트릭스마다 하나의 R 신호를 취득할 수 있다. 이것은 베이어 배열의 고체 촬상 소자에 있어서, 2×2 화소의 매트릭스에서 하나의 R 신호가 취득되는 것과 동일한 관계에 있다.
마찬가지로 하여 제2 매트릭스 취득 회로(22G)는 G 신호를 기본 매트릭스마다 취득하고, 제2 평균화 회로(32G)는 G 신호의 평균값(AveCH2)을 출력한다. 또 마찬가지로, 제3 매트릭스 취득 회로(23G)는 B 신호를 기본 매트릭스마다 취득하고, 제3 평균화 회로(33G)는 B 신호의 평균값(AveCH3)을 출력한다. 그리고 기본 매트릭스가 순차 갱신됨으로써, 화상 1 프레임 분의 데이터가 취득된다.
데이터 배열 변환 회로(40G)는 평균값 AveCH1(R 신호), 평균값 AveCH2(G 신호), 평균값 AveCH3(B 신호)을 베이어 배열(R1, Gr1, Gb1, B1 신호)의 2 화소×2 화소의 변환 매트릭스로 변환한다. 이 변환 동작에서는 G 신호의 평균값 AveCH2를 변환 매트릭스의 Gr1 신호 및 Gb1 신호에 할당함으로써, 평균값 AveCH1 내지 AveCH3의 3개의 신호가 베이어 배열의 R1, Gr1, Gb1, B1 신호의 4개의 신호로 변환된다. 그래서 얻어진 R1, Gr1, Gb1, B1 신호는 베이어 배열용 검파 회로(70)에 입력된다. 베이어 배열용 검파 회로(70)는 베이어 배열의 화상 데이터의 입력에 적합한 검파 회로이다. 베이어 배열용 검파 회로(70)에 의해 변환 매트릭스의 R1 신호, Gr1 신호, Gb1 신호, B1 신호가 검파되며 화이트 밸런스 조정, 포커스 조정, 노출 조정 등의 평가값의 산출이 행해진다.
이것에 의해 화상 처리 장치(1G)에서는 소위 RGB 독립 배열 센서를 이용하는 경우에 있어서, 고체 촬상 소자(90G) 상에 있어서 서로 인접하는 2×2 화소의 기본매트릭스마다 R 신호의 평균값, G 신호의 평균값, B 신호의 평균값을 각각 취득할 수 있다. 그래서 얻어진 R, G, B 신호의 3개의 신호의 평균값을 베이어 배열의 R1, Gr1, Gb1, B1 신호의 4개의 신호로 변환할 수 있다. 따라서 고체 촬상 소자(90G)에 RGB 독립 배열 센서를 이용하는 경우에도 베이어 배열의 신호로 변환하는 것이 가능해지기 때문에, 기존 시스템인 베이어 배열용 검파 회로(70)를 이용하여 검파 동작을 행할 수 있다. 이상으로부터, RGB 독립 배열 센서를 이용하는 경우에도 베이어 형식에 있어서 오랜 시간 연구되어 온 화이트 밸런스 조정, 포커스 조정, 노출 조정 등의 평가 방법이나 소프트웨어 라이브러리를 이용하는 것이 가능해지는 것을 알 수 있다.
본 발명의 실시형태에 따른 화상 처리 회로(1)를 도 2를 이용하여 설명한다. 화상 처리 회로(1)는 CCD(90), 셀렉터(92), 제1 화상 처리 회로 블록(CH1) 내지 제3화상 처리 회로 블록(CH3)을 구비한다. CCD(90)의 출력 단자는 셀렉터(92)에 접속된다. 셀렉터(92)로부터 출력되는 픽셀 데이터(PD1 내지 PD3), 색 정보(CD1 내지 CD3)는 각각 제1 화상 처리 회로 블록(CH1) 내지 제3 화상 처리 회로 블록(CH3)에 입력된다.
제1 화상 처리 회로 블록(CH1)은 제1 매트릭스 취득 회로(21), 제1 평균화 회로(31), 데이터 배열 변환 회로(41), 화상 보정 회로(51), 출력 셀렉터(61), 검파 회로(71), 입출력 회로(81a 내지 81c)를 구비한다. 픽셀 데이터(PD1)는 화상 보 정 회로(51) 및 제1 매트릭스 취득 회로(21)에 입력된다. 화상 보정 회로(51)에서는 입력되는 픽셀 데이터(PD1)에 대하여 결함 화소 보정이나 노이즈 보정, OB(옵티컬 블랙) 보정 등의 각종 보정이 행해진다. 그리고 화상 보정 회로(51)로부터는 보정 후 픽셀 데이터(CPD1)가 도시되지 않은 후단의 회로에 출력되고, 후단의 회로에서는 1 프레임의 화상이 작성된다. 제1 매트릭스 취득 회로(21)에서는 CCD(90) 상에 있어서 서로 인접하는 2 화소×2 화소(기본 매트릭스)의 신호(SS11 내지 SS14)가 출력된다. 신호(SS11 내지 SS14)는 제1 평균화 회로(31) 및 출력 셀렉터(61)에 입력된다. 제1 평균화 회로(31)로부터는 평균값(AveCH1) 및 색 정보(IroCH1)가 출력되고, 입출력 회로(81a) 및 데이터 배열 변환 회로(41)에 입력된다. 입출력 회로(81a)에서는 평균값(AveCH1) 및 색 정보(IroCH1)가 출력되고, 제2 화상 처리 회로 블록(CH2)의 입출력 회로(82c) 및 제3 화상 처리 회로 블록(CH3)의 입출력 회로(83b)에 각각 입력된다. 또 셀렉터(92)로부터 출력되는 색 정보(CD1)가 제1 평균화 회로(31)에 입력된다. 또 제2 화상 처리 회로 블록(CH2)으로부터 출력되는 평균값(AveCH2) 및 색 정보(IroCH2)가 입출력 회로(81b)를 통해 데이터 배열 변환 회로(41)에 입력된다. 또한 제3 화상 처리 회로 블록(CH3)으로부터 출력되는 평균값(AveCH3) 및 색 정보(IroCH3)가 입출력 회로(81c)를 통해 데이터 배열 변환 회로(41)에 입력된다.
데이터 배열 변환 회로(41)로부터는 베이어 배열로 변환된 후 2 화소×2 화소의 변환 매트릭스를 구성하는 신호(SS11a 내지 SS14a)가 출력되고, 출력 셀렉터(61)에 입력된다. 출력 셀렉터(61)로부터는 신호(SS11b 내지 SS14b)가 출력되고, 검파 회로(71)에 입력된다. 검파 회로(71)로부터는 검파 결과(DR1)가 출력된다.
이하 마찬가지로 하여, 제2 화상 처리 회로 블록(CH2)에 있어서도 제2 평균화 회로(32)에는 색 정보(D2)가 입력된다. 또 데이터 배열 변환 회로(42)에는 제2평균화 회로(32)로부터 출력되는 평균값(AveCH2 및 IroCH2), 제3 화상 처리 회로 블록(CH3)으로부터 출력되는 평균값(AveCH3) 및 색 정보(IroCH3), 제1 화상 처리 회로 블록(CH1)으로부터 출력되는 평균값(AveCH1) 및 색 정보(IroCH1)가 각각 입력된다. 또 마찬가지로 하여 제3 화상 처리 회로 블록(CH3)에 있어서도 제3 평균화 회로(33)에는 색 정보(CD3)가 입력된다. 또 데이터 배열 변환 회로(43)에는 제3 평균화 회로(33)로부터 출력되는 평균값(AveCH3 및 IroCH3), 제1 화상 처리 회로 블록(CH1)으로부터 출력되는 평균값(AveCH1) 및 색 정보(IroCH1), 제2 화상 처리 회로 블록(CH2)으로부터 출력되는 평균값(AveCH2) 및 색 정보(IroCH2)가 각각 입력된다.
도 3에 제1 화상 처리 회로 블록(CH1)의 상세한 회로도를 도시한다. 제1 매트릭스 취득 회로(21)는 1 라인 메모리(29), 래치 회로(25 내지 28)를 구비한다. 픽셀 데이터(PD1)는 1 라인 메모리(29) 및 래치 회로(27, 28)에 입력된다. 1 라인 메모리(29)로부터는 지연 픽셀 데이터(DPD1)가 출력되고, 래치 회로(25, 26)에 입력된다. 래치 회로(25 내지 28)로부터는 신호(SS11 내지 SS14)가 각각 출력된다.
제1 평균화 회로(31)는 연산 회로(35) 및 색 정보 레지스터(91)를 구비한다. 연산 회로(35)에는 신호(SS11 내지 SS14)가 입력되고, 연산 회로(35)로부터는 AveCH1이 출력된다. 색 정보 레지스터(91)에는 색 정보(CD1)가 입력되고, 색 정보 레지스터(91)로부터는 색 정보(IroCH1)가 출력된다.
검파 회로(71)는 레벨 게이트 회로(75), 휘도 생성 회로(76), 화이트 밸런스조정 회로(77), 노출 조정 회로(78), 포커스 조정 회로(79)를 구비한다. 레벨 게이트 회로(75)에는 신호(SS11b 내지 SS14b), 임계값(TH)이 입력된다. 레벨 게이트 회로(75)를 통과한 신호(SS11b 내지 SS14b)는 화이트 밸런스 조정 회로(77)에 입력되고, 화이트 밸런스 조정 회로(77)로부터는 검파 결과(DR1a)가 출력된다. 휘도 생성 회로(76)에는 신호(SS11b 내지 SS14b), 휘도 계수(LC)가 입력된다. 휘도 생성 회로(76)로부터 출력되는 휘도 신호(Y)는 노출 조정 회로(78) 및 포커스 조정 회로(79)에 입력된다. 노출 조정 회로(78) 및 포커스 조정 회로(79)로부터는 검파 결과(DR1b, DR1c)가 각각 출력된다. 또 제2 화상 처리 회로 블록(CH2) 및 제3 화상 처리 회로 블록(CH3)의 구성에 대해서는 제1 화상 처리 회로 블록(CH1)과 동일하기 때문에 여기서는 상세한 설명을 생략한다.
화상 처리 회로(1)의 동작을 설명한다. 우선, CCD(90)가 RGB 독립 배열 센서방식의 CCD인 경우를 설명한다. 도 4에 RGB 독립 배열 센서의 개략도를 도시한다. RGB 독립 배열 센서는 하나의 화소로 R, G, B의 전체 색을 취입하고, R, G, B 신호의 각각에 대하여 데이터선을 구비하고 있다. 따라서 CCD(90)로부터는 R, G, B 신호가 각각 병렬로 출력되고, 셀렉터(92)(도 2)에 입력된다. 셀렉터(92)에서는 R, G, B 신호의 각각을 픽셀 데이터(PD1 내지 PD3)에 할당하는 동작이 행해진다. 본 실시형태에서는 픽셀 데이터(PD1)에 R 신호가 할당되고, 그 취지가 색 정보(CD1)에 의해 제1 화상 처리 회로 블록(CH1)에 통지된다. 마찬가지로 픽셀 데이터(PD2)에 G 신호가 할당되고, 그 취지가 색 정보(CD2)에 의해 제2 화상 처리 회로 블록(CH2)에 통지된다. 또 픽셀 데이터(PD3)에 B 신호가 할당되고, 그 취지가 색 정보(CD3)에 의해 제3 화상 처리 회로 블록(CH3)에 통지된다.
이와 같이 셀렉터(92)에 의해 제1 화상 처리 회로 블록(CH1) 내지 제3 화상 처리 회로 블록(DH3)에 할당하는 색 신호를 임의로 지정할 수 있다. 따라서 예컨대 CCD(90)에 R, G, B 신호용 3개의 출력 단자가 구비되어 있는 경우에, 상기 출력 단자의 배치 위치나 배열 순서에 따라 각 색 신호 및 RGB 신호를 제1 화상 처리 회로 블록(CH1) 내지 제3 화상 처리 회로 블록(CH3)에 할당할 수 있다. 따라서, 유연한 기반 레이아웃이 가능해지는 메리트가 있다.
출력 셀렉터(61)는 입력되는 모드 신호(MODE)가 하이 레벨이 됨으로써, 데이터 배열 변환 회로(41)의 출력을 선택하여 검파 회로(71)에 출력한다. 따라서 화상 처리 회로(1)의 모드는 RGB 독립 배열 센서에 대응한 모드가 된다.
다음에, 제1 화상 처리 회로 블록(CH1)의 동작을 도 3 및 도 5를 이용하여 설명한다. 제1 화상 처리 회로 블록(CH1)에는 픽셀 데이터(PD1)로서, R 신호가 라인마다 R, R, R …으로 입력된다. 제1 매트릭스 취득 회로(21)에 있어서는 어떤 하나의 선행하는 라인의 R 신호를 1 라인 메모리(29)에 유지한다. 그리고 또한, 선행라인에 이어 입력되는 현행 라인의 R 신호와, 1 라인 메모리(29)에 기억되어 있는 선행 라인 R 신호의 동기를 취하는 동작이 행해진다. 따라서 래치 회로(25, 26)에는 선행 라인이 인접하는 2 화소 분의 R 신호가 래치된다. 또 래치 회로(27, 28)에는 래치 회로(25, 26)에 래치되어 있는 선행 라인의 R 신호와 인접하는 현행 라인 2 화소 분의 R 신호가 래치된다. 이것에 의해 도 5에 도시하는 바와 같이 래치 회로(25 내지 28)에 CCD(90) 상에 있어서 서로 인접하는 2 화소×2 화소의 제1 기본 매트릭스(MT1)에 대응하는 R 신호가 취득된다.
래치 회로(25 내지 28)의 각각으로부터 출력되는 신호(SS11 내지 SS14)는 연산 회로(35)에 입력된다. 연산 회로(35)에서는 R 신호의 신호(SS11 내지 SS14)의 평균값(AveCH1)이 산출된다(도 5). 그리고 R 신호의 평균값(AveCH1)은 데이터 배열 변환 회로(41) 및 입출력 회로(81a)에 입력된다. 또 R 신호를 나타내는 취지의 색 정보(CD1)가 색 정보 레지스터(91)에 입력되어 유지되어 있기 때문에, 색 정보 레지스터(91)는 R 신호의 색 정보(IroCH1)를 데이터 배열 변환 회로(41) 및 입출력 회로(81a)에 출력한다.
또 전술한 동작과 마찬가지로 하여, 제2 화상 처리 회로 블록(CH2)에 있어서도 제2 기본 매트릭스(MT2)에 대응하는 G 신호가 취득되고, G 신호의 평균값(AveCH2)이 산출된다. 또 제3 화상 처리 회로 블록(CH3)에 있어서도 제3 기본 매트릭스(MT3)에 대응하는 B 신호가 취득되고, B 신호의 평균값(AveCH3)이 산출된다(도 5). 그리고 도 2에 도시하는 바와 같이 제2 화상 처리 회로 블록(CH2)으로부터 출력되는 평균값(AveCH2) 및 G 신호의 색 정보(IroCH2)가 입출력 회로(81b)를 통해 제1 화상 처리 회로 블록(CH1)의 데이터 배열 변환 회로(41)에 입력된다. 또한 제3화상 처리 회로 블록(CH3)으로부터 출력되는 평균값(AveCH3) 및 B 신호의 색 정보 (IroCH3)가 입출력 회로(81c)를 통해 제1 화상 처리 회로 블록(CH1)의 데이터 배열변환 회로(41)에 입력된다.
데이터 배열 변환 회로(41)는 색 정보(IroCH1 내지 IroCH3)에 의해 평균값(AveCH1)이 R 신호이고, 평균값(AveCH2)이 G 신호이며, 평균값(AveCH3)이 B 신호 인 것을 인식한다. 그리고 도 5에 도시하는 바와 같이 데이터 배열 변환 회로(41)는 R, G, B 신호의 평균값(AveCH1 내지 AveCH3)의 3 신호를 서로 인접하는 2 화소×2 화소로 이루어지는 베이어 배열의 변환 매트릭스(CMT)로 변환한다. 이 변환 동작에서는 평균값(AveCH1 내지 AveCH3)의 3개의 신호가 베이어 배열의 R, Gr, Gb, B 신호의 4개의 신호로 변환되지만, 이 변환은 G 신호의 평균값(AveCH2)을 변환 매트릭스(CMT)의 Gr 신호 및 Gb 신호로 하는 것으로 행해진다. 그리고, 데이터 배열 변환 회로(41)로부터는 베이어 배열의 R, Gr, Gb, B 신호에 각각 대응한 신호(SS11a 내지 SS14a)가 출력된다.
출력 셀렉터(61)는 제1 매트릭스 취득 회로(21)로부터 출력되는 신호(SS11 내지 SS14)와, 데이터 배열 변환 회로(41)로부터 입력되는 신호(SS11a 내지 SS14a) 중 어느 한쪽을 선택하고, 신호(SS11b 내지 SS14b)로서 검파 회로(71)에 출력하는 회로이다. 본 실시형태에서는 모드 신호(MODE)에 의해 CCD(90)가 RGB 독립 배열 센서 방식인 취지가 출력 셀렉터(61)에 통지되어 있기 때문에, 출력 셀렉터(61)는 데이터 배열 변환 회로(41)로부터 입력되는 신호(SS11a 내지 SS14a)를 선택한 후에 검파 회로(71)에 출력한다.
검파 회로(71)에서는 검파 동작이 행해진다. 레벨 게이트 회로(75)는 임계값(TH)의 범위 내에 포함되지 않는 데이터를 노이즈로 간주하여 마스크하는 회로이다. 레벨 게이트 회로(75)로부터 출력되는 신호는 화이트 밸런스 조정 회로(77)에 입력된다. 화이트 밸런스 조정 회로(77)에서는 색 온도에 의한 색조의 차이를 자동 조정하는 회로이며, R, G, B 신호의 적산값을 산출한 후에 검파 결과(DR1a)로서 출력한다. 이 검파 결과(DR1a)를 바탕으로 도시되지 않은 후단의 회로에서는 취입한 화상 데이터에 보정을 행하여 자연스러운 색조로 조정하는 동작이 행해진다.
휘도 생성 회로(76)에서는 입력되는 휘도 계수(LC)에 따라 휘도 신호(Y)가 생성된다. 휘도 신호(Y)는 인간의 눈에 있어서의 화상의 밝기이다. 휘도 신호(Y)는 노출 조정 회로(78) 및 포커스 조정 회로(79)에 입력된다. 노출 조정 회로(78)는 노출 오버나 노출 언더가 되지 않도록 적정한 노출로 촬영하는 기능을 갖는 회로이다. 휘도의 적산값을 산출하여, 검파 결과(DR1b)를 출력한다. 검파 결과(DR1b)를 바탕으로 도시하지 않은 후단의 회로에서 노출이 컨트롤된다. 포커스 조정 회로(79)는 화상의 고주파 성분을 추출하고, 그 적산 정보에 의해 포커스가 맞는(즉 고주파 성분이 많음) 모양으로 포커스를 자동 조정하는 회로이다. 이상으로부터 화상 처리 회로(1)는 CCD(90)가 RGB 독립 배열 센서 방식인 경우에도 검파 회로(71)에 있어서 검파 동작을 행할 수 있는 것을 알 수 있다.
또한, RGB 독립 배열의 화상 데이터를 베이어 배열로 변환할 때는, 데이터가 평균화됨으로써, 데이터량이 약 1/4로 적어진다. 따라서, 베이어 배열의 데이터가 필요로 되는 회로인 검파 회로(71)의 직전 단에 데이터 배열 변환 회로(41)가 구비되어 있다. 이것에 의해 베이어 배열의 데이터 형식을 필요로 하지 않는 다른 회로에서는 고화소의 RGB 독립 배열의 데이터 그대로 사용하는 것이 가능해지기 때문에 화상 데이터의 고상세화에 기여할 수 있다.
다음에, CCD(90)가 베이어 배열의 고체 촬상 디바이스인 경우를 설명한다. 도 6에 베이어 배열 센서의 개략도를 도시한다. 베이어 배열 센서는 1개의 화소에 의해 1개의 색만 취입할 수 있다. 그리고 CCD(90)로부터는 R, Gr, Gb, B 신호가 직렬로 출력되고, 셀렉터(92)(도 2)에 입력된다. 셀렉터(92)에서는 CCD(90)로부터 입력되는 데이터를, 픽셀 데이터(PD1 내지 PD3)에 할당하는 동작이 행해진다. 즉 픽셀 데이터(PD1 내지 PD3)는 모두 동일한 데이터가 된다.
출력 셀렉터(61)는 입력되는 모드 신호(MODE)가 로우 레벨이 됨으로써, 제1매트릭스 취득 회로(21)의 출력을 선택하여 검파 회로(71)에 출력한다. 따라서 화상 처리 회로(1)의 모드는 베이어 배열 센서에 대응한 모드가 된다.
제1 화상 처리 회로 블록(CH1)의 동작을 도 3을 이용하여 설명한다. 제1 화상 처리 회로 블록(CH1)에는 픽셀 데이터(PD1)로서, R 및 Gr 신호와, Gb 및 B 신호가 1 라인 간격으로 교대로 입력된다. 제1 매트릭스 취득 회로(21)의 1 라인 메모리(29)에는 어떤 1개의 선행 라인의 R, Gr 신호가 유지된다. 그리고 선행 라인에 이어서 입력되는 현행 라인의 Gb, B 신호와, 1 라인 메모리(29)에 기억되어 있는 선행 라인의 R, Gr 신호의 동기를 취하는 동작이 행해진다. 이것에 의해 래치 회로(25 내지 28)에는 CCD(90) 상에 있어서 서로 인접하는 2 화소×2 화소의 제1 기본 매트릭스(MT1)에 대응하는 베이어 배열의 R, Gr, Gb, B 신호가 취득된다.
제1 매트릭스 취득 회로(21)로부터 출력되는 신호(SS11 내지 SS14)는 출력 셀렉터(61)에 입력된다. 본 실시형태에서는 모드 신호(MODE)에 의해 CCD(90)가 베이어 배열 방식인 취지가 출력 셀렉터(61)에 통지되어 있기 때문에, 출력 셀렉터 (61)는 제1 매트릭스 취득 회로(21)로부터 입력되는 신호(SS11 내지 SS14)를 선택한 후에 검파 회로(71)에 출력한다. 검파 회로(71)에서는 검파 동작이 행해지고, 검파 회로(71)로부터는 검파 결과(DR1a 내지 DR1c)가 출력된다. 이상으로부터 화상 처리 회로(1)는 CCD(90)가 베이어 배열 방식인 경우에도 검파 회로(71)에 있어서 검파 동작을 행할 수 있다는 것을 알 수 있다.
이상 상세하게 설명한 바와 같이, 본 발명의 실시형태에 따른 화상 처리 회로(1)는 CCD(90)에 소위 RGB 독립 배열 센서를 이용하는 경우에 있어서, 2×2 화소의 기본 매트릭스마다 R 신호의 평균값, G 신호의 평균값, B 신호의 평균값을 각각 취득할 수 있다. 그래서 얻어진 R, G, B 신호의 3개의 신호를 베이어 배열의 R, Gr, Gb, B 신호의 4개의 신호로 변환할 수 있다. 이것은 베이어 배열의 CCD에 있어서, 2×2 화소의 매트릭스로부터 R, Gr, Gb, B 신호가 취득되는 것과 동일한 관계에 있다. 따라서 RGB 독립 배열 센서를 이용하는 경우에 있어서도 베이어 배열의 신호로 변환하는 것이 가능해지기 때문에, 베이어 배열에 있어서 오랜 시간 연구되어 온 화이트 밸런스 조정, 포커스 조정, 노출 조정 등의 평가 방법이나 소프트웨어 라이브러리를 이용하는 것이 가능해지는 것을 알 수 있다.
또 제1 매트릭스 취득 회로(21)는 베이어 배열의 신호 및 RGB 독립 배열 센서 방식의 신호 중 어느 하나의 신호라도 수취할 수 있다. 그리고 출력 셀렉터(61)에 의해 CCD(90)가 베이어 배열인 경우에 있어서는 제1 매트릭스 취득 회로(21)의 출력을 선택하여 검파 회로(71)에 출력하고, CCD(90)가 RGB 독립 배열인 경우에 있어서는 데이터 배열 변환 회로(41)의 출력을 선택하여 검파 회로(71)에 출력할 수 있다. 이것에 의해 화상 처리 회로(1)에서는 CCD(90)가 RGB 독립 배열인 경우와 베이어 배열인 경우 중 어느 하나인 경우에도 검파를 행할 수 있기 때문에, 본 발명의 회로의 적용 범위를 넓힐 수 있게 된다.
또한, 본 발명은 상기 실시형태에 한정되는 것이 아니고, 본 발명의 취지를 일탈하지 않는 범위 내에서 여러 가지의 개량, 변형이 물론 가능하다. 본 실시형태에서는 제1 화상 처리 회로 블록(CH1)에 있어서의 데이터 배열 변환 회로(41)의 동작에 대해서 설명하였지만, 제2 화상 처리 회로 블록(CH2)의 데이터 배열 변환 회로(42) 및 제3 화상 처리 회로 블록(CH3)의 데이터 배열 변환 회로(43)에 있어서도 데이터 배열 변환 회로(41)와 같은 동작이 행해진다. 그리고 CCD(90)가 RGB 독립 배열 센서인 경우에는 검파 회로(71)에 입력되는 베이어 배열의 신호(SS11a 내지 SS14a)와, 검파 회로(72)에 입력되는 베이어 배열의 신호(SS21a 내지 SS24a)와, 검파 회로(73)에 입력되는 베이어 배열의 신호(SS31a 내지 SS34a)는 동일하게 된다. 따라서 이 경우, 제1 화상 처리 회로 블록(CH1)의 검파 회로(71)만을 동작시키고, 제2 화상 처리 회로 블록(CH2)의 검파 회로(72) 및 제3 화상 처리 회로 블록(CH3)의 검파 회로(73)의 동작을 정지하면 좋다. 이것에 의해 화상 처리 회로(1)의 소비전류를 억제하면서 검파 동작을 행하는 것이 가능해진다.
또 검파 회로(72) 및 검파 회로(73)를 정지하는 경우에 한정되지 않고, 검파 회로(71 내지 73)를 동시에 동작시켜도 물론 좋다. 이 경우에는 임계값(TH)이나 휘도 계수(LC)를 각 검파 회로에서 상이한 값으로 설정하면 좋다. 또 화이트 밸런스 조정 회로(77), 노출 조정 회로(78), 포커스 조정 회로(79)의 각 검파의 파라미터 를 각 검파 회로에서 상이한 값으로 설정하면 좋다. 이것에 의해 3개의 검파 회로(71 내지 73)가 동시에 동작하게 되기 때문에, 동일 시간에 3 종류의 검파 결과를 얻는 것이 가능해진다. 그리고 예컨대 포커스 조정 회로(79)의 필터 계수를 3 종류 동시에 검파하고 3개의 결과로부터 최량의 결과를 채용하면, 파라미터의 최적화를 단시간에 행하는 것이 가능해진다. 이상으로부터 검파 동작의 고속화 및 고정 밀도화에 기여할 수 있다는 것을 알 수 있다.
또 CCD(90)가 베이어 배열의 센서인 경우에는 제1 화상 처리 회로 블록(CH1) 내지 제3 화상 처리 회로 블록(CH3)에 입력되는 픽셀 데이터(PD1 내지 PD3)는 전부 동일한 데이터가 된다. 따라서 이 경우에 있어서는, 제1 화상 처리 회로 블록(CH1)만을 동작시키고, 제2 화상 처리 회로 블록(CH2) 및 제3 화상 처리 회로 블록(CH3)의 동작을 정지하면, 화상 처리 회로(1)의 소비 전류를 억제하면서 검파 동작을 행하는 것이 가능해진다.
또 CCD(90)가 베이어 배열의 센서인 경우에는 제1 화상 처리 회로 블록(CH1) 내지 제3 화상 처리 회로 블록(CH3)을 동시에 동작시켜도 물론 좋다. 이 경우에는 CCD(90)로부터 픽셀 데이터가 출력되는 영역을 예컨대 촬상 영역의 상중하로 3 분할하고, 각 영역으로부터 데이터가 병렬로 출력되는 형태로 하면 좋다. 3개의 영역에서 각각 출력되는 데이터는 셀렉터(92)(도 2)에 있어서, 픽셀 데이터(PD1 내지 PD3)에 할당되고, 제1 화상 처리 회로 블록(CH1) 내지 제3 화상 처리 회로 블록(CH3)에 있어서 검파 동작이 병렬로 행해진다. 이것에 의해 CCD(90)로부터의 데이터 취입을 고속화하는 것이 가능해지며, 스틸 카메라에 있어서는 보다 고속인 연속 촬영이 가능해진다.
또 본 실시형태에서는 제2 화상 처리 회로 블록(CH2)의 제2 평균화 회로(32)로부터 출력되는 G 신호의 평균값(AveCH2)을, 제1 화상 처리 회로 블록(CH1)의 데이터 배열 변환 회로(41)에 있어서 변환 매트릭스(CMT)의 Gr 신호 및 Gb 신호로 함으로써 RGB 독립 배열로부터 베이어 배열로 변환한다고 하였지만, 이 형태에 한정되지 않는다. 예컨대 제2 화상 처리 회로 블록(CH2)의 제2 평균화 회로(32)에 있어서, 제2 기본 매트릭스(MT2)에 있어서의 선행 라인 2 화소 분의 G 신호의 평균값(AveCH21)과, 현행 라인 2 화소 분의 G 신호의 평균값(AveCH22)을 산출한다고 하여도 좋다. 그리고 제1 화상 처리 회로 블록(CH1)의 데이터 배열 변환 회로(41)에 있어서, 평균값(AveCH21)을 신호 Gr에 할당하고, 평균값(AveCH22)을 신호(Gb)에 할당하여도 좋다. 이것에 의해 보다 데이터가 훼손되지 않고 RGB 독립 배열로부터 베이어 배열로 변환하는 것이 가능해진다.
또한, CCD(90)는 고체 촬상 디바이스의 일례, 셀렉터 회로는 출력 셀렉터(61)의 일례, 검파 회로(71 내지 73)는 제1 내지 제3 데이터 처리 회로의 일례, 제1 화상 처리 회로 블록(CH1) 내지 제3 화상 처리 회로 블록(CH3)은 제1 내지 제3 화상 처리 회로 블록의 일례, 입출력 회로(81a 내지 83a)는 출력 회로의 일례, 입출력 회로(81b 내지 83b 및 81c 내지 83c)는 출력 회로의 일례, 셀렉터(92)는 신호 할당 회로의 각각 일례이다.
본 발명의 화상 처리 회로 및 화상 처리 방법에 의하면, 소위 RGB 독립 배열 의 고체 촬상 디바이스가 이용되는 경우에도, 베이어 배열의 고체 촬상 디바이스용으로 오랜 시간 연구되어 온 소프트웨어 라이브러리 등의 각종 기술을 사용할 수 있는 동시에, 베이어 배열의 고체 촬상 디바이스에도 대응하는 것이 가능한 화상 처리 회로 및 화상 처리 방법을 제공하는 것이 가능해진다.

Claims (9)

  1. 고체 촬상 디바이스의 출력 신호로부터, 상기 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 기본 매트릭스를 취득하는 제1 내지 제3 매트릭스 취득 회로와,
    상기 제1 매트릭스 취득 회로에서 취득되는 상기 기본 매트릭스의 평균값을 산출하는 제1 평균화 회로와,
    상기 제2 매트릭스 취득 회로에서 취득되는 상기 기본 매트릭스의 평균값을 산출하는 제2 평균화 회로와,
    상기 제3 매트릭스 취득 회로에서 취득되는 상기 기본 매트릭스의 평균값을 산출하는 제3 평균화 회로와,
    상기 제1 내지 제3 평균화 회로의 출력을, 상기 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 베이어 배열의 변환 매트릭스로 변환하는 데이터 배열 변환 회로를 구비하고,
    상기 고체 촬상 디바이스가 화소마다 R 신호, G 신호, B 신호를 취득하는 RGB 독립 배열 센서 방식의 고체 촬상 디바이스인 경우에는 상기 R 신호, G 신호, B 신호가 상기 제1 내지 제3 매트릭스 취득 회로의 각각에 입력되는 것을 특징으로 하는 화상 처리 회로.
  2. 제1항에 있어서, 상기 데이터 배열 변환 회로는 상기 고체 촬상 디바이스가 상기 RGB 독립 배열 센서 방식인 경우에는 상기 제2 평균화 회로로부터 출력되는 상기 G 신호의 상기 기본 매트릭스의 평균값을 상기 변환 매트릭스의 Gr 신호 및 Gb 신호로 변환하는 것을 특징으로 하는 화상 처리 회로.
  3. 제1항에 있어서, 상기 고체 촬상 디바이스가 상기 베이어 배열 방식인 경우에는 상기 제1 내지 제3 매트릭스 취득 회로의 출력 중 적어도 어느 하나를 선택하고,
    상기 고체 촬상 디바이스가 상기 RGB 독립 배열 센서 방식인 경우에는 상기데이터 배열 변환 회로의 출력을 선택하는 셀렉터 회로를 더 구비하는 것을 특징으로 하는 화상 처리 회로.
  4. 고체 촬상 디바이스의 출력 신호로부터, 상기 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 기본 매트릭스를 취득하는 매트릭스 취득 회로와,
    상기 고체 촬상 디바이스가 화소마다 R 신호, G 신호, B 신호를 취득하는 RGB 독립 배열 센서 방식의 고체 촬상 디바이스인 경우에는 상기 매트릭스 취득 회로에서 취득되는 상기 R, G, B 신호 중 어느 하나의 신호에 대한 상기 기본 매트릭스의 평균값을 산출하는 평균화 회로와,
    상기 평균화 회로의 출력을 화상 처리 회로 블록의 외부에 출력하는 출력 회로와,
    다른 화상 처리 회로 블록에 있어서의 상기 R, G, B 신호 중 다른 2 신호에 대한 상기 평균화 회로의 출력이 입력되는 입력 회로와,
    입력되는 상기 평균화 회로의 출력과 상기 입력 회로의 출력을 상기 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 베이어 배열의 변환 매트릭스로 변환하는 데이터 배열 변환 회로를
    각각 구비하는 제1 내지 제3 화상 처리 회로 블록을 구비하는 것을 특징으로 하는 화상 처리 회로.
  5. 제4항에 있어서, 상기 고체 촬상 디바이스가 상기 베이어 배열 방식인 경우에는 상기 매트릭스 취득 회로의 출력을 선택하고,
    상기 고체 촬상 디바이스가 상기 RGB 독립 배열 센서 방식인 경우에는 상기데이터 배열 변환 회로의 출력을 선택하는 셀렉터 회로를 상기 제1 내지 제3 화상 처리 회로 블록의 각각에 더 구비하는 것을 특징으로 하는 화상 처리 회로.
  6. 제4항에 있어서, 상기 고체 촬상 디바이스가 상기 RGB 독립 배열 센서 방식인 경우에는 상기 제1 내지 제3 화상 처리 회로 블록에 각각 구비되는 상기 데이터 배열 변환 회로 중 적어도 어느 하나를 정지하는 것을 특징으로 하는 화상 처리 회로.
  7. 제4항에 있어서, 상기 고체 촬상 디바이스가 상기 베이어 배열 방식인 경우 에는 상기 제1 내지 제3 화상 처리 회로 블록 중 적어도 어느 하나를 정지하는 것을 특징으로 하는 화상 처리 회로.
  8. 제4항에 있어서, 상기 고체 촬상 디바이스와 상기 제1 내지 제3 화상 처리 회로 블록의 접속 경로 상에 구비되고, 상기 고체 촬상 디바이스가 상기 RGB 독립배열 센서 방식인 경우에는 상기 R 신호, G 신호, B 신호를 상기 제1 내지 제3 화상 처리 회로 블록의 상기 매트릭스 취득 회로에 소정의 순서로 할당하는 신호 할당 회로를 더 구비하는 것을 특징으로 하는 화상 처리 회로.
  9. 고체 촬상 디바이스의 출력 신호로부터, 상기 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 기본 매트릭스를 제1 내지 제3 매트릭스 취득 회로에 의하여 취득하는 제1 단계와,
    상기 제1 매트릭스 취득 회로에서 취득되는 상기 기본 매트릭스의 평균값을 산출하는 제2 단계와,
    상기 제2 매트릭스 취득 회로에서 취득되는 상기 기본 매트릭스의 평균값을 산출하는 제3 단계와,
    상기 제3 매트릭스 취득 회로에서 취득되는 상기 기본 매트릭스의 평균값을 산출하는 제4 단계와,
    상기 제2 내지 제4 단계에서 산출된 상기 기본 매트릭스의 평균값들을 상기 고체 촬상 디바이스 상에 있어서 서로 인접하는 2 화소×2 화소의 베이어 배열의 변환 매트릭스로 변환하는 단계를 구비하고,
    상기 고체 촬상 디바이스가 화소마다 R 신호, G 신호, B 신호를 취득하는 RGB 독립 배열 센서 방식의 고체 촬상 디바이스인 경우에는 상기 R 신호, G 신호, B 신호가 상기 제1 내지 제3 매트릭스 취득 회로의 각각에 입력되는 것을 특징으로 하는 화상 처리 방법.
KR1020060031701A 2005-12-20 2006-04-07 화상 처리 회로 및 화상 처리 방법 KR100786154B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005367064A JP4573769B2 (ja) 2005-12-20 2005-12-20 画像処理回路および画像処理方法
JPJP-P-2005-00367064 2005-12-20

Publications (2)

Publication Number Publication Date
KR20070065766A KR20070065766A (ko) 2007-06-25
KR100786154B1 true KR100786154B1 (ko) 2007-12-21

Family

ID=37887970

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060031701A KR100786154B1 (ko) 2005-12-20 2006-04-07 화상 처리 회로 및 화상 처리 방법

Country Status (8)

Country Link
US (1) US7557842B2 (ko)
EP (1) EP1801749B1 (ko)
JP (1) JP4573769B2 (ko)
KR (1) KR100786154B1 (ko)
CN (1) CN1988594B (ko)
AT (1) ATE454679T1 (ko)
DE (1) DE602006011568D1 (ko)
TW (1) TWI345420B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
KR20110047540A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 디지털 카메라 및 그 제어방법
KR101652722B1 (ko) * 2010-01-15 2016-09-01 삼성전자주식회사 신호를 베이어 패턴 변환하여 보간하는 이미지 보간 방법, 및 이를 기록한 기록 매체
JP5718029B2 (ja) * 2010-11-22 2015-05-13 オリンパス株式会社 撮像装置
JP2012129927A (ja) * 2010-12-17 2012-07-05 Nikon Corp 撮像装置
JP5655589B2 (ja) * 2011-01-26 2015-01-21 株式会社ニコン 撮像装置
JP5539583B2 (ja) * 2011-03-24 2014-07-02 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
JP5907687B2 (ja) * 2011-09-14 2016-04-26 オリンパス株式会社 撮像装置および信号転送装置
JP5912586B2 (ja) * 2012-01-30 2016-04-27 株式会社シグマ 画像信号処理方法及び画像信号処理回路、並びに撮像装置
JP5948167B2 (ja) * 2012-07-02 2016-07-06 株式会社シグマ 撮像装置
US10032110B2 (en) 2016-12-13 2018-07-24 Google Llc Performing average pooling in hardware
US10037490B2 (en) 2016-12-13 2018-07-31 Google Llc Performing average pooling in hardware

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6632701B2 (en) 2000-09-25 2003-10-14 Foveon, Inc. Vertical color filter detector group and array
JP2005143038A (ja) 2003-11-10 2005-06-02 Matsushita Electric Ind Co Ltd 撮像装置及び撮像方法
JP2005167356A (ja) 2003-11-28 2005-06-23 Canon Inc 撮像素子
KR20050102658A (ko) * 2003-02-21 2005-10-26 소니 가부시끼 가이샤 고체촬상장치 및 그 구동방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1099613A (en) * 1964-10-15 1968-01-17 Polaroid Corp Improvements relating to colour television systems
JP3162908B2 (ja) * 1994-06-24 2001-05-08 三洋電機株式会社 映像信号処理装置
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
US6078307A (en) 1998-03-12 2000-06-20 Sharp Laboratories Of America, Inc. Method for increasing luminance resolution of color panel display systems
KR100745386B1 (ko) * 1999-02-19 2007-08-03 소니 가부시끼 가이샤 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체
JP2000299870A (ja) * 1999-04-13 2000-10-24 Seiko Epson Corp デジタルカメラ
JP4136255B2 (ja) * 2000-02-29 2008-08-20 キヤノン株式会社 画像処理装置及びその方法
JP2002010276A (ja) * 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP2002232831A (ja) * 2001-01-30 2002-08-16 Olympus Optical Co Ltd 画像記録装置
JP3983101B2 (ja) * 2001-05-25 2007-09-26 株式会社リコー 画像処理装置、画像読み取り装置、画像形成装置およびカラー複写装置
JP2003304544A (ja) * 2002-04-10 2003-10-24 Canon Inc 撮像装置
JP4190805B2 (ja) * 2002-06-12 2008-12-03 オリンパス株式会社 撮像装置
JP4285948B2 (ja) * 2002-06-18 2009-06-24 オリンパス株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6632701B2 (en) 2000-09-25 2003-10-14 Foveon, Inc. Vertical color filter detector group and array
KR20050102658A (ko) * 2003-02-21 2005-10-26 소니 가부시끼 가이샤 고체촬상장치 및 그 구동방법
JP2005143038A (ja) 2003-11-10 2005-06-02 Matsushita Electric Ind Co Ltd 撮像装置及び撮像方法
JP2005167356A (ja) 2003-11-28 2005-06-23 Canon Inc 撮像素子

Also Published As

Publication number Publication date
EP1801749A3 (en) 2008-10-29
US20070139540A1 (en) 2007-06-21
US7557842B2 (en) 2009-07-07
EP1801749B1 (en) 2010-01-06
TWI345420B (en) 2011-07-11
CN1988594A (zh) 2007-06-27
JP4573769B2 (ja) 2010-11-04
CN1988594B (zh) 2011-08-10
DE602006011568D1 (de) 2010-02-25
JP2007174117A (ja) 2007-07-05
KR20070065766A (ko) 2007-06-25
TW200726264A (en) 2007-07-01
ATE454679T1 (de) 2010-01-15
EP1801749A2 (en) 2007-06-27

Similar Documents

Publication Publication Date Title
KR100786154B1 (ko) 화상 처리 회로 및 화상 처리 방법
JP4292426B2 (ja) 撮像装置および撮像データ補正方法
JP4948090B2 (ja) 撮像装置及び駆動制御方法
CN110225242B (zh) 摄像元件、摄像元件的控制方法和摄像设备
US9661244B2 (en) Image sensing apparatus
US7324236B2 (en) Discrepancy correction method and apparatus for correcting difference in levels of image signals obtained by an image sensor having a multiple output channels
CN103748868A (zh) 成像设备、信号处理方法及程序
US7777793B2 (en) Signal processor having A/D conversion unit and operation part
KR20070068262A (ko) 신호 처리 장치
JP2004320128A (ja) 欠陥画素補正装置
JP4077161B2 (ja) 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム
JP3865943B2 (ja) シェーディング補正方法
US10136088B2 (en) Image pickup apparatus that reduces amount of information of defective pixels, method of controlling the same, and storage medium
JP2002218186A (ja) 撮像装置及び画像信号の調整方法
JP2004222158A (ja) 固体撮像装置の制御方法
KR100845673B1 (ko) 다분할 읽어내기 ｃｃｄ 보정 처리 장치 및 방법
JP2020129755A (ja) 画像処理装及び方法、及び撮像装置
US7916188B2 (en) Correction approximating straight line group information generating method of multi-divided reading CCD, and correction processing device manufacturing method of multi-divided reading CCD
JP7453819B2 (ja) イメージセンサ及び撮像装置
JP2006054927A (ja) シェーディング補正方法
JP2001346012A (ja) 画像読取装置及び画像信号の調整方法
JP2004007160A (ja) シェーディング補正装置
US7518637B2 (en) Imaging processing apparatus
JP2003274122A (ja) オリジナルイメージから電気的イメージ信号を生成する装置
JP2007053791A (ja) シェーディング補正方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121121

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131118

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141120

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 11