KR101587901B1 - 이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라 - Google Patents

이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라 Download PDF

Info

Publication number
KR101587901B1
KR101587901B1 KR1020090041172A KR20090041172A KR101587901B1 KR 101587901 B1 KR101587901 B1 KR 101587901B1 KR 1020090041172 A KR1020090041172 A KR 1020090041172A KR 20090041172 A KR20090041172 A KR 20090041172A KR 101587901 B1 KR101587901 B1 KR 101587901B1
Authority
KR
South Korea
Prior art keywords
group
image data
register
output
parallel
Prior art date
Application number
KR1020090041172A
Other languages
English (en)
Other versions
KR20090118857A (ko
Inventor
세이지로 사카네
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20090118857A publication Critical patent/KR20090118857A/ko
Application granted granted Critical
Publication of KR101587901B1 publication Critical patent/KR101587901B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

이미지 센서는, 광을 광전 변환함으로써 화상 데이터를 취득하도록 구성된 화소 어레이 블록; 이미지 센서의 처리에 관한 정보를 기억하도록 구성된 레지스터 그룹; 및 패럴렐 출력으로 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스를 포함하고, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 패럴렐 인터페이스는 또한, 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 외부에 출력한다.
이미지 센서, 화소 어레이 블록(pixel array block), 레지스터 그룹, 패럴렐 인터페이스(parallel intherface), 화상 처리 모듈, 촬상 장치, 카메라

Description

이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라 {IMAGE SENSOR, DATA OUTPUT METHOD, IMAGE PICKUP DEVICE, AND CAMERA}
본 발명은, 이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라에 관한 것이며, 보다 자세하게는, 회로를 대규모화하지 않고, 이미지 센서의 처리에 관한 정보를 고속으로 출력하도록 구성된 이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라에 관한 것이다.
화상의 촬상을 행하는 촬상 장치는, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor) 센서 등과 같은, 광전 변환에 의해 얻어지는 화상 데이터를 출력하는 이미지 센서 및 DSP(Digtal Signal Processor) 등과 같은, 화상 데이터를 처리하는 프로세서를 가진다.
CMOS 센서에 의해서는, 화상 데이터는 패럴렐(parallel) 출력으로 외부의 DSP에 출력(또는 전송)되고, 그것에 의해 화상 데이터의 전송 효율을 높이고 있다(예를 들면, 일본 특허출원 공개번호 2008-048313호 참조).
또한, CMOS 센서는 CMOS 센서 내부의 정보를 기억하도록 구성된 레지스터 그룹을 내장한다.
CMOS 센서의 내부의 정보에는, CMOS 센서 내에서 행해지는 처리에 관한 다양한 종류의 정보가 있다. CMOS 정보 내에서 행해지는 처리에 관한 정보로는, 예를 들면, 화상 데이터의 게인(gain), 즉 CMOS 센서에 의해 화상 데이터가 증폭되는 증폭률의 정보인 게인 정보(gain information) 및, CMOS 센서의 동작 모드를 나타내는 동작 모드 정보와 같은, CMOS 센서 내에서 행해지는 처리를 결정하는 정보가 있다.
외부의 DSP는, CMOS 센서의 감시 및 제어를 위하여, CMOS 센서에 내장된 레지스터 그룹에 기억되어 있는 값(이하, 레지스터 값 그룹(register value group)이라고도 언급됨)의 기록(wirte) 및 판독(read)을 행한다.
보다 상세하게는, CMOS 센서는 패럴렐 출력으로 화상 데이터를 출력하도록 구성된 패럴렐 I/F(Interface) 및 레지스터 값 그룹을 판독 및 기록하기 위해 외부에서, 2-선(two-wire) 시리얼 통신이나 3-선(three-wire) 시리얼 통신과 같은 시리얼 통신을 행하도록 구성된 시리얼 I/F를 가진다.
그리고, CMOS 센서에 의해서는, DSP에서의 레지스터 값 그룹의 기록 및 판독 동작은 시리얼 I/F를 통한 시리얼 통신으로 행해진다.
에코백(echoback) 방식으로 외부의 레지스터 값 그룹을 판독하는 CMOS 센서는 알려져 있다.
에코백 방식에 있어서는, 레지스터 값 그룹이 CMOS 센서에 기록될 때, 레지 스터 그룹에 지금까지 기억되어 있는 레지스터 값 그룹은 시리얼 출력 방식(또는 에코백)으로 CMOS 센서로부터 출력된다.
에코백 방식에서는, 레지스터 그룹에 기록 동작이 행하여지지 않으면, 레지스터 값 그룹이 출력되지 않기 때문에, 레지스터 값 그룹의 판독하기 위해서는 적당한 값이 레지스터 그룹에 기록되어야 한다.
도 1을 참조하면, 종래의 촬상 장치의 대표적인 구성을 나타내는 블록도를 도시하고 있다.
도 1에 도시된 바와 같이, 촬상 장치는 CMOS 센서(10) 및 DSP(20)를 가진다. CMOS 센서(10) 및 DSP(20)는 패럴렐 출력선(30) 및 시리얼 통신선(40) 둘 모두에 의해 상호 연결되어 있다.
CMOS 센서(10)는 화소 어레이 블록(pixel array block)(11), 패럴렐 I/F(12), 레지스터 그룹(13), 및 시리얼 I/F(14)를 가진다.
화소 어레이 블록(11)은, 거기에 입사하는 광을 광전 변환하기 위해 매트릭스형으로 배치된 광전 변환 소자로서의 화소를 가지고, 그것에 의해 전기 신호로서의 화상 데이터를 취득한다.
화소 어레이 불록(11)으로부터 출력되는 화상 데이터는, 각각의 화소가 색신호 R(Red), G(Green), 또는 B(Blue) 중 어느 하나를 화소값으로 가지는 베이어(Bayer) 배열로 되어 있다. 즉, 화소 어레이 블록(11)의 화소(또는 도시되지 않은 컬러 필터)의 배열은 베이어 배열이다.
화소 어레이 블록(11)에 의해 취득된 화상 데이터로서의 각 화소의 화소값 은, 예를 들면, 10-비트 패럴렐 버스 및 8-채널의 시리얼 버스를 통하여 패럴렐 I/F(12)에 고속 출력된다.
패럴렐 I/F(12)는, 화소 어레이 블록(11)으로부터의 화상 데이터를 수신하고, CMOS 센서(10)의 외부, 즉 여기서는 패럴렐 출력으로 외부의 DSP(20)에 수신된 화상 데이터를 출력한다.
패럴렐 I/F(12) 및 DSP(20)는 패럴렐 출력선(30)으로 상호 연결되어 있다는 것을 주의해야한다.
패럴렐 출력선(30)은 화상 데이터 출력선(31) 및 패럴렐 클록선(clock line)(32)을 가진다.
화상 데이터 출력선(31)은 예를 들면, LVDS(Low Voltage Differential Signaling)의 12개의 신호선이다. 패럴렐 I/F(12)는, 화상 데이터로서의 각 화소의 화소값을 수 100mV 내지 350mV 정도의 진폭을 가지는 차동 신호에 의해 화상 데이터 출력선(31)을 통하여 패럴렐 출력으로 DSP(20)에 송신(또는 출력)한다.
패럴렐 클록선(32)은 예를 들면, LVDS의 480MHz의 클록을 송신하기 위한 신호선이다. 패럴렐 I/F(12)는 패럴렐 클록선(32)를 통하여 DSP(20)에 LVDS의 480MHz의 클록을 공급(또는 출력)한다.
DSP(20)는, 패럴렐 클록선(32)를 통하여 공급되는 클록에 동기하여, 화상 데이터 출력선(31)을 통하여 송신되는 화상 데이터를 수신하고, 수신된 화상 데이타에 필요한 처리를 행하여 처리된 화상 데이터를 출력하도록 한다. DSP(20)에 의해 행하여진 처리로서는, 예를 들면, 손떨림 보정 및 화상 데이터의 동적 범 위(dynamic range)를 확대가 있다.
한편, CMOS 센서(10)에 있어서, 레지스터 그룹(13)은 CMOS 센서(10)의 내부의 정보를 기억한다.
레지스터 그룹(13)에 레지스터 값(그룹)을 기록하는 것은, 외부로부터의 지시 없이 CMOS 센서(10) 자신에 의해 또는 외부로부터의 주어진 지시에 따라 행하여진다.
즉, CMOS 센서(10)는 예를 들면, 화상 데이터가 광전 변환에 의해 얻어졌을 때 제공되는 광학적 블랙 레벨을 나타내는 OPB(OPtical Black) 정보를 레지스터 그룹(13)에 기록한다.
또한, 레지스터 그룹(13)은, 예를 들면, 외부의 DSP(20)로부터의 주어진 지시에 따라 게인 정보를 기억한다.
레지스터 그룹(13)에 기억되어 있는 정보(또는 레지스터 값 그룹)는 CMOS 센서(10) 내에 있어서 필요에 따라 참조 되어, 예를 들면, CMOS 센서(10)에서 행하여지는 처리(또는 그것의 내용)를 결정하는 데 사용된다. 즉, 예를 들면, 화소 어레이 블록(11)에서는, 화상 데이터는 레지스터 그룹(13)에 기억되어 있는 게인 정보에 의해 나타내는 게인에 의해 다양화된다.
또한, 레지스터 그룹(13)에 기억되어 있는 정보는 필요에 따라 외부의 DSP(20)에 의해 판독된다.
외부의 DSP(20)로부터 공급된 정보를 레지스터 그룹(13)으로의 또는 레지스터 그룹(13)으로부터의 기록 및 판독은 시리얼 I/F(14)를 통하여 행해진다.
즉, 시리얼 I/F(14) 및 DSP(20)은 시리얼 통신선(40)에 의해 상호 연결되어 있다.
시리얼 통신선(40)은 3-선 시리얼 통신을 행하기 위한 신호선이고, 레지스터 기록선(41), 레지스터 판독선(42), 및 시리얼 클록선(43)을 가진다.
레지스터 기록선(41)은 외부로부터 레지스터 그룹(13)에 정보를 기록하는데 사용되는 신호선이다. DSP(20)는 레지스터 그룹(13)에 기록되어 있는 정보를 레지스터 기록선(41)을 통하여 시리얼 통신으로 시리얼 I/F(14)에 송신한다. 시리얼 I/F(14)는 레지스터 기록선(41)을 통하여 DSP(20)로부터 송신되는 신호를 수신하고, 레지스터 그룹(13)에 수신된 신호를 기록한다.
레지스터 판독선(42)은 레지스터 그룹(13)에 기억되어 있는 정보(또는 레지스터 값 그룹)를 외부로의 판독에 사용되는 신호선이다. 시리얼 통신선(40)을 통하여 DSP(20)에 의해 레지스터 값(그룹)이 요청된다면, 시리얼 I/F(14)는 그 요청이 있었던 레지스터 값 그룹을 레지스터 그룹(13)으로부터 판독하고, 레지스터 판독선(42)을 통하여 DSP(20)에 레지스터 값 그룹을 송신한다.
시리얼 클록 선(43)은 레지스터 기록선(41) 및 레지스터 판독선(42)을 통하여 시리얼 I/F(14)와 DSP(20) 사이에서 레지스터 값 그룹을 교환하기 위하여 클록을 송신하는데 사용되는 신호선이다. 외부의 DSP(20)는 수 kHz 내지 수 10MHz 의 클록을 시리얼 클록선(43)을 통하여 시리얼 I/F(14)에 공급(또는 출력)한다.
시리얼 I/F(14)와 DSP(20)사이에서의 레지스터 값 그룹의 교환은 시리얼 클록선(43) 상의 클록에 동기하여 행해진다.
전술한 바와 같이, CMOS 센서(10)의 레지스터 그룹(13)으로부터 DSP(20)으로의 판독은, 한 개의 레지스터 판독선(42)의 사용에 의한 시리얼 통신에 의해 수 kHz 내지 수 10MHz라는 늦은 클록에 동기하여 행해진다.
한편, 최근에는, CMOS 센서(10)의 후단에 배열된 DSP(20)를 통하여 다양한 종류의 감시 및 CMOS 센서(10)상에 라인을 행하기 위하여, CMOS 센서(10)로의 다양한 종류의 내부 정보가 요구된다. 이러한 요구가 다양한 종류의 내부 정보를 외부에 출력하도록 구성된 CMOS 센서의 개발을 촉진시켰다.
그러나, CMOS 센서(10)로부터의 많은 내부 정보(또는 레지스터 값 그룹)의 판독이 전술한 바와 같은 시리얼 통신으로 행하여진다면, 레지스터 값 그룹의 판독하는데 시간이 걸릴 것이다. 따라서, 후단의 DSP(20)에 있어서, 레지스터 값 그룹에 따라 처리가 행하여지는 경우에는, 레지스터 값 그룹의 판독에 요구되는 시간은 처리 지연을 야기할 것이다.
이 문제점을 해결하기 위하여, 고속의 패럴렐 출력용 I/F가 새롭게 설치될 수 있고, 그 새롭게 설치된 I/F를 통하여 CMOS 센서(10)로부터 레지스터 값 그룹의 판독을 행하도록 한다.
그러나, CMOS 센서(10) 상에 그러한 I/F를 새롭게 설치하는 것은 CMOS 센서(10)의 회로 규모를 증대시킨다.
만약 시리얼 I/F(14)이 패럴렐 출력용 I/F로 변경되면, CMOS 센서(10)는 소위 상위 호환성(upward compatibility)이 없어지게 될 것을 주의해야한다.
그러므로, 본 실시예는 상기 지적된 문제 및, 종래의 방법 및 장치와 관련된 다른 문제를 제기하며, 회로 규모의 증대 없이 CMOS 센서와 같은 이미지 센서의 처리에 관한 정보를 고속으로 외부에 출력하도록 구성된 이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라를 제공함으로써 제기된 문제를 해결한다.
본 발명의 제1 실시예를 실행하도록, 이미지 센서가 제공된다. 이러한 이미지 센서는, 광(light)을 광전 변환함으로써 화상 데이터를 취득하도록 구성된 화소 어레이 블록; 이미지 센서의 처리에 관한 정보를 기억하도록 구성된 레지스터 그룹; 및 패럴렐 출력으로 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스를 포함하고, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 패럴렐 인터페이스는 또한, 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 외부에 출력한다.
본 발명의 제1 실시예에 따른 데이터 출력 방법은, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 이미지 센서의 패럴렐 인터페이스에 의해, 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 외부에 출력하는 단계를 포함하고, 이미지 센서는 광을 광전 변환함으로써 화상 데이터를 취득하도록 구성된 화소 어레이 블록, 이미지 센서의 처리에 관한 정보를 기억하도록 구성된 레지스터 그룹, 및 패럴 렐 출력으로 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스를 포함한다.
전술한 본 발명의 제1 실시예에 있어서는, 패럴렐 출력으로 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스는 또한, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 외부에 출력하도록 구성된다.
본 발명의 제2 실시예를 실행하도록, 촬상 장치가 제공된다. 이러한 촬상 장치는 화상 데이터를 출력하도록 구성된 이미지 센서; 및 이미지 센서로부터 출력된 화상 데이터를 수신하도록 구성된 프로세서를 포함한다. 이미지 센서는 광을 광전 변환함으로써 화상 데이터를 취득하도록 구성된 화소 어레이 블록, 이미지 센서의 처리에 관한 정보를 기억하도록 구성된 레지스터 그룹, 및 패럴렐 출력으로 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스를 포함한다. 이러한 촬상 장치에 있어서, 패럴렐 인터페이스는 또한, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 외부에 출력하고, 프로세서는 패럴렐 인터페이스로부터 출력된 화상 데이터 및 레지스터 값 그룹을 수신한다.
전술한 바와 같이, 본 발명의 제2 실시예에서는, 패럴렐 출력으로 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스는 또한, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 외부에 출력하도록 구성된다. 그래서, 프로세서는 패럴렐 인터페이스로부터 출력된 화상 데이터 및 레지스터 값 그룹을 수신한다.
본 발명의 제3 실시예를 실행하도록, 카메라가 제공된다. 이러한 카메라는, 광학계(optical system), 화상 데이터를 출력하도록 구성된 이미지 센서, 및 이미지 센서로부터 출력된 화상 데이터를 수신하도록 구성된 프로세서를 포함한다. 이러한 구성에서, 이미지 센서는, 광학계로부터의 광을 광전 변환함으로써 화상 데이터를 취득하도록 구성된 화소 어레이 블록, 이미지 센서의 처리에 관한 정보를 기억하도록 구성된 레지스터 그룹, 및 패럴렐 출력으로 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스를 포함하고, 패럴렐 인터페이스는 또한, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 외부에 출력하고, 프로세서는 패럴렐 인터페이스로부터 출력된 화상 데이터 및 레지스터 값 그룹을 수신한다.
전술한 바와 같이, 본 발명의 제3 실시예에 있어서는, 패럴렐 출력으로 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스는 또한, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 외부에 출력하도록 구성된다. 그래서, 프로세서는 패럴렐 인터페이스로부터 출력된 화상 데이터 및 레지스터 값 그룹을 수신한다.
이미지 센서, 촬상 장치, 및 카메라는 각각 독립된 장치 또는 장치의 한 유닛을 구성하는 내부 블록이 될 수 있다는 것을 주의해야한다.
즉, 예를 들면, 카메라는, 독립된 카메라 제품으로 될 수도 있고, 휴대 전화기 또는 PC(Personal Computer)에 내장되는 카메라로 될 수도 있다.
본 발명의 제1 내지 제3 실시예에 따르면, 이미지 센서에 의한 처리에 관한 정보는 회로 규모의 증대 없이 고속으로 외부에 출력될 수 있다.
본 발명은 실시예와 실시예에 수반되는 도면 참조를 통하여 더 상세하게 기재된다. 이제, 도 2를 참조하면, 본 발명의 일 실시예로써 적용된 촬상 장치를 나타내는 블록도를 도시하고 있다.
도 1을 참조하여 전술한 구성성분과 대응되는 도 2를 참조하는 구성성분에 대하여는, 동일한 참조 번호를 부여하고, 그것에 대한 설명은 적당히 생략될 것이라는 것을 주의해야한다.
촬상 장치는 광전 변환에 의해 얻어지는 화상 데이터를 출력하는 이미지 센서 및 화상 데이터를 처리하는 프로세서를 포함하는 장치이다.
도 2에 있어서, 촬상 장치는 CMOS 센서(110) 및 DSP(120)가 패럴렐 출력선(30) 및 시리얼 통신선(40)에 의해 상호 연결되어 있는 점에서, CMOS 센서(10) 및 DSP(20)가 패럴렐 출력선(30) 및 시리얼 통신선(40)에 의해 상호 연결되어 있는 도 1에 도시된 경우와 실질적으로 동일하다.
그러나, 도 2를 참조하면, 도 2에 도시된 촬상 장치는 CMOS 센서(110) 및 DSP(120)를 가지는 점에서, CMOS 센서(10) 및 DSP(20)를 가지는 도 1에 도시된 촬 상 장치와 상이하다.
CMOS 센서(110)는 화상 데이터를 출력하는 이미지 센서의 일례이다. CMOS 센서(110)는 CMOS 센서(110)에 입사하는 광을 광전 변환함으로써 화상 데이터를 취득하고, 그 획득된 화상 데이터를 패럴렐 출력선(30)을 통하여 외부에 출력한다.
화상 데이터 이외에, CMOS 센서(110)는 CMOS 센서(110)의 내부의 정보인 레지스터 값 그룹도 패럴렐 출력 선(30)을 통하여 출력한다.
DSP(120)는 이미지 센서에 의해 출력되는 화상 데이터를 수신하는 프로세서의 일례이다. DSP(120)는 패럴렐 출력 선(30)을 통하여 CMOS 센서(110)에 의해 출력되는 화상 데이터를 수신하고, 수신된 화상 데이터 상에 필요한 처리를 행하고 처리된 화상 데이터를 출력한다.
게다가, DSP(120)는 패럴렐 출력선(30)을 통하여 CMOS 센서(110)에 의해 출력되는 레지스터 값 그룹 또한 수신한다. 이러한 레지스터 값 그룹은 필요에 따라 DSP(120)에 의해 수행되는 처리에 사용된다.
CMOS 센서(110) 및 DSP(120)는 패럴렐 출력선(30)에 의해서뿐만 아니라 시리얼 통신선(40)에 의해서도 상호 연결되어 있다.
그래서, DSP(120)는 시리얼 통신선(40)의 레지스터 기록선(41)을 통하여 CMOS 센서(110)에 레지스터 값 그룹을 기록한다.
도 1에 도시된 CMOS 센서(10)에 대한 상위 호환성을 갖게 하기 위해서, CMOS 센서(110)는 시리얼 통신선(40)의 레지스터 판독선(42)을 통하여 외부로 레지스터 값 그룹을 출력하도록 구성된다.
즉, 전술한 바와 같이, CMOS 센서(110)는 패럴렐 출력선(30)을 통하여 외부에 레지스터 값 그룹을 출력하고, 동시에, CMOS 센서(110)는 또한 시리얼 통신선(40)을 통하여 외부에 레지스터 값 그룹을 출력하는 것도 가능하다.
도 1에 도시된 CMOS 센서(10)에 대한 상위 호환성을 갖게 할 필요가 없는 경우에는, CMOS 센서(110)는 시리얼 통신선(40)의 레지스터 판독선(42)을 통하여 외부로 레지스터 값 그룹을 출력하지 못하도록 구성될 수 있다는 것을 주의해야한다. 이 경우, 시리얼 통신선(40)은 점선으로 나타낸 레지스터 판독선(42)을 설치하지 않고 구성될 수 있다.
도 3을 참조하면, 도 2에 도시된 CMOS 센서(110)의 대표적인 구성을 도시하고 있다.
도 1을 참조하여 전술한 도 1에 도시된 CMOS 센서(10)의 구성성분과 대응되는 도 3을 참조하는 구성성분에 대하여는, 동일한 참조 번호를 부여하고, 그것에 대한 설명은 적당히 생략될 것이라는 것을 주의해야한다.
즉, CMOS 센서(110)는 화소 어레이 블록(11), 레지스터 그룹(13), 및 시리얼 I/F(14)를 가진다는 점에서, 도 1에 도시된 CMOS 센서(10)와 공통된다.
그러나, CMOS 센서(110)는 패럴렐 I/F(12) 대신해 패럴렐 I/F(112)를 가진다는 점에서, 도 1에 도시된 CMOS 센서(10)와 상이하다.
패럴렐 I/F(112)에는 화소 어레이 블록(11)으로부터 출력되는 화상 데이터 이외에 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹이 공급된다.
패럴렐 I/F(112)는 패럴렐 출력선(30)을 통하여 DSP(120)에 연결되고, 도 1 에 도시된 패럴렐 I/F(12)와 마찬가지로, 패럴렐 출력선(30)을 통하여 패럴렐 출력으로 화소 어레이 블록(11)으로부터 화상 데이터로서의 각 화소의 화소값을 DSP(120)에 송신(또는 출력)한다.
게다가, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 패럴렐 I/F(112)는 패럴렐 출력선(30)을 통하여 패럴렐 출력으로 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹을 외부의 DSP(120)에 송신(또는 출력)한다.
패럴렐 I/F(112)에 의해 화상 데이터가 외부에 출력되고 있지 않을 때는 예를 들면, 수평 블랭킹(blanking) 기간 또는 수직 블랭킹 기간이다.
도 1에 도시된 DSP(20) 같이, DSP(120)는 패럴렐 출력선(30)을 통하여 패럴렐 I/F(112)로부터 송신되는 화상 데이터를 수신하고, 수신된 화상 데이터 상에 필요한 처리를 행하고 처리된 화상 데이터를 출력을 행한다는 것을 주의해야한다. DSP(120)에 의해 행하여지는 처리로서는, 예를 들면, 손떨림 보정 및 화상 데이터의 동적 범위를 확대가 있다.
게다가, DSP(120)는 패럴렐 출력선(30)을 통하여 패럴렐 I/F(112)로부터 송신되는 레지스터 값 그룹을 수신한다. DSP(120)는 패럴렐 I/F(112)로부터의 레지스터 값 그룹을 감시하고, 필요에 따라 예를 들어, CMOS 센서(110) 상에 제어를 행한다.
도 4는 패럴렐 출력선(30)을 통하여 패럴렐 I/F(112)로부터 출력되는 데이터(이하, 패럴렐 데이터라고도 언급됨)의 포맷을 도시하고 있다.
패럴렐 I/F(112)는 예를 들면, 한 필드 또는 한 프레임인 한 화면에 해당하 는 화상 데이터에 동기하여 레지스터 값 그룹을 출력한다.
즉, 패럴렐 I/F(112)는 예를 들면, 한 블랭킹 기간, 즉 한 화면에 해당하는 화상 데이터의 출력의 종료와 다음의 한 화면에 해당하는 화상 데이터의 출력의 개시 사이 동안에 레지스터 값 그룹을 출력한다.
한 화면에 해당하는 화상 데이터에 동기하여 그 한 화면에 해당하는 화상 데이터의 바로 다음의 수직 블랭킹 기간 동안에 패럴렐 I/F(112)로부터 출력되는 레지스터 값 그룹에 대해서는, 예를 들면, 그 한 화면에 해당하는 화상 데이터가 화소 어레이 블록(11)에서 얻어진 때, 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹이 사용될 수 있다.
이와 같이, 패럴렐 I/F(112)에 있어서, 한 화면에 해당하는 화상 데이터에 동기하여 그 한 화면에 해당하는 화상 데이터가 화소 어레이 블록(11)에서 얻어진 때의 레지스터 값 그룹을 출력함으로써, DSP(120)는 CMOS 센서(110) 내에서 행하여진 한 화면에 해당하는 화상 데이터를 얻기 위한 처리에 관한 정보를 모아서 취득할 수 있다.
즉, DSP(120)는 예를 들면, CMOS 센서(110)에서 한 화면에 해당하는 화상 데이터를 얻기 위한 처리가 행하여질 때, 설정되어 있었던 CMOS 센서(110)의 동작을 결정하는 파라미터 등을 모아서 취득할 수 있다.
한 화면에 해당하는 화상 데이터에 동기하여 패럴렐 I/F(112)에 의해 출력되는 레지스터 값 그룹은, 예를 들면, 도 4에 도시된 바와 같이, 스탠바이 정보, 동작 모드 정보, 게인 정보, 전자 셔터 정보, OPB 정보 등이 있다.
스탠바이 정보는 CMOS 센서(110)가 저소비 전력 모드로 되어 있는지 여부를 나타낸다. 동작 모드 정보는 CMOS 센서(110)의 (화소 어레이 블록(11)의) 비닝(binninig) 모드(예를 들면, 인접하는 2×2 화소의 화소값의 가산값이 한 화소의 화소값으로써 출력되는지 여부)를 나타낸다.
게인 정보는 화소 어레이 블록(11)에 의해 출력되는 화상 데이터의 게인(또는 화소 어레이 블록(11)에 있어서, 화상 데이터(또는 화소값)를 증폭할 때의 증폭률)을 나타낸다. 전자 셔터 정보는 화소 어레이 블록(11)의 전자 셔터 상태(전자 셔터가 얼마나 넓게 열렸는지로, 등가적으로는 조리개 상태)를 나타낸다. OPB 정보는 광학적 블랙의 레벨을 나타낸다.
한 화면에 해당하는 화상 데이터에 동기하여 패럴렐 I/F(112)에 의해 출력되는 레지스터 값 그룹은, 한 개의 레지스터 값이 될 수도 있고, 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹 전부를 포함하는 복수 개의 레지스터 값이 될 수 있다는 것을 주의해야한다.
패럴렐 I/F(112)에 의해 출력되는 레지스터 값 그룹은, 예를 들면, 시리얼 통신선(40)을 통하여 DSP(120)로부터 레지스터 그룹(13)으로 사전에 정해진 레지스터 값을 기록함으로써 제어(또는 지정)될 수 있다.
또한, 레지스터 값 그룹이 패럴렐 출력선(30)을 통하여 패럴렐 I/F(112)로부터 출력되는지 또는 시리얼 통신선(40)을 통하여 시리얼 I/F(14)로부터 출력되는지 여부는, 시리얼 통신선(40)을 통하여 DSP(120)로부터 레지스터 그룹(13)으로 사전에 정해진 레지스터 값을 기록함으로써 제어될 수 있다.
도 4에 도시된 바와 같이, 패럴렐 I/F(112)에 있어서 수직 블랭킹 기간 동안에 레지스터 값 그룹이 출력되는 경우에는, 레지스터 값 그룹의 데이터량은 수직 블랭킹 기간 동안에 패럴렐 출력으로 출력(또는 송신)될 수 있는 데이터량으로 제한된다는 것을 주의해야한다.
다음은, 도 5a 및 5b를 참조하여, 도 2에 도시된 촬상 장치의 처리(또는 동작)를 설명한다.
도 5a는, 도 2에 도시된 CMOS 센서(110)에 의해 행하여지는 처리를 나타내는 플로차트이다.
CMOS 센서(110)에서는, 화소 어레이 블록(11)이 거기에 입사하는 광을 전기 신호인 화상 데이터로 광전 변환하고, 그리고나서 화상 데이터는 출력된다.
CMOS 센서(110)로부터 출력되는 화상 데이터는 패럴렐 I/F(112)에 공급된다.
CMOS 센서(110)로부터 화상 데이터를 수신하면, 패럴렐 I/F(112)는 단계 S11에서 패럴렐 출력선(30)을 통하여 패럴렐 출력으로 수신된 화상 데이터를 DSP(120)에 출력한다.
한 화면으로서의 예를 들면, 한 프레임에 해당하는 화상 데이터의 출력이 패럴렐 I/F(112)에서 종료되면, 즉 예를 들면, 수직 블랭킹 기간으로 들어가면, 처리는 단계 S11로부터 단계 S12로 진행하고, 패럴렐 I/F(112)는 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹, 즉 예를 들면, 직전에 송신된 한 프레임에 해당하는 화상 데이터가 화소 어레이 블록(11)에 의해 얻어진 때의 레지스터 값 그룹을 패럴렐 출력선(30)을 통하여 패럴렐 출력으로 DSP(120)에 출력한다.
따라서, 패럴렐 I/F(112)에서는, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹이 패럴렐 출력으로 외부에 출력된다.
전술한 바와 같이, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹이 패럴렐 출력에 의해 외부에 출력되어, 회로 규모의 증대 없이 CMOS 센서(110)의 처리에 관한 정보가 고속으로 외부에 출력될 수 있도록 한다.
결과적으로, 외부의 DSP(120)는 시리얼 통신선(40)을 통하여 행하여지는 (저속의)시리얼 통신에 의해 레지스터 값 그룹을 판독하는 경우와 비교하여, 많은 레지스터 값 그룹을 비교적 단시간에 취득할 수 있다.
레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹의 외부로의 출력의 종료 및 수직 블랭킹 기간의 종료되어, 화소 어레이 블록(11)이 다음의 한 프레임의 화상 데이터의 출력을 개시하면, 처리는 단계 S12로부터 단계 S11으로 복귀하고, CMOS 센서(110)는 전술한 처리를 반복한다.
도 5b는, 도 2에 도시된 DSP(120)의 처리에 과한 플로차트를 도시한다.
DSP(120)는 단계 S21에 있어서, 패럴렐 출력선(30)을 통하여 CMOS 센서(110)의 패럴렐 I/F(112)로부터의 화상 데이터의 송신(또는 출력)을 기다리고, 화상 데이터를 수신한다.
DSP(120)가 한 프레임에 해당하는 화상 데이터를 수신하면, 처리는 단계 S21로부터 단계 S22으로 진행하고, DSP(120)는 화상 데이터에 동기하여 패럴렐 I/F(112)에 의해 송신(또는 출력)되는 레지스터 값 그룹, 즉 수신된 한 프레임의 화상 데이터 직후, 그 한 프레임의 화상 데이터가 화소 어레이 블록(11)에서 얻어지기 직전의 수직 블랭킹 기간 동안에 송신되는 레지스터 값 그룹을 수신한다. 그리고나서 처리는 단계 S23으로 진행한다.
전술한 바와 같이, DSP(120)는 패럴렐 출력으로 CMOS 센서(110)로부터 송신되는 레지스터 값 그룹을 수신하여, 시리얼 통신에서 CMOS 센서(110)로부터 레지스터 값 그룹을 판독할 필요가 없도록 한다.
단계 S23에서는, DSP(120)는 단계 S22에서 수신된 레지스터 값 그룹에 기초하여 CMOS 센서(110)를 제어할 필요가 있는지 여부를 결정한다.
단계 S23에서 CMOS 센서(110)의 제어가 필요가 없는 것으로 판정된 경우, 처리는 단계 S24를 생략하여 단계 S21로 돌아온다. 단계 S21에서는, DSP(120)는 패럴렐 I/F(112)로부터 다음의 한 프레임의 화상 데이터가 송신을 기다리고, 화상 데이터를 수신하고, 이하, 전술한 것과 같은 처리를 반복한다.
반면에, 단계 S23에서 CMOS 센서(110)의 제어가 필요가 있는 것으로 판정된 경우, 처리는 단계 S24으로 진행하고, DSP(120)는 단계 S22에서 수신된 레지스터 값 그룹에 기초하여 CMOS 센서(110) 상에 필요한 제어 동작을 행한다.
즉, DSP(120)는 레지스터 그룹(13)에 레지스터 값을 기록하도록 시리얼 통신선(40)을 통하여 시리얼 통신으로 필요한 레지스터 값을 송신하고, 그것에 의해 CMOS 센서(110)를 제어한다.
구체적으로는, 예를 들면, CMOS 센서(110)로부터 DSP(120)에 의해 수신된 레 지스터 값 그룹이 게인 정보를 포함하는 경우에 있어서, 그 게인 정보가 사전에 정해진 임계값 이하인 경우, 즉 화상 데이터가 비교적 어두운 경우에는, 단계 S23에서, CMOS 센서(110)의 게인이 제어될 필요가 있다고 판정된다.
그리고 나서, 단계 S24에서는, 예를 들면, 현재의 게인(단계 S22에서 수신된 레지스터 값 그룹에 포함되는 게인 정보가 나타내는 게인)보다 사전에 정해진 값 만큼 더 큰 게인을 나타내는 게인 정보가 시리얼 통신으로 레지스터 그룹(13)에 기록되도록 DSP(120)는 CMOS 센서(110)를 제어하고, 그것에 의해 CMOS 센서(110)의 게인이 커진다.
전술한 바와 같이, 도 2에 도시된 촬상 장치에서는, 화상 데이터에 동기하여 CMOS 센서(110)에 의해 출력되는 레지스터 값 그룹이 CMOS 센서(110)에 피드백을 적용하기(또는 COMS 센서(110)를 제어하기) 위한 정보(또는 기준)로서 사용될 수 있다.
단계 S24의 후에는, 처리는 이하, 전술한 것과 같은 처리가 반복되도록 단계 S21으로 복귀한다.
도 6을 참조하면, 도 2에 도시된 CMOS 센서(110)의 또 다른 대표적인 구성을 도시하고 있다.
도 3을 참조하여 전술한 구성성분과 대응되는 도 6을 참조하는 구성성분에 대하여는, 동일한 참조 번호를 부여하고, 그것에 대한 설명은 적당히 생략될 것이라는 것을 주의해야한다.
즉, 도 6에 있어서, CMOS 센서(110)는 화소 어레이 블록(11), 레지스터 그 룹(13), 시리얼 I/F(14), 및 패럴렐 I/F(112)를 가지는 점에서, 도 3에 도시된 것과 실질적으로 공통된다.
그러나, 도 6에 도시된 CMOS 센서(110)는, 화소 어레이 블록(11)과 패럴렐 I/F(112) 사이에 결함 보정 모듈(detect correction module)(150) 및 디모자이크 모듈(demosaic module)(160)의 설치가 있는 점에서, 도 3에 도시된 것과 상이하다.
즉, 도 6에 도시된 CMOS 센서(110)는, 화상 데이터에 화상 처리를 행하는 화상 처리 모듈의 일례인 결함 보정 모듈(150) 및 디모자이크 모듈(160)이 내장된 SoC(System on a Chip) 구성을 가진다.
결함 보정 모듈(150)에는 화소 어레이 블록(11)으로부터 출력되는 화상 데이터가 공급된다. 결함 보정 모듈(150)은 화소 어레이 블록(11)으로부터 출력되는 화상 데이터에 대한 화상 처리로서 화소에 이른바 결함 보정을 행하고, 보정된 화상 데이터를 디모자이크 모듈(160)에 공급한다.
결함 보정 모듈(150)은 결함 보정 모듈(150)에서 행해지는 결함 보정에 관한 정보를 기억하는 레지스터 그룹(151)인, 레지스터 그룹(13)과는 별도의 다른 레지스터 그룹(151)을 가지는 점을 주의해야한다.
결함 보정 모듈(150)은 레지스터 그룹(151)에 기억되어 있는 레지스터 값(그룹)을 참조하여 결함 보정을 행한다. 또한, 결함 보정 모듈(150)은 결함 보정에 필요한 정보(레지스터 값 또는 그룹)를 레지스터 그룹(151)에 기록한다.
즉, 예를 들면, 결함 보정 모듈(150)은 결함 화소를 검출하고, 그 검출된 결함 화소의 화소값을 보정한다. 또한, 결함 화소의 검출 후, 결함 보정 모듈(150)은 그 검출된 결함 화소에 과한 정보를 레지스터 그룹(151)에 기록한다. 그리고 나서, 결함 보정 모듈(150)은 필요에 따라 레지스터 그룹(151)에 기억되어 있는 레지스터 값 그룹에 포함되는 결함 화소에 과한 정보를 참조하여, 화소 어레이 블록(11)으로부터 송신된 화상 데이터에서의 화소 중에서 결함 화소를 특정하도록 하고, 그것에 의해 그 결함 화소의 화소값을 보정한다.
또한, 예를 들면, 결함 보정 모듈(150)이 사전에 정해진 임계값을 사용하여 결함 화소의 검출을 행하는 경우, 즉 화소 어레이 블록(11)으로부터 전송된 화상 데이터에서의 화소의 화소값과 사전에 정해진 임계값을 비교함으로써, 결함 보정 모듈(150)이 결함 화소의 검출을 행하는 경우에는, 결함 보정 모듈(150)은 레지스터 그룹(151)에 기억되어 있는 레지스터 값 그룹을 참조하여 결함 화소의 검출에 사용하는 사전에 정해진 임계값을 인식하도록 한다.
즉, 레지스터 그룹(13)과 마찬가지로, 시리얼 I/F(14)를 통하여 외부의 DSP(120)과 시리얼 통신을 행함으로써 레지스터 그룹(151) 상에 정보의 기록 및 판독 동작이 이루어질 수 있다.
예를 들면, DSP(120)는 시리얼 통신선(40)을 통하여 시리얼 통신으로 사전에 정해진 임계값을 시리얼 I/F(14)에 송신함으로써 레지스터 그룹(151)에 기록 작업을 행한다.
결함 보정 모듈(150)은 예를 들면, 전술한 바와 같이, 레지스터 그룹(151)에 기록된 사전에 정해진 임계값을 참조하고, 그것에 의해 결함 화소의 검출을 행한다.
디모자이크 모듈(160)에는 결함 보정 모듈(150)로부터의 화상 데이터가 공급된다. 디모자이크 모듈(160)은 결함 보정 모듈(150)로부터 공급된 화상 데이터 상에 화상 처리로서 디모자이크 처리를 행하고, 처리된 화상 데이터를 패럴렐 I/F(112)에 공급한다.
디모자이크 모듈(160)은 디모자이크 모듈(160)에서 행해지는 디모자이크 처리에 관한 정보를 기억하는 레지스터 그룹(161)인, 레지스터 그룹(13)과는 별도의 다른 레지스터 그룹(161)을 가지는 점을 주의해야한다.
디모자이크 모듈(160)은 레지스터 그룹(161)에 기억되어 있는 레지스터 값(그룹)을 참조하여, 디모자이크 처리를 행하도록 한다. 또한, 디모자이크 모듈(160)은 디모자이크 처리에 필요한 정보(레지스터 값(그룹))를 레지스터 그룹(161)에 기록한다.
즉, 디모자이크 모듈(160)은 결함 보정 모듈(150)을 통하여 화소 어레이 블록(11)으로부터 공급되는 화상 데이터에, 각 화소에 대한 화소값으로서 색 신호 R, G, 및 B 중 하나를 가지는 화상 데이터가 각 화소에 대한 화소값으로서 색 신호 R, G, 및 B 모두를 가지는 화상 데이터로 변환되는 디모자이크 처리를 행한다.
디모자이크 처리에서는, 예를 들면, 화소값으로 하여 화소를 가지고 있지 않은 색 신호는, 다른 복수개의 화소의 화소값을 사용한 보간으로서 가중치 부여 가산 등에 의해 획득된다.
예를 들면, 디모자이크 모듈(160)은, 보간을 행할 때, 색 신호가 획득된 화소와 보간에 사용하는 화소 사이의 거리에 기초하여 가중치 부여 가산에 사용하는 가중치를 획득한다. 또한, 디모자이크 모듈(160)은 가중치 부여 가산에 사용하는 가중치에 관한 정보를 레지스터 그룹(161)에 기록한다. 그 후, 디모자이크 모듈(160)은 필요에 따라 레지스터 그룹(161)에 기억되어 있는 레지스터 값 그룹에 포함되는 가중치의 정보를 참조하고, 그 가중치에 기초하여 보간을 행한다.
레지스터 그룹(13)과 마찬가지로, 시리얼 I/F(14)를 통하여 외부의 DSP(120)과 시리얼 통신을 행함으로써 레지스터 그룹(161) 상에 정보의 기록 및 판독 동작이 이루어질 수 있다.
예를 들면, DSP(120)는 시리얼 통신선(40)을 통하여 시리얼 통신으로 보간에 사용하는 가중치의 정보를 시리얼 I/F(14)에 송신하여, 레지스터 그룹(161)에 가중치 정보를 기록하도록 한다.
디모자이크 모듈(160)은 예를 들면, 전술한 바와 같이, 레지스터 그룹(161)에 기록된 가중치의 정보를 참조하고, 그 가중치를 사용하여 보간을 행하도록 한다.
도 6에서는, 화상 데이터가 외부에 출력되고 있지 않을 때에는, 패럴렐 I/F(112)는 패럴렐 출력선(30)을 통하여 패럴렐 출력으로 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹을 DSP(120)에 송신하고, 또한, 다른 레지스터 그룹으로서의 레지스터 그룹(151) 또는 레지스터 그룹(161)에 기억되고 있는 레지스터 값 그룹을 같은 방식으로 DSP(120)에 송신한다.
도 7을 참조하면, 패럴렐 출력선(30)을 통하여, 도 6에 도시된 패럴렐 I/F(112)에 의해 출력되는 데이터(패럴렐 데이터)의 포맷을 도시하고 있다.
도 7에 도시된 바와 같이, 패럴렐 I/F(112)는 한 화면에 해당하는 예를 들면, 한 프레임의 화상 데이터에 동기하여, 화상 데이터가 패럴렐 출력선(30)에 출력되고 있지않은 때인, 예를 들어, 수직 블랭킹 기간 동안에, 레지스터 그룹(13, 151, 및 161)에 기억되어 있는 레지스터 값 그룹을 패럴렐 출력선(30) 상에 출력하여, 그것에 의하여 DSP(120)에 레지스터 값 그룹을 송신하도록 한다.
도 7에 있어서, 레지스터 값 그룹 #1은 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹이고, 레지스터 값 그룹 #2는 레지스터 그룹(151)에 기억되어 있는 레지스터 값 그룹이고, 레지스터 값 그룹 #3은 레지스터 그룹(161)에 기억되어 있는 레지스터 값 그룹이다.
한 프레임에 해당하는 화상 데이터에 동기하여 패럴렐 I/F(112)에 의해 출력되는 레지스터 값 그룹으로서는, 예를 들면, 그 한 프레임에 해당하는 화상 데이터가 화소 어레이 블록(11)에서 얻어진 때 레지스터 그룹(13)에 기억되어 있는 레지스터 값 그룹, 그 한 프레임에 해당하는 화상 데이터가 결함 보정 모듈(150)에서 처리(결함 보정)되었을 때 레지스터 그룹(151)에 기억되어 있는 레지스터 값 그룹, 및 그 한 프레임에 해당하는 화상 데이터가 디모자이크 모듈(160)에서 처리(디모자이크)되었을 때 레지스터 그룹(161)에 기억되어 있는 레지스터 값 그룹이 있다.
이와 같이, 패럴렐 I/F(112)에서 한 프레임에 해당하는 화상 데이터에 동기하여, 그 한 프레임에 해당하는 화상 데이터가 CMOS 센서(110)에서 처리되었을 때의 레지스터 값 그룹을 출력함으로써, DSP(120)는, CMOS 센서(110)에서 행하여진 한 프레임에 해당하는 화상 데이터에 대한 처리(화소 어레이 블록(11), 결함 보정 모듈(150), 및 디모자이크 모듈(160)에서 행하여진 처리)에 관한 정보(또는 레지스터 값 그룹)를 일체하여(모아서) 취득할 수 있다.
즉, DSP(120)는 예를 들면, CMOS 센서(110)에서 한 프레임에 해당하는 화상 데이터에 대한 처리가 행하여질 때 설정되어 있었던 CMOS 센서(110)의 동작(결함 보정 모듈(150) 및 디모자이크 모듈(160)의 동작을 포함함)을 결정하는 파라미터 등을 모아서 취득할 수 있다.
전술한 봐와 같이, 한 프레임에 해당하는 화상 데이터에 동기하여, 패럴렐 I/F(112)가 그 한 프레임에 해당하는 화상 데이터가 CMOS 센서(110)에서 처리되었을 때의 레지스터 값 그룹을 출력하는 경우에는, DSP(120)는 기억을 위하여 한 프레임에 해당하는 화상 데이터와 레지스터 값 그룹을 대응시킬 수 있다.
도 8을 참조하면, 한 프레임에 해당하는 화상 데이터 및 그 한 프레임에 해당하는 화상 데이터가 CMOS 센서(110)에서 처리되었을 때의 레지스터 값 그룹의 세트가 N 프레임 만큼 기억된 상태를 도시하고 있다.
도 8에 도시된 바와 같이, 한 프레임에 해당하는 화상 데이터 및 그 한 프레임에 해당하는 화상 데이터가 CMOS 센서(110)에서 처리되었을 때의 레지스터 값 그룹의 세트를 N 프레임 만큼 기억시킨 후, DSP(120)는 예를 들면, N 프레임의 각각의 그 화상 데이터가 CMOS 센서(110)에서 처리되었을 때의 레지스터 값 그룹을 확인할 수 있다.
도 9를 참조하면, 도 3 또는 도 6에 도시된 촬상 장치가 적용된 본 발명의 일 실시예로서 적용된 카메라의 대표적인 구성을 나타내는 블록도를 도시하고 있 다.
도 9에 있어서, 카메라는 광학계(201), 촬상 장치(202), 마이크로 컴퓨터(203), 메모리 카드(204), 및 표시 장치(205)를 가지고 있다.
광학계(201)는 렌즈 등으로 구성되며, 렌즈를 통하여 들어오는 광을 촬상 장치(202)의 CMOS 센서(211) 상에 집중시킨다.
촬상 장치(202)는 도 3 또는 도 6에 도시된 촬상 장치와 실질적으로 동일한 방식으로 구성되고, CMOS 센서(211) 및 DSP(212)를 가진다.
CMOS 센서(211)는 도 3 또는 도 6에 도시된 CMOS 센서(110)와 실질적으로 동일한 방식으로 구성되며, 광학계(201)로부터의 광을 광전 변환하여 화상 데이터를 취득하도록 하고, 그 화상 데이터는 DSP(212)에 공급된다.
DSP(212)는 도 3 또는 도 6에 도시된 DSP(212)와 실질적으로 동일한 방식으로 구성되며, CMOS 센서(211)로부터의 화상 데이터를 수신하고, 화상 데이터 상에 필요한 처리를 행하여, 처리된 화상 데이터를 마이크로 컴퓨터(203)에 공급한다.
CMOS 센서(211)와 DSP(212) 사이에는, 도 3 또는 도 6에 도시된 촬상 장치와 실질적으로 동일한 방식으로 레지스터 값 그룹이 전달되는 것을 주의해야한다.
마이크로 컴퓨터(203)는 카메라 전체를 제어하는 것 이외에, DSP(212)로부터의 화상 데이터를 메모리 카드(204)에 기억시키기 위해 공급한다. 또한, 마이크로 컴퓨터(203)는 DSP(212)로부터의 화상 데이터를 예를 들면, LCD(Liquid Crystal Display) 등에 기초되는 표시 장치(205)에 공급하여, 이른바 렌즈를 통한 화상(through-the-lens image)인 화상 데이터를 표시하도록 한다.
CMOS 센서(211)에 의해 DSP(212)에 출력되는 레지스터 값 그룹은 필요에 따라 DSP(212)로부터 마이크로 컴퓨터(203)에 공급된다는 것을 주의해야한다.
마이크로 컴퓨터(203)는, 예를 들면, DSP(212)로부터의 레지스터 값 그룹에 기초하여, 필요에 따라 DSP(212)를 제어한다.
도 9에 도시된 카메라는 스틸 카메라 또는 비디오 카메라일 수 있다. 또한, 도 9에 도시된 카메라는 예를 들면, 휴대 전화기 등에 설치되는 카메라일 수 있다.
본 발명의 바람직한 실시예는 명확한 용어를 사용하여 기재되었지만, 그러한 기재는 단지 설명하기 위한 목적이고, 본 발명의 요지를 벗어나지 않는 범위에 있어서 변경이 가능하다.
본 발명은 일본 특허청에 2008년 5월 13일에 출원된 일본 우선권 특허 출원 JP 2008-126140에 기재된 것과 관련된 주제를 포함하고, 전체 내용은 원용에 의해 본 명세서에 포함된다.
도 1은 종래의 촬상 장치의 대표적인 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예로써 적용된 촬상 장치의 대표적인 구성을 나타내는 블록도이다.
도 3은 CMOS 센서의 대표적인 구성을 나타내는 블록도이다.
도 4는 패럴렐 I/F에 의해 출력되는 데이터의 포맷이다.
도 5a 및 도 5b는 촬상 장치에 의한 처리를 나타내는 플로차트이다.
도 6은 본 발명의 다른 실시예로써 적용된 CMOS 센서의 대표적인 구성을 나타내는 블록도이다.
도 7은 패럴렐 I/F에 의해 출력되는 데이터의 포맷이다.
도 8은 N세트의 한 프레임에 해당하는 화상 데이터 및 레지스터 값 그룹이 기억된 상태를 나타내는 도면이다.
도 9는 본 발명의 일 실시예로써 적용된 카메라의 대표적인 구성을 나타내는 블록도이다.

Claims (11)

  1. 이미지 센서로서,
    광을 광전 변환함으로써 화상 데이터를 취득하도록 구성된 화소 어레이 블록;
    상기 이미지 센서의 처리에 관한 정보를 기억하도록 구성된 레지스터 그룹;
    패럴렐 출력으로 상기 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스; 및
    상기 레지스터 그룹에 기록되는 정보를 시리얼 통신으로 수신하는 시리얼 인터페이스
    를 포함하고,
    상기 패럴렐 인터페이스는 또한, 상기 화상 데이터가 외부에 출력되고 있지 않을 때에는, 상기 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 패럴렐 출력으로 외부에 출력하는,
    이미지 센서.
  2. 제1항에 있어서,
    상기 패럴렐 인터페이스로부터 출력되는 레지스터 값 그룹은, 상기 시리얼 인터페이스에 의한 시리얼 통신을 통해 수신되어 기록된 레지스터 값에 의해 지정되는,
    이미지 센서.
  3. 제2항에 있어서,
    상기 패럴렐 인터페이스는, 한 화면에 해당하는 상기 화상 데이터에 동기하여, 한 화면에 해당하는 상기 화상 데이터가 상기 화소 어레이 블록에서 얻어진 때의 상기 레지스터 값 그룹을 출력하는,
    이미지 센서.
  4. 제1항에 있어서,
    상기 레지스터 값 그룹은,
    상기 이미지 센서가 저소비 전력 모드로 되어 있는지 여부를 나타내는 스탠바이 정보;
    상기 이미지 센서의 비닝 모드를 나타내는 동작 모드 정보;
    상기 화상 데이터의 게인을 나타내는 게인 정보;
    전자 셔터 상태를 나타내는 전자 셔터 정보; 및
    광학적 블랙의 레벨을 나타내는 OPB(OPtical Black) 정보
    중 하나 이상을 포함하는,
    이미지 센서.
  5. 제1항에 있어서,
    상기 화상 데이터 상에 화상 처리를 행하도록 구성된 화상 처리 모듈; 및
    상기 화상 처리 모듈의 화상 처리에 관한 정보를 기억하도록 구성된 다른 레지스터 그룹을 더 포함하고,
    상기 시리얼 인터페이스는, 상기 레지스터 그룹 및 상기 다른 레지스터 그룹에 기록되는 정보를 시리얼 통신으로 수신하며,
    상기 패럴렐 인터페이스는, 상기 화상 데이터가 외부에 출력되고 있지 않을 때에는, 상기 레지스터 그룹 및 상기 다른 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 패럴렐 출력으로 외부에 출력하는,
    이미지 센서.
  6. 데이터 출력 방법으로서,
    화상 데이터가 외부에 출력되고 있지 않을 때에는, 이미지 센서의 패럴렐 인터페이스에 의해, 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 외부에 출력하는 단계를 포함하고,
    상기 이미지 센서는,
    광을 광전 변환함으로써 상기 화상 데이터를 취득하도록 구성된 화소 어레이 블록, 상기 이미지 센서의 처리에 관한 정보를 기억하도록 구성된 상기 레지스터 그룹, 및 패럴렐 출력으로 상기 화상 데이터를 패럴렐 출력으로 외부에 출력하도록 구성된 상기 패럴렐 인터페이스 및;
    상기 레지스터 그룹에 기록되는 정보를 시리얼 통신으로 수신하는 시리얼 인터페이스
    를 포함하는,
    데이터 출력 방법.
  7. 촬상 장치로서,
    화상 데이터를 출력하도록 구성된 이미지 센서; 및
    상기 이미지 센서로부터 출력된 상기 화상 데이터를 수신하도록 구성된 프로세서를 포함하고,
    상기 이미지 센서는,
    광을 광전 변환함으로써 상기 화상 데이터를 취득하도록 구성된 화소 어레이 블록, 상기 이미지 센서의 처리에 관한 정보를 기억하도록 구성된 레지스터 그룹, 및 패럴렐 출력으로 상기 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스; 및
    상기 레지스터 그룹에 기록되는 정보를 시리얼 통신으로 수신하는 시리얼 인터페이스
    를 포함하고,
    상기 패럴렐 인터페이스는 또한, 상기 화상 데이터가 외부에 출력되고 있지 않을 때에는, 상기 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 패럴렐 출력으로 외부에 출력하고,
    상기 프로세서는, 상기 패럴렐 인터페이스로부터 출력된 상기 화상 데이터 및 상기 레지스터 값 그룹을 수신하는,
    촬상 장치.
  8. 제7항에 있어서,
    상기 프로세서는, 상기 레지스터 값 그룹에 기초하여 상기 이미지 센서를 제어하는,
    촬상 장치.
  9. 제8항에 있어서,
    상기 패럴렐 인터페이스는, 한 화면에 해당하는 상기 화상 데이터에 동기하여, 한 화면에 해당하는 상기 화상 데이터가 상기 화소 어레이 블록에서 얻어진 때의 상기 레지스터 값 그룹을 출력하고,
    상기 프로세서는, 한 화면에 해당하는 상기 화상 데이터에 동기하여 출력되는 상기 레지스터 값 그룹에 기초하여 상기 이미지 센서를 제어하는,
    촬상 장치.
  10. 제7항에 있어서,
    상기 이미지 센서는, 상기 화상 데이터 상에 화상 처리를 행하도록 구성된 화상 처리 모듈, 및 상기 화상 처리 모듈의 화상 처리에 관한 정보를 기억하도록 구성된 다른 레지스터 그룹을 더 포함하고,
    상기 시리얼 인터페이스는, 상기 레지스터 그룹 및 상기 다른 레지스터 그룹에 기록되는 정보를 시리얼 통신으로 수신하며,
    상기 패럴렐 인터페이스는, 상기 화상 데이터가 외부에 출력되고 있지 않을 때에는, 상기 레지스터 그룹 및 상기 다른 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 패럴렐 출력으로 상기 외부에 출력하고,
    상기 프로세서는, 한 화면에 해당하는 상기 화상 데이터와, 한 화면에 해당하는 상기 화상 데이터가 상기 화소 어레이 블록에서 얻어진 때의 상기 레지스터 그룹에 기억되어 있는 상기 레지스터 값 그룹 및 한 화면에 해당하는 상기 화상 데이터가 상기 화상 처리 모듈에서 처리되었을 때의 상기 다른 레지스터 그룹에 기억되어 있는 상기 레지스터 값 그룹을 대응시켜, 대응되는 화상 데이터 및 레지스터 값 그룹들을 기억시키는,
    촬상 장치.
  11. 카메라로서,
    광학계;
    화상 데이터를 출력하도록 구성된 이미지 센서; 및
    상기 이미지 센서로부터 출력된 상기 화상 데이터를 수신하도록 구성된 프로세서를 포함하고,
    상기 이미지 센서는,
    상기 광학계로부터의 광을 광전 변환함으로써 상기 화상 데이터를 취득하도록 구성된 화소 어레이 블록, 상기 이미지 센서의 처리에 관한 정보를 기억하도록 구성된 레지스터 그룹, 및 패럴렐 출력으로 상기 화상 데이터를 외부에 출력하도록 구성된 패럴렐 인터페이스; 및
    상기 레지스터 그룹에 기록되는 정보를 시리얼 통신으로 수신하는 시리얼 인터페이스
    를 포함하고,
    상기 패럴렐 인터페이스는 또한, 상기 화상 데이터가 외부에 출력되고 있지 않을 때에는, 상기 레지스터 그룹에 기억되어 있는 레지스터 값 그룹을 패럴렐 출력으로 외부에 출력하고,
    상기 프로세서는, 상기 패럴렐 인터페이스로부터 출력된 상기 화상 데이터 및 상기 레지스터 값 그룹을 수신하는,
    카메라.
KR1020090041172A 2008-05-13 2009-05-12 이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라 KR101587901B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-126140 2008-05-13
JP2008126140A JP5266864B2 (ja) 2008-05-13 2008-05-13 イメージセンサ、データ出力方法、撮像デバイス、及び、カメラ

Publications (2)

Publication Number Publication Date
KR20090118857A KR20090118857A (ko) 2009-11-18
KR101587901B1 true KR101587901B1 (ko) 2016-01-22

Family

ID=41315788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090041172A KR101587901B1 (ko) 2008-05-13 2009-05-12 이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라

Country Status (5)

Country Link
US (2) US8106986B2 (ko)
JP (1) JP5266864B2 (ko)
KR (1) KR101587901B1 (ko)
CN (1) CN101582996B (ko)
TW (1) TWI373966B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5266864B2 (ja) * 2008-05-13 2013-08-21 ソニー株式会社 イメージセンサ、データ出力方法、撮像デバイス、及び、カメラ
CN102629968A (zh) * 2012-04-11 2012-08-08 湖南镭目科技有限公司 一种图像处理装置、方法及系统
KR101418339B1 (ko) * 2012-12-03 2014-07-16 한국표준과학연구원 다채널 초전도양자간섭장치를 조절하기 위한 디지털 신호 전송 장치
CN111787246B (zh) 2013-11-26 2023-07-14 株式会社尼康 摄像元件及摄像装置
JP2017028490A (ja) * 2015-07-22 2017-02-02 ルネサスエレクトロニクス株式会社 撮像センサ及びセンサモジュール
CN109691079B (zh) * 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备
CN106686323B (zh) * 2016-11-08 2023-05-02 中国科学院西安光学精密机械研究所 一种高速cmos相机成像方法及系统
CN110225258B (zh) 2018-04-28 2021-08-20 Oppo广东移动通信有限公司 数据处理方法、装置、计算机可读存储介质和电子设备
KR102170921B1 (ko) 2018-11-13 2020-10-28 에이치엔티 일렉트로닉스(주) 촬영 시스템 및 촬영 시스템 제어방법
KR102462073B1 (ko) 2018-11-13 2022-11-03 주식회사 미래오토스 촬영 시스템 및 촬영 시스템 제어방법
WO2021008262A1 (zh) * 2019-07-15 2021-01-21 珠海奔图电子有限公司 扫描设备、图像形成装置、扫描方法及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068436A1 (en) 2001-05-29 2005-03-31 Miriam Fraenkel CMOS imager for cellular applications and methods of using such
JP2006324811A (ja) 2005-05-17 2006-11-30 Fujifilm Holdings Corp 固体撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040227829A1 (en) * 2003-05-13 2004-11-18 Dialog Semiconductor Gmbh Method and apparatus for a simultaneous multiple field of view imager using digital sub-sampling and sub-window selection
KR100735725B1 (ko) * 2005-08-22 2007-07-06 (주) 픽셀플러스 씨모스 이미지 센서의 노이즈 제거장치 및 방법
JP4289377B2 (ja) 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
JP4311482B2 (ja) * 2007-05-17 2009-08-12 ソニー株式会社 撮像回路、cmosセンサ、および撮像装置
JP5266864B2 (ja) * 2008-05-13 2013-08-21 ソニー株式会社 イメージセンサ、データ出力方法、撮像デバイス、及び、カメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068436A1 (en) 2001-05-29 2005-03-31 Miriam Fraenkel CMOS imager for cellular applications and methods of using such
US20050231620A1 (en) 2001-05-29 2005-10-20 Miriam Fraenkel Patent application cmos imager for cellular applications and methods of using such
JP2006324811A (ja) 2005-05-17 2006-11-30 Fujifilm Holdings Corp 固体撮像装置

Also Published As

Publication number Publication date
US20120120295A1 (en) 2012-05-17
JP2009278266A (ja) 2009-11-26
TW200952479A (en) 2009-12-16
US20090284633A1 (en) 2009-11-19
CN101582996B (zh) 2011-12-14
US8106986B2 (en) 2012-01-31
KR20090118857A (ko) 2009-11-18
JP5266864B2 (ja) 2013-08-21
CN101582996A (zh) 2009-11-18
TWI373966B (en) 2012-10-01
US8830369B2 (en) 2014-09-09

Similar Documents

Publication Publication Date Title
KR101587901B1 (ko) 이미지 센서, 데이터 출력 방법, 촬상 장치, 및 카메라
US7576787B2 (en) Image-pickup device, and device and method for correcting defective pixel
JP4518616B2 (ja) 固体撮像装置およびその駆動方法並びにカメラシステム
CN102984457B (zh) 摄像装置
JP2008054136A (ja) 撮像装置及び駆動制御方法
KR100601460B1 (ko) 화상 센서와 영상 처리기 간의 인터페이스 장치 및 방법
JP4682181B2 (ja) 撮像装置および電子情報機器
JP2006157600A (ja) デジタルカメラ
US8159564B2 (en) Signal-processing method, signal-processing system, and semiconductor device configured to detect physical-quantity distribution
JP2009089087A (ja) 固体撮像装置及び撮像装置
JP3980781B2 (ja) 撮像装置および撮像方法
JP2007318630A (ja) 画像入力装置、撮像モジュール、及び固体撮像装置
US7489356B2 (en) Image pickup apparatus
JP2009105852A (ja) 映像信号処理装置、固体撮像装置および電子情報機器
JP3668604B2 (ja) 固体撮像素子およびこれを用いた画像システム
US20030222989A1 (en) Image pickup apparatus and image pickup display system
US9979919B2 (en) Solid-state imaging device and imaging system
JP2006352767A (ja) 撮像モジュール
JP2008236296A (ja) 画像信号取得方法および装置
JP2006074440A (ja) 撮像装置
JP2000184289A (ja) 撮像デバイスの欠陥画素補正装置および方法
JP2006157535A (ja) 撮像装置
JP2000069359A (ja) ビデオカメラ
JP2010016450A (ja) 撮像装置
KR20070021932A (ko) 촬상 장치, 결함 화소 보정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant