KR20230078474A

KR20230078474A - Image sensor, imaging system including the same, and method executed by imaging system

Info

Publication number: KR20230078474A
Application number: KR1020220054395A
Authority: KR
Inventors: 정인제; 장수종
Original assignee: 삼성전자주식회사
Priority date: 2021-11-26
Filing date: 2022-05-02
Publication date: 2023-06-02

Abstract

이미지 센서에서, 한 수평 주기의 동작 구간에 아날로그 디지털 변환 회로가 화소 어레이로부터의 화소 신호에 대해 두 번 이상의 아날로그 디지털 변환 처리를 순차적으로 수행하여 이미지 데이터를 생성하고, 이미지 신호 처리 회로가 이미지 데이터를 수신하고, 이미지 데이터에 대해 디지털 처리를 수행한다. 타이밍 컨트롤러는 두 번 이상의 아날로그 디지털 변환 처리 구간의 일부 기간에 각각 대응하는 복수의 홀딩 기간 동안 이미지 신호 처리 회로에서 디지털 처리를 홀딩하도록 이미지 신호 처리 회로를 제어한다.In the image sensor, an analog-to-digital conversion circuit sequentially performs two or more analog-to-digital conversion processes on a pixel signal from a pixel array during an operation period of one horizontal cycle to generate image data, and an image signal processing circuit generates image data. Receive and perform digital processing on the image data. The timing controller controls the image signal processing circuit to hold the digital processing in the image signal processing circuit for a plurality of holding periods respectively corresponding to partial periods of two or more analog-to-digital conversion processing sections.

Description

Image sensor, imaging system including the same, and method of executing the imaging system

개시 내용은 이미지 센서, 이를 포함하는 이미징 시스템 또는 이미징 시스템의 실행 방법에 관한 것이다.The disclosure relates to an image sensor, an imaging system including the same, or a method of implementing the imaging system.

이미지 센서는 입사 광의 양에 따라 가변되는 전기 신호를 생성하고, 전기 신호를 처리하여 이미지 데이터를 생성한다. 따라서, 이미지 센서에서 이미지 데이터를 생성하기까지 아날로그 회로와 디지털 회로가 동시에 관여한다. 일반적으로 디지털 회로는 복잡한 기능을 수행하므로 단위 동작 내에서 불규칙적으로 동작하는 특성을 보인다. 이로 인해 파워 소모량이 시간 축에서 일정하지 않아 그라운드 커플링(ground coupling)이 발생할 수 있고, 그라운드 커플링 노이즈는 아날로그 회로의 성능에 악영향을 줄 수 있다.The image sensor generates an electrical signal that varies according to the amount of incident light and processes the electrical signal to generate image data. Accordingly, an analog circuit and a digital circuit are simultaneously involved until the image sensor generates image data. In general, since digital circuits perform complex functions, they tend to operate irregularly within a unit operation. Due to this, power consumption is not constant on the time axis, and ground coupling may occur, and ground coupling noise may adversely affect the performance of analog circuits.

아날로그 처리 동작(특히, 아날로그 디지털 변환 동작)과 디지털 처리 동작의 처리 시간 중 공백 시간을 활용하여 아날로그 디지털 변환 동작과 디지털 처리 동작의 동작 구간을 분리하는 방법을 사용할 수 있다. 예를 들면, 디지털 처리 동작 기간 중 공백 시간 동안 아날로그 디지털 변환 동작 동작을 수행하여 아날로그 디지털 변환 동작 동작과 디지털 처리 동작의 동작 구간을 분리할 수 있다. 그러나 충분한 공백 시간이 제공되지 않는다면 동작 구간을 분리할 수 없다. 특히, 고속 동작을 지향하는 최근의 이미지 센서에서는 충분한 동작 구간을 확보할 수 없을 수 있다.A method of separating an operation section of an analog-to-digital conversion operation and a digital processing operation by utilizing a blank time among processing times of an analog processing operation (particularly, an analog-to-digital conversion operation) and a digital processing operation may be used. For example, an analog-to-digital conversion operation may be performed during a blank time during a digital processing operation period to separate an operation section of an analog-to-digital conversion operation and a digital processing operation. However, if sufficient blank time is not provided, the operating section cannot be separated. In particular, it may not be possible to secure a sufficient operating section in a recent image sensor that aims for high-speed operation.

어떤 실시예는 디지털 처리 동작이 아날로그 디지털 변환 동작에 미치는 영향을 줄일 수 있는 이미지 센서, 이를 포함하는 이미징 시스템 또는 이미징 시스템의 실행 방법을 제공할 수 있다.Certain embodiments may provide an image sensor capable of reducing the influence of a digital processing operation on an analog-to-digital conversion operation, an imaging system including the same, or a method of implementing the imaging system.

한 실시예에 따르면, 화소 어레이, 아날로그 디지털 변환 회로, 이미지 신호 처리 회로 및 타이밍 컨트롤러를 포함하는 이미지 센서를 제공할 수 있다. 상기 아날로그 디지털 변환 회로는 한 수평 주기의 동작 구간에 상기 화소 어레이로부터의 화소 신호에 대해 두 번 이상의 아날로그 디지털 변환 처리를 순차적으로 수행하여 이미지 데이터를 생성할 수 있다. 상기 이미지 신호 처리 회로는 이미지 데이터를 저장하고, 상기 이미지 데이터에 대해 디지털 처리를 수행할 수 있다. 상기 타이밍 컨트롤러는 상기 두 번 이상의 아날로그 디지털 변환 처리 구간의 일부 기간에 각각 대응하는 복수의 홀딩 기간 동안 상기 이미지 신호 처리 회로에서 상기 디지털 처리를 홀딩하도록 상기 이미지 신호 처리 회로를 제어할 수 있다.According to one embodiment, an image sensor including a pixel array, an analog-to-digital conversion circuit, an image signal processing circuit, and a timing controller may be provided. The analog-to-digital conversion circuit may generate image data by sequentially performing two or more analog-to-digital conversion processes on pixel signals from the pixel array during an operation period of one horizontal cycle. The image signal processing circuit may store image data and perform digital processing on the image data. The timing controller may control the image signal processing circuit to hold the digital processing in the image signal processing circuit during a plurality of holding periods respectively corresponding to partial periods of the two or more analog-to-digital conversion processing periods.

어떤 실시예에서, 상기 일부 기간은 각 아날로그 디지털 변환 처리에 의해 상기 화소 신호로부터 소정 개수 이하의 LSB(least significant bits)에 해당하는 디지털 코드가 결정되는 기간일 수 있다.In some embodiments, the partial period may be a period in which a digital code corresponding to a predetermined number or less of least significant bits (LSBs) is determined from the pixel signal by each analog-to-digital conversion process.

상기 타이밍 컨트롤러는 각 아날로그 디지털 변환 처리의 일부 기간에 대응해서 상기 복수의 홀딩 기간 중 대응하는 홀딩 기간을 설정할 수 있다.The timing controller may set a corresponding holding period among the plurality of holding periods in correspondence with a partial period of each analog-to-digital conversion process.

어떤 실시예에서, 상기 일부 기간은 각 아날로그 디지털 변환 처리에서 계조 값이 임계 값보다 낮은 화소 신호가 아날로그 디지털 변환되는 기간을 포함할 수 있다.In some embodiments, the partial period may include a period in which a pixel signal having a grayscale value lower than a threshold value is converted into an analog-to-digital conversion process in each analog-to-digital conversion process.

어떤 실시예에서, 상기 타이밍 컨트롤러는 상기 복수의 홀딩 기간에 각각 대응하는 복수의 펄스를 가지는 홀딩 처리 신호를 상기 이미지 신호 처리 회로로 전달하고, 상기 이미지 신호 처리 회로는 상기 복수의 펄스에 각각 응답하여 상기 디지털 처리를 홀딩할 수 있다.In some embodiments, the timing controller transmits a holding processing signal having a plurality of pulses respectively corresponding to the plurality of holding periods to the image signal processing circuit, and the image signal processing circuit responds to the plurality of pulses, respectively. The digital processing can be held.

어떤 실시예에서, 상기 이미지 신호 처리 회로는, 상기 디지털 처리를 수행하는 이미지 신호 처리기, 그리고 상기 이미지 데이터를 저장하고 상기 이미지 데이터를 읽어서 상기 이미지 신호 처리기로 전달하는 라인 메모리를 포함할 수 있다. 상기 타이밍 컨트롤러는 상기 홀딩 처리 신호를 상기 라인 메모리로 전달하고, 상기 라인 메모리는 상기 복수의 펄스에 각각 응답하여 상기 이미지 데이터를 읽는 동작을 중지할 수 있다.In some embodiments, the image signal processing circuit may include an image signal processor that performs the digital processing, and a line memory that stores the image data, reads the image data, and transfers the image data to the image signal processor. The timing controller may transmit the holding processing signal to the line memory, and the line memory may stop reading the image data in response to each of the plurality of pulses.

어떤 실시예에서, 상기 이미지 신호 처리 회로는, 순차적으로 상기 디지털 처리를 수행하는 복수의 이미지 신호 처리기, 그리고 상기 복수의 이미지 신호 처리기에 각각 대응하며 대응하는 이미지 신호 처리기에서의 상기 디지털 처리의 대상이 되는 데이터를 저장하는 복수의 라인 메모리를 포함할 수 있다. 상기 타이밍 컨트롤러는 상기 홀딩 처리 신호를 상기 복수의 라인 메모리로 전달하고, 각 라인 메모리는 상기 복수의 펄스에 각각 응답하여 상기 데이터를 읽는 동작을 중지할 수 있다.In some embodiments, the image signal processing circuit may include a plurality of image signal processors that sequentially perform the digital processing, and an object of the digital processing in the image signal processors respectively corresponding to the plurality of image signal processors. It may include a plurality of line memories for storing data to be. The timing controller may transmit the holding processing signal to the plurality of line memories, and each line memory may stop reading the data in response to the plurality of pulses.

어떤 실시예에서, 상기 이미지 센서는, 상기 복수의 펄스의 시작 시점과 폭을 지시하는 설정 정보를 상기 타이밍 컨트롤러로 전달하는 프로세서를 더 포함할 수 있다. 상기 타이밍 컨트롤러는 상기 설정 정보에 기초해서 상기 홀딩 처리 신호를 생성할 수 있다.In some embodiments, the image sensor may further include a processor that transmits setting information indicating start times and widths of the plurality of pulses to the timing controller. The timing controller may generate the holding processing signal based on the setting information.

어떤 실시예에서, 상기 이미지 센서는 펌웨어를 저장하는 메모리를 더 포함하고, 상기 프로세서는 상기 펌웨어에 기초해서 상기 설정 정보를 생성할 수 있다.In some embodiments, the image sensor may further include a memory for storing firmware, and the processor may generate the setting information based on the firmware.

어떤 실시예에서, 상기 프로세서는 상기 한 수평 주기의 시간, 상기 디지털 처리에 소요되는 시간 및 상기 복수의 아날로그 디지털 변환 처리의 횟수에 기초해서 상기 폭을 결정하고, 상기 복수의 아날로그 디지털 변환 처리의 시작 시점과 오프셋에 기초해서 상기 복수의 펄스의 상기 시작 시점을 결정할 수 있다.In some embodiments, the processor determines the width based on the time of the one horizontal period, the time required for the digital processing, and the number of times of the plurality of analog-to-digital conversion processes, and starts the plurality of analog-to-digital conversion processes. The starting time point of the plurality of pulses may be determined based on the time point and the offset.

어떤 실시예에서, 상기 이미지 신호 처리 회로는 상기 타이밍 컨트롤러로부터의 클록에 응답하여 동작하고, 상기 타이밍 컨트롤러는 상기 복수의 홀딩 기간 동안 상기 이미지 신호 처리 회로로의 상기 클록을 차단할 수 있다.In some embodiments, the image signal processing circuit operates in response to a clock from the timing controller, and the timing controller may block the clock to the image signal processing circuit during the plurality of holding periods.

어떤 실시예에서, 상기 이미지 신호 처리 회로는 복수의 이미지 신호 처리기를 포함할 수 있다. 상기 복수의 이미지 신호 처리기는 순차적으로 상기 디지털 처리를 수행하며 각각 상기 클록에 응답하여 동작할 수 있다. 상기 타이밍 컨트롤러는 상기 복수의 홀딩 기간 동안 상기 복수의 이미지 신호 처리기로의 상기 클록을 차단할 수 있다.In some embodiments, the image signal processing circuitry may include a plurality of image signal processors. The plurality of image signal processors may sequentially perform the digital processing and operate in response to the clock. The timing controller may block the clocks to the plurality of image signal processors during the plurality of holding periods.

어떤 실시예에서, 상기 이미지 센서는, 상기 복수의 홀딩 기간의 시작 시점과 폭을 지시하는 설정 정보를 상기 타이밍 컨트롤러로 전달하는 프로세서를 더 포함할 수 있다. 상기 타이밍 컨트롤러는 상기 설정 정보에 기초해서 상기 클록을 차단할 수 있다.In some embodiments, the image sensor may further include a processor that transmits setting information indicating start times and widths of the plurality of holding periods to the timing controller. The timing controller may block the clock based on the setting information.

어떤 실시예에서, 상기 프로세서는 상기 한 수평 주기의 시간, 상기 디지털 처리에 소요되는 시간 및 상기 복수의 아날로그 디지털 변환 처리의 횟수에 기초해서 상기 폭을 결정하고, 상기 복수의 아날로그 디지털 변환 처리의 시작 시점과 오프셋에 기초해서 상기 복수의 홀딩 기간의 상기 시작 시점을 결정할 수 있다.In some embodiments, the processor determines the width based on the time of the one horizontal period, the time required for the digital processing, and the number of times of the plurality of analog-to-digital conversion processes, and starts the plurality of analog-to-digital conversion processes. The start time of the plurality of holding periods may be determined based on the time point and the offset.

어떤 실시예에서, 상기 타이밍 컨트롤러는 상기 복수의 홀딩 기간 동안 상기 이미지 신호 처리 회로에서 소모되는 파워가 임계 값보다 낮도록 상기 이미지 신호 처리 회로를 제어할 수 있다.In some embodiments, the timing controller may control the image signal processing circuit such that power consumed by the image signal processing circuit during the plurality of holding periods is lower than a threshold value.

어떤 실시예에서, 상기 타이밍 컨트롤러는 상기 복수의 홀딩 기간 동안 상기 이미지 신호 처리 회로에서 소모되는 파워의 변동치가 임계 값보다 낮도록 상기 이미지 신호 처리 회로의 동작을 제어할 수 있다.In some embodiments, the timing controller may control the operation of the image signal processing circuit such that a variation in power consumed by the image signal processing circuit during the plurality of holding periods is lower than a threshold value.

다른 실시예에 따르면, 제1 프로세서와 이미지 센서를 포함하는 이미징 시스템이 제공될 수 있다. 상기 제1 프로세서는 아날로그 디지털 변환 처리의 시작 타이밍 및 오프셋을 제공할 수 있다. 상기 이미지 센서는 상기 제1 프로세서로부터 상기 시작 타이밍 및 상기 오프셋을 수신하고, 상기 시작 타이밍 및 상기 오프셋에 기초해서 이미지 신호 처리의 동작을 제어할 수 있다.According to another embodiment, an imaging system including a first processor and an image sensor may be provided. The first processor may provide start timing and offset of an analog-to-digital conversion process. The image sensor may receive the start timing and the offset from the first processor, and control an operation of image signal processing based on the start timing and the offset.

어떤 실시예에서, 상기 이미지 센서는, 상기 시작 타이밍 및 상기 오프셋에 기초해서 설정 정보를 생성하는 제2 프로세서, 그리고 상기 설정 정보에 기초해서 상기 이미지 신호 처리의 동작을 홀딩하는 타이밍 컨트롤러를 포함할 수 있다.In some embodiments, the image sensor may include a second processor generating setting information based on the start timing and the offset, and a timing controller holding the image signal processing operation based on the setting information. there is.

어떤 실시예에서, 상기 타이밍 컨트롤러는 상기 아날로그 디지털 변환 처리 구간의 일부 기간에 대응해서 상기 이미지 신호 처리의 동작을 홀딩할 수 있다. 상기 일부 기간은 상기 아날로그 디지털 변환 처리에 의해 화소 신호로부터 소정 개수 이하의 LSB에 해당하는 디지털 코드가 결정되는 기간일 수 있다.In some embodiments, the timing controller may hold the image signal processing operation corresponding to a partial period of the analog-to-digital conversion processing period. The partial period may be a period in which a digital code corresponding to a predetermined number or less of LSBs is determined from a pixel signal by the analog-to-digital conversion process.

어떤 실시예에서, 상기 이미지 센서는 펌웨어를 저장하는 메모리를 더 포함하고, 상기 제2 프로세서는 상기 펌웨어에 기초해서 상기 시작 타이밍 및 상기 오프셋으로부터 상기 설정 정보를 생성할 수 있다.In some embodiments, the image sensor may further include a memory for storing firmware, and the second processor may generate the setting information from the start timing and the offset based on the firmware.

어떤 실시예에서, 상기 이미지 센서는 한 수평 주기의 동작 구간 동안 상기 아날로그 디지털 변환 처리를 두 번 이상 수행할 수 있다. 상기 설정 정보는 상기 두 번 이상의 아날로그 디지털 변환 처리 구간의 일부 기간에 각각 대응하는 복수의 홀딩 펄스의 시작 시점과 폭을 포함하고, 상기 이미지 센서는 상기 복수의 홀딩 펄스에 응답해서 상기 이미지 신호 처리의 동작을 홀딩할 수 있다.In some embodiments, the image sensor may perform the analog-to-digital conversion process two or more times during an operation period of one horizontal cycle. The setting information includes starting points and widths of a plurality of holding pulses respectively corresponding to partial periods of the two or more analog-to-digital conversion processing sections, and the image sensor performs image signal processing in response to the plurality of holding pulses. You can hold the action.

또 다른 실시예에 따르면, 이미지 시스템에 의해 실행되는 방법이 제공될 수 있다. 상기 방법은, 아날로그 디지털 변환 처리의 시작 타이밍 및 오프셋을 제공하는 단계, 상기 시작 타이밍 및 상기 오프셋에 기초해서 설정 정보를 생성하는 단계, 그리고 두 번 이상의 아날로그 디지털 변환 처리를 수행하는 동안, 상기 설정 정보에 기초해서 이미지 신호 처리의 동작을 제어하는 단계를 포함할 수 있다.According to another embodiment, a method executed by an image system may be provided. The method includes providing start timing and an offset of an analog-to-digital conversion process, generating setting information based on the start timing and the offset, and performing two or more analog-to-digital conversion processes while performing the setting information. It may include controlling an operation of image signal processing based on.

도 1은 한 실시예에 따른 이미지 센서의 예시 블록도이다.
도 2는 한 실시예에 따른 이미지 센서의 동작 타이밍을 예시하는 도면이다.
도 3a 및 도 3b는 어두운 이미지를 캡처한 경우의 디지털 코드의 분포의 예를 나타내는 도면이다.
도 4는 다른 실시예에 따른 이미지 센서의 예시 블록도이다.
도 5는 다른 실시예에 따른 이미지 센서의 동작 타이밍을 예시하는 도면이다.
도 6은 또 다른 실시예에 따른 이미지 센서의 예시 블록도이다.
도 7은 또 다른 실시예에 따른 이미지 센서의 동작 타이밍을 예시하는 도면이다.
도 8은 또 다른 실시예에 따른 이미지 센서의 예시 블록도이다.
도 9는 또 다른 실시예에 따른 이미지 센서의 동작 타이밍도이다.
도 10은 또 다른 실시예에 따른 이미지 센서의 예시 블록도이다.
도 11은 또 다른 실시예에 따른 이미지 센서의 동작 타이밍도이다.
도 12는 또 다른 실시예에 따른 이미지 센서의 아날로그 디지털 변환 회로를 예시하는 도면이다.
도 13은 또 다른 실시예에 따른 이미지 센서의 아날로그 디지털 변환 동작을 예시하는 도면이다.
도 14는 한 실시예에 따른 컴퓨터 장치를 나타내는 예시 블록도이다.1 is an exemplary block diagram of an image sensor according to an exemplary embodiment.
2 is a diagram illustrating an operation timing of an image sensor according to an exemplary embodiment.
3A and 3B are diagrams showing examples of distribution of digital codes when dark images are captured.
4 is an exemplary block diagram of an image sensor according to another embodiment.
5 is a diagram illustrating an operation timing of an image sensor according to another embodiment.
6 is an example block diagram of an image sensor according to another embodiment.
7 is a diagram illustrating an operation timing of an image sensor according to another embodiment.
8 is an exemplary block diagram of an image sensor according to another embodiment.
9 is an operation timing diagram of an image sensor according to another embodiment.
10 is an example block diagram of an image sensor according to another embodiment.
11 is an operation timing diagram of an image sensor according to another embodiment.
12 is a diagram illustrating an analog-to-digital conversion circuit of an image sensor according to another embodiment.
13 is a diagram illustrating an analog-to-digital conversion operation of an image sensor according to another embodiment.
14 is an exemplary block diagram illustrating a computer device according to one embodiment.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification. In the flowchart described with reference to the drawings, the order of operations may be changed, several operations may be merged, a certain operation may be divided, and a specific operation may not be performed.

또한, 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다. 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 구성요소는 이러한 용어에 의해 한정되지는 않는다. 이들 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다.In addition, expressions written in the singular may be interpreted in the singular or plural unless explicit expressions such as “one” or “single” are used. Terms including ordinal numbers, such as first and second, may be used to describe various components, but the components are not limited by these terms. These terms may be used for the purpose of distinguishing one component from another.

도 1은 한 실시예에 따른 이미지 센서의 예시 블록도이며, 도 2 한 실시예에 따른 이미지 센서의 동작 타이밍을 예시하는 도면이고, 도 3a 및 도 3b는 어두운 이미지를 캡처한 경우의 디지털 코드의 분포의 예를 나타내는 도면이다.1 is an exemplary block diagram of an image sensor according to an embodiment, FIG. 2 is a diagram illustrating an operation timing of an image sensor according to an embodiment, and FIGS. 3A and 3B are digital codes in the case of capturing a dark image. It is a diagram showing an example of a distribution.

도 1을 참고하면, 이미지 센서(100)는 화소 어레이(110), 타이밍 컨트롤러(120), 아날로그 디지털 변환(analog to digital converting) 회로(앞으로 "ADC 회로"라 한다)(130) 및 이미지 신호 처리 회로(140)를 포함할 수 있다. 어떤 실시예에서, 이미지 센서(100)는 두 개의 기판이 적층된 구조일 수 있다. 이미지 센서(100)는 화소 어레이(110)가 형성된 제1 기판과 화소 어레이(110)와 인터페이스하는 수단으로 연결되고 제1 기판에 적층된 제2 기판을 포함할 수 있다. 타이밍 컨트롤러(120), ADC 회로(130) 및 이미지 신호 처리 회로(140)는 제2 기판에 배치될 수 있다. Referring to FIG. 1 , an image sensor 100 includes a pixel array 110, a timing controller 120, an analog to digital converting circuit (hereinafter referred to as an "ADC circuit") 130, and image signal processing. circuit 140. In some embodiments, the image sensor 100 may have a structure in which two substrates are stacked. The image sensor 100 may include a first substrate on which the pixel array 110 is formed and a second substrate connected to the pixel array 110 as an interface unit and stacked on the first substrate. The timing controller 120, the ADC circuit 130, and the image signal processing circuit 140 may be disposed on the second substrate.

이미지 센서(100)는 이미지 또는 광 센싱 기능을 갖는 전자 장치에 탑재될 수 있다. 예를 들어, 이미지 센서(100)는 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, 가전 기기, 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable multimedia player), 네비게이션(navigation), 드론(drone), 첨단 운전자 보조 시스템(advanced drivers assistance system, ADAS) 등과 같은 전자 장치에 탑재될 수 있다. 또는 이미지 센서(100)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 장치에 탑재될 수 있다.The image sensor 100 may be mounted in an electronic device having an image or light sensing function. For example, the image sensor 100 may be a camera, a smart phone, a wearable device, an Internet of Things (IoT) device, a home appliance, a tablet PC (Personal Computer), a PDA (Personal Digital Assistant), a PMP (portable It can be mounted on electronic devices such as multimedia players, navigation, drones, and advanced driver assistance systems (ADAS). Alternatively, the image sensor 100 may be mounted on an electronic device provided as a component in vehicles, furniture, manufacturing facilities, doors, various measuring devices, and the like.

화소 어레이(110)는 행렬 형태로 배열된 복수의 화소(PX), 그리고 복수의 화소(PX)에 각각 연결되는 복수의 행 라인(RL) 및 복수의 열 라인(CL)을 포함할 수 있다. 어떤 실시예에서, 각 화소(PX)는 적어도 하나의 광전 변환 소자(또는 광 감지 소자라고 한다)를 포함할 수 있으며. 광전 변환 소자는 입사되는 광을 감지하고, 입사 광을 광량에 따른 전기 신호(앞으로 "화소 신호"라 한다)로 변환할 수 있다. 행 라인(RL)은 행 방향으로 뻗어 있으며, 동일한 행에 배치된 화소(PX)에 연결될 수 있다. 행 라인(RL)은 화소(PX)에 구비되는 소자, 예를 들면 트랜지스터들에 제어 신호를 전달할 수 있다. 열 라인(CL)은 열 방향으로 뻗어 있으며, 동일한 열에 배치된 화소(PX)에 연결될 수 있다. 각각의 열 라인(CL)은 대응하는 화소(PX)로부터 출력되는 화소 신호를 대응하는 ADC 회로(130)에 전달할 수 있다.The pixel array 110 may include a plurality of pixels PX arranged in a matrix form, and a plurality of row lines RL and a plurality of column lines CL respectively connected to the plurality of pixels PX. In some embodiments, each pixel PX may include at least one photoelectric conversion element (or referred to as a light sensing element). The photoelectric conversion element may sense incident light and convert the incident light into an electrical signal (hereinafter referred to as a "pixel signal") according to the amount of light. The row line RL extends in a row direction and may be connected to pixels PX disposed in the same row. The row line RL may transfer a control signal to elements included in the pixel PX, for example, transistors. The column line CL extends in a column direction and may be connected to pixels PX disposed in the same column. Each column line CL may transmit a pixel signal output from a corresponding pixel PX to a corresponding ADC circuit 130 .

타이밍 컨트롤러(120)는 ADC 회로(130) 및 이미지 신호 처리 회로(140)로 각각 동작 타이밍을 지시하는 제어 신호를 전달하여 ADC 회로(130) 및 이미지 신호 처리 회로(140)의 동작 타이밍을 제어할 수 있다. 어떤 실시예에서, 타이밍 컨트롤러(120)는 수평 동기 신호(또는 라인 동기 신호)에 동기하여 행 단위로 이미지를 처리하도록 ADC 회로(130)와 이미지 신호 처리 회로(140)를 제어할 수 있다. 수평 동기 신호의 한 사이클을 "1 수평 주기"라 할 수 있다. 어떤 실시예에서, 행 단위의 이미지는 이미지 센서(100)에서 한 행(또는 한 라인)의 화소에 해당하는 이미지일 수 있다.The timing controller 120 controls the operation timing of the ADC circuit 130 and the image signal processing circuit 140 by transferring a control signal instructing operation timing to the ADC circuit 130 and the image signal processing circuit 140, respectively. can In some embodiments, the timing controller 120 may control the ADC circuit 130 and the image signal processing circuit 140 to process images row by row in synchronization with a horizontal synchronization signal (or line synchronization signal). One cycle of the horizontal synchronizing signal may be referred to as “one horizontal cycle”. In some embodiments, the row-based image may be an image corresponding to pixels of one row (or one line) in the image sensor 100 .

ADC 회로(130)는 타이밍 컨트롤러(120)로부터의 제어 신호에 응답하여 화소(PX)에서 생성된 화소 신호에 대해 아날로그 디지털 변환 처리(앞으로 "ADC 처리"라 한다)를 수행하고, 화소 신호를 디지털 이미지 데이터로 변환할 수 있다. 이미지 데이터는 각 화소(PX)의 화소 값을 포함할 수 있다. ADC 회로(130)는 타이밍 컨트롤러(120)로부터의 제어 신호에 응답하여 이미지 데이터를 이미지 신호 처리 회로(140)로 전달할 수 있다.The ADC circuit 130 performs analog-to-digital conversion processing (hereinafter referred to as "ADC processing") on the pixel signal generated by the pixel PX in response to the control signal from the timing controller 120, and converts the pixel signal to digital. It can be converted into image data. The image data may include a pixel value of each pixel PX. The ADC circuit 130 may transmit image data to the image signal processing circuit 140 in response to a control signal from the timing controller 120 .

이미지 신호 처리 회로(140)는 ADC 회로(130)로부터 수신한 이미지 데이터에 대해서 디지털 처리(예를 들면, 이미지 신호 처리)를 수행할 수 있다. 어떤 실시예에서, 이미지 신호 처리 회로(140)는 라인 메모리(141)와 이미지 신호 처리기(image signal processor, ISP)(142)를 포함할 수 있다. 라인 메모리(141)는 ADC 회로(130)로부터 수신한 이미지 데이터를 저장하고, 타이밍 컨트롤러(120)로부터의 제어 신호에 응답하여 저장된 이미지 데이터를 읽을 수 있다. ISP(142)는 라인 메모리(141)에 읽은 이미지 데이터에 대해 디지털 처리를 수행할 수 있다.The image signal processing circuit 140 may perform digital processing (eg, image signal processing) on the image data received from the ADC circuit 130 . In some embodiments, the image signal processing circuit 140 may include a line memory 141 and an image signal processor (ISP) 142 . The line memory 141 may store image data received from the ADC circuit 130 and read the stored image data in response to a control signal from the timing controller 120 . The ISP 142 may perform digital processing on image data read into the line memory 141 .

어떤 실시예에서, 라인 메모리(141)는 메모리 컨트롤러(141a)와 메모리(141b)를 포함할 수 있다. 메모리 컨트롤러(141a)는 메모리(141b)의 읽기/쓰기를 제어할 수 있다. 메모리 컨트롤러(141a)는 ADC 회로(130)로부터 수신한 이미지 데이터를 메모리(141b)에 저장하거나, 메모리(141b)로부터 이미지 데이터를 읽어서 ISP(142)로 전달할 수 있다. 메모리 컨트롤러(141a)는 스프레더(spreader) 유닛으로 동작할 수 있다. 어떤 실시예에서, ISP(142)에도 별도의 메모리(142a)가 연결될 수 있다. 메모리(142a)는 ISP(142)의 디지털 처리에 사용되는 데이터를 임시로 저장할 수 있다. 메모리(141b, 142a)는 예를 들면 정적 랜덤 액세스 메모리(static random access memory, SRAM)으로 구현될 수 있다.In some embodiments, the line memory 141 may include a memory controller 141a and a memory 141b. The memory controller 141a may control reading/writing of the memory 141b. The memory controller 141a may store image data received from the ADC circuit 130 in the memory 141b or may read image data from the memory 141b and transfer the image data to the ISP 142 . The memory controller 141a may operate as a spreader unit. In some embodiments, a separate memory 142a may be coupled to the ISP 142 as well. The memory 142a may temporarily store data used for digital processing of the ISP 142 . The memories 141b and 142a may be implemented as, for example, static random access memory (SRAM).

도 1 및 도 2를 참고하면, ADC 회로(130)는 1 수평 주기의 소정 기간(또는 ADC 처리 기간)(210, 220) 동안 화소 신호(예를 들면, 행 단위의 화소 신호)를 이미지 데이터로 변환하는 아날로그 처리 동작인 ADC 처리를 수행할 수 있다. ADC 회로(130)는 1 수평 주기 동안 두 번 이상의 ADC 처리(210, 220)를 차례로 수행할 수 있다. 도 2에서는 2회의 ADC 처리(210, 220)를 예시하였지만, 1 수평 주기의 동안의 ADC 처리의 횟수는 이에 한정되지 않는다. 어떤 실시예에서, 복수의 ADC 처리(210, 220)는 화소 신호에서 리셋 신호를 처리하는 ADC 처리(210) 및 화소 신호의 화소 값을 변환하는 ADC 처리(220)를 포함할 수 있다. 어떤 실시예에서, 1 수평 주기의 동안에 복수의 ADC 처리(210, 220)는 오토 포커싱 정보를 생성하기 위한 복수 샘플링 동작 또는 HDR(high dynamic range)을 위한 다중 게인 샘플링 등을 위해 화소 신호를 이미지 데이터로 변환하는 세 번째 또는 그 이상의 ADC 처리를 더 포함할 수 있다. ISP(142)는 1 수평 주기 동안 라인 메모리(141)에 저장된 이미지 데이터에 대해 디지털 처리를 수행할 수 있다. 예를 들면, ISP(142)는 한 행의 이미지 데이터를 소정 크기의 단위로 처리할 수 있다. ISP(142)가 디지털 처리를 수행하는 디지털 처리 기간은 1 수평 주기보다 짧을 수 있다.1 and 2, the ADC circuit 130 converts pixel signals (eg, pixel signals in units of rows) into image data during a predetermined period of one horizontal cycle (or ADC processing period) 210 and 220. ADC processing, which is an analog processing operation to convert, can be performed. The ADC circuit 130 may sequentially perform the ADC processes 210 and 220 two or more times during one horizontal period. In FIG. 2, ADC processing 210 and 220 are illustrated twice, but the number of ADC processing during one horizontal period is not limited thereto. In some embodiments, the plurality of ADC processes 210, 220 may include an ADC process 210 that processes a reset signal from a pixel signal and an ADC process 220 that converts a pixel value of a pixel signal. In some embodiments, during one horizontal period, the plurality of ADC processes 210 and 220 convert pixel signals into image data for a multi-sampling operation for generating auto-focusing information or multi-gain sampling for HDR (high dynamic range). It may further include a third or more ADC processing to convert to . The ISP 142 may perform digital processing on image data stored in the line memory 141 for one horizontal period. For example, the ISP 142 may process one row of image data in units of a predetermined size. A digital processing period in which the ISP 142 performs digital processing may be shorter than one horizontal period.

디지털 처리 기간(230) 동안 파워 소모량이 일정하지 않아 그라운드 커플링(ground coupling)이 발생할 수 있고, 그라운드 커플링 노이즈는 ADC 회로(130)의 성능에 영향을 줄 수 있다. 특히, ADC 처리 기간(210, 220) 중 일부 기간(211, 221)이 ISP(142)의 디지털 처리에 의해 영향을 받을 수 있으며, 이러한 기간(211, 221)을 "크리티컬 기간"이라 한다. 어떤 실시예에서, 크리티컬 기간(211, 221)은 ADC 회로(130)가 디지털 코드 값("계조 값"이라고도 한다)이 상대적으로 낮은 화소 신호(예를 들면, 디지털 코드 값이 임계 값보다 낮은 화소 신호)를 검출하는 기간을 포함할 수 있다. 이러한 기간을 "로 코드(low code) 결정 기간"이라 할 수 있다. 어떤 실시예에서, 로 코드 결정 기간은 디지털 코드의 소정 개수 이하의 LSB(least significant bits)를 결정하는 기간일 수 있다. 예를 들면, 로 코드 결정 기간은 12 비트의 디지털 코드를 사용하는 경우에 디지털 코드의 8개 이하의 LSB를 결정하는 기간일 수 있다.During the digital processing period 230, power consumption is not constant, so ground coupling may occur, and ground coupling noise may affect the performance of the ADC circuit 130. In particular, some periods 211 and 221 of the ADC processing periods 210 and 220 may be affected by digital processing of the ISP 142, and these periods 211 and 221 are referred to as "critical periods". In some embodiments, in the critical periods 211 and 221 , the ADC circuit 130 processes a pixel signal having a relatively low digital code value (also referred to as a "gradation value") (eg, a pixel having a digital code value lower than a threshold value). signal) may be included. This period may be referred to as a "low code determination period". In some embodiments, the low code determination period may be a period for determining least significant bits (LSBs) of a digital code of a predetermined number or less. For example, the raw code determining period may be a period for determining 8 or less LSBs of a digital code in the case of using a 12-bit digital code.

크리티컬 기간(211, 221)가 ISP(142)가 디지털 처리를 수행하는 경우, ISP(142)의 디지털 처리가 ADC 회로(130)의 ADC 처리에 영향을 줄 수 있다. 따라서, 도 2에 도시한 것처럼, 타이밍 컨트롤러(120)는 ISP(142)가 디지털 처리를 소정 기간(또는 홀딩(holding) 기간)(241, 242) 동안 동작을 홀딩한 후에 다시 시작하도록 이미지 신호 처리 회로(140)를 제어할 수 있다. 타이밍 컨트롤러(120)는 홀딩 기간(241, 242)이 크리티컬 기간(211, 221)에 동기화되도록 이미지 신호 처리 회로(140)를 제어할 수 있다. 어떤 실시예에서, 홀딩 기간(241, 242)은 크리티컬 기간(211, 221) 동안 이미지 신호 처리 회로(140)에서 소모되는 파워(250)가 임계 값(251) 이하가 되도록 설정될 수 있다. 어떤 실시예에서, 홀딩 기간(241, 242)은 크리티컬 기간(211, 221) 동안 이미지 신호 처리 회로(140)에서 소모되는 파워(250)의 변동치가 임계 값 이하가 되도록 설정될 수 있다. 예를 들면, 이미지 센서(100)의 회로의 기생 성분으로 인해 이미지 신호 처리 회로(140)의 디지털 처리가 홀딩되는 시점부터 파워(250)가 임계 값(251) 아래로 내려가지 않을 수 있으므로, 기생 성분으로 인한 지연을 고려해서 홀딩 기간(241, 242)이 설정될 수 있다. 어떤 실시예에서, 홀딩 기간(241, 242)의 시작 시점은 크리티컬 기간(211, 221)의 시작 시점보다 소정 시간만큼 앞서도록 설정될 수 있다. 어떤 실시예에서, 크리티컬 기간(211, 221)은 ADC 처리(210, 220)의 소정 시점에서 시작되므로, 홀딩 기간(241, 242)의 시작 시점은 ADC 처리(210, 220)의 시작 시점에 기초해서 설정될 수 있다.When the ISP 142 performs digital processing during the critical periods 211 and 221 , the digital processing of the ISP 142 may affect the ADC processing of the ADC circuit 130 . Therefore, as shown in FIG. 2, the timing controller 120 processes the image signal so that the ISP 142 resumes digital processing after holding the operation for a predetermined period (or holding period) 241, 242. Circuit 140 can be controlled. The timing controller 120 may control the image signal processing circuit 140 so that the holding periods 241 and 242 are synchronized with the critical periods 211 and 221 . In some embodiments, the holding periods 241 and 242 may be set so that the power 250 consumed by the image signal processing circuit 140 during the critical periods 211 and 221 is less than or equal to the threshold value 251 . In some embodiments, the holding periods 241 and 242 may be set so that a variation of the power 250 consumed by the image signal processing circuit 140 during the critical periods 211 and 221 is less than or equal to a threshold value. For example, since the power 250 may not fall below the threshold value 251 from the point at which the digital processing of the image signal processing circuit 140 is held due to the parasitic component of the circuit of the image sensor 100, the parasitic Holding periods 241 and 242 may be set in consideration of a delay due to a component. In some embodiments, the start times of the holding periods 241 and 242 may be set to be ahead of the start times of the critical periods 211 and 221 by a predetermined time. In some embodiments, since the critical periods 211 and 221 start at predetermined times in the ADC processes 210 and 220, the start times of the holding periods 241 and 242 are based on the start times of the ADC processes 210 and 220. can be set by

그러면 홀딩 기간(241, 242) 동안 ISP(142)가 디지털 처리를 홀딩함으로써 크리티컬 기간(211, 221) 동안 이미지 신호 처리 회로(140)에서 파워가 거의 소모되지 않거나 소모 파워의 변동이 최소화될 수 있다. 따라서, 크리티컬 기간(211, 221) 동안의 ADC 처리가 디지털 처리에 의해 받을 수 있는 영향을 제거할 수 있다.Then, since the ISP 142 holds digital processing during the holding periods 241 and 242, little power is consumed in the image signal processing circuit 140 during the critical periods 211 and 221, or fluctuations in power consumption can be minimized. . Accordingly, the ADC processing during the critical periods 211 and 221 may be affected by digital processing.

도 3a 및 도 3b는 모든 화소의 디지털 코드 값이 예를 들면 64인 어두운 이미지를 캡처한 경우의 디지털 코드의 분포를 나타낸다. 도 3a 및 도 3b에서, x축과 y축은 각각 화소 어레이(110)에 행과 열을 나타내며, y축은 디지털 코드 값을 나타낸다. 도 3a에 도시한 것처럼, ISP(142)의 디지털 처리를 홀딩하지 않는 경우에는 ADC 처리가 디지털 처리에 의해 영향을 받아서 디지털 코드 값이 균일하지 분포하지 않는 것을 알 수 있다. 그러나 도 3b에 도시한 것처럼, 홀딩 기간(241, 242) 동안 ISP(142)의 디지털 처리를 홀딩하는 경우에는 디지털 코드 값이 균일하게 분포하는 것을 알 수 있다.3A and 3B show the distribution of digital codes when a dark image in which the digital code values of all pixels are eg 64 is captured. 3A and 3B, the x-axis and the y-axis represent rows and columns in the pixel array 110, respectively, and the y-axis represents a digital code value. As shown in FIG. 3A , when the digital processing of the ISP 142 is not held, the ADC processing is affected by the digital processing, so that the digital code values are not uniformly distributed. However, as shown in FIG. 3B , when the digital processing of the ISP 142 is held during the holding periods 241 and 242 , it can be seen that the digital code values are uniformly distributed.

도 4는 다른 실시예에 따른 이미지 센서의 예시 블록도이며, 도 5는 다른 실시예에 따른 이미지 센서의 동작 타이밍을 예시하는 도면이다.4 is an exemplary block diagram of an image sensor according to another embodiment, and FIG. 5 is a diagram illustrating an operation timing of an image sensor according to another embodiment.

도 4를 참고하면, 도 1을 참고로 하여 설명한 것처럼, 이미지 센서(400)는 화소 어레이(410), 타이밍 컨트롤러(420), ADC 회로(430) 및 이미지 신호 처리 회로(440)를 포함하고, 이미지 신호 처리 회로(440)는 라인 메모리(441)와 ISP(442)를 포함할 수 있다. 어떤 실시예에서, 라인 메모리(441)는 메모리 컨트롤러(441a)와 메모리(441b)를 포함할 수 있으며, ISP(442)에도 메모리(442a)가 연결될 수 있다.Referring to FIG. 4 , as described with reference to FIG. 1 , the image sensor 400 includes a pixel array 410, a timing controller 420, an ADC circuit 430 and an image signal processing circuit 440, The image signal processing circuit 440 may include a line memory 441 and an ISP 442 . In some embodiments, the line memory 441 may include a memory controller 441a and a memory 441b, and the memory 442a may also be connected to the ISP 442.

도 4 및 도 5를 참고하면, 타이밍 컨트롤러(420)는 ISP(442)의 디지털 처리를 홀딩하는 홀딩 기간(541, 542)을 설정하기 위해 라인 메모리(441)를 제어할 수 있다. 어떤 실시예에서, 타이밍 컨트롤러(420)는 홀딩 처리 신호(HP)를 라인 메모리(441)로 전달하여 ISP(442)의 디지털 처리를 홀딩하는 홀딩 기간(541, 542)을 설정할 수 있다. 홀딩 처리 신호(HP)는 홀딩 기간(541, 542) 동안 소정 레벨(또는 디스에이블 레벨)의 펄스("홀드 펄스"라 한다)를 가지는 신호일 수 있다. 라인 메모리(441)는 홀딩 처리 신호(HP)의 홀드 펄스(또는 인에이블 레벨)에 응답하여 읽기 동작을 중지할 수 있다. 라인 메모리(441)에서 읽혀서 출력되는 이미지 데이터가 없으므로, ISP(442)는 홀딩 기간(541, 542) 동안 디지털 처리를 홀딩(또는 중지)할 수 있다. ISP(442)가 홀딩 기간(541, 542) 동안 디지털 처리를 홀딩함으로써, 크리티컬 기간(511, 521) 동안 이미지 신호 처리 회로(440)에서 파워가 거의 소모되지 않을 수 있다.Referring to FIGS. 4 and 5 , the timing controller 420 may control the line memory 441 to set holding periods 541 and 542 for holding digital processing of the ISP 442 . In some embodiments, the timing controller 420 may transfer the holding processing signal HP to the line memory 441 to set holding periods 541 and 542 for holding the digital processing of the ISP 442 . The holding processing signal HP may be a signal having a pulse (referred to as a “hold pulse”) of a predetermined level (or a disable level) during the holding periods 541 and 542 . The line memory 441 may stop the read operation in response to the hold pulse (or enable level) of the holding processing signal HP. Since there is no image data read and output from the line memory 441 , the ISP 442 may hold (or stop) digital processing during the holding periods 541 and 542 . Since the ISP 442 holds digital processing during the holding periods 541 and 542 , little power can be consumed in the image signal processing circuit 440 during the critical periods 511 and 521 .

어떤 실시예에서, 라인 메모리(441)로부터 출력되는 이미지 데이터가 없더라도, ISP(442)는 임시로 저장한 데이터(예를 들면, 메모리(도 1의 142a)에 저장된 데이터)로 디지털 처리를 수행할 수 있으므로, ISP(442)가 디지털 처리를 홀딩하는 시점은 홀드 펄스의 시작 시점으로부터 지연되어 나타날 수 있다. 따라서, 타이밍 컨트롤러(420)는 지연 시간에 기초해서 홀드 펄스를 생성할 수 있다.In some embodiments, even if there is no image data output from the line memory 441, the ISP 442 may perform digital processing on temporarily stored data (eg, data stored in the memory (142a in FIG. 1)). Therefore, the time at which the ISP 442 holds the digital processing may be delayed from the start time of the hold pulse. Accordingly, the timing controller 420 may generate a hold pulse based on the delay time.

다시 도 4를 참고하면, 어떤 실시예에서, 이미지 센서(400)는 프로세서(450)를 더 포함할 수 있다. 프로세서(450)는 산술 연산을 수행할 수 있는 로직을 포함할 수 있다. 프로세서(450)는 홀딩 기간(541, 542)(또는 홀드 펄스)의 설정 정보를 타이밍 컨트롤러(420)로 제공하고, 타이밍 컨트롤러(420)는 설정 정보에 기초해서 홀딩 처리 신호(HP)를 생성할 수 있다. 어떤 실시예에서, 홀딩 기간(541, 542)의 설정 정보는 홀드 폭과 홀드 시작 시점을 포함할 수 있다. 어떤 실시예에서, 홀딩 기간(541, 542)의 설정 정보는 홀드 펄스의 개수를 더 포함할 수 있다. 그러면 타이밍 컨트롤러(420)는 홀드 시작 시점부터 홀드 폭 동안 소정 레벨의 홀드 펄스를 가지는 홀딩 처리 신호(HP)를 라인 메모리(531)로 전달할 수 있다.Referring back to FIG. 4 , in some embodiments, the image sensor 400 may further include a processor 450 . The processor 450 may include logic capable of performing arithmetic operations. The processor 450 provides setting information of the holding periods 541 and 542 (or hold pulses) to the timing controller 420, and the timing controller 420 generates a holding processing signal HP based on the setting information. can In some embodiments, the setting information of the holding periods 541 and 542 may include a hold width and a hold start point. In some embodiments, the setting information of the holding periods 541 and 542 may further include the number of hold pulses. Then, the timing controller 420 may transfer the holding processing signal HP having a hold pulse of a predetermined level for a hold width from a hold start point to the line memory 531 .

어떤 실시예에서, 프로세서(450)는 1 수평 주기의 시간과 디지털 처리 기간의 차이와 ADC 처리(510, 520)의 횟수(도 5의 예에서는 2)에 기초해서 홀드 폭을 결정할 수 있다. 예를 들면, 프로세서(450)는 수학식 1과 같이 1 수평 주기의 시간과 디지털 처리 기간의 차이를 ADC 처리(510, 520)의 횟수로 나눈 값을 홀드 폭으로 결정할 수 있다.In some embodiments, the processor 450 may determine the hold width based on the difference between the time of one horizontal cycle and the digital processing period and the number of ADC processes 510 and 520 (2 in the example of FIG. 5). For example, the processor 450 may determine a value obtained by dividing the difference between the time of one horizontal cycle and the digital processing period by the number of ADC processes 510 and 520 as the hold width, as shown in Equation 1.

어떤 실시예에서, 프로세서(450)는 ADC 처리(510, 520)의 시작 시점과 홀드 시작 시점 사이의 차이를 지시하는 오프셋에 기초해서 홀드 시작 시점을 결정할 수 있다. 예를 들면, 프로세서(450)는 수학식 2과 같이 각 ADC 처리(510, 520)의 시작 시점에서 오프셋을 뺀 시점을 각 홀드 펄스의 홀드 시작 시점으로 결정할 수 있다. 어떤 실시예에서, 오프셋은 ADC 처리(510, 520)의 시작 시점과 홀드 시작 시점 사이의 차이를 지시할 수 있다. 이 경우, 프로세서(450)는 각 ADC 처리(510, 520)의 시작 시점에서 오프셋을 뺀 시점을 각 홀드 펄스의 홀드 시작 시점으로 결정할 수 있다.In some embodiments, the processor 450 may determine the hold start time based on the offset indicating the difference between the start time of the ADC processes 510 and 520 and the hold start time. For example, as shown in Equation 2, the processor 450 may determine a time point obtained by subtracting an offset from a start point of each ADC process 510 or 520 as a hold start point of each hold pulse. In some embodiments, the offset may indicate the difference between the start of the ADC process 510 and 520 and the start of the hold. In this case, the processor 450 may determine a time point obtained by subtracting an offset from a start time point of each ADC process 510 or 520 as a hold start time point of each hold pulse.

어떤 실시예에서, 홀드 펄스의 설정 정보를 결정하는 알고리즘(예를 들면, 수학식 1 및 2의 계산식)은 프로세서(450)가 사용하는 메모리(451)에 저장될 수 있다. 메모리(451)는 예를 들면 ROM(read-only memory)일 수 있다. 알고리즘은 메모리(451)에 펌웨어로 저장될 수 있다.In some embodiments, an algorithm for determining hold pulse setting information (eg, equations 1 and 2) may be stored in the memory 451 used by the processor 450 . The memory 451 may be, for example, read-only memory (ROM). The algorithm may be stored as firmware in the memory 451 .

어떤 실시예에서, 프로세서(450)는 외부 프로세서(460)(예를 들면, 이미지 센서(400)가 연결되는 컴퓨팅 장치의 프로세서)로부터 ADC 처리(510, 520)의 시작 타이밍과 오프셋을 수신할 수 있다. 이미지 센서(400)와 외부 프로세서(460)는 이미징 시스템을 형성할 수 있다. 어떤 실시예에서, 프로세서(450)는 레지스터 또는 메모리에 오프셋을 저장하고 있을 수 있다. 어떤 실시예에서, 프로세서(450)는 외부로부터의 입력에 기초해서 오프셋을 설정할 수 있다.In some embodiments, processor 450 may receive the start timing and offset of ADC processes 510 and 520 from external processor 460 (eg, a processor of a computing device to which image sensor 400 is connected). there is. The image sensor 400 and the external processor 460 may form an imaging system. In some embodiments, processor 450 may store offsets in registers or memory. In some embodiments, processor 450 may set the offset based on input from the outside.

도 6은 또 다른 실시예에 따른 이미지 센서의 예시 블록도이며, 도 7은 또 다른 실시예에 따른 이미지 센서의 동작 타이밍을 예시하는 도면이다.6 is an exemplary block diagram of an image sensor according to another embodiment, and FIG. 7 is a diagram illustrating operation timing of the image sensor according to another embodiment.

도 6을 참고하면, 도 4를 참고로 하여 설명한 것처럼, 이미지 센서(600)는 화소 어레이(610), 타이밍 컨트롤러(620), ADC 회로(630), 이미지 신호 처리 회로(640) 및 프로세서(650)를 포함하고, 이미지 신호 처리 회로(640)는 라인 메모리(641)와 ISP(642)를 포함할 수 있다. 어떤 실시예에서, 라인 메모리(641)는 메모리 컨트롤러(641a)와 메모리(641b)를 포함할 수 있으며, ISP(642)에도 메모리(642a)가 연결될 수 있다.Referring to FIG. 6 , as described with reference to FIG. 4 , the image sensor 600 includes a pixel array 610, a timing controller 620, an ADC circuit 630, an image signal processing circuit 640, and a processor 650. ), and the image signal processing circuit 640 may include a line memory 641 and an ISP 642 . In some embodiments, the line memory 641 may include a memory controller 641a and a memory 641b, and the memory 642a may also be connected to the ISP 642.

도 6 및 도 7을 참고하면, 타이밍 컨트롤러(620)는 ISP(642)의 디지털 처리를 홀딩하는 홀딩 기간(741, 742)을 설정하기 위해 ISP(642)를 제어할 수 있다. 어떤 실시예에서, 타이밍 컨트롤러(620)는 홀딩 기간(741, 742) 동안 ISP(642)로 전달되는 클록(CLK)을 차단해서 홀딩 기간(741, 742)을 설정할 수 있다. ISP(642)는 클록(CLK)에 따라 동작하므로, 클록(CLK)이 차단되는 홀딩 기간(741, 742) 동안 ISP(642)는 디지털 처리를 홀딩(또는 중지)할 수 있다. ISP(642)가 홀딩 기간(741, 742) 동안 디지털 처리를 홀딩함으로써, ADC 처리(710, 720)의 크리티컬 기간(711, 721) 동안 이미지 신호 처리 회로(640)에서 파워가 거의 소모되지 않을 수 있다.Referring to FIGS. 6 and 7 , the timing controller 620 may control the ISP 642 to set holding periods 741 and 742 for holding digital processing of the ISP 642 . In some embodiments, the timing controller 620 may set the holding periods 741 and 742 by blocking the clock CLK transmitted to the ISP 642 during the holding periods 741 and 742 . Since the ISP 642 operates according to the clock CLK, the ISP 642 can hold (or stop) digital processing during holding periods 741 and 742 in which the clock CLK is blocked. Since the ISP 642 holds the digital processing during the holding periods 741 and 742, little power can be consumed in the image signal processing circuit 640 during the critical periods 711 and 721 of the ADC processes 710 and 720. there is.

어떤 실시예에서, 타이밍 컨트롤러(620)는 프로세서(650)로부터 전달되는 홀딩 기간(741, 742)의 설정 정보에 기초해서 클록(CLK)을 차단할 수 있다. 어떤 실시예에서, 프로세서(650)는 외부 프로세서(660)로부터 ADC 처리(710, 720)의 시작 타이밍과 오프셋을 수신하고, 시작 타이밍과 오프셋에 기초해서 설정 정보를 결정할 수 있다. 어떤 실시예에서, 홀딩 기간(741, 742)의 설정 정보를 결정하는 알고리즘(예를 들면, 계산식)은 프로세서(650)가 사용하는 메모리(651)에 펌웨어로 저장될 수 있다. 어떤 실시예에서, 홀딩 기간(741, 742)의 설정 정보는 폭과 시작 시점을 포함할 수 있다. 어떤 실시예에서, 홀딩 기간(741, 742)의 설정 정보는 홀딩 기간(741, 742)의 개수를 더 포함할 수 있다. 그러면 타이밍 컨트롤러(620)는 각 시작 시점에서 폭 동안 클록(CLK)을 차단할 수 있다. 클록(CLK)이 차단되는 경우 ISP(642)는 동작을 멈추므로, 어떤 실시예에서, 클록(CLK)을 차단하는 시작 시점은 홀딩 기간(741, 742)의 시작 시점과 실질적으로 동일하도록 설정될 수 있다.In some embodiments, the timing controller 620 may block the clock CLK based on setting information of the holding periods 741 and 742 transmitted from the processor 650 . In some embodiments, processor 650 may receive start timings and offsets of ADC processes 710 and 720 from external processor 660 and determine configuration information based on the start timings and offsets. In some embodiments, an algorithm (eg, a calculation formula) for determining setting information of the holding periods 741 and 742 may be stored as firmware in the memory 651 used by the processor 650 . In some embodiments, the setting information of the holding periods 741 and 742 may include a width and a start point. In some embodiments, the setting information of the holding periods 741 and 742 may further include the number of holding periods 741 and 742 . Then, the timing controller 620 may block the clock CLK for a width at each start point. Since the ISP 642 stops operating when the clock CLK is blocked, in some embodiments, the start time of blocking the clock CLK may be set to be substantially the same as the start time of the holding periods 741 and 742. can

도 8은 또 다른 실시예에 따른 이미지 센서의 예시 블록도이며, 도 9는 또 다른 실시예에 따른 이미지 센서의 동작 타이밍도이다.8 is an exemplary block diagram of an image sensor according to another embodiment, and FIG. 9 is an operation timing diagram of the image sensor according to another embodiment.

도 8을 참고하면, 도 1을 참고로 하여 설명한 것처럼, 이미지 센서(800)는 화소 어레이(810), 타이밍 컨트롤러(820), ADC 회로(830) 및 이미지 신호 처리 회로(840)를 포함할 수 있다. 이미지 신호 처리 회로(840)는 라인 메모리(841)와 복수의 ISP 블록(842a, 842b, 842c)을 포함할 수 있다. 복수의 ISP 블록(842a, 842b, 842c)은 각각 "ISP 1", "ISP 2" 및 "ISP 3"으로 표현될 수 있다. 어떤 실시예에서, 라인 메모리(841)는 메모리 컨트롤러(841a)와 메모리(841b)를 포함할 수 있으며, 각 ISP 블록(842a, 842b, 842c)에도 메모리(843a, 843b, 843c)가 연결될 수 있다. 도 8에서는 ISP 블록(842a, 842b, 842c)의 개수를 3개로 예시하였지만, ISP 블록(842a, 842b, 842c)의 개수는 이에 한정되지 않는다. 어떤 실시예에서, 복수의 ISP 블록(842a, 842b, 842c)은 이미지 신호 처리 기능에 따라 논리적 또는 물리적으로 나누어진 블록일 수 있다. 예를 들면, 이미지 신호 처리 기능은 불량 화소 보정(bad pixel correction), 노이즈 제거, 컬러 보정, 화질 보상, 화소 비닝(binning) 또는 데이터 정렬을 포함할 수 있다.Referring to FIG. 8 , as described with reference to FIG. 1 , the image sensor 800 may include a pixel array 810, a timing controller 820, an ADC circuit 830, and an image signal processing circuit 840. there is. The image signal processing circuit 840 may include a line memory 841 and a plurality of ISP blocks 842a, 842b, and 842c. The plurality of ISP blocks 842a, 842b, and 842c may be expressed as "ISP 1", "ISP 2", and "ISP 3", respectively. In some embodiments, the line memory 841 may include a memory controller 841a and a memory 841b, and the memories 843a, 843b, and 843c may be connected to each of the ISP blocks 842a, 842b, and 842c. . Although the number of ISP blocks 842a, 842b, and 842c is exemplified as three in FIG. 8, the number of ISP blocks 842a, 842b, and 842c is not limited thereto. In some embodiments, the plurality of ISP blocks 842a, 842b, and 842c may be logically or physically divided blocks according to image signal processing functions. For example, the image signal processing function may include bad pixel correction, noise removal, color correction, image quality compensation, pixel binning, or data alignment.

복수의 ISP 블록(842a, 842b, 842c)는 이미지 데이터에 대해 순차적으로 이미지 신호 처리를 수행할 수 있다. 라인 메모리(841)는 ADC 회로(830)에서 전달되는 이미지 데이터를 저장하고, ISP 블록(842a)은 라인 메모리(841)에서 읽은 이미지 데이터에 대해 이미지 신호 처리를 수행할 수 있다. ISP 블록(842b)은 ISP 블록(842a)에서 처리되어 전달되는 이미지 데이터에 대해 이미지 신호 처리를 수행하고, ISP 블록(842c)은 ISP 블록(842b)에서 처리되어 전달되는 이미지 데이터에 대해 이미지 신호 처리를 수행할 수 있다.The plurality of ISP blocks 842a, 842b, and 842c may sequentially perform image signal processing on image data. The line memory 841 may store image data transferred from the ADC circuit 830, and the ISP block 842a may perform image signal processing on image data read from the line memory 841. The ISP block 842b performs image signal processing on the image data processed by the ISP block 842a and transferred, and the ISP block 842c performs image signal processing on the image data processed by the ISP block 842b and transferred. can be performed.

도 8 및 도 9를 참고하면, 타이밍 컨트롤러(820)는 ISP 블록(842a, 842b, 842c)의 디지털 처리를 홀딩하는 홀딩 기간(941, 942)을 설정하기 위해 ISP 블록(842a, 842b, 842c)를 제어할 수 있다. 어떤 실시예에서, 타이밍 컨트롤러(820)는 홀딩 기간(941, 942) 동안 ISP 블록(842a, 842b, 842c)으로 전달되는 클록(CLK)을 차단해서 홀딩 기간(941, 942)을 설정할 수 있다. ISP 블록(842a, 842b, 842c)이 홀딩 기간(941, 942) 동안 디지털 처리를 홀딩함으로써, ADC 처리(910, 920)의 크리티컬 기간(911, 921) 동안 이미지 신호 처리 회로(840)에서 파워가 거의 소모되지 않을 수 있다.8 and 9, the timing controller 820 uses ISP blocks 842a, 842b, and 842c to set holding periods 941 and 942 for holding digital processing of ISP blocks 842a, 842b, and 842c. can control. In some embodiments, the timing controller 820 may set the holding periods 941 and 942 by blocking the clock CLK transmitted to the ISP blocks 842a, 842b, and 842c during the holding periods 941 and 942. As the ISP blocks 842a, 842b, and 842c hold the digital processing during the holding periods 941 and 942, power is supplied to the image signal processing circuit 840 during the critical periods 911 and 921 of the ADC processes 910 and 920. It may hardly be consumed.

어떤 실시예에서, 도 6 및 도 7을 참고로 하여 설명한 것처럼, 타이밍 컨트롤러(820)는 프로세서(850)로부터 전달되는 홀딩 기간(941, 942)의 설정 정보에 기초해서 클록(CLK)을 차단할 수 있다. 어떤 실시예에서, 프로세서(850)는 외부 프로세서(960)로부터 ADC 처리(910, 920)의 시작 타이밍과 오프셋을 수신하고, 시작 타이밍과 오프셋에 기초해서 설정 정보를 결정할 수 있다. 어떤 실시예에서, 홀딩 기간(941, 942)의 설정 정보를 결정하는 알고리즘(예를 들면, 계산식)은 프로세서(850)가 사용하는 메모리(851)에 펌웨어로 저장될 수 있다.In some embodiments, as described with reference to FIGS. 6 and 7 , the timing controller 820 may block the clock CLK based on setting information of the holding periods 941 and 942 transmitted from the processor 850. there is. In some embodiments, processor 850 may receive start timings and offsets of ADC processes 910 and 920 from external processor 960 and determine configuration information based on the start timings and offsets. In some embodiments, an algorithm (eg, a calculation formula) for determining setting information of the holding periods 941 and 942 may be stored as firmware in the memory 851 used by the processor 850 .

도 10은 또 다른 실시예에 따른 이미지 센서의 예시 블록도이며, 도 11은 또 다른 실시예에 따른 이미지 센서의 동작 타이밍도이다.10 is an exemplary block diagram of an image sensor according to another embodiment, and FIG. 11 is an operation timing diagram of an image sensor according to another embodiment.

도 10을 참고하면, 도 1을 참고로 하여 설명한 것처럼, 이미지 센서(1000)는 화소 어레이(1010), 타이밍 컨트롤러(1020), ADC 회로(1030) 및 이미지 신호 처리 회로(1040)를 포함할 수 있다. 이미지 신호 처리 회로(1040)는 복수의 라인 메모리(1041a, 1041b, 1041c)와 복수의 ISP 블록(1042a, 1042b, 1042c)을 포함할 수 있다. 복수의 ISP 블록(1042a, 1042b, 1042c)은 각각 "ISP 1", "ISP 2" 및 "ISP 3"으로 표현될 수 있다. 복수의 라인 메모리(1041a, 1041b, 1041c)는 복수의 ISP 블록(1042a, 1042b, 1042c)에 각각 대응할 수 있다. 어떤 실시예에서, 각 라인 메모리(1041a, 1041b, 1041c)는 메모리 컨트롤러(1044a, 1044b, 1044c)와 메모리(1045a, 1045b, 1045c)를 포함할 수 있으며, 각 블록(1042a, 1042b, 1042c)에도 메모리(1043a, 1043b, 1043c)가 연결될 수 있다. 도 10에서는 라인 메모리(1041a, 1041b, 1041c)와 ISP 블록(1042a, 1042b, 1042c)의 개수를 3개로 예시하였지만, 라인 메모리(1041a, 1041b, 1041c)와 ISP 블록(1042a, 1042b, 1042c)의 개수는 이에 한정되지 않는다.Referring to FIG. 10 , as described with reference to FIG. 1 , the image sensor 1000 may include a pixel array 1010, a timing controller 1020, an ADC circuit 1030, and an image signal processing circuit 1040. there is. The image signal processing circuit 1040 may include a plurality of line memories 1041a, 1041b, and 1041c and a plurality of ISP blocks 1042a, 1042b, and 1042c. The plurality of ISP blocks 1042a, 1042b, and 1042c may be expressed as "ISP 1", "ISP 2", and "ISP 3", respectively. The plurality of line memories 1041a, 1041b, and 1041c may respectively correspond to the plurality of ISP blocks 1042a, 1042b, and 1042c. In some embodiments, each of the line memories 1041a, 1041b, and 1041c may include memory controllers 1044a, 1044b, and 1044c and memories 1045a, 1045b, and 1045c, and each block 1042a, 1042b, and 1042c may also include Memories 1043a, 1043b, and 1043c may be connected. Although the number of line memories 1041a, 1041b, and 1041c and the ISP blocks 1042a, 1042b, and 1042c is exemplified as three in FIG. The number is not limited to this.

복수의 ISP 블록(1042a, 1042b, 1042c)은 이미지 데이터에 대해 순차적으로 이미지 신호 처리를 수행할 수 있다. 복수의 라인 메모리(1041a, 1041b, 1041c)는 대응하는 ISP 블록(1042a, 1042b, 1042c)에서의 디지털 처리의 대상이 되는 데이터를 저장할 수 있다. 라인 메모리(1041a)는 ADC 회로(1030)에서 전달되는 이미지 데이터를 저장하고, ISP 블록(1042a)은 라인 메모리(1041a)에서 읽은 이미지 데이터에 대해 이미지 신호 처리를 수행할 수 있다. 라인 메모리(1041b)는 ISP 블록(1042a)에서 처리되어 전달되는 이미지 데이터를 저장하고, ISP 블록(1042b)은 라인 메모리(1041b)에서 읽은 이미지 데이터에 대해 이미지 신호 처리를 수행할 수 있다. 라인 메모리(1041c)는 ISP 블록(1042b)에서 처리되어 전달되는 이미지 데이터를 저장하고, ISP 블록(1042c)은 라인 메모리(1041c)에서 읽은 이미지 데이터에 대해 이미지 신호 처리를 수행할 수 있다.The plurality of ISP blocks 1042a, 1042b, and 1042c may sequentially perform image signal processing on image data. The plurality of line memories 1041a, 1041b, and 1041c may store data subject to digital processing in the corresponding ISP blocks 1042a, 1042b, and 1042c. The line memory 1041a may store image data transferred from the ADC circuit 1030, and the ISP block 1042a may perform image signal processing on image data read from the line memory 1041a. The line memory 1041b may store image data processed and transmitted by the ISP block 1042a, and the ISP block 1042b may perform image signal processing on image data read from the line memory 1041b. The line memory 1041c may store image data processed and transmitted by the ISP block 1042b, and the ISP block 1042c may perform image signal processing on image data read from the line memory 1041c.

ISP에서의 이미지 신호 처리 알고리즘이 복잡해짐에 따라, 각 ISP 블록에서 발생되는 프로세싱 지연(processing latency)이 증가할 수 있다. 어떤 실시예에서, 도 8에 도시한 것처럼, 복수의 ISP 블록(842a, 842b, 842c)이 라인 메모리(841)를 공유하는 경우에, 타이밍 컨트롤러(820)가 라인 메모리(841)로 홀딩 처리 신호를 전달하여 홀딩 기간을 설정할 수 있다. 이 경우, 앞 단에 위치한 ISP 블록(842a)의 홀딩 기간은 원하는 타이밍으로 제어될 수 있다. 그러나 각 ISP 블록의 프로세싱 과정에서 발행하는 지연으로 인해 상대적으로 뒤에 위치한 ISP 블록(842b, 842c)의 홀딩 기간은 원하는 타이밍으로 제어되지 않을 수 있다. 따라서, 홀딩 기간이 원하는 타이밍에서 지연되어 발생하고, 이에 따라 크리티컬 기간에서 이미지 신호 처리 회로(840)에서 소모되는 파워가 소정 값 아래로 내려가지 않을 수 있다.As the image signal processing algorithm in the ISP becomes complex, processing latency generated in each ISP block may increase. In some embodiments, as shown in FIG. 8 , when a plurality of ISP blocks 842a, 842b, and 842c share line memory 841, timing controller 820 holds processing signal to line memory 841. The holding period can be set by passing. In this case, the holding period of the ISP block 842a located at the previous stage can be controlled at a desired timing. However, the holding period of the ISP blocks 842b and 842c positioned relatively behind may not be controlled at a desired timing due to a delay occurring in the processing of each ISP block. Therefore, the holding period occurs with a delay at a desired timing, and thus power consumed in the image signal processing circuit 840 in the critical period may not fall below a predetermined value.

어떤 실시예에서, 도 10에 도시한 것처럼, 복수의 ISP 블록(1042a, 1042b, 1042c)에 각각 대응하는 복수의 라인 메모리(1041a, 1041b, 1041c)를 제공함으로써 복수의 ISP 블록(1042a, 1042b, 1042c)의 홀딩 기간을 원하는 타이밍으로 제어할 수 있다. 이 경우, 타이밍 컨트롤러(1020)는 복수의 ISP 블록(1042a, 1042b, 1042c)에 각각 대응하는 복수의 라인 메모리(1041a, 1041b, 1041c)을 제어할 수 있다. 도 10 및 도 11을 참고하면, 타이밍 컨트롤러(1020)가 복수의 라인 메모리(1041a, 1041b, 1041c)로 홀딩 처리 신호(HP)를 전달하여 홀딩 기간(1141, 1142)을 설정할 수 있다. 타이밍 컨트롤러(1020)는 복수의 라인 메모리(1041a, 1041b, 1041c)로 홀딩 처리 신호(HP)를 병렬로(또는 동시에) 제공할 수 있다. 복수의 라인 메모리(1041a, 1041b, 1041c)는 홀딩 처리 신호(HP)의 홀드 펄스에 응답하여 읽기 동작을 실질적으로 동일한 타이밍에서 중지할 수 있다. 따라서, 복수의 ISP 블록(1042a, 1042b, 1042c)의 홀딩 기간(1141, 1142)이 동기화되어 각 ISP 블록의 지연으로 인해 발생하는 홀딩 기간(1141, 1142)의 지연을 방지할 수 있다.In some embodiments, as shown in FIG. 10, a plurality of ISP blocks 1042a, 1042b, 1042b, The holding period of 1042c) can be controlled at a desired timing. In this case, the timing controller 1020 may control the plurality of line memories 1041a, 1041b, and 1041c respectively corresponding to the plurality of ISP blocks 1042a, 1042b, and 1042c. 10 and 11 , the timing controller 1020 may set holding periods 1141 and 1142 by transferring the holding processing signal HP to the plurality of line memories 1041a, 1041b, and 1041c. The timing controller 1020 may provide the holding processing signal HP in parallel (or simultaneously) to the plurality of line memories 1041a, 1041b, and 1041c. The plurality of line memories 1041a, 1041b, and 1041c may stop the read operation at substantially the same timing in response to the hold pulse of the holding processing signal HP. Accordingly, the holding periods 1141 and 1142 of the plurality of ISP blocks 1042a, 1042b, and 1042c are synchronized to prevent a delay of the holding periods 1141 and 1142 caused by a delay of each ISP block.

어떤 실시예에서, 도 9에 도시한 것처럼, 타이밍 컨트롤러(1020)는 복수의 ISP 블록(1042a, 1042b, 1042c)에 인가되는 클록(CLK)을 차단함으로써 홀딩 기간(1141, 1142)을 실질적으로 동일한 타이밍으로 제어할 수 있다. 클록(CLK)의 차단에 따라 ISP 블록(1042a, 1042b, 1042c)이 홀딩 기간(1141, 1142) 동안 디지털 처리를 홀딩함으로써, ADC 처리(1110, 1120)의 크리티컬 기간(1111, 1112) 동안 이미지 신호 처리 회로(1040)에서 파워가 거의 소모되지 않을 수 있다.In some embodiments, as shown in FIG. 9 , the timing controller 1020 blocks the clock (CLK) applied to the plurality of ISP blocks 1042a, 1042b, and 1042c so that the holding periods 1141 and 1142 are substantially the same. It can be controlled by timing. As the clock (CLK) is blocked, the ISP blocks 1042a, 1042b, and 1042c hold the digital processing during the holding periods 1141 and 1142, thereby generating image signals during the critical periods 1111 and 1112 of the ADC processes 1110 and 1120. Very little power may be consumed in processing circuitry 1040 .

어떤 실시예에서, 도 4 및 도 5을 참고로 하여 설명한 것처럼, 타이밍 컨트롤러(1020)는 프로세서(1050)로부터 전달되는 홀딩 기간(1041, 1042)의 설정 정보에 기초해서 홀딩 처리 신호(HP)를 생성할 수 있다. 어떤 실시예에서, 프로세서(1050)는 외부 프로세서(1060)로부터 ADC 처리(1010, 1020)의 시작 타이밍과 오프셋을 수신하고, 시작 타이밍과 오프셋에 기초해서 설정 정보를 결정할 수 있다. 어떤 실시예에서, 홀딩 기간(1041, 1042)의 설정 정보를 결정하는 알고리즘(예를 들면, 계산식)은 프로세서(1050)가 사용하는 메모리(1051)에 펌웨어로 저장될 수 있다.In some embodiments, as described with reference to FIGS. 4 and 5 , the timing controller 1020 generates the holding processing signal HP based on setting information of the holding periods 1041 and 1042 transmitted from the processor 1050 . can create In some embodiments, processor 1050 may receive start timings and offsets of ADC processes 1010 and 1020 from external processor 1060 and determine configuration information based on the start timings and offsets. In some embodiments, an algorithm (eg, a calculation formula) for determining setting information of the holding periods 1041 and 1042 may be stored as firmware in the memory 1051 used by the processor 1050 .

도 12는 또 다른 실시예에 따른 이미지 센서의 ADC 회로를 예시하는 도면이며, 도 13은 또 다른 실시예에 따른 이미지 센서의 아날로그 디지털 변환 동작을 예시하는 도면이다.12 is a diagram illustrating an ADC circuit of an image sensor according to another embodiment, and FIG. 13 is a diagram illustrating an analog-to-digital conversion operation of the image sensor according to another embodiment.

도 12를 참고하면, ADC 회로(1200)는 비교 회로(1220), 카운터 회로(1230) 및 라인 버퍼(1240)를 포함하고, 이미지 센서는 램프 신호 생성기(1210)를 더 포함할 수 있다.Referring to FIG. 12 , the ADC circuit 1200 includes a comparator circuit 1220, a counter circuit 1230, and a line buffer 1240, and the image sensor may further include a ramp signal generator 1210.

램프 신호 생성기(1210)는 타이밍 컨트롤러(예를 들면, 도 1의 120)로부터의 제어 신호(CTL1)에 응답하여 시간에 따라 점진적으로 증가 또는 감소하는 램프 신호(Vramp)를 생성하고, 램프 신호(Vramp)를 비교 회로(1220)로 제공할 수 있다.The ramp signal generator 1210 generates a ramp signal Vramp that gradually increases or decreases with time in response to a control signal CTL1 from a timing controller (eg, 120 of FIG. 1 ), and generates a ramp signal ( Vramp) may be provided to the comparison circuit 1220.

비교 회로(1220)는 화소 어레이의 복수의 열 라인(CL1, CL2, CL3, ..., CLn)에 각각 대응하는 복수의 비교기(1221)를 포함할 수 있다. 각 비교기(1221)는 대응하는 열 라인(CLi)을 통해 전달되는 화소 신호와 램프 신호를 비교하고, 램프 신호가 화소 신호와 동일해질 때 레벨이 변경되는 비교 신호를 출력할 수 있다(i는 1과 n 사이의 정수이다). 각 비교 신호의 레벨 변경 시점은 대응하는 열 라인(CLi)으로부터 전달되는 화소 신호의 레벨에 따라 결정될 수 있다.The comparison circuit 1220 may include a plurality of comparators 1221 respectively corresponding to the plurality of column lines CL1 , CL2 , CL3 , ..., CLn of the pixel array. Each comparator 1221 may compare a pixel signal and a ramp signal transmitted through a corresponding column line CLi, and output a comparison signal whose level is changed when the ramp signal becomes the same as the pixel signal (i is 1). is an integer between and n). A level change point of each comparison signal may be determined according to a level of a pixel signal transmitted from a corresponding column line CLi.

카운터 회로(1230)는 복수의 비교기(1221)(또는 복수의 열 라인(CL1 ~ CLn)에 각각 대응하는 복수의 카운터(1231)를 포함할 수 있다. 각 카운터(1231)는 타이밍 컨트롤러로부터의 제어 신호(CTL2)에 응답하여 카운트를 시작하고, 클록(CLK1)에 기초하여 비교기(1221)로부터 출력되는 비교 신호의 레벨 변경 시점을 카운트하고, 카운트 값을 출력할 수 있다. 어떤 실시예에서, 타이밍 컨트롤러가 클록(CLK1)을 출력할 수 있다. 어떤 실시예에서, ADC 회로(1200)는 타이밍 컨트롤러로부터의 제어 신호에 응답하여 클록(CLK1)을 생성하는 클록 생성기를 더 포함할 수 있다.The counter circuit 1230 may include a plurality of comparators 1221 (or a plurality of counters 1231 respectively corresponding to the plurality of column lines CL1 to CLn. Each counter 1231 is controlled by a timing controller. A count may be started in response to the signal CTL2, a time point at which the level of the comparison signal output from the comparator 1221 changes may be counted based on the clock CLK1, and a count value may be output. The controller may output the clock CLK1 In some embodiments, the ADC circuit 1200 may further include a clock generator that generates the clock CLK1 in response to a control signal from the timing controller.

라인 버퍼(1240)는 카운터 회로(1230)로부터 출력되는 카운트 값을 화소 값으로 저장할 수 있다. 라인 버퍼(1240)는 복수의 카운터(1231)(또는 복수의 열 라인(CL1 ~ CLn)에 각각 대응하는 복수의 메모리(1241)를 포함할 수 있다. 각 메모리(1241)는 대응하는 카운터(1231)로부터 출력되는 카운트 값을 대응하는 화소의 화소 값으로 저장할 수 있다.The line buffer 1240 may store the count value output from the counter circuit 1230 as a pixel value. The line buffer 1240 may include a plurality of counters 1231 (or a plurality of memories 1241 respectively corresponding to the plurality of column lines CL1 to CLn. Each memory 1241 corresponds to a counter 1231 ) may be stored as a pixel value of a corresponding pixel.

도 12 및 도 13을 참고하면, 1 수평 주기는 복수의 ADC 처리 기간(1310, 1320)을 포함할 수 있다.Referring to FIGS. 12 and 13 , one horizontal period may include a plurality of ADC processing periods 1310 and 1320 .

제1 ADC 처리 기간(1310)에서, 램프 신호 생성기(1210)는 램프 신호(Vramp)의 전압을 오프셋 레벨(OL)에 리셋 최소 레벨(RL)까지 점진적으로 변화시킬 수 있다. 리셋 최소 레벨(RL)은 리셋 신호의 최대 디지털 코드(또는 최소 전압)를 검출할 수 있는 레벨일 수 있다. 도 13에서는 램프 신호(Vramp)의 전압이 리셋 최소 레벨(RL)까지 점진적으로 감소하는 예가 도시되어 있다. 이러한 램프 신호(Vramp)를 다운 램프 신호라 한다. 제1 ADC 처리 기간(1310) 동안 복수의 열 라인(CL1 ~ CLn)을 통해 리셋 신호(Vrs)가 전달될 수 있다. 각 비교기(1221)는 대응하는 열 라인(CLi)으로부터 전달되는 리셋 신호(Vrs)의 레벨과 램프 신호(Vramp)의 레벨이 일치할 때 비교 신호의 레벨을 천이할 수 있다. 각 카운터(1231)는 램프 신호(Vramp)가 감소하기 시작하는 시점부터 클록(CLK1)에 기초해서 카운트를 시작하고, 대응하는 비교기(1221)로부터 비교 신호의 레벨이 변경될 때까지의 카운트 값(CNT1)을 저장할 수 있다. 즉, 각 카운터(1231)는 대응하는 열 라인으로부터 전달되는 리셋 신호(Vrs)의 레벨과 램프 신호(Vramp)의 레벨이 일치할 때까지 카운트하고, 해당 카운트 값(CNT1)을 저장할 수 있다. 어떤 실시예에서, 램프 신호(Vramp)의 제1 레벨에서 제2 레벨 사이에서 리셋 신호가 검출되는 로 코드 결정 기간이 크리티컬 기간(1311)에 대응할 수 있다. 제1 레벨은 예를 들면 최소 디지털 코드의 리셋 신호가 검출되는 레벨이고, 제2 레벨은 예를 들면 임계 값에 해당하는 레벨의 리셋 신호가 검출되는 레벨일 수 있다. 어떤 실시예에서, 로 코드 결정 기간이 소정 개수(예를 들면, 8개) 이하의 LSB에 해당하는 디지털 코드를 결정하는 기간이고, 임계 값은 256의 디지털 코드 값(계조 값)일 수 있다.During the first ADC processing period 1310, the ramp signal generator 1210 may gradually change the voltage of the ramp signal Vramp from the offset level OL to the minimum reset level RL. The minimum reset level RL may be a level at which the maximum digital code (or minimum voltage) of the reset signal can be detected. 13 shows an example in which the voltage of the ramp signal Vramp gradually decreases to the minimum reset level RL. This ramp signal Vramp is referred to as a down ramp signal. During the first ADC processing period 1310 , the reset signal Vrs may be transmitted through the plurality of column lines CL1 to CLn. Each comparator 1221 may transition the level of the comparison signal when the level of the reset signal Vrs transmitted from the corresponding column line CLi matches the level of the ramp signal Vramp. The count value ( CNT1) can be stored. That is, each counter 1231 may count until the level of the reset signal Vrs transmitted from the corresponding column line matches the level of the ramp signal Vramp, and store the corresponding count value CNT1. In some embodiments, a low code determination period in which the reset signal is detected between the first level and the second level of the ramp signal Vramp may correspond to the critical period 1311 . The first level may be, for example, a level at which a reset signal of a minimum digital code is detected, and the second level may be, for example, a level at which a reset signal having a level corresponding to a threshold value is detected. In some embodiments, the raw code determination period is a period for determining digital codes corresponding to a predetermined number (eg, 8) or less LSBs, and the threshold value may be 256 digital code values (grayscale values).

램프 신호 생성기(1210)는 램프 신호(Vramp)의 레벨을 다시 소정 레벨(예를 들면, 오프셋 레벨(OL))로 유지할 수 있다. 이 기간 동안, 화소 어레이의 각 화소는 화소 신호(Vsig)를 출력할 수 있다. The ramp signal generator 1210 may maintain the level of the ramp signal Vramp at a predetermined level (eg, the offset level OL). During this period, each pixel of the pixel array may output a pixel signal Vsig.

다음, 제2 ADC 처리 기간(1320)에서, 램프 신호 생성기(1210)는 램프 신호(Vramp)의 전압을 오프셋 레벨(OL)에 신호 최소 레벨(SL)까지 점진적으로 변화시킬 수 있다. 신호 최소 레벨(SL)은 화소 신호의 최대 디지털 코드(또는 최소 전압)를 검출할 수 있는 레벨일 수 있다. 도 13에서는 램프 신호(Vramp)의 전압이 신호 최소 레벨(SL)까지 점진적으로 감소하는 예가 도시되어 있다. 제2 ADC 처리 기간(1320) 동안 복수의 열 라인을 통해 화소 신호(Vsig)가 전달될 수 있다. 각 비교기(1221)는 대응하는 열 라인으로부터 전달되는 화소 신호(Vsig)의 레벨과 램프 신호(Vramp)의 레벨이 일치할 때 비교 신호의 레벨을 천이할 수 있다. 각 카운터(1231)는 램프 신호(Vramp)가 감소하기 시작하는 시점부터 클록(CLK1)에 기초해서 카운트를 시작하고, 대응하는 비교기(1221)로부터 비교 신호의 레벨이 변경될 때까지의 카운트 값(CNT2)을 저장할 수 있다. 즉, 각 카운터(1231)는 대응하는 열 라인으로부터 전달되는 화소 신호(Vsig)의 레벨과 램프 신호(Vramp)의 레벨이 일치할 때까지 카운트하고, 해당 카운트 값(CNT2)을 저장할 수 있다. 다음, 각 카운터(1231)는 카운트 값(CNT1, CNT2)에 기초해서 화소 신호에서 리셋 신호의 성분이 제거된 최종 카운트 값을 메모리(1241)에화소 값으로 전송할 수 있다. 어떤 실시예에서, 램프 신호(Vramp)의 제3 레벨에서 제4 레벨 사이에서 화소 신호가 검출되는 기간이 크리티컬 기간(1312)에 대응할 수 있다. 제3 레벨은 예를 들면 최소 디지털 코드의 화소 신호가 검출되는 레벨이고, 제2 레벨은 예를 들면 임계 값에 해당하는 레벨의 화소 신호가 검출되는 레벨일 수 있다. 어떤 실시예에서, 로 코드 결정 기간이 소정 개수(예를 들면, 8개) 이하의 LSB에 해당하는 디지털 코드를 결정하는 기간이고, 임계 값은 256의 디지털 코드 값(계조 값)일 수 있다.Next, in the second ADC processing period 1320, the ramp signal generator 1210 may gradually change the voltage of the ramp signal Vramp from the offset level OL to the signal minimum level SL. The signal minimum level SL may be a level at which the maximum digital code (or minimum voltage) of the pixel signal can be detected. 13 shows an example in which the voltage of the ramp signal Vramp gradually decreases to the signal minimum level SL. During the second ADC processing period 1320 , the pixel signal Vsig may be transmitted through the plurality of column lines. Each comparator 1221 may shift the level of the comparison signal when the level of the pixel signal Vsig transmitted from the corresponding column line matches the level of the ramp signal Vramp. The count value ( CNT2) can be stored. That is, each counter 1231 may count until the level of the pixel signal Vsig transmitted from the corresponding column line matches the level of the ramp signal Vramp, and store the corresponding count value CNT2. Next, each counter 1231 may transmit a final count value obtained by removing a reset signal component from the pixel signal to the memory 1241 as a pixel value based on the count values CNT1 and CNT2 . In some embodiments, a period in which the pixel signal is detected between the third level and the fourth level of the ramp signal Vramp may correspond to the critical period 1312 . The third level may be, for example, a level at which a pixel signal of a minimum digital code is detected, and the second level may be, for example, a level at which a pixel signal having a level corresponding to a threshold value is detected. In some embodiments, the raw code determination period is a period for determining digital codes corresponding to a predetermined number (eg, 8) or less LSBs, and the threshold value may be 256 digital code values (grayscale values).

도 14는 한 실시예에 따른 컴퓨터 장치를 나타내는 예시 블록도이다.14 is an exemplary block diagram illustrating a computer device according to one embodiment.

도 14를 참고하면, 컴퓨팅 장치(1400)는 카메라(1410), 컨트롤러(1420), 메모리(1430) 및 디스플레이(1440)를 포함할 수 있다. 컴퓨팅 장치(1400)를 이미징 시스템이라 할 수 있다.Referring to FIG. 14 , a computing device 1400 may include a camera 1410 , a controller 1420 , a memory 1430 and a display 1440 . The computing device 1400 may be referred to as an imaging system.

카메라(1410)는 이미지 센서(1411)를 포함할 수 있다. 이미지 센서(1411)는 도 1 내지 도 9를 참고로 하여 설명한 이미지 센서로 구현될 수 있다. 카메라(1410)는 이미지 센서(1411)를 이용하여 이미지 데이터를 생성하고, 이미지 데이터에 대해 이미지 신호 처리를 수행하고, 처리된 이미지 데이터를 컨트롤러(1420)로 출력할 수 있다.The camera 1410 may include an image sensor 1411 . The image sensor 1411 may be implemented as the image sensor described with reference to FIGS. 1 to 9 . The camera 1410 may generate image data using the image sensor 1411 , perform image signal processing on the image data, and output the processed image data to the controller 1420 .

컨트롤러(1420)는 프로세서(1421)를 포함할 수 있다. 프로세서(1421)는 컴퓨팅 장치(1400)의 각 구성의 전반적인 동작을 제어할 수 있다. 컨트롤러(1420) 또는 프로세서(1421)는 CPU(central processing unit), AP(application processor), GPU(graphic processing unit) 등의 다양한 프로세싱 유닛 중 적어도 하나로 구현될 수 있다. 어떤 실시예에서, 컨트롤러(1420)는 집적 회로 또는 시스템 온 칩(system on chip, SoC))로 구현될 수 있다. 컨트롤러(1420) 또는 프로세서(1421)는 이미지 센서(1410)의 홀딩 기간의 설정 정보를 결정하기 위한 정보(예를 들면, 폭 및 시작 시점)을 이미지 센서(1410)로 제공할 수 있다.The controller 1420 may include a processor 1421 . The processor 1421 may control overall operations of each component of the computing device 1400 . The controller 1420 or the processor 1421 may be implemented as at least one of various processing units such as a central processing unit (CPU), an application processor (AP), and a graphic processing unit (GPU). In some embodiments, the controller 1420 may be implemented as an integrated circuit or system on chip (SoC). The controller 1420 or the processor 1421 may provide the image sensor 1410 with information (eg, width and start point) for determining setting information of the holding period of the image sensor 1410 .

어떤 실시예에서, 도 10에 도시한 것처럼, 컨트롤러(1420)는 인터페이스(1422), 메모리 컨트롤러(1423), 디스플레이 컨트롤러(1424) 및 버스(1425)를 더 포함할 수 있다. 어떤 실시예에서, 인터페이스(1422), 메모리 컨트롤러(1423), 디스플레이 컨트롤러(1424) 및 버스(1425) 중 적어도 일부는 컨트롤러(1420) 외부에 제공될 수 있다. 어떤 실시예에서, 컨트롤러(1420)는 이미지 신호 처리기를 더 포함할 수 있다.In some embodiments, as shown in FIG. 10 , controller 1420 may further include an interface 1422 , a memory controller 1423 , a display controller 1424 and a bus 1425 . In some embodiments, at least a portion of the interface 1422 , the memory controller 1423 , the display controller 1424 , and the bus 1425 may be provided outside the controller 1420 . In some embodiments, the controller 1420 may further include an image signal processor.

인터페이스(1422)는 이미지 센서(1411)로부터 수신된 이미지 데이터를 버스(1425)를 통해 메모리 컨트롤러(1423) 또는 디스플레이 컨트롤러(1424)로 전송할 수 있다.The interface 1422 may transmit image data received from the image sensor 1411 to the memory controller 1423 or the display controller 1424 through the bus 1425 .

메모리(1430)는 각종 데이터 및 명령을 저장할 수 있다. 메모리 컨트롤러(1423)는 메모리(1430)로의 및 메모리(1430)로부터의 데이터 또는 명령의 전달을 제어할 수 있다.The memory 1430 may store various data and commands. The memory controller 1423 may control the transfer of data or commands to and from the memory 1430 .

디스플레이 컨트롤러(1424)는 프로세서(1421)의 제어에 따라 디스플레이(1440)에서 디스플레이될 데이터를 디스플레이(1440)로 전송하고, 디스플레이(1440)는 수신한 데이터에 따라 화면을 디스플레이할 수 있다. 어떤 실시예에서, 디스플레이(1440)는 터치 스크린을 더 포함할 수 있다. 터치 스크린은 컴퓨팅 장치(1400)의 동작을 제어할 수 있는 사용자 입력을 컨트롤러(1420)로 전송할 수 있다. 사용자 입력은 사용자가 터치 스크린을 터치할 때 생성될 수 있다.The display controller 1424 may transmit data to be displayed on the display 1440 to the display 1440 under the control of the processor 1421, and the display 1440 may display a screen according to the received data. In some embodiments, display 1440 may further include a touch screen. The touch screen may transmit a user input capable of controlling the operation of the computing device 1400 to the controller 1420 . User input may be generated when a user touches the touch screen.

버스(1425)는 컨트롤러(1420)의 구성 요소간 통신 기능을 제공할 수 있다. 버스(1425)는 구성 요소간의 통신 프로토콜에 따라 적어도 하나의 유형의 버스를 포함할 수 있다.The bus 1425 may provide a communication function between components of the controller 1420 . The bus 1425 may include at least one type of bus according to a communication protocol between components.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims are also included in the scope of the present invention. that fall within the scope of the right.

Claims

pixel Array,
an analog-to-digital conversion circuit for generating image data by sequentially performing two or more analog-to-digital conversion processes on the pixel signals from the pixel array during an operation period of one horizontal cycle;
an image signal processing circuit that receives the image data and performs digital processing on the image data; and
A timing controller controlling the image signal processing circuit to hold the digital processing in the image signal processing circuit during a plurality of holding periods respectively corresponding to partial periods of the two or more analog-to-digital conversion processing periods.
An image sensor comprising a.

In paragraph 1,
The partial period is a period in which a digital code corresponding to a predetermined number or less of least significant bits (LSB) is determined from the pixel signal by each analog-to-digital conversion process.

In paragraph 1,
the timing controller transmits a holding processing signal having a plurality of pulses respectively corresponding to the plurality of holding periods to the image signal processing circuit;
The image signal processing circuit holds the digital processing in response to each of the plurality of pulses.
image sensor.

In paragraph 3,
The image signal processing circuit
an image signal processor that performs the digital processing; and
a line memory for storing the image data, reading the image data, and passing the image data to the image signal processor;
The timing controller transmits the holding processing signal to the line memory;
The line memory stops an operation of reading the image data in response to each of the plurality of pulses.
image sensor.

In paragraph 3,
The image signal processing circuit,
a plurality of image signal processors sequentially performing the digital processing; and
a plurality of line memories respectively corresponding to the plurality of image signal processors and storing data subject to the digital processing in the corresponding image signal processors;
The timing controller transmits the holding processing signal to the plurality of line memory;
Each line memory stops the operation of reading the data in response to each of the plurality of pulses.
image sensor.

In paragraph 3,
Further comprising a processor for transmitting setting information indicating start times and widths of the plurality of pulses to the timing controller;
The timing controller generates the holding processing signal based on the setting information.
image sensor.

In paragraph 6,
Further comprising a memory for storing the firmware,
The processor generates the setting information based on the firmware
image sensor.

In paragraph 1,
the image signal processing circuit operates in response to a clock from the timing controller;
The timing controller blocks the clock to the image signal processing circuit during the plurality of holding periods.
image sensor.

A first processor providing start timing and offset of analog-to-digital conversion processing; and
An image sensor configured to receive the start timing and the offset from the first processor and control an operation of image signal processing based on the start timing and the offset
Imaging system comprising a.

As a method performed by the image system,
providing start timing and offset of analog-to-digital conversion processing;
Generating setting information based on the start timing and the offset, and
controlling an operation of image signal processing based on the setting information while performing two or more analog-to-digital conversion processes;
How to include.