WO2015080403A1 - 이미지 시그널 프로세서의 이미지 데이터 출력 장치 - Google Patents

이미지 시그널 프로세서의 이미지 데이터 출력 장치 Download PDF

Info

Publication number
WO2015080403A1
WO2015080403A1 PCT/KR2014/010804 KR2014010804W WO2015080403A1 WO 2015080403 A1 WO2015080403 A1 WO 2015080403A1 KR 2014010804 W KR2014010804 W KR 2014010804W WO 2015080403 A1 WO2015080403 A1 WO 2015080403A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
data output
image signal
analog
Prior art date
Application number
PCT/KR2014/010804
Other languages
English (en)
French (fr)
Inventor
안상욱
이용운
정희찬
안희균
Original Assignee
(주)실리콘화일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)실리콘화일 filed Critical (주)실리콘화일
Priority to US15/100,501 priority Critical patent/US10313620B2/en
Publication of WO2015080403A1 publication Critical patent/WO2015080403A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Definitions

  • the present invention relates to a technology for outputting image data from an image signal processor, and more particularly, an image data output device of an image signal processor that can improve output speed when processing data sensed by an image sensor and outputting the data in units of blocks. It is about.
  • an image signal processor performs two functions in a camera video recording mode.
  • One of the two functions is to convert raw raw data sensed by the image sensor into RGB data for display on a display device such as LCD, and the other is compressed to store the RGB data. It converts it to possible YCbCr data and then to standard video compression formats (eg MPEG-4, H.264, H.265, etc.).
  • FIG 1 illustrates an output method of image data in an image signal processor according to the related art.
  • the image data processor reads the image data in one file unit.
  • the image data read in the file unit that is, the image data of X ⁇ Y pixels
  • the image data of X ⁇ Y pixels is arranged in units of N tiles (blocks) for one row, that is, one horizontal line, based on the data array 120.
  • the operation of dividing and outputting sequentially is repeatedly performed, and the operation is repeatedly performed by the number M of all columns.
  • the problem to be solved by the present invention is to be able to output the image data at a high speed by using a small capacity line memory when output to the outside to store the image data of one frame.
  • An image data output apparatus of an image signal processor for achieving the technical problem, the decoder for decoding and outputting the image signal sequentially output from the pixel array;
  • An analog-to-digital converter for sequentially converting the decoded analog image signal supplied from the decoder into a digital signal;
  • a pair of line memories configured to alternately store image data output from the analog-to-digital converter in units of horizontal lines and then output them in a first-in, first-out manner, and output them in blocks
  • a multiplexer for sequentially selecting and outputting image data output in units of blocks from the pair of line memories.
  • the present invention converts an image signal output from a pixel array into image data and stores it alternately in a pair of line memories in units of one horizontal line, thereby storing the image data externally without using a memory device having a large capacity. There is an effect that can improve the processing speed for.
  • FIG. 1 is a view showing an output method of the image data in the image signal processor according to the prior art.
  • FIG. 2 is a block diagram of an image data output apparatus of an image signal processor according to an exemplary embodiment of the present invention.
  • FIG 3 is an explanatory diagram showing an image data output method according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an image data output apparatus of an image signal processor according to an exemplary embodiment of the present invention.
  • the image signal processor 200 may include a pixel array 210, a row decoder 220, a sensing timing signal generator 230, an analog-to-digital converter 240, and a first line memory ( 250A), second line memory 250B, and multiplexer 260.
  • the pixel array 210 may include a plurality of unit pixels for image sensing, and the unit pixels may include an optical sensor such as a photodiode.
  • the pixel array 210 may be manufactured as an independent type of semiconductor chip through a manufacturing process dedicated to an image sensor.
  • the shutter method for the image sensor to which the CMOS image sensor (CIS) is applied includes a rolling shutter method and a global shutter method.
  • the image signals photoelectrically converted by the optical elements (eg, photo diodes) in each row in one frame are transferred to the floating diffusion node (FD: Floating Diffusion) one by one in order to select the pixels.
  • the video signal is output.
  • the global shutter method the entire image signal photoelectrically converted by all photons in one frame is transferred to the floating diffusion node at one time, and then the image signal of the corresponding pixel is output in a row that is sequentially selected.
  • a rolling shutter method or a global shutter method may be applied to the pixel array 210.
  • the global shutter method is applied to the pixel array 210, it is possible to solve a jello effect, or a wobbling problem, in which the screen flickers, which is a chronic problem of the rolling shutter method.
  • the row decoder 220 decodes and outputs an image signal for the first row line of the pixel array 210 using the sensing timing signal supplied from the sensing timing signal generator 230.
  • the row decoder 220 sequentially performs the decoding operation on all remaining horizontal lines.
  • the row decoder 220 shows an embodiment of the decoder according to the present invention, but the present invention is not limited thereto.
  • a column decoder can be used as a decoder of another embodiment according to the present invention.
  • the column decoder decodes an image signal for the first vertical line of the pixel array 210 by using the sensing timing signal supplied from the sensing timing signal generator 230. Output The column decoder sequentially performs the decoding operation on all remaining vertical lines.
  • the analog-to-digital converter 240 sequentially converts a decoded series of analog image signals supplied from the row decoder 220 into digital signals and outputs them.
  • the analog-to-digital converter 240 may have various methods for converting the series of analog image signals into digital signals. For example, the entire digital pixel may be converted into a digital signal in one row or may be converted into a digital signal in columns, that is, in pixels.
  • Image data output from the analog-to-digital converter 240 is controlled by a controller (not shown in the drawing) based on the pixel array 210 on the first line memory 250A and the second line memory (in a horizontal line unit). Alternately stored at 250B).
  • the image data stored in the first line memory 250A and the second line memory 250B is read out by a first-in first-out (FIFO) method, and is read out in units of blocks.
  • FIFO first-in first-out
  • the first line memory 250A and the second line memory 250B are logic blocks, and may be manufactured as independent semiconductor chips through a logic-only manufacturing process.
  • the output terminal of the analog-to-digital converter 240 is connected to the data input terminal of the first line memory 250A, and in this state, the image data output from the analog-to-digital converter 240 is stored in the first line memory ( When the horizontal line amount of image data is stored in the first line memory 250A after being started to be stored in 250A), the output terminal of the analog-to-digital converter 240 and the data input terminal of the first line memory 250A Is disconnected.
  • the output terminal of the analog-to-digital converter 240 is connected to the data input terminal of the second line memory 250B, and in this state, the image data output from the analog-to-digital converter 240 is output to the second line. It begins to be stored in the memory 250B.
  • the image data stored in the first line memory 250A is sequentially read in block units, and the image data thus read is transferred to the storage medium through the multiplexer 260.
  • the output terminal of the analog-to-digital converter 240 is connected to the data input terminal of the first line memory 250A, and in this state, the image data output from the analog-to-digital converter 240 is the first line. It begins to be stored in the memory 250A.
  • the image data stored in the second line memory 250B is sequentially read in block units, and the image data thus read is transferred to the storage medium through the multiplexer 260.
  • an image signal processor (ISP) (not shown) may be connected to an output terminal of the multiplexer 260.
  • the image signal processor (ISP) is a logic block, and may be manufactured as an independent type of semiconductor chip through a logic-only manufacturing process.
  • the image data output from the analog-to-digital converter 240 is alternately stored in the first line memory 250A and the second line memory 250B as described above, and the image data is not stored as described above.
  • the operation of sequentially reading and outputting image data in block units from the non-line memory is repeatedly performed.
  • the image data output from the analog-to-digital converter 240 are alternately stored in the first line memory 250A and the second line memory 250B in units of one horizontal line, the memory having a large capacity The processing speed for storing image data externally without using a device can be improved.
  • image data which are alternately stored in the first line memory 250A and the second line memory 250B, is read and output in block units by a FIFO method, the image data can be stored without using a large amount of memory devices. It is possible to improve the processing speed for external storage.
  • two line memories that is, the first line memory 250A and the second line memory 250B, are used as an example.
  • the present invention is not limited thereto, and a larger number of line memories are used.
  • Image data can be stored or read out in the same manner as above.
  • the capacity of the first line memory 250A and the second line memory 250B is not particularly limited, but may vary as necessary.
  • the first line memory 250A and the second line memory 250B may include a signal processing buffer function to improve the quality of output image data.
  • the pixel array 210, the first and second line memories 250A, 250B, and the image signal processor (ISP) manufactured by independent semiconductor chips are directly connected with a TSV (Through Silicon Via).
  • Package type image sensors may be manufactured by applying a 3D stacked chip package (3D IC) manufacturing technology such as a coupled connection technology (DBI).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은, 이미지 시그널 프로세서에서 이미지 데이터를 출력할 때 보다 적은 용량의 메모리를 사용하고도 빠른 속도로 출력할 수 있도록 한 기술에 관한 것으로, 아날로그-디지털 변환기에서 출력되는 이미지 데이터를 수평라인 단위로 교번되게 저장하고, 이렇게 저장된 이미지 데이터를 선입선출방식으로 출력하되 블록 단위로 출력하는 한 쌍의 라인메모리를 구비한다.

Description

이미지 시그널 프로세서의 이미지 데이터 출력 장치
본 발명은 이미지 시그널 프로세서에서 이미지 데이터를 출력하는 기술에 관한 것으로, 특히 이미지 센서에 의해 센싱된 데이터를 처리하여 블록 단위로 출력할 때 출력 속도를 향상할 수 있도록 한 이미지 시그널 프로세서의 이미지 데이터 출력 장치에 관한 것이다.
일반적으로, 이미지 시그널 프로세서(ISP: Image Signal Processor)는 카메라 동영상 촬영모드에서 두가지 기능을 수행한다. 상기 두가지 기능 중에서 하나는 이미지 센서에 의해 센싱된 로우 데이터(Mosaic Raw Data)를 엘씨디(LCD)와 같은 표시장치에 디스플레이하기 위한 RGB 데이터로 변환하는 것이고, 다른 하나는 상기 RGB 데이터를 저장하기 위해 압축 가능한 YCbCr 데이터로 변환한 후 표준 영상 압축 포맷(예: MPEG-4, H.264, H.265 등)으로 변환하는 것이다.
도 1은 종래 기술에 의한 이미지 시그널 프로세서에서 이미지 데이터의 출력 방식을 나타낸 것이다.
도 1을 참조하면, 종래의 이미지 시그널 프로세서는 이미지 센서(110)에 의해 센싱된 이미지 데이터를 저장하기 위해 외부로 출력할 때, 이미지 데이터를 하나의 파일 단위로 읽어낸다.
이후, 상기 파일 단위로 읽어낸 이미지 데이터 즉, X ㅧ Y 픽셀의 이미지 데이터를 데이터 어레이(120)를 기준으로 하나의 로우(row) 즉, 하나의 수평라인에 대하여 N개의 타일(블록) 단위로 분할하여 순차적으로 출력하는 동작을 반복 수행하고, 이와 같은 동작을 전체 컬럼(Column)의 수(M) 만큼 반복 수행한다.
따라서, 종래 기술에 의한 이미지 시그널 프로세서를 이용하여 이미지 데이터를 출력하는 경우 대용량의 메모리를 사용하게 되어 그에 따른 비용이 많이 소요되는 문제점이 있다. 더욱이, 이미지 데이터를 읽어내고 출력하는 동작을 수행하기 위해 보다 많은 용량의 메모리가 요구되고, 이미지 센서가 점차 고화소화 되어 감에 따라 더욱 더 대용량의 메모리가 요구되어 그에 따른 비용이 많이 소요되는 문제점이 있다.
본 발명이 해결하고자 하는 과제는 한 프레임의 이미지 데이터를 저장하기 위해 외부로 출력할 때 적은 용량의 라인메모리를 이용하여 빠른 속도로 이미지 데이터를 출력할 수 있도록 하는데 있다.
상기 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 이미지 시그널 프로세서의 이미지 데이터 출력 장치는, 픽셀 어레이로부터 순차적으로 출력되는 이미지신호를 디코딩하여 출력하는 디코더; 상기 디코더로부터 공급되는 디코딩된 아날로그의 이미지 신호를 디지털신호로 순차적으로 변환하는 아날로그-디지털 변환기; 상기 아날로그-디지털 변환기에서 출력되는 이미지 데이터를 수평라인 단위로 교번되게 저장한 후 선입선출방식으로 출력하되, 블록 단위로 출력하는 한 쌍의 라인메모리; 및 상기 한 쌍의 라인메모리로부터 블록 단위로 출력되는 이미지 데이터를 순차적으로 선택하여 출력하는 멀티플렉서를 포함한다.
본 발명은, 픽셀 어레이로부터 출력되는 이미지 신호를 이미지 데이터로 변환하여 1 수평라인 단위로 한 쌍의 라인메모리에 교번되게 저장하므로, 그다지 많은 용량의 메모리 소자를 사용하지 않고도 이미지 데이터를 외부에 저장하기 위한 처리속도를 향상시킬 수 있는 효과가 있다.
또한, 한 쌍의 라인메모리에 교번되게 저장되는 이미지 데이터를 FIFO 방식으로 블록 단위로 독출하여 출력하므로, 보다 적은 용량의 메모리 소자를 사용하고도 이미지 데이터를 외부에 저장하기 위한 처리속도를 향상시킬 수 있는 효과가 있다.
도 1은 종래 기술에 의한 이미지 시그널 프로세서에서 이미지 데이터의 출력 방식을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 이미지 시그널 프로세서의 이미지 데이터 출력 장치의 블록도이다.
도 3은 본 발명의 실시예에 따른 이미지 데이터 출력 방식을 나타낸 설명도이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.
도 2는 본 발명의 실시예에 따른 이미지 시그널 프로세서의 이미지 데이터 출력 장치의 블록도이다.
도 2를 참조하면, 이미지 시그널 프로세서(200)는 픽셀 어레이(210), 로우 디코더(Row Decoder)(220), 센싱 타이밍신호 발생기(230), 아날로그-디지털 변환기(240), 제1라인메모리(250A), 제2라인메모리(250B) 및 멀티플렉서(260)을 포함한다.
픽셀 어레이(210)는 이미진 센싱을 위한 복수의 단위 픽셀을 포함하며, 상기 단위 픽셀은 포토다이오드와 같은 광센서를 포함할 수 있다. 상기 픽셀 어레이(210)는 이미지 센서 전용의 제조공정을 통해 독립된 형태의 반도체칩으로 제조될 수 있다.
CIS(CMOS Image Sensor)가 적용되는 이미지 센서에 대한 셔터 방식에는 롤링 셔터(rolling shutter) 방식과 글로벌 셔터(global shutter) 방식이 있다. 롤링 셔터 방식의 경우, 한 프레임 내의 각 행의 광소자(예: Photo Diode)들에 의해 광전 변환된 이미지 신호가 순차적으로 선택되는 한 행씩 부유확산노드(FD : Floating Diffusion)로 전달되어 해당 픽셀의 영상신호가 출력된다. 글로벌 셔터 방식의 경우, 한 프레임 내의 모든 광소자들에 의해 광전 변환된 전체 이미지 신호가 한번에 부유확산노드로 전달된 후 순차적으로 선택되는 행에서 해당 픽셀의 영상신호가 출력된다.
상기 픽셀 어레이(210)에는 롤링 셔터 방식이나 글로벌 셔터 방식이 적용될 수 있다. 상기 픽셀 어레이(210)에 글로벌 셔터 방식이 적용되는 경우 롤링 셔터 방식의 고질적인 문제인 화면이 울렁거리는 젤로 현상(jello effect) 또는 화면이 흔들거리는 와블링(wobbling) 문제를 해결할 수 있다.
로우 디코더(220)는 센싱 타이밍신호 발생기(230)로부터 공급되는 센싱 타이밍신호를 이용하여, 상기 픽셀 어레이(210)의 첫 번째 수평라인(row line)에 대한 이미지 신호를 디코딩하여 출력한다. 상기 로우 디코더(220)는 상기와 같은 디코딩 동작을 나머지의 모든 수평라인에 대하여 순차적으로 수행한다.
상기 로우 디코더(220)는 본 발명에 따른 디코더의 실시예를 나타낸 것으로, 본 발명이 이에 한정되는 것이 아니다. 본 발명에 따른 다른 실시예의 디코더로서 컬럼 디코더를 사용할 수 있다. 컬럼 디코더를 사용하는 경우, 상기 컬럼 디코더는 센싱 타이밍신호 발생기(230)로부터 공급되는 센싱 타이밍신호를 이용하여, 상기 픽셀 어레이(210)의 첫 번째 수직라인(Column line)에 대한 이미지 신호를 디코딩하여 출력한다. 상기 컬럼 디코더는 상기와 같은 디코딩 동작을 나머지의 모든 수직라인에 대하여 순차적으로 수행한다.
아날로그-디지털 변환기(240)는 상기 로우 디코더(220)로부터 공급되는 디코딩된 일련의 아날로그의 이미지 신호를 디지털신호로 순차적으로 변환하여 출력한다. 상기 아날로그-디지털 변환기(240)가 상기 일련의 아날로그의 이미지 신호를 디지털신호로 변환하는 방법에는 여러 가지가 있을 수 있다. 예를 들어, 한 행의 픽셀 전체에 대하여 한번에 디지털신호로 변환하거나, 열 단위 즉 픽셀 단위로 디지털신호로 변환할 수 있다.
상기 아날로그-디지털 변환기(240)에서 출력되는 이미지 데이터는 제어부(도면에 미표시)의 제어를 받아 상기 픽셀 어레이(210)를 기준으로 수평라인 단위로 제1라인메모리(250A)와 제2라인메모리(250B)에 교번되게 저장된다. 그리고, 상기 제1라인메모리(250A)와 제2라인메모리(250B)에 저장된 이미지 데이터는 선입선출(FIFO) 방식으로 독출(read out)되며, 이때 블록 단위로 독출된다.
상기 제1라인메모리(250A)와 제2라인메모리(250B)는 로직 블록으로서, 로직 전용의 제조공정을 통해 독립된 형태의 반도체칩으로 제조될 수 있다.
한편, 도 3을 참조하여 상기 이미지 데이터의 저장 및 독출 동작을 좀 더 상세히 설명하면 다음과 같다.
상기 아날로그-디지털 변환기(240)의 출력단자가 상기 제1라인메모리(250A)의 데이터 입력단자에 연결되고, 이와 같은 상태에서 상기 아날로그-디지털 변환기(240)에서 출력되는 이미지 데이터가 제1라인메모리(250A)에 저장되기 시작한 후 한 수평라인 분량의 이미지 데이터가 상기 제1라인메모리(250A)에 저장되면 상기 아날로그-디지털 변환기(240)의 출력단자와 상기 제1라인메모리(250A)의 데이터 입력단자의 연결 상태가 해제된다.
이어서, 상기 아날로그-디지털 변환기(240)의 출력단자가 상기 제2라인메모리(250B)의 데이터 입력단자에 연결되고, 이와 같은 상태에서 상기 아날로그-디지털 변환기(240)에서 출력되는 이미지 데이터가 제2라인메모리(250B)에 저장되기 시작한다.
이때, 상기 제1라인메모리(250A)에 저장된 이미지 데이터가 블록 단위로 순차적으로 독출되고, 이렇게 독출되는 이미지 데이터들은 멀티플렉서(260)를 통해 저장매체에 전달된다.
이후, 상기 아날로그-디지털 변환기(240)에서 출력되는 한 수평라인 분량의 이미지 데이터가 상기 제2라인메모리(250B)에 저장되면 상기 아날로그-디지털 변환기(240)의 출력단자와 상기 제2라인메모리(250B)의 데이터 입력단자의 연결 상태가 해제된다.
이어서, 상기 아날로그-디지털 변환기(240)의 출력단자가 상기 제1라인메모리(250A)의 데이터 입력단자에 연결되고, 이와 같은 상태에서 상기 아날로그-디지털 변환기(240)에서 출력되는 이미지 데이터가 제1라인메모리(250A)에 저장되기 시작한다.
이때, 상기 제2라인메모리(250B)에 저장된 이미지 데이터가 블록 단위로 순차적으로 독출되고, 이렇게 독출되는 이미지 데이터들은 멀티플렉서(260)를 통해 저장매체에 전달된다.
상기 멀티플렉서(260)를 통해 이미지 데이터를 블록 단위로 출력할 때, 픽셀 간섭을 방지하기 위한 보정을 수행하거나, 색감 편차의 발생을 보완하기 위한 쉐이딩(Shading) 보정을 수행하거나, 노이즈를 제거할 필요가 있다. 이를 위해 상기 멀티플렉서(260)의 출력단자에 이미지 신호 프로세서(ISP: Image Signal Processor)(도면에 미표시)를 연결하여 사용할 수 있다. 상기 이미지 신호 프로세서(ISP)는 로직 블록으로서, 로직 전용의 제조공정을 통해 독립된 형태의 반도체칩으로 제조될 수 있다.
이후에도, 상기 아날로그-디지털 변환기(240)에서 출력되는 이미지 데이터가 상기와 같이 제1라인메모리(250A)와 제2라인메모리(250B)에 교번되게 저장되고, 상기 설명에서와 같이 이미지 데이터가 저장되지 않는 라인메모리로부터 이미지 데이터가 블록 단위로 순차적으로 독출되어 출력되는 동작이 반복 수행된다.
상기 설명에서와 같이 상기 아날로그-디지털 변환기(240)에서 출력되는 이미지 데이터가 1 수평라인 단위로 제1라인메모리(250A)와 제2라인메모리(250B)에 교번되게 저장되므로, 그다지 많은 용량의 메모리 소자를 사용하지 않고도 이미지 데이터를 외부에 저장하기 위한 처리속도를 향상시킬 수 있게 된다.
또한, 상기 제1라인메모리(250A)와 제2라인메모리(250B)에 교번되게 저장되는 이미지 데이터를 FIFO 방식으로 블록 단위로 독출하여 출력하므로, 그다지 많은 용량의 메모리 소자를 사용하지 않고도 이미지 데이터를 외부에 저장하기 위한 처리속도를 향상시킬 수 있게 된다.
상기 설명에서는 두 개의 라인메모리 즉, 제1라인메모리(250A)와 제2라인메모리(250B)를 사용한 것을 예로 하여 설명하였으나, 본 발명이 이에 한정되는 것이 아니라 더 많은 개수의 라인메모리를 사용하고, 이들을 대하여 상기와 동일한 원리로 이미지 데이터를 저장하거나 독출할 수 있다.
상기 제1라인메모리(250A)와 제2라인메모리(250B)의 용량은 특별히 한정되는 것이 아니라, 필요에 따라 가변될 수 있다. 그리고, 상기 제1라인메모리(250A)와 제2라인메모리(250B)는 출력하는 이미지 데이터의 품질을 향상시키기 위하여 신호처리 버퍼 기능을 구비할 수 있다.
상기 설명에서와 같이 독립된 형태의 반도체 칩으로 제조된 상기 픽셀 어레이(210), 상기 제1,2라인메모리(250A),(250B) 및 이미지 신호 프로세서(ISP)에 TSV(Through Silicon Via)와 직접결합연결기술(DBI)과 같은 3차원 적층칩 패키지(3D IC) 제조기술을 적용하여 패키지 형태의 이미지센서를 제조할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세히 설명하였지만, 본 발명의 권리범위가 이에 한정되는 것이 아니라 다음의 청구범위에서 정의하는 본 발명의 기본 개념을 바탕으로 보다 다양한 실시예로 구현될 수 있으며, 이러한 실시예들 또한 본 발명의 권리범위에 속하는 것이다.

Claims (13)

  1. 이미지 센싱을 위해 복수의 단위 픽셀을 구비한 픽셀 어레이로부터 출력되는 이미지 신호를 외부에 저장하기 위해 이미지 데이터로 변환하여 출력할 때, 각 수평라인 또는 수직라인의 이미지 데이터를 복수 개의 블록으로 분할하여 출력하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치에 있어서,
    상기 픽셀 어레이로부터 순차적으로 출력되는 이미지신호를 디코딩하여 출력하는 디코더;
    상기 디코더로부터 공급되는 디코딩된 아날로그의 이미지 신호를 디지털신호로 순차적으로 변환하는 아날로그-디지털 변환기;
    상기 아날로그-디지털 변환기에서 출력되는 이미지 데이터를 수평라인 단위로 교번되게 저장한 후 선입선출방식으로 출력하되, 블록 단위로 출력하는 한 쌍의 라인메모리; 및
    상기 한 쌍의 라인메모리로부터 블록 단위로 출력되는 이미지 데이터를 순차적으로 선택하여 출력하는 멀티플렉서를 포함하는 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  2. 제1항에 있어서, 상기 픽셀 어레이는 롤링 셔터 방식 또는 글로벌 셔터 방식으로 동작하는 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  3. 제1항에 있어서, 상기 픽셀 어레이는 이미지 센서 전용의 제조공정을 통해 독립된 형태의 반도체칩으로 제조된 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  4. 제1항에 있어서, 상기 디코더는 센싱 타이밍신호 발생기로부터 공급되는 센싱 타이밍신호를 이용하여, 상기 이미지 신호를 디코딩하여 출력하는 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  5. 제1항에 있어서, 상기 디코더는 상기 픽셀 어레이로부터 순차적으로 출력되는 수평라인의 이미지신호를 디코딩하여 출력하는 로우 디코더 및 상기 픽셀 어레이로부터 순차적으로 출력되는 수직라인의 이미지신호를 디코딩하여 출력하는 컬럼 디코더 중에서 어느 하나인 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  6. 제1항에 있어서, 상기 아날로그-디지털 변환기는 상기 디코더로부터 공급되는 한 행의 픽셀 전체에 대한 아날로그의 이미지 신호를 한번에 디지털신호로 변환하거나, 픽셀 단위로 디지털신호로 변환하는 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  7. 제1항에 있어서, 상기 아날로그-디지털 변환기는 상기 디코더로부터 공급되는 한 열의 픽셀 전체에 대한 아날로그의 이미지 신호를 한번에 디지털신호로 변환하거나, 픽셀 단위로 디지털신호로 변환하는 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  8. 제1항에 있어서, 상기 한 쌍의 라인메모리는 용량이 가변 가능한 구조를 갖는 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  9. 제1항에 있어서, 상기 한 쌍의 라인메모리는 복수 개 구비되는 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  10. 제1항에 있어서, 상기 한 쌍의 라인메모리는 로직 전용의 제조공정을 통해 독립된 형태의 반도체칩으로 제조된 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  11. 제1항에 있어서, 상기 한 쌍의 라인메모리는 출력하는 이미지 데이터의 품질을 향상시키기 위하여 신호처리 버퍼 기능을 구비한 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  12. 제1항에 있어서, 상기 멀티플렉서는 이미지 데이터를 블록 단위로 출력할 때, 픽셀 간섭을 방지하기 위한 보정을 수행하거나, 색감 편차의 발생을 보완하기 위한 쉐이딩 보정을 수행하거나, 노이즈를 제거하기 위해 이미지 신호 프로세서를 포함하는 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
  13. 제12항에 있어서, 상기 이미지 신호 프로세서는 로직 전용의 제조공정을 통해 독립된 형태의 반도체칩으로 제조된 것을 특징으로 하는 이미지 시그널 프로세서의 이미지 데이터 출력 장치.
PCT/KR2014/010804 2013-11-29 2014-11-11 이미지 시그널 프로세서의 이미지 데이터 출력 장치 WO2015080403A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/100,501 US10313620B2 (en) 2013-11-29 2014-11-11 Image data output device for image signal processor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130146822A KR101541123B1 (ko) 2013-11-29 2013-11-29 이미지 시그널 프로세서의 이미지 데이터 출력 장치
KR10-2013-0146822 2013-11-29

Publications (1)

Publication Number Publication Date
WO2015080403A1 true WO2015080403A1 (ko) 2015-06-04

Family

ID=53199308

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/010804 WO2015080403A1 (ko) 2013-11-29 2014-11-11 이미지 시그널 프로세서의 이미지 데이터 출력 장치

Country Status (3)

Country Link
US (1) US10313620B2 (ko)
KR (1) KR101541123B1 (ko)
WO (1) WO2015080403A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3540469B1 (en) * 2018-03-12 2021-01-27 Teledyne Dalsa B.V. Image sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050039626A (ko) * 2003-10-24 2005-04-29 마츠시타 덴끼 산교 가부시키가이샤 화소 배열 장치, 고체 촬상 장치 및 카메라
JP2009077195A (ja) * 2007-09-21 2009-04-09 Sony Corp 撮像装置、および出力信号制御方法、並びにコンピュータ・プログラム
KR100913797B1 (ko) * 2008-01-30 2009-08-26 (주) 픽셀플러스 Ｃｍｏｓ 이미지 센서
KR20100096523A (ko) * 2009-02-24 2010-09-02 삼성전자주식회사 영상 데이터 처리 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2785782B2 (ja) * 1995-12-27 1998-08-13 日本電気株式会社 固体撮像装置
US7382408B2 (en) * 2002-07-18 2008-06-03 Micron Technology, Inc. Varying capacitance that receives signals from sensing elements
JP2004312107A (ja) * 2003-04-02 2004-11-04 Olympus Corp 固体撮像装置及びその読み出し方法
US7859581B2 (en) * 2003-07-15 2010-12-28 Eastman Kodak Company Image sensor with charge binning and dual channel readout
JP4434250B2 (ja) * 2007-09-21 2010-03-17 ソニー株式会社 画像信号処理回路、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050039626A (ko) * 2003-10-24 2005-04-29 마츠시타 덴끼 산교 가부시키가이샤 화소 배열 장치, 고체 촬상 장치 및 카메라
JP2009077195A (ja) * 2007-09-21 2009-04-09 Sony Corp 撮像装置、および出力信号制御方法、並びにコンピュータ・プログラム
KR100913797B1 (ko) * 2008-01-30 2009-08-26 (주) 픽셀플러스 Ｃｍｏｓ 이미지 센서
KR20100096523A (ko) * 2009-02-24 2010-09-02 삼성전자주식회사 영상 데이터 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20150063614A (ko) 2015-06-10
US10313620B2 (en) 2019-06-04
KR101541123B1 (ko) 2015-08-03
US20160301888A1 (en) 2016-10-13

Similar Documents

Publication Publication Date Title
TWI672952B (zh) 影像擷取器件、控制方法及影像擷取裝置
US9866771B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
KR102009189B1 (ko) 이미지 센서 및 2행 동시 독출 방법
US10115752B2 (en) Solid-state imaging device and electronic apparatus
US9661210B2 (en) Image pickup device and image pickup apparatus
WO2010143785A1 (ko) 이미지 디스플레이 방법 및 장치
EP3833004A1 (en) Imaging device
US20130141618A1 (en) Solid-state imaging device, imaging apparatus and signal reading method
US9521348B2 (en) Readout circuitry for image sensor
JP2013138327A (ja) 固体撮像素子
US9530173B2 (en) Information processing device, imaging device, and information processing method
KR20160015712A (ko) 이미지 촬상 장치 및 방법
WO2015080403A1 (ko) 이미지 시그널 프로세서의 이미지 데이터 출력 장치
US9317897B2 (en) Solid-state imaging device, driving method for the same, and electronic apparatus
US20220294999A1 (en) Image sensing apparatus and image binning method thereof
US9979919B2 (en) Solid-state imaging device and imaging system
CN112219390B (zh) 拍摄装置以及图像传输记录系统
WO2015174762A1 (ko) 양방향 ｔｄｉ 라인 이미지 센서
US8054364B2 (en) Image apparatus and drive control method for image pickup device with horizontal addition of pixel data
US20230217119A1 (en) Image sensor and image processing system
US20150237287A1 (en) Solid-state imaging apparatus and camera system
TWI413943B (zh) 影像處理系統及其影像處理方法
KR100905082B1 (ko) 이미지 처리 방법 및 장치
JP5629568B2 (ja) 撮像装置及びその画素加算方法
CN113206962A (zh) 成像系统以及用于以可变时序读出图像信号的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14865705

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15100501

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14865705

Country of ref document: EP

Kind code of ref document: A1