KR20080093599A - Method and device for processing image - Google Patents

Method and device for processing image Download PDF

Info

Publication number
KR20080093599A
KR20080093599A KR1020070037511A KR20070037511A KR20080093599A KR 20080093599 A KR20080093599 A KR 20080093599A KR 1020070037511 A KR1020070037511 A KR 1020070037511A KR 20070037511 A KR20070037511 A KR 20070037511A KR 20080093599 A KR20080093599 A KR 20080093599A
Authority
KR
South Korea
Prior art keywords
data
pixel
line
image sensor
image
Prior art date
Application number
KR1020070037511A
Other languages
Korean (ko)
Other versions
KR100905082B1 (en
Inventor
이정은
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020070037511A priority Critical patent/KR100905082B1/en
Publication of KR20080093599A publication Critical patent/KR20080093599A/en
Application granted granted Critical
Publication of KR100905082B1 publication Critical patent/KR100905082B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

A method and an apparatus for processing an image are provided to stabilize the reception and process of an original image signal, which is outputted from an image sensor through a plurality of channels. A data input unit(321) is connected to an image sensor through a plurality of data channels. The data input unit receives pixel data from the image sensor through respective data channels. A memory(323) stores the pixel data. An input controller(325) reads the stored pixel data, and then generates and outputs line data by a predetermined method. An image signal processor(327) is connected to the input controller through one data channel. The image signal processor receives the line data from the input controller to convert the line data into corresponding image data. The line data are pixel data combined correspondingly to pixel components constituting optional pixel rows of a predetermined bayer pattern by using the read pixel data.

Description

이미지 처리 방법 및 장치{Method and device for processing image}Method and device for processing image

도 1은 일반적인 촬상 장치의 구성을 간략하게 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram schematically showing a configuration of a general imaging device.

도 2는 일반적인 베이어(Bayer) 모자이크 필터 패턴을 나타낸 도면.2 is a diagram illustrating a typical Bayer mosaic filter pattern.

도 3은 본 발명의 일 실시예에 따른 이미지 처리 장치의 블록 구성도.3 is a block diagram of an image processing apparatus according to an embodiment of the present invention.

도 4는 스캔 방식에 따른 CMOS 이미지 센서의 블록 구성도.4 is a block diagram of a CMOS image sensor according to a scanning method.

도 5는 종래의 이미지 센서에서 출력되는 원시 영상 신호를 예시한 도면. 5 is a diagram illustrating a raw image signal output from a conventional image sensor.

도 6은 본 발명의 일 실시예에 따른 이미지 센서에서 출력되는 원시 영상 신호를 예시한 도면.6 is a diagram illustrating a raw image signal output from an image sensor according to an embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치가 영상 데이터를 처리하는 방법을 나타낸 순서도.7 is a flowchart illustrating a method of processing image data by an image processing apparatus according to an embodiment of the present invention.

도 8은 본 발명의 다른 실시예에 따른 이미지 센서와 이미지 처리부간의 연결을 예시한 도면.8 is a diagram illustrating a connection between an image sensor and an image processor according to another exemplary embodiment of the present disclosure.

<도면의 주요 부분에 대한 부호의 설명> <Explanation of symbols for main parts of the drawings>

310 : 이미지 센서310: image sensor

320 : 이미지 처리부320: image processing unit

321 : 데이터 입력부321: data input unit

323 : 메모리323: memory

325 : 입력 컨트롤러325: input controller

327 : 이미지 시그널 프로세서327: image signal processor

본 발명은 데이터 처리에 관한 것으로, 보다 상세하게 복수의 데이터 채널을 통해 데이터를 출력하고 처리할 수 있는 데이터 처리 장치 및 그 방법에 관한 것이다.The present invention relates to data processing, and more particularly, to a data processing apparatus and a method for outputting and processing data through a plurality of data channels.

최근, 소형 및 박형의 촬상 소자가 휴대 전화기나 PDA(Personal Digital Assistant) 등의 소형 및 박형의 휴대용 단말기에 탑재됨으로써, 휴대용 단말기가 촬상 장치로서 기능할 수 있다. 사용자는 휴대용 단말기를 이용하여 원격지로 음성 정보뿐만 아니라 화상 정보도 전송할 수 있다. 촬상 소자는 휴대 전화기나 PDA 뿐 아니라 MP3 플레이어 등의 휴대용 단말기에도 구비되어 다양한 장치에서 외부 영상을 전자적인 데이터로 보유할 수 있도록 구현된다.In recent years, small and thin image pickup devices are mounted in small and thin portable terminals such as mobile phones and PDAs (Personal Digital Assistants), whereby the portable terminals can function as image pickup devices. The user can transmit not only voice information but also image information to a remote location using the portable terminal. The imaging device is provided not only in a mobile phone or a PDA but also in a portable terminal such as an MP3 player so that various devices can hold external images as electronic data.

이러한 촬상 장치에는 일반적으로 CCD(Charge Coupled Device)형 이미지 센서나 CMOS(Complementary Metal-0xide Semiconductor)형 이미지 센서 등의 고체 촬상 소자가 사용되고 있다.Generally, solid-state imaging devices, such as a charge coupled device (CCD) type image sensor and a complementary metal-0xide semiconductor (CMOS) type image sensor, are used for such an imaging device.

도 1은 일반적인 촬상 장치의 구성을 간략하게 나타낸 도면이고, 도 2는 일반적인 베이어(Bayer) 모자이크 필터 패턴을 나타낸 도면이다.FIG. 1 is a diagram schematically illustrating a configuration of a general imaging device, and FIG. 2 is a diagram illustrating a general Bayer mosaic filter pattern.

도 1에 도시된 바와 같이, 외부 영상을 전기적인 데이터로 변환하여 표시부(150)에 디스플레이하는 촬상 장치는 이미지 센서(110), 이미지 시그널 프로세서(120, ISP(Image Signal Processor)), 백엔드 칩(130, Back-end chip), 베이스밴드 칩(140, Baseband Chip) 및 표시부(150)를 포함한다. 이외에, 촬상 장치는 변환된 전기적인 데이터를 저장하기 위한 메모리, 아날로그 신호를 디지털 신호로 변환하는 AD 변환기 등을 더 포함할 수 있다.As illustrated in FIG. 1, an image pickup device that converts an external image into electrical data and displays the same on the display unit 150 includes an image sensor 110, an image signal processor 120 (ISP), and a backend chip ( 130, a back-end chip, a baseband chip 140, and a display unit 150. In addition, the imaging apparatus may further include a memory for storing the converted electrical data, an AD converter for converting an analog signal into a digital signal, and the like.

이미지 센서(110)는 일반적으로 베이어 패턴(Bayer Pattern)을 가지는 센서로서, 단위 화소별로 렌즈를 통해 입력된 빛의 양에 상응하는 원시 데이터(raw data)를 출력한다. 이미지 센서(110)에 노출된 이미지의 색상을 검출하기 위해, 이미지 센서(110)의 화소(pixel)는 컬러 필터의 색상을 제외한 모든 색상의 광 파장(light wavelength)을 흡수하는 각각의 컬러 필터로 덮여(cover)진다. The image sensor 110 generally includes a Bayer pattern, and outputs raw data corresponding to the amount of light input through the lens for each unit pixel. In order to detect the color of the image exposed to the image sensor 110, a pixel of the image sensor 110 to each color filter absorbing the light wavelength of all colors except the color of the color filter. It is covered.

즉, 이미지 센서(110)로부터 컬러 정보를 획득하는 일반적인 방법은 이미지 센서(110)의 화소들 위에 컬러 필터 어레이(CFA, Color Filter Array)를 배치하는 것이다. 컬러 필터 어레이의 가장 일반적인 형태가 도 2에 도시된 베이어 모자이크(Bayer Mosaic) 필터이다. 베이어 모자이크 필터는 체커보드 형식(checkerboard like) 구조를 가지고, 교호하는 로우(row)의 적색(R), 녹색(G) 및 청색(B), 녹색(G) 필터로 구성된다. 적색과 녹색 필터는 2개의 녹색 필터가 인접 로우와 컬럼(column) 사이의 가장자리를 공유하지 못하도록 서로 오프셋(offset)되어 있다. 각 화소의 완전한 색상 정보를 얻기 위해서는 주변 화소의 색상 세기를 기반한 보간(interpolation)이 요구된다.That is, a general method of obtaining color information from the image sensor 110 is to arrange a color filter array (CFA) on the pixels of the image sensor 110. The most common form of color filter array is the Bayer Mosaic filter shown in FIG. The Bayer mosaic filter has a checkerboard like structure and consists of alternating rows of red (R), green (G) and blue (B), green (G) filters. The red and green filters are offset from each other so that the two green filters do not share the edge between adjacent rows and columns. In order to obtain complete color information of each pixel, interpolation based on color intensity of surrounding pixels is required.

이미지 시그널 프로세서(120)는 이미지 센서(110)로부터 입력된 전기 신호(raw data)를 YUV값으로 변환하고, 변환된 YUV 값을 백엔드 칩(130)으로 입력한다. YUV방식은 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안한 방식으로, 색을 밝기(Luminance)인 Y성분과 색상(Chrominance)인 U와 V 성분으로 구분한다. Y성분은 오차에 민감하므로 색상 성분인 U와 V보다 많은 비트를 코딩한다. 전형적인 Y:U:V의 비율은 4:2:2이다. The image signal processor 120 converts an electrical signal (raw data) input from the image sensor 110 into a YUV value, and inputs the converted YUV value to the back end chip 130. The YUV method focuses on the fact that the human eye is more sensitive to brightness than color, and the color is divided into Y component, which is luminance, and U and V, which are chroma. Since the Y component is sensitive to error, we code more bits than the color components U and V. A typical Y: U: V ratio is 4: 2: 2.

이미지 시그널 프로세서(120)는 변환한 YUV값을 FIFO에 순차적으로 저장시킴으로써 백엔드 칩(130)이 해당 정보를 입력받을 수 있도록 한다.The image signal processor 120 sequentially stores the converted YUV values in the FIFO so that the back end chip 130 may receive the corresponding information.

백엔드 칩(130)은 입력된 YUV값을 미리 지정된 인코딩 방법에 의해 JPEG나 BMP로 변환하여 메모리(도시되지 않음)에 저장하거나, 메모리에 저장된 인코딩된 이미지를 디코딩하여 표시부(150)에 디스플레이한다. 백엔드 칩(130)은 이미지의 확대, 축소, 로테이션 등의 기능도 수행할 수 있다. 물론, 도 1에 도시된 바와 같이, 베이스밴드 칩(140)이 백엔드 칩(130)으로부터 디코딩된 데이터를 입력받아 표시부(150)에 디스플레이할 수도 있다. The back end chip 130 converts the input YUV value into JPEG or BMP by using a predetermined encoding method and stores the converted YUV value in a memory (not shown), or decodes the encoded image stored in the memory and displays it on the display unit 150. The back end chip 130 may also perform functions such as enlargement, reduction, and rotation of an image. Of course, as shown in FIG. 1, the baseband chip 140 may receive decoded data from the backend chip 130 and display the decoded data on the display unit 150.

베이스밴드 칩(140)은 촬상 장치의 동작을 전반적으로 제어하는 기능을 수행한다. 예를 들어, 키 입력부(도시되지 않음)를 통해 사용자로부터 촬상 명령이 입력되면 베이스밴드 칩(140)은 백엔드 칩(130)으로 이미지 생성 명령을 전송함으로써 백엔드 칩(130)이 입력된 외부 영상에 상응하는 인코딩된 데이터를 생성하도록 할 수도 있다. The baseband chip 140 performs a function of controlling the overall operation of the imaging device. For example, when an imaging command is input from a user through a key input unit (not shown), the baseband chip 140 transmits an image generation command to the backend chip 130 to the external image to which the backend chip 130 is input. It is also possible to generate corresponding encoded data.

표시부(150)는 백엔드 칩(130) 또는 베이스밴드 칩(140)의 제어에 의해 제공받은 디코딩된 데이터를 디스플레이한다.The display unit 150 displays decoded data provided by the control of the back end chip 130 or the baseband chip 140.

촬상 장치에서 이미지 시그널 프로세서(120)를 통해 출력되는 영상 데이터 신호와 동기 신호(즉, 클럭 신호)는 유효 화소 판단 여부와 관계가 있다. 즉, 이미지 시그널 프로세서(120)와 이미지 시그널 프로세서(120)로부터 입력된 영상 데이터를 처리하는 후처리 프로세서(예를 들어, 백엔드 칩(130))간에는 동기 신호(클럭 신호) 유효 기간 동안 입출력될 영상 데이터의 개수와 순서가 미리 정해져 있다. 따라서, 이미지 시그널 프로세서(120)로부터 출력되는 영상 데이터와 동기 신호의 관계가 깨지는 경우, 후처리 프로세서는 전혀 다른 신호를 처리하게 된다. The image data signal and the synchronization signal (ie, the clock signal) output through the image signal processor 120 in the image capturing apparatus are related to whether the effective pixel is determined. That is, an image to be inputted and outputted during a valid period of a synchronization signal (clock signal) between the image signal processor 120 and the post-processing processor (for example, the back end chip 130) that processes the image data input from the image signal processor 120. The number and order of data are predetermined. Therefore, when the relationship between the image data output from the image signal processor 120 and the synchronization signal is broken, the post-processing processor processes a completely different signal.

일반적으로 이미지 센서(110)는 하나의 데이터 채널을 통해 생성된 원시 영상 신호를 이미지 시그널 프로세서(120)로 출력하였다. 따라서, 이미지 센서(110)가 복수의 데이터 채널을 통해 원시 영상 신호를 출력하는 경우, 후단에 연결되는 이미지 시그널 프로세서(120)는 복수의 데이터 채널을 통해 입력되는 원시 영상 신호를 입력받기 위해 변경되어야만 하는 문제점이 있다.In general, the image sensor 110 outputs the raw image signal generated through one data channel to the image signal processor 120. Therefore, when the image sensor 110 outputs a raw image signal through a plurality of data channels, the image signal processor 120 connected to the rear stage must be changed to receive a raw image signal input through a plurality of data channels. There is a problem.

따라서, 상술한 문제점을 해결하기 위한 본 발명은 이미지 센서에서 복수의 데이터 채널을 통해 출력되는 원시 영상 신호를 입력받아 처리할 수 있는 이미지 처리 방법 및 장치를 제공하기 위한 것이다.Accordingly, an aspect of the present invention is to provide an image processing method and apparatus capable of receiving and processing a raw image signal output through a plurality of data channels in an image sensor.

또한, 본 발명은 이미지 센서의 후단에 연결되는 후처리 프로세서의 변경 없이 복수의 채널을 통해 출력되는 원시 영상 신호를 처리할 수 있는 이미지 처리 방법 및 장치를 제공하기 위한 것이다.In addition, the present invention is to provide an image processing method and apparatus capable of processing the raw image signal output through a plurality of channels without changing the post-processing processor connected to the rear end of the image sensor.

이외의 본 발명의 목적들은 하기의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention will be easily understood through the description of the following examples.

상술한 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 이미지 센서와 복수의 데이터 채널을 통해 연결되어 각각의 데이터 채널을 통해 각각의 픽셀 데이터를 입력받아 처리할 수 있는 이미지 프로세서 칩 및 그 장치가 제공된다.In order to achieve the above object, according to an aspect of the present invention, an image processor chip and an apparatus which is connected to an image sensor through a plurality of data channels to receive and process each pixel data through each data channel Is provided.

본 발명의 일 실시예에 따르면, 이미지 센서와 복수의 데이터 채널을 통해 연결되며, 상기 이미지 센서로부터 픽셀 데이터들을 각각의 데이터 채널을 통해 입력받는 데이터 입력부; 상기 픽셀 데이터를 저장하는 메모리; 상기 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 의해 라인 데이터를 생성하여 출력하는 입력 컨트롤러; 및 상기 입력 컨트롤러와 하나의 데이터 채널을 통해 연결되며, 상기 입력 컨트롤러로부터 상기 라인 데이터를 입력받아 미리 정해진 형식에 상응하는 영상 데이터로 변환하는 이미지 시그널 프로세서를 포함하는 이미지 프로세서 칩이 제공될 수 있다.According to an embodiment of the present invention, a data input unit connected to an image sensor through a plurality of data channels and receiving pixel data from the image sensor through each data channel; A memory for storing the pixel data; An input controller that reads the stored pixel data to generate and output line data by a predetermined method; And an image signal processor connected to the input controller through one data channel and receiving the line data from the input controller and converting the line data into image data corresponding to a predetermined format.

상기 라인 데이터는 상기 독출된 픽셀 데이터들을 이용하여 미리 정해진 베 이어 패턴의 임의의 픽셀 행을 구성하는 픽셀 요소들에 상응하도록 조합된 픽셀 데이터일 수 있다.The line data may be pixel data combined to correspond to pixel elements constituting an arbitrary pixel row of a predetermined Bayer pattern using the read pixel data.

상기 메모리는 n(임의의 자연수)개의 라인 메모리로 구성될 수 있다.The memory may consist of n (random natural numbers) line memories.

상기 이미지 센서는 각각의 데이터 채널의 각각의 데이터 라인을 통해 임의의 픽셀 행의 특정 픽셀 요소에 상응하는 픽셀 데이터들을 출력하는 경우, 상기 데이터 입력부는 각 데이터 채널의 제1 데이터 라인을 통해 상기 픽셀 행의 제1 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 제1 라인 메모리에 기록하고, 제2 데이터 라인을 통해 상기 픽셀 행의 제2 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 제2 라인 메모리에 기록할 수 있다.When the image sensor outputs pixel data corresponding to a specific pixel element of an arbitrary pixel row through each data line of each data channel, the data input unit is configured to output the pixel row through the first data line of each data channel. Receive pixel data corresponding to the first pixel element of the first pixel element and write the pixel data corresponding to the second pixel element of the pixel row through the second data line to write to the second line memory. Can be.

상기 입력 컨트롤러는 상기 제1 라인 메모리 및 상기 제2 라인 메모리에 기록된 픽셀 데이터를 각각 독출하여 상기 라인 데이터를 생성하여 출력할 수 있다.The input controller may read out pixel data written in the first line memory and the second line memory to generate and output the line data.

상기 이미지 센서가 각각의 데이터 채널의 각각의 데이터 라인을 통해 임의의 픽셀 행에 상응하는 픽셀 데이터를 출력하는 경우, 상기 데이터 입력부는 각 데이터 채널을 통해 입력된 픽셀 데이터를 각각의 라인 메모리에 기록하되, 상기 입력 컨트롤러는 라인 메모리 단위로 픽셀 데이터를 독출하여 출력할 수 있다.When the image sensor outputs pixel data corresponding to an arbitrary pixel row through each data line of each data channel, the data input unit writes pixel data input through each data channel to each line memory. The input controller may read and output pixel data in line memory units.

본 발명의 다른 실시예에 따르면, 피사체에 상응하는 픽셀 데이터들을 출력하는 이미지 센서; 상기 이미지 센서와 복수의 데이터 채널을 통해 연결되며, 이미지 센서와 복수의 데이터 채널을 통해 연결되며, 상기 이미지 센서로부터 상기 복수의 데이터 채널을 통해 하나 이상의 픽셀 데이터를 입력받는 데이터 입력부; 상기 픽셀 데이터를 저장하는 메모리; 상기 하나 이상의 픽셀 데이터를 독출하여 미 리 정해진 형식에 의해 라인 데이터를 생성하여 출력하는 입력 컨트롤러; 및 상기 입력 컨트롤러와 하나의 데이터 채널을 통해 연결되며, 상기 데이터 채널을 통해 상기 라인 데이터를 입력받아 미리 정해진 형식에 상응하는 영상 데이터로 변환하는 이미지 시그널 프로세서를 포함하는 이미지 처리 장치가 제공될 수 있다.According to another embodiment of the invention, the image sensor for outputting pixel data corresponding to the subject; A data input unit connected to the image sensor through a plurality of data channels, connected to the image sensor through a plurality of data channels, and receiving one or more pixel data from the image sensor through the plurality of data channels; A memory for storing the pixel data; An input controller that reads the at least one pixel data and generates and outputs line data in a predetermined format; And an image signal processor connected to the input controller through one data channel and receiving the line data through the data channel and converting the line data into image data corresponding to a predetermined format. .

상기 라인 데이터는 상기 독출된 픽셀 데이터들을 이용하여 미리 정해진 베이어 패턴의 임의의 픽셀 행을 구성하는 픽셀 요소들에 상응하도록 조합된 픽셀 데이터일 수 있다.The line data may be pixel data combined to correspond to pixel elements forming an arbitrary pixel row of a predetermined Bayer pattern by using the read pixel data.

본 발명의 다른 측면에 따르면, 복수의 데이터 채널을 통해 이미지 센서와 연결된 이미지 프로세서 칩이 데이터를 처리하는 방법이 제공된다.According to another aspect of the present invention, a method is provided by an image processor chip coupled to an image sensor through a plurality of data channels to process data.

본 발명의 일 실시예에 따르면, 이미지 프로세서 칩에서 데이터를 처리하는 방법에 있어서, 이미지 센서로부터 복수의 데이터 채널을 통해 픽셀 데이터들을 입력받아 저장하는 단계; 상기 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 따라 라인 데이터를 생성하여 하나의 데이터 채널을 통해 출력하는 단계; 및 상기 라인 데이터를 미리 정해진 형식에 상응하는 영상 데이터로 변환하는 단계를 포함하는 데이터 처리 방법이 제공될 수 있다.According to an embodiment of the present invention, a method of processing data in an image processor chip, the method comprising: receiving and storing pixel data from an image sensor through a plurality of data channels; Reading the stored pixel data, generating line data according to a predetermined method, and outputting the same through one data channel; And converting the line data into image data corresponding to a predetermined format.

상기 라인 데이터는 상기 독출된 픽셀 데이터들을 이용하여 미리 정해진 베이어 패턴의 임의의 픽셀 행을 구성하는 픽셀 요소들에 상응하도록 조합된 픽셀 데이터일 수 있다.The line data may be pixel data combined to correspond to pixel elements forming an arbitrary pixel row of a predetermined Bayer pattern by using the read pixel data.

이미지 센서로부터 복수의 데이터 채널을 통해 픽셀 데이터를 입력받아 저장 하는 단계는, 각 데이터 채널의 제1 데이터 라인을 통해 임의의 픽셀 행의 제1 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 저장하는 단계; 및 제2 데이터 라인을 통해 상기 픽셀 행의 제2 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 저장하는 단계를 포함할 수 있다.Receiving and storing pixel data from an image sensor through a plurality of data channels includes: receiving and storing pixel data corresponding to first pixel elements of an arbitrary pixel row through a first data line of each data channel; And receiving and storing pixel data corresponding to a second pixel element of the pixel row through a second data line.

상기 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 따라 라인 데이터를 생성하여 하나의 데이터 채널을 통해 출력하는 단계는, 상기 저장된 제1 픽셀 요소에 상응하는 픽셀 데이터들을 독출하는 단계; 상기 저장된 제2 픽셀 요소에 상응하는 픽셀 데이터들을 독출하는 단계; 및 상기 독출된 픽셀 데이터들을 미리 정해진 방법에 따라 교호적으로 머지하여 상기 라인 데이터를 생성하여 출력하는 단계를 포함할 수 있다.The reading of the stored pixel data and generating and outputting line data according to a predetermined method through one data channel may include: reading pixel data corresponding to the stored first pixel element; Reading pixel data corresponding to the stored second pixel element; And generating and outputting the line data by merging the read pixel data alternately according to a predetermined method.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필 요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted. In addition, in describing the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 3은 본 발명의 일 실시예에 따른 이미지 처리 장치의 블록 구성도이고, 도 4는 스캔 방식에 따른 CMOS 이미지 센서의 블록 구성도이며, 도 5는 종래의 이미지 센서에서 출력되는 원시 영상 신호를 예시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 이미지 센서에서 출력되는 원시 영상 신호를 예시한 도면이며, 도 8은 본 발명의 다른 실시예에 따른 이미지 센서와 이미지 처리부간의 연결을 예시한 도면이다.3 is a block diagram of an image processing apparatus according to an embodiment of the present invention, FIG. 4 is a block diagram of a CMOS image sensor according to a scan method, and FIG. 5 is a diagram illustrating a raw image signal output from a conventional image sensor. 6 is a diagram illustrating a raw image signal output from an image sensor according to an embodiment of the present invention, and FIG. 8 illustrates a connection between an image sensor and an image processor according to another embodiment of the present invention. One drawing.

도 3을 참조하면, 본 발명에 따른 이미지 처리 장치(310)는 이미지 센서(310) 및 이미지 처리부(320)를 포함하여 구성된다. 이하에서 설명되는 이미지 처리부(320)는 하나의 칩으로 형성될 수 있다.Referring to FIG. 3, the image processing apparatus 310 according to the present invention includes an image sensor 310 and an image processor 320. The image processor 320 described below may be formed as one chip.

이미지 센서(310)는 렌즈를 통해 입사되는 광학적 피사체의 신호를 전기적인 신호로 변환하여(이하, 이와 같이 피사체에 상응하여 변환된 신호를 이해와 설명의 편의를 위해 "픽셀 데이터"라 칭하기로 함) 이미지 처리부(320)로 출력하는 기능을 수행한다.The image sensor 310 converts a signal of an optical subject incident through the lens into an electrical signal (hereinafter, a signal converted according to the subject will be referred to as "pixel data" for convenience of understanding and explanation. ) Outputs to the image processor 320.

또한, 전술한 바와 같이, 이미지 센서(310)는 CCD 또는 CMOS 센서와 같이 복수의 단위 픽셀이 행(row) 또는 열(column)을 따라 배치된 픽셀 어레이를 포함하며, 각 단위 픽셀은 피사체의 광 신호를 전기적인 신호로 변환하여 출력하는 광전 변환 소자(예를 들어, 포토 다이오드)를 포함한다. In addition, as described above, the image sensor 310 includes a pixel array in which a plurality of unit pixels are arranged along a row or a column, such as a CCD or a CMOS sensor, and each unit pixel is a light of a subject. It includes a photoelectric conversion element (for example, a photodiode) for converting the signal into an electrical signal and output.

우선, 이해와 설명의 편의를 도모하기 위해, 도 4를 참조하여 이미지 센 서(310)의 내부 구성에 대해 간략하게 설명하기로 한다.First, in order to facilitate the understanding and explanation, the internal configuration of the image sensor 310 will be briefly described with reference to FIG. 4.

도 4에 도시된 바와 같이, 이미지 센서(310)는 픽셀 어레이(410), 로우 디코더(420), CDS 및 ADC(Correlated Double Sampling & Analog Digital Converter)(430) 및 칼럼 디코더(440)를 포함한다.As shown in FIG. 4, the image sensor 310 includes a pixel array 410, a row decoder 420, a CDS and Correlated Double Sampling & Analog Digital Converter (ADC) 430, and a column decoder 440. .

픽셀 어레이(410)는 로우 어드레스(row address)를 지정할 로우 디코더(420)가 픽셀 어레이(410)의 일방향에 배치되며, 이와 직각 방향으로 픽셀 데이터를 수신하며, 픽셀들의 칼럼 어드레스를 지정할 칼럼 디코더(440)가 배치된다.In the pixel array 410, a row decoder 420 to designate a row address is disposed in one direction of the pixel array 410, receives pixel data in a direction perpendicular thereto, and uses a column decoder to designate column addresses of pixels. 440 is disposed.

로우 디코더(420)는 다수의 게이트로 구성되는 복수의 로우 디코더 셀로 구성되며, 로우 디코더 셀은 어드레스 인입선, 전송 신호 인입선, 선택 신호 인입선 및 리셋 신호 인입선을 통해 입력 신호를 전달 받으며, 리셋 신호 인입선을 통해 인입되는 리셋 신호 및 어드레스 신호 인입선을 통해 인입되는 어드레스 신호에 따라 생성되는 리셋 게이트 신호를 출력하는 리셋 게이트 신호 출력부, 선택 신호 인입선을 통해 인입되는 선택 신호 및 어드레스 신호 인입선을 통해 인입되는 어드레스 신호에 따라 생성되는 선택 게이트 신호를 출력하는 선택 게이트 신호 출력부 및 전송 신호 인입선을 통해 인입되는 전송 신호를 출력하는 전송 신호 출력선을 통해 출력 신호를 출력한다.The row decoder 420 includes a plurality of row decoder cells including a plurality of gates. The row decoder cell receives an input signal through an address lead line, a transmission signal lead line, a selection signal lead line, and a reset signal lead line, and receives a reset signal lead line. A reset gate signal output unit for outputting a reset gate signal generated according to an address signal incoming through a reset signal and an address signal lead-in line, a selection signal incoming through a selection signal lead-in line, and an address signal incoming through an address signal lead-in line The output signal is output through a selection gate signal output unit for outputting a selection gate signal generated according to the transmission signal output line and a transmission signal input through the transmission signal lead line.

보다 상세하게, 이미지 센서(310)로부터 데이터를 추출하는 과정은 로우 디코더(420)에서 특정 픽셀 행(row)를 선택한 후 칼럼 디코더(440)에서 선택된 행에서의 각 픽셀에 대한 데이터를 추출한 후, 각 픽셀 데이터를 증폭하여 출력한다. 픽셀 어레이(410)의 전체 픽셀에 대해서 이와 같은 방법으로 데이터가 추출된다.More specifically, in the process of extracting data from the image sensor 310, after selecting a specific pixel row in the row decoder 420 and extracting data for each pixel in the selected row in the column decoder 440, Each pixel data is amplified and output. Data is extracted in this manner for all pixels of the pixel array 410.

이와 같이 추출된 픽셀 데이터는 아날로그 형태의 데이터이며, CDS 및 ADC부(430)에 의해 디지털 데이터로 변환되고 샘플링되어 출력된다.The pixel data extracted as described above is analog data and is converted into digital data by the CDS and ADC unit 430, sampled, and output.

즉, 이미지 센서(310)는 픽셀 데이터 및 해당 픽셀 데이터에 동기화된 동기 신호들(예를 들어, 클럭 신호(PCLK), 수직 동기 신호(VSYNC), 유효 데이터 인에이블 신호(HREF))을 생성하여 이미지 처리부(320)로 출력한다.That is, the image sensor 310 generates pixel data and synchronization signals synchronized with the pixel data (for example, a clock signal PCLK, a vertical synchronization signal VSYNC, and a valid data enable signal HREF). Output to the image processing unit 320.

여기서, 클럭 신호(PCLK)는 이미지 센서(210)에서 출력되는 픽셀 데이터의 획득을 위한 동기 신호이며, 수직 동기 신호(VSYNC)는 각각의 프레임(frame)에 따른 데이터를 식별하기 위한 동기 신호이고, 유효 데이터 인에이블 신호(HREF)는 각각의 유효 구간(즉, 각각의 라인(line)) 동안 출력되는 데이터를 식별하기 위한 동기 신호이다.Here, the clock signal PCLK is a synchronization signal for acquiring pixel data output from the image sensor 210, and the vertical synchronization signal VSYNC is a synchronization signal for identifying data according to each frame. The valid data enable signal HREF is a synchronization signal for identifying data output during each valid period (ie, each line).

다시 도 3을 참조하면, 이미지 센서(310)는 픽셀 데이터를 출력하기 위한 복수의 데이터 채널(예를 들어, 제1 데이터 채널(330), 제2 데이터 채널(335)), 동기 신호들을 출력하기 위한 복수의 신호선들(예를 들어, 클럭 신호를 출력하기 위한 제1 클럭 신호선, 수직 동기 신호를 출력하기 위한 제2 클럭 신호선, 유효 데이터 인에이블 신호를 출력하기 위한 제3 클럭 신호선)을 통해 이미지 처리부(320)와 연결된다. 즉, 이미지 센서(310)는 복수의 데이터 채널(즉, 제1 데이터 채널(330), 제2 데이터 채널(335))을 통해 하나 이상의 픽셀 데이터를 이미지 처리부(320)로 출력한다. 도 8에 셋 이상의 데이터 채널을 통해 이미지 센서(310)와 이미지 처리부(320)가 연결된 예가 예시되어 있다.Referring back to FIG. 3, the image sensor 310 outputs a plurality of data channels (eg, the first data channel 330 and the second data channel 335) for outputting pixel data and the synchronization signals. Image through a plurality of signal lines (e.g., a first clock signal line for outputting a clock signal, a second clock signal line for outputting a vertical synchronization signal, and a third clock signal line for outputting a valid data enable signal) It is connected to the processing unit 320. That is, the image sensor 310 outputs one or more pixel data to the image processor 320 through a plurality of data channels (ie, the first data channel 330 and the second data channel 335). 8 illustrates an example in which the image sensor 310 and the image processor 320 are connected through three or more data channels.

예를 들어, 이미지 센서(310)는 도 4에 예시된 바와 같은 픽셀 어레이(410) 를 포함하고 있으며, 데이터 채널이 두개라고 가정하면, 제1 데이터 채널(330)의 제1 데이터 라인을 통해 제1 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들을 이미지 처리부(320)로 출력할 수 있다. 그리고, 이미지 센서(310)는 제1 데이터 채널(330)의 제2 데이터 라인을 통해 제1 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 이미지 처리부(320)로 출력할 수 있다. 또한, 이미지 센서(310)는 제2 데이터 채널(335)의 제1 데이터 라인을 통해 제2 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 이미지 처리부(320)로 출력할 수 있으며, 제2 데이터 채널(335)의 제2 데이터 라인을 통해 제2 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 이미지 처리부(320)로 출력할 수 있다. 도 6에 이미지 센서(310)가 임의의 픽셀 행의 특정 픽셀 요소에 상응하는 픽셀 데이터들을 각 데이터 채널의 각각의 데이터 라인을 통해 출력한 예가 예시되어 있다.For example, the image sensor 310 includes the pixel array 410 as illustrated in FIG. 4, and assuming two data channels, the image sensor 310 is configured to be connected through the first data line of the first data channel 330. Pixel data corresponding to the R pixel element of one pixel row may be output to the image processor 320. The image sensor 310 may output pixel data corresponding to the G pixel elements of the first pixel row to the image processor 320 through the second data line of the first data channel 330. In addition, the image sensor 310 may output pixel data corresponding to the G pixel element of the second pixel row to the image processor 320 through the first data line of the second data channel 335, and the second data. The pixel data corresponding to the B pixel element of the second pixel row may be output to the image processor 320 through the second data line of the channel 335. 6 illustrates an example in which the image sensor 310 outputs pixel data corresponding to a specific pixel element of an arbitrary pixel row through each data line of each data channel.

다른 예를 들어, 이미지 센서(310)는 임의의 픽셀 행에 상응하는 픽셀 데이터들을 각각 데이터 채널을 통해 이미지 처리부(320)로 각각 출력할 수도 있다.As another example, the image sensor 310 may output pixel data corresponding to an arbitrary pixel row to the image processor 320 through a data channel, respectively.

또 다른 예를 들어, 이미지 센서(310)는 제1 데이터 채널의 제1 데이터 라인을 통해 제1 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들 및 제2 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 출력할 수 있다. 그리고, 해당 제1 데이터 채널의 제2 데이터 라인을 통해 제1 픽셀 행 및 제2 픽셀 행에 상응하는 픽셀 데이터들을 출력할 수도 있다. As another example, the image sensor 310 may include pixel data corresponding to an R pixel element of a first pixel row and a pixel corresponding to a B pixel element of a second pixel row via a first data line of a first data channel. You can output the data. The pixel data corresponding to the first pixel row and the second pixel row may be output through the second data line of the first data channel.

또 다른 예를 들어, 이미지 센서(310)는 제1 데이터 채널을 통해 제1 픽셀 행 및 제3 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들을 출력하고, 제2 데이 터 채널을 통해 제2 픽셀 행 및 제4 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 출력하며, 제3 및 제4 데이터 채널을 통해 제1 픽셀 행 내지 제4 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하도록 할 수도 있다. As another example, the image sensor 310 outputs pixel data corresponding to the R pixel elements of the first pixel row and the third pixel row through the first data channel, and the second pixel through the second data channel. Output pixel data corresponding to B pixel elements of the row and fourth pixel rows, and output pixel data corresponding to G pixel elements of the first to fourth pixel rows through the third and fourth data channels. It may be.

보다 상세하게, 이미지 센서(310)는 제1 데이터 채널의 제1 데이터 라인을 통해 제1 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들을 출력하고, 제2 데이터 라인을 통해 제3 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들을 출력하며, 제2 데이터 채널의 제1 데이터 라인을 통해 제2 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 출력하고, 제2 데이터 라인을 통해 제4 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 출력하도록 할 수 있다. 또한, 이미지 센서(310)는 제3 데이터 채널의 제1 데이터 라인을 통해 제1 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하고, 제2 데이터 라인을 통해 제2 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하며, 제4 데이터 채널의 제1 데이터 라인을 통해 제3 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하며, 제2 데이터 라인을 통해 제4 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하도록 할 수 있다.More specifically, the image sensor 310 outputs pixel data corresponding to the R pixel element of the first pixel row through the first data line of the first data channel, and R of the third pixel row through the second data line. Output pixel data corresponding to the pixel element, output pixel data corresponding to the B pixel element of the second pixel row through the first data line of the second data channel, and output the pixel data of the fourth pixel row through the second data line The pixel data corresponding to the B pixel element may be output. In addition, the image sensor 310 outputs pixel data corresponding to the G pixel element of the first pixel row through the first data line of the third data channel, and the G pixel element of the second pixel row through the second data line. Output pixel data corresponding to the pixel data corresponding to the G pixel element of the third pixel row through the first data line of the fourth data channel, and G pixel of the fourth pixel row through the second data line. Output pixel data corresponding to the element.

이해의 편의를 도모하기 위해 종래의 이미지 센서가 픽셀 데이터를 출력하는 방법을 간략하게 설명하면, 종래의 이미지 센서는 하나의 데이터 채널을 통해 이미지 프로세서(미도시)와 연결된다. 이로 인해, 이미지 센서는 픽셀 어레이의 픽셀 행에 상응하는 픽셀 데이터들을 하나의 데이터 채널을 통해 이미지 프로세서로 출력하였다. For convenience of understanding, a conventional image sensor will briefly describe a method of outputting pixel data. The conventional image sensor is connected to an image processor (not shown) through one data channel. As a result, the image sensor outputs pixel data corresponding to the pixel rows of the pixel array to the image processor through one data channel.

다시 도 3을 참조하면, 이미지 처리부(320)는 픽셀 데이터를 입력받기 위한 복수의 데이터 채널(예를 들어, 제1 데이터 채널(330), 제2 데이터 채널(335)), 해당 픽셀 데이터에 동기화된 동기 신호들을 입력받기 위한 동기 신호선들을 통해 이미지 센서(310)와 연결된다. 즉, 이미지 처리부(320)는 복수의 데이터 채널을 통해 이미지 센서(310)로부터 픽셀 데이터들을 입력받아 미리 정해진 형식에 상응하는 영상 데이터로 변환하는 기능을 수행한다.Referring back to FIG. 3, the image processor 320 synchronizes a plurality of data channels (eg, the first data channel 330 and the second data channel 335) to receive pixel data and the corresponding pixel data. It is connected to the image sensor 310 through the synchronization signal lines for receiving the received synchronization signals. That is, the image processor 320 receives the pixel data from the image sensor 310 through a plurality of data channels and converts the pixel data into image data corresponding to a predetermined format.

도 3에 예시된 바와 같이, 이미지 처리부(320)는 데이터 입력부(321), 메모리(323), 입력 컨트롤러(325) 및 이미지 시그널 프로세서(330)를 포함한다.As illustrated in FIG. 3, the image processor 320 includes a data input unit 321, a memory 323, an input controller 325, and an image signal processor 330.

데이터 입력부(321)는 이미지 센서(310)로부터 픽셀 데이터 및 해당 픽셀 데이터에 동기화된 동기 신호들을 입력받고, 해당 동기 신호들을 이용하여 복수의 데이터 채널(즉, 제1 데이터 채널(330), 제2 데이터 채널(335))을 통해 입력되는 픽셀 데이터를 획득하여 메모리(323)에 저장한다. 본 명세서에서는 이미지 센서(310)와 이미지 처리부(320)가 두개의 데이터 채널을 통해 연결된 것을 중점으로 설명하나 구현 방법에 따라 둘 이상의 데이터 채널을 통해 연결되어 픽셀 데이터를 입력받을 수도 있음은 당연하다. 도 8에 둘 이상의 데이터 채널(즉, 제1 데이터 채널(810a), 제2 데이터 채널(810b), …, 제n 데이터 채널(810n0)을 통해 이미지 센서(310)와 데이터 입력부(321)가 연결된 것이 예시되어 있다. The data input unit 321 receives pixel data and sync signals synchronized with the pixel data from the image sensor 310, and uses a plurality of data channels (ie, the first data channel 330 and the second sync signal). The pixel data input through the data channel 335 is acquired and stored in the memory 323. In the present specification, the image sensor 310 and the image processing unit 320 will be described by focusing on two data channels. However, it is natural that the image sensor 310 and the image processor 320 may be connected through two or more data channels to receive pixel data. In FIG. 8, the image sensor 310 and the data input unit 321 are connected through two or more data channels (ie, a first data channel 810a, a second data channel 810b,..., N-th data channel 810n0). Is illustrated.

도 8에 예시된 바와 같이, 이미지 센서(310)와 데이터 입력부(321)가 n개의 데이터 채널을 통해 연결된 경우, 데이터 입력부(321)는 제1 데이터 채널(810a)을 통해 제1 픽셀 행에 상응하는 픽셀 데이터들을 입력받고, 제2 데이터 채널(810b)을 통해 제2 픽셀 행에 상응하는 픽셀 데이터들을 입력받으며, 제n 데이터 채널(810n)을 통해 제n 픽셀 행에 상응하는 픽셀 데이터들을 입력받아 메모리(323)에 저장할 수 있다.As illustrated in FIG. 8, when the image sensor 310 and the data input unit 321 are connected through n data channels, the data input unit 321 corresponds to the first pixel row through the first data channel 810a. Receive pixel data corresponding to the second pixel row through the second data channel 810b, and receive pixel data corresponding to the nth pixel row through the nth data channel 810n. The memory 323 may be stored.

즉, 데이터 입력부(321)는 각 데이터 채널의 각각의 데이터 라인을 통해 입력된 픽셀 데이터들을 순차적으로 메모리(323)에 기록할 수 있다.That is, the data input unit 321 may sequentially write pixel data input through each data line of each data channel to the memory 323.

예를 들어, 메모리(323)가 n개의 라인 메모리(line memory)로 구성되어 있다고 가정하면, 데이터 입력부(321)는 각 데이터 채널의 각각의 데이터 라인을 통해 입력된 픽셀 데이터들을 각각의 라인 메모리에 기록할 수 있다.For example, assuming that the memory 323 is composed of n line memories, the data input unit 321 stores pixel data input through each data line of each data channel to each line memory. Can record

메모리(323)는 데이터 입력부(321)로부터 입력된 픽셀 데이터를 저장한다. 메모리(323)는 n(임의의 자연수, 예를 들어, 1 내지 한 프레임의 라인 수 중 임의의 개수)개의 라인 메모리(line memory)로 구성될 수 있다. The memory 323 stores pixel data input from the data input unit 321. The memory 323 may be composed of n line memories of any natural number, for example, any number of lines between 1 and 1 frame.

예를 들어, n개의 라인 메모리를 포함한다고 가정하면, 특정 프레임의 임의의 라인의 특정 픽셀 요소는 제1 라인 메모리에 순차적으로 저장될 수 있으며, 해당 라인의 다른 픽셀 요소는 제2 라인 메모리에 순차적으로 저장될 수 있다. 즉, 하나의 라인에 상응하는 픽셀 데이터는 2개의 라인 메모리에 저장될 수 있다. 데이터 입력부(321)에 의해 출력되는 픽셀 데이터는 기존 저장된 라인 메모리에 오버라이트(overwrite)되어 저장될 수 있다. 여기서, 기저장된 데이터는 새로 입력된 픽셀 데이터에 의해 오버라이트되기 전에 입력 컨트롤러(325)의 제어에 의해 이미지 시그널 프로세서(327)로 출력될 수도 있음은 당연하다.For example, assuming n line memories are included, certain pixel elements of any line of a particular frame may be stored sequentially in the first line memory, and other pixel elements of that line may be sequentially stored in the second line memory. Can be stored as. That is, pixel data corresponding to one line may be stored in two line memories. The pixel data output by the data input unit 321 may be overwritten and stored in the existing line memory. Here, it is obvious that the pre-stored data may be output to the image signal processor 327 under the control of the input controller 325 before being overwritten by the newly input pixel data.

입력 컨트롤러(325)는 메모리(323)에 기록된 하나 이상의 픽셀 데이터를 독 출하여 미리 정해진 방법에 상응하여 라인 데이터를 생성하여 이미지 시그널 프로세서(327)로 출력한다. 즉, 입력 컨트롤러(325)는 복수의 데이터 채널을 통해 입력되는 픽셀 데이터들을 하기에서 설명되는 이미지 시그널 프로세서(327)에서 처리 가능한 형식으로 변환하여 출력하는 기능을 수행한다. The input controller 325 reads one or more pixel data recorded in the memory 323, generates line data according to a predetermined method, and outputs the line data to the image signal processor 327. That is, the input controller 325 converts the pixel data input through the plurality of data channels into a format that can be processed by the image signal processor 327 which will be described below.

여기서, 미리 정해진 방법은 이미지 센서(310)에서 복수의 데이터 채널을 통해 출력되어 저장된 픽셀 데이터를 이미지 시그널 프로세서(327)에서 처리 가능한 픽셀 데이터의 형식으로 변환하는 방법으로, 예를 들어, 이미지 센서(310)이 구비한 픽셀 어레이(410)에 상응하는 베이어 패턴에 상응하도록 재조합 하는 것일 수 있다.Here, the predetermined method is a method of converting the pixel data output and stored through the plurality of data channels from the image sensor 310 into a format of pixel data that can be processed by the image signal processor 327. The recombination may correspond to a Bayer pattern corresponding to the pixel array 410 included in the 310.

본 명세서에서 "라인 데이터"는 픽셀 어레이(410)의 베이어 패턴의 픽셀 행에 포함된 픽셀 요소들에 상응하여 재조합된 픽셀 데이터들인 것으로 정의하기로 한다. 또한, 픽셀 행은 픽셀 어레이(410)의 각각의 로우(row)이며, 픽셀 요소는 임의의 로우(row)를 구성하는 각각의 구성 요소인 것으로 정의하기로 한다. 예를 들어, 도 4를 참조하면, 제1 픽셀 행은 R 픽셀 요소 및 G 픽셀 요소가 교번으로 위치하여 구성되는 것을 알 수 있다.In the present specification, "line data" is defined as pixel data recombined corresponding to pixel elements included in a pixel row of a Bayer pattern of the pixel array 410. Further, the pixel row is defined as each row of the pixel array 410, and the pixel element is defined as being each component constituting any row. For example, referring to FIG. 4, it can be seen that the first pixel row is composed of R pixel elements and G pixel elements alternately positioned.

이와 같이, 입력 컨트롤러(325)가 이미지 센서(310)에서 복수의 데이터 채널을 통해 임의로 출력된 픽셀 데이터들을 이용하여 라인 데이터를 생성하기 위해서는 이미지 센서(310)가 구비한 픽셀 어레이(410)의 베이어 패턴의 정보를 저장하고 있을 수 있음은 당연하다.As described above, in order for the input controller 325 to generate line data using pixel data randomly output through the plurality of data channels from the image sensor 310, the Bayer of the pixel array 410 included in the image sensor 310 is provided. Naturally, you can store information about the pattern.

또한, 이미지 센서(310)의 각각의 데이터 채널의 각각의 데이터 라인을 통해 입력된 픽셀 데이터들은 메모리(323)에 미리 정해진 순서대로 저장되므로, 입력 컨트롤러(325)는 메모리(323)에 저장된 픽셀 데이터의 위치에 상응하여 해당 픽셀 데이터가 베이어 패턴의 어느 픽셀 행의 어느 픽셀 요소에 위치하는지에 대한 정보를 알 수 있다. In addition, since pixel data input through each data line of each data channel of the image sensor 310 is stored in the memory 323 in a predetermined order, the input controller 325 stores the pixel data stored in the memory 323. Information on which pixel element is located in which pixel row of the Bayer pattern corresponds to the position of is.

예를 들어, 입력 컨트롤러(325)는 이미지 센서(310)로부터 복수의 데이터 채널을 통해 입력되어 메모리(323)에 저장된 하나 이상의 픽셀 데이터들을 독출하여 베이어 패턴의 임의의 픽셀 행의 픽셀 요소들에 상응하도록 픽셀 데이터들을 조합하여 라인 데이터를 생성하여 이미지 시그널 프로세서(327)로 출력할 수 있다. For example, the input controller 325 reads one or more pixel data input from the image sensor 310 through a plurality of data channels and stored in the memory 323 to correspond to the pixel elements of any pixel row of the Bayer pattern. The pixel data may be combined to generate line data and output to the image signal processor 327.

즉, 입력 컨트롤러(325)는 복수의 데이터 채널을 통해 임의의 형식으로 입력되어 메모리(323)에 저장된 픽셀 데이터들을 독출하여 이미지 시그널 프로세서(327)에서 처리 가능한 형식으로 변환하여 출력할 수 있다.That is, the input controller 325 may read the pixel data input in an arbitrary format through the plurality of data channels and stored in the memory 323, and convert the pixel data into a format that may be processed by the image signal processor 327.

예를 들어, 입력 컨트롤러(325)는 메모리(323)에 기록된 픽셀 데이터를 독출하여 미리 정해진 베이어 패턴에 상응하도록 각 라인 단위의 라인 데이터를 생성하여 이미지 시그널 프로세서(327)로 출력할 수 있다. 즉, 제1 라인 메모리에 임의의 특정 픽셀 행의 R 픽셀 요소들이 저장되어 있으며, 제2 라인 메모리에 해당 픽셀 행의 G 픽셀 요소들이 저장되어 있다고 가정하자. 이미지 시그널 프로세서(327)는 특정 픽셀 행의 라인 단위에 상응하여 픽셀 데이터들을 입력받아 처리하므로, 입력 컨트롤러(325)는 제1 라인 메모리 및 제2 라인 메모리의 픽셀 데이터를 독출하여 이미지 시그널 프로세서(327)에서 입력 가능한 라인 데이터를 생성하여 출력한다.For example, the input controller 325 may read pixel data recorded in the memory 323, generate line data for each line unit to correspond to a predetermined Bayer pattern, and output the line data to the image signal processor 327. That is, suppose that R pixel elements of any particular pixel row are stored in the first line memory, and G pixel elements of the pixel row are stored in the second line memory. Since the image signal processor 327 receives and processes pixel data corresponding to a line unit of a specific pixel row, the input controller 325 reads pixel data of the first line memory and the second line memory to process the image signal processor 327. Generate and output the line data that can be input.

예를 들어, 입력 컨트롤러(325)는 제1 라인 메모리 및 제2 라인 메모리에 기 록된 데이터를 화소 단위로 교호(交互)적으로 독출하여 머지함으로써 라인 데이터를 생성할 수 있다.For example, the input controller 325 may generate line data by alternately reading and merging data recorded in the first line memory and the second line memory in pixel units.

이미지 시그널 프로세서(327)는 입력 컨트롤러(325)로부터 입력된 라인 데이터를 미리 정해진 방법에 따라 변환하여 출력한다. 예를 들어, 이미지 시그널 프로세서(327)는 라인 데이터를 YUV 데이터로 변환하여 출력할 수 있다. 이하, 이해와 설명의 편의를 위해 이미지 시그널 프로세서(327)가 입력 컨트롤러(325)로부터 입력된 라인 데이터를 미리 정해진 방법에 의해 이미지 프로세싱(image processing)하여 생성된 데이터를 "영상 데이터"라 칭하기로 한다.The image signal processor 327 converts and outputs line data input from the input controller 325 according to a predetermined method. For example, the image signal processor 327 may convert line data into YUV data and output the converted YUV data. Hereinafter, for convenience of understanding and explanation, the data generated by image processing the line data input from the input controller 325 by a predetermined method will be referred to as "image data". do.

도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치가 영상 데이터를 처리하는 방법을 나타낸 순서도이다. 이하에서는 이미지 처리부(320)가 이미지 센서(310)로부터 복수의 데이터 채널(즉, 제1 데이터 채널(330), 제2 데이터 채널(335))을 통해 픽셀 데이터를 각각 입력받아 이미지 시그널 프로세서(327)에서 처리 가능한 라인 데이터의 형식으로 변환하는 방법에 대해서 상세히 설명하기로 한다.7 is a flowchart illustrating a method of processing image data by an image processing apparatus according to an exemplary embodiment. Hereinafter, the image processor 320 receives pixel data from the image sensor 310 through a plurality of data channels (that is, the first data channel 330 and the second data channel 335), respectively, and the image signal processor 327. Will be described in detail in the following description.

단계 710에서 이미지 센서(310)는 광학적 피사체의 신호에 상응하는 픽셀 데이터를 생성하여 복수의 데이터 채널을 통해 데이터 입력부(321)로 출력한다. 그리고, 이미지 센서는 해당 픽셀 데이터에 동기화된 동기 신호들을 동기 신호선을 이용하여 데이터 입력부(321)로 출력한다.In operation 710, the image sensor 310 generates pixel data corresponding to a signal of an optical object and outputs the pixel data to the data input unit 321 through a plurality of data channels. The image sensor outputs synchronization signals synchronized with the corresponding pixel data to the data input unit 321 using the synchronization signal line.

예를 들어, 이미지 센서(310)는 픽셀 어레이(410)의 임의의 픽셀 행의 특정 픽셀 요소(예를 들어, "R 픽셀 요소")에 상응하는 픽셀 데이터들을 제1 데이터 채널의 제1 데이터 라인을 통해 데이터 입력부(321)로 출력할 수 있다. 또한, 이미지 센서(310)는 해당 픽셀 행의 다른 픽셀 요소(예를 들어, "G 픽셀 요소")에 상응하는 픽셀 데이터들을 제1 데이터 채널의 제2 데이터 라인을 통해 데이터 입력부(321)로 출력할 수 있다. 여기서, 이미지 센서(310)는 각각의 픽셀 데이터들에 동기화된 동기 신호들을 동기 신호선을 통해 데이터 입력부(321)로 출력할 수도 있음은 당연하다.For example, the image sensor 310 may retrieve pixel data corresponding to a particular pixel element (eg, “R pixel element”) of any pixel row of the pixel array 410 from the first data line of the first data channel. It can be output to the data input unit 321 through. In addition, the image sensor 310 outputs pixel data corresponding to other pixel elements (eg, "G pixel elements") of the corresponding pixel row to the data input unit 321 through the second data line of the first data channel. can do. Here, the image sensor 310 may naturally output the synchronization signals synchronized with the respective pixel data to the data input unit 321 through the synchronization signal line.

단계 715에서 데이터 입력부(321)는 각 데이터 채널의 각각의 데이터 라인을 통해 입력된 각각의 픽셀 데이터들을 입력받아 메모리(323)에 저장한다.In operation 715, the data input unit 321 receives each pixel data input through each data line of each data channel and stores the received pixel data in the memory 323.

예를 들어, 데이터 입력부(321)는 이미지 센서(310)로부터 동기 신호들 및 픽셀 데이터들을 입력받으며, 해당 동기 신호들을 이용하여 각각의 픽셀 데이터들을 획득하여 메모리(323)에 저장할 수 있다. 제1 데이터 채널(330)의 제1 데이터 라인을 통해 입력된 픽셀 데이터들은 제1 라인 메모리(323)에 저장할 수 있으며, 제1 데이터 채널(330)의 제2 데이터 라인을 통해 입력된 픽셀 데이터들은 제2 라인 메모리(323)에 저장할 수 있다.For example, the data input unit 321 may receive sync signals and pixel data from the image sensor 310, and may acquire and store respective pixel data in the memory 323 using the sync signals. Pixel data input through the first data line of the first data channel 330 may be stored in the first line memory 323. Pixel data input through the second data line of the first data channel 330 may be stored. It may be stored in the second line memory 323.

단계 720에서 입력 컨트롤러(325)는 메모리(323)에 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 따라 라인 데이터를 생성하여 하나의 데이터 채널을 통해 이미지 시그널 프로세서(327)로 출력한다.In operation 720, the input controller 325 reads pixel data stored in the memory 323, generates line data according to a predetermined method, and outputs the line data to the image signal processor 327 through one data channel.

예를 들어, 입력 컨트롤러(325)는 저장된 픽셀 데이터들을 독출하여 도 3에서 예시된 픽셀 어레이의 베이어 패턴의 임의의 픽셀 행에 상응하여 라인 데이터를 생성할 수 있다. 이를 위해, 입력 컨트롤러(325)는 베이어 패턴의 정보를 미리 저장하고 있을 수도 있음은 당연하다.For example, the input controller 325 may read the stored pixel data and generate line data corresponding to any pixel row of the Bayer pattern of the pixel array illustrated in FIG. 3. For this purpose, the input controller 325 may be stored in advance the information of the Bayer pattern.

단계 725에서 이미지 시그널 프로세서(327)는 입력 컨트롤러(325)로부터 입력된 라인 데이터를 미리 정해진 형식에 상응하여 영상 데이터로 변환한다.In operation 725, the image signal processor 327 converts line data input from the input controller 325 into image data according to a predetermined format.

상술한 바와 같이, 본 발명에 따른 이미지 처리 방법 및 장치를 제공함으로써, 이미지 센서에서 복수의 데이터 채널을 통해 출력되는 원시 영상 신호를 입력받아 처리할 수 있는 효과가 있다. As described above, by providing the image processing method and apparatus according to the present invention, there is an effect that can receive and process the raw image signal output through the plurality of data channels in the image sensor.

또한, 본 발명은 이미지 센서의 후단에 연결되는 후처리 프로세서의 변경 없이 복수의 채널을 통해 출력되는 원시 영상 신호를 처리할 수 있는 효과도 있다.In addition, the present invention has the effect of processing the raw image signal output through a plurality of channels without changing the post-processing processor connected to the rear end of the image sensor.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and variations can be made.

Claims (12)

이미지 센서와 복수의 데이터 채널을 통해 연결되며, 상기 이미지 센서로부터 픽셀 데이터들을 각각의 데이터 채널을 통해 입력받는 데이터 입력부;A data input unit connected to the image sensor through a plurality of data channels and receiving pixel data from the image sensor through each data channel; 상기 픽셀 데이터를 저장하는 메모리;A memory for storing the pixel data; 상기 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 의해 라인 데이터를 생성하여 출력하는 입력 컨트롤러; 및An input controller that reads the stored pixel data to generate and output line data by a predetermined method; And 상기 입력 컨트롤러와 하나의 데이터 채널을 통해 연결되며, 상기 입력 컨트롤러로부터 상기 라인 데이터를 입력받아 상응하는 영상 데이터로 변환하는 이미지 시그널 프로세서를 포함하는 이미지 처리 장치.And an image signal processor connected to the input controller through one data channel and receiving the line data from the input controller and converting the line data into corresponding image data. 제 1항에 있어서,The method of claim 1, 상기 라인 데이터는 상기 독출된 픽셀 데이터들을 이용하여 미리 정해진 베이어 패턴의 임의의 픽셀 행을 구성하는 픽셀 요소들에 상응하도록 조합된 픽셀 데이터인 것을 특징으로 하는 이미지 처리 장치.And the line data is pixel data combined to correspond to pixel elements constituting an arbitrary pixel row of a predetermined Bayer pattern using the read pixel data. 제 1항에 있어서,The method of claim 1, 상기 메모리는 n(임의의 자연수)개의 라인 메모리로 구성되는 것을 특징으로 하는 이미지 처리 장치.And the memory is composed of n (random natural numbers) line memories. 제 3항에 있어서,The method of claim 3, wherein 상기 이미지 센서는 각각의 데이터 채널의 각각의 데이터 라인을 통해 임의의 픽셀 행의 특정 픽셀 요소에 상응하는 픽셀 데이터들을 출력하는 경우,When the image sensor outputs pixel data corresponding to a specific pixel element of any pixel row through each data line of each data channel, 상기 데이터 입력부는 각 데이터 채널의 제1 데이터 라인을 통해 상기 픽셀 행의 제1 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 제1 라인 메모리에 기록하고, 제2 데이터 라인을 통해 상기 픽셀 행의 제2 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 제2 라인 메모리에 기록하는 것을 특징으로 하는 이미지 처리 장치.The data input unit receives pixel data corresponding to a first pixel element of the pixel row through a first data line of each data channel, writes the pixel data to a first line memory, and outputs a second row of the pixel row through a second data line. And receiving pixel data corresponding to the pixel element and writing the same to the second line memory. 제 4항에 있어서,The method of claim 4, wherein 상기 입력 컨트롤러는 상기 제1 라인 메모리 및 상기 제2 라인 메모리에 기록된 픽셀 데이터를 각각 독출하여 상기 라인 데이터를 생성하여 출력하는 것을 특징으로 하는 이미지 처리 장치.And the input controller reads pixel data written in the first line memory and the second line memory, respectively, and generates and outputs the line data. 제 3항에 있어서,The method of claim 3, wherein 상기 이미지 센서가 각각의 데이터 채널의 각각의 데이터 라인을 통해 임의의 픽셀 행에 상응하는 픽셀 데이터를 출력하는 경우,When the image sensor outputs pixel data corresponding to any pixel row through each data line of each data channel, 상기 데이터 입력부는 각 데이터 채널을 통해 입력된 픽셀 데이터를 각각의 라인 메모리에 기록하되,The data input unit writes pixel data input through each data channel to each line memory, 상기 입력 컨트롤러는 라인 메모리 단위로 픽셀 데이터를 독출하여 출력하는 것을 특징으로 하는 이미지 처리 장치.And the input controller reads and outputs pixel data in line memory units. 이미지 프로세서 칩에서 데이터를 처리하는 방법에 있어서,In a method of processing data in an image processor chip, 이미지 센서로부터 복수의 데이터 채널을 통해 픽셀 데이터들을 입력받아 저장하는 단계;Receiving and storing pixel data from an image sensor through a plurality of data channels; 상기 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 따라 라인 데이터를 생성하여 하나의 데이터 채널을 통해 출력하는 단계; 및Reading the stored pixel data, generating line data according to a predetermined method, and outputting the same through one data channel; And 상기 라인 데이터를 미리 정해진 형식에 상응하는 영상 데이터로 변환하는 단계를 포함하는 데이터 처리 방법. And converting the line data into image data corresponding to a predetermined format. 제 7항에 있어서,The method of claim 7, wherein 상기 라인 데이터는 상기 독출된 픽셀 데이터들을 이용하여 미리 정해진 베이어 패턴의 임의의 픽셀 행을 구성하는 픽셀 요소들에 상응하도록 조합된 픽셀 데 이터인 것을 특징으로 하는 데이터 처리 방법.And the line data is pixel data combined to correspond to pixel elements constituting an arbitrary row of pixels of a predetermined Bayer pattern using the read pixel data. 제 8항에 있어서,The method of claim 8, 이미지 센서로부터 복수의 데이터 채널을 통해 픽셀 데이터를 입력받아 저장하는 단계는,Receiving and storing the pixel data from the image sensor through a plurality of data channels, 각 데이터 채널의 제1 데이터 라인을 통해 임의의 픽셀 행의 제1 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 저장하는 단계; 및Receiving and storing pixel data corresponding to a first pixel element of an arbitrary pixel row through a first data line of each data channel; And 제2 데이터 라인을 통해 상기 픽셀 행의 제2 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 저장하는 단계를 포함하는 것을 특징으로 하는 데이터 처리 방법.And receiving and storing pixel data corresponding to a second pixel element of the pixel row through a second data line. 제 9항에 있어서,The method of claim 9, 상기 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 따라 라인 데이터를 생성하여 하나의 데이터 채널을 통해 출력하는 단계는,The reading of the stored pixel data, generating line data according to a predetermined method, and outputting the same through one data channel may include: 상기 저장된 제1 픽셀 요소에 상응하는 픽셀 데이터들을 독출하는 단계;Reading pixel data corresponding to the stored first pixel element; 상기 저장된 제2 픽셀 요소에 상응하는 픽셀 데이터들을 독출하는 단계; 및Reading pixel data corresponding to the stored second pixel element; And 상기 독출된 픽셀 데이터들을 미리 정해진 방법에 따라 교호적으로 머지하여 상기 라인 데이터를 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 데이 터 처리 방법.And generating and outputting the line data by alternately merging the read pixel data according to a predetermined method. 피사체에 상응하는 픽셀 데이터들을 출력하는 이미지 센서;An image sensor configured to output pixel data corresponding to a subject; 상기 이미지 센서와 복수의 데이터 채널을 통해 연결되며, 이미지 센서와 복수의 데이터 채널을 통해 연결되며, 상기 이미지 센서로부터 상기 복수의 데이터 채널을 통해 하나 이상의 픽셀 데이터를 입력받는 데이터 입력부;A data input unit connected to the image sensor through a plurality of data channels, connected to the image sensor through a plurality of data channels, and receiving one or more pixel data from the image sensor through the plurality of data channels; 상기 픽셀 데이터를 저장하는 메모리;A memory for storing the pixel data; 상기 하나 이상의 픽셀 데이터를 독출하여 미리 정해진 형식에 의해 라인 데이터를 생성하여 출력하는 입력 컨트롤러; 및An input controller that reads the at least one pixel data to generate and output line data in a predetermined format; And 상기 입력 컨트롤러와 하나의 데이터 채널을 통해 연결되며, 상기 데이터 채널을 통해 상기 라인 데이터를 입력받아 상응하는 영상 데이터로 변환하는 이미지 시그널 프로세서를 포함하는 이미지 처리 장치.And an image signal processor connected to the input controller through one data channel and receiving the line data through the data channel and converting the line data into corresponding image data. 제 11항에 있어서,The method of claim 11, 상기 라인 데이터는 상기 독출된 픽셀 데이터들을 이용하여 미리 정해진 베이어 패턴의 임의의 픽셀 행을 구성하는 픽셀 요소들에 상응하도록 조합된 픽셀 데이터인 것을 특징으로 하는 이미지 처리 장치.And the line data is pixel data combined to correspond to pixel elements constituting an arbitrary pixel row of a predetermined Bayer pattern using the read pixel data.
KR1020070037511A 2007-04-17 2007-04-17 Method and device for processing image KR100905082B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070037511A KR100905082B1 (en) 2007-04-17 2007-04-17 Method and device for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070037511A KR100905082B1 (en) 2007-04-17 2007-04-17 Method and device for processing image

Publications (2)

Publication Number Publication Date
KR20080093599A true KR20080093599A (en) 2008-10-22
KR100905082B1 KR100905082B1 (en) 2009-06-30

Family

ID=40154080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070037511A KR100905082B1 (en) 2007-04-17 2007-04-17 Method and device for processing image

Country Status (1)

Country Link
KR (1) KR100905082B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140111758A (en) 2013-03-12 2014-09-22 삼성전자주식회사 Image processing device and computing system having the same

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738812A (en) * 1993-06-25 1995-02-07 Nikon Corp Image pickup device equipped with image pickup element for multichannel output
JP4655383B2 (en) * 2001-02-23 2011-03-23 ソニー株式会社 Image signal processing device for image sensor
JP2002344810A (en) * 2001-05-15 2002-11-29 Canon Inc Ccd camera with output correction mechanism
KR100940203B1 (en) * 2003-02-18 2010-02-10 삼성전자주식회사 Method and apparatus for processing pixel based on segments
JP4446674B2 (en) * 2003-03-31 2010-04-07 株式会社メガチップス Image processing apparatus and imaging apparatus
JP2006109222A (en) * 2004-10-07 2006-04-20 Canon Inc Signal processing apparatus
JP2006148350A (en) * 2004-11-17 2006-06-08 Olympus Corp Imaging apparatus
JP4692115B2 (en) 2005-07-11 2011-06-01 ソニー株式会社 Image processing apparatus and imaging apparatus
JP2007037051A (en) * 2005-07-29 2007-02-08 Canon Inc Imaging apparatus and control method thereof

Also Published As

Publication number Publication date
KR100905082B1 (en) 2009-06-30

Similar Documents

Publication Publication Date Title
US9407847B2 (en) Solid state imaging apparatus and imaging system with writing memory selecting unit and reading memory selecting unit for outputting signals in an order of spatial arrangement
US8451355B2 (en) Image sensor, electronic apparatus, and driving method of electronic apparatus
TWI672952B (en) Image pickup device, control method, and image pickup apparatus
KR101395433B1 (en) Imaging device and imaging method
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
JP4764036B2 (en) Method and circuit for performing correlated double subsampling of pixels in an active pixel sensor array
JP4609092B2 (en) Physical information acquisition method and physical information acquisition device
KR102275711B1 (en) Image sensor and method of outputting data in the image sensor
US8610809B2 (en) Solid-state imaging device and camera system that controls a unit of plural rows
US8896736B2 (en) Solid-state imaging device, imaging apparatus and signal reading method having photoelectric conversion elements that are targets from which signals are read in the same group
US11387267B2 (en) Image sensor, focus adjustment device, and imaging device
WO2017101864A1 (en) Image sensor, control method, and electronic device
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
KR20160015712A (en) Apparatus and method for capturing images
US20040145668A1 (en) MOS solid-state imaging element and imaging device provided with the same
KR100745837B1 (en) Method and apparatus for outputting pixel data with appended data
KR100905082B1 (en) Method and device for processing image
JPWO2003034714A1 (en) Solid-state imaging device
JP2016134907A (en) Solid-state imaging device
JP2010109863A (en) Imaging apparatus and portable device
KR100843631B1 (en) Method and device for controlling synchronizing signal
US10313620B2 (en) Image data output device for image signal processor
JP5253280B2 (en) Solid-state imaging device, camera system, and signal readout method
WO2015002005A1 (en) Solid state imaging device, control method, and electronic device
JP5511205B2 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140528

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180528

Year of fee payment: 10