KR20080093599A - Method and device for processing image - Google Patents
Method and device for processing image Download PDFInfo
- Publication number
- KR20080093599A KR20080093599A KR1020070037511A KR20070037511A KR20080093599A KR 20080093599 A KR20080093599 A KR 20080093599A KR 1020070037511 A KR1020070037511 A KR 1020070037511A KR 20070037511 A KR20070037511 A KR 20070037511A KR 20080093599 A KR20080093599 A KR 20080093599A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- pixel
- line
- image sensor
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 230000015654 memory Effects 0.000 claims abstract description 56
- 230000000875 corresponding effect Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
도 1은 일반적인 촬상 장치의 구성을 간략하게 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram schematically showing a configuration of a general imaging device.
도 2는 일반적인 베이어(Bayer) 모자이크 필터 패턴을 나타낸 도면.2 is a diagram illustrating a typical Bayer mosaic filter pattern.
도 3은 본 발명의 일 실시예에 따른 이미지 처리 장치의 블록 구성도.3 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
도 4는 스캔 방식에 따른 CMOS 이미지 센서의 블록 구성도.4 is a block diagram of a CMOS image sensor according to a scanning method.
도 5는 종래의 이미지 센서에서 출력되는 원시 영상 신호를 예시한 도면. 5 is a diagram illustrating a raw image signal output from a conventional image sensor.
도 6은 본 발명의 일 실시예에 따른 이미지 센서에서 출력되는 원시 영상 신호를 예시한 도면.6 is a diagram illustrating a raw image signal output from an image sensor according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치가 영상 데이터를 처리하는 방법을 나타낸 순서도.7 is a flowchart illustrating a method of processing image data by an image processing apparatus according to an embodiment of the present invention.
도 8은 본 발명의 다른 실시예에 따른 이미지 센서와 이미지 처리부간의 연결을 예시한 도면.8 is a diagram illustrating a connection between an image sensor and an image processor according to another exemplary embodiment of the present disclosure.
<도면의 주요 부분에 대한 부호의 설명> <Explanation of symbols for main parts of the drawings>
310 : 이미지 센서310: image sensor
320 : 이미지 처리부320: image processing unit
321 : 데이터 입력부321: data input unit
323 : 메모리323: memory
325 : 입력 컨트롤러325: input controller
327 : 이미지 시그널 프로세서327: image signal processor
본 발명은 데이터 처리에 관한 것으로, 보다 상세하게 복수의 데이터 채널을 통해 데이터를 출력하고 처리할 수 있는 데이터 처리 장치 및 그 방법에 관한 것이다.The present invention relates to data processing, and more particularly, to a data processing apparatus and a method for outputting and processing data through a plurality of data channels.
최근, 소형 및 박형의 촬상 소자가 휴대 전화기나 PDA(Personal Digital Assistant) 등의 소형 및 박형의 휴대용 단말기에 탑재됨으로써, 휴대용 단말기가 촬상 장치로서 기능할 수 있다. 사용자는 휴대용 단말기를 이용하여 원격지로 음성 정보뿐만 아니라 화상 정보도 전송할 수 있다. 촬상 소자는 휴대 전화기나 PDA 뿐 아니라 MP3 플레이어 등의 휴대용 단말기에도 구비되어 다양한 장치에서 외부 영상을 전자적인 데이터로 보유할 수 있도록 구현된다.In recent years, small and thin image pickup devices are mounted in small and thin portable terminals such as mobile phones and PDAs (Personal Digital Assistants), whereby the portable terminals can function as image pickup devices. The user can transmit not only voice information but also image information to a remote location using the portable terminal. The imaging device is provided not only in a mobile phone or a PDA but also in a portable terminal such as an MP3 player so that various devices can hold external images as electronic data.
이러한 촬상 장치에는 일반적으로 CCD(Charge Coupled Device)형 이미지 센서나 CMOS(Complementary Metal-0xide Semiconductor)형 이미지 센서 등의 고체 촬상 소자가 사용되고 있다.Generally, solid-state imaging devices, such as a charge coupled device (CCD) type image sensor and a complementary metal-0xide semiconductor (CMOS) type image sensor, are used for such an imaging device.
도 1은 일반적인 촬상 장치의 구성을 간략하게 나타낸 도면이고, 도 2는 일반적인 베이어(Bayer) 모자이크 필터 패턴을 나타낸 도면이다.FIG. 1 is a diagram schematically illustrating a configuration of a general imaging device, and FIG. 2 is a diagram illustrating a general Bayer mosaic filter pattern.
도 1에 도시된 바와 같이, 외부 영상을 전기적인 데이터로 변환하여 표시부(150)에 디스플레이하는 촬상 장치는 이미지 센서(110), 이미지 시그널 프로세서(120, ISP(Image Signal Processor)), 백엔드 칩(130, Back-end chip), 베이스밴드 칩(140, Baseband Chip) 및 표시부(150)를 포함한다. 이외에, 촬상 장치는 변환된 전기적인 데이터를 저장하기 위한 메모리, 아날로그 신호를 디지털 신호로 변환하는 AD 변환기 등을 더 포함할 수 있다.As illustrated in FIG. 1, an image pickup device that converts an external image into electrical data and displays the same on the
이미지 센서(110)는 일반적으로 베이어 패턴(Bayer Pattern)을 가지는 센서로서, 단위 화소별로 렌즈를 통해 입력된 빛의 양에 상응하는 원시 데이터(raw data)를 출력한다. 이미지 센서(110)에 노출된 이미지의 색상을 검출하기 위해, 이미지 센서(110)의 화소(pixel)는 컬러 필터의 색상을 제외한 모든 색상의 광 파장(light wavelength)을 흡수하는 각각의 컬러 필터로 덮여(cover)진다. The
즉, 이미지 센서(110)로부터 컬러 정보를 획득하는 일반적인 방법은 이미지 센서(110)의 화소들 위에 컬러 필터 어레이(CFA, Color Filter Array)를 배치하는 것이다. 컬러 필터 어레이의 가장 일반적인 형태가 도 2에 도시된 베이어 모자이크(Bayer Mosaic) 필터이다. 베이어 모자이크 필터는 체커보드 형식(checkerboard like) 구조를 가지고, 교호하는 로우(row)의 적색(R), 녹색(G) 및 청색(B), 녹색(G) 필터로 구성된다. 적색과 녹색 필터는 2개의 녹색 필터가 인접 로우와 컬럼(column) 사이의 가장자리를 공유하지 못하도록 서로 오프셋(offset)되어 있다. 각 화소의 완전한 색상 정보를 얻기 위해서는 주변 화소의 색상 세기를 기반한 보간(interpolation)이 요구된다.That is, a general method of obtaining color information from the
이미지 시그널 프로세서(120)는 이미지 센서(110)로부터 입력된 전기 신호(raw data)를 YUV값으로 변환하고, 변환된 YUV 값을 백엔드 칩(130)으로 입력한다. YUV방식은 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안한 방식으로, 색을 밝기(Luminance)인 Y성분과 색상(Chrominance)인 U와 V 성분으로 구분한다. Y성분은 오차에 민감하므로 색상 성분인 U와 V보다 많은 비트를 코딩한다. 전형적인 Y:U:V의 비율은 4:2:2이다. The
이미지 시그널 프로세서(120)는 변환한 YUV값을 FIFO에 순차적으로 저장시킴으로써 백엔드 칩(130)이 해당 정보를 입력받을 수 있도록 한다.The
백엔드 칩(130)은 입력된 YUV값을 미리 지정된 인코딩 방법에 의해 JPEG나 BMP로 변환하여 메모리(도시되지 않음)에 저장하거나, 메모리에 저장된 인코딩된 이미지를 디코딩하여 표시부(150)에 디스플레이한다. 백엔드 칩(130)은 이미지의 확대, 축소, 로테이션 등의 기능도 수행할 수 있다. 물론, 도 1에 도시된 바와 같이, 베이스밴드 칩(140)이 백엔드 칩(130)으로부터 디코딩된 데이터를 입력받아 표시부(150)에 디스플레이할 수도 있다. The
베이스밴드 칩(140)은 촬상 장치의 동작을 전반적으로 제어하는 기능을 수행한다. 예를 들어, 키 입력부(도시되지 않음)를 통해 사용자로부터 촬상 명령이 입력되면 베이스밴드 칩(140)은 백엔드 칩(130)으로 이미지 생성 명령을 전송함으로써 백엔드 칩(130)이 입력된 외부 영상에 상응하는 인코딩된 데이터를 생성하도록 할 수도 있다. The
표시부(150)는 백엔드 칩(130) 또는 베이스밴드 칩(140)의 제어에 의해 제공받은 디코딩된 데이터를 디스플레이한다.The
촬상 장치에서 이미지 시그널 프로세서(120)를 통해 출력되는 영상 데이터 신호와 동기 신호(즉, 클럭 신호)는 유효 화소 판단 여부와 관계가 있다. 즉, 이미지 시그널 프로세서(120)와 이미지 시그널 프로세서(120)로부터 입력된 영상 데이터를 처리하는 후처리 프로세서(예를 들어, 백엔드 칩(130))간에는 동기 신호(클럭 신호) 유효 기간 동안 입출력될 영상 데이터의 개수와 순서가 미리 정해져 있다. 따라서, 이미지 시그널 프로세서(120)로부터 출력되는 영상 데이터와 동기 신호의 관계가 깨지는 경우, 후처리 프로세서는 전혀 다른 신호를 처리하게 된다. The image data signal and the synchronization signal (ie, the clock signal) output through the
일반적으로 이미지 센서(110)는 하나의 데이터 채널을 통해 생성된 원시 영상 신호를 이미지 시그널 프로세서(120)로 출력하였다. 따라서, 이미지 센서(110)가 복수의 데이터 채널을 통해 원시 영상 신호를 출력하는 경우, 후단에 연결되는 이미지 시그널 프로세서(120)는 복수의 데이터 채널을 통해 입력되는 원시 영상 신호를 입력받기 위해 변경되어야만 하는 문제점이 있다.In general, the
따라서, 상술한 문제점을 해결하기 위한 본 발명은 이미지 센서에서 복수의 데이터 채널을 통해 출력되는 원시 영상 신호를 입력받아 처리할 수 있는 이미지 처리 방법 및 장치를 제공하기 위한 것이다.Accordingly, an aspect of the present invention is to provide an image processing method and apparatus capable of receiving and processing a raw image signal output through a plurality of data channels in an image sensor.
또한, 본 발명은 이미지 센서의 후단에 연결되는 후처리 프로세서의 변경 없이 복수의 채널을 통해 출력되는 원시 영상 신호를 처리할 수 있는 이미지 처리 방법 및 장치를 제공하기 위한 것이다.In addition, the present invention is to provide an image processing method and apparatus capable of processing the raw image signal output through a plurality of channels without changing the post-processing processor connected to the rear end of the image sensor.
이외의 본 발명의 목적들은 하기의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention will be easily understood through the description of the following examples.
상술한 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 이미지 센서와 복수의 데이터 채널을 통해 연결되어 각각의 데이터 채널을 통해 각각의 픽셀 데이터를 입력받아 처리할 수 있는 이미지 프로세서 칩 및 그 장치가 제공된다.In order to achieve the above object, according to an aspect of the present invention, an image processor chip and an apparatus which is connected to an image sensor through a plurality of data channels to receive and process each pixel data through each data channel Is provided.
본 발명의 일 실시예에 따르면, 이미지 센서와 복수의 데이터 채널을 통해 연결되며, 상기 이미지 센서로부터 픽셀 데이터들을 각각의 데이터 채널을 통해 입력받는 데이터 입력부; 상기 픽셀 데이터를 저장하는 메모리; 상기 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 의해 라인 데이터를 생성하여 출력하는 입력 컨트롤러; 및 상기 입력 컨트롤러와 하나의 데이터 채널을 통해 연결되며, 상기 입력 컨트롤러로부터 상기 라인 데이터를 입력받아 미리 정해진 형식에 상응하는 영상 데이터로 변환하는 이미지 시그널 프로세서를 포함하는 이미지 프로세서 칩이 제공될 수 있다.According to an embodiment of the present invention, a data input unit connected to an image sensor through a plurality of data channels and receiving pixel data from the image sensor through each data channel; A memory for storing the pixel data; An input controller that reads the stored pixel data to generate and output line data by a predetermined method; And an image signal processor connected to the input controller through one data channel and receiving the line data from the input controller and converting the line data into image data corresponding to a predetermined format.
상기 라인 데이터는 상기 독출된 픽셀 데이터들을 이용하여 미리 정해진 베 이어 패턴의 임의의 픽셀 행을 구성하는 픽셀 요소들에 상응하도록 조합된 픽셀 데이터일 수 있다.The line data may be pixel data combined to correspond to pixel elements constituting an arbitrary pixel row of a predetermined Bayer pattern using the read pixel data.
상기 메모리는 n(임의의 자연수)개의 라인 메모리로 구성될 수 있다.The memory may consist of n (random natural numbers) line memories.
상기 이미지 센서는 각각의 데이터 채널의 각각의 데이터 라인을 통해 임의의 픽셀 행의 특정 픽셀 요소에 상응하는 픽셀 데이터들을 출력하는 경우, 상기 데이터 입력부는 각 데이터 채널의 제1 데이터 라인을 통해 상기 픽셀 행의 제1 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 제1 라인 메모리에 기록하고, 제2 데이터 라인을 통해 상기 픽셀 행의 제2 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 제2 라인 메모리에 기록할 수 있다.When the image sensor outputs pixel data corresponding to a specific pixel element of an arbitrary pixel row through each data line of each data channel, the data input unit is configured to output the pixel row through the first data line of each data channel. Receive pixel data corresponding to the first pixel element of the first pixel element and write the pixel data corresponding to the second pixel element of the pixel row through the second data line to write to the second line memory. Can be.
상기 입력 컨트롤러는 상기 제1 라인 메모리 및 상기 제2 라인 메모리에 기록된 픽셀 데이터를 각각 독출하여 상기 라인 데이터를 생성하여 출력할 수 있다.The input controller may read out pixel data written in the first line memory and the second line memory to generate and output the line data.
상기 이미지 센서가 각각의 데이터 채널의 각각의 데이터 라인을 통해 임의의 픽셀 행에 상응하는 픽셀 데이터를 출력하는 경우, 상기 데이터 입력부는 각 데이터 채널을 통해 입력된 픽셀 데이터를 각각의 라인 메모리에 기록하되, 상기 입력 컨트롤러는 라인 메모리 단위로 픽셀 데이터를 독출하여 출력할 수 있다.When the image sensor outputs pixel data corresponding to an arbitrary pixel row through each data line of each data channel, the data input unit writes pixel data input through each data channel to each line memory. The input controller may read and output pixel data in line memory units.
본 발명의 다른 실시예에 따르면, 피사체에 상응하는 픽셀 데이터들을 출력하는 이미지 센서; 상기 이미지 센서와 복수의 데이터 채널을 통해 연결되며, 이미지 센서와 복수의 데이터 채널을 통해 연결되며, 상기 이미지 센서로부터 상기 복수의 데이터 채널을 통해 하나 이상의 픽셀 데이터를 입력받는 데이터 입력부; 상기 픽셀 데이터를 저장하는 메모리; 상기 하나 이상의 픽셀 데이터를 독출하여 미 리 정해진 형식에 의해 라인 데이터를 생성하여 출력하는 입력 컨트롤러; 및 상기 입력 컨트롤러와 하나의 데이터 채널을 통해 연결되며, 상기 데이터 채널을 통해 상기 라인 데이터를 입력받아 미리 정해진 형식에 상응하는 영상 데이터로 변환하는 이미지 시그널 프로세서를 포함하는 이미지 처리 장치가 제공될 수 있다.According to another embodiment of the invention, the image sensor for outputting pixel data corresponding to the subject; A data input unit connected to the image sensor through a plurality of data channels, connected to the image sensor through a plurality of data channels, and receiving one or more pixel data from the image sensor through the plurality of data channels; A memory for storing the pixel data; An input controller that reads the at least one pixel data and generates and outputs line data in a predetermined format; And an image signal processor connected to the input controller through one data channel and receiving the line data through the data channel and converting the line data into image data corresponding to a predetermined format. .
상기 라인 데이터는 상기 독출된 픽셀 데이터들을 이용하여 미리 정해진 베이어 패턴의 임의의 픽셀 행을 구성하는 픽셀 요소들에 상응하도록 조합된 픽셀 데이터일 수 있다.The line data may be pixel data combined to correspond to pixel elements forming an arbitrary pixel row of a predetermined Bayer pattern by using the read pixel data.
본 발명의 다른 측면에 따르면, 복수의 데이터 채널을 통해 이미지 센서와 연결된 이미지 프로세서 칩이 데이터를 처리하는 방법이 제공된다.According to another aspect of the present invention, a method is provided by an image processor chip coupled to an image sensor through a plurality of data channels to process data.
본 발명의 일 실시예에 따르면, 이미지 프로세서 칩에서 데이터를 처리하는 방법에 있어서, 이미지 센서로부터 복수의 데이터 채널을 통해 픽셀 데이터들을 입력받아 저장하는 단계; 상기 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 따라 라인 데이터를 생성하여 하나의 데이터 채널을 통해 출력하는 단계; 및 상기 라인 데이터를 미리 정해진 형식에 상응하는 영상 데이터로 변환하는 단계를 포함하는 데이터 처리 방법이 제공될 수 있다.According to an embodiment of the present invention, a method of processing data in an image processor chip, the method comprising: receiving and storing pixel data from an image sensor through a plurality of data channels; Reading the stored pixel data, generating line data according to a predetermined method, and outputting the same through one data channel; And converting the line data into image data corresponding to a predetermined format.
상기 라인 데이터는 상기 독출된 픽셀 데이터들을 이용하여 미리 정해진 베이어 패턴의 임의의 픽셀 행을 구성하는 픽셀 요소들에 상응하도록 조합된 픽셀 데이터일 수 있다.The line data may be pixel data combined to correspond to pixel elements forming an arbitrary pixel row of a predetermined Bayer pattern by using the read pixel data.
이미지 센서로부터 복수의 데이터 채널을 통해 픽셀 데이터를 입력받아 저장 하는 단계는, 각 데이터 채널의 제1 데이터 라인을 통해 임의의 픽셀 행의 제1 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 저장하는 단계; 및 제2 데이터 라인을 통해 상기 픽셀 행의 제2 픽셀 요소에 상응하는 픽셀 데이터들을 입력받아 저장하는 단계를 포함할 수 있다.Receiving and storing pixel data from an image sensor through a plurality of data channels includes: receiving and storing pixel data corresponding to first pixel elements of an arbitrary pixel row through a first data line of each data channel; And receiving and storing pixel data corresponding to a second pixel element of the pixel row through a second data line.
상기 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 따라 라인 데이터를 생성하여 하나의 데이터 채널을 통해 출력하는 단계는, 상기 저장된 제1 픽셀 요소에 상응하는 픽셀 데이터들을 독출하는 단계; 상기 저장된 제2 픽셀 요소에 상응하는 픽셀 데이터들을 독출하는 단계; 및 상기 독출된 픽셀 데이터들을 미리 정해진 방법에 따라 교호적으로 머지하여 상기 라인 데이터를 생성하여 출력하는 단계를 포함할 수 있다.The reading of the stored pixel data and generating and outputting line data according to a predetermined method through one data channel may include: reading pixel data corresponding to the stored first pixel element; Reading pixel data corresponding to the stored second pixel element; And generating and outputting the line data by merging the read pixel data alternately according to a predetermined method.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필 요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted. In addition, in describing the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
도 3은 본 발명의 일 실시예에 따른 이미지 처리 장치의 블록 구성도이고, 도 4는 스캔 방식에 따른 CMOS 이미지 센서의 블록 구성도이며, 도 5는 종래의 이미지 센서에서 출력되는 원시 영상 신호를 예시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 이미지 센서에서 출력되는 원시 영상 신호를 예시한 도면이며, 도 8은 본 발명의 다른 실시예에 따른 이미지 센서와 이미지 처리부간의 연결을 예시한 도면이다.3 is a block diagram of an image processing apparatus according to an embodiment of the present invention, FIG. 4 is a block diagram of a CMOS image sensor according to a scan method, and FIG. 5 is a diagram illustrating a raw image signal output from a conventional image sensor. 6 is a diagram illustrating a raw image signal output from an image sensor according to an embodiment of the present invention, and FIG. 8 illustrates a connection between an image sensor and an image processor according to another embodiment of the present invention. One drawing.
도 3을 참조하면, 본 발명에 따른 이미지 처리 장치(310)는 이미지 센서(310) 및 이미지 처리부(320)를 포함하여 구성된다. 이하에서 설명되는 이미지 처리부(320)는 하나의 칩으로 형성될 수 있다.Referring to FIG. 3, the
이미지 센서(310)는 렌즈를 통해 입사되는 광학적 피사체의 신호를 전기적인 신호로 변환하여(이하, 이와 같이 피사체에 상응하여 변환된 신호를 이해와 설명의 편의를 위해 "픽셀 데이터"라 칭하기로 함) 이미지 처리부(320)로 출력하는 기능을 수행한다.The
또한, 전술한 바와 같이, 이미지 센서(310)는 CCD 또는 CMOS 센서와 같이 복수의 단위 픽셀이 행(row) 또는 열(column)을 따라 배치된 픽셀 어레이를 포함하며, 각 단위 픽셀은 피사체의 광 신호를 전기적인 신호로 변환하여 출력하는 광전 변환 소자(예를 들어, 포토 다이오드)를 포함한다. In addition, as described above, the
우선, 이해와 설명의 편의를 도모하기 위해, 도 4를 참조하여 이미지 센 서(310)의 내부 구성에 대해 간략하게 설명하기로 한다.First, in order to facilitate the understanding and explanation, the internal configuration of the
도 4에 도시된 바와 같이, 이미지 센서(310)는 픽셀 어레이(410), 로우 디코더(420), CDS 및 ADC(Correlated Double Sampling & Analog Digital Converter)(430) 및 칼럼 디코더(440)를 포함한다.As shown in FIG. 4, the
픽셀 어레이(410)는 로우 어드레스(row address)를 지정할 로우 디코더(420)가 픽셀 어레이(410)의 일방향에 배치되며, 이와 직각 방향으로 픽셀 데이터를 수신하며, 픽셀들의 칼럼 어드레스를 지정할 칼럼 디코더(440)가 배치된다.In the
로우 디코더(420)는 다수의 게이트로 구성되는 복수의 로우 디코더 셀로 구성되며, 로우 디코더 셀은 어드레스 인입선, 전송 신호 인입선, 선택 신호 인입선 및 리셋 신호 인입선을 통해 입력 신호를 전달 받으며, 리셋 신호 인입선을 통해 인입되는 리셋 신호 및 어드레스 신호 인입선을 통해 인입되는 어드레스 신호에 따라 생성되는 리셋 게이트 신호를 출력하는 리셋 게이트 신호 출력부, 선택 신호 인입선을 통해 인입되는 선택 신호 및 어드레스 신호 인입선을 통해 인입되는 어드레스 신호에 따라 생성되는 선택 게이트 신호를 출력하는 선택 게이트 신호 출력부 및 전송 신호 인입선을 통해 인입되는 전송 신호를 출력하는 전송 신호 출력선을 통해 출력 신호를 출력한다.The
보다 상세하게, 이미지 센서(310)로부터 데이터를 추출하는 과정은 로우 디코더(420)에서 특정 픽셀 행(row)를 선택한 후 칼럼 디코더(440)에서 선택된 행에서의 각 픽셀에 대한 데이터를 추출한 후, 각 픽셀 데이터를 증폭하여 출력한다. 픽셀 어레이(410)의 전체 픽셀에 대해서 이와 같은 방법으로 데이터가 추출된다.More specifically, in the process of extracting data from the
이와 같이 추출된 픽셀 데이터는 아날로그 형태의 데이터이며, CDS 및 ADC부(430)에 의해 디지털 데이터로 변환되고 샘플링되어 출력된다.The pixel data extracted as described above is analog data and is converted into digital data by the CDS and
즉, 이미지 센서(310)는 픽셀 데이터 및 해당 픽셀 데이터에 동기화된 동기 신호들(예를 들어, 클럭 신호(PCLK), 수직 동기 신호(VSYNC), 유효 데이터 인에이블 신호(HREF))을 생성하여 이미지 처리부(320)로 출력한다.That is, the
여기서, 클럭 신호(PCLK)는 이미지 센서(210)에서 출력되는 픽셀 데이터의 획득을 위한 동기 신호이며, 수직 동기 신호(VSYNC)는 각각의 프레임(frame)에 따른 데이터를 식별하기 위한 동기 신호이고, 유효 데이터 인에이블 신호(HREF)는 각각의 유효 구간(즉, 각각의 라인(line)) 동안 출력되는 데이터를 식별하기 위한 동기 신호이다.Here, the clock signal PCLK is a synchronization signal for acquiring pixel data output from the image sensor 210, and the vertical synchronization signal VSYNC is a synchronization signal for identifying data according to each frame. The valid data enable signal HREF is a synchronization signal for identifying data output during each valid period (ie, each line).
다시 도 3을 참조하면, 이미지 센서(310)는 픽셀 데이터를 출력하기 위한 복수의 데이터 채널(예를 들어, 제1 데이터 채널(330), 제2 데이터 채널(335)), 동기 신호들을 출력하기 위한 복수의 신호선들(예를 들어, 클럭 신호를 출력하기 위한 제1 클럭 신호선, 수직 동기 신호를 출력하기 위한 제2 클럭 신호선, 유효 데이터 인에이블 신호를 출력하기 위한 제3 클럭 신호선)을 통해 이미지 처리부(320)와 연결된다. 즉, 이미지 센서(310)는 복수의 데이터 채널(즉, 제1 데이터 채널(330), 제2 데이터 채널(335))을 통해 하나 이상의 픽셀 데이터를 이미지 처리부(320)로 출력한다. 도 8에 셋 이상의 데이터 채널을 통해 이미지 센서(310)와 이미지 처리부(320)가 연결된 예가 예시되어 있다.Referring back to FIG. 3, the
예를 들어, 이미지 센서(310)는 도 4에 예시된 바와 같은 픽셀 어레이(410) 를 포함하고 있으며, 데이터 채널이 두개라고 가정하면, 제1 데이터 채널(330)의 제1 데이터 라인을 통해 제1 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들을 이미지 처리부(320)로 출력할 수 있다. 그리고, 이미지 센서(310)는 제1 데이터 채널(330)의 제2 데이터 라인을 통해 제1 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 이미지 처리부(320)로 출력할 수 있다. 또한, 이미지 센서(310)는 제2 데이터 채널(335)의 제1 데이터 라인을 통해 제2 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 이미지 처리부(320)로 출력할 수 있으며, 제2 데이터 채널(335)의 제2 데이터 라인을 통해 제2 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 이미지 처리부(320)로 출력할 수 있다. 도 6에 이미지 센서(310)가 임의의 픽셀 행의 특정 픽셀 요소에 상응하는 픽셀 데이터들을 각 데이터 채널의 각각의 데이터 라인을 통해 출력한 예가 예시되어 있다.For example, the
다른 예를 들어, 이미지 센서(310)는 임의의 픽셀 행에 상응하는 픽셀 데이터들을 각각 데이터 채널을 통해 이미지 처리부(320)로 각각 출력할 수도 있다.As another example, the
또 다른 예를 들어, 이미지 센서(310)는 제1 데이터 채널의 제1 데이터 라인을 통해 제1 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들 및 제2 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 출력할 수 있다. 그리고, 해당 제1 데이터 채널의 제2 데이터 라인을 통해 제1 픽셀 행 및 제2 픽셀 행에 상응하는 픽셀 데이터들을 출력할 수도 있다. As another example, the
또 다른 예를 들어, 이미지 센서(310)는 제1 데이터 채널을 통해 제1 픽셀 행 및 제3 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들을 출력하고, 제2 데이 터 채널을 통해 제2 픽셀 행 및 제4 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 출력하며, 제3 및 제4 데이터 채널을 통해 제1 픽셀 행 내지 제4 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하도록 할 수도 있다. As another example, the
보다 상세하게, 이미지 센서(310)는 제1 데이터 채널의 제1 데이터 라인을 통해 제1 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들을 출력하고, 제2 데이터 라인을 통해 제3 픽셀 행의 R 픽셀 요소에 상응하는 픽셀 데이터들을 출력하며, 제2 데이터 채널의 제1 데이터 라인을 통해 제2 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 출력하고, 제2 데이터 라인을 통해 제4 픽셀 행의 B 픽셀 요소에 상응하는 픽셀 데이터들을 출력하도록 할 수 있다. 또한, 이미지 센서(310)는 제3 데이터 채널의 제1 데이터 라인을 통해 제1 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하고, 제2 데이터 라인을 통해 제2 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하며, 제4 데이터 채널의 제1 데이터 라인을 통해 제3 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하며, 제2 데이터 라인을 통해 제4 픽셀 행의 G 픽셀 요소에 상응하는 픽셀 데이터들을 출력하도록 할 수 있다.More specifically, the
이해의 편의를 도모하기 위해 종래의 이미지 센서가 픽셀 데이터를 출력하는 방법을 간략하게 설명하면, 종래의 이미지 센서는 하나의 데이터 채널을 통해 이미지 프로세서(미도시)와 연결된다. 이로 인해, 이미지 센서는 픽셀 어레이의 픽셀 행에 상응하는 픽셀 데이터들을 하나의 데이터 채널을 통해 이미지 프로세서로 출력하였다. For convenience of understanding, a conventional image sensor will briefly describe a method of outputting pixel data. The conventional image sensor is connected to an image processor (not shown) through one data channel. As a result, the image sensor outputs pixel data corresponding to the pixel rows of the pixel array to the image processor through one data channel.
다시 도 3을 참조하면, 이미지 처리부(320)는 픽셀 데이터를 입력받기 위한 복수의 데이터 채널(예를 들어, 제1 데이터 채널(330), 제2 데이터 채널(335)), 해당 픽셀 데이터에 동기화된 동기 신호들을 입력받기 위한 동기 신호선들을 통해 이미지 센서(310)와 연결된다. 즉, 이미지 처리부(320)는 복수의 데이터 채널을 통해 이미지 센서(310)로부터 픽셀 데이터들을 입력받아 미리 정해진 형식에 상응하는 영상 데이터로 변환하는 기능을 수행한다.Referring back to FIG. 3, the
도 3에 예시된 바와 같이, 이미지 처리부(320)는 데이터 입력부(321), 메모리(323), 입력 컨트롤러(325) 및 이미지 시그널 프로세서(330)를 포함한다.As illustrated in FIG. 3, the
데이터 입력부(321)는 이미지 센서(310)로부터 픽셀 데이터 및 해당 픽셀 데이터에 동기화된 동기 신호들을 입력받고, 해당 동기 신호들을 이용하여 복수의 데이터 채널(즉, 제1 데이터 채널(330), 제2 데이터 채널(335))을 통해 입력되는 픽셀 데이터를 획득하여 메모리(323)에 저장한다. 본 명세서에서는 이미지 센서(310)와 이미지 처리부(320)가 두개의 데이터 채널을 통해 연결된 것을 중점으로 설명하나 구현 방법에 따라 둘 이상의 데이터 채널을 통해 연결되어 픽셀 데이터를 입력받을 수도 있음은 당연하다. 도 8에 둘 이상의 데이터 채널(즉, 제1 데이터 채널(810a), 제2 데이터 채널(810b), …, 제n 데이터 채널(810n0)을 통해 이미지 센서(310)와 데이터 입력부(321)가 연결된 것이 예시되어 있다. The
도 8에 예시된 바와 같이, 이미지 센서(310)와 데이터 입력부(321)가 n개의 데이터 채널을 통해 연결된 경우, 데이터 입력부(321)는 제1 데이터 채널(810a)을 통해 제1 픽셀 행에 상응하는 픽셀 데이터들을 입력받고, 제2 데이터 채널(810b)을 통해 제2 픽셀 행에 상응하는 픽셀 데이터들을 입력받으며, 제n 데이터 채널(810n)을 통해 제n 픽셀 행에 상응하는 픽셀 데이터들을 입력받아 메모리(323)에 저장할 수 있다.As illustrated in FIG. 8, when the
즉, 데이터 입력부(321)는 각 데이터 채널의 각각의 데이터 라인을 통해 입력된 픽셀 데이터들을 순차적으로 메모리(323)에 기록할 수 있다.That is, the
예를 들어, 메모리(323)가 n개의 라인 메모리(line memory)로 구성되어 있다고 가정하면, 데이터 입력부(321)는 각 데이터 채널의 각각의 데이터 라인을 통해 입력된 픽셀 데이터들을 각각의 라인 메모리에 기록할 수 있다.For example, assuming that the
메모리(323)는 데이터 입력부(321)로부터 입력된 픽셀 데이터를 저장한다. 메모리(323)는 n(임의의 자연수, 예를 들어, 1 내지 한 프레임의 라인 수 중 임의의 개수)개의 라인 메모리(line memory)로 구성될 수 있다. The
예를 들어, n개의 라인 메모리를 포함한다고 가정하면, 특정 프레임의 임의의 라인의 특정 픽셀 요소는 제1 라인 메모리에 순차적으로 저장될 수 있으며, 해당 라인의 다른 픽셀 요소는 제2 라인 메모리에 순차적으로 저장될 수 있다. 즉, 하나의 라인에 상응하는 픽셀 데이터는 2개의 라인 메모리에 저장될 수 있다. 데이터 입력부(321)에 의해 출력되는 픽셀 데이터는 기존 저장된 라인 메모리에 오버라이트(overwrite)되어 저장될 수 있다. 여기서, 기저장된 데이터는 새로 입력된 픽셀 데이터에 의해 오버라이트되기 전에 입력 컨트롤러(325)의 제어에 의해 이미지 시그널 프로세서(327)로 출력될 수도 있음은 당연하다.For example, assuming n line memories are included, certain pixel elements of any line of a particular frame may be stored sequentially in the first line memory, and other pixel elements of that line may be sequentially stored in the second line memory. Can be stored as. That is, pixel data corresponding to one line may be stored in two line memories. The pixel data output by the
입력 컨트롤러(325)는 메모리(323)에 기록된 하나 이상의 픽셀 데이터를 독 출하여 미리 정해진 방법에 상응하여 라인 데이터를 생성하여 이미지 시그널 프로세서(327)로 출력한다. 즉, 입력 컨트롤러(325)는 복수의 데이터 채널을 통해 입력되는 픽셀 데이터들을 하기에서 설명되는 이미지 시그널 프로세서(327)에서 처리 가능한 형식으로 변환하여 출력하는 기능을 수행한다. The
여기서, 미리 정해진 방법은 이미지 센서(310)에서 복수의 데이터 채널을 통해 출력되어 저장된 픽셀 데이터를 이미지 시그널 프로세서(327)에서 처리 가능한 픽셀 데이터의 형식으로 변환하는 방법으로, 예를 들어, 이미지 센서(310)이 구비한 픽셀 어레이(410)에 상응하는 베이어 패턴에 상응하도록 재조합 하는 것일 수 있다.Here, the predetermined method is a method of converting the pixel data output and stored through the plurality of data channels from the
본 명세서에서 "라인 데이터"는 픽셀 어레이(410)의 베이어 패턴의 픽셀 행에 포함된 픽셀 요소들에 상응하여 재조합된 픽셀 데이터들인 것으로 정의하기로 한다. 또한, 픽셀 행은 픽셀 어레이(410)의 각각의 로우(row)이며, 픽셀 요소는 임의의 로우(row)를 구성하는 각각의 구성 요소인 것으로 정의하기로 한다. 예를 들어, 도 4를 참조하면, 제1 픽셀 행은 R 픽셀 요소 및 G 픽셀 요소가 교번으로 위치하여 구성되는 것을 알 수 있다.In the present specification, "line data" is defined as pixel data recombined corresponding to pixel elements included in a pixel row of a Bayer pattern of the
이와 같이, 입력 컨트롤러(325)가 이미지 센서(310)에서 복수의 데이터 채널을 통해 임의로 출력된 픽셀 데이터들을 이용하여 라인 데이터를 생성하기 위해서는 이미지 센서(310)가 구비한 픽셀 어레이(410)의 베이어 패턴의 정보를 저장하고 있을 수 있음은 당연하다.As described above, in order for the
또한, 이미지 센서(310)의 각각의 데이터 채널의 각각의 데이터 라인을 통해 입력된 픽셀 데이터들은 메모리(323)에 미리 정해진 순서대로 저장되므로, 입력 컨트롤러(325)는 메모리(323)에 저장된 픽셀 데이터의 위치에 상응하여 해당 픽셀 데이터가 베이어 패턴의 어느 픽셀 행의 어느 픽셀 요소에 위치하는지에 대한 정보를 알 수 있다. In addition, since pixel data input through each data line of each data channel of the
예를 들어, 입력 컨트롤러(325)는 이미지 센서(310)로부터 복수의 데이터 채널을 통해 입력되어 메모리(323)에 저장된 하나 이상의 픽셀 데이터들을 독출하여 베이어 패턴의 임의의 픽셀 행의 픽셀 요소들에 상응하도록 픽셀 데이터들을 조합하여 라인 데이터를 생성하여 이미지 시그널 프로세서(327)로 출력할 수 있다. For example, the
즉, 입력 컨트롤러(325)는 복수의 데이터 채널을 통해 임의의 형식으로 입력되어 메모리(323)에 저장된 픽셀 데이터들을 독출하여 이미지 시그널 프로세서(327)에서 처리 가능한 형식으로 변환하여 출력할 수 있다.That is, the
예를 들어, 입력 컨트롤러(325)는 메모리(323)에 기록된 픽셀 데이터를 독출하여 미리 정해진 베이어 패턴에 상응하도록 각 라인 단위의 라인 데이터를 생성하여 이미지 시그널 프로세서(327)로 출력할 수 있다. 즉, 제1 라인 메모리에 임의의 특정 픽셀 행의 R 픽셀 요소들이 저장되어 있으며, 제2 라인 메모리에 해당 픽셀 행의 G 픽셀 요소들이 저장되어 있다고 가정하자. 이미지 시그널 프로세서(327)는 특정 픽셀 행의 라인 단위에 상응하여 픽셀 데이터들을 입력받아 처리하므로, 입력 컨트롤러(325)는 제1 라인 메모리 및 제2 라인 메모리의 픽셀 데이터를 독출하여 이미지 시그널 프로세서(327)에서 입력 가능한 라인 데이터를 생성하여 출력한다.For example, the
예를 들어, 입력 컨트롤러(325)는 제1 라인 메모리 및 제2 라인 메모리에 기 록된 데이터를 화소 단위로 교호(交互)적으로 독출하여 머지함으로써 라인 데이터를 생성할 수 있다.For example, the
이미지 시그널 프로세서(327)는 입력 컨트롤러(325)로부터 입력된 라인 데이터를 미리 정해진 방법에 따라 변환하여 출력한다. 예를 들어, 이미지 시그널 프로세서(327)는 라인 데이터를 YUV 데이터로 변환하여 출력할 수 있다. 이하, 이해와 설명의 편의를 위해 이미지 시그널 프로세서(327)가 입력 컨트롤러(325)로부터 입력된 라인 데이터를 미리 정해진 방법에 의해 이미지 프로세싱(image processing)하여 생성된 데이터를 "영상 데이터"라 칭하기로 한다.The
도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치가 영상 데이터를 처리하는 방법을 나타낸 순서도이다. 이하에서는 이미지 처리부(320)가 이미지 센서(310)로부터 복수의 데이터 채널(즉, 제1 데이터 채널(330), 제2 데이터 채널(335))을 통해 픽셀 데이터를 각각 입력받아 이미지 시그널 프로세서(327)에서 처리 가능한 라인 데이터의 형식으로 변환하는 방법에 대해서 상세히 설명하기로 한다.7 is a flowchart illustrating a method of processing image data by an image processing apparatus according to an exemplary embodiment. Hereinafter, the
단계 710에서 이미지 센서(310)는 광학적 피사체의 신호에 상응하는 픽셀 데이터를 생성하여 복수의 데이터 채널을 통해 데이터 입력부(321)로 출력한다. 그리고, 이미지 센서는 해당 픽셀 데이터에 동기화된 동기 신호들을 동기 신호선을 이용하여 데이터 입력부(321)로 출력한다.In
예를 들어, 이미지 센서(310)는 픽셀 어레이(410)의 임의의 픽셀 행의 특정 픽셀 요소(예를 들어, "R 픽셀 요소")에 상응하는 픽셀 데이터들을 제1 데이터 채널의 제1 데이터 라인을 통해 데이터 입력부(321)로 출력할 수 있다. 또한, 이미지 센서(310)는 해당 픽셀 행의 다른 픽셀 요소(예를 들어, "G 픽셀 요소")에 상응하는 픽셀 데이터들을 제1 데이터 채널의 제2 데이터 라인을 통해 데이터 입력부(321)로 출력할 수 있다. 여기서, 이미지 센서(310)는 각각의 픽셀 데이터들에 동기화된 동기 신호들을 동기 신호선을 통해 데이터 입력부(321)로 출력할 수도 있음은 당연하다.For example, the
단계 715에서 데이터 입력부(321)는 각 데이터 채널의 각각의 데이터 라인을 통해 입력된 각각의 픽셀 데이터들을 입력받아 메모리(323)에 저장한다.In
예를 들어, 데이터 입력부(321)는 이미지 센서(310)로부터 동기 신호들 및 픽셀 데이터들을 입력받으며, 해당 동기 신호들을 이용하여 각각의 픽셀 데이터들을 획득하여 메모리(323)에 저장할 수 있다. 제1 데이터 채널(330)의 제1 데이터 라인을 통해 입력된 픽셀 데이터들은 제1 라인 메모리(323)에 저장할 수 있으며, 제1 데이터 채널(330)의 제2 데이터 라인을 통해 입력된 픽셀 데이터들은 제2 라인 메모리(323)에 저장할 수 있다.For example, the
단계 720에서 입력 컨트롤러(325)는 메모리(323)에 저장된 픽셀 데이터들을 독출하여 미리 정해진 방법에 따라 라인 데이터를 생성하여 하나의 데이터 채널을 통해 이미지 시그널 프로세서(327)로 출력한다.In
예를 들어, 입력 컨트롤러(325)는 저장된 픽셀 데이터들을 독출하여 도 3에서 예시된 픽셀 어레이의 베이어 패턴의 임의의 픽셀 행에 상응하여 라인 데이터를 생성할 수 있다. 이를 위해, 입력 컨트롤러(325)는 베이어 패턴의 정보를 미리 저장하고 있을 수도 있음은 당연하다.For example, the
단계 725에서 이미지 시그널 프로세서(327)는 입력 컨트롤러(325)로부터 입력된 라인 데이터를 미리 정해진 형식에 상응하여 영상 데이터로 변환한다.In
상술한 바와 같이, 본 발명에 따른 이미지 처리 방법 및 장치를 제공함으로써, 이미지 센서에서 복수의 데이터 채널을 통해 출력되는 원시 영상 신호를 입력받아 처리할 수 있는 효과가 있다. As described above, by providing the image processing method and apparatus according to the present invention, there is an effect that can receive and process the raw image signal output through the plurality of data channels in the image sensor.
또한, 본 발명은 이미지 센서의 후단에 연결되는 후처리 프로세서의 변경 없이 복수의 채널을 통해 출력되는 원시 영상 신호를 처리할 수 있는 효과도 있다.In addition, the present invention has the effect of processing the raw image signal output through a plurality of channels without changing the post-processing processor connected to the rear end of the image sensor.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and variations can be made.
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070037511A KR100905082B1 (en) | 2007-04-17 | 2007-04-17 | Method and device for processing image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070037511A KR100905082B1 (en) | 2007-04-17 | 2007-04-17 | Method and device for processing image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080093599A true KR20080093599A (en) | 2008-10-22 |
KR100905082B1 KR100905082B1 (en) | 2009-06-30 |
Family
ID=40154080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070037511A KR100905082B1 (en) | 2007-04-17 | 2007-04-17 | Method and device for processing image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100905082B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140111758A (en) | 2013-03-12 | 2014-09-22 | 삼성전자주식회사 | Image processing device and computing system having the same |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0738812A (en) * | 1993-06-25 | 1995-02-07 | Nikon Corp | Image pickup device equipped with image pickup element for multichannel output |
JP4655383B2 (en) * | 2001-02-23 | 2011-03-23 | ソニー株式会社 | Image signal processing device for image sensor |
JP2002344810A (en) * | 2001-05-15 | 2002-11-29 | Canon Inc | Ccd camera with output correction mechanism |
KR100940203B1 (en) * | 2003-02-18 | 2010-02-10 | 삼성전자주식회사 | Method and apparatus for processing pixel based on segments |
JP4446674B2 (en) * | 2003-03-31 | 2010-04-07 | 株式会社メガチップス | Image processing apparatus and imaging apparatus |
JP2006109222A (en) * | 2004-10-07 | 2006-04-20 | Canon Inc | Signal processing apparatus |
JP2006148350A (en) * | 2004-11-17 | 2006-06-08 | Olympus Corp | Imaging apparatus |
JP4692115B2 (en) | 2005-07-11 | 2011-06-01 | ソニー株式会社 | Image processing apparatus and imaging apparatus |
JP2007037051A (en) * | 2005-07-29 | 2007-02-08 | Canon Inc | Imaging apparatus and control method thereof |
-
2007
- 2007-04-17 KR KR1020070037511A patent/KR100905082B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR100905082B1 (en) | 2009-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9407847B2 (en) | Solid state imaging apparatus and imaging system with writing memory selecting unit and reading memory selecting unit for outputting signals in an order of spatial arrangement | |
US8451355B2 (en) | Image sensor, electronic apparatus, and driving method of electronic apparatus | |
TWI672952B (en) | Image pickup device, control method, and image pickup apparatus | |
KR101395433B1 (en) | Imaging device and imaging method | |
US7978240B2 (en) | Enhancing image quality imaging unit and image sensor | |
JP4764036B2 (en) | Method and circuit for performing correlated double subsampling of pixels in an active pixel sensor array | |
JP4609092B2 (en) | Physical information acquisition method and physical information acquisition device | |
KR102275711B1 (en) | Image sensor and method of outputting data in the image sensor | |
US8610809B2 (en) | Solid-state imaging device and camera system that controls a unit of plural rows | |
US8896736B2 (en) | Solid-state imaging device, imaging apparatus and signal reading method having photoelectric conversion elements that are targets from which signals are read in the same group | |
US11387267B2 (en) | Image sensor, focus adjustment device, and imaging device | |
WO2017101864A1 (en) | Image sensor, control method, and electronic device | |
US8582006B2 (en) | Pixel arrangement for extended dynamic range imaging | |
KR20160015712A (en) | Apparatus and method for capturing images | |
US20040145668A1 (en) | MOS solid-state imaging element and imaging device provided with the same | |
KR100745837B1 (en) | Method and apparatus for outputting pixel data with appended data | |
KR100905082B1 (en) | Method and device for processing image | |
JPWO2003034714A1 (en) | Solid-state imaging device | |
JP2016134907A (en) | Solid-state imaging device | |
JP2010109863A (en) | Imaging apparatus and portable device | |
KR100843631B1 (en) | Method and device for controlling synchronizing signal | |
US10313620B2 (en) | Image data output device for image signal processor | |
JP5253280B2 (en) | Solid-state imaging device, camera system, and signal readout method | |
WO2015002005A1 (en) | Solid state imaging device, control method, and electronic device | |
JP5511205B2 (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130530 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140528 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150526 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20180528 Year of fee payment: 10 |