WO2007010753A1 - 撮像データ処理装置、撮像データ処理方法および撮像素子 - Google Patents

撮像データ処理装置、撮像データ処理方法および撮像素子 Download PDF

Info

Publication number
WO2007010753A1
WO2007010753A1 PCT/JP2006/313484 JP2006313484W WO2007010753A1 WO 2007010753 A1 WO2007010753 A1 WO 2007010753A1 JP 2006313484 W JP2006313484 W JP 2006313484W WO 2007010753 A1 WO2007010753 A1 WO 2007010753A1
Authority
WO
WIPO (PCT)
Prior art keywords
azd converter
converter
imaging
data
azd
Prior art date
Application number
PCT/JP2006/313484
Other languages
English (en)
French (fr)
Inventor
Takuma Chiba
Kazuo Okamoto
Yuji Nagaishi
Tatsuro Juri
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2007525941A priority Critical patent/JP4833213B2/ja
Priority to CN2006800210446A priority patent/CN101199199B/zh
Priority to US11/993,942 priority patent/US7990424B2/en
Publication of WO2007010753A1 publication Critical patent/WO2007010753A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode

Definitions

  • Imaging data processing apparatus imaging data processing method, and imaging device
  • the present invention relates to an imaging apparatus, an imaging method, and an imaging device that use a MOS solid-state imaging device.
  • a solid-state imaging device such as a digital camera or a video camera, is used as an element for converting light of a subject to be photographed into an electric signal in a photographing apparatus used for photographing and storing an image.
  • Image sensor is used.
  • Solid-state image sensors are mainly divided into CCD-type image sensors and MOS-type image sensors.
  • the current mainstream is CCD-type image sensors.
  • CCD-type image sensors have such features as a wide dynamic range and easy to maintain image synchronism.
  • CCD-type image sensors have disadvantages such as high power consumption and the need for various power supply voltages, and it is difficult to improve these in the future.
  • MOS-type image sensors have drawbacks such as a narrow dynamic range and noise resistance compared to CCD-type image sensors, but these drawbacks have been improved by recent research.
  • the CMOS image sensor has many advantages that the CCD image sensor does not have, such as low power consumption and the ability to freely set the pixel readout order.
  • the equipment currently manufacturing the CMOS LSI can be used as it is, and the manufacturing cost can be reduced.
  • the CMOS type image pickup device has many advantages, and has recently been attracting attention.
  • the compressed data is read from the SDRAM at high speed by DMA (Direct Memory Access) control or the like and output to an external semi-permanent storage memory.
  • DMA Direct Memory Access
  • DSC digital still camera
  • a video camera captures 30 to 60 frames of images per second and outputs them continuously to display a moving image.
  • the image sensor used in the video camera is sufficient to have a resolution of about 300,000 pixels when shooting a VGA-sized video and can capture more than 30 frames per second.
  • a video camera is configured using a high-resolution image sensor to shoot movies and still images. It is configured to take images by switching between times
  • Patent Document 1 JP-A-2002-251819
  • An imaging data processing apparatus includes an imaging unit that has two-dimensionally arranged pixels and outputs analog data photoelectrically converted from each pixel, and an AZD converter that converts the analog data into digital data
  • a moving image processing unit that performs moving image processing based on the digital data
  • a still image processing unit that performs still image processing based on the digital data
  • a first path for sending data to the AZD converter power moving image processing unit and
  • a second path for transmitting data from the AZD comparator to the still image processing unit, and a memory for storing digital data generated by the AZD converter are provided in the second path.
  • the first path further includes a pixel thinning unit that performs pixel thinning on digital data generated by the AZD converter.
  • the AZD converter includes a first A / D converter, a second AZD converter,..., An Nth AZD converter (N is a positive integer), and 1 AZD converter, 2nd AZD converter, ..., having a scaling processing unit connected to the output of Nth AZD converter, 1st AZD converter, 2nd AZD converter, ..., of Nth AZD converter Inputs are respectively connected to the first channel line, the second channel line, ..., the Nth channel line, and the pixels in the imaging unit are divided into a plurality of blocks including N pixels, The pixels included in the first block are the first channel lines, the pixels included in the second block are the second channel lines, ..., the pixels included in the Nth block are the Nth channel lines. Connected to.
  • outputs of the first AZD converter, the second A / D converter,..., The Nth AZD converter are further connected to a memory.
  • An image sensor includes a two-dimensionally arranged pixel, an image pickup unit that outputs analog data photoelectrically converted from each pixel, and an AZD converter that converts the analog data into digital data.
  • the second path is constituted by a single LSI chip having a memory for storing digital data generated by the AZD comparator.
  • the first path further includes a pixel thinning unit that performs pixel thinning on digital data generated by the AZD converter.
  • the AZD converter includes a first AZD comparator, a second A / D converter, ..., an Nth A / D converter (N is a positive integer).
  • the inputs of the AZD converter are connected to the first channel line, the second channel line, ..., the Nth channel line, respectively, and the pixels in the imaging unit are divided into a plurality of blocks including N pixels.
  • the pixels included in the first block are the first channel line
  • the pixels included in the second block are the second channel lines
  • ..., the pixels included in the Nth block are Nth Connected to the channel line.
  • outputs of the first AZD converter, the second AZD comparator,..., The Nth A / D converter are further connected to a memory.
  • FIG. 1 is a block diagram of a first embodiment.
  • FIG. 2 is a schematic diagram of an imaging unit according to the first embodiment.
  • FIG. 3 is a waveform diagram of signals in the image sensor of the first embodiment.
  • FIG. 4 is a block diagram of a second embodiment.
  • FIG. 5 is a schematic diagram of an imaging unit of a second embodiment.
  • FIG. 6 is a waveform diagram of signals in the image sensor according to the second embodiment.
  • FIG. 1 shows an imaging data processing apparatus according to the first embodiment.
  • the imaging data processing device includes an imaging device 2, a sensor controller 20, a moving image processing unit 22a, and a still image processing unit 22b.
  • the image sensor 2 includes an imaging unit 4 that converts light into electric charges, an AZD converter 6 that converts electric charges output from the imaging unit 4 into digital data, and digital data generated by the AZD converter 6 in terms of time.
  • a pixel thinning unit 8 for thinning out a memory 10 for temporarily storing digital data generated by the AZD converter 6, and a memory controller 12 for controlling the memory.
  • the imaging unit 4 has pixels arranged in a two-dimensional direction, that is, two orthogonal directions (X direction and Y direction), and is composed of 1920 pixels in the horizontal direction and 1440 pixels in the vertical direction, totaling 2,764,800 pixels. . Since the imaging device 2 is composed of a single LSI chip, it is also called an image sensor LSI 2.
  • a sensor controller 20, a moving image processing unit 22a, and a still image processing unit 22b are connected to the image sensor LSI2.
  • the moving image processing unit 22a and the still image processing unit 22b can be provided as separate LSIs, or can be provided as an integrated LSI.
  • moving image processing such as MPGE is performed
  • still image processing such as JPEG is performed in the still image processing unit 22b.
  • the sensor controller 20 generates an imaging start signal Sl, an imaging data read signal S2, a still image imaging instruction signal S3, and a still image output instruction signal S4, and these signals are input to the image sensor LSI2.
  • the imaging start signal Sl and the imaging data readout signal S2 control the imaging unit 2.
  • the imaging unit 2 converts the light intensity into an electrical signal and accumulates the electrical signal for each pixel.
  • the imaging data read signal S2 is input, the electric signal accumulated for each pixel of the imaging unit 2 is output to the outside of the imaging unit 4.
  • the electrical signal for each pixel from which the imaging force is also read is input to the AZD converter 6 and converted into a digital signal.
  • FIG. 2 shows the structure of the pixel 30 in the imaging unit 4 and the order in which the electric signal data accumulated in the pixel is read.
  • a color filter is arranged on each pixel, and primary color filters are arranged in a Bayer arrangement.
  • red (R), green (G), and blue (B) filters are arranged in a grid like R, Gr, Gb, and B as shown in Fig. 2 to capture color images.
  • R, Gr, Gb, and B red filters
  • Gb green
  • Green pixels are shown.
  • a method of arranging complementary color filters in a pinecone pattern is generally used as the color filter array, but any color filter array can be employed.
  • the pixel force in the imaging unit 4 The read data is input to the AZD converter 6 in the order indicated by the arrows in FIG. 2, and is converted into a digital signal by the AZD converter 6.
  • the digitized pixel data output from the AZD comparator 6 is input to the pixel thinning unit 8 in this order.
  • the pixel decimation unit 8 outputs only one pixel in the upper left of the four pixels of the same color, and does not output the remaining three pixels as decimation data. For example, when the red (R) pixel at the left end of the first row is described as the first pixel, the first three R pixels are in the direction to be processed from now on, and the three closest R pixels are the third one in the first row.
  • Pixel thinning unit 8 makes the number of pixels in one frame 960 horizontal and 720 vertical.
  • the number of pixels is appropriate for creating a moving image.
  • the pixel thinning unit 8 thins out all the pixels from the power and other ratios that have been described to thin out 1Z4 pixels, for example, 1/9, 1/16, ..., l / n 2 ( It is also possible to thin out pixels where n is a positive integer. Furthermore, broadly speaking, the pixel thinning unit 8 can thin out pixels of 1ZN (N is a positive integer).
  • the data output from the pixel thinning unit 8 is output from the image sensor LSI 2 through the imaging data output terminal 14, and the moving image processing unit 22a performs moving image processing.
  • the above operation is performed within one frame period of the moving image, for example, within 1Z30 seconds, and the moving image output from the imaging data output terminal 14 can form one frame in 1Z30 seconds.
  • the signal output from the AZD converter 6 is sent to the memory 10 in the image sensor LSI.
  • a pulse of a still image capturing instruction signal S3 is output from the sensor controller 20.
  • the memory controller 12 controls the memory so that the pixel data from the AZD comparator 6 is stored in the memory 10, and the memory controller 12 outputs the image data from the imaging unit 4. Stores the data of all input pixels.
  • the still image output instruction signal S4 is pulsed.
  • the pixel data for one screen stored in is read. That is, the still image capturing instruction signal S 3 and the still image output instruction signal S 4 control writing and reading of the memory 10.
  • the pixel data stored in the memory 10 is output from the image sensor LS 12 through the memory data output terminal 16.
  • Memory data output terminal 16 interface provides imaging data output As with the terminal 14 interface, when operating at 20.8MHz, it outputs 0.133 (2, 764, 800/20, 800, 000) to output pixel data for one screen.
  • FIG. 3 shows a time chart of signals in the image sensor LSI 2.
  • One frame period is a pulse interval of two consecutive inter-frame blanking signals FB, for example, 1Z30 seconds, and pixel data for one frame is output from the imaging unit 4 during that interval. From the imaging data output terminal 14, one pixel is output for every four pixels of pixel data output from the imaging unit.
  • the pulse of the still image imaging instruction signal S3 is input during the period in which the pixel data for moving image is output from the imaging data output terminal 14, the next interframe blanking signal FB that appears first Then, storage of pixel data in the memory 10 is started. That is, the pixel data is stored in the memory 10 in synchronization with the inter-frame blanking signal.
  • the pixel data stored in the memory 10 within one frame time is stored in the still image output instruction signal S.
  • One feature of the present invention is that in the imaging data processing method in which moving image processing and still image processing are performed in parallel, a synchronization signal FB is output for each frame for moving image processing, and synchronized with the synchronization signal FB from the AZD converter.
  • a synchronization signal FB is output for each frame for moving image processing, and synchronized with the synchronization signal FB from the AZD converter.
  • the pixel data stored in the memory 10 is output, but immediately after storing the pixel data for one frame in the memory.
  • it may be controlled to automatically output from the memory data output terminal 16 after a certain period of time.
  • the still image output instruction signal S4 is not necessary.
  • it is possible to output data in the memory 10 before the pixel data is completely stored in the memory 10.
  • the AZD-converted pixel data is output as moving image data via the first path L 1 configured by the pixel thinning unit 8 and the imaging data output terminal 14.
  • the AZD-converted pixel data is output as still image data via the second path L2 configured by the memory 10 and the memory data output terminal 16.
  • the pixel data may be stored in the memory 10 during the period when the pixel decimation unit 8 performs the pixel decimation! And then, the bow between pixels I is running! Wow! / It may be a period. Since the memory 10 is provided in the image sensor LSI 2 in this way, even when the pixel data is sent out to the first path L1 and the moving image processing is performed, the still image is stored in the memory 10 in the second path L2. Data can be stored.
  • FIG. 4 shows an imaging data processing apparatus according to the second embodiment.
  • the imaging data processing device includes an imaging device 52, a sensor controller 70, a moving image processing unit 72a, and a still image processing unit 72b.
  • the imaging device 52 includes an imaging unit 54 that converts light into electric charge, four AZD converters 56a, 56b, 56c, and 56d that convert electric charge output from the imaging unit 54 into digital data, and an ⁇ / ⁇ converter.
  • Pixel value adder 58 that adds digital data generated by 56a, 56b, 56c, and 56d
  • memory 60 that stores digital data generated by A / D converters 56a, 56b, 56c, and 56d
  • memory control A memory controller 62 is provided. Since the image pickup element 52 is composed of a single LSI chip, it is also called an image sensor LSI 52.
  • the image sensor LSI 52 is connected to a sensor controller 70, a moving image processing unit 72a, and a still image processing unit 72b.
  • the moving image processing unit 72a and the still image processing unit 72b are configured in the same manner as in the first embodiment.
  • the sensor controller 70 is also configured in the same manner as in the first embodiment.
  • the imaging unit 54 converts the light intensity into an electrical signal, and Accumulate electrical signals.
  • the imaging data read signal S2 is input, the electrical signal stored in the imaging unit 2 is output to the outside of the imaging unit 54 for each pixel.
  • the electrical signal for each pixel read from the imaging unit is input to the AZD converters 56a, 56b, 56c, and 56d and converted into digital signals.
  • the image pickup unit 54 in the image sensor LSI 52 in FIG. 4 has 4 channels of pixel readout channels, and can simultaneously read out 4 pixels. Details of the imaging unit 54 are shown in FIG.
  • the imaging unit 54 has two-dimensional directions of pixels, that is, two directions orthogonal to each other (X direction,
  • primary color filters are arranged in a Bayer array on the Y direction.
  • the X direction is called a row
  • the Y direction is called a column.
  • Pixels arranged in two orthogonal directions are grouped into a plurality of blocks, each of which is 2 X 2 pixels. Therefore, the blocks are also arranged in two orthogonal directions (X direction and Y direction).
  • the pixels in the odd-numbered block (1st, 3rd, 5th, • ⁇ ⁇ in the first row are connected to the line of channel 0.
  • the even number in the first row ( The pixels contained in the second, fourth, sixth,... Block are connected to the line of channel 1.
  • the odd-numbered (first, third, fifth,. Pixels included in the block are connected to the channel 2 line.
  • Pixels included in the even-numbered block (2nd, 4th, 6th, ...) in the second row are connected to the channel 3 line.
  • the pixels included in the odd-numbered block in the odd-numbered row are in the channel 0 line, and the pixels included in the even-numbered block in the odd-numbered row are in the odd-numbered row in the channel 1 line. Pixels in the second block are in the channel 2 line, in the even block in the even row. The included pixels are connected to the channel 3 line.
  • the order in which the four pixels in each block are read out is the order of upper left (R), upper right (Gr), lower left (Gb), lower right (B), that is, left, right in the first row, then 2 The order is left and right on the line.
  • the color indicated by Katsuko is an example, and is not limited to this.
  • the pixel data contained in the four blocks, the first and second blocks in the first row, the first and second blocks in the second row, and the four channels 0, Read through lines 1, 2, and 3.
  • the 3rd and 4th blocks in the 1st row, the 3rd and 4th blocks in the 2nd row In total, the pixel data contained in four blocks are read out in parallel.
  • the blocks in the 1st and 2nd rows are read out in turn, with 2 left side forces and 2 right side forces.
  • the blocks in the 3rd and 4th rows are read in turn, with the left end force and the right end force directed to 2 each.
  • the force described as 4 blocks of 2 X 2 as one block is 9 pixels of 3 X 3, 16 pixels of 4 X 4, ... n 2 pixels of n X n (n is a positive integer) )
  • pixel data from four blocks adjacent in the row direction and the column direction are transmitted through the four channels 0, 1, 2, and 3 connected to the block, respectively. Sent to.
  • the pixel value of the upper left pixel in each of the four blocks is sent to the pixel value adding unit 58 and added. These four pixels are the closest four pixels of the same color.
  • the pixel value adder 58 mixes the pixels. This is not only simple addition, but it is also possible to obtain an average value obtained by dividing the added total value by 4 and to perform weighting before addition. It is.
  • the added value subjected to the pixel mixing is sent to the image processing unit 72a as moving image data. Since the pixel value adding unit 58 performs pixel mixing, it is also referred to as a pixel mixing unit.
  • the pixel value from the upper right pixel in each of the four blocks is sent to the pixel value adding unit 58, added, and processed in the same manner. Further, the pixel value of the lower left pixel power in each of the four blocks is sent to the pixel value adding unit 58, added, and processed in the same manner. Then, the pixel value from the lower right pixel in each of the four blocks is sent to the pixel value adding unit 58, added, and processed in the same manner.
  • a selector that selects one of the four channels 0, 1, 2, and 3 may be used. Since both the pixel adder and selector combine 4 pixel data into 1 pixel data, both are called scaling processing units.
  • the output after A / D conversion of each channel is also applied to the memory 60.
  • the memory controller 62 receives the pulse of the still image capturing instruction signal S3, all the pixel data is stored in the memory 60.
  • the pulse of the still image output instruction signal S4 is received, one image stored in the memory 60 is received.
  • All the pixel data of the surface is output from the memory data output terminal 66 and sent to the still image processing unit 72b.
  • the output from the memory data output terminal 66 may be automatically performed after a certain period of time has elapsed after the pixel data is stored in the memory 60, or may be performed during the idle time of the video processing of the video processing unit 72a.
  • FIG. 6 shows a time chart of the second embodiment. Pixel data is transmitted to channels 0, 1, 2, and 3 at the same timing. From the imaging data output terminal 64, pixel data obtained at the same timing is added and output as one data.
  • the pixel data from the four AZD converters are stored in the memory after the next new frame period starts, as in the first embodiment.
  • all the pixel data of one screen power of the imaging unit 54 is stored in the memory.
  • 4 pixel data input to the memory can be serialized and input to the memory in a cycle 4 times the output channel of the imaging unit. It is also possible to input in the same cycle.
  • the second embodiment includes, as an AZD converter, a first AZD converter, a second AZD converter, ..., an n 2 AZD converter (n is a positive integer),
  • a scaling processor 58 is connected to the outputs of the first AZD converter, the second AZD converter,..., The n 2 AZD converter.
  • the 1AZD converter, the 2AZD comparator one data, ..., the input of the n 2 AZD converters, respectively, a first channel line, the second Chiya tunnel line, ⁇ ⁇ ⁇ , are connected to the channel line of the n 2 .
  • the pixel 30 in the imaging unit is divided into a plurality of blocks including n 2 pixels, the pixel included in the first block is the first channel line, and the pixel included in the second block is the second channel.
  • lines, ⁇ ⁇ ⁇ , including Murrell pixels to the rf blocks, are connected to the lines of the first n 2 channel.
  • the outputs of the first AZD converter, the second A / D converter,..., The n 2 AZD converter are further connected to a memory. Further, the second embodiment will be broadly described.
  • the A / D converter includes a first A / D converter, a second AZD converter,..., An Nth AZD converter (N is a positive integer), and
  • the scaling processing unit 58 is connected to the outputs of the first AZD converter, the second AZD converter, ..., the Nth AZD converter.
  • the first AZD converter, the second AZD converter, ..., the input of the Nth AZD converter is the first channel line, the second Channel line, ... connected to the Nth channel line.
  • the pixel 30 in the imaging unit is divided into a plurality of blocks including N pixels, the pixel included in the first block is the first channel line, and the pixel included in the second block is the second channel. Lines ... The pixels contained in the Nth block are connected to the Nth channel line.
  • the outputs of the first AZD converter, the second AZD converter,..., The Nth AZD converter are further connected to a memory.
  • the A / D converted pixel data passes through the first path L1 formed by the pixel addition unit 58, which is a scaling processing unit, and the imaging data output terminal 64.
  • the moving image data is output, and the AZD-converted pixel data is output as the still image data through the second path L2 configured by the memory 60 and the memory data output terminal 66.
  • the storage of the pixel data in the memory 60 may be a period during which the pixel addition is performed in the pixel addition unit 58, or the pixel addition is performed! Cunning, even during the period, ok. Since the memory 60 is installed in the image sensor LSI 52 as described above, even when the pixel data is sent to the first path L1 and the moving image processing is performed, the still image data is stored in the memory 60 in the second path L2. Can be stored.
  • the pixel data read out from the imaging unit 54 is read out simultaneously for four pixels from the four channels, and becomes adjacent pixel data of the same color.
  • the output from the imaging unit is sent to four AZD converters, and the pixel data is converted to digital data. Pixel data is output simultaneously from each of the four AZD converters.
  • adjacent pixel of the same color obtained at the same time is added in the pixel value adding unit 58.
  • the pixel data added by the pixel value adding unit 58 is output to the outside through the imaging data output terminal.
  • the present invention can be used for an individual imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

　動画撮影中に動画撮影を中止することなく高精細な静止画を撮影する装置を提供する。ＣＭＯＳセンサの画素値読み出しを多チャンネル化し、各チャンネルの出力をそれぞれＡ／Ｄ変換回路に入力する。各チャンネルは、加算される画素が同時に読み出されるように設定する。動画撮影を行なう場合は、画素値加算手段で加算されたデータを動画像データとして用いる。動画撮影中に静止画撮影が行なわれた際は、画素データを一画面分メモリに格納し、順次静止画データとして撮像素子から出力される。

Description

明 細 書
撮像データ処理装置、撮像データ処理方法および撮像素子
技術分野
[0001] 本発明は、 MOS型の固体撮像素子を用いた撮像装置、撮像方法、および、撮像 素子に関する。
背景技術
[0002] 近年、デジタルカメラやビデオカメラ等のように、映像を撮影し、保存する用途に使 用する撮影装置には、撮影対象力ゝらの光を電気信号に変える素子として固体撮像素 子 (イメージセンサ）が用いられている。固体撮像素子は、主に CCD型撮像素子と M OS型撮像素子に分けられている力 現在の主流は CCD型撮像素子である。その理 由として、 CCD型撮像素子はダイナミックレンジが広い、映像の同時性を保ちやすい 、等の特徴があることが上げられる。しかし、 CCD型撮像素子は消費電力が大きい、 多種の電源電圧が必要等の短所もあり、今後これらのことが大きく改善されることは 難しいと考えられる。
[0003] それに対して MOS型撮像素子は、 CCD型撮像素子と比べて、ダイナミックレンジ が狭く、ノイズに弱い、等の欠点があるが、最近の研究によりこれらの欠点は改善され てきている。さらに、 CMOS型撮像素子は、 CCD型撮像素子が持たない多くの利点 、例えば、低消費電力、画素の読み出し順番を自由に設定できる等の利点を持って いる。また、製造方法においても CMOS LSIと同じ製造装置、材料を用いることが できるので、現在 CMOS LSIを製造している設備をそのまま使用することができ、 製造コストの削減を図れる。このように CMOS型撮像素子は多くの利点を持っており 、最近注目されて 、る撮像素子である。
[0004] 固体撮像素子が、デジタルスチルカメラ、ビデオカメラ、携帯電話などに搭載されて 、画像や映像を撮影する際、次のような手順で画像を作成する。
(a) CCD又は MOSセンサで得られた電気信号を、センサの一番端から 1画素ごとに 1ライン読み出して、比較的安価な SDRAM (Synchronous DRAM)等のメモリに 一時記憶させる。 (b) 1ラインの読み出しと、 SDRAMへの書き込みが終了すれば、次に 2ライン 3ライ ンと繰り返してゆき、 1フレーム分を SDRAMに書き込む。
(c)次に、その SDRAM力 信号を読み出して、拡大又は縮小等のズーム処理など の信号処理演算を行 、、演算後のデータを再び SDRAMに一時記憶させる。
(d)その後、 SDRAMから上記演算後のデータを読み出して圧縮処理を施して記録 に適し PEG等の圧縮データに変換し、それを再び SDRAMに一時記憶させる。
(e)そして、 DMA (Direct Memory Access)制御等により高速に SDRAMから 上記圧縮データを読み出して外部の半永久保存メモリへ出力する。
[0005] 近年、デジタルスチルカメラ（DSC)で撮影される画像の画素数は増加の一途をた どっており、最近では 1, 600万画素以上の解像度を持つデジタルスチルカメラも出 現し、比較的廉価なデジタルカメラでも 300万〜 500万画素の解像度を持って 、る。
[0006] 一方、ビデオカメラにおいては、 1秒間に 30コマから 60コマの画像を撮影して、そ れを連続して表示することで動画像を出力して ヽるが、 1コマの画像は VGAサイズで 640 X 480 = 307, 200画素、ノヽイビジョン（HD)サイズでも 1, 920 X 1, 080 = 2, 0 73, 600画素の解像度である。
[0007] ビデオカメラで用いられる撮像素子は、 VGAサイズの動画を撮影する場合で 30万 画素程度の解像度を持ち、かつ、 1秒間に 30コマ以上の撮影が可能な素子で十分 であるのだが、家庭用ビデオカメラにおいては、ビデオカメラで 200〜300万画素の 静止画を撮影する要望も高 ヽため、高解像度の撮像素子を用いてビデオカメラを構 成し、動画撮影時と静止画撮影時で切り替えて画像の撮像を行なう構成となって 、る
[0008] 特許文献 1 :特開 2002— 251819
発明の開示
発明が解決しょうとする課題
[0009] 動画撮影中は、例えばフレームレートが 1Z30秒のときは、 1Z30秒以内に 1フレ ームの画素データを読み出さなければならない。しかし、高精細な静止画を構成する 数メガピクセルの画素データを 1Z30秒以内に読み出すことは困難であった。
課題を解決するための手段 [0010] 本発明にかかる撮像データ処理装置は、 2次元配列された画素を有し、各画素か ら光電変換したアナログデータを出力する撮像部と、前記アナログデータをデジタル データに変換する AZDコンバータと、前記デジタルデータに基づき動画処理を行う 動画処理部と、前記デジタルデータに基づき静止画処理を行う静止画処理部と、前 記 AZDコンバータ力 動画処理部にデータを送る第 1経路と、前記 AZDコンパ一 タから静止画処理部にデータを送る第 2経路と、前記第 2経路に、 AZDコンバータ で発生したデジタルデータを蓄積するメモリとを備える。
[0011] 本発明にかかる撮像データ処理装置において、更に、前記第 1経路に、 AZDコン バータで発生したデジタルデータについて、画素間引きを行う、画素間引き部を備え る。
[0012] 本発明に力かる撮像データ処理装置において、前記 AZDコンバータは、第 1A/ Dコンバータ、第 2AZDコンバータ、 · · ·、第 Nの AZDコンバータ（Nは正の整数）を 含むと共に、第 1AZDコンバータ、第 2AZDコンバータ、 · · ·、第 Nの AZDコンパ ータの出力に接続されるスケーリング処理部を有し、第 1AZDコンバータ、第 2AZ Dコンバータ、 · · ·、第 Nの AZDコンバータの入力は、それぞれ、第 1のチャンネル 線、第 2のチャンネル線、 · · ·、第 Nのチャンネル線に接続され、前記撮像部にある画 素は、 N画素を含む複数のブロックに分けられ、第 1ブロックに含まれる画素は、第 1 チャンネルの線、第 2ブロックに含まれる画素は、第 2チャンネルの線、 · · ·、第 Nブロ ックに含まれる画素は、第 Nチャンネルの線に接続される。
[0013] 本発明にかかる撮像データ処理装置において、前記第 1AZDコンバータ、第 2A /Dコンバータ、 · · ·、第 Nの AZDコンバータの出力は、更にメモリに接続される。
[0014] 本発明に力かる撮像素子は、 2次元配列された画素を有し、各画素から光電変換 したアナログデータを出力する撮像部と、前記アナログデータをデジタルデータに変 換する AZDコンバータと、前記 AZDコンバータから、動画処理用としてのデジタル データを第 1出力端に送る第 1経路と、前記 AZDコンバータから、静止画処理用とし てのデジタルデータを第 2出力端に送る第 2経路と、前記第 2経路に、 AZDコンパ ータで発生したデジタルデータを蓄積するメモリとを備えた、単一 LSIチップで構成 する。 [0015] 本発明にかかる撮像素子において、更に、前記第 1経路に、 AZDコンバータで発 生したデジタルデータについて、画素間引きを行う、画素間引き部を備える。
[0016] 本発明に力かる撮像素子において、前記 AZDコンバータは、第 1AZDコンパ一 タ、第 2A/Dコンバータ、 · · ·、第 Nの A/Dコンバータ（Nは正の整数）を含むと共 に、第 1AZDコンバータ、第 2AZDコンバータ、 · · ·、第 Nの AZDコンバータの出 力に接続されるスケーリング処理部を有し、第 1AZDコンバータ、第 2AZDコンパ ータ、 · · ·、第 Nの AZDコンバータの入力は、それぞれ、第 1のチャンネル線、第 2の チャンネル線、 · · ·、第 Nのチャンネル線に接続され、前記撮像部にある画素は、 N 画素を含む複数のブロックに分けられ、第 1ブロックに含まれる画素は、第 1チャンネ ルの線、第 2ブロックに含まれる画素は、第 2チャンネルの線、 · · ·、第 Nブロックに含 まれる画素は、第 Nチャンネルの線に接続される。
[0017] 本発明にかかる撮像素子において、前記第 1AZDコンバータ、第 2AZDコンパ一 タ、…、第 Nの A/Dコンバータの出力は、更にメモリに接続される。
発明の効果
[0018] 上記、解決の手段を用いることで、動画撮影中に、動画撮影で得られる 1フレーム の画像の数倍の解像度を持つ静止画を、動画撮影を停止することなぐ撮影すること が可能となる。
[0019] 動画撮影中に動画撮影を停止することなく高精細な静止画を撮影するほかの方法 として、画素データの出力レートを上げたり、画素データの出力端子を多数用意した りすることも考えられるが、レートの増加に伴う消費電力の大幅な増加や、 LSIの端子 を増やすことによるコスト増、実装が困難になることなどの弊害もある。本発明を用い れば、これらの問題点をすベて解決して動画撮影中に動画撮影を停止することなく 高精細な静止画を撮影することが可能となる。
図面の簡単な説明
[0020] [図 1]第 1の実施の形態のブロック図である。
[図 2]第 1の実施の形態の撮像部の概略図である。
[図 3]第 1の実施の形態の撮像素子における信号の波形図である。
[図 4]第 2の実施の形態のブロック図である。 [図 5]第 2の実施の形態の撮像部の概略図である。
[図 6]第 2の実施の形態の撮像素子における信号の波形図である。
符号の説明
[0021] 2, 52 :撮像素子
4, 54 :撮像部
6, 56a, 56b, 56c, 56d: A,Dコンノータ
8 :画素間引き部
10, 60 :メモリ
12, 62 :メモジコン卜ローラ
20, 70 :センサコントローラ
22a, 72a :動画処理部
22b, 72b :静止画処理部
発明を実施するための最良の形態
[0022] (第 1の実施の形態）
図 1は、第 1の実施の形態の撮像データ処理装置を示す。
[0023] 撮像データ処理装置は、撮像素子 2と、センサコントローラ 20と、動画処理部 22aと 、静止画処理部 22bで構成される。
[0024] 撮像素子 2は、光を電荷に変換する撮像部 4と、撮像部 4から出力された電荷をデ ジタルデータに変換する AZDコンバータ 6と、 AZDコンバータ 6で発生したデジタ ルデータを時間的に間引く画素間引き部 8と、 AZDコンバータ 6で発生したデジタル データを一時的に蓄積するメモリ 10と、メモリの制御を行うメモリコントローラ 12を有 する。
撮像部 4は、画素が 2次元方向、すなわち直交する 2方向（X方向、 Y方向）に配列さ れており、横 1920画素、縦 1440画素、合計 2, 764, 800画素で構成されている。 撮像素子 2は、単一の LSIチップで構成されるので、イメージセンサー LSI2とも言う。
[0025] イメージセンサー LSI2には、センサコントローラ 20と、動画処理部 22aと、静止画 処理部 22bが接続されている。動画処理部 22aと、静止画処理部 22bは、別々の LS Iで設けることもできるし、一体構成の LSIで設けることもできる。動画処理部 22aでは 、例えば MPGE等の動画処理が行われ、静止画処理部 22bでは、例え «JPEG等 の静止画処理が行われる。センサコントローラ 20は、撮像開始信号 Sl、撮像データ 読み出し信号 S2、静止画撮像指示信号 S3、静止画出力指示信号 S4を生成し、こ れらの信号はイメージセンサー LSI2に入力される。撮像開始信号 Sl、撮像データ 読み出し信号 S2は、撮像部 2を制御する。すなわち、撮像開始信号 S1が入力される と、撮像部 2は光の強さを電気信号に変換し、その電気信号を画素毎に蓄積する。 撮像データ読み出し信号 S2が入力されると、撮像部 2の画素毎に蓄積された電気信 号を撮像部 4の外部へ出力する。撮像部力も読み出された画素毎の電気信号は、 A ZDコンバータ 6に入力され、デジタル信号に変換される。
[0026] 図 2は、撮像部 4内の画素 30の構造と、画素に蓄積された電気信号データが読み 出される順番を表したものである。各画素の上には色フィルタが配置されており、原 色フィルタがべィヤー配列で配置されている。べィヤー配列は、赤 (R)、緑 (G)、青（ B)のフィルタが図 2のように格子状に R、 Gr、 Gb、 Bのように配置されており、カラー 画像を撮像する際の一般的な配列である。ここで、 Grは、赤画素と緑画素が含まれ る X方向の行に存在する緑の画素を示し、 Gbは、青画素と赤画素と緑画素が含まれ る X方向の行に存在する緑の画素を示す。
[0027] 色フィルタの配列は、原色フィルタのべィヤー配列のほかに、補色フィルタを巿松 模様状に配置する方法等も一般的であるが、どの色フィルタの配列でも採用は可能 である。
[0028] 撮像部 4内の画素力 読み出されたデータは、図 2の矢印で示す順番で AZDコン バータ 6に入力され、 AZDコンバータ 6でデジタル信号に変換される。 AZDコンパ ータ 6から出力されたデジタルィ匕された画素データは、この順番のまま画素間引き部 8に入力される。画素間引き部 8では、同色のとなり合う 4画素のうち、左上にある 1画 素のみを出力し、残りの 3画素は間引きデータとして出力をしない。例えば 1行目左 端の赤 (R)画素を最初の画素として説明すると、最初の R画素に対し、これから処理 される方向にあり、最も近い 3つの R画素は、 1行目の 3番目の R画素と、 3行目の 1番 目の R画素と、 3行目の 3番目の R画素である。これら 3画素と、最初の R画素を含め た 4画素の内、左上にある 1画素、この場合は最初の R画素のみのデータを出力し、 他の 3画素からのデータは、破棄する。これにより、全画素から 1Z4の画素に間引き が行われる。画素間引き部 8により 1フレームの画素数は、横 960、縦 720画素となり
、動画像を作成する上で適切な画素数となる。
[0029] なお、画素間引き部 8は、全画素から 1Z4の画素に間引きを行う説明をした力 他 の割合の間引き、例えば、 1/9, 1/16, · · · , l/n2 (nは正の整数)の画素に間引 くことも可能である。更に、広く言えば、画素間引き部 8は、 1ZN (Nは正の整数）の 画素に間引くことも可能である。
[0030] 画素間引き部 8から出力されたデータは、撮像データ出力端子 14を通してイメージ センサー LSI2から出力され、動画処理部 22aで動画処理が行なわれる。
[0031] 以上の動作は、動画像の 1フレーム期間、例えば 1Z30秒以内に行なわれ、撮像 データ出力端子 14から出力される動画像が 1Z30秒で 1つのフレームを形成できる
[0032] このとき、撮像データ出力端子 14からは 1秒間に 20, 736, 000個（2, 764, 800
X 30Z4)の画素データが出力される。つまり、撮像データ出力端子 14を通した外部 とのインターフェースには 20. 8MHz程度でよ!、ことがわかる。
[0033] また、 AZDコンバータ 6が出力した信号は、イメージセンサー LSI内にあるメモリ 10 にち送られる。
[0034] 静止画を捕らえるためのシャッターボタン（図示せず）を押すと、センサコントローラ 2 0から静止画撮像指示信号 S3のパルスが出力される。イメージセンサー LSI2に静止 画撮像指示信号 S3のパルスが入力されると、メモリコントローラ 12は、 AZDコンパ ータ 6からの画素データをメモリ 10に格納するようにメモリを制御し、撮像部 4から出 力される全ての画素のデータを格納する。
[0035] 静止画撮像指示信号 S3のノ ルスが発せられ、撮像部 4内にある全ての画素のデ ータをメモリ 10内に格納したら、静止画出力指示信号 S4のパルスにより、メモリ 10内 に格納された 1画面分の画素データを読み出す。すなわち、静止画撮像指示信号 S 3及び静止画出力指示信号 S4は、メモリ 10の書き込み読み出しを制御する。メモリ 1 0に格納された画素データは、メモリデータ出力端子 16を通してイメージセンサー LS 12から出力される。メモリデータ出力端子 16のインターフェースが、撮像データ出力 端子 14のインターフェースと同様に、 20. 8MHzで動作すると、 1画面分の画素デー タを出力するのに、 0. 133禾少（2, 764, 800/20, 800, 000)力力る。
[0036] 図 3にイメージセンサー LSI2における信号のタイムチャートを示す。 1フレーム期間 は連続する 2つのフレーム間ブランキング信号 FBのパルス間隔、例えば 1Z30秒で あり、その間に 1フレーム分の画素データが撮像部 4から出力される。撮像データ出 力端子 14からは、撮像部から出力された画素データ 4画素につき 1画素出力される。
[0037] 撮像データ出力端子 14から動画用の画素データが出力されている期間において、 静止画撮像指示信号 S3のパルスが入力されれば、次に最初に現れるフレーム間ブ ランキング信号 FBのパルスにより、メモリ 10に画素データの格納を開始する。すなわ ち、画素データのメモリ 10への格納は、フレーム間ブランキング信号に同期して行わ れる。
[0038] 1フレーム時間内でメモリ 10内に格納された画素データは、静止画出力指示信号 S
4が発せられると、メモリ 10内に格納された画素データの出力を開始する。このとき画 素データはメモリデータ出力端子 16から出力される。メモリ 10内に格納されたデータ は、次のデータが格納されるまで保持されるので、メモリデータ出力端子 16からの画 素データの出力は、外部とのインターフェースに応じて自由にタイミングを設定するこ とが可能である。図 3のタイムチャートでは、撮像データ出力端子 14と同じ出力レート
(20. 8MHz)で出力を行なっている例が示されている。
本発明の一つの特徴は、動画処理と、静止画処理を並行して行う撮像データ処理 方法において、動画処理のためフレーム毎に同期信号 FBを出力し、同期信号 FBに 同期して AZDコンバータからフレーム毎のデジタルデータを出力し、静止画撮影の ための静止画撮像指示信号 S3が出力されたときは、静止画撮像指示信号 S3が出 力された後に出力される同期信号に同期して、 AZDコンバータ力もデジタルデータ 力 Sメモリへ送られ蓄積を開始することである。 また、メモリへ送られるデジタルデータは、動画処理部に送られるデジタルデータよ りも、画素密度が高いデジタルデータである。
[0039] この例では、静止画出力指示信号 S4の発生に応答して、メモリ 10内に格納された 画素データを出力したが、 1フレーム分の画素データをメモリ内に格納してすぐ、もし くは一定の時間をおいて自動的にメモリデータ出力端子 16から出力を行なうような制 御にしてもよい。この場合は、静止画出力指示信号 S4は不要である。また、 2ポート R AMなどを使うことで、画素データのメモリ 10への格納が完了する前にメモリ 10内の データの出力を行なうことも可能である。
[0040] 以上より明らかなように、イメージセンサー LSI2内において、 AZD変換された画素 データは、画素間引き部 8と撮像データ出力端子 14で構成する第 1経路 L1を介して 、動画データが出力されると共に、 AZD変換された画素データは、メモリ 10とメモリ データ出力端子 16で構成する第 2経路 L2を介して、静止画データが出力される。ま た、メモリ 10への画素データの格納は、画素間引き部 8において、画素間引きが実 行されて!、る期間であっても良！、し、画素間弓 Iきが実行されて！、な！/、期間であっても 良い。このようにメモリ 10をイメージセンサー LSI2内に設けたので、第 1経路 L1に画 素データが送り出され、動画処理がなされている期間であっても、第 2経路 L2にある メモリ 10に静止画データを格納することができる。
(第 2の実施の形態）
図 4は、第 2の実施の形態の撮像データ処理装置を示す。
[0041] 撮像データ処理装置は、撮像素子 52と、センサコントローラ 70と、動画処理部 72a と、静止画処理部 72bで構成される。
[0042] 撮像素子 52は、光を電荷に変換する撮像部 54と、撮像部 54から出力された電荷 をデジタルデータに変換する 4つの AZDコンバータ 56a, 56b, 56c, 56dと、 Α/Ό コンバータ 56a, 56b, 56c, 56dで発生したデジタルデータを加算する画素値加算 部 58と、 A/Dコンバータ 56a, 56b、 56c、 56dで発生したデジタルデータを蓄積す るメモリ 60と、メモリの制御を行うメモリコントローラ 62を有する。撮像素子 52は、単一 の LSIチップで構成されるので、イメージセンサー LSI52とも言う。
[0043] イメージセンサー LSI52には、センサコントローラ 70と、動画処理部 72aと、静止画 処理部 72bが接続されている。動画処理部 72aと、静止画処理部 72bは、第 1の実 施の形態と同様に構成される。センサコントローラ 70も第 1の実施の形態と同様に構 成される。
[0044] 撮像開始信号 S1が入力されると、撮像部 54は光の強さを電気信号に変換し、その 電気信号を蓄積する。撮像データ読み出し信号 S2が入力されると、撮像部 2に蓄積 された電気信号を画素毎に撮像部 54の外部へ出力する。撮像部から読み出された 画素毎の電気信号は、 AZDコンバータ 56a, 56b, 56c, 56dに入力され、デジタル 信号に変換される。
[0045] 図 4のイメージセンサー LSI52内にある撮像部 54は、画素読み出しチャネルが 4チ ャネルあり、 4画素を同時に読み出すことが可能である。撮像部 54の詳細を図 5で示 す。
[0046] 図 5において、撮像部 54は画素が 2次元方向、すなわち直交する 2方向（X方向、
Y方向）に配列されており、第 1の実施の形態と同様に、その上に原色の色フィルタ がべィヤー配列で配置されている。ここで、 X方向を行と言い、 Y方向を列という。
[0047] 直交する 2方向に配列された画素は、 2 X 2の 4画素を一つのブロックとして、複数 のブロックにまとめられている。従って、ブロックも、直交する 2方向（X方向、 Y方向） に配列される。配列されたブロックの内、 1行目の奇数番目（1番目、 3番目、 5番目、 • · のブロックに含まれる画素は、チャンネル 0の線に接続される。 1行目の偶数番 目（2番目、 4番目、 6番目、 · · ·）のブロックに含まれる画素は、チャンネル 1の線に接 続される。 2行目の奇数番目（1番目、 3番目、 5番目、 · · のブロックに含まれる画素 は、チャンネル 2の線に接続される。 2行目の偶数番目（2番目、 4番目、 6番目、 · · ·） のブロックに含まれる画素は、チャンネル 3の線に接続される。すなわち、奇数行の奇 数番目のブロックに含まれる画素は、チャンネル 0の線に、奇数行の偶数番目のブロ ックに含まれる画素は、チャンネル 1の線に、偶数行の奇数番目のブロックに含まれ る画素は、チャンネル 2の線に、偶数行の偶数番目のブロックに含まれる画素は、チ ヤンネル 3の線に、接続される。
[0048] 各ブロック内の 4画素が読み出される順番は、左上 (R)、右上 (Gr)、左下 (Gb)、右 下（B)の順番、すなわち 1行目の左、右、続いて 2行目の左、右の順番である。ここで 、カツコで示した色は一例であり、これに限る物ではない。また、ブロック単位で言う 1 行目の 1番目と 2番目のブロック、 2行目の 1番目と 2番目のブロック、計 4つのブロック に含まれる画素データが、並行して、 4つのチャンネル 0, 1, 2, 3の線を介して読み 出される。続いて、 1行目の 3番目と 4番目のブロック、 2行目の 3番目と 4番目のブロ ック、計 4つのブロックに含まれる画素データ力 並行して読み出される。このようにし て、 1行目と 2行目のブロックが左端力 右端に向力つて 2つずつ、順番に読み出され る。続いて 3行目と 4行目のブロックが左端力も右端に向力つて 2つずつ、順番に読み 出される。
[0049] なお、 2 X 2の 4画素を一つのブロックとして説明した力 3 X 3の 9画素、 4 X 4の 16 画素、 · · ·、 n X nの n2画素（nは正の整数）を一つのブロックとすることも可能である。 更に広く言えば、 N画素（Nは正の整数）を一つのブロックとすることも可能である。
[0050] 次に画素値加算部 58について説明する。
[0051] まず、行方向、列方向に隣接する 4つのブロックからの画素データは、それぞれブ ロックに接続された 4つのチャンネル 0, 1, 2, 3の線を介して、画素値加算部 58に送 られる。 4つのブロックのそれぞれにおける左上の画素の画素値が画素値加算部 58 に送られ、加算される。これらの 4つの画素は最も近い同色の 4画素である。画素値 加算部 58では画素混合が行われるが、これは、単純な加算のみならず、加算された 合計値を 4で割った平均値を求めたり、加算前に重み付けを行ったりすることも可能 である。画素混合が行われた加算値が、動画データとして画像処理部 72aに送られ る。画素値加算部 58は、画素混合を行うので、画素混合部とも言う。続いて、 4つの ブロックのそれぞれにおける右上の画素からの画素値が画素値加算部 58に送られ、 加算され、同様に処理される。更に、 4つのブロックのそれぞれにおける左下の画素 力もの画素値が画素値加算部 58に送られ、加算され、同様に処理される。そして、 4 つのブロックのそれぞれにおける右下の画素からの画素値が画素値加算部 58に送 られ、加算され、同様に処理される。画素加算部 58の代わりに、 4つのチャンネル 0, 1, 2, 3の内、ひとつのチャンネルを選択するセレクタを用いても良い。画素加算部と セレクタは、いずれも 4画素のデータを 1画素のデータにまとめるので、いずれもスケ 一リング処理部という。
[0052] 次に、メモリ 60について説明する。
[0053] 各チャネルの A/D変換後の出力はメモリ 60にも加えられる。メモリコントローラ 62 が静止画撮像指示信号 S3のパルスを受けると、全ての画素データをメモリ 60に格納 する。次に、静止画出力指示信号 S4のパルスを受けると、メモリ 60に格納された 1画 面の画素データ全てを、メモリデータ出力端子 66から出力し、静止画処理部 72bに 送る。メモリデータ出力端子 66からの出力は、メモリ 60に画素データが格納された後 、一定期間経過後、自動的に行うようにしても良いし、動画処理部 72aの動画処理の 空き時間に行うようにしても良 ヽ。
[0054] 図 6に第 2の実施の形態のタイムチャートを示す。チャネル 0, 1, 2, 3には同じタイ ミングで画素データが伝送される。撮像データ出力端子 64からは、同じタイミングで 得られた画素データを加算して 1つのデータにして出力している。
[0055] 静止画撮像指示信号 S3のノ ルスを受けた後、第 1の実施の形態と同様に、次の新 しいフレーム期間が開始した後、 4つの AZDコンバータからの画素データをメモリに 格納し始め、撮像部 54の 1画面力もの画素データ全てをメモリに格納する。図 6では 、メモリに入力する画素データ 4チャンネル分をシリアルにして撮像部の出力チヤネ ルの 4倍のサイクルでメモリに入力して ヽるが、画素データ 4チャンネル分をパラレル にして、出力チャネルと同じサイクルで入力することも可能である。
[0056] 第 2の実施の形態を一般的に説明すると、 AZDコンバータとして、第 1AZDコン バータ、第 2AZDコンバータ、 · · ·、第 n2AZDコンバータ (nは正の整数）を含むと 共に、第 1AZDコンバータ、第 2AZDコンバータ、 · · ·、第 n2AZDコンバータの出 力にスケーリング処理部 58が接続される。第 1AZDコンバータ、第 2AZDコンパ一 タ、 …、第 n2AZDコンバータの入力は、それぞれ、第 1のチャンネル線、第 2のチヤ ンネル線、 · · ·、第 n2のチャンネル線に接続される。また、撮像部にある画素 30は、 n 2画素を含む複数のブロックに分けられ、第 1ブロックに含まれる画素は、第 1チャンネ ルの線、第 2ブロックに含まれる画素は、第 2チャンネルの線、 · · ·、第 rfブロックに含 まれる画素は、第 n2チャンネルの線に接続される。更に、第 1AZDコンバータ、第 2 A/Dコンバータ、 · · ·、第 n2AZDコンバータの出力は、更にメモリに接続される。 更に、第 2の実施の形態を広く説明すると、 A/Dコンバータとして、第 1A/Dコン バータ、第 2AZDコンバータ、 · · ·、第 Nの AZDコンバータ（Nは正の整数）を含む と共に、第 1AZDコンバータ、第 2AZDコンバータ、 · · ·、第 Nの AZDコンバータの 出力にスケーリング処理部 58が接続される。第 1AZDコンバータ、第 2AZDコンパ ータ、 · · ·、第 Nの AZDコンバータの入力は、それぞれ、第 1のチャンネル線、第 2の チャンネル線、 · · ·、第 Nのチャンネル線に接続される。また、撮像部にある画素 30 は、 N画素を含む複数のブロックに分けられ、第 1ブロックに含まれる画素は、第 1チ ヤンネルの線、第 2ブロックに含まれる画素は、第 2チャンネルの線、 · · ·、第 Nブロッ クに含まれる画素は、第 Nチャンネルの線に接続される。更に、第 1AZDコンバータ 、第 2AZDコンバータ、 · · ·、第 Nの AZDコンバータの出力は、更にメモリに接続さ れる。
[0057] 以上より明らかなように、イメージセンサー LSI52内において、 A/D変換された画 素データは、スケーリング処理部である画素加算部 58と撮像データ出力端子 64で 構成する第 1経路 L1を介して、動画データが出力されると共に、 AZD変換された画 素データは、メモリ 60とメモリデータ出力端子 66で構成する第 2経路 L2を介して、静 止画データが出力される。また、メモリ 60への画素データの格納は、画素加算部 58 において、画素加算が実行されている期間であっても良いし、画素加算が実行され て！ヽな 、期間であっても良 、。このようにメモリ 60をイメージセンサー LSI52内に設 けたので、第 1経路 L1に画素データが送り出され、動画処理がなされている期間で あっても、第 2経路 L2にあるメモリ 60に静止画データを格納することができる。
[0058] 更に、以上より明らかなように、撮像部 54から読み出される画素データは、 4つのチ ャネルから同時に 4画素分のデータが読み出され、それらは隣り合う同色の画素デー タになる。撮像部からの出力は 4つの AZDコンバータに送られ、画素データはデジ タルのデータに変換される。 4つの AZDコンバータからはそれぞれ同時に画素デー タが出力される。 AZDコンバータの出力は、画素値加算部 58において、同じ時間 に得られた隣り合う同色の画素が加算される。画素値加算部 58で加算された画素デ ータは、撮像データ出力端子を通して外部に出力される。こうすることで、全画素読 み出しで得られた画素データ全てをイメージセンサ LSI52から出力することなぐ画 素加算されたデータを得ることができ、折り返しひずみの少な 、画像を得ることができ る。また、外部とのインターフェースの周波数も小さくすることができ、回路の設計を容 易にし、消費電力を下げることも可能となる。
[0059] 以上説明した装置を用いることで、動画撮影中に動画から得られる 1フレームの画 像を間引くことなぐ撮像部で撮像したままの画素数の画像データを持つ静止画、上 述した実施の形態の説明では 4倍の解像度を持つ静止画を、動画撮影を停止するこ となぐ撮影することが可能となる。
産業上の利用可能性
本発明は、個体撮像素子に利用可能である。

Claims

請求の範囲
[1] 2次元配列された画素を有し、各画素力 光電変換したアナログデータを出力する 撮像部と、
前記アナログデータをデジタルデータに変換する AZDコンバータと、
前記デジタルデータに基づき動画処理を行う動画処理部と、
前記デジタルデータに基づき静止画処理を行う静止画処理部と、
前記 AZDコンバータ力 動画処理部にデータを送る第 1経路と、
前記 AZDコンバータ力 静止画処理部にデータを送る第 2経路と、
前記第 2経路に、 AZDコンバータで発生したデジタルデータを蓄積するメモリと、 を備えることを特徴とする撮像データ処理装置。
[2] 更に、前記第 1経路に、 AZDコンバータで発生したデジタルデータについて、画 素間引きを行う、画素間引き部を備えることを特徴とする請求項 1記載の撮像データ 処理装置。
[3] 前記 AZDコンバータは、第 1AZDコンバータ、第 2AZDコンバータ、 · · ·、第 Nの
A/Dコンバータ（Nは正の整数）を含むと共に、第 1A/Dコンバータ、第 2AZDコ ンバータ、 · · ·、第 Nの A/Dコンバータの出力に接続されるスケーリング処理部を有 し、
第 1AZDコンバータ、第 2AZDコンバータ、 · · ·、第 Nの AZDコンバータの入力 は、それぞれ、第 1のチャンネル線、第 2のチャンネル線、 · · ·、第 Nのチャンネル線 に接続され、
前記撮像部にある画素は、 N画素を含む複数のブロックに分けられ、第 1ブロックに 含まれる画素は、第 1チャンネルの線、第 2ブロックに含まれる画素は、第 2チャンネ ルの線、 · · ·、第 Nブロックに含まれる画素は、第 Nチャンネルの線に接続されること を特徴とする請求項 1記載の撮像データ処理装置。
[4] 前記第 1AZDコンバータ、第 2AZDコンバータ、 · · ·、第 Nの AZDコンバータの 出力は、更にメモリに接続されることを特徴とする請求項 3記載の撮像データ処理装 置。
[5] 前記スケーリング処理部は、前記第 1AZDコンバータ、第 2AZDコンバータ、 · · · 、第 Nの AZDコンバータの出力を加算する加算部であることを特徴とする請求項 3 記載の撮像データ処理装置。
[6] 前記スケーリング処理部は、前記第 1AZDコンバータ、第 2AZDコンバータ、 · · ·
、第 Nの AZDコンバータの出力の内いずれかを選択するセレクタであることを特徴と する請求項 3記載の撮像データ処理装置。
[7] 更に、撮像部を制御する撮像開始信号及び撮像データ読み出し信号並びに、メモ リの書き込み読み出しを制御する静止画撮像指示信号、静止画出力指示信号を出 力するセンサコントローラを備えることを特徴とする請求項 1記載の撮像データ処理 装置。
[8] 更に、前記メモリを制御するメモリコントローラを有することを特徴とする請求項 1記 載の撮像データ処理装置。
[9] 2次元配列された画素を有し、各画素力 光電変換したアナログデータを出力する 撮像部と、
前記アナログデータをデジタルデータに変換する AZDコンバータと、
前記 AZDコンバータから、動画処理用としてのデジタルデータを第 1出力端に送 る第 1経路と、
前記 AZDコンバータから、静止画処理用としてのデジタルデータを第 2出力端に 送る第 2経路と、
前記第 2経路に、 AZDコンバータで発生したデジタルデータを蓄積するメモリと、 を備えることを特徴とした、単一 LSIチップで構成する撮像素子。
[10] 更に、前記第 1経路に、 AZDコンバータで発生したデジタルデータについて、画 素間引きを行う、画素間引き部を備えることを特徴とする請求項 9記載の撮像素子。
[11] 前記 AZDコンバータは、第 1A/Dコンバータ、第 2A/Dコンバータ、 · · ·、第 Nの A/Dコンバータ（Nは正の整数）を含むと共に、第 1A/Dコンバータ、第 2AZDコ ンバータ、 · · ·、第 Nの A/Dコンバータの出力に接続されるスケーリング処理部を有 し、
第 1AZDコンバータ、第 2AZDコンバータ、 · · ·、第 Nの AZDコンバータの入力 は、それぞれ、第 1のチャンネル線、第 2のチャンネル線、 · · ·、第 Nのチャンネル線 に接続され、
前記撮像部にある画素は、 N画素を含む複数のブロックに分けられ、第 1ブロックに 含まれる画素は、第 1チャンネルの線、第 2ブロックに含まれる画素は、第 2チャンネ ルの線、 · · ·、第 Nブロックに含まれる画素は、第 Nチャンネルの線に接続されること を特徴とする請求項 9記載の撮像素子。
[12] 前記第 1AZDコンバータ、第 2AZDコンバータ、 · · ·、第 Nの AZDコンバータの 出力は、更にメモリに接続されることを特徴とする請求項 11記載の撮像素子。
[13] 前記スケーリング処理部は、前記第 1AZDコンバータ、第 2AZDコンバータ、 · · · 、第 Nの AZDコンバータの出力を加算する加算部であることを特徴とする請求項 11 記載の撮像素子。
[14] 前記スケーリング処理部は、前記第 1AZDコンバータ、第 2AZDコンバータ、 · · · 、第 Nの AZDコンバータの出力の内いずれかを選択するセレクタであることを特徴と する請求項 11記載の撮像素子。
[15] 更に、前記メモリを制御するメモリコントローラを有することを特徴とする請求項 9記 載の撮像素子。
[16] 2次元配列された画素力 光電変換したアナログデータを出力する撮像部と、前記 アナログデータをデジタルデータに変換する AZDコンバータと、前記デジタルデー タに基づき動画処理を行う動画処理部と、前記デジタルデータに基づき静止画処理 を行う静止画処理部と、前記 A/Dコンバータで発生したデジタルデータを蓄積する メモリとを備え、前記動画処理と、静止画処理を並行して行う撮像データ処理方法で あって、
動画処理のためフレーム毎に同期信号を出力し、
同期信号に同期して AZDコンバータ力 フレーム毎のデジタルデータを出力し、 静止画撮影のための静止画撮像指示信号を出力し、
静止画撮像指示信号が出力した後に出力される同期信号に同期して、 AZDコン バータカ デジタルデータ力 Sメモリへ送られ蓄積を開始する ことを特徴とする撮像データ処理方法。
[17] メモリへ送られるデジタルデータは、動画処理部に送られるデジタルデータよりも、 画素密度が高いデジタルデータであることを特徴とする請求項 16記載の撮像データ 処理方法。
PCT/JP2006/313484 2005-07-15 2006-07-06 撮像データ処理装置、撮像データ処理方法および撮像素子 WO2007010753A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007525941A JP4833213B2 (ja) 2005-07-15 2006-07-06 撮像データ処理装置、撮像データ処理方法および撮像素子
CN2006800210446A CN101199199B (zh) 2005-07-15 2006-07-06 摄像数据处理装置、摄像数据处理方法以及摄像元件
US11/993,942 US7990424B2 (en) 2005-07-15 2006-07-07 Imaging data processing device, imaging data processing method, and imaging element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-206833 2005-07-15
JP2005206833 2005-07-15

Publications (1)

Publication Number Publication Date
WO2007010753A1 true WO2007010753A1 (ja) 2007-01-25

Family

ID=37668635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/313484 WO2007010753A1 (ja) 2005-07-15 2006-07-06 撮像データ処理装置、撮像データ処理方法および撮像素子

Country Status (4)

Country Link
US (1) US7990424B2 (ja)
JP (1) JP4833213B2 (ja)
CN (1) CN101199199B (ja)
WO (1) WO2007010753A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301286A (ja) * 2007-05-31 2008-12-11 Canon Inc 撮像装置及びその制御方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107269B2 (ja) * 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
TW200830859A (en) * 2007-01-12 2008-07-16 Prolific Technology Inc Image capture apparatus
EP2665256B1 (en) * 2007-09-05 2015-11-18 Tohoku University Solid-state image sensor and drive method for the same
JP5006814B2 (ja) * 2008-02-26 2012-08-22 キヤノン株式会社 撮像装置
JPWO2010092740A1 (ja) * 2009-02-10 2012-08-16 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
JP4983961B2 (ja) * 2010-05-25 2012-07-25 株式会社ニコン 撮像装置
JP5959187B2 (ja) * 2011-12-02 2016-08-02 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5889735B2 (ja) * 2012-07-05 2016-03-22 カシオ計算機株式会社 半導体集積回路
CN102868865B (zh) * 2012-09-12 2015-09-02 中国科学院西安光学精密机械研究所 一种图像像元合并的电路及方法
JP2015050446A (ja) * 2013-09-05 2015-03-16 ソニー株式会社 撮像素子および撮像装置
CN105635614A (zh) * 2015-12-23 2016-06-01 小米科技有限责任公司 录像照相方法、装置及终端电子设备
US10680021B2 (en) * 2017-05-12 2020-06-09 General Electric Company Active pixel sensor computed tomography (CT) detector and method of readout

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10108121A (ja) * 1996-09-25 1998-04-24 Nikon Corp 電子カメラ
JP2001103361A (ja) * 1999-09-27 2001-04-13 Olympus Optical Co Ltd 電子カメラ装置
JP2001128036A (ja) * 1999-10-27 2001-05-11 Olympus Optical Co Ltd 電子カメラ装置
JP2003199118A (ja) * 2001-12-27 2003-07-11 Minolta Co Ltd 固体撮像素子及びこれを備えた撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4029569B2 (ja) 2000-12-13 2008-01-09 株式会社日立製作所 ディジタル情報記録再生装置、記録装置、受信装置および送信装置
JP3992659B2 (ja) 2003-08-08 2007-10-17 三洋電機株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10108121A (ja) * 1996-09-25 1998-04-24 Nikon Corp 電子カメラ
JP2001103361A (ja) * 1999-09-27 2001-04-13 Olympus Optical Co Ltd 電子カメラ装置
JP2001128036A (ja) * 1999-10-27 2001-05-11 Olympus Optical Co Ltd 電子カメラ装置
JP2003199118A (ja) * 2001-12-27 2003-07-11 Minolta Co Ltd 固体撮像素子及びこれを備えた撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301286A (ja) * 2007-05-31 2008-12-11 Canon Inc 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JPWO2007010753A1 (ja) 2009-01-29
US20090128645A1 (en) 2009-05-21
CN101199199A (zh) 2008-06-11
CN101199199B (zh) 2010-09-29
US7990424B2 (en) 2011-08-02
JP4833213B2 (ja) 2011-12-07

Similar Documents

Publication Publication Date Title
JP4833213B2 (ja) 撮像データ処理装置、撮像データ処理方法および撮像素子
JP4161384B2 (ja) 固体撮像装置、これを用いたカメラおよび固体撮像装置の駆動方法
JP5342969B2 (ja) 撮像装置及び撮像方法
US8508641B2 (en) Solid-state image sensor and imaging apparatus
JP2007150439A (ja) 撮像装置、撮像方法、およびプログラム
JP2000125213A (ja) 固体撮像装置
JP2006020037A (ja) 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP2008131460A (ja) ディジタルカメラ
JP3985275B2 (ja) 撮像装置および撮像方法
JP3956719B2 (ja) 撮像装置
JP3736455B2 (ja) 固体撮像素子及びこれを備えた撮像装置
JP4195148B2 (ja) 固体撮像装置および信号読出し方法
JP2003060994A (ja) 撮像装置及びカメラシステム
JP3948456B2 (ja) 固体撮像素子および固体撮像素子の制御方法
JP2008306616A (ja) 撮像装置
JP4311473B2 (ja) 撮像装置
JPH10200819A (ja) 固体撮像装置およびその駆動方法並びにカメラ
JP4055052B2 (ja) デジタルカメラ
JP3849230B2 (ja) 信号処理装置
JP2006197548A (ja) 撮像装置
JP4347981B2 (ja) 固体撮像素子の駆動方法
JP2006238205A (ja) 撮像装置及び撮像方法
WO2019176309A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2004112304A (ja) 固体撮像装置、その駆動方法、及び撮像システム
JP4466698B2 (ja) 固体撮像装置、これを用いたカメラおよび固体撮像装置の駆動方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680021044.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007525941

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11993942

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06767943

Country of ref document: EP

Kind code of ref document: A1