WO2011148573A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2011148573A1 WO2011148573A1 PCT/JP2011/002527 JP2011002527W WO2011148573A1 WO 2011148573 A1 WO2011148573 A1 WO 2011148573A1 JP 2011002527 W JP2011002527 W JP 2011002527W WO 2011148573 A1 WO2011148573 A1 WO 2011148573A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- pixel
- unit
- image
- value
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 134
- 238000007906 compression Methods 0.000 claims abstract description 116
- 230000006835 compression Effects 0.000 claims abstract description 106
- 230000006837 decompression Effects 0.000 claims abstract description 39
- 238000012937 correction Methods 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 108
- 238000013139 quantization Methods 0.000 claims description 65
- 230000008859 change Effects 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 description 41
- 238000012856 packing Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 32
- 230000010354 integration Effects 0.000 description 10
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004043 responsiveness Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 102200058632 rs11549839 Human genes 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102220638234 E3 ubiquitin-protein ligase RFWD3_S98A_mutation Human genes 0.000 description 1
- 102220495037 Homeobox protein SIX1_S95A_mutation Human genes 0.000 description 1
- 102220521681 Insulin-induced gene 1 protein_S94A_mutation Human genes 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000013404 process transfer Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 102200143234 rs121912767 Human genes 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
- H04N1/212—Motion video recording combined with still video recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Definitions
- the present invention relates to an imaging device, and more particularly to an imaging device that performs fixed-length encoding of image data.
- an imaging apparatus such as a digital still camera and a digital video camera
- compression processing is performed when data that has undergone all image processing in an integrated circuit is recorded in an external recording device such as an SD card.
- an encoding method such as JPEG (Joint Photographic Experts Group) or MPEG (Moving Picture Experts Group) is used.
- Patent Document 1 discloses that image data compression processing is also applied to pixel signals (RAW data) input from an image sensor. Thereby, even when the number of pixels of the image sensor increases and the load of signal processing increases, this technology reduces the bus bandwidth necessary for writing to and reading from the memory and enables high-speed operation.
- a fixed-length encoding method is employed to guarantee the bus bandwidth and reduce the amount of compression processing.
- the maximum value and the minimum value are calculated from the pixel data of an arbitrary image region, the local dynamic range in the region is obtained, and the value obtained by subtracting the minimum value from all the pixels in the region is Quantization is performed with a quantization width corresponding to the dynamic range. Thereby, fixed-length encoding is performed.
- the pixel data (RAW data) input from the image sensor is subdivided into unit blocks of a small area by fixed-length encoding means, and the average of the image data in the unit block is subdivided.
- the value level is obtained and fixed-length encoded, and the exposure control means calculates the luminance level of the entire image data in the unit block based on the average value level, and takes an image so that the image data becomes a predetermined luminance level. Control the exposure of the device.
- an average value per unit block of an image is separately calculated in addition to fixed-length encoded data obtained by compressing image data, and the exposure amount is controlled based on the average value.
- the image pickup apparatus described in Patent Document 2 reads out the fixed-length encoded data from the memory and displays the image data after performing decompression processing in the same manner as in Patent Document 1, the image pickup apparatus described in Patent Document 1 Similarly, there is a problem that display responsiveness is lacking.
- an object of the present invention is to provide an imaging device capable of improving display responsiveness.
- an imaging device includes an imaging device that generates first image data in response to incident light, and first encoding the first image data by fixed-length encoding.
- a compression unit that generates compressed data, a storage unit that stores the first compressed data, and a decompression that generates first partial decompressed data by decompressing only the first designated data that is part of the first compressed data
- a signal processing unit that generates first partial correction image data by correcting the image quality of the first partial expansion data, and a display unit that displays the first partial correction image data.
- the imaging apparatus decompresses only a part of the compressed data and displays the decompressed data. Accordingly, the imaging device according to one embodiment of the present invention can improve display responsiveness.
- the decompressing unit generates the first partial decompressed data, and then decompresses all of the first compressed data stored in the storage unit to generate first overall decompressed data, and the signal processing The unit may generate first overall corrected image data by correcting the image quality of the first overall decompressed data.
- the imaging apparatus can achieve both high-speed display and large-capacity data processing.
- the compression unit compresses a plurality of pixel data included in the pixel data group to a fixed length for each pixel data group that is a part of the plurality of pixel data included in the first image data.
- Compressed data is generated, and the first designation data may be a part of data included in each of the unit compressed data.
- the imaging apparatus can display an image with reduced resolution at high speed with respect to the captured image data.
- the compression unit calculates bit change information indicating a difference between a predicted value and pixel data of a pixel to be encoded, and calculates a fixed-length quantization value by quantizing the calculated bit change information.
- the unit compressed data includes a reference pixel value that is pixel data used as the predicted value, the quantization value corresponding to the pixel data included in the pixel data group, and quantization information indicating the quantization condition
- the first designation data may include the reference pixel value.
- the reference pixel value is one pixel data included in the pixel data group
- the unit compressed data is a pixel other than the reference pixel value and the one pixel data included in the pixel data group.
- the quantization value corresponding to data and the quantization information may be included.
- the imaging apparatus can display an image obtained by thinning out pixels from captured image data.
- the compression unit may calculate an average value of a plurality of pixel data included in the pixel data group, and the reference pixel value may be the average value.
- the imaging apparatus can display an image with reduced aliasing noise by using information from all the pixels in the pixel data group.
- the pixel data group includes pixel data of a plurality of pixels arranged in succession, and the first designation data is the quantized value corresponding to pixels arranged at equal intervals from the reference pixel value. And may be included.
- the imaging apparatus can display an image with reduced noise.
- Each of the plurality of pixel data is one of pixel data of a plurality of colors
- the unit compressed data includes the reference pixel value for each color
- the first designation data is for each color
- the compression unit calculates the bit change information using a reference pixel value of the same color as the encoding target pixel as the predicted value, and quantizes the calculated bit change information.
- a fixed-length quantization value may be calculated.
- the imaging apparatus can improve display responsiveness to a color image.
- the first imaging element further generates second image data according to incident light
- the compression unit further generates second compressed data by performing fixed length encoding on the second image data
- the storage unit further stores the second compressed data
- the decompression unit further decompresses the second partial decompressed data by decompressing only the second designated data that is a part of the second compressed data.
- the signal processing unit further generates second partial correction image data by correcting the image quality of the second partial decompression data
- the display unit further displays the second partial correction image data.
- the decompression unit generates the first partial decompression data and the second partial decompression data, and then creates the first overall decompression data, and all the second compressed data stored in the storage unit. Stretch A second to generate an entire expanded data by the signal processing section further second may be generated across corrected image data by the image quality correcting the second overall decompressed data.
- the imaging apparatus can improve display responsiveness during continuous shooting.
- the imaging apparatus further calculates a luminance level of the first image data using the first partial decompression data, and an exposure amount of the imaging element so that the first image data becomes a predetermined luminance level. You may provide the exposure control part which controls.
- the imaging apparatus can realize high-speed exposure control.
- the imaging apparatus may further include a focus control unit that calculates a frequency characteristic of pixel data included in the first partial decompression data and performs focus control using the frequency characteristic.
- the imaging apparatus can realize high-speed focus control.
- the first image data may include light-shielded pixel data that is pixel data of a light-shielded pixel, and the compression unit may include a plurality of pixel data included in the pixel data group.
- the first compressed data may be generated by calculating an average value of the plurality of shaded image data for each predetermined number of pixels and encoding the plurality of calculated average values in a fixed length.
- the imaging apparatus can reduce the amount of compressed data while suppressing deterioration in image quality.
- the first image data may include light-shielded pixel data that is pixel data of a light-shielded pixel, and the compression unit may include a plurality of pixel data included in the pixel data group. Calculating the maximum value or the minimum value of the plurality of light-shielded image data for each predetermined number of pixels, and generating the first compressed data by performing a fixed-length encoding of the plurality of calculated minimum values or maximum values. May be.
- the imaging apparatus can reduce the amount of compressed data while suppressing deterioration in image quality.
- the imaging apparatus further includes an AD conversion unit that converts the first image data generated by the imaging element into a digital signal, and the compression unit is converted into a digital signal by the AD conversion unit.
- the first compressed data may be generated by compressing the first image data into a fixed-length code.
- the present invention can be realized not only as such an image pickup apparatus but also as an image processing method using characteristic means included in the image pickup apparatus as steps, or causing a computer to execute such characteristic steps. It can also be realized as a program. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM and a transmission medium such as the Internet.
- the present invention can be realized as a semiconductor integrated circuit (LSI) that realizes part or all of the functions of such an imaging device, or can be realized as an imaging system including such an imaging device.
- LSI semiconductor integrated circuit
- the present invention can provide an imaging apparatus capable of improving display response.
- FIG. 1 is a block diagram of an imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 2 is a diagram illustrating an example of compression processing and each calculation result according to Embodiment 1 of the present invention.
- FIG. 3 is a flowchart of the compression process according to Embodiment 1 of the present invention.
- FIG. 4 is a diagram showing the number of effective bit digits, the quantization width, and the quantization information of the bit change information according to Embodiment 1 of the present invention.
- FIG. 5A is a diagram showing an example of uncompressed data according to Embodiment 1 of the present invention.
- FIG. 5B is a diagram showing an example of compressed packing data according to Embodiment 1 of the present invention.
- FIG. 6A is a diagram showing an example of uncompressed data according to Embodiment 1 of the present invention.
- FIG. 6B is a diagram showing an example of compressed packing data according to Embodiment 1 of the present invention.
- FIG. 7 is a block diagram of the camera signal processing unit according to Embodiment 1 of the present invention.
- FIG. 8 is a diagram illustrating processing timing by the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 9A is a diagram showing an example of uncompressed data according to Embodiment 1 of the present invention.
- FIG. 9B is a diagram showing an example of compressed packing data according to Embodiment 1 of the present invention.
- FIG. 10 is a diagram showing an example of compressed packing data according to Embodiment 1 of the present invention.
- FIG. 10 is a diagram showing an example of compressed packing data according to Embodiment 1 of the present invention.
- FIG. 11 is a diagram illustrating another example of the timing of processing performed by the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 12 is a block diagram of a modification of the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 13 is a block diagram of a camera signal processing unit according to Embodiment 2 of the present invention.
- FIG. 14 is a flowchart of exposure control processing according to Embodiment 2 of the present invention.
- FIG. 15 is a block diagram of a modification of the camera signal processing unit according to Embodiment 2 of the present invention.
- FIG. 16 is a diagram showing an example of the integration region according to the second embodiment of the present invention.
- FIG. 17 is a block diagram of a camera signal processing unit according to Embodiment 3 of the present invention.
- FIG. 18 is a flowchart of focus control processing according to Embodiment 3 of the present invention.
- FIG. 19 is a flowchart of compression processing according to Embodiment 4 of the present invention.
- FIG. 20 is a diagram showing an example of a light shielding region according to Embodiment 4 of the present invention.
- FIG. 21 is a diagram showing an example of compressed packing data according to Embodiment 4 of the present invention.
- FIG. 22 is a block diagram of an imaging system according to Embodiment 5 of the present invention.
- Embodiment 1 The imaging apparatus according to Embodiment 1 of the present invention decompresses only a part of the compressed data and displays the decompressed data. Accordingly, the imaging device according to one embodiment of the present invention can improve display responsiveness.
- FIG. 1 is a block diagram showing a configuration of an imaging apparatus 50 according to Embodiment 1 of the present invention.
- imaging processing function of the imaging apparatus is realized by hardware such as LSI (Large Scale Integration) or a program executed by a CPU (Central Processing Unit) or the like. The same applies to the following embodiments.
- LSI Large Scale Integration
- CPU Central Processing Unit
- 1 includes an imaging unit 100, an image signal processing unit 101, a storage unit 102, and a recording storage unit 103.
- the imaging unit 100 includes an imaging device 1, an AFE (Analog Front End) circuit 2, and a compression unit 3.
- the image signal processing unit 101 includes an expansion unit 4, a camera signal processing unit 5, a resolution conversion unit 6, an image encoding unit 7, a video encoder 8, and a memory controller 9. Further, the expansion unit 4, the camera signal processing unit 5, the resolution conversion unit 6, the image encoding unit 7, the video encoder 8, and the memory controller 9 are connected to each other by an internal bus 10.
- the image sensor 1 generates image data 21 according to the incident light.
- the image sensor 1 is a solid-state image sensor such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor) type image sensor.
- the image sensor 1 generates image data 21 that is an analog signal by converting light incident from a subject through an unillustrated lens block into an electrical signal.
- the AFE 2 generates image data 22 by performing signal processing such as noise removal, signal amplification, and A / D conversion on the image data 21 output from the image sensor 1.
- the compression unit 3 generates compressed data 23 by performing fixed-length encoding on the image data 22 output from the AFE 2.
- FIG. 2 is a diagram for explaining the processing of the compression unit 3 according to Embodiment 1 of the present invention.
- FIG. 3 is a flowchart of the processing of the compression unit 3 according to Embodiment 1 of the present invention.
- the image data 22 includes a plurality of pixel data 22A having a fixed bit width (N bits) corresponding to one pixel.
- the compression unit 3 sequentially receives the pixel data 22A having the fixed bit width.
- the bit width M of the quantized value 29 is 8 bits.
- the compression unit 3 compresses a plurality of pieces of pixel data 22A (pixel data group) into compressed data 23 (hereinafter, compressed packing data 23A (unit compressed data)) obtained by packing the data into a fixed length of S bits.
- the data is output to the processing unit 101.
- the fixed bit S to be set is 64 bits. Note that the fixed bit width N, the bit width M of the quantized value, and the fixed bit S may be determined in advance, and are not limited to the examples shown here.
- the code conversion performed in this embodiment is gray code conversion.
- the reason why the pixel data is gray coded is that the bit change when expressing the approximate data can be suppressed and the compression rate can be increased.
- an exclusive OR is performed on a bit string in which a decimal number is represented by a binary code with a bit adjacent to the upper bit in order from the lower bit. The method is taken.
- FIG. 2 shows, as an example, seven pieces of pixel data 22A compressed into one compressed packing data 23A. Further, it is assumed that pixel data 22A corresponding to each pixel is input in the order of the pixels P1, P2,..., P7. The numerical values shown in the pixels P1 to P7 are signal levels indicated by the corresponding pixel data 22A. Note that the pixel data 22A corresponding to the pixel P1 has an initial pixel value 22B. Here, the initial pixel value 22B is the pixel data 22A that is input first among the pixel data 22A that is packed into one compressed packing data 23A of S bits.
- the prediction value of the encoding target pixel is calculated using the pixel data 22A of the pixel adjacent to the left of the encoding target pixel as an example. That is, it is predicted that the pixel data 22A of the encoding target pixel is likely to be the same pixel data 22A (level) as the pixel input immediately before.
- step S101 the compression unit 3 determines whether or not the input pixel data 22A is the initial pixel value 22B.
- the compression unit 3 stores the received initial pixel value 22B in the internal buffer and transmits the initial pixel value 22B to the packing buffer. To do. And a process transfers to step S110 mentioned later.
- step S102 if the input pixel data 22A is not the initial pixel value 22B (NO in S101), the process proceeds to step S102.
- the compression unit 3 receives the pixel data 22A corresponding to the pixel P1, which has the initial pixel value 22B.
- the compression unit 3 stores the initial pixel value 22B in an internal buffer and transmits the initial pixel value 22B to the packing buffer.
- the compression unit 3 overwrites and stores the received pixel data 22A in the internal buffer.
- the compression unit 3 receives pixel data 22A (encoding target pixel data) corresponding to the pixel P2. Further, it is assumed that the pixel data 22A to be encoded is “220”. In this case, since the received pixel data 22A is not the initial pixel value 22B (NO in S101), the compression unit 3 sets the pixel data 22A of the pixel P2 as a code conversion target.
- the compression unit 3 uses the pixel data 22A one pixel before stored in the internal buffer as a predicted value (S102).
- the predicted value is the value “300” of the pixel data 22A of the pixel P1.
- step S103 the compression unit 3 generates a code 24 by performing gray code conversion processing on the encoding target pixel data and the predicted value.
- the encoded pixel code “N” (“12”)-long gray code 24 is obtained by code conversion. “000010110010” and the predicted value code “000110111010” are calculated.
- step S104 the compression unit 3 calculates bit change information 25 indicating a difference (change) between the encoded pixel code and the prediction value code. Specifically, the compression unit 3 calculates the bit change information 25 by calculating an exclusive OR of the encoded pixel code and the prediction value code. Here, the received encoded pixel code is “000010110010” and the predicted value code is “000110111010”. Therefore, the compression unit 3 calculates the bit change information 25 “000100001000” by calculating the exclusive OR of the encoded pixel code (“000010110010”) and the predicted value code (“000110111010”).
- step S105 the compression unit 3 performs quantization width determination processing.
- the compression unit 3 obtains the number of effective bit digits 26 of the bit change information 25, that is, a bit length necessary for expressing the bit change information 25.
- the effective bit digit number 26 is the number of digits of the lower bits from the relevant bit including the bit first set to “1” when viewed from the upper bit side.
- the bit change information 25 is “000100001000”.
- the effective bit digit number 26 is 9 bits.
- the compression unit 3 sets the quantization width 27 by subtracting the bit width M of the quantization value from the effective bit digit number 26.
- the bit width M of the quantized value is “8”
- the compression unit 3 increases the compression efficiency by determining the quantization width 27 for each group.
- the group includes pixel data 22A having a predetermined number of pixels Pix_G.
- the same group No. 30 is assigned to the pixel data 22A belonging to the same group.
- step S106 If all the quantization widths 27 in the group have not been determined (NO in S106), the compression unit 3 proceeds to step S102, and executes the processing from step S102 to step S105 on the next received pixel data 22A. To do.
- step S107 the compression unit 3 calculates the largest maximum quantization width 28 among the quantization widths 27 corresponding to the pixels having the number of pixels Pix_G in the group.
- the quantization width 27 of the group No. 30 is “1” is “1”, “1”, “0”, the maximum quantization width 28 is “1”.
- the maximum quantization width 28 calculated here is commonly used for all the pixels in the group.
- the compression unit 3 generates quantization information 31 indicating the quantization condition. Specifically, the compression unit 3 generates Q-bit length quantization information 31 by encoding the maximum quantization width 28.
- the bit length Q of the quantization information 31 is “2”.
- FIG. 4 is a diagram illustrating a correspondence relationship between the number of effective bit digits 26 of the bit change information 25, the quantization width 27 (maximum quantization width 28), and the Q-bit quantization information 31.
- the maximum quantization width 28 is “1”.
- the quantization information 31 is “01” from FIG. Since the maximum quantization width 28 is zero or a positive number, when the effective bit digit number 26 is smaller than M (“8”), the quantization width 27 is set to “0”.
- step S108 the compression unit 3 generates a quantized value 29 by performing a quantization process on the bit change information 25.
- the compression unit 3 quantizes the bit change information 25 by bit-shifting the bit change information 25 downward by the number of the maximum quantization width 28.
- the maximum quantization width 28 is “1”
- the bit change information 25 is “000100001000”.
- “00010000100” is calculated by bit-shifting “000100001000” downward by the number of the maximum quantization width 28 (“1”).
- the compression unit 3 uses the quantized bit change information “10000100” from the least significant bit to the 8th bit as the quantized value 29 to the packing buffer. Send.
- step S109 the compression unit 3 determines whether or not the quantization process has been completed for all the pixels having the number of pixels Pix_G in the group.
- step S109 If all the quantization processes have not been completed (NO in S109), the compression unit 3 proceeds to step S108, and executes the process of step S108 on the next encoding target pixel data in the same group.
- step S109 when all the quantization processing is completed (YES in step S109), the compression unit 3 proceeds to step S110.
- step S110 the compression unit 3 performs processing for packing the generated data into predetermined S bits.
- the compression unit 3 stores the initial pixel value 22B (P1) in the S-bit length packing buffer, and then sequentially stores the Q-bit length quantization information 31 and the quantization of the encoding target pixels P2 to P4.
- the value 29 is stored in the packing buffer.
- the compression unit 3 proceeds to step S111.
- step S111 the compression unit 3 determines whether or not the compression process has been completed for the pixels having the number of pixels Pix packed into S bits.
- the number of pixels Pix is calculated in advance by the following equation (1).
- step S101 If the compression process has not been completed for the pixels with the number of pixels Pix (NO in S111), the compression unit 3 proceeds to step S101, and then executes the processes after step S101 on the pixel data 22A. In this case, the compression unit 3 performs the processing from step S101 on the pixels P5 to P7 and sequentially stores the generated data in the buffer memory.
- the compression unit 3 outputs the compressed data 23 held in the buffer memory as the compressed packing data 23A in S bit units (S112). Then, the process proceeds to step S113.
- step S113 the compression unit 3 determines whether the compression processing for one image (one screen) has been completed with the output compressed packing data 23A. When all the compression processes for one image are completed (YES in S113), the compression unit 3 ends the compression process. When all the compression processes for one image are not completed (NO in S113), the compression unit 3 Shifting to step S101, the process after step S101 is performed.
- the code 24 of the encoding target pixels P2 to P6 the bit change information 25, the number of effective bit digits 26, the quantization width 27, and the 8-bit quantization value to be packed are calculated. 29 is shown in FIG.
- FIG. 5A is a diagram showing an example of packed 64-bit data when the above compression processing is not performed.
- FIG. 5B is a diagram showing an example of packed 64-bit compressed packing data 23A when the above compression processing is performed.
- 64-bit data is composed of data for five pixels.
- 7-pixel data can be included in the 64-bit compressed packing data 23A by performing compression processing as shown in FIG. 5B.
- the encoded data corresponding to the pixel at a specific location in the image is easily specified. be able to. As a result, there is an advantage that random accessibility to encoded data can be maintained.
- a predicted value may be generated from adjacent pixels having the same color component.
- the pixel array of the encoding target pixel is Bayer array RAW data.
- the RAW data can be divided into an R (red) component, a G (green) component, and a B (blue) component. Therefore, the compressing unit 3 may use the pixel adjacent to the left of the same color instead of the pixel adjacent to the encoding target pixel as the predicted value.
- the quantization accuracy can be increased.
- FIG. 6A is a diagram illustrating a relationship between pixels used as predicted values in RAW data with a Bayer array.
- the pixel R2 uses the pixel data 22A of the pixel R1 of the same color immediately before (left adjacent) as the predicted value.
- FIG. 6A is a diagram showing an example of data when the above compression processing is not performed on RAW data with a Bayer array.
- FIG. 6B is a diagram illustrating a data example of the compressed packing data 23A when the above-described compression processing is performed on the Bayer array RAW data. 6A and 6B show the data amount for 14 pixels.
- the compressed data 23 from the compression unit 3 is stored in the storage unit 102 via the internal bus 10 and the memory controller 9 and simultaneously sent to the expansion unit 4, and the expansion unit 4 performs the expansion process of the compressed data 23.
- the decompressing unit 4 creates decompressed data 32 by decompressing the compressed data 23.
- the camera signal processing unit 5 generates corrected image data 33 by performing predetermined image processing (image quality correction processing or the like) on the input decompressed data 32 (RAW data), and the generated corrected image data 33 is stored in the internal bus. 10 to the storage unit 102.
- predetermined image processing image quality correction processing or the like
- FIG. 7 is a block diagram showing the configuration of the camera signal processing unit 5.
- the camera signal processing unit 5 includes a white balance processing circuit 721 (abbreviated as WB in the drawing), a luminance signal generation circuit 722, a color separation circuit 723, and an aperture correction process.
- a circuit 724 (abbreviated as AP in the drawing) and a matrix processing circuit 725 are provided.
- the white balance processing circuit 721 generates a correction signal 731 by correcting the color component by the color filter of the image sensor 1 at a correct ratio so that a white subject is photographed white under any light source.
- the luminance signal generation circuit 722 generates a luminance signal 732 (Y signal) from the RAW data (correction signal 731).
- the color separation circuit 723 generates a color difference signal 733 (Cr / Cb signal) from the RAW data (correction signal 731).
- the aperture correction processing circuit 724 performs processing for adding a high frequency component to the luminance signal 732 generated by the luminance signal generation circuit 722 to make the resolution appear high.
- the matrix processing circuit 725 performs adjustment of the spectral characteristics of the image sensor 1 and the hue balance that has been corrupted by image processing, with respect to the color difference signal 733 generated by the color separation circuit 723.
- the resolution conversion unit 6 performs image enlargement and reduction processing.
- the image encoding unit 7 generates image data by compressing and converting data stored in the storage unit 102 according to a predetermined standard such as JPEG, and outputs the generated image data to the recording storage unit 103.
- the image signal processing unit 101 temporarily stores pixel data to be processed in a memory (storage unit 102) such as SDRAM, and performs predetermined image processing, YC signal generation, zoom processing, and the like on the temporarily stored data.
- a memory such as SDRAM
- the processed data is temporarily stored in the SDRAM again. Therefore, each processing unit is connected through the internal bus 10.
- the video encoder 8 is a display unit that displays an enlarged or reduced image from the resolution conversion unit 6 on an LCD or a monitor.
- FIG. 8 is a diagram showing the timing of each process in the present embodiment.
- the imaging unit 100 performs the capturing process of the image data 22 of the screen A at the rising timing of the reference timing 60, and then generates the compressed data 23 by performing the compressing process on the captured image data 22. Furthermore, the imaging unit 100 stores the generated compressed data 23 in the storage unit 102 (S91).
- the imaging unit 100 sends the compressed data 23 to the decompression unit 4.
- the decompressing unit 4 decompresses only the designated data 40 that is a part of the compressed data 23 to generate partial decompressed data 32A.
- the camera signal processing unit 5 performs camera signal processing (image quality correction processing) on the generated partial decompression data 32A to generate partial correction image data 33A, and the generated partial correction image data 33A is stored in the storage unit 102.
- the designation data 40 is a part of data included in each of the compression packing data 23A. More specifically, for example, the designation data 40 is an initial pixel value 22B.
- the resolution conversion unit 6 reads the partial correction image data 33A stored in the storage unit 102, generates the partial conversion image data 34A by performing zoom processing on the partial correction image data 33A, and generates the generated partial conversion.
- the image data 34A is stored in the storage unit 102 (S93).
- the video encoder 8 displays the partial conversion image data 34A stored in the storage unit 102 (S94).
- the decompression unit 4 reads the compressed data 23 of the screen A from the storage unit 102 (S95), and performs the decompression process on all of the read compressed data 23 to perform the entire decompression. Data 32B is generated.
- the camera signal processing unit 5 performs camera signal processing on the generated overall decompressed data 32B to generate overall corrected image data 33B, and sends the generated overall corrected image data 33B to the storage unit 102 (S96). .
- the resolution conversion unit 6 reads the entire corrected image data 33B from the storage unit 102 after the zoom processing of the partial expansion data 32A is completed (S93). Then, the resolution conversion unit 6 performs resolution conversion processing on the read entire corrected image data 33B to generate the entire converted image data 34B, and stores the generated entire converted image data 34B in the storage unit 102 (S97).
- the image encoding unit 7 generates encoded image data by encoding the entire converted image data 34B stored in the storage unit 102, and records the generated encoded image data in the recording storage unit 103. (S98).
- the image size handled has increased.
- NTSC National Television Broadcast Standardization Committee
- the imaging apparatus 50 can display an image faster than the entire signal processing.
- the part of the data included in the compressed packing data 23A may be specified data 40 related to an arbitrary number of predetermined specified pixels.
- the plurality of pixel data 22A compressed into one compression packing data 23A is the pixel data 22A of a plurality of pixels arranged continuously, the designated pixels are arranged at equal intervals (for example, every other pixel). It may be a pixel.
- the compression unit 3 may compress the pixel data 22A in the order shown in FIGS. 9A and 9B. That is, the compression unit 3 continuously compresses only the designated pixels first.
- the decompression unit 4 only needs to decompress the designated data 40 corresponding to the first four pixels (R1, R3, R5, R7, G1, G3, G5, G7) of each color included in one compression packing data 23A. .
- the number of pixels to be partially expanded increases, the amount of information to be expanded can be suppressed to information about 4/7 of the total expansion. This also makes it possible to obtain an image with further reduced noise.
- the compression unit 3 calculates the average value 22C of the pixel data 22A included in the compressed packing data 23A, and uses the average value 22C instead of the initial pixel value 22B as a reference pixel value as a reference. May be used.
- the decompression unit 4 may partially decompress the average value 22C that is the reference pixel value.
- FIG. 11 shows an example in which the timing of each process in this embodiment is different.
- the imaging unit 100 performs the capturing process of the image data 22 of the screen A at the rising timing of the reference timing 60, and then performs the compression process on the captured image data 22.
- the compressed data 23 is generated.
- the imaging unit 100 stores the generated compressed data 23 in the storage unit 102 (S91A).
- Subsequent steps up to step S94A are the same as steps S91 to S94 shown in FIG.
- similar processing S91B to S94B
- S91C to S94C similar processing
- the entire compressed data 23 is accumulated in the storage unit 102 until the above steps S91A to S94C are completed.
- the processes from the entire expansion (S95) to the entire encoding (S98) are repeated for the recorded images. That is, the overall expansion (S95A) to overall encoding (S98A) for screen A, the overall expansion (S95B) to overall encoding (S98B) for screen B, and the overall expansion (S95C) to overall encoding (S98C) for screen C. It is done sequentially.
- the imaging apparatus 50 according to Embodiment 1 of the present invention can display an image faster than the entire signal processing. Further, since data is stored in a compressed state in the storage unit 102 such as an SDRAM, the amount of data recorded in the storage unit 102 can be further reduced. In addition, a large amount of information can be stored in the storage unit 102.
- FIG. 12 shows a different form of the first embodiment.
- the compression unit 3 is included in the image signal processing unit 101A, not the imaging unit 100A.
- a part of the image data 22 from the AFE circuit 2 is directly input to the camera signal processing unit 5.
- the display data when the display data is generated, it can be directly processed without going through the decompression unit 4, so that it can be displayed more quickly.
- FIG. 13 is a block diagram illustrating a configuration of the camera signal processing unit 5A according to the second embodiment.
- the camera signal processing unit 5A shown in FIG. 13 newly includes an exposure control unit 741 in addition to the configuration of the camera signal processing unit 5 shown in FIG.
- the exposure control unit 741 calculates the luminance level of the image data 22 using the partial extension data 32A, and controls the exposure amount (exposure amount) of the image sensor 1 so that the image data 22 has a predetermined luminance level.
- FIG. 14 is a flowchart showing a procedure of exposure control processing by the imaging apparatus 50 according to the second embodiment.
- step S201 the decompression unit 4 receives the compression packing data 23A from the compression unit 3.
- step S202 the decompressing unit 4 determines whether each data included in the compressed packing data 23A is the initial pixel value 22B (designated data 40). If the initial pixel value is 22B (Yes in S202), the decompressing unit 4 proceeds to Step S203. If it is not the initial pixel value 22B (No in S202), the process returns to the next compression packing data acquisition step (S201) to acquire the next initial pixel value 22B.
- step S203 the decompressing unit 4 decompresses only the initial pixel value 22B.
- step S204 the expansion unit 4 transfers the expanded initial pixel value 22B to the camera signal processing unit 5A.
- the exposure control unit 741 integrates the acquired initial pixel values 22B (S205).
- step S201 to S204 are repeated until the exposure control unit 741 accumulates the initial pixel value 22B for one screen (S206).
- the exposure control unit 741 determines whether or not the integrated value is higher than the upper limit luminance level (S207). Further, the exposure control unit 741 determines whether or not the integrated value is lower than the lower limit luminance level (S208). That is, the exposure control unit 741 determines whether or not the integrated value is within a predetermined luminance level range.
- the exposure control unit 741 controls the exposure by controlling the image sensor 1 (S209).
- the imaging apparatus 50 ends the exposure control process.
- the imaging device 50 according to Embodiment 2 of the present invention can control the exposure amount at the same time as generating the display image.
- the imaging device 50 may include an area selection unit 742 that selects an integration area 750 used for exposure control.
- the region selection unit 742 selects the integration region 750 at the center of the screen shown in FIG.
- the exposure control unit 741 integrates only the luminance value of the initial pixel value 22B included in the integration region 750 selected by the region selection unit 742, and performs the above-described exposure control according to the integrated value.
- the imaging device 50 can adjust the exposure amount according to the brightness of only the integration region 750 at an arbitrary position in the image.
- the reference pixel value may be an average value 22C of the pixel data 22A included in the compressed packing data 23A.
- the imaging device 50 can control the exposure amount based on the average value 22C of the entire packing data.
- the designated data 40 may include a plurality of designated pixels.
- the compressed packing data 23A includes a plurality of designated pixel values as shown in FIG. 9B.
- FIG. 17 is a block diagram illustrating a configuration of the camera signal processing unit 5C according to the third embodiment.
- the camera signal processing unit 5C illustrated in FIG. 17 newly includes a focus control unit 743 in addition to the configuration of the camera signal processing unit 5 illustrated in FIG.
- the focus control unit 743 calculates the frequency characteristics of the pixel data 22A included in the partial expansion data 32A, and performs focus control using the frequency characteristics.
- FIG. 18 is a flowchart illustrating a procedure of focus control processing by the imaging apparatus 50 according to the third embodiment.
- step S301 the decompression unit 4 receives the compression packing data 23A from the compression unit 3.
- step S302 the decompressing unit 4 determines whether each data included in the compressed packing data 23A is a designated pixel value.
- the decompression unit 4 performs decompression processing on the designated pixel value in step S303.
- the process returns to the next compression packing data obtaining step (S301) to obtain the next designated pixel value.
- step S304 the decompressing unit 4 determines whether or not an arbitrary number of designated pixel values have been acquired in the compressed packing data 23A. When an arbitrary number of designated pixel values have been acquired (Yes in S304), the decompression unit 4 proceeds to S305. If an arbitrary number of designated pixel values have not been acquired (No in S304), the decompressing unit 4 returns to Step S302 and decompresses the designated pixel value at the next position.
- step S305 the decompression unit 4 transfers the decompressed pixel data to the camera signal processing unit 5C.
- the camera signal processing unit 5C converts the acquired pixel data into frequency components using, for example, orthogonal transformation (S306). Further, the processes in steps S301 to S306 are repeated until the frequency components for one screen are integrated (S307).
- the focus control unit 743 determines whether or not the integrated value is lower than a predetermined level (S308). When the level is lower than the predetermined frequency component level, the focus control unit 743 controls the focus by controlling the lens position of the image sensor 1 (S309).
- the imaging device 50 ends the focus control process.
- the imaging apparatus 50 can control the focus at the same time as generating the display image.
- the camera signal processing unit 5C may include an area selection unit 742 for selecting an integration area to be used, similarly to the camera signal processing unit 5A shown in FIG. In this case, luminance values based on designated pixel values at arbitrary positions in the image shown in FIG. 16 are integrated, and for example, focus adjustment only at the center of the screen becomes possible.
- the data expanded by the expansion unit 4 may be the initial pixel value 22B or the average value 22C.
- FIG. 19 shows a processing procedure of the imaging apparatus 50 according to the fourth embodiment.
- the compression unit 3 determines whether the encoding target pixel is a pixel in a light-shielded area.
- a general imaging apparatus in order to determine the black level of an image, as shown in FIG.
- the imaging device 50 calculates the average value of the light-shielded pixel data 22D, which is the pixel data 22A of the pixels included in the light-shielded region 751, as a black level, and subtracts the black level from the pixel data 22A of the actual imaged region.
- the level of each pixel is adjusted. Therefore, the necessary data for the light-shielding region 751 may be an average value instead of each pixel level.
- the compression unit 3 When the encoding target pixel data is not the light-shielded pixel data 22D (NO in S401), the compression unit 3 performs the same processing as that of the first embodiment shown in FIG. 3 (S415).
- step S402 the compression unit 3 calculates an average value of the light-shielded pixel data 22D of N pixels. In the example illustrated in FIG. 21, the compression unit 3 calculates the average value of the light-shielded pixel data 22D of four pixels.
- the compression unit 3 generates the compressed data 23 by performing a fixed-length encoding on a plurality of calculated average values.
- steps S403 to S414 is the same as the processing in the case where the encoding target is replaced with the average value of N pixels from the pixel data 22A with respect to steps S102 to S113 shown in FIG. Description of is omitted.
- the initial average value 22E shown in FIG. 21 is the average value of the pixels P1 to P4.
- the decompression unit 4 creates the partial decompression data 32A by decompressing only the initial average value 22E.
- the quantized average value 29A is, for example, an average quantized value of four pixels P5 to P8.
- the imaging device 50 according to Embodiment 4 of the present invention calculates an average value for the pixel data 22A of the light shielding region 751, and then compresses the average value. As a result, the imaging apparatus 50 according to Embodiment 4 of the present invention can reduce the amount of data for the light shielding region 751.
- the compression unit 3 compresses the average value for the light shielding region 751, but the compression unit 3 calculates at least one of the maximum value and the minimum value of the pixel data 22A for each N pixel. Then, the compressed data 23 may be generated by performing fixed length encoding on at least one of the plurality of calculated minimum and maximum values.
- FIG. 22 is a block diagram showing a configuration of an imaging system 500 (for example, a digital still camera (DSC)) according to Embodiment 5 of the present invention.
- an imaging system 500 for example, a digital still camera (DSC)
- An imaging system 500 illustrated in FIG. 22 includes an optical system 501, an image sensor 502, an analog / digital converter (ADC) 503, an image processing circuit 504, a recording / transferring circuit 506, a system control circuit 507, and timing control.
- a circuit 508 and a reproduction circuit 509 are provided.
- the image sensor 502 corresponds to the image sensor 1 shown in FIG. 1
- the ADC 503 corresponds to the AFE circuit 2
- the image processing circuit 504 corresponds to the image signal processing unit 101
- the recording / transfer circuit 506 corresponds to the recording / storing unit. 103.
- the entire imaging system 500 is controlled by a system control circuit 507.
- the subject image incident through the optical system 501 is formed on the image sensor 502.
- the image sensor 502 is driven by the timing control circuit 508 to accumulate optical data of the formed subject image and photoelectrically convert it into an electrical signal.
- the electrical signal read from the image sensor 502 is converted into a digital signal by the analog / digital converter 503 and then input to the image processing circuit 504.
- the image processing circuit 504 performs image processing such as expansion processing, camera signal processing, Y / C processing, edge processing, image enlargement / reduction, and image compression / expansion processing using the present invention.
- the image-processed signal is recorded on a medium or transferred to a network in a recording / transfer circuit 506.
- the recorded or transferred signal is reproduced by the reproduction circuit 509.
- image processing in the image processing circuit 504 according to the embodiment of the present invention is not necessarily applied only to a signal based on a subject image formed on the image sensor 502 via the optical system 501, for example, an external device
- the present invention can also be applied to processing of an image signal input as an electrical signal from.
- each processing unit included in the imaging apparatus and imaging system according to Embodiments 1 to 5 is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
- circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
- An FPGA Field Programmable Gate Array
- reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
- the functions of the imaging apparatus and the imaging system according to Embodiments 1 to 5 of the present invention may be realized by a processor such as a CPU executing a program.
- the present invention may be the above program or a recording medium on which the above program is recorded.
- the program can be distributed via a transmission medium such as the Internet.
- the present invention can be applied to an imaging apparatus, and can be applied to an apparatus that handles images, such as a digital still camera or a network camera.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本発明に係る撮像装置（５０）は、入射光に応じて画像データ（２１）を生成する撮像素子（１）と、画像データ（２２）を固定長符号に圧縮することにより圧縮データ（２３）を生成する圧縮部（３）と、圧縮データ（２３）の一部である指定データ（４０）のみを伸張することにより部分伸張データ（３２Ａ）を生成する伸張部（４）と、部分伸張データ（３２Ａ）を画質補正することにより部分補正画像データ（３３Ａ）を生成するカメラ信号処理部（５）と、部分補正画像データ（３３Ａ）を表示するビデオエンコーダ（８）とを備える。
Description
本発明は、撮像装置に関し、特に、画像データを固定長符号化する撮像装置に関するものである。
近年、デジタルスチルカメラ及びデジタルビデオカメラなどの撮像装置に用いられる撮像素子の高画素化に伴い、撮像装置に搭載される集積回路が処理する画像データ量が増大している。多くの画像データを扱うには、集積回路内のデータ転送のバス幅を確保するために、動作周波数の高速化、及びメモリの大容量化等を行うことが考えられる。しかし、これらは撮像装置のコストアップに直接繋がってしまう。
また、一般的にデジタルスチルカメラ及びデジタルビデオカメラなどの撮像装置では、集積回路内での全ての画像処理を終えたデータを、ＳＤカード等の外部記録装置に記録する際に圧縮処理を行う。これにより、非圧縮に比べてより大きな画像サイズ、又は多くの枚数の画像データを同じ容量の外部記録装置に格納できる。この圧縮処理には、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）又はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）といった符号化方式が用いられている。
特許文献１には、画像データの圧縮処理を撮像素子から入力される画素信号（ＲＡＷデータ）に対しても展開することが開示されている。これにより、当該技術は、撮像素子の多画素化が進み信号処理の負荷が増大する場合でも、メモリへの書き込み及び読み出しの際に必要なバス帯域を削減し、高速操作を可能にする。また、当該技術では、バス帯域の保証と圧縮処理量の削減とのため固定長符号化方式を採用している。その実装方法については、任意の画像領域の画素データから最大値と最小値とを算出し、領域内の局所的なダイナミックレンジを求め、領域内の全ての画素から最小値を減算した値を、ダイナミックレンジに応じた量子化幅で量子化する。これにより、固定長符号化を行っている。
しかし、特許文献１に記載の撮像装置では、同一領域内における画素と最小値との差分値を量子化しており、領域内のダイナミックレンジが大きいほど量子化幅も大きくなる。これは、領域内のダイナミックレンジが広い場合は、画像として大きく変化している可能性が高く、細かいレベル変化を視覚的に感知しにくいという視覚特性を利用している。しかし、領域内の最小値及び最大値を求めるには、領域内の全画素が揃わなければ圧縮処理を開始できないという問題がある。そのため、バス帯域の削減は可能となるが、領域内の画素が揃うまでの処理遅延が発生することになる。よって、実装面においても、領域内の画素を格納しておくメモリが必要となるため、回路規模が増大するという問題がある。
また、特許文献２では撮像素子から入力される画素信号（ＲＡＷデータ）に対して、固定長符号化手段で、画像データを小領域の単位ブロックに細分し、単位ブロック内の前記画像データの平均値レベルを求めて固定長符号化し、露出制御手段で、前記平均値レベルに基づいて前記単位ブロック内の前記画像データ全体の輝度レベルを算出し、画像データが所定の輝度レベルとなるように撮像装置の露出量を制御する。
しかしながら、特許文献１に記載の撮像装置では、圧縮された固定長符号化データをＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリへ供給し、次にメモリから固定長符号化データを読み出し、伸張処理を行い、以降の画像処理を実施している。これは、近年のデータ量増大に伴い、各処理に対する後段処理が遅い場合に破綻する可能性があるためであり、このように間にメモリを介すことで処理速度を限定しない構成を実現するためである。
しかしながら、この構成では、メモリに対する書き込み及び読み出しに加えて、圧縮データの伸張処理が加わることで、実際に撮像してから表示するまでに時間がかかる。これにより、当該構成は、表示応答性に欠けるという課題がある。
また、特許文献２に記載の撮像装置では、画像データを圧縮した固定長符号化データに加えて画像の単位ブロックあたりの平均値を別途算出し、その平均値から露出量を制御する。しかし、特許文献２に記載の撮像装置は、画像データについては特許文献１と同様にメモリから固定長符号化データを読み出し、伸張処理を行って表示するため、特許文献１に記載の撮像装置と同様に、表示応答性に欠けるという課題がある。
そこで本発明は、表示応答性を向上できる撮像装置を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係る撮像装置は、入射光に応じて第１画像データを生成する撮像素子と、前記第１画像データを固定長符号化することにより第１圧縮データを生成する圧縮部と、前記第１圧縮データを記憶する記憶部と、前記第１圧縮データの一部である第１指定データのみを伸張することにより第１部分伸張データを生成する伸張部と、前記第１部分伸張データを画質補正することにより第１部分補正画像データを生成する信号処理部と、前記第１部分補正画像データを表示する表示部とを備える。
この構成によれば、本発明の一形態に係る撮像装置は、圧縮データの一部のみを伸張し、伸張したデータを表示する。これにより、本発明の一形態に係る撮像装置は、表示応答性を向上できる。
また、前記伸張部は、前記第１部分伸張データを生成した後、前記記憶部に記憶されている前記第１圧縮データの全てを伸張することにより第１全体伸張データを生成し、前記信号処理部は、前記第１全体伸張データを画質補正することにより第１全体補正画像データを生成してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、表示の高速化と、大容量のデータ処理とを両立できる。
また、前記圧縮部は、前記第１画像データに含まれる複数の画素データの一部である画素データ群ごとに、当該画素データ群に含まれる複数の画素データを固定長に圧縮することにより単位圧縮データを生成し、前記第１指定データは、前記単位圧縮データの各々に含まれる一部のデータであってもよい。
この構成によれば、本発明の一形態に係る撮像装置は、撮影された画像データに対して、解像度を下げた画像を高速に表示できる。
また、前記圧縮部は、予測値と符号化対象画素の画素データとの差を示すビット変化情報を算出し、算出した前記ビット変化情報を量子化することにより固定長の量子化値を算出し、前記単位圧縮データは、前記予測値として用いられる画素データである基準画素値と、前記画素データ群に含まれる画素データに対応する前記量子化値と、前記量子化の条件を示す量子化情報とを含み、前記第１指定データは、前記基準画素値を含んでもよい。
また、前記基準画素値は、前記画素データ群に含まれる一の画素データであり、前記単位圧縮データは、前記基準画素値と、前記画素データ群に含まれる、前記一の画素データ以外の画素データに対応する前記量子化値と、前記量子化情報とを含んでもよい。
この構成によれば、本発明の一形態に係る撮像装置は、撮影された画像データに対して画素を間引いた画像を表示できる。
また、前記圧縮部は、前記画素データ群に含まれる複数の画素データの平均値を算出し、前記基準画素値は、前記平均値であってもよい。
この構成によれば、本発明の一形態に係る撮像装置は、画素データ群内の全ての画素からの情報を用いることで折り返しノイズを抑えた画像を表示できる。
また、前記画素データ群は、連続して配置された複数の画素の画素データを含み、前記第１指定データは、前記基準画素値と、等間隔に配置される画素に対応する前記量子化値とを含んでもよい。
この構成によれば、本発明の一形態に係る撮像装置は、ノイズを抑えた画像を表示できる。
また、前記複数の画素データの各々は、複数の色の画素データのうちいずれかであり、前記単位圧縮データは、色ごとの前記基準画素値を含み、前記第１指定データは、前記色ごとの基準画素値を含み、前記圧縮部は、符号化対象画素と同色の基準画素値を前記予測値として用いて、前記ビット変化情報を算出し、算出した前記ビット変化情報を量子化することにより固定長の量子化値を算出してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、カラー画像に対して表示応答性を向上できる。
また、前期撮像素子は、さらに、入射光に応じて第２画像データを生成し、前記圧縮部は、さらに、前記第２画像データを固定長符号化することにより第２圧縮データを生成し、前記記憶部は、さらに、前記第２圧縮データを記憶し、前記伸張部は、さらに、前記第２の圧縮データの一部である第２指定データのみを伸張することにより第２部分伸張データを生成し、前記信号処理部は、さらに、前記第２部分伸張データを画質補正することにより第２部分補正画像データを生成し、前記表示部は、さらに、前記第２部分補正画像データを表示し、前記伸張部は、前記第１部分伸張データ及び前記第２部分伸張データを共に生成した後、前記第１全体伸張データを生成し、前記記憶部に記憶されている前記第２圧縮データの全てを伸張することにより第２全体伸張データを生成し、前記信号処理部は、さらに、前記第２全体伸張データを画質補正することにより第２全体補正画像データを生成してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、連続撮影時において表示応答性を向上できる。
また、前記撮像装置は、さらに、前記第１部分伸張データを用いて前記第１画像データの輝度レベルを算出し、前記第１画像データが所定の輝度レベルとなるように前記撮像素子の露出量を制御する露出制御部を備えてもよい。
この構成によれば、本発明の一形態に係る撮像装置は、高速な露出制御を実現できる。
また、前記撮像装置は、さらに、前記第１部分伸張データに含まれる画素データの周波数特性を算出し、当該周波数特性を用いてフォーカス制御を行うフォーカス制御部を備えてもよい。
この構成によれば、本発明の一形態に係る撮像装置は、高速なフォーカス制御を実現できる。
また、前記第１画像データは、遮光された画素の画素データである遮光画素データを含み、前記圧縮部は、前記画素データ群に含まれる複数の画素データが複数の前記遮光画素データである場合、予め定められた画素数ごとに前記複数の遮光画像データの平均値を算出し、複数の算出した平均値を固定長符号化することにより前記第１圧縮データを生成してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、画質の劣化を抑制しつつ、圧縮データのデータ量を削減できる。
また、前記第１画像データは、遮光された画素の画素データである遮光画素データを含み、前記圧縮部は、前記画素データ群に含まれる複数の画素データが複数の前記遮光画素データである場合、予め定められた画素数ごとに前記複数の遮光画像データの最大値又は最小値を算出し、複数の算出した最小値又は最大値を固定長符号化することにより前記第１圧縮データを生成してもよい。
この構成によれば、本発明の一形態に係る撮像装置は、画質の劣化を抑制しつつ、圧縮データのデータ量を削減できる。
また、前記撮像装置は、さらに、前記撮像素子により生成された前記第１画像データをデジタル信号に変換するＡＤ変換部を備え、前記圧縮部は、前記ＡＤ変換部によりデジタル信号に変換された前記第１画像データを固定長符号に圧縮することにより前記第１圧縮データを生成してもよい。
なお、本発明は、このような撮像装置として実現できるだけでなく、撮像装置に含まれる特徴的な手段をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような撮像装置を備える撮像システムとして実現したりできる。
以上より、本発明は、表示応答性を向上できる撮像装置を提供できる。
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施の形態や各変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
（実施の形態１）
本発明の実施の形態１に係る撮像装置は、圧縮データの一部のみを伸張し、伸張したデータを表示する。これにより、本発明の一形態に係る撮像装置は、表示応答性を向上できる。
本発明の実施の形態１に係る撮像装置は、圧縮データの一部のみを伸張し、伸張したデータを表示する。これにより、本発明の一形態に係る撮像装置は、表示応答性を向上できる。
図１は本発明の実施の形態１に係る撮像装置５０の構成を示すブロック図である。
なお、本実施の形態における撮像装置による撮像処理機能の全て又は一部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などのハードウェア、又はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実行されるプログラムによって実現され、これは以下の実施の形態でも同様である。
図１に示す撮像装置５０は、撮像部１００と、画像信号処理部１０１と、記憶部１０２と、記録保存部１０３を備える。
また、撮像部１００は、撮像素子１と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路２と、圧縮部３とを備える。画像信号処理部１０１は、伸張部４と、カメラ信号処理部５と、解像度変換部６と、画像符号化部７と、ビデオエンコーダ８と、メモリコントローラ９とを備える。また、伸張部４、カメラ信号処理部５、解像度変換部６、画像符号化部７、ビデオエンコーダ８、メモリコントローラ９は、内部バス１０により相互に接続されている。
撮像素子１は、入射光に応じて画像データ２１を生成する。この撮像素子１は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）、又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサなどの固体撮像素子である。この撮像素子１は、図示しないレンズブロックを通じて被写体から入射された光を電気信号に変換することによりアナログ信号である画像データ２１を生成する。
ＡＦＥ２は、撮像素子１が出力した画像データ２１に対してノイズ除去、信号増幅、及びＡ／Ｄ変換などの信号処理を行なうことにより画像データ２２を生成する。
圧縮部３は、ＡＦＥ２から出力された画像データ２２に対して固定長符号化を行うことにより圧縮データ２３を生成する。
以下、圧縮部３の処理を詳細に説明する。
図２は、本発明の実施の形態１における圧縮部３の処理を説明するための図である。また、図３は、本発明の実施の形態１における圧縮部３の処理のフローチャートである。
画像データ２２は、１画素に対応する固定ビット幅（Ｎビット）の画素データ２２Ａを複数含む。圧縮部３は、この固定ビット幅の画素データ２２Ａを順次、受信する。ここでは、画素データ２２Ａのデータ量は１２ビット（Ｎ＝１２）であるとする。すなわち、画素データ２２Ａのダイナミックレンジは１２ビットである。また、量子化値２９のビット幅Ｍは８ビットであるとする。また、圧縮部３は、複数の画素データ２２Ａ（画素データ群）を圧縮したデータを、Ｓビットの固定長にパッキングした圧縮データ２３（以下、圧縮パッキングデータ２３Ａ（単位圧縮データ））を画像信号処理部１０１に出力する。ここでは設定する固定ビットＳは、６４ビットとする。なお、固定ビット幅Ｎ、量子化値のビット幅Ｍ及び固定ビットＳは、予め決められているものであればよく、ここに示す例に限るものではない。
また、本実施の形態において行うコード変換は、グレイコード変換であるとする。画素データをグレイコード化する理由は、近似なものを表現する際のビット変化を抑え、圧縮率を高めることができるからである。
なお、一般に１０進数の値をグレイコードへ変換する方法として、１０進数をバイナリコードで表したビット列に対して、下位ビットから順に上位ビット側に隣り合うビットとの排他的論理和をとっていく方法がとられている。
なお、グレイコードではなくても、近似なものを表現する際のビット変化が、バイナリコードで表したビット列よりも小さくなるようなコード変換であれば、本発明に適用可能であることはいうまでもない。
図２には、一例として、１つの圧縮パッキングデータ２３Ａに圧縮される７個の画素データ２２Ａを示す。また、画素Ｐ１、Ｐ２、・・・、Ｐ７の順で、各画素に対応する画素データ２２Ａが入力されるとする。また、画素Ｐ１～Ｐ７内に示される数値は、対応する画素データ２２Ａが示す信号レベルである。なお、画素Ｐ１に対応する画素データ２２Ａは、初期画素値２２Ｂであるとする。ここで初期画素値２２Ｂとは、Ｓビットの１つの圧縮パッキングデータ２３Ａにパッキングされる画素データ２２Ａのうち最初に入力される画素データ２２Ａである。
本実施の形態では、符号化対象画素の予測値は、一例として、符号化対象画素の左隣の画素の画素データ２２Ａを用いて算出されるものとする。すなわち、符号化対象画素の画素データ２２Ａは、一つ前に入力された画素と同一の画素データ２２Ａ（レベル）になる可能性が高いと予測していることになる。
図３に示す圧縮処理では、まず、ステップＳ１０１で圧縮部３は、入力された画素データ２２Ａが初期画素値２２Ｂであるか否かを判定する。
入力された画素データ２２Ａが初期画素値２２Ｂである場合（Ｓ１０１でＹＥＳ）、圧縮部３は、受信した初期画素値２２Ｂを内部のバッファに記憶させるとともに、当該初期画素値２２Ｂをパッキングバッファに送信する。そして、処理は後述するステップＳ１１０に移行する。
一方、入力された画素データ２２Ａが初期画素値２２Ｂでない場合（Ｓ１０１でＮＯ）、ステップＳ１０２に移行する。
ここで、圧縮部３は、初期画素値２２Ｂである、画素Ｐ１に対応する画素データ２２Ａを受信したとする。この場合、圧縮部３は、当該初期画素値２２Ｂを内部のバッファに記憶させるとともに、当該初期画素値２２Ｂをパッキングバッファに送信する。なお、内部バッファに画素データ２２Ａが既に記憶されている場合、圧縮部３は、受信した画素データ２２Ａを内部のバッファに上書き記憶させる。
次に、画素Ｐ２が符号化対象画素であるとする。この場合、圧縮部３は、画素Ｐ２に対応する画素データ２２Ａ（符号化対象画素データ）を受信する。また、符号化対象の画素データ２２Ａは“２２０”であるとする。この場合、受信した画素データ２２Ａは初期画素値２２Ｂではないので（Ｓ１０１でＮＯ）、圧縮部３は、画素Ｐ２の画素データ２２Ａをコード変換対象とする。
また、ステップＳ１０１でＮＯと判定された場合、圧縮部３は、内部のバッファに記憶されている１画素前の画素データ２２Ａを予測値とする（Ｓ１０２）。ここでは、予測値は、画素Ｐ１の画素データ２２Ａの値“３００”である。
次に、圧縮部３は、ステップＳ１０３で、符号化対象画素データと予測値とにグレイコード変換処理を施すことによりコード２４を生成する。ここでは、受信した符号化対象画素データは、“２２０”、予測値は“３００”であるため、コード変換により、それぞれＮ（“１２”）ビット長のグレイコード２４である符号化画素コード“００００１０１１００１０”と予測値コード“０００１１０１１１０１０”とが算出される。
次に、ステップＳ１０４では、圧縮部３は、符号化画素コードと、予測値コードとの差（変化）を示すビット変化情報２５を算出する。具体的には、圧縮部３は、符号化画素コードと予測値コードとの排他的論理和を演算することにより、ビット変化情報２５を算出する。ここでは、受信した符号化画素コードが“００００１０１１００１０”であり、予測値コードが“０００１１０１１１０１０”である。よって、圧縮部３は、符号化画素コード（“００００１０１１００１０”）と、予測値コード（“０００１１０１１１０１０”）との排他的論理和を演算することにより、ビット変化情報２５“０００１００００１０００”を算出する。
次に、ステップＳ１０５では、圧縮部３は、量子化幅決定処理を行う。量子化幅決定処理では、圧縮部３は、ビット変化情報２５の有効ビット桁数２６、つまり、ビット変化情報２５を表現するために必要なビット長を求める。具体的には、有効ビット桁数２６は、上位ビット側からみて最初に“１”となるビットを含む当該ビットから下位のビットの桁数である。ここでは、ビット変化情報２５は、“０００１００００１０００”である。この場合、有効ビット桁数２６は９ビットである。そして、圧縮部３は、有効ビット桁数２６から量子化値のビット幅Ｍを減算することにより量子化幅２７を設定する。ここでは、量子化値のビット幅Ｍが“８”であるとすると、量子化幅２７は、“９－８＝１”に設定される。
また、圧縮部３は、量子化幅２７をグループ単位で決定することにより圧縮効率を上げる。ここでグループは、予め決められた所定の画素数Ｐｉｘ＿Ｇの画素データ２２Ａで構成される。また、同一のグループに属する画素データ２２Ａには同一のグループＮｏ３０が付与される。
ステップＳ１０６では、圧縮部３は、例えばグループ内の画素数Ｐｉｘ＿Ｇ＝３の画素について、量子化幅２７が全て決定されたか否かの判定を行う。
グループ内の量子化幅２７が全て決定されていない場合（Ｓ１０６でＮＯ）、圧縮部３はステップＳ１０２に移行し、次に受信した画素データ２２Ａに対してステップＳ１０２からステップＳ１０５までの処理を実行する。
一方、グループ内の量子化幅２７が全て決定された場合（Ｓ１０６でＹＥＳ）、圧縮部３はステップＳ１０７に移行する。
ステップＳ１０７では、圧縮部３は、グループ内の画素数Ｐｉｘ＿Ｇの画素に対応する量子化幅２７の中から最も大きい最大量子化幅２８を算出する。図２においてグループＮｏ３０が“１”の量子化幅２７は“１”、“１”、“０”であるため、最大量子化幅２８は“１”となる。ここで算出された最大量子化幅２８は、グループ内の全画素に対して共通に用いられる。
また、圧縮部３は、量子化の条件を示す量子化情報３１を生成する。具体的には、圧縮部３は、最大量子化幅２８を符号化することによりＱビット長の量子化情報３１を生成する。ここでは、量子化情報３１のビット長Ｑが“２”であるとする。図４は、ビット変化情報２５の有効ビット桁数２６と、量子化幅２７（最大量子化幅２８）と、Ｑビットの量子化情報３１との対応関係を示す図である。例えば、最大量子化幅２８が“１”であるとする。この場合、図４より量子化情報３１は“０１”となる。なお、最大量子化幅２８はゼロ又は正数であるため、有効ビット桁数２６がＭ（“８”）よりも小さい値をとる場合は、量子化幅２７は“０”とする。
次に、ステップＳ１０８では、圧縮部３は、ビット変化情報２５に量子化処理を行うことにより量子化値２９を生成する。量子化処理では、圧縮部３は、ビット変化情報２５を最大量子化幅２８の数だけ下位にビットシフトすることにより当該ビット変化情報２５を量子化する。ここでは、最大量子化幅２８が“１”であり、かつ、ビット変化情報２５が“０００１００００１０００”である。この場合、“０００１００００１０００”を、最大量子化幅２８（”１“）の数だけ下位にビットシフトすることにより、“０００１００００１００”を算出する。ここで、量子化値のビット幅Ｍは８ビットであるため、圧縮部３は、最下位ビットから８ビット目までの量子化されたビット変化情報“１００００１００”を量子化値２９としてパッキングバッファへ送信する。
次に、ステップＳ１０９では、圧縮部３は、グループ内の画素数Ｐｉｘ＿Ｇの画素について、量子化処理が全て終了したか否かの判定を行う。
量子化処理が全て終了していない場合（Ｓ１０９でＮＯ）、圧縮部３はステップＳ１０８に移行し、同一グループ内における次の符号化対象画素データに対してステップＳ１０８の処理を実行する。
一方、量子化処理が全て終了した場合（ステップＳ１０９でＹＥＳ）、圧縮部３はステップＳ１１０に移行する。
ステップＳ１１０では、圧縮部３は、生成したデータを予め決められたＳビットにパッキングする処理を行う。パッキング処理では、圧縮部３は、初期画素値２２Ｂ（Ｐ１）をＳビット長のパッキングバッファに格納し、その後は順次、Ｑビット長の量子化情報３１、符号化対象画素Ｐ２～Ｐ４の量子化値２９を、パッキングバッファに格納していく。ここで、固定ビットＳが“６４”、量子化情報３１のビット長Ｑが“２”であるとする。符号化対象画素の量子化値２９は８ビットであるため、画素数Ｐｉｘ＿Ｇの画素データ２２Ａを処理した時点で、６４ビット長のパッキングバッファの先頭から３８ビット分の圧縮データ（画素Ｐ１の画素データ２２Ａ（１２ビット）＋量子化情報３１（２ビット）＋画素Ｐ２～Ｐ４の量子化値２９（８×３＝２４ビット））が格納されたことになる。符号化対象画素のパッキング処理が終了すると圧縮部３はステップＳ１１１に移行する。
ステップＳ１１１では、圧縮部３は、Ｓビットにパッキングする画素数Ｐｉｘの画素について圧縮処理が終了したか否かを判定する。ここで、画素数Ｐｉｘは、以下の式（１）にて予め算出されているものとする。
Ｐｉｘ ＝ （Ｓ－（２×Ｑ））／Ｍ ・・・（１）
ここで、固定ビットＳが“６４”、量子化情報３１のビット長Ｑが“２”、量子化値２９のビット幅Ｍは８ビットであるため、画素数Ｐｉｘは式（１）により７画素となる。
ここで、固定ビットＳが“６４”、量子化情報３１のビット長Ｑが“２”、量子化値２９のビット幅Ｍは８ビットであるため、画素数Ｐｉｘは式（１）により７画素となる。
画素数Ｐｉｘの画素について圧縮処理が終了していない場合（Ｓ１１１でＮＯ）、圧縮部３はステップＳ１０１に移行し、次に画素データ２２Ａに対してステップＳ１０１以降の処理を実行する。この場合、圧縮部３は、画素Ｐ５から画素Ｐ７に対して、ステップＳ１０１以降の処理を行い、順次、生成したデータをバッファメモリに格納していく。
一方、画素数Ｐｉｘの画素について圧縮処理が終了した場合（Ｓ１１１でＹＥＳ）、圧縮部３は、バッファメモリ内に保持される圧縮データ２３をＳビット単位の圧縮パッキングデータ２３Ａとして出力し（Ｓ１１２）、次にステップＳ１１３に移行する。
ステップＳ１１３では、圧縮部３は、出力した圧縮パッキングデータ２３Ａで、１画像（１画面）についての圧縮処理が全て終了したかを判別する。１画像についての圧縮処理が全て終了した場合（Ｓ１１３でＹＥＳ）、圧縮部３は圧縮処理を終了し、１画像についての圧縮処理が全て終了していない場合（Ｓ１１３でＮＯ）、圧縮部３はステップＳ１０１へ移行して、ステップＳ１０１以降の処理を実行する。
以上の処理及び演算を実行した結果、算出される符号化対象画素Ｐ２～Ｐ６のコード２４、ビット変化情報２５、有効ビット桁数２６、量子化幅２７、そしてパッキングされる８ビットの量子化値２９を図２に示している。
また、図５Ａは、上記圧縮処理を行わない場合のパッキングされた６４ビットのデータ例を示す図である。また、図５Ｂは、上記圧縮処理を行った場合のパッキングされた６４ビットの圧縮パッキングデータ２３Ａの例を示す図である。
図５Ａに示すように圧縮処理を行わない場合、６４ビットのデータは５画素分のデータで構成される。一方、図５Ｂに示すように圧縮処理を行うことにより６４ビットの圧縮パッキングデータ２３Ａに７画素分のデータを含ませることができる。
また、固定長符号化は、生成された複数の固定長の符号化データを、例えばメモリ等に記憶させた場合、画像内の特定の箇所の画素に対応した符号化データを、容易に特定することができる。その結果、符号化データに対するランダムアクセス性を維持することができるメリットがある。
また、ＲＡＷデータを圧縮する本実施の形態では、色成分が同色である近接画素から予測値を生成してもよい。具体的には、符号化対象画素の画素配列がベイヤー配列のＲＡＷデータであるとする。この場合、ＲＡＷデータを、Ｒ（赤）成分と、Ｇ（緑）成分と、Ｂ（青）成分とに分けることができる。よって、圧縮部３は、予測値として符号化対象画素の隣接画素ではなく、同色の左隣の画素を利用してもよい。これにより、色成分が異なる隣接画素が使用するよりも、画素データとして相関が高いため、量子化精度を上げることができる。
図６Ａは、ベイヤー配列のＲＡＷデータにおける予測値として用いる画素の関係を示す図である。例えば、図６Ａに示すように画素Ｒ２は、直前（左隣）の同色の画素Ｒ１の画素データ２２Ａを予測値として用いる。
また、図６Ａは、ベイヤー配列のＲＡＷデータに対して、上記圧縮処理を行わない場合のデータ例を示す図である。また、図６Ｂは、ベイヤー配列のＲＡＷデータに対して、上記圧縮処理を行った場合の圧縮パッキングデータ２３Ａのデータ例を示す図である。また、図６Ａ及び図６Ｂは、１４画素に対するデータ量を示している。
図６Ａに示すように圧縮処理を行わない場合、１４画素に対して１６８ビットのデータが必要になる。一方、図６Ｂに示すように圧縮処理を行うことにより１４画素分のデータを１２４ビットに圧縮できる。
次に、画像信号処理部１０１について説明する。
圧縮部３からの圧縮データ２３は内部バス１０、メモリコントローラ９を介して記憶部１０２に記憶されるのと同時に、伸張部４に送られ、伸張部４において圧縮データ２３の伸張処理が実施される。
伸張部４は、圧縮データ２３を伸張することにより伸張データ３２を生成する。
カメラ信号処理部５は、入力された伸張データ３２（ＲＡＷデータ）に所定の画像処理（画質補正処理等）を施すことにより補正画像データ３３を生成し、生成した補正画像データ３３を、内部バス１０を介して記憶部１０２に出力する。
図７は、カメラ信号処理部５の構成を示すブロック図である。
一般的には、図７に示すように、カメラ信号処理部５は、ホワイトバランス処理回路７２１（図中ではＷＢと略記）と、輝度信号生成回路７２２と、色分離回路７２３と、アパーチャ補正処理回路７２４（図中ではＡＰと略記）と、マトリクス処理回路７２５とを備えている。
ホワイトバランス処理回路７２１は、白い被写体がどのような光源下でも白く撮影されるように、撮像素子１のカラーフィルタによる色成分を正しい割合で補正することにより補正信号７３１を生成する。
輝度信号生成回路７２２は、ＲＡＷデータ（補正信号７３１）から輝度信号７３２（Ｙ信号）を生成する。
色分離回路７２３は、ＲＡＷデータ（補正信号７３１）から色差信号７３３（Ｃｒ／Ｃｂ信号）を生成する。
アパーチャ補正処理回路７２４は、輝度信号生成回路７２２が生成した輝度信号７３２に高周波数成分を足し合わせて解像度を高く見せる処理を行う。
マトリクス処理回路７２５は、撮像素子１の分光特性や画像処理で崩れた色相バランスの調整を、色分離回路７２３が生成した色差信号７３３に対して行う。
解像度変換部６は、画像の拡大及び縮小処理を行う。
画像符号化部７は、記憶部１０２に記憶されるデータをＪＰＥＧ等の所定の規格で圧縮変換することにより画像データを生成し、生成した画像データを記録保存部１０３に出力する。
一般的に画像信号処理部１０１は処理対象の画素データをＳＤＲＡＭ等のメモリ（記憶部１０２）に一時記憶させ、一時記憶されたデータに対して所定の画像処理、ＹＣ信号生成、及びズーム処理等を行い、処理後のデータを再度ＳＤＲＡＭに一時記憶することが多い。そのため、それぞれの処理部は内部バス１０を通じて接続されている。
同時にビデオエンコーダ８は、解像度変換部６からの拡大又は縮小された画像をＬＣＤ又はモニタなどに表示する表示部である。
次に、撮像装置５０における各処理の流れを説明する。図８は、本実施の形態における各処理のタイミングを示す図である。
まず、撮像部１００は、基準タイミング６０の立ち上がりタイミングで画面Ａの画像データ２２の取り込み処理を行い、その後、取り込んだ画像データ２２に対して圧縮処理を実施することにより圧縮データ２３を生成する。さらに、撮像部１００は、生成した圧縮データ２３を記憶部１０２へ記憶する（Ｓ９１）。
同時に、撮像部１００は、伸張部４へ圧縮データ２３を送る。伸張部４は圧縮データ２３の一部である指定データ４０のみを伸張することにより部分伸張データ３２Ａを生成する。次に、カメラ信号処理部５は、生成された部分伸張データ３２Ａにカメラ信号処理（画質補正処理）を施すことにより部分補正画像データ３３Ａを生成し、生成した部分補正画像データ３３Ａを記憶部１０２へ送る（Ｓ９２）。例えば、指定データ４０は、圧縮パッキングデータ２３Ａの各々に含まれる一部のデータである。より具体的には、例えば、指定データ４０は、初期画素値２２Ｂである。
次に、解像度変換部６は、記憶部１０２に記憶される部分補正画像データ３３Ａを読み出し、当該部分補正画像データ３３Ａにズーム処理を行うことにより部分変換画像データ３４Ａを生成し、生成した部分変換画像データ３４Ａを記憶部１０２へ記憶する（Ｓ９３）。次に、ビデオエンコーダ８は、記憶部１０２に記憶された部分変換画像データ３４Ａを表示する（Ｓ９４）。
また、伸張部４は、ステップＳ９２の部分伸張処理が終わった後、画面Ａの圧縮データ２３を記憶部１０２から読み出し（Ｓ９５）、読み出した圧縮データ２３の全てに伸張処理を行うことにより全体伸張データ３２Ｂを生成する。次に、カメラ信号処理部５は、生成された全体伸張データ３２Ｂにカメラ信号処理を施すことにより全体補正画像データ３３Ｂを生成し、生成した全体補正画像データ３３Ｂを記憶部１０２へ送る（Ｓ９６）。
同じく解像度変換部６は、部分伸張データ３２Ａのズーム処理が終わった後（Ｓ９３）、記憶部１０２から全体補正画像データ３３Ｂを読み出す。そして解像度変換部６は、読み出した全体補正画像データ３３Ｂに解像度変換処理を行うことにより全体変換画像データ３４Ｂを生成し、生成した全体変換画像データ３４Ｂを記憶部１０２に記憶する（Ｓ９７）。
次に、画像符号化部７は、記憶部１０２に記憶されている全体変換画像データ３４Ｂを符号化することにより符号化画像データを生成し、生成した符号化画像データを記録保存部１０３に記録する（Ｓ９８）。
ここで、近年、取り扱う画像サイズが増大している。例えば、１５ＭＰｉｘｅｌ程度の解像度（水平：４４８０、垂直：３３６０）の情報量の場合、一時伸張する画素が初期画素値２２Ｂのみであっても、図２に示す例では１／７の情報量となる。つまり、４４８０／７＝６４０、３３６０／７＝４８０とＮＴＳＣ（全米テレビジョン放送方式標準化委員会）などの標準モニタの解像度ＶＧＡ（６４０×４８０）を十分得ることができる。
この結果、本発明に係る撮像装置５０は、全体の信号処理をするよりも早く画像を表示することが可能である。
なお、一部伸張するのは圧縮パッキングデータ２３Ａに含まれるデータのうち任意の数の予め定められた複数の指定画素に関する指定データ４０でもよい。例えば、１つの圧縮パッキングデータ２３Ａに圧縮される複数の画素データ２２Ａが、連続して配置された複数の画素の画素データ２２Ａである場合、指定画素は、等間隔（例えば１つおき）に配置される画素であってもよい。
これは初期画素値２２Ｂのみでは単純に間引いた画素データを出力しているため折り返しノイズが発生する可能性があるためである。そのため圧縮部３は、図９Ａ及び図９Ｂに示すような順に画素データ２２Ａを圧縮してもよい。つまり、圧縮部３は、指定画素のみを先に連続して圧縮する。
この場合、伸張部４は、１つの圧縮パッキングデータ２３Ａに含まれる各色の前半４画素（Ｒ１、Ｒ３、Ｒ５、Ｒ７、Ｇ１、Ｇ３、Ｇ５、Ｇ７）に対応する指定データ４０のみ伸張すればよい。これにより、一部伸張する画素数が増えるものの、伸張する情報量を全体伸張の４／７程度の情報に抑えることができる。また、これにより、よりノイズを抑えた画像を得ることができる。
また、図１０に示すように、圧縮部３は、圧縮パッキングデータ２３Ａに含まれる画素データ２２Ａの平均値２２Ｃを算出し、基準となる基準画素値として、初期画素値２２Ｂの代わりに平均値２２Ｃを用いてもよい。この場合、伸張部４は、この基準画素値である平均値２２Ｃを一部伸張すればよい。このように、基準画素値である平均値２２Ｃを用いることで、平均値２２Ｃ分だけ圧縮効率は劣化するが、圧縮パッキングデータ２３Ａ内の全ての画素からの情報を用いることで折り返しノイズを抑えた画像を得ることができる。
また、本実施の形態における各処理のタイミングの異なる例を図１１に示す。
図１１に示すように、まず、撮像部１００は、基準タイミング６０の立ち上がりタイミングで画面Ａの画像データ２２の取り込み処理を行い、その後、取り込んだ画像データ２２に対して圧縮処理を実施することにより圧縮データ２３を生成する。さらに、撮像部１００は、生成した圧縮データ２３を記憶部１０２へ記憶する（Ｓ９１Ａ）。以降ステップＳ９４Ａまでは図８に示すステップＳ９１～Ｓ９４と同じ処理である。次に、画面Ｂに対して同様の処理（Ｓ９１Ｂ～Ｓ９４Ｂ）が行われ、その後、画面Ｃに対して同様の処理（Ｓ９１Ｃ～Ｓ９４Ｃ）が行われる。すなわち連写記録が行われた場合、ステップＳ９１～Ｓ９４の処理が繰り返し行われる。
上記ステップＳ９１Ａ～Ｓ９４Ｃが完了するまで全体の圧縮データ２３は記憶部１０２に蓄積される。そして連写記録が終わったところで、全体伸張（Ｓ９５）～全体符号化（Ｓ９８）までの処理が、記録された画像分繰り返し行われる。つまり、画面Ａに対する全体伸張（Ｓ９５Ａ）～全体符号化（Ｓ９８Ａ）、画面Ｂに対する全体伸張（Ｓ９５Ｂ）～全体符号化（Ｓ９８Ｂ）、画面Ｃに対する全体伸張（Ｓ９５Ｃ）～全体符号化（Ｓ９８Ｃ）が順次行われる。
この結果、本発明の実施の形態１に係る撮像装置５０は、全体の信号処理をするよりも早く画像を表示することができる。また、ＳＤＲＡＭ等の記憶部１０２へは圧縮された状態でデータが保存されているため記憶部１０２へ記録するデータ量をより少なくできる。また、記憶部１０２により多くの情報を蓄積しておくことが可能である。
また、実施の形態１の異なる形態を図１２に示す。
図１２に示す撮像装置５０Ａは、図１に示す撮像装置５０に対して、撮像部１００Ａ及び画像信号処理部１０１Ａの構成が異なる。具体的には、圧縮部３が、撮像部１００Ａではなく画像信号処理部１０１Ａに含まれる。
また、ＡＦＥ回路２からの画像データ２２の一部が直接カメラ信号処理部５へ入力される。この結果、表示データを生成する際、伸張部４を介さず直接処理できるため、さらに早く表示させることが可能である。
（実施の形態２）
実施の形態２では、実施の形態１で説明した、伸張部４及びカメラ信号処理部５の変形例を説明する。
実施の形態２では、実施の形態１で説明した、伸張部４及びカメラ信号処理部５の変形例を説明する。
図１３は実施の形態２に係るカメラ信号処理部５Ａの構成を示すブロック図である。図１３に示すカメラ信号処理部５Ａは、図７に示すカメラ信号処理部５の構成に加え、新たに露出制御部７４１を備える。
この露出制御部７４１は、部分伸張データ３２Ａを用いて画像データ２２の輝度レベルを算出し、画像データ２２が所定の輝度レベルとなるように撮像素子１の露出量（露光量）を制御する。
図１４は、実施の形態２に係る撮像装置５０による露出制御処理の手順を示すフローチャートである。
まず、ステップＳ２０１では、伸張部４は圧縮部３から圧縮パッキングデータ２３Ａを受け取る。
次に、ステップＳ２０２では、伸張部４は圧縮パッキングデータ２３Ａに含まれる各データが初期画素値２２Ｂ（指定データ４０）かどうか判断する。初期画素値２２Ｂであれば（Ｓ２０２でＹｅｓ）、伸張部４はステップＳ２０３に移行する。初期画素値２２Ｂでなければ（Ｓ２０２でＮｏ）、次の初期画素値２２Ｂを取得するため次の圧縮パッキングデータ取得ステップ（Ｓ２０１）に戻る。
ステップＳ２０３では伸張部４は初期画素値２２Ｂのみを伸張する。
次にステップＳ２０４において伸張部４は、伸張した初期画素値２２Ｂをカメラ信号処理部５Ａへ転送する。次に、露出制御部７４１は取得した初期画素値２２Ｂを積算する（Ｓ２０５）。
これらステップＳ２０１～Ｓ２０４までの処理が、露出制御部７４１が１画面分の初期画素値２２Ｂを積算するまで繰り返される（Ｓ２０６）。
１画面分の初期画素値２２Ｂの積算が終了すると（Ｓ２０６でＹＥＳ）、露出制御部７４１は、当該積算値が上限輝度レベルより高いか否かを判断する（Ｓ２０７）。また、露出制御部７４１は、当該積算値が下限輝度レベルより低いか否かを判断する（Ｓ２０８）。つまり、露出制御部７４１は、積算値が所定の輝度レベルの範囲内であるか否かを判定する。
積算値が所定の輝度レベルの範囲外である場合（Ｓ２０７でＹＥＳ、又は、Ｓ２０８でＹＥＳ）、露出制御部７４１が、撮像素子１を制御することで露出を制御する（Ｓ２０９）。
一方、積算値が所定の輝度レベルの範囲内である場合（Ｓ２０７でＮＯ、かつＳ２０８でＮｏ）、撮像装置５０は露出制御処理を終了する。
以上により、本発明の実施の形態２に係る撮像装置５０は、表示画像を生成するのと同時に、露出量を制御することができる。
また、図１５に示すカメラ信号処理部５Ｂのように、撮像装置５０は、露出制御に使用する積算領域７５０を選択する領域選択部７４２を備えてもかまわない。この場合、例えば、領域選択部７４２は、図１６に示す画面中央の積算領域７５０を選択する。また、露出制御部７４１は、領域選択部７４２により選択された積算領域７５０に含まれる初期画素値２２Ｂの輝度値のみを積算し、積算した積算値に応じて、上述した露出制御を行なう。これにより、撮像装置５０は、画像中の任意の位置の積算領域７５０のみの明るさに応じて露出量を調整できる。
また、図１０に示すように、基準画素値が圧縮パッキングデータ２３Ａに含まれる画素データ２２Ａの平均値２２Ｃであってもかまわない。この場合、撮像装置５０は、パッキングデータの全体の平均値２２Ｃを元に露出量を制御することが可能である。
また、図９Ｂに示すように、指定データ４０が複数の指定画素を含んでもよい。
（実施の形態３）
実施の形態３では、実施の形態１で説明した、伸張部４及びカメラ信号処理部５の変形例を説明する。
実施の形態３では、実施の形態１で説明した、伸張部４及びカメラ信号処理部５の変形例を説明する。
なお、実施の形態３では、圧縮パッキングデータ２３Ａは、図９Ｂに示すように複数の指定画素値を含むとする。
図１７は実施の形態３に係るカメラ信号処理部５Ｃの構成を示すブロック図である。図１７に示すカメラ信号処理部５Ｃは、図７に示すカメラ信号処理部５の構成に加え、新たにフォーカス制御部７４３を備える。
このフォーカス制御部７４３は、部分伸張データ３２Ａに含まれる画素データ２２Ａの周波数特性を算出し、当該周波数特性を用いてフォーカス制御を行う。
図１８は、実施の形態３に係る撮像装置５０によるフォーカス制御処理の手順を示すフローチャートである。
まず、ステップＳ３０１では、伸張部４は圧縮部３からの圧縮パッキングデータ２３Ａを受け取る。次に、ステップＳ３０２では、伸張部４は、圧縮パッキングデータ２３Ａに含まれる各データが指定画素値かどうか判断する。
指定画素値の場合（Ｓ３０２でＹｅｓ）、伸張部４はステップＳ３０３にて指定画素値に伸張処理を実施する。一方、指定画素値でない場合（Ｓ３０２でＮｏ）、次の指定画素値を取得するため次の圧縮パッキングデータ取得ステップ（Ｓ３０１）に戻る。
次にステップＳ３０４において、伸張部４は、圧縮パッキングデータ２３Ａ内において任意の数の指定画素値を取得したかどうか判断する。任意の数の指定画素値を取得した場合（Ｓ３０４でＹｅｓ）、伸張部４はＳ３０５に移行する。また、任意の数の指定画素値を取得していない場合（Ｓ３０４でＮｏ）、伸張部４はステップＳ３０２に戻って次の位置の指定画素値の伸張を行う。
ステップＳ３０５では伸張部４は伸張した画素データをカメラ信号処理部５Ｃへ転送する。カメラ信号処理部５Ｃでは取得した画素データを、例えば直交変換などを用いて周波数成分に変換する（Ｓ３０６）。また、１画面分の周波数成分を積算するまでステップＳ３０１～Ｓ３０６の処理を繰り返す（Ｓ３０７）。
１画面分の周波数成分の積算が終了すると（Ｓ３０７でＹＥＳ）、フォーカス制御部７４３は、その積算値が所定のレベルより低いか否かを判断する（Ｓ３０８）。所定の周波数成分レベルより低い場合、フォーカス制御部７４３は、撮像素子１のレンズ位置を制御することでフォーカスを制御する（Ｓ３０９）。
一方、積算値が所定の周波数成分レベルより高い場合（Ｓ３０８がＮｏ）、撮像装置５０は、フォーカス制御処理を終了する。
以上により、本発明の実施の形態３に係る撮像装置５０は、表示画像を生成するのと同時に、フォーカスを制御することができる。
また、カメラ信号処理部５Ｃは、図１５に示すカメラ信号処理部５Ａと同様に、使用する積算領域を選択する領域選択部７４２を備えてもかまわない。この場合、図１６に示す画像中の任意の位置の指定画素値による輝度値を積算し、例えば画面中央のみのフォーカス調整が可能になる。
また、伸張部４が伸張するデータは、初期画素値２２Ｂ又は平均値２２Ｃであってもよい。
（実施の形態４）
実施の形態４では、実施の形態１で説明した、圧縮部３及び伸張部４の変形例を説明する。
実施の形態４では、実施の形態１で説明した、圧縮部３及び伸張部４の変形例を説明する。
実施の形態４に係る撮像装置５０の処理手順を図１９に示す。
まず、ステップＳ４０１において、圧縮部３は、符号化対象画素が遮光された領域の画素かどうか判断する。一般的な撮像装置において、画像の黒レベルを決定するため、図２０に示すように撮像素子１の上下左右領域に遮光領域７５１（ＯＢ領域）を設けている。撮像装置５０は、この遮光領域７５１に含まれる画素の画素データ２２Ａである遮光画素データ２２Ｄの平均値を黒レベルとして算出し、実際の撮像された領域の画素データ２２Ａから黒レベルを引くことで各画素のレベルを調整している。そのため、遮光領域７５１の必要データは各々の画素レベルではなく平均値があればよい。
符号化対象画素データが遮光画素データ２２Ｄでない場合（Ｓ４０１でＮＯ）、圧縮部３は、図３に示す実施の形態１と同様の処理を実施する（Ｓ４１５）。
符号化対象画素データが遮光画素データ２２Ｄである場合（Ｓ４０１でＹＥＳ）、次に、ステップＳ４０２では、圧縮部３は、Ｎ画素の遮光画素データ２２Ｄの平均値を算出する。図２１に示す例では、圧縮部３は、４画素の遮光画素データ２２Ｄの平均値を算出している。
また、ステップＳ４０３以降の処理において、圧縮部３は複数の算出した平均値を固定長符号化することにより圧縮データ２３を生成する。
なお、ステップＳ４０３～ステップＳ４１４の処理は、図３に示すステップＳ１０２～ステップＳ１１３に対して、符号化対象を画素データ２２ＡからＮ画素の平均値に置き換えた場合の処理と同様であるためここでの説明は省略する。なお、図２１に示す初期平均値２２Ｅは画素Ｐ１～Ｐ４の平均値である。また、例えば、伸張部４は、この初期平均値２２Ｅのみを伸張することにより、部分伸張データ３２Ａを生成する。また、量子化平均値２９Ａは、例えば、画素Ｐ５～Ｐ８の４画素の平均値の量子化値である。
以上により、本発明の実施の形態４に係る撮像装置５０は、遮光領域７５１の画素データ２２Ａに対しては、平均値を算出したうえで当該平均値を圧縮する。これにより、本発明の実施の形態４に係る撮像装置５０は、遮光領域７５１に対するデータ量を削減することができる。
なお、上記説明では、圧縮部３は遮光領域７５１に対しては平均値を圧縮するとしたが、圧縮部３は、Ｎ画素ごとに、画素データ２２Ａの最大値及び最小値のうち少なくとも一方を算出し、複数の算出した最小値及び最大値のうちの少なくとも一方を固定長符号化することにより圧縮データ２３を生成してもよい。
（実施の形態５）
本発明の実施の形態５では、上述した撮像装置５０を含む撮像システム５００について説明する。
本発明の実施の形態５では、上述した撮像装置５０を含む撮像システム５００について説明する。
図２２は、本発明の実施の形態５に係る撮像システム５００（例えばデジタルスチルカメラ（ＤＳＣ））の構成を示すブロック図である。
図２２に示す撮像システム５００は、光学系５０１と、イメージセンサ５０２と、アナログ・デジタル変換器（ＡＤＣ）５０３と、画像処理回路５０４と、記録転送回路５０６と、システム制御回路５０７と、タイミング制御回路５０８と、再生回路５０９とを備える。
ここで、イメージセンサ５０２は、図１に示す撮像素子１に相当し、ＡＤＣ５０３はＡＦＥ回路２に相当し、画像処理回路５０４は画像信号処理部１０１に相当し、記録転送回路５０６は記録保存部１０３に相当する。
この撮像システム５００の全体は、システム制御回路５０７によって制御されている。
この撮像システム５００においては、光学系５０１を通って入射した被写体像はイメージセンサ５０２上に結像される。イメージセンサ５０２はタイミング制御回路５０８によって駆動されることにより、結像された被写体像の光学データを蓄積し、電気信号へと光電変換する。イメージセンサ５０２から読み出された電気信号は、アナログ・デジタル変換器５０３によってデジタル信号へと変換された後、画像処理回路５０４に入力される。この画像処理回路５０４においては、本発明を用いた伸張処理、カメラ信号処理、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、画像圧縮伸張処理などの画像処理が行われる。画像処理された信号は、記録転送回路５０６においてメディアへの記録又はネットワークへの転送が行われる。記録又は転送された信号は、再生回路５０９により再生される。
なお、本発明の実施の形態の画像処理回路５０４における画像処理は、必ずしも光学系５０１を介してイメージセンサ５０２に結像された被写体像に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることはいうまでもない。
また、上記実施の形態１～５に係る撮像装置及び撮像システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本発明の実施の形態１～５に係る、撮像装置及び撮像システムの機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施の形態１～５に係る、撮像装置、撮像システム及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明は撮像装置に適用でき、デジタルスチルカメラ又はネットワークカメラ等のような画像を扱う装置に適用できる。
１ 撮像素子
２ ＡＦＥ回路
３ 圧縮部
４ 伸張部
５、５Ａ、５Ｂ、５Ｃ カメラ信号処理部
６ 解像度変換部
７ 画像符号化部
８ ビデオエンコーダ
９ メモリコントローラ
１０ 内部バス
２１、２２ 画像データ
２２Ａ 画素データ
２２Ｂ 初期画素値
２２Ｃ 平均値
２２Ｄ 遮光画素データ
２２Ｅ 初期平均値
２３ 圧縮データ
２３Ａ 圧縮パッキングデータ
２４ コード
２５ ビット変化情報
２６ 有効ビット桁数
２７ 量子化幅
２８ 最大量子化幅
２９ 量子化値
２９Ａ 量子化平均値
３０ グループＮｏ
３１ 量子化情報
３２ 伸張データ
３２Ａ 部分伸張データ
３２Ｂ 全体伸張データ
３３ 補正画像データ
３３Ａ 部分補正画像データ
３３Ｂ 全体補正画像データ
３４Ａ 部分変換画像データ
３４Ｂ 全体変換画像データ
４０ 指定データ
５０、５０Ａ 撮像装置
６０ 基準タイミング
１００、１００Ａ 撮像部
１０１、１０１Ａ 画像信号処理部
１０２ 記憶部
１０３ 記録保存部
５００ 撮像システム
５０１ 光学系
５０２ センサ
５０３ アナログ・デジタル変換器
５０４ 画像処理回路
５０６ 記録転送回路
５０７ システム制御回路
５０８ タイミング制御回路
５０９ 再生回路
７２１ ホワイトバランス処理回路
７２２ 輝度信号生成回路
７２３ 色分離回路
７２４ アパーチャ補正処理回路
７２５ マトリクス処理回路
７３１ 補正信号
７３２ 輝度信号
７３３ 色差信号
７４１ 露出制御部
７４２ 領域選択部
７４３ フォーカス制御部
７５０ 積算領域
７５１ 遮光領域
２ ＡＦＥ回路
３ 圧縮部
４ 伸張部
５、５Ａ、５Ｂ、５Ｃ カメラ信号処理部
６ 解像度変換部
７ 画像符号化部
８ ビデオエンコーダ
９ メモリコントローラ
１０ 内部バス
２１、２２ 画像データ
２２Ａ 画素データ
２２Ｂ 初期画素値
２２Ｃ 平均値
２２Ｄ 遮光画素データ
２２Ｅ 初期平均値
２３ 圧縮データ
２３Ａ 圧縮パッキングデータ
２４ コード
２５ ビット変化情報
２６ 有効ビット桁数
２７ 量子化幅
２８ 最大量子化幅
２９ 量子化値
２９Ａ 量子化平均値
３０ グループＮｏ
３１ 量子化情報
３２ 伸張データ
３２Ａ 部分伸張データ
３２Ｂ 全体伸張データ
３３ 補正画像データ
３３Ａ 部分補正画像データ
３３Ｂ 全体補正画像データ
３４Ａ 部分変換画像データ
３４Ｂ 全体変換画像データ
４０ 指定データ
５０、５０Ａ 撮像装置
６０ 基準タイミング
１００、１００Ａ 撮像部
１０１、１０１Ａ 画像信号処理部
１０２ 記憶部
１０３ 記録保存部
５００ 撮像システム
５０１ 光学系
５０２ センサ
５０３ アナログ・デジタル変換器
５０４ 画像処理回路
５０６ 記録転送回路
５０７ システム制御回路
５０８ タイミング制御回路
５０９ 再生回路
７２１ ホワイトバランス処理回路
７２２ 輝度信号生成回路
７２３ 色分離回路
７２４ アパーチャ補正処理回路
７２５ マトリクス処理回路
７３１ 補正信号
７３２ 輝度信号
７３３ 色差信号
７４１ 露出制御部
７４２ 領域選択部
７４３ フォーカス制御部
７５０ 積算領域
７５１ 遮光領域
Claims (14)
- 入射光に応じて第１画像データを生成する撮像素子と、
前記第１画像データを固定長符号化することにより第１圧縮データを生成する圧縮部と、
前記第１圧縮データを記憶する記憶部と、
前記第１圧縮データの一部である第１指定データのみを伸張することにより第１部分伸張データを生成する伸張部と、
前記第１部分伸張データを画質補正することにより第１部分補正画像データを生成する信号処理部と、
前記第１部分補正画像データを表示する表示部とを備える
撮像装置。 - 前記伸張部は、前記第１部分伸張データを生成した後、前記記憶部に記憶されている前記第１圧縮データの全てを伸張することにより第１全体伸張データを生成し、
前記信号処理部は、前記第１全体伸張データを画質補正することにより第１全体補正画像データを生成する
請求項１記載の撮像装置。 - 前記圧縮部は、前記第１画像データに含まれる複数の画素データの一部である画素データ群ごとに、当該画素データ群に含まれる複数の画素データを固定長に圧縮することにより単位圧縮データを生成し、
前記第１指定データは、前記単位圧縮データの各々に含まれる一部のデータである
請求項１又は２記載の撮像装置。 - 前記圧縮部は、予測値と符号化対象画素の画素データとの差を示すビット変化情報を算出し、算出した前記ビット変化情報を量子化することにより固定長の量子化値を算出し、
前記単位圧縮データは、前記予測値として用いられる画素データである基準画素値と、前記画素データ群に含まれる画素データに対応する前記量子化値と、前記量子化の条件を示す量子化情報とを含み、
前記第１指定データは、前記基準画素値を含む
請求項３記載の撮像装置。 - 前記基準画素値は、前記画素データ群に含まれる一の画素データであり、
前記単位圧縮データは、前記基準画素値と、前記画素データ群に含まれる、前記一の画素データ以外の画素データに対応する前記量子化値と、前記量子化情報とを含む
請求項４記載の撮像装置。 - 前記圧縮部は、前記画素データ群に含まれる複数の画素データの平均値を算出し、
前記基準画素値は、前記平均値である
請求項４記載の撮像装置。 - 前記画素データ群は、連続して配置された複数の画素の画素データを含み、
前記第１指定データは、前記基準画素値と、等間隔に配置される画素に対応する前記量子化値とを含む
請求項３記載の撮像装置。 - 前記複数の画素データの各々は、複数の色の画素データのうちいずれかであり、
前記単位圧縮データは、色ごとの前記基準画素値を含み、
前記第１指定データは、前記色ごとの基準画素値を含み、
前記圧縮部は、符号化対象画素と同色の基準画素値を前記予測値として用いて、前記ビット変化情報を算出し、算出した前記ビット変化情報を量子化することにより固定長の量子化値を算出する
請求項４～７のいずれか１項に記載の撮像装置。 - 前期撮像素子は、さらに、入射光に応じて第２画像データを生成し、
前記圧縮部は、さらに、前記第２画像データを固定長符号化することにより第２圧縮データを生成し、
前記記憶部は、さらに、前記第２圧縮データを記憶し、
前記伸張部は、さらに、前記第２の圧縮データの一部である第２指定データのみを伸張することにより第２部分伸張データを生成し、
前記信号処理部は、さらに、前記第２部分伸張データを画質補正することにより第２部分補正画像データを生成し、
前記表示部は、さらに、前記第２部分補正画像データを表示し、
前記伸張部は、前記第１部分伸張データ及び前記第２部分伸張データを共に生成した後、前記第１全体伸張データを生成し、前記記憶部に記憶されている前記第２圧縮データの全てを伸張することにより第２全体伸張データを生成し、
前記信号処理部は、さらに、前記第２全体伸張データを画質補正することにより第２全体補正画像データを生成する
請求項２記載の撮像装置。 - 前記撮像装置は、さらに、
前記第１部分伸張データを用いて前記第１画像データの輝度レベルを算出し、前記第１画像データが所定の輝度レベルとなるように前記撮像素子の露出量を制御する露出制御部を備える
請求項１～９のいずれか１項に記載の撮像装置。 - 前記撮像装置は、さらに、
前記第１部分伸張データに含まれる画素データの周波数特性を算出し、当該周波数特性を用いてフォーカス制御を行うフォーカス制御部を備える
請求項１～１０のいずれか１項に記載の撮像装置。 - 前記第１画像データは、遮光された画素の画素データである遮光画素データを含み、
前記圧縮部は、前記画素データ群に含まれる複数の画素データが複数の前記遮光画素データである場合、予め定められた画素数ごとに前記複数の遮光画像データの平均値を算出し、複数の算出した平均値を固定長符号化することにより前記第１圧縮データを生成する
請求項３記載の撮像装置。 - 前記第１画像データは、遮光された画素の画素データである遮光画素データを含み、
前記圧縮部は、前記画素データ群に含まれる複数の画素データが複数の前記遮光画素データである場合、予め定められた画素数ごとに前記複数の遮光画像データの最大値又は最小値を算出し、複数の算出した最小値又は最大値を固定長符号化することにより前記第１圧縮データを生成する
請求項３記載の撮像装置。 - 前記撮像装置は、さらに、前記撮像素子により生成された前記第１画像データをデジタル信号に変換するＡＤ変換部を備え、
前記圧縮部は、前記ＡＤ変換部によりデジタル信号に変換された前記第１画像データを固定長符号に圧縮することにより前記第１圧縮データを生成する
請求項１～１３のいずれか１項に記載の撮像装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201180012830.0A CN102812698B (zh) | 2010-05-28 | 2011-05-02 | 摄像装置 |
| JP2012517110A JP5793716B2 (ja) | 2010-05-28 | 2011-05-02 | 撮像装置 |
| US13/612,102 US8823832B2 (en) | 2010-05-28 | 2012-09-12 | Imaging apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010123555 | 2010-05-28 | ||
| JP2010-123555 | 2010-05-28 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US13/612,102 Continuation US8823832B2 (en) | 2010-05-28 | 2012-09-12 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2011148573A1 true WO2011148573A1 (ja) | 2011-12-01 |
Family
ID=45003574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2011/002527 WO2011148573A1 (ja) | 2010-05-28 | 2011-05-02 | 撮像装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8823832B2 (ja) |
| JP (1) | JP5793716B2 (ja) |
| CN (1) | CN102812698B (ja) |
| WO (1) | WO2011148573A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017059999A (ja) * | 2015-09-16 | 2017-03-23 | キヤノン株式会社 | 撮像装置および撮像装置における符号化方法 |
| JP2017520941A (ja) * | 2015-04-07 | 2017-07-27 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 画像処理方法及び画像処理装置 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013003238A (ja) * | 2011-06-14 | 2013-01-07 | Sony Corp | 映像信号処理回路、映像信号処理方法、表示装置、及び、電子機器 |
| WO2015068568A1 (ja) * | 2013-11-08 | 2015-05-14 | Ｎｅｃライティング株式会社 | 撮像装置、有機ｅｌ素子、撮像方法、プログラムおよび記録媒体 |
| JP6467190B2 (ja) * | 2014-10-20 | 2019-02-06 | キヤノン株式会社 | 露出制御装置及びその制御方法、撮像装置、プログラム、記憶媒体 |
| KR102499187B1 (ko) | 2018-02-12 | 2023-02-13 | 삼성전자주식회사 | 카메라를 이용하여 획득한 이미지를 압축 처리하는 전자 장치 및 그 동작 방법 |
| US10680642B2 (en) * | 2018-07-29 | 2020-06-09 | Realtek Semiconductor Corp. | Data processing system and image processing circuit |
| US10554975B1 (en) * | 2018-09-30 | 2020-02-04 | Tencent America LLC | Method and apparatus for video coding |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05176294A (ja) * | 1991-12-25 | 1993-07-13 | Ricoh Co Ltd | デジタル電子スチルカメラ及び画像再生方法 |
| JP2007228515A (ja) * | 2006-02-27 | 2007-09-06 | Sony Corp | 撮像装置、撮像回路、および撮像方法 |
| JP2010074597A (ja) * | 2008-09-19 | 2010-04-02 | Sony Corp | 画像処理装置、画像処理方法、プログラムおよび撮像装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1115054C (zh) * | 1996-12-26 | 2003-07-16 | 索尼株式会社 | 图像信号编码、解码装置及方法 |
| JP2000013806A (ja) | 1998-06-23 | 2000-01-14 | Mitsubishi Electric Corp | 画像処理装置及び画像処理方法 |
| JP2003125243A (ja) * | 2001-10-16 | 2003-04-25 | Fuji Photo Film Co Ltd | 撮像装置 |
| JP4822507B2 (ja) * | 2005-10-27 | 2011-11-24 | 株式会社メガチップス | 画像処理装置および画像処理装置に接続される装置 |
| JP4680166B2 (ja) * | 2006-10-30 | 2011-05-11 | ソニー株式会社 | 撮像装置および撮像方法 |
| US7969475B2 (en) * | 2007-07-17 | 2011-06-28 | Seiko Epson Corporation | Low memory auto-focus and exposure system for large multi-frame image acquisition |
| JP2011049764A (ja) * | 2009-08-26 | 2011-03-10 | Toshiba Corp | データ圧縮伸長装置 |
-
2011
- 2011-05-02 JP JP2012517110A patent/JP5793716B2/ja not_active Expired - Fee Related
- 2011-05-02 WO PCT/JP2011/002527 patent/WO2011148573A1/ja active Application Filing
- 2011-05-02 CN CN201180012830.0A patent/CN102812698B/zh active Active
-
2012
- 2012-09-12 US US13/612,102 patent/US8823832B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05176294A (ja) * | 1991-12-25 | 1993-07-13 | Ricoh Co Ltd | デジタル電子スチルカメラ及び画像再生方法 |
| JP2007228515A (ja) * | 2006-02-27 | 2007-09-06 | Sony Corp | 撮像装置、撮像回路、および撮像方法 |
| JP2010074597A (ja) * | 2008-09-19 | 2010-04-02 | Sony Corp | 画像処理装置、画像処理方法、プログラムおよび撮像装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017520941A (ja) * | 2015-04-07 | 2017-07-27 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 画像処理方法及び画像処理装置 |
| US9918061B2 (en) | 2015-04-07 | 2018-03-13 | SZ DJI Technology Co., Ltd. | System and method for storing image data in parallel in a camera system |
| JP2017059999A (ja) * | 2015-09-16 | 2017-03-23 | キヤノン株式会社 | 撮像装置および撮像装置における符号化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130002905A1 (en) | 2013-01-03 |
| JPWO2011148573A1 (ja) | 2013-07-25 |
| CN102812698B (zh) | 2015-07-22 |
| CN102812698A (zh) | 2012-12-05 |
| JP5793716B2 (ja) | 2015-10-14 |
| US8823832B2 (en) | 2014-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5793716B2 (ja) | 撮像装置 | |
| JP4508132B2 (ja) | 撮像装置、撮像回路、および撮像方法 | |
| JP4337911B2 (ja) | 撮像装置、撮像回路、および撮像方法 | |
| JP4321496B2 (ja) | 画像データ処理装置、画像データ処理方法およびプログラム | |
| JP4769039B2 (ja) | デジタル信号符号化および復号化装置ならびにその方法 | |
| KR101395433B1 (ko) | 촬상 장치 및 촬상 방법 | |
| KR100347508B1 (ko) | 촬상 장치 | |
| US20070110155A1 (en) | Method and apparatus of high efficiency image and video compression and display | |
| JP2008153836A (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
| CN101083773A (zh) | 数字图像处理设备中的伽玛校正装置和方法 | |
| JP2009027488A (ja) | 撮像回路および撮像装置 | |
| JP4504412B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR100843195B1 (ko) | 디스플레이 처리와 데이터 압축을 동시에 수행하는 촬상신호 처리 장치 및 그 방법 | |
| US8994856B2 (en) | Image processing apparatus, imaging apparatus, and image processing method for providing edge enhancement | |
| US20200252652A1 (en) | Encoding device, decoding device, encoding method, and decoding method | |
| JP4302661B2 (ja) | 画像処理システム | |
| JP7289642B2 (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム | |
| WO2023032484A1 (ja) | 撮像システム、撮像端末及びサーバ | |
| JP4522640B2 (ja) | データ転送システムおよびデータ転送方法 | |
| JP4720494B2 (ja) | 撮像装置、撮像方法およびプログラム、並びに記録媒体 | |
| JP4517548B2 (ja) | 撮像装置及び撮像信号の雑音除去方法 | |
| JP5003787B2 (ja) | 撮像装置及び撮像信号の雑音除去方法 | |
| JP2007228514A (ja) | 撮像装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WWE | Wipo information: entry into national phase |
Ref document number: 201180012830.0 Country of ref document: CN |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11786277 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2012517110 Country of ref document: JP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 11786277 Country of ref document: EP Kind code of ref document: A1 |