WO2012147631A1 - 撮像装置及び画像生成方法 - Google Patents

撮像装置及び画像生成方法 Download PDF

Info

Publication number
WO2012147631A1
WO2012147631A1 PCT/JP2012/060659 JP2012060659W WO2012147631A1 WO 2012147631 A1 WO2012147631 A1 WO 2012147631A1 JP 2012060659 W JP2012060659 W JP 2012060659W WO 2012147631 A1 WO2012147631 A1 WO 2012147631A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
addition
inter
unit
Prior art date
Application number
PCT/JP2012/060659
Other languages
English (en)
French (fr)
Inventor
愼一 今出
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2012147631A1 publication Critical patent/WO2012147631A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to an imaging device, an image generation method, and the like.
  • Some modern digital cameras and video cameras can be used by switching between still image shooting mode and movie shooting mode. For example, there is one that can shoot a still image with a higher resolution than a moving image by a user operating a button during moving image shooting.
  • the method of switching between the still image shooting mode and the moving image shooting mode has a problem that when a user notices a photo opportunity, a decisive moment is often already missed.
  • Patent Documents 1 and 2 disclose a technique for synthesizing a high-resolution image from a low-resolution image acquired by pixel shift.
  • this method requires imaging by pixel shift, which complicates the camera configuration.
  • an imaging device an image generation method, and the like that can acquire a high-resolution image by simple processing from moving image data with a reduced data amount.
  • One aspect of the present invention is an image acquisition unit that acquires the first to third captured images in the first to third frames, the pixel value of the first captured image, and the pixel value of the second captured image. Are added to each other to generate a first inter-frame added image, and the pixel values of the second captured image and the pixel values of the third captured image are weighted to generate a second inter-frame added image.
  • An inter-frame addition image generation unit an inter-frame difference image generation unit that generates a difference between the first inter-frame addition image and the second inter-frame addition image as an inter-frame difference image; and Based on the addition image and the inter-frame difference image, an inter-frame addition image reproduction unit that reproduces the second inter-frame addition image, the first inter-frame addition image, and the reproduced second frame Based on the added image
  • An inter-frame estimation calculation unit that estimates pixel values of the first to third captured images, an image output unit that outputs a high-resolution image based on the pixel values estimated by the inter-frame estimation calculation unit, This relates to an imaging device including
  • first to third captured images are acquired, and first and second inter-frame added images are generated by weighted addition of pixel values between frames, and the difference between the frames
  • a difference image is generated.
  • the second inter-frame addition image is reproduced from the first inter-frame addition image and the inter-frame difference image
  • the first to third captured images are estimated from the first and second inter-frame addition images.
  • a high resolution image based on the captured image is output.
  • the captured image can be restored from the inter-frame addition image with a simple process. Since moving image shooting and still image shooting are not switched, a high-resolution still image at an arbitrary timing can be acquired from moving image data. Further, by obtaining the inter-frame addition image, the image data can be compressed at a high compression rate.
  • the inter-frame estimation calculation unit obtains a difference value between a pixel value of the first inter-frame addition image and a pixel value of the second inter-frame addition image, and A relational expression between the pixel value of the captured image and the pixel value of the third captured image is expressed using the difference value, and the pixel values of the first to third captured images are expressed using the relational expression. It may be estimated.
  • the inter-frame estimation calculation unit uses the pixel value of the first and second inter-frame addition images as the relational expression between the pixel values of the first to third captured images. Comparing the pixel values of the first to third captured images represented by the relational expressions with the pixel values of the first and second inter-frame addition images, and evaluating the similarity, Based on the similarity evaluation result, the pixel values of the first to third captured images may be estimated so that the similarity is the highest.
  • the relational expression of the pixel value of the captured image is expressed using the pixel value superimposed and added between the frames, and the pixel value of the captured image can be restored based on the relational expression.
  • the restoration estimation process for the inter-frame addition image can be simplified.
  • the first inter-frame addition image or the inter-frame difference image is received as an input image, and an addition unit, which is a unit for obtaining an addition pixel value, is obtained for each of the plurality of pixels of the input image.
  • An intra-frame addition image generating unit configured to weight and add pixel values included in the addition unit while sequentially shifting the addition unit, and generating first to n-th intra-frame addition images;
  • An average image generating unit that generates an average image of the n-th intra-frame addition image, and an m-th intra-frame addition image (m is equal to or smaller than n (including its value) among the first to n-th intra-frame addition images ) Natural number) and the average image as an m-th frame difference image, and a data compression unit for compressing the average image and the m-th frame difference image.
  • a compressed data decompression unit for decompressing the compressed average image and the mth intra-frame difference image, and the first to nth based on the decompressed average image and the mth intra-frame difference image.
  • An intra-frame addition image reproduction unit that reproduces the intra-frame addition image, an intra-frame estimation calculation unit that estimates a pixel value of the input image based on the reproduced first to n-th intra-frame addition images, May be included.
  • the intra-frame difference image is a difference between the average image and the intra-frame addition image, the entropy of the pixel value can be made smaller than that of the input image. Therefore, the intra-frame difference image can be compressed at a high compression rate by, for example, entropy encoding.
  • the intra-frame addition image generation unit sequentially shifts the addition unit horizontally by one pixel at a time to set the first to n-th positions, and the first to n-th positions.
  • the first to nth intra-frame addition images are obtained at the respective positions, and the addition unit of the mth position and the (m + 1) th position among the first to nth positions includes a common pixel. But you can.
  • the data compression unit may reversibly compress the first to n-th intra-frame difference images by entropy coding.
  • the intra-frame estimation is performed when the addition unit set at the first position and the addition unit set at the second position next to the first position overlap.
  • the calculation unit obtains a difference value between the added pixel value of the first position and the added pixel value of the second position, and adds the first region excluding the overlapping region from the addition unit of the first position.
  • the intermediate pixel value is estimated from the first to nth intra-frame addition images that are sequentially pixel-shifted while the addition unit is superimposed, and the final estimated pixel value is obtained from the estimated intermediate pixel value. Can do. Thereby, the restoration estimation process for the intra-frame addition image can be simplified.
  • the intra-frame estimation calculation unit includes an intermediate pixel value pattern that includes successive intermediate pixel values including the first and second intermediate pixel values as an intermediate pixel value pattern.
  • a relational expression between the intermediate pixel values is expressed by using the addition pixel value, and the similarity is evaluated by comparing the intermediate pixel value pattern expressed by the relational expression between the intermediate pixel values and the addition pixel value.
  • the intermediate pixel value included in the intermediate pixel value pattern may be determined based on the similarity evaluation result so that the similarity is the highest.
  • the intermediate pixel value can be obtained by estimation based on a plurality of added pixel values acquired by pixel shifting while the addition unit is superimposed.
  • the x-th captured image (x is a natural number of 3 or less (including that value)) among the first to third captured images is received, and the unit for acquiring the added pixel value Is set for each of a plurality of pixels of the x-th captured image, and the pixel values included in the addition unit are weighted and added while sequentially shifting the addition unit, thereby adding the first to nth frames.
  • the average image generation unit for generating an average image of the first to n-th intra-frame addition images, and the first to n-th intra-frame addition images An intra-frame difference image generation unit that generates a difference between the m-th intra-frame addition image and the average image as an m-th intra-frame difference image, and the inter-frame addition image generation unit includes: Intra-frame difference image or the average An image is received as the xth input image of the first to third input images, and the first inter-frame addition image based on the first and second input images is generated, and the second, The second inter-frame addition image based on the third input image may be generated.
  • the first to third captured images in the first to third frames are acquired, and the pixel values of the first captured image and the pixel values of the second captured image are weighted. Adding to generate a first inter-frame added image, weighting and adding the pixel value of the second captured image and the pixel value of the third captured image to generate a second inter-frame added image, A difference between the first inter-frame addition image and the second inter-frame addition image is generated as an inter-frame difference image.
  • the second Reproducing the inter-frame addition image Based on the first inter-frame addition image and the inter-frame difference image, the second Reproducing the inter-frame addition image, estimating the pixel values of the first to third captured images based on the first inter-frame addition image and the reproduced second inter-frame addition image, Images estimated by the inter-frame estimation calculation unit It relates to an image generation method for outputting a high resolution image based on the value.
  • FIG. 1 is an explanatory diagram of a first data compression method.
  • FIG. 2 is a first configuration example of the imaging apparatus.
  • FIG. 3 is an explanatory diagram of the second data compression method.
  • FIG. 4 is an example of a Huffman code table.
  • FIG. 5 is a second configuration example of the imaging apparatus.
  • FIG. 6 is a data configuration example in the second configuration example of the imaging apparatus.
  • FIG. 7 is a data configuration example in the second configuration example of the imaging apparatus.
  • FIG. 8 shows a third configuration example of the imaging apparatus.
  • FIG. 9 is an explanatory diagram of the fourth data compression method.
  • FIG. 10 is an explanatory diagram of a first modification of the data compression method.
  • FIG. 11 is an explanatory diagram of a first modification of the data compression method.
  • FIG. 10 is an explanatory diagram of a first modification of the data compression method.
  • FIG. 12 is an explanatory diagram of a second modification of the data compression method.
  • FIG. 13 is an explanatory diagram of a second modification of the data compression method.
  • FIG. 14 is an explanatory diagram of pixel values of an inter-frame addition image.
  • FIG. 15 is an explanatory diagram of restoration estimation processing.
  • FIG. 16 is an explanatory diagram of restoration estimation processing.
  • FIG. 17 is an explanatory diagram of restoration estimation processing.
  • 18A and 18B are explanatory diagrams of the pixel value and intermediate pixel value of the intra-frame added image.
  • Digital camera and video camera products have a digital camera that mainly shoots still images with a video shooting function, or a video camera that mainly shoots video with a still image shooting function. There is something. If such a device is used, there is the convenience that a still image and a moving image can be shot with a single device.
  • the added image B 1 ⁇ B 3 captured image f 1 ⁇ f 4 and pixel addition between frames, inter-frame and the added image B 1 ⁇ B 3
  • the difference is taken and difference images DT 2 and DT 3 are obtained. Since the added images B 1 to B 3 are added between the frames, the change in the pixel value between the frames is smaller than that of the captured images f 1 to f 4 . Therefore, it is considered that the difference images DT 2 and DT 3 are unevenly distributed in the vicinity of zero as compared with the difference between the captured images f 1 to f 4 . Thereby, the compression rate can be improved by, for example, entropy encoding the images B 1 , DT 2 , and DT 3 .
  • a technique for obtaining a high-resolution image from an image obtained by adding pixel values in the time axis direction it is conceivable to apply a technique for obtaining a high-resolution image from an image obtained by adding pixel values in the spatial direction.
  • a method of performing so-called super-resolution processing on a low-resolution image captured by pixel shift can be considered.
  • addition reading is performed while sequentially shifting the position, and a high-definition image is temporarily assumed based on the plurality of position-shifted images. Then, the assumed image is degraded to generate a low resolution image, which is compared with the original low resolution image, and the high definition image is estimated so that the difference is minimized.
  • an ML (Maximum-Likelihood) method As this super-resolution processing, an ML (Maximum-Likelihood) method, a MAP (Maximum-A-Posterior) method, a POCS (Projection-Onto-Convex-Set) method, an IBP (Iterative Back-Projection) method, and the like are known.
  • ML Maximum-Likelihood
  • MAP Maximum-A-Posterior
  • POCS Projection-Onto-Convex-Set
  • IBP Iterative Back-Projection
  • Patent Document 1 For example, in Patent Document 1 described above, low-resolution images that have been pixel-shifted during moving image shooting are sequentially captured in time series, and a plurality of low-resolution images are combined to assume a high-resolution image.
  • a technique for performing the above-described super-resolution processing on a high-resolution image and estimating a high-resolution image with high likelihood is disclosed.
  • Patent Document 2 a plurality of pixel-shifted low-resolution images are picked up, temporary pixels constituting the high-resolution image to be obtained are set as sub-pixels, and the average value of the sub-pixels is taken as an image.
  • a technique for estimating the pixel value of the sub-pixel so as to match the pixel value of the low-resolution image that has been made is disclosed. In this method, initial values of a plurality of sub-pixels are set, pixel values of sub-pixels excluding sub-pixels to be calculated are subtracted from pixel values of the low-resolution image, and pixel values are sequentially obtained for adjacent pixels. Apply.
  • the added images B 1 to B 3 are reproduced from the images B 1 , DT 2 , and DT 3, and the captured image f 1 from the added images B 1 to B 3. to restore the ⁇ f 4.
  • the pixel values v ij (1) ′ to v ij (3) ′ of the added images B 1 to B 3 are superimposed and added, and the pixel values of adjacent frames include pixels of a common captured image. .
  • the captured images f 1 to f 4 can be restored by a simple process by using the pixel values subjected to the superimposed addition. Further, since the captured images f 1 to f 4 can be restored from the compressed data, a time resolution equivalent to that of the original captured image can be obtained.
  • the frame is, for example, a timing at which an image is captured by an image sensor or a timing at which one captured image is processed in image processing.
  • one image such as an added image or a difference image in the image data is also referred to as a frame as appropriate.
  • an RGB Bayer array captured image (hereinafter referred to as a captured frame image) is acquired by reading all pixels.
  • the pixel values at the same position of two consecutive frames of the captured image f T, 1 frame of the captured image is weighted addition so as to overlap, to produce a sum image B T.
  • the captured frame images ⁇ f 1 , f 2 , f 3 ⁇ will be described as an example.
  • r is a weighting coefficient and satisfies 1 ⁇
  • v ij (T) represents the pixel value of the address (i, j) of the captured frame image f T.
  • a difference image DT 2 between the addition images B 1 and B 2 is obtained.
  • dt ij (2) v ij (1) ′ ⁇ v ij (2) ′ (2)
  • the mutual correlation is high when the movement of the subject to be imaged is small, and the mutual correlation is low when the movement is large. Therefore, since the difference pixel value between frames is greatly influenced by the movement of the subject, it is difficult to stably reduce data using the difference value.
  • weighted addition is performed on pixels at the same position between frames.
  • a kind of addition filter effect is obtained, and an effect of gradual change of the difference value is born. Since the change in the difference value becomes gradual, data can be reduced more stably than when the captured image is directly compressed.
  • a captured image of 3 frames is estimated from an added image of 2 frames in one restoration process. Since each restoration process does not use the result of the other restoration process, an error does not spread. That is, in the weighted addition restoration estimation process, the influence of errors can be kept between partial frames, so that deterioration as an image can be suppressed to a smaller value.
  • the frame ⁇ f 1 , f 2 , f 3 ⁇ has been described as an example, but it goes without saying that the frame can be extended to an arbitrary frame f T. That is, the pixel value v ij (T) ′ of the added image B T is expressed by the following equation (3), and the pixel value dt ij (T + 1) of the difference image DT T + 1 is expressed by the following equation (4).
  • v ij (T) ′ 1 ⁇ v ij (T) + (1 / r) ⁇ v ij (T + 1) (3)
  • dt ij (T + 1) v ij (T) ′ ⁇ v ij (T + 1) ′ (4)
  • pixel values ⁇ v ij (T), v ij (T + 1), v ij (T + 2) ⁇ are obtained. Therefore, when the frame image to be processed is shifted, the pixel value of the same pixel is obtained a plurality of times. Therefore, only one value (for example, the pixel value v ij (T) in the restoration of f T to f T + 2 ) may be adopted as the restoration estimation data in one restoration process.
  • weighted addition of two adjacent frames has been described as an example, but the present embodiment is not limited to this.
  • two weighted addition values of two adjacent frames may be further weighted and added to obtain an apparent value of four adjacent frames. Needless to say, it is easy to apply the data based on the difference value of the added values of the adjacent four frames as an application of this method.
  • FIG. 2 shows a first configuration example of an imaging device as a configuration example in the case of performing the above compression.
  • the imaging apparatus includes an imaging unit 10 that performs imaging and data compression processing, and an image processing unit 20 that performs restoration processing of a high-definition image.
  • the image processing unit 20 may be built in the camera body or may be configured by an external information processing apparatus such as a PC.
  • the imaging unit 10 includes a lens 110, an imaging element 120 (imaging sensor), an inter-frame addition image generation unit 122, an inter-frame difference image generation unit 124, and a data recording unit 155.
  • the lens 110 forms an image of the subject 100.
  • the image sensor 120 captures the formed subject image.
  • An analog signal obtained by imaging is converted into a digital signal by an A / D converter (not shown).
  • the inter-frame addition image generation unit 122 weights and adds the pixel values of the captured frame images f 1 to f 3 between frames to generate an inter-frame addition image ⁇ B 1 , B 2 ⁇ .
  • the inter-frame difference image generation unit 124 uses the inter-frame addition image B 1 as a reference image, takes a difference between the reference image B 1 and the inter-frame addition image B 2 , and generates an inter-frame difference image DT 2 .
  • Data recording unit 155 records the reference image B 1 and the inter-frame difference image DT 2.
  • the image processing unit 20 includes an inter-frame addition image reproduction unit 214, an inter-frame estimation calculation unit 234, a high-definition still image generation unit 240, a high-definition moving image generation unit 250, a standard moving image generation unit 260, an image output unit 290, and an image selection unit. 295.
  • the inter-frame addition image reproduction unit 214 reproduces the inter-frame addition image ⁇ B 1 , B 2 ⁇ from the recorded reference image B 1 and inter-frame difference image DT 2 .
  • the inter-frame estimation calculation unit 234 restores the captured frame images f 1 to f 3 by estimation based on the inter-frame addition image ⁇ B 1 , B 2 ⁇ .
  • the restored image is a Bayer array RAW image. This estimation calculation will be described later with reference to FIG.
  • the high-definition still image generation unit 240 performs demosaicing processing on the restored image with the Bayer array, and performs image processing such as gradation correction processing on the image to generate a high-definition still image. At this time, a still image at the timing selected by the image selection unit 295 is generated. The timing is selected according to the user's instruction, and the user selects the timing by looking at the output moving image of the image output unit 290, for example.
  • the high-definition moving image generation unit 250 performs demosaicing processing on the restored moving image with the Bayer array, and performs image processing such as gradation correction processing on the moving image to generate a high-definition moving image.
  • the standard moving image generation unit 260 downsamples the high-definition moving image, and generates, for example, a moving image having the number of high-definition pixels as the standard moving image.
  • the image output unit 290 outputs a high-definition still image, a high-definition moving image, and a standard moving image to, for example, a display device or a printer.
  • the imaging apparatus includes an image acquisition unit (for example, the imaging device 120), the inter-frame addition image generation unit 122, the inter-frame difference image generation unit 124, and the inter-frame addition image reproduction.
  • the image acquisition unit acquires first to third captured images f 1 to f 3 in the first to third frames.
  • Interframe adding image generation unit 122 between the first frame by weighted addition of pixel values of the first captured image f 1 v ij (1) and the second pixel value v ij of the captured image f 2 (2) added image B 1 generates, between the second pixel value of the captured image f 2 of v ij (2) and the third pixel value v ij (3) adding the weighted with the second captured image f 3 of the frame addition generating an image B 2.
  • the inter-frame difference image generation unit 124 generates a difference between the first inter-frame addition image B 1 and the second inter-frame addition image B 2 as an inter-frame difference image DT 2 .
  • the inter-frame addition image reproduction unit 214 reproduces the second inter-frame addition image B 2 based on the first inter-frame addition image B 1 and the inter-frame difference image DT 2 .
  • the inter-frame estimation calculation unit 234 calculates the first to third captured images f 1 to f 3 .
  • Pixel values v ij (1) to v ij (3) are estimated.
  • the image output unit 290 outputs a high resolution image based on the estimated pixel values v ij (1) to v ij (3).
  • (T) representing the frame number is omitted from the pixel values v ij (T), dt ij (T), and a ij (T), and is denoted as v ij , dt ij , and a ij .
  • the 4-pixel addition value a ij is expressed by the following equation (5).
  • the added pixel values constituting the pixel added images A 1 to A 4 are ⁇ a ij , a (i + 1) j , a (i + 1) (j + 1) , a i (j + 1) ⁇ , respectively.
  • a ij dt ij + (1 / r) dt (i + 1) j + (1 / r) dt i (j + 1) + (1 / r 2 ) dt (i + 1) (j + 1) (5)
  • r is a weighting parameter
  • the dt ij is a pixel value of the address (i, j) in the difference image DT T.
  • the addition positions of the generated pixel addition images A 1 to A 4 are matched, and the average image M is generated by superposing the four pixel addition images and taking the addition average of the values at the same position.
  • the four-pixel added values of the pixel-added images A 1 to A 4 are respectively represented as ⁇ a (1) ij , a (2) (i + 1) j , a (3) (i + 1) (j + 1) , a (4) i ( j + 1) ⁇
  • the pixel value a M ij of the average image M is expressed by the following equation (6).
  • a M ij [a (1) ij + a (2) (i + 1) j + a (3) i (j + 1) + a (4) (i + 1) (j + 1) ] / 4 (6)
  • the difference (projection onto the direction vector (1, ⁇ 1)) between the average image M and the pixel-added images A 1 to A 4 is set as difference images D 1 to D 4 , respectively.
  • the difference images D 1 to D 4 and the average image M are combined to form fused image data F (M, D 1 to D 4 ). If the 4-pixel addition difference value constituting the difference images D 1 to D 4 is ⁇ a D1 ij , a D2 ij , a D3 ij , a D4 ij ⁇ , it can be expressed as the following equation (7).
  • fused still images and moving fused image data F (M, D 1 ⁇ D 4) generates, may be recorded it, the recorded F (M, D 1 ⁇ D 4 )
  • “high-definition still image data” or “moving image data” can be appropriately generated.
  • the difference that is, projection onto the direction vector (1, ⁇ 1)
  • the present embodiment is not limited to this.
  • the principal component axis straight line with the largest variance
  • the axis orthogonal to the principal component axis is obtained. It goes without saying that the data can be further compressed by using the projected value.
  • Entropy coding is a compression technique in which the occurrence probability of a pixel value is obtained and a short code length is assigned from the one with the highest occurrence probability.
  • the shortest code length may be assigned to the zero value.
  • the irreversible high compression is applied by reducing the number of pixels, and in the intra-frame difference images D 1 to D 4 , high-speed entropy encoding using the characteristic that exhibits the same occurrence distribution bias is performed. It is possible to apply.
  • an average value ⁇ M ij is obtained for each predetermined image area by the following equation (8), and the difference between the average value ⁇ M ij and each added average value ⁇ a M ij ⁇ .
  • the value ⁇ a ′ M ij ⁇ is obtained by the following equation (9).
  • the difference value ⁇ a ′ M ij ⁇ is used as the data of the average image M again, and Huffman coding may be applied.
  • the difference value ⁇ a ′ M ij ⁇ can form an occurrence distribution of values universally centered on zero.
  • a ′ M ij a M ij ⁇ M ij (9)
  • (h0, v0) is the start point of the area where the average value ⁇ M ij is calculated
  • (h, v) is the end point of the area where the average value ⁇ M ij is calculated. That is, in the above formula (8), h0 ⁇ i ⁇ h and v0 ⁇ j ⁇ v are satisfied.
  • the area for calculating the average value ⁇ M ij is the entire average image M.
  • the area for calculating the average value ⁇ M ij and the number of average values a M ij used for calculating the average value ⁇ M ij may be determined by evaluating the balance with the data compression rate.
  • FIG. 1 Since the difference value ⁇ a ′ M ij ⁇ and the 4-pixel addition difference value ⁇ a D1 ij , a D2 ij , a D3 ij , a D4 ij ⁇ are themselves composed of a value of zero on average, FIG. The code assignment shown in FIG. In this way, the Huffman code table can be a fixed type.
  • the fixed value m AVR shown in the following equation (10) may be applied, and may be handled as look-ahead information without being treated as fluctuation data. In this case, the average value m AVR need not be recorded as data.
  • the following equation (10) is applied to the case of the weighted 4-pixel addition value defined by the above equation (5), and it should be noted that an appropriate value is appropriately set depending on the number of added pixels and the weighting method. is necessary.
  • m AVR v max ⁇ ⁇ 1+ (1 / r) + (1 / r) + (1 / r 2 ) ⁇ / 2 (10)
  • r is a weighting parameter
  • v max is a maximum value that defines the pixel value.
  • High-definition still image reproduction method A method for restoring and estimating the inter-frame difference image DT T (or the reference image B 1 ) from the above-described F (M, D 1 to D 4 ) will be described.
  • the obtained 4-pixel addition value ⁇ a (1) ij , a (2) (i + 1) j , a (3) (i + 1) (j + 1) , a (4) i (j + 1) ⁇ is one high definition
  • the pixel value of the original reference image B 1 or the difference image DT 2 is obtained by applying this 4-pixel addition value to the restoration estimation process described later with reference to FIG.
  • the inter-frame addition image B 2 is reproduced using the restored reference image B 1 and the inter-frame difference image DT 2 .
  • the pixel value v ij (1) ′ of the reference image B 1 is used as a reference value
  • the pixel value v ij (2) ′ of the added image B 2 is obtained.
  • v ij (2) ′ v ij (1) ′ ⁇ dt ij (2) (12)
  • the restoration estimation process described later with reference to FIG. Apply and estimate the pixel values ⁇ v ij (1), v ij (2), v ij (3) ⁇ of the captured frame images ⁇ f 1 , f 2 , f 3 ⁇ before inter-frame addition.
  • the frame image to be handled is described as being limited to the image frames ⁇ f 1 , f 2 , f 3 ⁇ , but it goes without saying that this concept can be applied to the subsequent frames one after another.
  • FIG. 5 shows a case where the reference image B 1 and the inter-frame difference image DT T are generated as described above, and further the average image M and the intra-frame difference images D 1 to D 4 are generated.
  • the imaging device includes an imaging unit 10 and an image processing unit 20.
  • the same components as those described above with reference to FIG. 2 and the like are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the imaging unit 10 includes a lens 110, an image sensor 120, an inter-frame addition image generation unit 122 (first addition image generation unit), an inter-frame difference image generation unit 124 (first difference image generation unit), and an intra-frame addition image.
  • a generation unit 130 second addition image generation unit
  • an intra-frame difference image generation unit 141 second difference image generation unit
  • an average image generation unit 142 an entropy encoding unit 143
  • a compressed data recording unit 150 are included.
  • the intra-frame addition image generation unit 130 adds the pixel values of the reference image B 1 or the inter-frame difference image DT T while shifting the pixels, and generates intra-frame addition images A 1 to A 4 .
  • the average image generation unit 142 generates an average image M from the intra-frame addition images A 1 to A 4 .
  • the intra-frame difference image generation unit 141 generates intra-frame difference images D 1 to D 4 from the intra-frame addition images A 1 to A 4 and the average image M.
  • the entropy encoding unit 143 compresses the difference images D 1 to D 4 by lossless compression such as the above-described entropy encoding.
  • the data compression unit 144 compresses the average image M by irreversible compression such as M-JPEG or JPEG-XR.
  • the compressed data recording unit 150 records data of the compressed average image M and intra-frame difference images D 1 to D 4 .
  • the image processing unit 20 includes a compressed data decompression unit 200, an intra-frame addition image reproduction unit 210 (second addition image reproduction unit), an inter-frame addition image reproduction unit 214 (first addition image reproduction unit), and an intra-frame estimation calculation.
  • Unit 230 second estimation calculation unit
  • inter-frame estimation calculation unit 234 first estimation calculation unit
  • high-definition still image generation unit 240 high-definition moving image generation unit 250
  • standard moving image generation unit 260 image output unit 290 and an image selection unit 295.
  • the compressed data decompression unit 200 performs a process of decompressing the compressed average image M and intra-frame difference images D 1 to D 4 .
  • the intra-frame addition image reproduction unit 210 performs processing for reproducing the intra-frame addition images A 1 to A 4 from the average image M and the intra-frame difference images D 1 to D 4 .
  • the intra-frame estimation calculation unit 230 restores the reference image B 1 and the inter-frame difference image DT T by estimation based on the intra-frame addition images A 1 to A 4 .
  • the restored image is a Bayer array RAW image.
  • the captured image f T is, P ⁇ Q pixels (P, Q is a natural number) formed by the pixel values of v 00 (T) ⁇ v PQ (T).
  • the inter-frame difference image DT T is also composed of pixel values dt 00 (T) to dt PQ (T) of P ⁇ Q pixels.
  • Reference image B 1 is the same.
  • the intra-frame addition images A 1 (DT T ) to A 4 (DT T ) are configured with pixel values a 00 (T) to a pq (T) of p ⁇ q pixels, respectively.
  • p P / 2
  • q Q / 2.
  • the average image M (DT T ) and the intra-frame difference images D 1 (DT T ) to D 4 (DT T ) are also configured with pixel values of p ⁇ q pixels.
  • the imaging device includes an intra-frame addition image generation unit 130, an average image generation unit 142, an intra-frame difference image generation unit 141, and a data compression unit (for example, an entropy encoding unit). 143), a compressed data decompression unit 200, an intra-frame addition image reproduction unit 210, and an intra-frame estimation calculation unit 230.
  • a data compression unit for example, an entropy encoding unit.
  • the intra-frame addition image generation unit 130 is a unit that receives the first inter-frame addition image B 1 or the inter-frame difference image DT 2 as an input image and acquires the addition pixel value a ij.
  • the addition unit is set for each of a plurality of pixels of the input image (for example, every 4 pixels), and the pixel value dt ij included in the addition unit is weighted and added (the above equation (5)) while sequentially shifting the addition unit.
  • First to fourth (first to nth in a broad sense) intra-frame addition images A 1 to A 4 are generated.
  • the average image generation unit 142 generates an average image M of the intra-frame addition images A 1 to A 4 .
  • the intra-frame difference image generation unit 141 calculates the difference between the m-th intra-frame addition image A m (m is a natural number equal to or less than n (including its value)) and the average image M. Is generated as the mth intra-frame difference image Dm. Data compression unit compresses the average image M and frame difference image D m.
  • the compressed data recording unit 150 decompresses the compressed average image M and frame difference image D m.
  • the intra-frame addition image reproduction unit 210 reproduces the intra-frame addition images A 1 to A 4 based on the expanded average image M and intra-frame difference image D m .
  • the intra-frame estimation calculation unit 230 estimates the pixel value of the input image based on the reproduced intra-frame addition images A 1 to A 4 .
  • intra-frame addition is further performed on the inter-frame addition image B 1 and the inter-frame difference image DT 2 , and the average image M of the intra-frame addition images A 1 to A 4 and the intra-frame difference image D 1. It can be compressed to generate a ⁇ D 4. Thereby, the compression rate can be further improved. That is, although the input image B 1 (or DT 2 ) and the four added images A 1 to A 4 have the same number of pixels, the entropy of the pixel value of the difference image D m can be made smaller than that of the input image. The compression rate can be improved.
  • the intra-frame addition images A 1 to A 4 are image data obtained by superposition shift addition, and a restoration estimation process described later can be applied.
  • This restoration estimation process can simplify the process of estimating a high-resolution image from a low-resolution image as compared with Patent Documents 1 and 2 described above.
  • the reconstructed input image can further recover the captured image f T, it is possible to take out the high-resolution still image of an arbitrary timing from the image data of a high compression ratio.
  • the intra-frame addition image generation unit 130 sequentially shifts the addition unit by one pixel horizontally or vertically (i-axis direction or j-axis direction). 4 positions (for example, coordinates (0,0), (1,0), (1,1), (0,1)), and in-frame addition images A 1 at the first to fourth positions, respectively. to get the ⁇ a 4.
  • the addition unit of the m-th position and the m + 1-th position includes a common pixel (v 10 , v 11 ).
  • the average image generation unit 142 obtains the average value a M ij of the added pixel values at the first to fourth positions as the pixel value of the average image.
  • the intra-frame difference image generation unit 141 calculates a difference value (a between the pixel value a M ij of the average image and the added pixel value (for example, a (1) ij ) at the m-th position. D1 ij ) is obtained as the pixel value (a D1 ij ) of the mth difference image.
  • the data compression unit reversibly compresses the mth intra-frame difference image Dm by entropy coding.
  • FIG. 8 shows a third configuration example of the imaging apparatus as a configuration example in such a case.
  • the imaging device includes an imaging unit 10 and an image processing unit 20.
  • an imaging unit 10 and an image processing unit 20.
  • the same components as those described above with reference to FIG. 2 and the like are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the imaging unit 10 includes a lens 110, an image sensor 120, an inter-frame addition image generation unit 122, an inter-frame difference image generation unit 124, an intra-frame addition image generation unit 130, an intra-frame difference image generation unit 141, an average image generation unit 142, An entropy encoding unit 143 and a compressed data recording unit 150 are included.
  • the components of the image processing unit 20 are the same as those of the image processing unit 20 in FIG.
  • the intra-frame addition image generation unit 130 performs superposition shift weighting addition in each frame in each frame of the captured images f T (T is a natural number) obtained continuously, and adds the intra-frame addition image ⁇ A 1 (T). , A 2 (T), A 3 (T), A 4 (T) ⁇ .
  • the average image generation unit 142 obtains an average image M (T) of the intra-frame addition image.
  • the intra-frame difference image generation unit 141 generates an intra-frame difference image ⁇ D 1 (T), D 2 (T), D 3 (T), D 4 (T) ⁇ that is a difference between the intra-frame addition image and the average image. Ask.
  • the inter-frame addition image generation unit 122 performs inter-frame processing for each of the average image M (T) and the intra-frame difference image ⁇ D 1 (T), D 2 (T), D 3 (T), D 4 (T) ⁇ .
  • ⁇ D 1 (T), D 2 (T), D 3 (T), D 4 (T) ⁇ are added, and an inter-frame addition image ⁇ B T ⁇ is generated. That is, when expressed in image units, the weighted addition is expressed by the following equation (13).
  • B T (M) 1 ⁇ M (T) + (1 / r) ⁇ M (T + 1)
  • B T (D m ) 1 ⁇ D m (T) + (1 / r) ⁇ D m (T + 1) (13)
  • r is a weighting factor.
  • m is a natural number of 4 or less (including its value).
  • the inter-frame difference image generation unit 124 obtains the difference image DT T by sequentially subtracting ⁇ B T ⁇ with the inter-frame addition image ⁇ B 1 ⁇ as a reference, as shown in the following equation (14).
  • B 1 (reference value)
  • DT T + 1 B T ⁇ B T + 1 (14)
  • the entropy encoding unit 143 performs entropy encoding (reversible compression) on the added image ⁇ B 1 ⁇ and the difference image DT T to generate recording data.
  • the compressed data decompression unit 200 performs a process of decompressing the compressed added image ⁇ B 1 ⁇ and the difference image DT T.
  • the inter-frame addition image reproduction unit 214 reproduces the addition image ⁇ B 1 , B 2 ⁇ from the expanded reference image B 1 and the difference image DT 2 .
  • the inter-frame estimation calculation unit 234 restores the average image M (T) and the difference images D 1 (T) to D 4 (T) by estimation based on the added image ⁇ B 1 , B 2 ⁇ .
  • the intra-frame addition image reproduction unit 210 performs processing for reproducing the addition images A 1 to A 4 from the average image M (T) and the difference images D 1 (T) to D 4 (T).
  • Frame estimation calculation section 230 based on the added image A 1 ⁇ A 4, to restore the estimates captured image f T.
  • the restored image is a Bayer array RAW image.
  • frame adding image generation unit 130 the unit (the x of 3 or less (natural number including its value)) captured image f x of the x receives, acquires the addition pixel value certain summation unit set for each of a plurality of pixels of the captured image f x, intraframe sum image a of the first to n by weighted addition of pixel values included in the summation unit while sequentially pixel shifting summation unit 1 ( x) to A 4 (x) are generated.
  • the average image generation unit 142 generates an average image M (x) of the intra-frame addition images A 1 (x) to A 4 (x).
  • the intra-frame difference image generation unit 141 generates a difference between the m-th intra-frame addition image A m (x) and the average image M (x) as an m-th intra-frame difference image D m (x).
  • the inter-frame addition image generation unit 122 receives the intra-frame difference image D m (x) or the average image M (x) as the x-th input image, and receives the first and second input images (for example, D m (1)). , D m (2)) to generate a first inter-frame addition image B 1 and a second inter-frame based on the second and third input images (D m (2), D m (3)) generating a sum image B 2.
  • the inter-frame difference image is generated based on the difference between the two frames.
  • the inter-frame difference image may be generated based on the difference between the reference frame and the previous and subsequent frames.
  • a method for performing data compression based on the difference between the reference frame and the preceding and following frames will be described with reference to FIG.
  • an inter-frame addition image B T (T is a natural number) is generated in the same manner as described above.
  • B the k 0 or more (an integer including its value)
  • 3k + 2 the reference image
  • the difference between the reference image B 3k + 2 and the inter-frame addition images B 3k + 1 and B 3k + 3 before and after the difference is obtained to obtain difference images DT 3k + 1 and DT 3k + 3 .
  • the image difference is obtained by obtaining a difference value between pixel values at the same position.
  • the combination data ⁇ B 3k + 2 , DT 3k + 1 , DT 3k + 3 ⁇ of the reference image and the difference image are used as data units, each is subjected to lossless compression coding (for example, entropy coding), and sequentially recorded as fusion compressed data.
  • lossless compression coding for example, entropy coding
  • To reproduce the original image f T may be performed reverse process to the above. That is, the lossless compression code is decoded with respect to the recorded fusion compressed data, and combination data ⁇ B 3k + 2 , DT 3k + 1 , DT 3k + 3 ⁇ is generated. Then, the inter-frame addition image BT is reproduced from the combination data. Applying the image reconstruction estimation method with respect to the frame between the addition image B T, obtaining a captured frame image f T.
  • k is a natural number of 4 or less (including its value).
  • an average image M of four images A 1 ′ (T) to A 4 ′ (T) constituting the reference image B 1 and the inter-frame difference image DT T is generated.
  • Difference images D 1 to D 4 between the average image M and the four images A 1 ′ (T) to A 4 ′ (T) are generated.
  • the average image M and the difference images D 1 to D 4 are generated in the same manner as described above with reference to FIG. Then, the average image M and the difference images D 1 to D 4 are subjected to lossless compression processing to generate recording data that has been compressed.
  • the intra-frame addition image f T ′ ⁇ A 1 to A 4 ⁇ is reproduced from the reference image B 1 and the difference image DT T.
  • This intra-frame addition image f T ′ is an addition pixel value that is superimposed and shifted horizontally or vertically, and by applying a restoration estimation process described later with reference to FIG. Play of the shooting frame image f T.
  • an average image M (T) of the intra-frame addition image f T ′ ⁇ A 1 to A 4 ⁇ is generated, and the difference between the average image M (T) and the intra-frame addition image ⁇ A 1 to A 4 ⁇ To generate an intra-frame difference image ⁇ D 1 (T) to D 4 (T) ⁇ .
  • the intra-frame difference image is represented by D m (T) (m is a natural number of 4 or less (including its value)).
  • intraframe difference image D m (1) is a reference image
  • the difference image DT m between frames of intraframe difference image D m (T) (T) D m (T + 1) generate -D m (T) To do.
  • the reference image M (1), a difference image DM (T), the reference image D m (1), The difference image DT m (T) is reproduced.
  • the average image M (T) is reproduced from the reference image M (1) and the difference image DM (T)
  • the intra-frame difference image D m from the reference image D m (1) and the difference image DT m (T) is reproduced.
  • T) is played back.
  • an intra-frame addition image ⁇ A 1 to A 4 ⁇ is reproduced from the average image M (T) and the intra-frame difference image D m (T).
  • restoration estimation processing described later with reference to FIG. 18A and the like is applied to the intra-frame addition images ⁇ A 1 to A 4 ⁇ to restore the original captured frame image f T.
  • the pixel values ⁇ v ij (1), v ij (2), v ij (3) ⁇ of frames f 1 to f 3 are restored. This will be described as an example, but the same applies to the pixel values of other frames.
  • weighted addition of pixel values of two frames is described as an example, the present invention is not limited to this, and pixel values of three or more (including values) frames may be weighted and added.
  • the added pixel values ⁇ b ij (1), b ij (2) ⁇ shown in FIG. 14 are the pixel values ⁇ v ij (1) ′, v ij () of the inter-frame added images B 1 and B 2 described in FIG. 2) corresponds to ' ⁇ .
  • final estimated pixel values v ij (1) to v ij (3) are estimated using the added pixel values ⁇ b ij (1), b ij (2) ⁇ .
  • the pixel value suffix ij is omitted for simplicity.
  • v ij (1) is an unknown number (initial variable)
  • the pixel value ⁇ v ij (2), v ij (3) ⁇ is obtained as a function of v ij (1) as shown in the following equation (18). Can do. In this way, a combination pattern of pixel values ⁇ v ij (1), v ij (2), v ij (3) ⁇ not subjected to frame addition is obtained using v ij (1) as an unknown.
  • the inter-frame estimation calculation unit 234 calculates the pixel value b ij (1) of the first inter-frame addition image and the second inter-frame addition image.
  • a difference value ⁇ i 0 from the pixel value b ij (2) is obtained.
  • a relational expression between the pixel value v ij (1) of the first captured image and the pixel value v ij (3) of the third captured image is expressed using the difference value ⁇ i 0. To express.
  • the pixel values v ij (1) to v ij (3) of the first to third captured images are estimated using the relational expression.
  • the inter-frame estimation calculation unit 234 adds the relational expression between the pixel values v ij (1) to v ij (3) of the captured image to the inter-frame addition.
  • the pixel value ⁇ b ij (1), b ij (2) ⁇ of the image is used.
  • the pixel values v ij (1) to v ij (3) of the captured image represented by the relational expression and the pixel values ⁇ b ij (1), b ij ( 2) ⁇ and the similarity is evaluated.
  • the pixel values v ij (1) to v ij (3) of the captured image are estimated so that the similarity becomes the highest.
  • the relational expression of the pixel value of the captured image is expressed using the pixel value superimposed and added between the frames, and the pixel value of the captured image can be restored based on the relational expression.
  • the restoration estimation process in the time axis direction can be simplified. For example, complicated processing such as iterative calculation of a two-dimensional filter (Patent Document 1) and searching for a part suitable for setting an initial value (Patent Document 2) becomes unnecessary.
  • FIGS. 18A and 18B are explanatory diagrams of the estimated pixel value and the intermediate pixel value. Summing the pixel values shown in FIG. 18 (A) ⁇ a 00, a 10, a 11, a 01 ⁇ is added pixel value of the added image A 1 ⁇ A 4 described in FIG. 3 ⁇ a (1) 00, a ( 2) Corresponds to 10 , a (3) 11 , a (4) 01 ⁇ . In the estimation process, final estimated pixel values v 00 to v 22 are estimated using this added pixel value.
  • the estimated pixel value v ij corresponds to the pixel value v ij (1) ′ of the reference image B 1 described in FIG. 3 or the pixel value dt ij (T) of the inter-frame difference image DT T.
  • intermediate pixel values b 00 to b 21 are estimated from the added pixel values a 00 to a 11 .
  • Intermediate pixel value corresponds to 2-pixel sum values, for example, b 00 corresponds to the sum of the pixel values v 00 and v 01.
  • Final pixel values v 00 to v 22 are estimated from these intermediate pixel values b 00 to b 21 .
  • the addition unit (eg, a 00 ) set at the first position and the second position after the first position are set.
  • the addition unit for example, a 10
  • the intra-frame estimation calculation unit 230 obtains a difference value ⁇ i 0 between the added pixel values a 00 and a 10 at the first and second positions.
  • the first intermediate pixel value b 00 is an addition of the first area (v 00 , v 01 ) obtained by removing the overlapping area (v 10 , v 11 ) from the addition unit a 00. It is a pixel value.
  • the second intermediate pixel value b 20 is an addition pixel value of the second region (v 20 , v 21 ) obtained by removing the overlap region (v 10 , v 11 ) from the addition unit a 10 . Similar to the above equation (18), the relational expression of the first and second intermediate pixel values b 00 and b 20 is expressed using the difference value ⁇ i 0 . Then, the first and second intermediate pixel values b 00 and b 20 are estimated using the relational expression. Using the estimated first intermediate pixel value b 00 , pixel values (v 00 , v 10 , v 11 , v 01 ) of each pixel included in the addition unit are obtained.
  • the intermediate pixel value is once estimated from the added pixel value that is superimposed and shifted in the frame, and the estimated pixel value is obtained from the superimposed and shifted intermediate pixel value, thereby performing the estimation processing of the high resolution image. It can be simplified. For example, complicated processing such as iterative calculation of a two-dimensional filter (Patent Document 1) and searching for a part suitable for setting an initial value (Patent Document 2) becomes unnecessary.
  • superimposing means having an area where the addition unit and the addition unit overlap.
  • the addition unit a 00 and the addition unit a 10 are two estimated pixels v 10. is to share the v 11.
  • the position of the addition unit is the position and coordinates of the addition unit in the captured image, or the position and coordinates of the addition unit on the estimated pixel value data (image data) in the estimation process.
  • the next position is a position shifted from the original position by a pixel, and is a position where the position and coordinates do not coincide with the original position.
  • continuous intermediate pixel values including the first and second intermediate pixel values are defined as intermediate pixel value patterns ( ⁇ b 00 , b 10 , b 20 ⁇ ).
  • the intra-frame estimation calculation unit 230 represents the relational expression between the intermediate pixel values included in the intermediate pixel value pattern using the added pixel values a 00 and a 10 . Similar to the method described in FIG. 17, the similarity is evaluated by comparing the intermediate pixel value pattern represented by the relational expression between the intermediate pixel values and the added pixel value. Based on the similarity evaluation result, the intermediate pixel values b 00 , b 10 , and b 20 included in the intermediate pixel value pattern are determined so that the similarity is the highest.
  • the intermediate pixel value can be estimated based on a plurality of added pixel values acquired by pixel shifting while the addition unit is superimposed.
  • the intermediate pixel value pattern is a data string (a set of data) of intermediate pixel values in a range used for the estimation process.
  • the addition pixel value pattern is a data string of addition pixel values in a range used for the estimation process.
  • the intra-frame estimation calculation unit 230 performs an intermediate pixel value pattern ( ⁇ b 00 , b 10 , b 20) represented by a relational expression between intermediate pixel values. ⁇ ) And an evaluation function E representing an error between the added pixel values (a 00 , a 10 ). Intermediate pixel values b 00 , b 10 , and b 20 included in the intermediate pixel value pattern are determined so that the value of the evaluation function E is minimized.
  • the value of the intermediate pixel value can be estimated by expressing the error by the evaluation function and obtaining the intermediate pixel value corresponding to the minimum value of the evaluation function.
  • the initial value of the intermediate pixel estimation can be set with a simple process by obtaining the unknown using the least square method. For example, searching for an image portion suitable for initial value setting (Patent Document 2) is unnecessary.
  • an addition pixel value (a 00 ) obtained by weighting and adding each pixel value (for example, v 00 , v 10 , v 01 , v 11 ) of the addition unit is used. get. Based on the obtained addition pixel value (a 00 , a 10 ) of the addition unit, the pixel value (v 00 , v 10 , v 01 , v 11 ) of each pixel of the addition unit is estimated.
  • each pixel value of the addition unit is weighted and added to obtain an intra-frame addition image, and the pixel value of the high-resolution image can be estimated from the obtained intra-frame addition image.
  • the reproducibility of the high-frequency component of the subject can be improved. That is, when the pixel values of the addition unit are simply added, a rectangular window function is convoluted for imaging.
  • a window function containing more high frequency components than the rectangle is convoluted for imaging. Therefore, it is possible to acquire an added image that includes more high-frequency components of the subject, and to improve the reproducibility of the high-frequency components in the estimated image.
  • imaging unit 20 image processing unit, 100 subject, 110 lens, 120 image sensors, 122 inter-frame addition image generation unit, 124 inter-frame difference image generation unit, 130 intra-frame addition image generation unit, 141 intra-frame difference image generation unit, 142 average image generation unit, 143 Entropy encoding unit, 144 data compression unit, 150 compressed data recording unit, 155 data recording unit, 200 compressed data decompression unit, 210 intra-frame addition image reproduction unit, 214 inter-frame addition image reproduction unit, 230 intra-frame estimation calculation unit, 234 inter-frame estimation calculation unit, 240 high-definition still image generator, 250 high-definition video generator, 260 standard video generation unit, 290 image output unit, 295 image selection unit, A 1 -A 4 frame addition image, B 1 -B 3 frame addition image, D 1 to D 4 intra-frame difference images, DT 2 , DT 3 inter-frame difference images, E evaluation function, a ij addition pixel value, b ij intermediate pixel value, dt ij difference images,

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　撮像装置は、画像取得部、フレーム間加算画像生成部、フレーム間差分画像生成部フレーム間加算画像再生部、フレーム間推定演算部、画像出力部を含む。画像取得部は、撮像画像ｆ１～ｆ３を取得する。フレーム間加算画像生成部は、ｆ１，ｆ２の画素値を重み付け加算してフレーム間加算画像Ｂ１を生成し、ｆ２，ｆ３の画素値を重み付け加算してフレーム間加算画像Ｂ２を生成する。フレーム間差分画像生成部は、Ｂ１、Ｂ２の差分をフレーム間差分画像ＤＴ２として生成する。フレーム間加算画像再生部は、Ｂ１、ＤＴ２に基づいてＢ２を再生する。フレーム間推定演算部は、Ｂ１、Ｂ２に基づいてｆ１～ｆ３を推定する。画像出力部は、推定画像に基づく高解像画像を出力する。

Description

撮像装置及び画像生成方法
　本発明は、撮像装置及び画像生成方法等に関する。
　昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザーがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
特開２００９－１２４６２１号公報 特開２００８－２４３０３７号公報
　しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザーがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
　本発明者は、この決定的瞬間の撮影を実現するために、データ量を削減した動画データから任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
　本発明の幾つかの態様によれば、データ量を削減した動画データから、簡素な処理で高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。
　本発明の一態様は、第１～第３のフレームにおける第１～第３の撮像画像を取得する画像取得部と、前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成するフレーム間加算画像生成部と、前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成するフレーム間差分画像生成部と、前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生するフレーム間加算画像再生部と、前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１～第３の撮像画像の画素値を推定するフレーム間推定演算部と、前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、を含む撮像装置に関係する。
　本発明の一態様によれば、第１～第３の撮像画像が取得され、フレーム間における画素値の重み付け加算により第１、第２のフレーム間加算画像が生成され、その差分であるフレーム間差分画像が生成される。そして、第１のフレーム間加算画像とフレーム間差分画像から第２のフレーム間加算画像が再生され、第１、第２のフレーム間加算画像から第１～第３の撮像画像が推定され、推定された撮像画像に基づく高解像画像が出力される。
　これにより、例えば後述する推定処理を適用することで、簡素な処理でフレーム間加算画像から撮像画像を復元可能になる。動画撮影と静止画撮影を切り換えないため、動画データから任意タイミングの高解像静止画を取得できる。また、フレーム間加算画像を求めることで、高圧縮率で画像データを圧縮可能になる。
　また本発明の一態様では、前記フレーム間推定演算部は、前記第１のフレーム間加算画像の画素値と、前記第２のフレーム間加算画像の画素値との差分値を求め、前記第１の撮像画像の画素値と、前記第３の撮像画像の画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１～第３の撮像画像の画素値を推定してもよい。
　また本発明の一態様では、前記フレーム間推定演算部は、前記第１～第３の撮像画像の画素値間の関係式を、前記第１、第２のフレーム間加算画像の画素値を用いて表し、前記関係式で表された前記第１～第３の撮像画像の画素値と、前記第１、第２のフレーム間加算画像の画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記第１～第３の撮像画像の画素値を推定してもよい。
　このようにすれば、撮像画像の画素値の関係式を、フレーム間において重畳加算された画素値を用いて表し、その関係式に基づいて撮像画像の画素値を復元できる。これにより、フレーム間加算画像に対する復元推定処理を簡素化できる。
　また本発明の一態様では、前記第１のフレーム間加算画像又は前記フレーム間差分画像を入力画像として受けて、加算画素値を取得する単位である加算単位を前記入力画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１～第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、前記第１～第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、前記第１～第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像（ｍはｎ以下（その値を含む）の自然数）と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、前記平均画像と前記第ｍのフレーム内差分画像を圧縮するデータ圧縮部と、圧縮された前記平均画像と前記第ｍのフレーム内差分画像を伸張する圧縮データ伸張部と、伸張された前記平均画像と前記第ｍのフレーム内差分画像に基づいて、前記第１～第ｎのフレーム内加算画像を再生するフレーム内加算画像再生部と、再生された前記第１～第ｎのフレーム内加算画像に基づいて、前記入力画像の画素値を推定するフレーム内推定演算部と、を含んでもよい。
　このようにすれば、フレーム間の加算を行った後にフレーム内の加算を行い、フレーム内加算画像から平均画像とフレーム内差分画像を生成して圧縮できる。これにより、更に圧縮率を向上できる。即ち、フレーム内差分画像は、平均画像とフレーム内加算画像の差分であるため画素値のエントロピーを入力画像よりも小さくできる。そのため、フレーム内差分画像を例えばエントロピー符号化することで高圧縮率で圧縮できる。
　また本発明の一態様では、前記フレーム内加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１～第ｎのポジションに設定し、前記第１～第ｎのポジションにおいてそれぞれ前記第１～第ｎのフレーム内加算画像を取得し、前記第１～第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。
　このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求め、その加算画素値により第１～第ｎのフレーム内加算画像を構成できる。
　また本発明の一態様では、前記データ圧縮部は、前記第１～第ｎのフレーム内差分画像をエントロピー符号化により可逆圧縮してもよい。
　このようにすれば、上述のように入力画像よりもエントロピーが小さくなったフレーム内差分画像をエントロピー符号化することで高圧縮率で圧縮できる。
　また本発明の一態様では、第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、前記フレーム内推定演算部は、前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。
　このようにすれば、加算単位が重畳しながら順次画素シフトされた第１～第ｎのフレーム内加算画像から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、フレーム内加算画像に対する復元推定処理を簡素化できる。
　また本発明の一態様では、前記フレーム内推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。
　このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。
　また本発明の一態様では、前記第１～第３の撮像画像のうちの第ｘの撮像画像（ｘは３以下（その値を含む）の自然数）を受けて、加算画素値を取得する単位である加算単位を前記第ｘの撮像画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１～第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、前記第１～第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、前記第１～第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、を含み、前記フレーム間加算画像生成部は、前記第ｍのフレーム内差分画像又は前記平均画像を、第１～第３の入力画像のうちの第ｘの入力画像として受けて、前記第１、第２の入力画像に基づく前記第１のフレーム間加算画像を生成し、前記第２、第３の入力画像に基づく前記第２のフレーム間加算画像を生成してもよい。
　このようにすれば、フレーム内の加算を行った後にフレーム間の加算を行い、平均画像とフレーム内差分画像それぞれについてのフレーム間差分画像を生成して圧縮できる。このような処理順序によっても、フレーム内差分画像によるエントロピー低減効果、フレーム間加算画像による画素値の変化を小さくする効果、フレーム間差分画像によるエントロピー低減効果を得ることができる。
　また本発明の他の態様は、第１～第３のフレームにおける第１～第３の撮像画像を取得し、前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成し、前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成し、前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生し、前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１～第３の撮像画像の画素値を推定し、前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力する画像生成方法に関係する。
図１は、第１のデータ圧縮手法についての説明図。 図２は、撮像装置の第１の構成例。 図３は、第２のデータ圧縮手法についての説明図。 図４は、ハフマン符号テーブルの例。 図５は、撮像装置の第２の構成例。 図６は、撮像装置の第２の構成例におけるデータ構成例。 図７は、撮像装置の第２の構成例におけるデータ構成例。 図８は、撮像装置の第３の構成例。 図９は、第４のデータ圧縮手法についての説明図。 図１０は、データ圧縮手法の第１の変形例についての説明図。 図１１は、データ圧縮手法の第１の変形例についての説明図。 図１２は、データ圧縮手法の第２の変形例についての説明図。 図１３は、データ圧縮手法の第２の変形例についての説明図。 図１４は、フレーム間加算画像の画素値についての説明図。 図１５は、復元推定処理についての説明図。 図１６は、復元推定処理についての説明図。 図１７は、復元推定処理についての説明図。 図１８（Ａ）、図１８（Ｂ）は、フレーム内加算画像の画素値と、中間画素値についての説明図。
　以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
　１．本実施形態の概要
　デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
　しかしながら、この手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れたり、ユーザーが気づいたときには既に決定的瞬間を逃していたりするという課題がある。
　決定的瞬間の静止画を得るために、高フレームレートの高解像動画を取得し、その高解像動画から任意タイミングの静止画を抜き出す手法が考えられる。しかしながら、この手法では、高解像動画を撮影するためデータ量が増大するという課題がある。
　そこで本実施形態では、図１に示すように、撮像画像ｆ１～ｆ４をフレーム間で画素加算して加算画像Ｂ１～Ｂ３を取得し、その加算画像Ｂ１～Ｂ３をフレーム間で差分をとって差分画像ＤＴ２、ＤＴ３を取得する。加算画像Ｂ１～Ｂ３は、フレーム間で加算されているため、撮像画像ｆ１～ｆ４よりもフレーム間での画素値の変化が小さくなっている。そのため、差分画像ＤＴ２、ＤＴ３は、撮像画像ｆ１～ｆ４の差分をとるよりも、画素値がゼロ付近により偏在していると考えられる。これにより、画像Ｂ１、ＤＴ２、ＤＴ３を、例えばエントロピー符号化することで圧縮率を向上できる。
　さて、時間軸方向に画素値を加算した画像から高解像画像を得る手法として、空間方向に画素値を加算した画像から高解像画像を得る手法を応用することが考えられる。例えば、画素シフトにより撮影した低解像画像に対していわゆる超解像処理を行う手法が考えられる。この手法では、順次位置ずらししながら加算読み出しを行い、その複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法等が知られている。
　例えば上述の特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、その複数の低解像画像を合成することにより高解像画像を仮定し、その高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。
　しかしながら、この手法では、２次元フィルターを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、例えばデジタルカメラのような処理能力やコストの制限がある機器への適用は困難であるという課題がある。
　また上述の特許文献２には、画素シフトさせた複数の低解像画像を撮像し、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する手法が開示されている。この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
　しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、所定の条件を満たす領域を画像から見つけ出している。そのため、適当な領域が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な領域を探索する処理が必要になってしまう。
　この点、本実施形態では、図１で後述するように、画像Ｂ１、ＤＴ２、ＤＴ３から加算画像Ｂ１～Ｂ３を再生し、その加算画像Ｂ１～Ｂ３から撮像画像ｆ１～ｆ４を復元する。この加算画像Ｂ１～Ｂ３の画素値ｖｉｊ（１）’～ ｖｉｊ（３）’は、重畳加算されたものであり、隣接フレームの画素値は共通の撮像画像の画素を含んでいる。図１４～図１７で後述するように、この重畳加算された画素値を用いることで、撮像画像ｆ１～ｆ４を簡素な処理で復元できる。また、圧縮データから撮像画像ｆ１～ｆ４を復元できるため、元の撮像画像と同等の時間分解能が得られる。
　２．第１のデータ圧縮手法
　次に、本実施形態について詳細に説明する。まず、加算画像の生成手法と撮像画像の復元手法について説明する。なお以下では撮像素子がＲＧＢベイヤー配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では２フレーム間での加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他のフレーム数での加算を行ってもよい。
　ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける加算画像や差分画像等の１つの画像も適宜フレームと呼ぶ。
　図１に示すように、フレームｆＴ（Ｔは自然数）において、全画素読み出しによりＲＧＢベイヤー配列の撮像画像（以下、撮影フレーム画像と呼ぶ）を取得する。この撮像画像ｆＴの連続２フレームの同一位置の画素値を、撮像画像の１フレームが重畳するように重み付け加算し、加算画像ＢＴを生成する。なお以下では、撮影フレーム画像｛ｆ１，ｆ２，ｆ３｝を例にとり説明する。
　撮影フレーム画像｛ｆ１，ｆ２，ｆ３｝の任意の画素値を、それぞれ｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝とする。フレーム間加算画像｛Ｂ１，Ｂ２｝のそれぞれの画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝は、下式（１）により求められる。
　ｖｉｊ（１）’＝１・ｖｉｊ（１）＋（１／ｒ）・ｖｉｊ（２）
　ｖｉｊ（２）’＝１・ｖｉｊ（２）＋（１／ｒ）・ｖｉｊ（３）　　（１）
　ここで、ｒは重み付けの係数であり、１≦｜ｒ｜を満たす。ｖｉｊ（Ｔ）は、撮影フレーム画像ｆＴのアドレス（ｉ，ｊ）の画素値を表す。
　上記のように、フレーム間で重み付け加算されて記録された加算画像データに対して、図１４～図１７で後述する復元推定処理を適用することにより、元の加算前の撮像画像を推定により復元できる。
　次に、上記の加算画像と復元推定処理をベースに、フレーム間差分によりデータを削減する手法について説明する。
　図１に示すように、加算画像Ｂ１、Ｂ２の差分画像ＤＴ２を求める。具体的には下式（２）に示すように、加算画像Ｂ１、Ｂ２の任意の同一位置における画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝の差分画素値ｄｔｉｊ（２）を求める。そして、加算画像Ｂ１と差分画像ＤＴ２を記録する。
　ｄｔｉｊ（２）＝ｖｉｊ（１）’－ｖｉｊ（２）’　　（２）
　撮影フレーム画像を復元するときは、記録された加算画像Ｂ１の画素値ｖｉｊ（１）’と差分画像ＤＴ２の画素値ｄｔｉｊ（２）から、上式（２）により加算画像Ｂ２の画素値ｖｉｊ（２）’を求める。そして、加算画像Ｂ１、Ｂ２の画素値ｖｉｊ（１）’、ｖｉｊ（２）’から撮像画像ｆ１～ｆ３の画素値ｖｉｊ（１）～ ｖｉｊ（３）を復元する。
　さて、時間的に隣接するフレーム間では、結像される被写体の動きが小さい場合には相互の相関性が高く、動きが大きい場合には相互の相関性が低くなる。従って、フレーム間の差分画素値は、被写体の動きに大きく左右されるので、差分値による安定したデータ削減が難しい。
　この点、本実施形態によれば、フレーム間における同一位置の画素に対して重み付け加算を施す。これにより、一種の加算フィルター効果が得られ、差分値の変化を緩やかにする作用が生まれる。差分値の変化が緩やかになることで、撮像画像を直接圧縮するよりも安定したデータ削減を行うことができる。
　次に、加算画像から撮影フレーム画像を復元する点について考える。一般的に、単に加算をして得られた値から元の加算前の値に戻すには、初期値が定まれば、方程式を順次解いていけばよい。しかしながら、差分値に何らかの劣化が発生すると、誤差の波及が発生してしまうので望ましくない。
　この点、本実施形態によれば、１回の復元処理において、２フレームの加算画像から３フレームの撮像画像を推定する。各回の復元処理は、他の回の復元処理の結果を用いないため、誤差が波及しない。即ち、重み付け加算の復元推定処理の方が、誤差の影響は部分的フレーム間に留めることができるので、画像としての劣化も小さく抑えることができる。
　なお、上記ではフレーム｛ｆ１，ｆ２，ｆ３｝を例にとり説明したが、任意のフレームｆＴに拡張できることは言うまでもない。即ち、加算画像ＢＴの画素値ｖｉｊ（Ｔ）’は下式（３）により表され、差分画像ＤＴＴ＋１の画素値ｄｔｉｊ（Ｔ＋１）は下式（４）により表される。
　ｖｉｊ（Ｔ）’＝１・ｖｉｊ（Ｔ）＋（１／ｒ）・ｖｉｊ（Ｔ＋１）　　（３）
　ｄｔｉｊ（Ｔ＋１）＝ｖｉｊ（Ｔ）’－ｖｉｊ（Ｔ＋１）’　　（４）
　１回の復元推定処理では、画素値｛ｖｉｊ（Ｔ），ｖｉｊ（Ｔ＋１），ｖｉｊ（Ｔ＋２）｝が求められる。そのため、処理対象とするフレーム画像をシフトさせていくと、同一画素の画素値が複数回得られることになる。そのため、１回の復元処理において１つの値（例えばｆＴ～ｆＴ＋２の復元において画素値ｖｉｊ（Ｔ）のみを、復元推定データとして採用しても構わない。
　ここで、上記では隣接２フレームの重み付け加算を例にとり説明したが、本実施形態ではこれに限定されない。例えば、隣接２フレームの重み付け加算値を２個更に重み付け加算し、見かけ上隣接４フレームの加算値を得てもよい。この隣接４フレームの加算値の差分値によりデータ化することも、本方式の応用として容易であることは言うまでもない。
　３．撮像装置
　図２に、上記圧縮を行う場合の構成例として、撮像装置の第１の構成例を示す。撮像装置は、撮像とデータ圧縮処理を行う撮像部１０と、高精細画像の復元処理を行う画像処理部２０を含む。画像処理部２０は、カメラ本体に内蔵されてもよいし、ＰＣ等の外部の情報処理装置により構成されてもよい。
　具体的には、撮像部１０は、レンズ１１０、撮像素子１２０（撮像センサー）、フレーム間加算画像生成部１２２、フレーム間差分画像生成部１２４、データ記録部１５５を含む。
　レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。
　フレーム間加算画像生成部１２２は、上述のように、撮影フレーム画像ｆ１～ｆ３の画素値をフレーム間で重み付け加算し、フレーム間加算画像｛Ｂ１、Ｂ２｝を生成する。フレーム間差分画像生成部１２４は、フレーム間加算画像Ｂ１を基準画像とし、基準画像Ｂ１とフレーム間加算画像Ｂ２の差分をとり、フレーム間差分画像ＤＴ２を生成する。データ記録部１５５は、基準画像Ｂ１とフレーム間差分画像ＤＴ２を記録する。
　画像処理部２０は、フレーム間加算画像再生部２１４、フレーム間推定演算部２３４、高精細静止画生成部２４０、高精細動画生成部２５０、標準動画生成部２６０、画像出力部２９０、画像選択部２９５を含む。
　フレーム間加算画像再生部２１４は、記録された基準画像Ｂ１とフレーム間差分画像ＤＴ２からフレーム間加算画像｛Ｂ１、Ｂ２｝を再生する。フレーム間推定演算部２３４は、フレーム間加算画像｛Ｂ１、Ｂ２｝に基づいて撮影フレーム画像ｆ１～ｆ３を推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。この推定演算については、図１４等において後述する。
　高精細静止画生成部２４０は、ベイヤー配列の復元画像をデモザイキング処理し、その画像に対して例えば階調補正処理等の画像処理を行い、高精細静止画を生成する。このとき、画像選択部２９５により選択されたタイミングの静止画が生成される。タイミングは、ユーザーの指示により選択され、ユーザーは、例えば画像出力部２９０の出力動画を見てタイミングを選択する。
　高精細動画生成部２５０は、ベイヤー配列の復元動画画像をデモザイキング処理し、その動画画像に対して例えば階調補正処理等の画像処理を行い、高精細動画を生成する。標準動画生成部２６０は、高精細動画をダウンサンプリングし、例えばハイビジョン画素数の動画を標準動画として生成する。
　画像出力部２９０は、高精細静止画、高精細動画、標準動画を、例えば表示装置やプリンターに出力する。
　以上の実施形態によれば、図２に示すように、撮像装置は、画像取得部（例えば撮像素子１２０）とフレーム間加算画像生成部１２２とフレーム間差分画像生成部１２４とフレーム間加算画像再生部２１４とフレーム間推定演算部２３４と画像出力部２９０を含む。
　図１に示すように、画像取得部は、第１～第３のフレームにおける第１～第３の撮像画像ｆ１～ｆ３を取得する。フレーム間加算画像生成部１２２は、第１の撮像画像ｆ１の画素値ｖｉｊ（１）と第２の撮像画像ｆ２の画素値ｖｉｊ（２）を重み付け加算して第１のフレーム間加算画像Ｂ１を生成し、第２の撮像画像ｆ２の画素値ｖｉｊ（２）と第３の撮像画像ｆ３の画素値ｖｉｊ（３）を重み付け加算して第２のフレーム間加算画像Ｂ２を生成する。フレーム間差分画像生成部１２４は、第１のフレーム間加算画像Ｂ１と第２のフレーム間加算画像Ｂ２の差分を、フレーム間差分画像ＤＴ２として生成する。
　図２に示すように、フレーム間加算画像再生部２１４は、第１のフレーム間加算画像Ｂ１とフレーム間差分画像ＤＴ２に基づいて、第２のフレーム間加算画像Ｂ２を再生する。フレーム間推定演算部２３４は、第１のフレーム間加算画像Ｂ１と、再生された第２のフレーム間加算画像Ｂ２とに基づいて、第１～第３の撮像画像ｆ１～ｆ３の画素値ｖｉｊ（１）～ｖｉｊ（３）を推定する。画像出力部２９０は、推定された画素値ｖｉｊ（１）～ｖｉｊ（３）に基づく高解像画像を出力する。
　このようにすれば、撮像画像ｆＴを効率よく圧縮することが可能になる。即ち、撮像画像の画素値をフレーム間で加算することで、画素値の時間的な変化を緩やかにできる。これにより、上述のように、フレーム間差分画像のエントロピーを下げることができ、例えばエントロピー符号化により高圧縮率を実現できる。
　また、例えば後述する復元推定処理を適用することで、簡素な処理で撮像画像ｆＴを再生可能である。これにより、フレーム間で加算する前の画像が再性されるため、動体でもブレが少ない時間分解能が高い復元画像を得られる。また、高圧縮率の画像データから撮像画像ｆＴを復元して任意タイミングの高精細静止画を取り出すことができる。
　４．第２のデータ圧縮手法
　次に、上述の基準画像Ｂ１と差分画像ＤＴＴ（Ｔ＝２，３，・・・）を更にフレーム内（画像内）で画素加算し、データ削減する手法について説明する。なお以下では、任意の差分画像ＤＴＴに対する処理を例にとり説明するが、基準画像Ｂ１についても同様である。また、４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。以下では、フレーム番号を表す（Ｔ）を画素値ｖｉｊ（Ｔ）、ｄｔｉｊ（Ｔ）、ａｉｊ（Ｔ）から省略し、ｖｉｊ、ｄｔｉｊ、ａｉｊと表記する。
　図３に示すように、差分画像ＤＴＴに４画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、４枚の画素加算画像Ａ１～Ａ４を生成する。この処理は、差分画像１枚毎に行われる。
　４画素加算値ａｉｊは下式（５）で表わされる。画素加算画像Ａ１～Ａ４を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）｝である。
　ａｉｊ＝ｄｔｉｊ＋（１／ｒ）ｄｔ（ｉ＋１）ｊ＋
　　　　（１／ｒ）ｄｔｉ（ｊ＋１）＋（１／ｒ２）ｄｔ（ｉ＋１）（ｊ＋１）　　　（５）　
　ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｄｔｉｊは差分画像ＤＴＴにおけるアドレス（ｉ，ｊ）の画素値である。
　次に、生成した画素加算画像Ａ１～Ａ４の加算位置の整合を行い、４枚の画素加算画像を重ね合わせた上で同一位置の値の加算平均をとることにより平均画像Ｍを生成する。即ち、画素加算画像Ａ１～Ａ４の４画素加算値をそれぞれ｛ａ（１） ｉｊ，ａ（２） （ｉ＋１）ｊ，ａ（３） （ｉ＋１）（ｊ＋１），ａ（４） ｉ（ｊ＋１）｝とすると、平均画像Ｍの画素値ａＭ ｉｊは下式（６）で表される。
　ａＭ ｉｊ＝［ａ（１） ｉｊ＋ａ（２） （ｉ＋１）ｊ＋
　　　　　ａ（３） ｉ（ｊ＋１）＋ａ（４） （ｉ＋１）（ｊ＋１）］／４　　（６）
　生成した平均画像Ｍを基準とし、その平均画像Ｍと画素加算画像Ａ１～Ａ４との差分（方向ベクトル（１，－１）への射影）をそれぞれ差分画像Ｄ１～Ｄ４とする。差分画像Ｄ１～Ｄ４と平均画像Ｍを合わせて融合画像データＦ（Ｍ，Ｄ１～Ｄ４）とする。差分画像Ｄ１～Ｄ４を構成する４画素加算差分値を｛ａＤ１ ｉｊ，ａＤ２ ｉｊ，ａＤ３ ｉｊ，ａＤ４ ｉｊ｝とすれば、下式（７）のように表わせる。
　ａＤ１ ｉｊ＝ａＭ ｉｊ－ａ（１） ｉｊ，
　ａＤ２ ｉｊ＝ａＭ ｉｊ－ａ（２） （ｉ＋１）ｊ，
　ａＤ３ ｉｊ＝ａＭ ｉｊ－ａ（３） （ｉ＋１）（ｊ＋１），
　ａＤ４ ｉｊ＝ａＭ ｉｊ－ａ（４） ｉ（ｊ＋１）　　　　（７）
　このようにして、静止画と動画を融合させた融合画像データＦ（Ｍ，Ｄ１～Ｄ４）を生成し、それを記録しておき、その記録されたＦ（Ｍ，Ｄ１～Ｄ４）を後段において解凍処理することにより、「高精細静止画データ」又は「動画データ」を適宜生成することが可能となる。
　なお、この例では差分（即ち方向ベクトル（１，－１）への射影）をとったが、本実施形態はこれに限定されない。例えば、平均画像Ｍの画素値と画素加算画像Ａ１～Ａ４の画素値の相関分布に応じて、その主成分軸（分散が最も大きくなる直線）を求め、主成分軸に直交する軸に対して射影した値を用いた方が、より一層データの圧縮が可能となることは言うまでもない。
　５．エントロピー符号化
　次に、上述した平均画像Ｍとフレーム内差分画像Ｄ１～Ｄ４を圧縮する手法について説明する。
　平均画像Ｍ及びフレーム内差分画像Ｄ１～Ｄ４の画素値データは、発生頻度分布の偏りが顕著になるため、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）がデータ圧縮として効果的である。エントロピー符号化とは、画素値の発生確率を求め、発生確率の高いものから短い符号長を割当てる圧縮手法である。
　例えば、平均画像Ｍの画素値データの平均値に対して最も短い符号長を割り当て、その平均値から離れる値ほど符号長を長くして行く符号化が適当である。即ち、フレーム内差分画像Ｄ１～Ｄ４の画素値データは各々の平均がゼロであり、ゼロの発生確率をピークとして分布しているので、ゼロ値に最も短い符号を割当てるようにすればよい。また、平均画像Ｍ及びフレーム内差分画像Ｄ１～Ｄ４の画素値データは、確率密度に応じて非線形量子化を行うことも有効である。
　一方、平均画像Ｍでは、確かに加算平均した画素値データなので発生頻度分布の偏りは顕著になるが、画素加算値の取りうる範囲は、フレーム内差分画像Ｄ１～Ｄ４の画素値データと比較すると、かなり大きくなる。そのため、一般的に高圧縮率が期待できる非可逆圧縮法（ＪＰＥＧ，ＭＰＥＧ等）の適用がデータの圧縮としては効果的である。
　従って、平均画像Ｍにおいては画素数を削減して非可逆高圧縮を適用し、フレーム内差分画像Ｄ１～Ｄ４においては、同様な発生分布の偏りを呈する特性を利用した高速エントロピー符号化を適用することが考えられる。
　次に、最も単純なハフマン符号を適用する場合の例を示す。多数の画像の画素値分布に基づいて一つのハフマン符号テーブルを生成すると、適用範囲が広くなり、圧縮効果は画像依存になってしまう。しかしながら、画像毎又は画像範囲毎にハフマンテーブルを毎回生成するのは効果的ではない。
　そこで、上記の平均画像Ｍに適用する場合、所定の画像領域毎に平均値αＭ ｉｊを下式（８）により求め、その平均値αＭ ｉｊと各加算平均値｛ａＭ ｉｊ｝の差分値｛ａ’Ｍ ｉｊ｝を下式（９）により求める。そして、その差分値｛ａ’Ｍ ｉｊ｝を改めて平均画像Ｍのデータとし、ハフマン符号化を適用すればよい。このことにより、差分値｛ａ’Ｍ ｉｊ｝は、普遍的にゼロを中心とした値の生起分布を形成できる。融合画像データＦ（Ｍ，Ｄ１～Ｄ４）の中のＭは、Ｍ＝｛αＭ ｉｊ，ａ’Ｍ ｉｊ｝に置き換えて考えられる。
Figure JPOXMLDOC01-appb-M000001
 　ａ’Ｍ ｉｊ＝ａＭ ｉｊ－αＭ ｉｊ　　（９）
　ここで、（ｈ０，ｖ０）は、平均値αＭ ｉｊを算出する領域の始点であり、（ｈ，ｖ）は、平均値αＭ ｉｊを算出する領域の終点である。即ち上式（８）においてｈ０≦ｉ≦ｈ，ｖ０≦ｊ≦ｖを満たす。例えば、平均値αＭ ｉｊを算出する領域は、平均画像Ｍの全体である。平均値αＭ ｉｊを算出する領域や、平均値αＭ ｉｊの算出に用いる平均値ａＭ ｉｊの数は、データの圧縮率とのバランスを評価して決めればよい。
　上記の差分値｛ａ’Ｍ ｉｊ｝と４画素加算差分値｛ａＤ１ ｉｊ，ａＤ２ ｉｊ，ａＤ３ ｉｊ，ａＤ４ ｉｊ｝は、それら自体が平均ゼロの値から成っているので、図４に示す符号割り当てが考えられる。このようにすれば、ハフマン符号テーブルは固定的な一種類で済ますことができる。
　なお、上述の平均値αＭ ｉｊとして、下式（１０）に示す固定値ｍＡＶＲを適用し、変動データとして扱わずに先見情報として扱ってもよい。この場合、平均値ｍＡＶＲはデータとして記録する必要はない。融合画像データＦ（Ｍ，Ｄ１～Ｄ４）の中のＭは、Ｍ＝｛ｍＡＶＲ，ａ’Ｍ ｉｊ｝と置き換えて考えられる。下式（１０）は、上式（５）で定義される重み付け４画素加算値の場合への適用であり、加算画素数や重み付けの掛け方によって適宜適正な値が設定されることに注意が必要である。
　ｍＡＶＲ＝ｖｍａｘ・｛１＋（１／ｒ）＋（１／ｒ）＋（１／ｒ２）｝／２
（１０）
　ここで、ｒは重み付けのパラメータであり、１≦ｒである。ｖｍａｘは、画素値を規定する最大値である。
　６．高精細静止画の再生手法
　上述のＦ（Ｍ，Ｄ１～Ｄ４）からフレーム間差分画像ＤＴＴ（又は基準画像Ｂ１）を復元推定する手法について説明する。
　上式（７）を変形すると、下式（１１）が得られる。下式（１１）に示すように、平均画像Ｍを構成する４画素加算値｛ａＭ ｉｊ｝と、フレーム内差分画像Ｄ１～Ｄ４を構成する４画素加算値｛ａＤ１ ｉｊ，ａＤ２ ｉｊ，ａＤ３ ｉｊ，ａＤ４ ｉｊ｝から、画素加算画像Ａ１～Ａ４のそれぞれの４画素加算値｛ａ（１） ｉｊ，ａ（２） （ｉ＋１）ｊ，ａ（３） （ｉ＋１）（ｊ＋１），ａ（４） ｉ（ｊ＋１）｝が得られる。
　ａ（１） ｉｊ＝ａＭ ｉｊ－ａＤ１ ｉｊ，
　ａ（２） （ｉ＋１）ｊ＝ａＭ ｉｊ－ａＤ２ ｉｊ，
　ａ（３） （ｉ＋１）（ｊ＋１）＝ａＭ ｉｊ－ａＤ３ ｉｊ，
　ａ（４） ｉ（ｊ＋１）＝ａＭ ｉｊ－ａＤ４ ｉｊ　　　　（１１）
　求められた４画素加算値｛ａ（１） ｉｊ，ａ（２） （ｉ＋１）ｊ，ａ（３） （ｉ＋１）（ｊ＋１），ａ（４） ｉ（ｊ＋１）｝は、１枚の高精細画像を水平又は垂直に１画素ずつ重畳シフトした４画素加算値により構成されている画像データである。この４画素加算値を、図１８（Ａ）等で後述する復元推定処理に適用することにより、元の基準画像Ｂ１又は差分画像ＤＴ２の画素値が求められる。
　次に、復元された基準画像Ｂ１とフレーム間差分画像ＤＴ２を用いてフレーム間加算画像Ｂ２を再生する。具体的には下式（１２）に示すように、基準画像Ｂ１の画素値ｖｉｊ（１）’を基準値とし、加算画像Ｂ２の画素値ｖｉｊ（２）’を求める。
　ｖｉｊ（２）’＝ｖｉｊ（１）’－ｄｔｉｊ（２）　　（１２）
　このようにして得られたフレーム間加算画像｛Ｂ１，Ｂ２｝の画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝に対して、図１４等で後述する復元推定処理を適用し、フレーム間加算前の撮影フレーム画像｛ｆ１，ｆ２，ｆ３｝の画素値｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝を推定する。なお、上記の実施形態では、扱うフレーム画像を画像フレーム｛ｆ１，ｆ２，ｆ３｝に限って説明したが、次々と後段のフレームに拡張し、この考え方を適用できることは言うまでもない。
　７．撮像装置の第２の構成例
　図５に、上述のように基準画像Ｂ１とフレーム間差分画像ＤＴＴを生成し、更に平均画像Ｍとフレーム内差分画像Ｄ１～Ｄ４を生成する場合の構成例として、撮像装置の第２の構成例を示す。撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図２等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
　撮像部１０は、レンズ１１０、撮像素子１２０、フレーム間加算画像生成部１２２（第１の加算画像生成部）、フレーム間差分画像生成部１２４（第１の差分画像生成部）、フレーム内加算画像生成部１３０（第２の加算画像生成部）、フレーム内差分画像生成部１４１（第２の差分画像生成部）、平均画像生成部１４２、エントロピー符号化部１４３、圧縮データ記録部１５０を含む。
　フレーム内加算画像生成部１３０は、上述のように、画素シフトさせつつ基準画像Ｂ１又はフレーム間差分画像ＤＴＴの画素値を加算し、フレーム内加算画像Ａ１～Ａ４を生成する。平均画像生成部１４２は、フレーム内加算画像Ａ１～Ａ４から平均画像Ｍを生成する。フレーム内差分画像生成部１４１は、フレーム内加算画像Ａ１～Ａ４と平均画像Ｍからフレーム内差分画像Ｄ１～Ｄ４を生成する。エントロピー符号化部１４３は、上述のエントロピー符号化等の可逆圧縮により差分画像Ｄ１～Ｄ４を圧縮する。データ圧縮部１４４は、例えばＭ－ＪＰＥＧやＪＰＥＧ－ＸＲ等の非可逆圧縮により平均画像Ｍを圧縮する。圧縮データ記録部１５０は、圧縮された平均画像Ｍとフレーム内差分画像Ｄ１～Ｄ４のデータを記録する。
　画像処理部２０は、圧縮データ伸張部２００、フレーム内加算画像再生部２１０（第２の加算画像再生部）、フレーム間加算画像再生部２１４（第１の加算画像再生部）、フレーム内推定演算部２３０（第２の推定演算部）、フレーム間推定演算部２３４（第１の推定演算部）、高精細静止画生成部２４０、高精細動画生成部２５０、標準動画生成部２６０、画像出力部２９０、画像選択部２９５を含む。
　圧縮データ伸張部２００は、圧縮された平均画像Ｍとフレーム内差分画像Ｄ１～Ｄ４を伸張する処理を行う。フレーム内加算画像再生部２１０は、平均画像Ｍとフレーム内差分画像Ｄ１～Ｄ４からフレーム内加算画像Ａ１～Ａ４を再生する処理を行う。フレーム内推定演算部２３０は、フレーム内加算画像Ａ１～Ａ４に基づいて、基準画像Ｂ１とフレーム間差分画像ＤＴＴを推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。
　図６、図７に、上記第２の構成例におけるデータ構成例を示す。図６に示すように、撮像画像ｆＴは、Ｐ×Ｑ画素（Ｐ、Ｑは自然数）の画素値ｖ００（Ｔ）～ｖＰＱ（Ｔ）で構成される。フレーム間差分画像ＤＴＴも、Ｐ×Ｑ画素の画素値ｄｔ００（Ｔ）～ｄｔＰＱ（Ｔ）で構成される。基準画像Ｂ１も同様である。
　図７に示すように、フレーム内加算画像Ａ１（ＤＴＴ）～Ａ４（ＤＴＴ）は、それぞれｐ×ｑ画素の画素値ａ００（Ｔ）～ａｐｑ（Ｔ）で構成される。ここで、ｐ＝Ｐ／２、ｑ＝Ｑ／２である。フレーム内加算画像Ａ１（Ｂ１）～Ａ４（Ｂ１）も同様である。平均画像Ｍ（ＤＴＴ）、フレーム内差分画像Ｄ１（ＤＴＴ）～Ｄ４（ＤＴＴ）も、それぞれｐ×ｑ画素の画素値で構成される。平均画像Ｍ（Ｂ１）、フレーム内差分画像Ｄ１（Ｂ１）～Ｄ４（Ｂ１）も同様である。
　上記の実施形態によれば、図５に示すように、撮像装置は、フレーム内加算画像生成部１３０と平均画像生成部１４２とフレーム内差分画像生成部１４１とデータ圧縮部（例えばエントロピー符号化部１４３）と圧縮データ伸張部２００とフレーム内加算画像再生部２１０とフレーム内推定演算部２３０を含む。
　図３に示すように、フレーム内加算画像生成部１３０は、第１のフレーム間加算画像Ｂ１又はフレーム間差分画像ＤＴ２を入力画像として受けて、加算画素値ａｉｊを取得する単位である加算単位を入力画像の複数の画素毎（例えば４画素毎）に設定し、その加算単位を順次画素シフトさせながら加算単位に含まれる画素値ｄｔｉｊを重み付け加算（上式（５））して第１～第４（広義には第１～第ｎ）のフレーム内加算画像Ａ１～Ａ４を生成する。上式（６）で説明したように、平均画像生成部１４２は、フレーム内加算画像Ａ１～Ａ４の平均画像Ｍを生成する。上式（７）で説明したように、フレーム内差分画像生成部１４１は、第ｍのフレーム内加算画像Ａｍ（ｍはｎ以下（その値を含む）の自然数）と平均画像Ｍとの差分を、第ｍのフレーム内差分画像Ｄｍとして生成する。データ圧縮部は、平均画像Ｍとフレーム内差分画像Ｄｍを圧縮する。
　図５に示すように、圧縮データ記録部１５０は、圧縮された平均画像Ｍとフレーム内差分画像Ｄｍを伸張する。フレーム内加算画像再生部２１０は、伸張された平均画像Ｍとフレーム内差分画像Ｄｍに基づいて、フレーム内加算画像Ａ１～Ａ４を再生する。フレーム内推定演算部２３０は、再生されたフレーム内加算画像Ａ１～Ａ４に基づいて、入力画像の画素値を推定する。
　このようにすれば、フレーム間加算画像Ｂ１とフレーム間差分画像ＤＴ２に対して更にフレーム内加算を行い、そのフレーム内加算画像Ａ１～Ａ４の平均画像Ｍとフレーム内差分画像Ｄ１～Ｄ４を生成して圧縮できる。これにより、更に圧縮率を向上できる。即ち、入力画像Ｂ１（又はＤＴ２）と４枚の加算画像Ａ１～Ａ４は画素数としては同一になるが、差分画像Ｄｍの画素値のエントロピーを入力画像よりも小さくできるため、圧縮率を向上できる。
　また本実施形態によれば、簡素な処理で圧縮データから入力画像を再生可能である。即ち、フレーム内加算画像Ａ１～Ａ４は、重畳シフト加算により得られた画像データであり、後述する復元推定処理を適用可能である。この復元推定処理は、低解像画像から高解像画像を推定する処理を、上述の特許文献１、２に比べて簡素化することができる。また、復元された入力画像から更に撮像画像ｆＴを復元できるため、高圧縮率の画像データから任意タイミングの高精細静止画を取り出すことが可能になる。
　また本実施形態では、図３に示すように、フレーム内加算画像生成部１３０は、加算単位を、水平又は垂直（ｉ軸方向又はｊ軸方向）に１画素ずつ順次シフトさせて第１～第４のポジション（例えば座標（０，０）、（１，０）、（１，１）、（０，１））に設定し、その第１～第４のポジションにおいてそれぞれフレーム内加算画像Ａ１～Ａ４を取得する。第ｍのポジションと第ｍ＋１のポジション（例えば（０，０）、（１，０））の加算単位は、共通の画素（ｖ１０、ｖ１１）を含む。
　このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求める重畳シフト加算を行うことができる。
　また本実施形態では、上式（６）に示すように、平均画像生成部１４２は、第１～第４のポジションの加算画素値の平均値ａＭ ｉｊを、平均画像の画素値として求める。上式（７）に示すように、フレーム内差分画像生成部１４１は、平均画像の画素値ａＭ ｉｊと、第ｍのポジションの加算画素値（例えばａ（１） ｉｊ）の差分値（ａＤ１ ｉｊ）を、第ｍの差分画像の画素値（ａＤ１ ｉｊ）として求める。
　また本実施形態では、図３等で説明したように、データ圧縮部は、第ｍのフレーム内差分画像Ｄｍをエントロピー符号化により可逆圧縮する。
　このようにすれば、上述のようにエントロピーが小さくなったフレーム内差分画像Ｄｍを高圧縮率で圧縮することができるため、画像データの圧縮率を向上できる。これにより、圧縮データを記録するストレージの容量を削減したり、データ通信における通信負荷を軽減できる。
　８．第３のデータ圧縮手法
　上記の実施形態では、フレーム間の加算を行った後にフレーム内の加算を行ったが、フレーム内の加算を行った後にフレーム間の加算を行ってもよい。図８に、このような場合の構成例として、撮像装置の第３の構成例を示す。
　撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図２等で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。
　撮像部１０は、レンズ１１０、撮像素子１２０、フレーム間加算画像生成部１２２、フレーム間差分画像生成部１２４、フレーム内加算画像生成部１３０、フレーム内差分画像生成部１４１、平均画像生成部１４２、エントロピー符号化部１４３、圧縮データ記録部１５０を含む。画像処理部２０の構成要素は、図５の画像処理部２０と同様である。
　フレーム内加算画像生成部１３０は、連続して得られる撮像画像ｆＴ（Ｔは自然数）のフレーム一つ一つにおいてフレーム内の重畳シフト重み付け加算を行い、フレーム内加算画像｛Ａ１（Ｔ），Ａ２（Ｔ），Ａ３（Ｔ），Ａ４（Ｔ）｝を生成する。平均画像生成部１４２は、フレーム内加算画像の平均画像Ｍ（Ｔ）を求める。フレーム内差分画像生成部１４１は、フレーム内加算画像と平均画像の差分であるフレーム内差分画像｛Ｄ１（Ｔ），Ｄ２（Ｔ），Ｄ３（Ｔ），Ｄ４（Ｔ）｝を求める。
　フレーム間加算画像生成部１２２は、平均画像Ｍ（Ｔ）とフレーム内差分画像｛Ｄ１（Ｔ），Ｄ２（Ｔ），Ｄ３（Ｔ），Ｄ４（Ｔ）｝のそれぞれについてフレーム間の重畳シフト重み付け加算を行い、フレーム間加算画像｛ＢＴ｝を生成する。即ち、画像単位にて表記すると、重み付け加算は下式（１３）で表される。
　ＢＴ（Ｍ）＝１・Ｍ（Ｔ）＋（１／ｒ）・Ｍ（Ｔ＋１），
　ＢＴ（Ｄｍ）＝１・Ｄｍ（Ｔ）＋（１／ｒ）・Ｄｍ（Ｔ＋１）　　（１３）
　ここで、ｒは重み付け係数である。ｍは４以下（その値を含む）の自然数である。
　フレーム間差分画像生成部１２４は、下式（１４）に示すように、フレーム間加算画像｛Ｂ１｝を基準とし、｛ＢＴ｝を順次差し引きして差分画像ＤＴＴを求める。
　Ｂ１＝（基準値），
　ＤＴＴ＋１＝ＢＴ－ＢＴ＋１　　（１４）
　エントロピー符号化部１４３は、加算画像｛Ｂ１｝と差分画像ＤＴＴに対してそれぞれエントロピー符号化（可逆圧縮）を行い、記録データを生成する。
　圧縮データ伸張部２００は、圧縮された加算画像｛Ｂ１｝と差分画像ＤＴＴを伸張する処理を行う。フレーム間加算画像再生部２１４は、伸張された基準画像Ｂ１と差分画像ＤＴ２から加算画像｛Ｂ１、Ｂ２｝を再生する。フレーム間推定演算部２３４は、加算画像｛Ｂ１、Ｂ２｝に基づいて、平均画像Ｍ（Ｔ）と差分画像Ｄ１（Ｔ）～Ｄ４（Ｔ）を推定により復元する。
　フレーム内加算画像再生部２１０は、平均画像Ｍ（Ｔ）と差分画像Ｄ１（Ｔ）～Ｄ４（Ｔ）から加算画像Ａ１～Ａ４を再生する処理を行う。フレーム内推定演算部２３０は、加算画像Ａ１～Ａ４に基づいて、撮像画像ｆＴを推定により復元する。復元された画像は、ベイヤー配列のＲＡＷ画像である。
　以上の実施形態によれば、フレーム内加算画像生成部１３０は、第ｘの撮像画像ｆｘ（ｘは３以下（その値を含む）の自然数）を受けて、加算画素値を取得する単位である加算単位を撮像画像ｆｘの複数の画素毎に設定し、加算単位を順次画素シフトさせながら加算単位に含まれる画素値を重み付け加算して第１～第ｎのフレーム内加算画像Ａ１（ｘ）～Ａ４（ｘ）を生成する。平均画像生成部１４２は、フレーム内加算画像Ａ１（ｘ）～Ａ４（ｘ）の平均画像Ｍ（ｘ）を生成する。フレーム内差分画像生成部１４１は、第ｍのフレーム内加算画像Ａｍ（ｘ）と平均画像Ｍ（ｘ）との差分を、第ｍのフレーム内差分画像Ｄｍ（ｘ）として生成する。
　フレーム間加算画像生成部１２２は、フレーム内差分画像Ｄｍ（ｘ）又は平均画像Ｍ（ｘ）を第ｘの入力画像として受けて、第１、第２の入力画像（例えばＤｍ（１）、Ｄｍ（２））に基づく第１のフレーム間加算画像Ｂ１を生成し、第２、第３の入力画像（Ｄｍ（２）、Ｄｍ（３））に基づく第２のフレーム間加算画像Ｂ２を生成する。
　このようにすれば、撮像画像に対してフレーム内加算を行った後にフレーム内加算を行ってデータ圧縮を行うことができる。このような処理順序によっても、フレーム内差分画像によるエントロピー低減効果、フレーム間加算画像による画素値の変化を小さくする効果、フレーム間差分画像によるエントロピー低減効果を得ることができる。また、復元推定処理により撮像画像を復元して、任意タイミングの高精細静止画を得ることができる。
　９．第４のデータ圧縮手法
　上記の実施形態では、２フレーム間の差分によりフレーム間差分画像を生成したが、基準フレームと前後フレームの差分によりフレーム間差分画像を生成してもよい。図９を用いて、基準フレームと前後フレームの差分によりデータ圧縮を行う手法について説明する。
　図９に示すように、まず、上述の手法と同様にしてフレーム間加算画像ＢＴ（Ｔは自然数）を生成する。このフレーム間加算画像ＢＴにおいて、例えば基準画像をＢ３ｋ＋２（ｋは０以上（その値を含む）の整数）とする。そして、基準画像Ｂ３ｋ＋２と、その前後のフレーム間加算画像Ｂ３ｋ＋１，Ｂ３ｋ＋３の差分をとり、差分画像ＤＴ３ｋ＋１，ＤＴ３ｋ＋３を得る。画像の差分は、同一位置の画素値の差分値を求めることにより行う。
　次に、基準画像と差分画像の組合せデータ｛Ｂ３ｋ＋２，ＤＴ３ｋ＋１，ＤＴ３ｋ＋３｝をデータ単位とし、それぞれに可逆圧縮符号化（例えばエントロピー符号化）を施し、順次融合圧縮データとして記録する。
　元の画像ｆＴを再生するには、上記とは逆のプロセスを行えばよい。即ち、記録された融合圧縮データに対して可逆圧縮符号の復号を行い、組合せデータ｛Ｂ３ｋ＋２，ＤＴ３ｋ＋１，ＤＴ３ｋ＋３｝を生成する。そして、組み合わせデータからフレーム間加算画像ＢＴを再生する。フレーム間加算画像ＢＴに対して画像復元推定法を適用し、撮像フレーム画像ｆＴを得る。
　１０．データ圧縮手法の第１の変形例
　次に、データ圧縮手法の第１の変形例について説明する。図１０に示すように、まず、撮影フレーム画像ｆＴ（Ｔは自然数）の各フレーム内において、図３等で上述の重畳シフト４画素加算を行い、フレーム内加算画像ｆＴ’＝｛Ａ１～Ａ４｝を生成する。
　次に、フレーム内加算画像ｆＴ’の時間軸方向において、図１等で上述のフレーム間差分処理を行う。即ち、基準画像をＢ１＝ｆ１’とし、隣接フレームの差分によりフレーム間差分画像ＤＴＴを生成する。なお、図１０では簡単のために基準画像Ｂ１やフレーム間差分画像ＤＴＴをそれぞれ１枚の画像で表しているが、実際には下式（１５）に示すように、それぞれ４枚の画像で構成される。
　Ａｋ’（Ｔ）＝Ａｋ（Ｔ）－Ａｋ（Ｔ＋１）　　（１５）
　ここで、上式（１５）の差分は、同一位置の画素値の減算により行われる。ｋは４以下（その値を含む）の自然数である。
　上式（１５）は、図１で上述のフレーム間加算において、重み付け係数をｒ＝－１とすることに対応する。
　次に、図１１に示すように、基準画像Ｂ１やフレーム間差分画像ＤＴＴを構成する４枚の画像Ａ１’（Ｔ）～Ａ４’（Ｔ）の平均画像Ｍを生成し、その平均画像Ｍと４枚の画像Ａ１’（Ｔ）～Ａ４’（Ｔ）の差分画像Ｄ１～Ｄ４を生成する。この平均画像Ｍと差分画像Ｄ１～Ｄ４の生成は、図３で上述の手法と同様に行う。そして、平均画像Ｍと差分画像Ｄ１～Ｄ４を可逆圧縮処理し、データ圧縮された記録データを生成する。
　記録データから撮影フレーム画像ｆＴを復元するときには、まず圧縮された記録データに対して伸張処理を行い、平均画像Ｍと差分画像Ｄ１～Ｄ４を再生する。次に、平均画像Ｍと差分画像Ｄ１～Ｄ４から基準画像Ｂ１とフレーム間差分画像ＤＴＴを求める。次に、基準画像Ｂ１と差分画像ＤＴＴからフレーム内加算画像ｆＴ’＝｛Ａ１～Ａ４｝を再生する。このフレーム内加算画像ｆＴ’は、水平又は垂直に重畳シフトされた加算画素値であり、その加算画素値に対して図１８（Ａ）等で後述する復元推定処理を適用することにより、元の撮影フレーム画像ｆＴを再生する。
　１１．データ圧縮手法の第２の変形例
　上記の変形例では、フレーム間差分をとってから平均画像Ｍと差分画像Ｄ１～Ｄ４を生成したが、平均画像Ｍと差分画像Ｄ１～Ｄ４を生成してからフレーム間差分をとってもよい。図１２、図１３を用いて、このような第２の変形例について説明する。
　図１２に示すように、まず、撮影フレーム画像ｆＴ（Ｔは自然数）の各フレーム内において、図３等で上述の重畳シフト４画素加算を行い、フレーム内加算画像ｆＴ’＝｛Ａ１～Ａ４｝を生成する。
　次に、フレーム内加算画像ｆＴ’＝｛Ａ１～Ａ４｝の平均画像Ｍ（Ｔ）を生成し、その平均画像Ｍ（Ｔ）とフレーム内加算画像｛Ａ１～Ａ４｝の差分をとり、フレーム内差分画像｛Ｄ１（Ｔ）～Ｄ４（Ｔ）｝を生成する。図１２では、フレーム内差分画像をＤｍ（Ｔ）（ｍは４以下（その値を含む）の自然数）で表す。
　次に、図１３に示すように、平均画像Ｍ（１）を基準画像とし、平均画像Ｍ（Ｔ）のフレーム間の差分画像ＤＭ（Ｔ）＝Ｍ（Ｔ＋１）－Ｍ（Ｔ）を生成する。また、フレーム内差分画像Ｄｍ（１）を基準画像とし、フレーム内差分画像Ｄｍ（Ｔ）のフレーム間の差分画像ＤＴｍ（Ｔ）＝Ｄｍ（Ｔ＋１）－Ｄｍ（Ｔ）を生成する。
　次に、平均画像の基準画像Ｍ（１）と差分画像ＤＭ（Ｔ）、及びフレーム内差分画像の基準画像Ｄｍ（１）と差分画像ＤＴｍ（Ｔ）に対して可逆圧縮処理を行い、記録データを生成する。
　記録データから撮影フレーム画像ｆＴを復元するときには、まず、圧縮された記録データに対して伸張処理を行い、基準画像Ｍ（１）、差分画像ＤＭ（Ｔ）、基準画像Ｄｍ（１）、差分画像ＤＴｍ（Ｔ）を再生する。次に、基準画像Ｍ（１）と差分画像ＤＭ（Ｔ）から平均画像Ｍ（Ｔ）を再生し、基準画像Ｄｍ（１）と差分画像ＤＴｍ（Ｔ）からフレーム内差分画像Ｄｍ（Ｔ）を再生する。次に、平均画像Ｍ（Ｔ）とフレーム内差分画像Ｄｍ（Ｔ）からフレーム内加算画像｛Ａ１～Ａ４｝を再生する。次に、フレーム内加算画像｛Ａ１～Ａ４｝に対して、図１８（Ａ）等で後述する復元推定処理を適用し、元の撮影フレーム画像ｆＴを復元する。
　１２．フレーム間加算画像に対する復元推定処理
　次に、図１等で上述したフレーム間加算画像ＢＴに基づいて、加算前の撮影フレーム画像ｆＴの画素値ｖｉｊ（Ｔ）を推定する手法について説明する。
　なお以下では、フレームｆ１～ｆ３の画素値｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝（ｉ，ｊは０以上（その値を含む）の整数）を復元する場合を例に説明するが、他のフレームの画素値についても同様である。また、２フレームの画素値を重み付け加算する場合を例に説明するが、これに限定されず、３以上（その値を含む）のフレームの画素値を重み付け加算してもよい。
　図１４に示す加算画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝は、図１で説明したフレーム間加算画像Ｂ１、Ｂ２の画素値｛ｖｉｊ（１）’，ｖｉｊ（２）’｝に対応する。推定処理では、この加算画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝を用いて、最終的な推定画素値ｖｉｊ（１）～ｖｉｊ（３）を推定する。
　説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝は下式（１６）で表される。
　ｂｉｊ（１）＝ｖｉｊ（１）＋（１／２）・ｖｉｊ（２）
　ｂｉｊ（２）＝ｖｉｊ（２）＋（１／２）・ｖｉｊ（３）　　（１６）
　図１５に示すように、上式（１６）において、｛ｂｉｊ（１）、ｂｉｊ（２）｝に所定の重み係数を掛けて差分δｉ０を取ると、下式（１７）が成り立つ。
　　δｉ０＝ｂｉｊ（２）－２ｂｉｊ（１）
　　　　　＝（１／２）ｖｉｊ（３）－２ｖｉｊ（１）　　（１７）
　なお、図１５～図１７では、簡単のため画素値のサフィックスｉｊを省略する。
　ｖｉｊ（１）を未知数（初期変数）とすると、下式（１８）に示すように、画素値｛ｖｉｊ（２），ｖｉｊ（３）｝をｖｉｊ（１）の関数として求めることができる。このようにして、ｖｉｊ（１）を未知数として、フレーム加算されていない画素値｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝の組合せパターンが求められる。
　　ｖｉｊ（１）＝（未知数），
　　ｖｉｊ（２）＝２（ｂｉｊ（１）－ｖｉｊ（１）），
　　ｖｉｊ（３）＝４ｖｉｊ（１）＋２δｉ０
　　　　　　　＝４ｖｉｊ（１）＋２（ｂｉｊ（２）－２ｂｉｊ（１））
（１８）
　次に、未知数ｖｉｊ（１）を求める手法について説明する。図１６に示すように、加算画素値のパターン｛ｂｉｊ（１）、ｂｉｊ（２）｝と推定画素値のパターン｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝を比較する。そして、その誤差Ｅが最小になる未知数ｖｉｊ（１）を導出し、推定画素値ｖｉｊ（１）として設定する。
　具体的には、加算画素値｛ｂｉｊ（Ｔ）｝と推定画素値｛ｖｉｊ（Ｔ），ｖｉｊ（Ｔ＋１）｝には、下式（１９）の関係が成り立つ。この下式（１９）による重み付けを考慮すると、下式（２０）に示す評価関数Ｅが求められる。そして、この評価関数Ｅにより、パターン｛ｂｉｊ（１）、ｂｉｊ（２）｝とパターン｛ｖｉｊ（１），ｖｉｊ（２），ｖｉｊ（３）｝の類似性評価を行う。
　　ｂｉｊ（Ｔ）＝ｖｉｊ（Ｔ）＋（１／２）ｖｉｊ（Ｔ＋１）　　（１９）
Figure JPOXMLDOC01-appb-M000002
　図１７に示すように、評価関数Ｅを最小にする未知数ｖｉｊ（１）（＝α）を求め、ｖｉｊ（１）の値を決定できる。そして、推定したｖｉｊ（１）の値を上式（１８）に代入し、｛ｖｉｊ（２），ｖｉｊ（３）｝が求められる。
　上記の実施形態によれば、上式（１７）に示すように、フレーム間推定演算部２３４は、第１のフレーム間加算画像の画素値ｂｉｊ（１）と第２のフレーム間加算画像の画素値ｂｉｊ（２）との差分値δｉ０を求める。上式（１８）に示すように、第１の撮像画像の画素値ｖｉｊ（１）と第３の撮像画像の画素値ｖｉｊ（３）との関係式を、差分値δｉ０を用いて表す。そして、その関係式を用いて第１～第３の撮像画像の画素値ｖｉｊ（１）～ｖｉｊ（３）を推定する。
　より具体的には、上式（１８）に示すように、フレーム間推定演算部２３４は、撮像画像の画素値ｖｉｊ（１）～ｖｉｊ（３）の間の関係式を、フレーム間加算画像の画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝を用いて表す。図１６で説明したように、その関係式で表された撮像画像の画素値ｖｉｊ（１）～ｖｉｊ（３）と、フレーム間加算画像の画素値｛ｂｉｊ（１）、ｂｉｊ（２）｝とを比較して類似性を評価する。図１７で説明したように、その類似性の評価結果に基づいて、類似性が最も高くなるように、撮像画像の画素値ｖｉｊ（１）～ｖｉｊ（３）を推定する。
　このようにすれば、撮像画像の画素値の関係式を、フレーム間において重畳加算された画素値を用いて表し、その関係式に基づいて撮像画像の画素値を復元できる。これにより、時間軸方向における復元推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
　１３．フレーム内加算画像に対する復元推定処理
　次に、図３等で上述したフレーム内加算画像Ａ１～Ａ４に基づいて、加算前の基準画像Ｂ１の画素値ｖｉｊ（１）’又はフレーム間差分画像ＤＴＴの画素値ｄｔｉｊ（Ｔ）を推定する手法について説明する。
　図１８（Ａ）、図１８（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１８（Ａ）に示す加算画素値｛ａ００、ａ１０、ａ１１、ａ０１｝は、図３で説明した加算画像Ａ１～Ａ４の加算画素値｛ａ（１） ００，ａ（２） １０，ａ（３） １１，ａ（４） ０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ００～ｖ２２を推定する。推定画素値ｖｉｊは、図３で説明した基準画像Ｂ１の画素値ｖｉｊ（１）’又はフレーム間差分画像ＤＴＴの画素値ｄｔｉｊ（Ｔ）に対応する。
　図１８（Ｂ）に示すように、まず加算画素値ａ００～ａ１１から中間画素値ｂ００～ｂ２１を推定する。中間画素値は２画素加算値に対応し、例えばｂ００は画素値ｖ００とｖ０１の加算値に対応する。これらの中間画素値ｂ００～ｂ２１から最終的な画素値ｖ００～ｖ２２を推定する。
　中間画素値ｂ００～ｂ２１は、上述の推定処理と同様に求めることができる。即ち、上式（１６）を下式（２１）に置き換えれば、以降の処理は同様である。
　　ａ００＝ｂ００＋（１／２）ｂ１０，
　　ａ１０＝ｂ１０＋（１／２）ｂ２０　　（２１）
　求めた中間画素値ｂ００～ｂ２１から推定画素値ｖ００～ｖ２２を推定する処理も、上述の推定処理と同様に行うことができる。即ち、上式（１６）を下式（２２）に置き換えれば、以降の処理は同様である。
　　ｂ００＝ｖ００＋（１／２）ｖ０１，
　　ｂ０１＝ｖ０１＋（１／２）ｖ０２　　（２２）
　上記の実施形態によれば、図１８（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ００）と、第１のポジションの次の第２のポジションに設定された加算単位（例えばａ１０）は重畳する。上式（１７）と同様にして、フレーム内推定演算部２３０は、第１、第２のポジションの加算画素値ａ００、ａ１０の差分値δｉ０を求める。図１８（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ１０、ｖ１１）を除いた第１の領域（ｖ００、ｖ０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ１０、ｖ１１）を除いた第２の領域（ｖ２０、ｖ２１）の加算画素値である。上式（１８）と同様にして、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。そして、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
　このようにすれば、フレーム内において重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
　ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１８（Ａ）に示すように、加算単位ａ００と加算単位ａ１０が、２つの推定画素ｖ１０、ｖ１１を共有することである。
　また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、次のポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。
　また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（１８）と同様にして、フレーム内推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ００、ａ１０を用いて表す。図１７で説明した手法と同様にして、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
　このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
　ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
　また本実施形態では、上式（２０）と同様にして、フレーム内推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と加算画素値（ａ００、ａ１０）との誤差を表す評価関数Ｅを求める。評価関数Ｅの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
　このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。
　また本実施形態では、上式（５）に示すように、加算単位の各画素値（例えば、ｖ００、ｖ１０、ｖ０１、ｖ１１）が重み付け加算された加算画素値（ａ００）を取得する。取得された加算単位の加算画素値（ａ００、ａ１０）に基づいて、加算単位の各画素の画素値（ｖ００、ｖ１０、ｖ０１、ｖ１１）を推定する。
　このようにすれば、加算単位の各画素値を重み付け加算してフレーム内加算画像を取得し、取得したフレーム内加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。
　なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、画像処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
１０　撮像部、２０　画像処理部、１００　被写体、１１０　レンズ、
１２０　撮像素子、１２２　フレーム間加算画像生成部、
１２４　フレーム間差分画像生成部、１３０　フレーム内加算画像生成部、
１４１　フレーム内差分画像生成部、１４２　平均画像生成部、
１４３　エントロピー符号化部、１４４　データ圧縮部、
１５０　圧縮データ記録部、１５５　データ記録部、２００　圧縮データ伸張部、
２１０　フレーム内加算画像再生部、２１４　フレーム間加算画像再生部、
２３０　フレーム内推定演算部、２３４　フレーム間推定演算部、
２４０　高精細静止画生成部、２５０　高精細動画生成部、
２６０　標準動画生成部、２９０　画像出力部、２９５　画像選択部、
Ａ１～Ａ４　フレーム内加算画像、Ｂ１～Ｂ３　フレーム間加算画像、
Ｄ１～Ｄ４　フレーム内差分画像、ＤＴ２，ＤＴ３　フレーム間差分画像、
Ｅ　評価関数、ａｉｊ　加算画素値、ｂｉｊ　中間画素値、ｄｔｉｊ　差分画素値、
ｆ１～ｆ３　撮影フレーム画像、ｍＡＶＲ　平均値、ｒ　重み付け係数、
ｖｉｊ　画素値、ｖｉｊ（１）　未知数、αＭ ｉｊ　平均値、δｉ０　差分値

Claims (10)

  1. 　第１～第３のフレームにおける第１～第３の撮像画像を取得する画像取得部と、
    　前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成するフレーム間加算画像生成部と、
    　前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成するフレーム間差分画像生成部と、
    　前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生するフレーム間加算画像再生部と、
    　前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１～第３の撮像画像の画素値を推定するフレーム間推定演算部と、
    　前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、
    　を含むことを特徴とする撮像装置。
  2. 　請求項１において、
    　前記フレーム間推定演算部は、
    　前記第１のフレーム間加算画像の画素値と、前記第２のフレーム間加算画像の画素値との差分値を求め、
    　前記第１の撮像画像の画素値と、前記第３の撮像画像の画素値との関係式を、前記差分値を用いて表し、
    　前記関係式を用いて前記第１～第３の撮像画像の画素値を推定することを特徴とする撮像装置。
  3. 　請求項２において、
    　前記フレーム間推定演算部は、
    　前記第１～第３の撮像画像の画素値間の関係式を、前記第１、第２のフレーム間加算画像の画素値を用いて表し、
    　前記関係式で表された前記第１～第３の撮像画像の画素値と、前記第１、第２のフレーム間加算画像の画素値とを比較して類似性を評価し、
    　前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記第１～第３の撮像画像の画素値を推定することを特徴とする撮像装置。
  4. 　請求項１乃至３のいずれかにおいて、
    　前記第１のフレーム間加算画像又は前記フレーム間差分画像を入力画像として受けて、加算画素値を取得する単位である加算単位を前記入力画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１～第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、
    　前記第１～第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、
    　前記第１～第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像（ｍはｎ以下（その値を含む）の自然数）と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、
    　前記平均画像と前記第ｍのフレーム内差分画像を圧縮するデータ圧縮部と、
    　圧縮された前記平均画像と前記第ｍのフレーム内差分画像を伸張する圧縮データ伸張部と、
    　伸張された前記平均画像と前記第ｍのフレーム内差分画像に基づいて、前記第１～第ｎのフレーム内加算画像を再生するフレーム内加算画像再生部と、
    　再生された前記第１～第ｎのフレーム内加算画像に基づいて、前記入力画像の画素値を推定するフレーム内推定演算部と、
    　を含むことを特徴とする撮像装置。
  5. 　請求項４において、
    　前記フレーム内加算画像生成部は、
    　前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１～第ｎのポジションに設定し、前記第１～第ｎのポジションにおいてそれぞれ前記第１～第ｎのフレーム内加算画像を取得し、
    　前記第１～第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
  6. 　請求項４において、
    　前記データ圧縮部は、
    　前記第１～第ｎのフレーム内差分画像をエントロピー符号化により可逆圧縮することを特徴とする撮像装置。
  7. 　請求項４において、
    　第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、
    　前記フレーム内推定演算部は、
    　前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、
    　前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
    　前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
  8. 　請求項７において、
    　前記フレーム内推定演算部は、
    　前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
    　前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
    　前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
  9. 　請求項１乃至３のいずれかにおいて、
    　前記第１～第３の撮像画像のうちの第ｘの撮像画像（ｘは３以下（その値を含む）の自然数）を受けて、加算画素値を取得する単位である加算単位を前記第ｘの撮像画像の複数の画素毎に設定し、前記加算単位を順次画素シフトさせながら前記加算単位に含まれる画素値を重み付け加算して第１～第ｎのフレーム内加算画像を生成するフレーム内加算画像生成部と、
    　前記第１～第ｎのフレーム内加算画像の平均画像を生成する平均画像生成部と、
    　前記第１～第ｎのフレーム内加算画像のうちの第ｍのフレーム内加算画像と、前記平均画像との差分を、第ｍのフレーム内差分画像として生成するフレーム内差分画像生成部と、
    　を含み、
    　前記フレーム間加算画像生成部は、
    　前記第ｍのフレーム内差分画像又は前記平均画像を、第１～第３の入力画像のうちの第ｘの入力画像として受けて、前記第１、第２の入力画像に基づく前記第１のフレーム間加算画像を生成し、前記第２、第３の入力画像に基づく前記第２のフレーム間加算画像を生成することを特徴とする撮像装置。
  10. 　第１～第３のフレームにおける第１～第３の撮像画像を取得し、
    　前記第１の撮像画像の画素値と前記第２の撮像画像の画素値を重み付け加算して第１のフレーム間加算画像を生成し、前記第２の撮像画像の画素値と前記第３の撮像画像の画素値を重み付け加算して第２のフレーム間加算画像を生成し、
    　前記第１のフレーム間加算画像と前記第２のフレーム間加算画像の差分を、フレーム間差分画像として生成し、
    　前記第１のフレーム間加算画像と前記フレーム間差分画像に基づいて、前記第２のフレーム間加算画像を再生し、
    　前記第１のフレーム間加算画像と、再生された前記第２のフレーム間加算画像とに基づいて、前記第１～第３の撮像画像の画素値を推定し、
    　前記フレーム間推定演算部により推定された画素値に基づく高解像画像を出力することを特徴とする画像生成方法。
PCT/JP2012/060659 2011-04-27 2012-04-20 撮像装置及び画像生成方法 WO2012147631A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-099267 2011-04-27
JP2011099267A JP2012231379A (ja) 2011-04-27 2011-04-27 撮像装置及び画像生成方法

Publications (1)

Publication Number Publication Date
WO2012147631A1 true WO2012147631A1 (ja) 2012-11-01

Family

ID=47072151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/060659 WO2012147631A1 (ja) 2011-04-27 2012-04-20 撮像装置及び画像生成方法

Country Status (2)

Country Link
JP (1) JP2012231379A (ja)
WO (1) WO2012147631A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6439883A (en) * 1987-08-05 1989-02-10 Toshiba Corp Electronic still camera
JP2010045608A (ja) * 2008-08-13 2010-02-25 Casio Comput Co Ltd 撮像装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6439883A (en) * 1987-08-05 1989-02-10 Toshiba Corp Electronic still camera
JP2010045608A (ja) * 2008-08-13 2010-02-25 Casio Comput Co Ltd 撮像装置及びプログラム

Also Published As

Publication number Publication date
JP2012231379A (ja) 2012-11-22

Similar Documents

Publication Publication Date Title
WO2012147523A1 (ja) 撮像装置及び画像生成方法
US9094648B2 (en) Tone mapping for low-light video frame enhancement
JP5220777B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US9307212B2 (en) Tone mapping for low-light video frame enhancement
US9210341B2 (en) Image processing device, imaging device, information storage medium, and image processing method
US20130071045A1 (en) Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program
WO2011148760A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US9338364B2 (en) Imaging device and image generation method
JP4555775B2 (ja) 撮像装置
CN111784578A (zh) 图像处理、模型训练方法及装置、设备、存储介质
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
JP4810807B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP4942563B2 (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP2011029809A (ja) 画像処理装置、画像処理方法および撮像装置
WO2012147631A1 (ja) 撮像装置及び画像生成方法
US20130155272A1 (en) Image processing device, imaging device, and image processing method
WO2012147630A1 (ja) 撮像装置及び画像生成方法
JP6152642B2 (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JP2012142676A (ja) 撮像装置及び画像生成方法
JP2017200199A (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JP7289642B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2013125999A (ja) 画像処理装置、撮像装置及び画像処理方法
JP4402657B2 (ja) 撮像装置
JP2012099870A (ja) 撮像装置及び撮像方法
JP2019036992A (ja) 圧縮装置、復号装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12775972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12775972

Country of ref document: EP

Kind code of ref document: A1