WO2010116731A1 - 撮像装置、再生装置、撮像方法及び再生方法 - Google Patents

撮像装置、再生装置、撮像方法及び再生方法 Download PDF

Info

Publication number
WO2010116731A1
WO2010116731A1 PCT/JP2010/002528 JP2010002528W WO2010116731A1 WO 2010116731 A1 WO2010116731 A1 WO 2010116731A1 JP 2010002528 W JP2010002528 W JP 2010002528W WO 2010116731 A1 WO2010116731 A1 WO 2010116731A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
short
exposure
exposure image
unit
Prior art date
Application number
PCT/JP2010/002528
Other languages
English (en)
French (fr)
Inventor
清水健二
渕上竜司
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011508243A priority Critical patent/JP5296193B2/ja
Priority to US13/263,376 priority patent/US8390698B2/en
Publication of WO2010116731A1 publication Critical patent/WO2010116731A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time

Definitions

  • the present invention relates to an imaging device that captures and encodes and records a video, and a playback device that plays back a recorded image, and in particular, to select and play back a moving image and a still image, images with different exposure amounts.
  • the present invention relates to an imaging device that performs the above-described shooting, and a playback device that plays back moving images and still images.
  • taking a still picture of a photo has a higher shutter speed than taking a video with a video camera.
  • motion blur such as subject blur and camera shake can be suppressed.
  • shooting with a high-speed shutter a clear still image with little motion blur can be obtained.
  • multiple still images are continuously played back as a moving image, it is unnatural like frame advance. It becomes a video.
  • a still image taken with a high-speed shutter that is, an image with a short exposure time
  • FIG. 1 is a block diagram showing a configuration of a conventional photographing and recording apparatus 10 described in Patent Document 1. As shown in FIG.
  • a high-speed camera 11 is a camera that shoots at a higher shutter speed than a normal camera.
  • “high speed” is a shutter speed at which a clear still image with little subject blur is obtained, and is a shutter speed at which an intermittent and unnatural movement appears when continuously reproduced as a moving image.
  • the memory 12 records images taken by the high speed camera 11.
  • the image stored in the memory 12 is passed to the MV calculation unit 13 and the motion blur addition unit 14.
  • the MV calculation unit 13 calculates a motion vector between the images read from the memory 12.
  • the calculated motion vector is input to the MV encoder 16.
  • the motion blur adding unit 14 reads the video recorded in the memory 12, calculates the motion blur from the motion vector obtained by the MV calculating unit 13, and adds the calculated motion blur to the read video.
  • the video with motion blur added is output to the video encoding unit 15.
  • the video encoding unit 15 encodes the image information to which the motion blur is added by the motion blur addition unit 14 as video information.
  • the encoded video information is output to the multiplexing unit 17.
  • the MV encoder 16 encodes the motion vector calculated by the MV calculation unit 13.
  • the multiplexing unit 17 multiplexes the encoded information.
  • the multiplexed information is recorded by the recording unit 18.
  • the imaging / recording apparatus 10 captures an image using a high-speed shutter, and encodes and records each frame image and the motion vector together with the detection of the motion vector (MV).
  • the photographing and recording apparatus 10 obtains a sharp still image with less motion blur by photographing using a high-speed shutter, and estimates a highly accurate motion vector therefrom.
  • the photographing / recording apparatus 10 records a video with motion blur added by the motion vector together with the original motion vector.
  • FIG. 2 is a block diagram showing a configuration of a conventional imaging device 20 described in Patent Document 2. As shown in FIG.
  • the analog output of the image sensor is amplified by the A / D converter 21 and converted to digital data.
  • the image data is sent from both the SE memory 22 and the LE memory 23 to the CPU 29, and the motion detection unit 30 detects the motion of the subject based on the two image data having different exposure amounts.
  • the exposure amount ratio between the short-time exposure image and the long-time exposure image is multiplied using the multiplier 24 to the short-time exposure image data read from the SE memory 22.
  • the combining circuit 25 forms a combined image with a wide dynamic range from the multiplied short exposure image data and the long exposure image data read from the LE memory 23.
  • the wide dynamic range composite image that has been combined and compressed by the compression circuit 26 is output via the selector 28 controlled by the CPU 29.
  • Patent Document 1 a series of images are continuously photographed at a high shutter speed with little blurring, and at that time, a motion vector is obtained based on the context, and the image and the motion vector are recorded together. is doing. Then, at the time of moving image reproduction, the smoothness of the image is added by reproducing while adding motion blur to the image based on the motion vector. Further, when reproducing a still image, the image is reproduced as it is to reproduce a still image with less motion blur.
  • Patent Document 2 when acquiring images with different long and short exposure times and combining them to obtain a wide dynamic range image, if two images with different long and short exposure times are prepared, It is possible to acquire a smooth movie and a still image in which the movement of the subject is corrected with a wide dynamic range.
  • the encoding efficiency at the time of encoding decreases.
  • the present invention solves the above-described conventional problems, and can improve the coding efficiency and can record or reproduce a wide dynamic range still image and a smooth moving image.
  • An object is to provide a playback device.
  • an imaging apparatus generates a short-time exposure image by performing imaging by exposure for a first exposure time, and second exposure that is longer than the first exposure time.
  • An imaging unit that generates a long-exposure image by performing imaging by time exposure a short-exposure image storage unit that stores a short-exposure image generated by the imaging unit, and the imaging unit
  • a long-exposure image storage unit for storing the long-exposure image and an image obtained by adding motion blur to the short-exposure image stored in the short-exposure image storage unit.
  • a difference image is calculated by calculating a difference between a motion blur adding unit that generates a predicted image, a long exposure image stored in the long exposure image storage unit, and a predicted image generated by the motion blur adding unit.
  • Raw It includes a subtracting unit for a short-time exposure image stored in the short-time exposure image storage unit, and an encoding unit encoding the difference image generated by the subtraction unit.
  • the short-time exposure image and the difference image are encoded, the encoding efficiency can be improved as compared with the case where the short-time exposure image and the long-time exposure image are encoded. Furthermore, since the difference image is generated using the short exposure image, the long exposure image can be restored using the short exposure image and the difference image on the decoding side as well. Therefore, when a moving image is reproduced, a smooth moving image can be reproduced by using a long-time exposure image. Furthermore, at the time of still image reproduction, a still image with a wide dynamic range can be reproduced using the short-time exposure image and the long-time exposure image.
  • the motion blur adding unit may generate the predicted image by weighting and adding a plurality of the short-time exposure images having different imaging times stored in the short-time exposure image storage unit.
  • motion blur is included in the generated image, so that a predicted image close to the long-time exposure image can be generated.
  • the motion blur adding unit determines a weighting factor based on a light amount ratio of incident light when the imaging unit captures the short-time exposure image and the long-time exposure image, respectively, and determines the determined weight
  • the plurality of short-time exposure images may be weighted and added using a coefficient, and the encoding unit may further encode the weight coefficient.
  • the predicted image can be made closer to the long-exposure image, that is, the difference between the generated predicted image and the long-exposure image generated by imaging can be reduced, and the encoding efficiency is further improved. be able to.
  • the motion blur adding unit may be a ratio between the first exposure time and the second exposure time corresponding to the light amount ratio, or an average luminance of a short-time exposure image generated by the imaging unit and the imaging unit.
  • the weighting factor may be determined based on a ratio to the average luminance of the long-exposure image generated by the above.
  • the imaging apparatus further includes a motion detection unit that detects a motion vector between the plurality of short-time exposure images having different imaging times stored in the short-time exposure image storage unit, and adds the motion blur
  • the unit may divide the motion vector, generate an interpolated image that interpolates between the plurality of short-exposure images using the divided motion vector, and generate the predicted image using the generated interpolated image .
  • an interpolated image for interpolating between a plurality of short-time exposure images with different imaging times is used, so that a predicted image closer to the long-time exposure image can be generated, and encoding efficiency can be improved. it can.
  • the encoding unit may further encode information indicating the number of divisions of the motion vector.
  • the motion blur adding unit may generate the predicted image by weighted addition of the interpolated image and the short exposure image stored in the short exposure image storage unit.
  • the motion blur adding unit determines a weighting factor based on the motion vector, and weights the interpolated image and the short-time exposure image stored in the short-time exposure image storage unit using the determined weighting factor.
  • the encoding unit may further encode the weighting factor.
  • the weighting factor can be adaptively determined on the encoding side, a motion vector that makes the difference smaller can be determined. Therefore, the encoding efficiency can be further improved.
  • the reproduction apparatus stores a decoding unit that generates a short-exposure image and a difference image by decoding encoded image data, and a short-exposure image generated by the decoding unit.
  • a short-exposure image storage unit, and a motion blur addition unit that generates a predicted image of a long-exposure image, which is an image obtained by adding motion blur to the short-exposure image stored in the short-exposure image storage unit.
  • the addition unit that generates the long-time exposure image by adding the predicted image generated by the motion blur addition unit and the difference image generated by the decoding unit, and the length generated by the addition unit
  • a long exposure image storage unit for storing a time exposure image, a short exposure image stored in the short exposure image storage unit, or a long exposure image stored in the long exposure image storage unit.
  • Out And an output unit which.
  • the output unit removes motion blur using the long exposure image stored in the long exposure image storage unit and the short exposure image stored in the short exposure image storage unit.
  • a motion blur removal unit that generates a motion blur removal image may be provided, and the output unit may output the generated motion blur removal image as the short-time exposure image.
  • the motion blur removal unit includes an image of an area where there is no motion among the long exposure images stored in the long exposure image storage unit, and a short exposure image stored in the short exposure image storage unit.
  • the motion blur-removed image may be generated by synthesizing with an image of a region with motion.
  • the present invention can be realized not only as an imaging device or a playback device, but also as a method using a processing unit constituting the imaging device or the playback device as a step. Moreover, you may implement
  • a communication network such as the Internet.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, ROM, RAM (Random Access Memory), and the like.
  • Computer system is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, ROM, RAM (Random Access Memory), and the like.
  • FIG. 1 is a block diagram showing a configuration of a conventional photographing and recording apparatus.
  • FIG. 2 is a block diagram showing a configuration of another conventional imaging apparatus.
  • FIG. 3 is a block diagram showing an example of the configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a flowchart showing an example of the operation of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram for explaining an example of motion blur addition processing by the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing an example of the configuration of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 7 is a flowchart showing an example of the operation of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 8 is a flowchart showing an example of motion blur addition processing of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a diagram for explaining an example of motion blur addition processing by the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 10 is a diagram for explaining an example of motion blur addition processing by the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 11 is a block diagram showing an example of the configuration of a playback apparatus according to Embodiment 3 of the present invention.
  • FIG. 12 is a flowchart showing an example of the operation of the playback apparatus in the third embodiment of the present invention.
  • Embodiment 1 The imaging apparatus according to Embodiment 1 of the present invention generates an image with a short exposure by performing imaging with short exposure and also generates an image with a long exposure by performing imaging with long exposure.
  • a motion blur adding unit that generates a predicted image of the long exposure image, a subtracting unit that generates a difference image that is a difference between the long exposure image and the predicted image, and a short exposure image and the difference image are encoded. And an encoding unit.
  • FIG. 3 is a block diagram showing an example of the configuration of the imaging apparatus 100 according to Embodiment 1 of the present invention.
  • the imaging apparatus 100 includes an imaging unit 110, a short exposure image storage unit 120, a long exposure image storage unit 130, a motion blur addition unit 140, a subtractor 150, and a switch 160. And an encoding unit 170.
  • the motion blur adding unit 140, the subtracter 150, the switch 160, and the encoding unit 170 are included in the LSI 101.
  • the imaging unit 110 generates a short-exposure image by performing imaging with exposure for the first exposure time, and performs long-time exposure by performing imaging with exposure with a second exposure time longer than the exposure with the first exposure time. Generate an image.
  • the exposure for the first exposure time is short-time exposure
  • the exposure for the second exposure time is long-time exposure.
  • the first exposure time is a time during which a clear still image with little motion blur can be taken, and is about 1/240 seconds as an example.
  • the second exposure time is a time during which an image capable of reproducing a smooth moving image when it is continuously reproduced, including motion blur, is about 1/60 seconds as an example. It is.
  • motion blur includes subject blur that occurs when the subject moves during exposure and camera shake that occurs when the imaging device moves during exposure.
  • the imaging unit 110 includes an imaging element 111, a synchronization signal generation unit 112, a shutter speed switching unit 113, and a switch 114.
  • the image sensor 111 is an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and generates a video signal by converting light from the subject into an electrical signal.
  • the image sensor 111 outputs the generated video signal to the short exposure image storage unit 120 and the long exposure image storage unit 130 via the switch 114.
  • the synchronization signal generation unit 112 outputs a vertical synchronization signal to the image sensor 111 and the shutter speed switching unit 113.
  • the shutter speed switching unit 113 sets the exposure time of the image to be shot by setting the shutter speed for the image sensor 111 based on the vertical synchronization signal generated by the synchronization signal generation unit 112. By setting a high shutter speed, a short-time exposure image is generated from the image sensor 111. By setting a low shutter speed, a long-time exposure image is generated from the image sensor 111.
  • the shutter speed switching unit 113 also controls switching of the switch 114 based on the vertical synchronization signal.
  • the shutter speed switching unit 113 switches the shutter speed for each frame, for example, based on the vertical synchronization signal. In this case, short-time exposure images and long-time exposure images are alternately output from the image sensor 111.
  • the shutter speed switching unit 113 controls switching of the switch 114 so that the short exposure image is stored in the short exposure image storage unit 120 and the long exposure image is stored in the long exposure image storage unit 130.
  • the switch 114 outputs the image output from the image sensor 111 to either the short exposure image storage unit 120 or the long exposure image storage unit 130 based on the control from the shutter speed switching unit 113.
  • the short exposure image storage unit 120 is a memory for storing the short exposure image generated by the imaging unit 110.
  • the short-exposure image storage unit 120 stores a short-exposure image signal captured at a high shutter speed output from the imaging unit 110.
  • the long exposure image storage unit 130 is a memory for storing the long exposure image generated by the imaging unit 110.
  • the long-exposure image storage unit 130 stores a long-exposure image signal captured at a low shutter speed output from the imaging unit 110.
  • the motion blur adding unit 140 adds a motion blur to the image stored in the short exposure image storage unit 120 to generate a predicted image of the long exposure image. That is, the predicted image of the long exposure image is an image in which motion blur is added to the short exposure image stored in the short exposure image storage unit 120 (motion blur additional image), and matches the long exposure image. It is an image generated as described above.
  • the motion blur adding unit 140 generates a predicted image by weighting and adding a plurality of short-time exposure images with different imaging times stored in the short-time exposure image storage unit 120. At this time, the motion blur adding unit 140 may adaptively determine a weighting factor used for weighted addition. Alternatively, the motion blur adding unit 140 may use a predetermined fixed weight coefficient.
  • the motion blur adding unit 140 determines the weighting factor based on the light quantity ratio of light incident on the image sensor 111 when the imaging unit 110 captures a short-time exposure image and a long-time exposure image, respectively.
  • the light quantity ratio is, for example, the ratio between the exposure time of short exposure and the exposure time of long exposure, or the average brightness of the short exposure image generated by the imaging unit 110 and the long exposure generated by the imaging unit 110. This corresponds to the ratio with the average luminance of the image.
  • the subtractor 150 generates a difference image by calculating a difference between the predicted image generated by the motion blur adding unit 140 and the long exposure image stored in the long exposure image storage unit 130.
  • the switch 160 selects the short-exposure image read from the short-exposure image storage unit 120 or the difference image generated by the subtractor 150 and outputs the selected image to the encoding unit 170. For example, the switch 160 outputs the short-time exposure image and the difference image to the encoding unit 170 alternately.
  • the encoding unit 170 encodes the short exposure image stored in the short exposure image storage unit 120 and the difference image generated by the subtractor 150. In addition, when the motion blur adding unit 140 determines a weighting factor, the encoding unit 170 encodes the weighting factor. Note that the encoding unit 170 does not adaptively change the motion blur addition process, for example, when weighting and adding a predetermined fixed number of short-time exposure images using a predetermined fixed weighting factor. For example, motion blur addition information that is information necessary for motion blur addition processing, such as a weight coefficient, may not be encoded.
  • the imaging apparatus 100 does not encode the short-time exposure image and the long-time exposure image as they are, but instead encodes the short-time exposure image and the long-time exposure image.
  • the difference between the image and the predicted image generated using the short-exposure image is encoded. Thereby, encoding efficiency can be improved.
  • FIG. 4 is a flowchart showing an example of the operation of the imaging apparatus 100 according to Embodiment 1 of the present invention.
  • the imaging unit 110 generates a short-time exposure image and a long-time exposure image by performing imaging by short-time exposure and imaging by long-time exposure (S110).
  • the shutter speed switching unit 113 alternately sets two different shutter speeds in the image sensor 111 (S111).
  • the first shutter speed is a high shutter speed with a short exposure time.
  • the second shutter speed is a slow shutter speed in which the exposure time is set longer than the first shutter speed.
  • the shutter speed switching unit 113 continues to output the shutter speed switching signal alternately to the image sensor 111 in synchronization with the pulse of the vertical synchronization signal so as to enable photographing in these two different shutter modes. At this time, the image sensor 111 captures an image in synchronization with the vertical synchronization signal output from the synchronization signal generation unit 112.
  • the switch 114 switches between the short exposure image storage unit 120 and the long exposure image storage unit 130 according to the shutter speed switching signal output from the shutter speed switching unit 113.
  • the short exposure image is stored in the short exposure image storage unit 120 (S122).
  • the switch 114 selects the short-exposure image storage unit 120 as an image output destination by a shutter speed switching signal.
  • the switch 114 selects the long-exposure image storage unit 130 as an image output destination by a shutter speed switching signal.
  • the imaging apparatus 100 sequentially stores the short exposure image and the long exposure image in the short exposure image storage unit 120 or the long exposure image storage unit 130, respectively (S120).
  • the motion blur adding unit 140 is a short-time exposure image stored in the short-time exposure image storage unit 120 when there is a motion in the subject in the captured image and when there is a camera shake at the time of shooting. Is used to add motion blur (S130).
  • a motion blur added image is generated by performing weighted addition of images multiplied by weighting factors using frames buffered in the short-time exposure image storage unit 120.
  • the generated motion blur additional image is a predicted image of the long exposure image.
  • the subtractor 150 generates a difference image by calculating a difference between the motion blur added image generated by the motion blur adding unit 140 and the corresponding long-time exposure image on the time axis (S140).
  • the encoding unit 170 encodes the short-time exposure image and the difference image that is the output of the subtractor 150 (S150). Switching between the short-time exposure image and the difference image is performed using the switch 160.
  • additional information about motion blur is also encoded.
  • the additional information on motion blur is, for example, the weighting coefficient used for weighted addition, the number of short-time exposure images used for weighted addition, and information for specifying the short-time exposure image used for weighted addition.
  • FIG. 5 is a diagram for explaining an example of motion blur addition processing by the imaging apparatus 100 according to Embodiment 1 of the present invention.
  • the shutter speed switching unit 113 sets the shutter speed in the image sensor 111 in synchronization with the vertical synchronization pulse signal 210 output from the synchronization signal generation unit 112.
  • the number of pulses of the vertical synchronization pulse signal 210 corresponds to the frame rate.
  • the shutter speed switching unit 113 sets the short exposure time 230 and the long exposure time 231 so that the short exposure image 240 and the long exposure image 250 are generated according to the vertical synchronization pulse signal 210. To do. As shown in FIG. 5, the short exposure image 240 and the long exposure image 250 are alternately output from the image sensor 111.
  • the exposure time 230 in the short exposure images 240 and 241 is shorter than the exposure time 231 when the long exposure images 250 and 251 are taken. Accordingly, the accumulated voltage 220 of the pixels of the short-time exposure images 241 and 241 is smaller than the accumulated voltage 221 of the pixels of the long-time exposure images 250 and 251. This is because the accumulated voltage has a positive correlation with the amount of light applied to the image sensor 111.
  • the irradiation amount at the time when the short exposure image 240 and the long exposure image 250 are taken is the same.
  • the motion blur addition unit 140 performs a motion blur addition process by weighted addition of a plurality of short-time exposure images, thereby predicting a long-exposure image, that is, a motion blur addition image. Is generated.
  • the motion blur additional image 270 is generated by weighted addition of the short-time exposure image 240 and the short-time exposure image 241 using the weighting factors 260 and 261.
  • the weighting coefficient to be multiplied with the short-time exposure image may be a predetermined fixed value. For example, as shown in FIG. 5, when short-exposure images and long-exposure images are generated alternately, the weighting factors 260 and 261 multiplied by the short-exposure images 240 and 241 are 0.5. But you can. As described above, when the weighting factor is a fixed value, the encoding unit 170 may not encode the motion blur additional information indicating the weighting factor.
  • the motion blur addition unit 140 performs weighting.
  • the coefficients 260 and 261 may be determined adaptively. For example, the weighting factor is determined based on the ratio of the accumulated voltage 220 of the short-time exposure image and the accumulated voltage 221 of the long-time exposure image or the ratio of the short-time exposure time 230 and the long-time exposure time 231. Is done.
  • the motion blur adding unit 140 determines the weighting coefficient so as to reduce the difference in the accumulated voltage of the pixel due to the difference in the exposure time, and uses the determined weighting coefficient to temporally analyze the long-time exposure image. Motion blurring such as subject blurring or camera shake is added by weighted addition of the front and back short exposure images. Thereby, the motion blur addition unit 140 generates the motion blur addition image 270 as a predicted image of the long exposure image.
  • the imaging apparatus 100 encodes the difference image between the motion blur additional image 270 and the long exposure image 250 generated as described above, thereby performing short exposure. Compared with the case where the image and the long-exposure image are encoded separately, the encoding efficiency can be improved. Further, since the short-time exposure image is encoded as it is, a clear still image without motion blur can be reproduced during still image reproduction. Furthermore, since a long-time exposure image can be generated from the difference image and the short-time exposure image, a smooth moving image can be reproduced during moving image reproduction.
  • the present invention is not limited to this.
  • two image pickup units may be prepared, and a high-speed shutter speed or a low-speed shutter speed may be fixedly assigned to each image pickup unit.
  • FIG. 5 shows an example in which two short-time exposure images 240 and 241 are weighted and added, three or more short-time exposure images may be weighted and added.
  • the short-exposure image and the long-exposure image were alternately photographed frame by frame, but the present invention is not limited to this.
  • a plurality of short-time exposure images may be taken within one frame.
  • a short exposure image of one frame may be taken for each long exposure image of a plurality of frames, or a long exposure image of one frame may be taken for each of the short exposure images of a plurality of frames.
  • An imaging apparatus includes a motion detection unit that detects a motion vector between a plurality of short-time exposure images having different imaging times, and the motion blur addition unit uses the detected motion vector.
  • An interpolation image is generated, and motion blur is added to the short-time exposure image using the generated interpolation image.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the imaging apparatus 300 according to Embodiment 2 of the present invention.
  • the imaging apparatus 300 differs from the imaging apparatus 100 shown in FIG. 3 according to the first embodiment in that it includes a motion blur adding unit 340 instead of the motion blur adding unit 140 and a new motion detecting unit 380. Yes.
  • the imaging apparatus 300 includes an LSI 301 instead of the LSI 101.
  • FIG. 6 the same components as those in FIG.
  • the motion detection unit 380 detects a motion vector between the previous and next frames using a plurality of short-time exposure images stored in the short-time exposure image storage unit 120. For example, the motion detection unit 380 detects a motion vector between frames of a plurality of short-time exposure images having different imaging times by a technique such as block matching.
  • the motion blur adding unit 340 uses the motion vector detected by the motion detection unit 380 to add a motion blur (afterimage) to the short-time exposure image so that the predicted image approaches the long-time exposure image.
  • a predicted image of the time exposure image that is, a motion blur additional image is generated.
  • the motion blur adding unit 340 divides the motion vector and generates one or more interpolated images using the divided motion vector. Then, the motion blur addition unit 340 generates a predicted image by weighting and adding the generated one or more interpolated images and the short-time exposure image. Note that the motion blur adding unit 340 may determine a weighting coefficient used for weighted addition based on the motion vector.
  • the encoding unit 170 encodes, for example, a motion vector division number, a weighting coefficient, and the like as motion blur additional information.
  • the encoding unit 170 may encode the motion vector itself. Thereby, since it is not necessary to perform motion detection on the decoding side, the processing amount on the decoding side can be reduced.
  • the LSI 301 includes a motion blur addition unit 340, a subtracter 150, a switch 160, an encoding unit 170, and a motion detection unit 380.
  • FIG. 7 is a flowchart showing an example of the operation of the imaging apparatus 300 according to Embodiment 2 of the present invention.
  • operations similar to those of the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the imaging unit 110 captures a short-exposure image and a long-exposure image (S110), and the short-exposure image is recorded in the short-exposure image storage unit 120 for a long time.
  • the exposure image is recorded in the long-time exposure image storage unit 130 (S120).
  • the motion detection unit 380 detects a motion vector from the context of the frames buffered in the short exposure image storage unit 120 (S231). For example, the motion vector is detected for each block.
  • the motion blur adding unit 340 equally divides the motion vector detected by the motion detecting unit 380, generates an interpolation frame (interpolated image) for temporal interpolation between a plurality of short-time exposure images, A motion blur additional image is generated by performing weighted addition of the interpolated image and the short-time exposure image (S232).
  • the subtractor 150 calculates a difference image that is a difference between the motion blur added image and the corresponding long exposure image (S140), and the encoding unit 170 calculates the short exposure image. And the difference image are encoded (S150). At this time, the encoding unit 170 may also encode motion blur additional information such as a motion vector, the number of motion vector divisions, and a weight coefficient.
  • FIG. 8 is a flowchart showing an example of the operation of the motion blur adding unit 340 according to Embodiment 2 of the present invention.
  • the motion blur addition unit 340 initializes the motion blur addition image (S310). Specifically, the motion blur addition unit 340 initializes the motion blur addition image with the pixel value of the short-time exposure image serving as a base (S311).
  • the initialization means that the pixel value A of the motion blur added image is set to the pixel value A0 of the short-time exposure image that is the target of motion blur addition.
  • the motion blur adding unit 340 sets the division number d of the motion vector MV (S312).
  • the division number d is a natural number of 2 or more.
  • the motion blur addition unit 340 sets a parameter k for counting the number of blocks to 1 when performing motion blur addition processing for each block (S313).
  • the motion blur addition unit 340 determines whether or not motion blur addition processing for the number of blocks in the frame has been performed (S320). That is, the motion blur adding unit 340 determines whether or not the parameter k indicating the number of processed blocks is equal to or larger than the number of blocks constituting one frame, that is, whether or not k ⁇ block is satisfied.
  • the motion blur addition unit 340 performs the motion vector of the short-time exposure image detected by the motion detection unit 380 for each block in the frame.
  • the MV is acquired (S330).
  • the motion blur adding unit 340 equally divides the acquired motion vector by the division number d (S340).
  • the division number d represents the number of interpolated images minus 1 between frames of the short-time exposure image.
  • the motion vectors MVa and MVb are each divided into three equal parts, and the number of interpolated images is two.
  • the motion blur adding unit 340 sets a parameter j for counting the number of motion vector divisions when the motion blur addition processing is performed for each number of divisions to 1 (S351). Then, the motion blur addition unit 340 determines whether or not motion blur addition processing for the number d of motion vector divisions has been performed (S352). That is, the motion blur adding unit 340 determines whether or not the parameter j indicating the processed number of divisions is equal to or greater than the number of motion vector divisions d, that is, whether j ⁇ d is satisfied.
  • the motion blur addition unit 340 sets the parameter i for counting the number of pixels to 1 when performing the motion blur addition process for each pixel. Setting is made (S353). Then, the motion blur adding unit 340 determines whether or not processing for the number of pixels pixel in the block has been performed (S354). That is, the motion blur adding unit 340 determines whether or not the parameter i indicating the number of processed pixels is equal to or greater than the number of pixels pixel included in the block, that is, whether i ⁇ pixel is satisfied.
  • the motion blur adding unit 340 adds pixel values (S355). Specifically, the motion blur adding unit 340 adds the pixel value A xy indicated by the divided motion vector MV to the pixel value A of the target pixel. At this time, the motion blur adding unit 340 increments the number of additions B. Then, in order to process the next pixel, the parameter i is incremented (S356). The above pixel addition processing is repeated until all the pixels included in the target block are executed.
  • the motion blur adding unit 340 sets the parameter j to perform processing using the next divided motion vector. Increment (S357). Then, the pixel addition process is repeated until the pixel addition is executed for the division number d.
  • the motion blur adding unit 340 increments the parameter k to perform processing for the next block (S358). Then, the pixel addition process is repeated until all the blocks included in the target image are executed.
  • the motion blur adding unit 340 performs cumulative addition of pixel values in units of pixels constituting the block by the number d of the divided motion vectors. At this time, the motion blur adding unit 340 records the cumulative addition number B in the pixel coordinates.
  • each of the motion vectors MVa and MVb is a pixel coordinate to which the pixel value is added after the division.
  • the motion blur addition unit 340 finalizes the pixel value A that has been cumulatively added by the cumulative addition count B.
  • the pixel value is output (S360).
  • the motion blur adding unit 340 performs normalization by dividing the pixel value A by the cumulative addition number B.
  • the motion blur adding unit 340 may set the block number block or the pixel number as a processing threshold value to the block number or pixel number to be processed.
  • FIG. 10 is a conceptual diagram for explaining an example of motion blur addition processing by the imaging apparatus 300 according to Embodiment 2 of the present invention.
  • the motion detection unit 380 detects a motion vector using the short-time exposure images 410 and 411 having different imaging times. Then, the motion blur adding unit 340 divides the detected motion vector, and generates interpolation images 421, 422, and 423 using the divided motion vector.
  • FIG. 10 shows an example in which the motion vector is divided into four.
  • the motion blur addition unit 340 generates the motion blur addition image 430 by weighted addition of the short-time exposure images 410 and 411 and the interpolation images 421, 422, and 423.
  • an interpolation image generated as a result of using the detected motion vector that is, an undivided motion vector (results in the short-exposure image). 411).
  • the imaging apparatus 300 includes the motion detection unit 380 that detects a motion vector between a plurality of short-time exposure images, and divides the detected motion vector.
  • An interpolation image is generated using a motion vector, and a short-exposure image and an interpolation image are weighted and added to generate a predicted image of a long-exposure image.
  • the imaging apparatus 300 according to the second embodiment of the present invention performs inter-frame interpolation as compared with the imaging apparatus 100 according to the first embodiment, and therefore generates a predicted image that is closer to the long-time exposure image. Encoding efficiency can be further improved.
  • the motion vector is detected by using the short-time exposure image which is a clear image with little blur originally, the edge can easily stand up, so that the motion vector can be detected with high accuracy. For this reason, motion blur such as subject blur or camera shake can be added with a fine granularity with high accuracy, and it can be expected to reduce the difference from the long-time exposure image.
  • the weighting coefficient when accumulating and adding pixel values is fixed, but the weighting coefficient may be changed according to the magnitude of the motion vector. .
  • the motion blur adding unit 340 weights and adds the interpolated image and the short-time exposure image. However, when a plurality of interpolated images are generated, the motion blur adding unit 340 performs weighted addition of the plurality of interpolated images, thereby A predicted image may be generated. For example, the ratio obtained by dividing the motion vector that is the generation source of the interpolation image may be treated as a weighting factor. Alternatively, the motion blur adding unit 340 may use the generated interpolation image as a predicted image of the long exposure image.
  • Embodiment 3 A reproduction apparatus according to Embodiment 3 of the present invention decodes encoded image data to generate a short-exposure image and a difference image, and a short-exposure for storing the short-exposure image
  • An image storage unit, a motion blur addition unit that generates a predicted image of a long-exposure image, which is an image obtained by adding motion blur to a short-exposure image, and a predicted image and a difference image are added for a long time.
  • an output unit that outputs a stored long-time exposure image.
  • FIG. 11 is a block diagram showing an example of the configuration of the playback apparatus 500 according to Embodiment 3 of the present invention.
  • the reproduction apparatus 500 includes a decoding unit 510, an adder 520, switches 530 and 540, a short exposure image storage unit 550, a long exposure image storage unit 560, and a motion blur addition unit. 570 and an output unit 580.
  • the decoding unit 510, the adder 520, the switches 530 and 540, and the motion blur adding unit 570 are included in the LSI 501.
  • the decoding unit 510 generates a short-exposure image and a difference image by decoding the encoded image data.
  • the decoding unit 510 decodes the encoded image data encoded by the imaging device 100 or 300 shown in the first and second embodiments. That is, the encoded image data includes a short-time exposure image captured by short-time exposure, and a differential image that is a difference between the long-time exposure image captured by long-time exposure and the predicted image of the long-time exposure image. This is image data generated by encoding.
  • the adder 520 adds the predicted image generated by the motion blur adding unit 570 and the difference image generated by the decoding unit 510 to generate a long exposure image. Specifically, when the difference image generated by the decoding unit 510 is input, the adder 520 turns on the switch 530 and adds it to the predicted image generated by the motion blur adding unit 570 for a long time. An exposure image is generated. The generated long exposure image is recorded in the long exposure image storage unit 560 via the switch 540.
  • the adder 520 turns off the switch 530 and directly (that is, after zero addition), the short-time exposure image via the switch 540. Record in the storage unit 550.
  • the switch 530 switches on and off so that the difference image and the prediction image are added by the adder 520 as described above.
  • the switch 540 When the short-time exposure image is output from the adder 520, the switch 540 causes the short-time exposure image storage unit 550 to record the short-time exposure image. In addition, when a long exposure image is output from the adder 520, the switch 540 records the long exposure image in the long exposure image storage unit 560.
  • the short exposure image storage unit 550 is a memory for storing the short exposure image generated by the decoding unit 510.
  • the long exposure image storage unit 560 is a memory for storing the long exposure image generated by the adder 520.
  • the motion blur addition unit 570 uses the short-time exposure image stored in the short-time exposure image storage unit 550 to add motion blur to the short-time exposure image, thereby adding a motion blur addition image, that is, a long-time exposure. Generate a predicted image of the image. The generated motion blur added image is added to the difference image generated by the adder 520 via the switch 530.
  • the output unit 580 selects and outputs the short exposure image stored in the short exposure image storage unit 550 or the long exposure image stored in the long exposure image storage unit 560. As shown in FIG. 11, the output unit 580 includes a motion blur removal unit 581, a switch 582, and a display unit 583.
  • the motion blur removal unit 581 removes motion blur using the short-time exposure image stored in the short-time exposure image storage unit 550 and the long-time exposure image stored in the long-time exposure image storage unit 560. Thus, a motion deblurred image is generated. Specifically, the motion blur removal unit 581 generates a still image that is clear in a wide dynamic range as a motion blur removal image by combining the short-time exposure image and the long-time exposure image. For example, the motion blur removal unit 581 generates a clear still image with a wide dynamic range by synthesizing a short-time exposure image of a region with motion and a long-time exposure image of a region without motion.
  • the motion blur removal unit 581 may add a predetermined offset to the luminance value of the region with motion. Alternatively, the motion blur removal unit 581 may combine the short-time exposure image and the long-time exposure image using a weighting coefficient determined so that the average luminance is the same. Moreover, you may perform both.
  • the switch 582 When the short-time exposure image is displayed, the switch 582 outputs the motion blur removal image output from the motion blur removal unit 581 to the display unit 583 as a short-time exposure image.
  • the switch 582 outputs the long exposure image output from the long exposure image storage unit 560 to the display unit 583 when displaying the long exposure image.
  • the switch 582 selects either a short exposure image or a long exposure image based on an instruction from the user.
  • the display unit 583 displays the short exposure image or the long exposure image selected by the switch 582.
  • the playback apparatus 500 when playing back a moving image, only the long-time exposure image is output from the long-time exposure image storage unit 560 to the display unit 583 as a smooth moving image by the switch 582.
  • the motion blur removal unit 581 acquires images with different exposure times, from the short-time exposure image storage unit 550 and the long-time exposure image storage unit 560. Then, by synthesizing the acquired short-time exposure image and long-time exposure image, it is possible to realize a wide dynamic range and correction of subject motion, and output a clear still image.
  • FIG. 12 is a flowchart showing an example of the operation of the playback apparatus 500 according to Embodiment 3 of the present invention.
  • the decoding unit 510 generates a short-time exposure image and a difference image by decoding the encoded image data (S410). Then, the decoding unit 510 stores the generated short exposure image in the short exposure image storage unit 550 via the adder 520 and the switch 540 (S420).
  • the motion blur addition unit 570 generates a motion blur addition image, that is, a predicted image of the long exposure image, using the plurality of short exposure images stored in the short exposure image storage unit 550 (S430). ). Then, the adder 520 generates a long exposure image by adding the predicted image and the difference image (S440). The adder 520 stores the generated long exposure image in the long exposure image storage unit 560 via the switch 540 (S450).
  • the output unit 580 for example, based on an instruction from the user, the short exposure image stored in the short exposure image storage unit 550 or the long exposure stored in the long exposure image storage unit 560 The image is reproduced (S460).
  • a short-exposure image and a long-time image are generated from encoded image data generated by encoding a short-exposure image and a difference image.
  • the exposure image can be restored. Therefore, it is possible to reproduce a smooth moving image and a clear still image with a wide dynamic range.
  • the imaging device, the playback device, the imaging method, and the playback method according to the present invention have been described based on the embodiments.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation
  • the motion blur adding unit 140 or 340 performs prediction of long exposure images by performing weighted addition of a plurality of short exposure images or weighted addition of short exposure images and interpolation images.
  • any method may be used as long as the method generates an image close to a long-time exposure image.
  • the motion blur adding unit 140 may generate a predicted image of the long exposure image by adding a predetermined offset value to each pixel value of one short exposure image.
  • the offset value may be a predetermined fixed value, or may be a value determined based on a ratio between the average luminance value of the long exposure image and the average luminance value of the short exposure image. Note that, when the offset value is not a fixed value, the encoding unit 170 encodes information indicating the offset value.
  • the short-exposure image storage unit 120 and the long-exposure image storage unit 130 may be two physically different memories, or physically a memory in which one memory is logically divided.
  • the present invention can be realized not only as an imaging device, a playback device, an imaging method, and a playback method, but also as a program for causing a computer to execute the imaging method and the playback method of the present embodiment. Also good. Further, it may be realized as a computer-readable recording medium such as a CD-ROM for recording the program. Furthermore, it may be realized as information, data, or a signal indicating the program. These programs, information, data, and signals may be distributed via a communication network such as the Internet.
  • the components constituting the imaging device and the playback device may be configured from a single system LSI.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip.
  • the system LSI is a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • the LSI 101 as an example of the integrated circuit according to the present invention includes a motion blur adding unit 140, a subtracter 150, a switch 160, and an encoding unit 170, as shown in FIG.
  • the LSI 301 may include a motion blur adding unit 340, a subtracter 150, a switch 160, an encoding unit 170, and a motion detection unit 380.
  • the LSI 501 which is an example of the integrated circuit according to the present invention includes a decoding unit 510, an adder 520, switches 530 and 540, and a motion blur adding unit 570, as shown in FIG.
  • the LSI 501 may further include a motion blur removal unit 581.
  • the present invention has an effect that a wide dynamic range still image and a smooth moving image can be recorded or reproduced without reducing encoding efficiency.
  • a digital camera, a digital still camera, a digital television, It can be used for digital recorders.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

 符号化効率を向上させることができるとともに、広ダイナミックレンジの静止画と滑らかな動画像とを記録することができる撮像装置を提供する。 本発明に係る撮像装置(100)は、第1露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、第1露光時間より長い第2露光時間の露光による撮像を行うことで長時間露光画像を生成する撮像部(110)と、短時間露光画像を記憶するための短時間露光画像記憶部(120)と、長時間露光画像を記憶するための長時間露光画像記憶部(130)と、短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加部(140)と、長時間露光画像と予測画像との差分を算出することで、差分画像を生成する減算器(150)と、短時間露光画像と差分画像とを符号化する符号化部(170)とを備える。

Description

撮像装置、再生装置、撮像方法及び再生方法
 本発明は、映像を撮影及び符号化して記録する撮像装置、及び、記録された画像を再生する再生装置に関し、特に、動画と静止画とを選択して再生するために、露光量の異なる画像の撮影を行う撮像装置、及び、動画と静止画とを再生する再生装置に関する。
 近年、ビデオカメラで撮影した動画の再生時において、任意の時点での静止画を動画中から取得し再生するという場面に対応する技術が開発されている。例えば、ゴルフのスイングなどの動画を再生中に、ユーザなどの指示に従って所定の時刻の静止画を再生する場合などがある。
 通常、動画の撮影時は、低速なシャッタースピードで撮像素子への露光時間を長くすることで連続した画像に動きブレを持たせるように撮影が行われる。この露光時間を長くすることで得られる動きブレにより、動画として滑らかな映像の撮影が可能となる。しかしながら、低速シャッターで撮影されている場合は、動きの滑らかな動画を撮影はできるが、その動画中から静止画を抜き出した場合、動きブレの少ないくっきりとした静止画を得ることができない。
 逆に、写真の静止画撮影は、ビデオカメラの動画撮影に比べてシャッタースピードが高速である。高速にシャッターを切り、露光時間を短くすることで、被写体ブレ及び手ブレなどの動きブレを抑えられる。しかしながら、高速シャッターで撮影されている場合は、動きブレの少ないくっきりとした静止画を得ることができるが、複数の静止画を動画として連続して再生するときには、コマ送りのような不自然な動画となる。
 したがって、動画と静止画との同時撮影を実現しようとした場合、動画の滑らかさを優先させれば、動きブレのある静止画しか得られず、静止画の画質を優先させれば動画の滑らかさが失われる。
 また、高速シャッターで撮影した静止画、すなわち、露光時間の短い画像は、全体としてダイナミックレンジの小さい暗い画像になる。そこで、露光時間の短い画像を明るくしようとゲインを上げた場合、SN比が小さくノイズが目立つ画像となる。
 従来の動画と静止画との同時撮影を行う撮影記録装置としては、一連の画像を動きブレの少ない高速シャッターで連続して撮影を行い、その際、前後のフレーム関係に基づいて動きベクトルを求め、一緒に記録を行う。これにより、動画再生時には、この動きベクトルに基づいて画像に動きブレを追加しながら再生することで、動画の滑らかさを追加して、静止画再生時には、そのまま再生する事で動きブレの少ない静止画再生を行う技術が開示されている(例えば、特許文献1参照)。図1は、特許文献1に記載された従来の撮影記録装置10の構成を示すブロック図である。
 図1において、高速度カメラ11は、通常のカメラよりも高速のシャッター速度で撮影するカメラである。ここでいう「高速」とは、被写体ブレの少ない鮮明な静止画が得られるシャッタースピードであって、そのまま動画として連続再生すると間欠的で不自然な動きに見えてしまうようなシャッタースピードである。
 メモリ12は、高速度カメラ11で撮影された画像を記録する。メモリ12に記憶された画像は、MV算出部13と動きブレ追加部14とに渡される。MV算出部13は、メモリ12から読み出した画像の間の動きベクトル(Motion Vector)を算出する。算出された動きベクトルは、MV符号化器16に入力される。
 動きブレ追加部14は、メモリ12に記録された映像を読み出し、また、MV算出部13で求められた動きベクトルから動きブレを算出し、算出した動きブレを読み出した映像に追加する。動きブレが追加された映像は、映像符号化部15に出力される。
 映像符号化部15は、動きブレ追加部14によって動きブレが追加された画像情報を映像情報として符号化する。符号化された映像情報は、多重化部17に出力される。MV符号化器16は、MV算出部13で算出された動きベクトルを符号化する。
 多重化部17は、符号化された情報を多重化する。多重化された情報は、記録部18によって記録される。
 以上の構成により、撮影記録装置10は、高速シャッターを用いて撮影し、動きベクトル(MV)の検出と共に各フレーム画像と動きベクトルとを符号化して記録する。そして、撮影記録装置10は、高速シャッターを用いて撮影することにより動きブレの少ない鮮鋭な静止画を得て、そこから高精度な動きベクトルを推定する。撮影記録装置10は、その動きベクトルによって動きブレを追加した映像を、その元となる動きベクトルとともに記録していた。
 また、高速シャッターで撮影した画像の様に、露光量の少ない画像に対して、長短の露光時間が異なる画像を得ることで、これらを合成し広ダイナミックレンジ画像を得る手段と、合成時に被写体の動きによる補正する技術がある(例えば、特許文献2参照)。図2は、特許文献2に記載された従来の撮像装置20の構成を示すブロック図である。
 図2において、撮像素子のアナログ出力は、A/D変換器21で増幅されデジタルデータに変換される。この時、CCD撮像素子で撮影された同一被写体の短時間露光画像データと長時間露光データとをそれぞれ、短時間露光画像データを記憶するSEメモリ22と、長時間露光画像データ記憶するLEメモリ23とに一旦記憶させる。
 次いで、両方のSEメモリ22及びLEメモリ23よりCPU29へ画像データを送り込み、露光量の異なる2つの画像データに基づいて動き検出部30で被写体の動きを検出する。
 動き検出部30で動きが検出されないときは、短時間露光画像と長時間露光画像との露光量比をSEメモリ22より読み出された短時間露光画像データに乗算器24を用いて乗算を行う。合成回路25は、乗算された短時間露光画像データとLEメモリ23より読み出された長時間露光画像データとから、広ダイナミックレンジの合成画像を形成する。合成処理され圧縮回路26で圧縮処理された広ダイナミックレンジ合成画像がCPU29により制御されるセレクタ28を介して出力される。
 動きが検出された場合は、LEメモリ23から読み出され信号処理回路27でγ補正、エッジ強調等の信号処理された長時間露光画像データが、セレクタ28を介して出力される。
 これにより、異なる露光量での2枚の画像の撮影時に広ダイナミックレンジ画像を取得し、被写体が動いた場合には、被写体の動きによる補正を行っている。
国際公開第2007/063819号 特開2000-50151号公報
 しかしながら、上記従来技術では、以下に示すような課題がある。
 まず、特許文献1の構成では、一連の画像をブレの少ない高速のシャッター速度で連続して撮影を行い、その際、前後関係に基づいて動きベクトルを求め、画像と動きベクトルとを一緒に記録している。そして、動画再生時に、その動きベクトルに基づいて画像に動きブレを追加しながら再生することで画像の滑らかさを追加している。また、静止画再生時には、そのまま再生することで動きブレの少ない静止画の再生を行う。
 しかしながら、シャッタースピードの短い画像のみでは、全体としてダイナミックレンジの小さい画像になってしまう。さらに、シャッタースピードが短く露光量の少ない画像を明るくしようとゲインをあげた場合、SN比が小さくノイズが目立つ画像となる。そのため、露光時間の短い画像を元に、ブレを追加した動画と静止画とを同時に取得してもダイナミックレンジが小さいか、ノイズがのった画像となってしまうという課題を有している。
 また、特許文献2の構成のように、長短の露光時間が異なる画像を取得し、これらを合成し広ダイナミックレンジ画像を得る場合、長短の露光時間が異なる画像を2本用意しておけば、滑らかな動画と広ダイナミックレンジで被写体の動きを補正した静止画とを取得することができる。しかしながら、2本の露光時間の異なる画像の符号化を行い記憶させる場合、符号化時の符号化効率が低下するという課題を有している。
 そこで、本発明は、上記従来の課題を解決するもので、符号化効率を向上させることができるとともに、広ダイナミックレンジの静止画と滑らかな動画像とを記録又は再生することができる撮像装置及び再生装置を提供することを目的とする。
 上記従来の課題を解決するために、本発明に係る撮像装置は、第1露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、前記第1露光時間より長い第2露光時間の露光による撮像を行うことで長時間露光画像を生成する撮像部と、前記撮像部によって生成された短時間露光画像を記憶するための短時間露光画像記憶部と、前記撮像部によって生成された長時間露光画像を記憶するための長時間露光画像記憶部と、前記短時間露光画像記憶部に記憶された短時間露光画像に動きブレが追加された画像である、前記長時間露光画像の予測画像を生成する動きブレ追加部と、前記長時間露光画像記憶部に記憶された長時間露光画像と、前記動きブレ追加部によって生成された予測画像との差分を算出することで、差分画像を生成する減算部と、前記短時間露光画像記憶部に記憶された短時間露光画像と、前記減算部によって生成された差分画像とを符号化する符号化部とを備える。
 これにより、短時間露光画像と差分画像とを符号化するので、短時間露光画像と長時間露光画像とを符号化する場合に比べて、符号化効率を高めることができる。さらに、短時間露光画像を用いて差分画像を生成するので、復号側でも同様に、短時間露光画像と差分画像とを用いて長時間露光画像を復元することができる。したがって、動画再生時には、長時間露光画像を用いることで、滑らかな動画像を再生することができる。さらに、静止画再生時には、短時間露光画像と長時間露光画像とを用いて、広ダイナミックレンジの静止画を再生することができる。
 また、前記動きブレ追加部は、前記短時間露光画像記憶部に記憶された、撮像時刻が互いに異なる複数の前記短時間露光画像を重み付け加算することで、前記予測画像を生成してもよい。
 これにより、撮像時刻が異なる複数の短時間露光画像の重み付け加算を行うことで、生成される画像には動きブレが含まれるので、長時間露光画像に近い予測画像を生成することができる。
 また、前記動きブレ追加部は、前記撮像部が前記短時間露光画像と前記長時間露光画像とをそれぞれ撮像するときに入射される光の光量比に基づいて重み係数を決定し、決定した重み係数を用いて前記複数の短時間露光画像を重み付け加算し、前記符号化部は、さらに、前記重み係数を符号化してもよい。
 これにより、予測画像をさらに長時間露光画像に近づけることができる、すなわち、生成した予測画像と、撮像により生成した長時間露光画像との差分を小さくすることができ、符号化効率をさらに向上させることができる。
 また、前記動きブレ追加部は、前記光量比に相当する前記第1露光時間と前記第2露光時間との比、又は、前記撮像部によって生成された短時間露光画像の平均輝度と前記撮像部によって生成された長時間露光画像の平均輝度との比に基づいて、前記重み係数を決定してもよい。
 これにより、光量比を容易に決定することができる。
 また、前記撮像装置は、さらに、前記短時間露光画像記憶部に記憶された、撮像時刻が互いに異なる複数の前記短時間露光画像間の動きベクトルを検出する動き検出部を備え、前記動きブレ追加部は、前記動きベクトルを分割し、分割した動きベクトルを用いて前記複数の短時間露光画像間を補間する補間画像を生成し、生成した補間画像を用いて前記予測画像を生成してもよい。
 これにより、撮像時刻が異なる複数の短時間露光画像の間を補間するための補間画像を利用するので、長時間露光画像により近い予測画像を生成することができ、符号化効率を向上させることができる。
 また、前記符号化部は、さらに、前記動きベクトルの分割数を示す情報を符号化してもよい。
 これにより、動きベクトルの分割数を符号化側で適応的に決定することができるので、差分がより小さくなるような動きベクトルを決定することができる。したがって、符号化効率をさらに向上させることができる。
 また、前記動きブレ追加部は、前記補間画像と前記短時間露光画像記憶部に記憶された短時間露光画像とを重み付け加算することで、前記予測画像を生成してもよい。
 これにより、より細かい時間間隔で画像の重み付け加算を行うことができるので、長時間露光画像により近い予測画像を生成することができ、符号化効率を向上させることができる。
 また、前記動きブレ追加部は、前記動きベクトルに基づいて重み係数を決定し、決定した重み係数を用いて前記補間画像と前記短時間露光画像記憶部に記憶された短時間露光画像とを重み付け加算し、前記符号化部は、さらに、前記重み係数を符号化してもよい。
 これにより、重み係数を符号化側で適応的に決定することができるので、差分がより小さくなるような動きベクトルを決定することができる。したがって、符号化効率をさらに向上させることができる。
 また、本発明に係る再生装置は、符号化画像データを復号することで、短時間露光画像と差分画像とを生成する復号部と、前記復号部によって生成された短時間露光画像を記憶するための短時間露光画像記憶部と、前記短時間露光画像記憶部に記憶された短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加部と、前記動きブレ追加部によって生成された予測画像と、前記復号部によって生成された差分画像とを加算することで、前記長時間露光画像を生成する加算部と、前記加算部によって生成された長時間露光画像を記憶するための長時間露光画像記憶部と、前記短時間露光画像記憶部に記憶された短時間露光画像、又は、前記長時間露光画像記憶部に記憶された長時間露光画像を出力する出力部とを備える。
 これにより、符号化効率を向上させるために、短時間露光画像と差分画像とが符号化されて生成された符号化画像データから、短時間露光画像と長時間露光画像とを復元することができる。したがって、滑らかな動画像と、広ダイナミックレンジでくっきりとした静止画とを再生することができる。
 また、前記出力部は、前記長時間露光画像記憶部に記憶された長時間露光画像と、前記短時間露光画像記憶部に記憶された短時間露光画像とを用いて、動きブレを除去することで、動きブレ除去画像を生成する動きブレ除去部を備え、前記出力部は、生成した動きブレ除去画像を前記短時間露光画像として出力してもよい。
 これにより、短時間露光画像と長時間露光画像とを用いることで、広ダイナミックレンジでくっきりした静止画を再生することができる。
 また、前記動きブレ除去部は、前記長時間露光画像記憶部に記憶された長時間露光画像のうち、動きがない領域の画像と、前記短時間露光画像記憶部に記憶された短時間露光画像のうち、動きがある領域の画像とを合成することで、前記動きブレ除去画像を生成してもよい。
 これにより、長時間露光画像に含まれる動きブレを除去することができるので、広ダイナミックレンジでくっきりした静止画を再生することができる。
 なお、本発明は、撮像装置又は再生装置として実現できるだけではなく、当該撮影装置又は再生装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なCD-ROM(Compact Disc-Read Only Memory)などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
 また、上記の各撮像装置又は再生装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されていてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM及びRAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。
 本発明によれば、符号化効率を向上させることができるとともに、広ダイナミックレンジの静止画と滑らかな動画像とを記録又は再生することが可能となる。
図1は、従来の撮影記録装置の構成を示すブロック図である。 図2は、従来の別の撮像装置の構成を示すブロック図である。 図3は、本発明の実施の形態1における撮像装置の構成の一例を示すブロック図である。 図4は、本発明の実施の形態1における撮像装置の動作の一例を示すフローチャートである。 図5は、本発明の実施の形態1における撮像装置による動きブレの追加処理の一例を説明するための図である。 図6は、本発明の実施の形態2における撮像装置の構成の一例を示すブロック図である。 図7は、本発明の実施の形態2における撮像装置の動作の一例を示すフローチャートである。 図8は、本発明の実施の形態2おける撮像装置の動きブレの追加処理の一例を示すフローチャートである。 図9は、本発明の実施の形態2における撮像装置による動きブレの追加処理の一例を説明するための図である。 図10は、本発明の実施の形態2における撮像装置による動きブレの追加処理の一例を説明するための図である。 図11は、本発明の実施の形態3における再生装置の構成の一例を示すブロック図である。 図12は、本発明の実施の形態3における再生装置の動作の一例を示すフローチャートである。
 以下、本発明の実施の形態について、図面を参照しながら説明する。
 (実施の形態1)
 本発明の実施の形態1に係る撮像装置は、短時間露光による撮像を行うことで短時間露光画像を生成し、かつ、長時間露光による撮像を行うことで長時間露光画像を生成する撮像部と、短時間露光画像を記憶するための短時間露光画像記憶部と、長時間露光画像を記憶するための長時間露光画像記憶部と、短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加部と、長時間露光画像と予測画像との差分である差分画像を生成する減算部と、短時間露光画像と差分画像とを符号化する符号化部とを備えることを特徴とする。
 図3は、本発明の実施の形態1における撮像装置100の構成の一例を示すブロック図である。図3に示すように、撮像装置100は、撮像部110と、短時間露光画像記憶部120と、長時間露光画像記憶部130と、動きブレ追加部140と、減算器150と、スイッチ160と、符号化部170とを備える。なお、動きブレ追加部140と、減算器150と、スイッチ160と、符号化部170とは、LSI101に含まれる。
 撮像部110は、第1露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、第1露光時間の露光より長い第2露光時間の露光による撮像を行うことで長時間露光画像を生成する。第1露光時間の露光は、短時間露光であり、第2露光時間の露光は、長時間露光である。
 例えば、第1露光時間は、動きブレの少ないくっきりとした静止画を撮影することができる時間であり、一例としては、1/240秒程度である。また、第2露光時間は、動きブレを含み、連続して再生した場合には滑らかな動画を再生することができる画像を撮影することができる時間であり、一例としては、1/60秒程度である。
 なお、動きブレは、露光中に被写体が動いた場合に発生する被写体ブレと、露光中に撮像装置が動いた場合に発生する手ブレとを含む。
 図3に示すように、撮像部110は、撮像素子111と、同期信号生成部112と、シャッタースピード切替部113と、スイッチ114とを備える。
 撮像素子111は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子であり、被写体からの光を電気信号に変換することで、映像信号を生成する。撮像素子111は、生成した映像信号を、スイッチ114を介して、短時間露光画像記憶部120と、長時間露光画像記憶部130とへ出力する。
 同期信号生成部112は、垂直同期信号を、撮像素子111とシャッタースピード切替部113とへ出力する。
 シャッタースピード切替部113は、同期信号生成部112によって生成された垂直同期信号に基づいて、撮像素子111に対してシャッタースピードの設定を行うことで、撮影される画像の露光時間の設定を行う。高速のシャッタースピードを設定することで、撮像素子111からは短時間露光画像が生成される。低速のシャッタースピードを設定することで、撮像素子111からは長時間露光画像が生成される。また、シャッタースピード切替部113は、垂直同期信号に基づいて、スイッチ114の切り替えも制御する。
 具体的には、シャッタースピード切替部113は、垂直同期信号に基づいて、例えば、1フレーム毎にシャッタースピードを切り替える。この場合、撮像素子111から、短時間露光画像と長時間露光画像とが交互に出力される。そして、シャッタースピード切替部113は、短時間露光画像が短時間露光画像記憶部120へ、長時間露光画像が長時間露光画像記憶部130へ記憶されるように、スイッチ114の切り替えを制御する。
 スイッチ114は、シャッタースピード切替部113からの制御に基づいて、撮像素子111から出力される画像を、短時間露光画像記憶部120と長時間露光画像記憶部130とのいずれかへ出力する。
 短時間露光画像記憶部120は、撮像部110によって生成された短時間露光画像を記憶するためのメモリである。短時間露光画像記憶部120には、撮像部110より出力される高速シャッタースピードで撮影された短時間露光の画像信号が記憶される。
 長時間露光画像記憶部130は、撮像部110によって生成された長時間露光画像を記憶するためのメモリである。長時間露光画像記憶部130には、撮像部110より出力される低速シャッタースピードで撮影された長時間露光の画像信号が記憶される。
 動きブレ追加部140は、短時間露光画像記憶部120に記憶されている画像に、動きブレの追加を行うことで、長時間露光画像の予測画像を生成する。つまり、長時間露光画像の予測画像は、短時間露光画像記憶部120に記憶された短時間露光画像に動きブレが追加された画像(動きブレ追加画像)であり、長時間露光画像に一致するように生成された画像である。
 具体的には、動きブレ追加部140は、短時間露光画像記憶部120に記憶された、撮像時刻が互いに異なる複数の短時間露光画像を重み付け加算することで、予測画像を生成する。このとき、動きブレ追加部140は、重み付け加算に用いる重み係数を適応的に決定してもよい。あるいは、動きブレ追加部140は、予め定められた固定の重み係数を用いてもよい。
 例えば、動きブレ追加部140は、撮像部110が短時間露光画像と長時間露光画像とをそれぞれ撮像するときに撮像素子111に入射される光の光量比に基づいて、重み係数を決定する。光量比は、例えば、短時間露光の露光時間と長時間露光の露光時間との比、又は、撮像部110によって生成された短時間露光画像の平均輝度と撮像部110によって生成された長時間露光画像の平均輝度との比などに相当する。
 減算器150は、動きブレ追加部140によって生成される予測画像と、長時間露光画像記憶部130に記憶された長時間露光画像との差分を算出することで、差分画像を生成する。
 スイッチ160は、短時間露光画像記憶部120から読み出された短時間露光画像、又は、減算器150によって生成された差分画像を選択して符号化部170へ出力する。例えば、スイッチ160は、短時間露光画像と差分画像とを交互に符号化部170へ出力する。
 符号化部170は、短時間露光画像記憶部120に記憶された短時間露光画像と、減算器150によって生成された差分画像とを符号化する。また、符号化部170は、動きブレ追加部140によって重み係数を決定した場合、当該重み係数を符号化する。なお、符号化部170は、動きブレ追加処理を適応的に変更しない場合、例えば、予め定められた固定枚数の短時間露光画像を、予め定められた固定の重み係数を用いて重み付け加算する場合などは、重み係数などの動きブレ追加処理に必要な情報である動きブレ追加情報を符号化しなくてもよい。
 以上の構成に示すように、本発明の実施の形態1に係る撮像装置100は、短時間露光画像と長時間露光画像とをそのまま符号化するのではなく、短時間露光画像、及び、長時間画像と短時間露光画像を用いて生成した予測画像との差分を符号化する。これにより、符号化効率を向上させることができる。
 続いて、本発明の実施の形態1に係る撮像装置100の動作の一例について説明する。
 図4は、本発明の実施の形態1に係る撮像装置100の動作の一例を示すフローチャートである。
 まず、撮像部110は、短時間露光による撮像と、長時間露光による撮像とを行うことで、短時間露光画像及び長時間露光画像を生成する(S110)。
 具体的には、シャッタースピード切替部113は、2つの異なるシャッタースピードを交互に、撮像素子111に設定する(S111)。第1のシャッタースピードは、露光時間が短く設定された高速なシャッタースピードである。第2のシャッタースピードは、第1のシャッタースピードに比べ、露光時間が長く設定された低速なシャッタースピードである。
 これら2つの異なるシャッターモードでの撮影を可能とするように、シャッタースピード切替部113は、垂直同期信号のパルスに同期して交互にシャッタースピード切替信号を撮像素子111へ出力し続ける。この時、撮像素子111は、同期信号生成部112から出力される垂直同期信号に同期して映像を撮影する。
 このように、シャッタースピード切替部113と撮像素子111との同期がとれた後、撮影を開始する(S112)。
 撮影が開始されると、撮影された画像が短時間露光画像であるか長時間露光画像であるかが判定される(S121)。具体的には、シャッタースピード切替部113が、高速シャッタースピード(短時間露光)及び低速シャッタースピード(長時間露光)のいずれを撮像素子111に設定したかによって判定される。したがって、シャッタースピード切替部113が出力するシャッタースピード切替信号によって、スイッチ114は、短時間露光画像記憶部120と長時間露光画像記憶部130とを切り替える。
 撮像素子111より出力される画像が短時間露光画像である場合(S121でYes)、短時間露光画像は、短時間露光画像記憶部120に記憶される(S122)。このとき、スイッチ114は、シャッタースピード切替信号によって、画像の出力先として短時間露光画像記憶部120を選択する。
 また、撮像素子111より出力される画像が長時間露光画像である場合(S121でNo)、長時間露光画像は、長時間露光画像記憶部130に記憶される(S123)。このとき、スイッチ114は、シャッタースピード切替信号によって、画像の出力先として長時間露光画像記憶部130を選択する。
 以上のようにして、撮像装置100は、順次、短時間露光画像と長時間露光画像とをそれぞれ、短時間露光画像記憶部120又は長時間露光画像記憶部130に格納する(S120)。
 動きブレ追加部140は、撮影した画像中の被写体に動きがある場合、及び、撮影時の手ブレ等がある場合のために、短時間露光画像記憶部120に記憶されている短時間露光画像を用いて、動きブレの追加を行う(S130)。動きブレの追加方法としては、短時間露光画像記憶部120にバッファリングされているフレームを用いて、重み係数をかけあわせた画像の重み付け加算を行うことで、動きブレ追加画像を生成する。生成された動きブレ追加画像は、長時間露光画像の予測画像である。
 減算器150は、動きブレ追加部140によって生成された動きブレ追加画像と、時間軸上で対応する長時間露光画像との差分を算出することで、差分画像を生成する(S140)。
 符号化部170は、短時間露光画像と、減算器150の出力である差分画像との符号化を実行する(S150)。短時間露光画像及び差分画像の切り替えは、スイッチ160を用いて行う。なお、差分画像を符号化する際は、動きブレの追加情報も一緒に符号化される。動きブレの追加情報は、例えば、重み付け加算に用いた重み係数、重み付け加算に用いた短時間露光画像の枚数、及び、重み付け加算に用いた短時間露光画像を特定する情報などである。
 撮影が終了でなければ(S160でNo)、次の画像の判定(S121)に戻り、上記の処理(S121~S160)を繰り返す。
 続いて、本発明の実施の形態1に係る動きブレ追加部140の動作(S130)を、図5を用いて詳細に説明する。なお、図5は、本発明の実施の形態1における撮像装置100による動きブレの追加処理の一例を説明するための図である。
 図5に示すように、同期信号生成部112から出力される垂直同期パルス信号210に同期して、シャッタースピード切替部113は、撮像素子111にシャッタースピードの設定を行う。垂直同期パルス信号210のパルス数は、フレームレートに相当する。
 シャッタースピード切替部113は、垂直同期パルス信号210に応じて、短時間露光画像240と長時間露光画像250とが生成されるように、短時間の露光時間230及び長時間の露光時間231を設定する。図5に示すように、短時間露光画像240と長時間露光画像250とは、撮像素子111から交互に出力される。
 このとき、短時間露光画像240及び241における露光時間230は、長時間露光画像250及び251を撮影したときの露光時間231に比べて短い。したがって、短時間露光画像241及び241の画素の蓄積電圧220は、長時間露光画像250及び251の画素の蓄積電圧221に比べて小さい。なぜなら、蓄積電圧は、撮像素子111に照射される光の量と正の相関関係を有するためである。なお、ここでは、短時間露光画像240と長時間露光画像250とを撮影した時点における照射量は同じものとみなす。
 本発明の実施の形態1に係る動きブレ追加部140は、動きブレの追加処理として、複数の短時間露光画像を重み付け加算することで、長時間露光画像の予測画像、すなわち、動きブレ追加画像を生成する。例えば、図5に示す例では、重み係数260及び261を用いて、短時間露光画像240と短時間露光画像241とを重み付け加算することで、動きブレ追加画像270を生成する。
 短時間露光画像に乗ずる重み係数は、予め定められた固定値でもよい。例えば、図5に示すように、短時間露光画像と長時間露光画像とが交互に生成される場合には、短時間露光画像240及び241のそれぞれに乗ずる重み係数260及び261は、0.5でもよい。このように、重み係数が固定値の場合は、符号化部170は、重み係数を示す動きブレ追加情報を符号化しなくてよい。
 なお、蓄積電圧が異なっているため、短時間露光画像240の平均輝度値と長時間露光画像250の平均輝度値とは異なっている。そのため、短時間露光画像240及び241が重み付け加算された動きブレ追加画像270を長時間露光画像250に近づけて長時間露光画像250との差分を小さくするために、動きブレ追加部140は、重み係数260及び261を適応的に決定してもよい。例えば、重み係数は、短時間露光画像の蓄積電圧220と、長時間露光画像の蓄積電圧221との比、又は、短時間の露光時間230と長時間の露光時間231との比に基づいて決定される。
 このように、動きブレ追加部140は、露光時間の差による画素の蓄積電圧の差分を小さくするように、重み係数を決定し、決定した重み係数を用いて、時間的に長時間露光画像の前後の短時間露光画像を重み付け加算することで、被写体のブレ、又は、手ブレ等の動きブレの追加を行う。これにより、動きブレ追加部140は、長時間露光画像の予測画像として、動きブレ追加画像270を生成する。
 以上のように、本発明の実施の形態1に係る撮像装置100は、以上のように生成した動きブレ追加画像270と長時間露光画像250との差分画像を符号化することで、短時間露光画像と長時間露光画像とを別々に符号化した場合に比べて、符号化効率を向上することができる。また、短時間露光画像はそのまま符号化されるので、静止画再生時には、動きブレのないくっきりとした静止画を再生することができる。さらに、差分画像と短時間露光画像とから長時間露光画像を生成することができるので、動画再生時には、滑らかな動画像を再生することができる。
 なお、本実施の形態において、交互に短時間露光画像と長時間露光画像を取得する1系統の撮像素子111を設けたがこれに限らない。例えば、2系統の撮像部を用意し、それぞれの撮像部に対して高速又は低速のシャッタースピードを固定で割り当ててもよい。
 また、図5には、2枚の短時間露光画像240及び241を重み付け加算する例について示したが、3枚以上の短時間露光画像を重み付け加算してもよい。
 また、短時間露光画像と長時間露光画像とを1フレームずつ交互に撮影したが、これには限られない。例えば、1フレーム内に複数枚の短時間露光画像を撮影してもよい。あるいは、複数フレームの長時間露光画像毎に1フレームの短時間露光画像を撮影、あるいは、複数フレームの短時間露光画像毎に1フレームの長時間露光画像を撮影してもよい。
 (実施の形態2)
 本発明の実施の形態2に係る撮像装置は、撮像時刻が互いに異なる複数の短時間露光画像間の動きベクトルを検出する動き検出部を備え、動きブレ追加部が、検出された動きベクトルを用いて補間画像を生成し、生成した補間画像を用いて短時間露光画像に動きブレの追加を行うことを特徴とする。
 図6は、本発明の実施の形態2における撮像装置300の構成の一例を示すブロック図である。撮像装置300は、実施の形態1に係る図3に示す撮像装置100と比べて、動きブレ追加部140の代わりに動きブレ追加部340を備え、新たに動き検出部380を備える点が異なっている。また、撮像装置300は、LSI101の代わりに、LSI301を備える。図6において、図3と同じ構成要素については同じ符号を用い、説明を省略する。
 動き検出部380は、短時間露光画像記憶部120に記憶された複数の短時間露光画像を用いて、前後のフレーム間における動きベクトルを検出する。例えば、動き検出部380は、ブロックマッチングなどの手法により、撮像時刻が互いに異なる複数の短時間露光画像のフレーム間の動きベクトルを検出する。
 動きブレ追加部340は、動き検出部380によって検出された動きベクトルを用いて、予測画像が長時間露光画像に近づくように、短時間露光画像に動きブレ(残像)を付加することで、長時間露光画像の予測画像、すなわち、動きブレ追加画像を生成する。具体的には、動きブレ追加部340は、動きベクトルを分割し、分割した動きベクトルを用いて1枚以上の補間画像を生成する。そして、動きブレ追加部340は、生成した1枚以上の補間画像と、短時間露光画像とを重み付け加算することで、予測画像を生成する。なお、動きブレ追加部340は、重み付け加算に用いる重み係数を動きベクトルに基づいて決定してもよい。
 なお、符号化部170は、動きブレ追加情報として、例えば、動きベクトルの分割数、及び、重み係数などを符号化する。また、符号化部170は、動きベクトルそのものを符号化してもよい。これにより、復号側で動き検出を行わなくて済むので、復号側での処理量を削減することができる。
 LSI301は、動きブレ追加部340と、減算器150と、スイッチ160と、符号化部170と、動き検出部380とを備える。
 次に、本発明の実施の形態2に係る撮像装置300の動作の一例について説明する。
 図7は、本発明の実施の形態2における撮像装置300の動作の一例を示すフローチャートである。なお、以下では、実施の形態1と同様の動作については同じ符号を付し、説明を省略する。
 実施の形態1と同様にして、撮像部110は、短時間露光画像と長時間露光画像とを撮影し(S110)、短時間露光画像は、短時間露光画像記憶部120に記録され、長時間露光画像は、長時間露光画像記憶部130に記録される(S120)。
 動き検出部380は、短時間露光画像記憶部120内にバッファリングされているフレームの前後関係から動きベクトルの検出を行う(S231)。例えば、動きベクトルの検出は、ブロック毎に行われる。
 動きブレ追加部340は、動き検出部380において検出した動きベクトルを等分割し、複数の短時間露光画像の間を時間的に補間するための補間フレーム(補間画像)の生成を行い、生成した補間画像と短時間露光画像との重み付け加算を行うことで、動きブレ追加画像を生成する(S232)。
 以下、実施の形態1と同様に、減算器150は、動きブレ追加画像と対応する長時間露光画像との差分である差分画像を算出し(S140)、符号化部170は、短時間露光画像と差分画像とを符号化する(S150)。このとき、符号化部170は、動きベクトル、動きベクトルの分割数、及び、重み係数などの動きブレ追加情報も一緒に符号化してもよい。
 続いて、本発明の実施の形態2における動きブレ追加部340の動作(S232)を、図8~図10を用いて詳細に説明する。
 図8は、本発明の実施の形態2における動きブレ追加部340の動作の一例を示すフローチャートである。
 まず、動きブレ追加部340は、動きブレ追加画像を初期化する(S310)。具体的には、動きブレ追加部340は、動きブレ追加画像を、ベースとなる短時間露光画像の画素の値で初期化する(S311)。ここで、初期化とは、動きブレ追加画像の画素値Aを、これから動きブレの追加を行う対象となる短時間露光画像の画素値A0にすることである。ブレの追加回数は1回(B=1)とする。
 また、動きブレ追加部340は、動きベクトルMVの分割数dの設定を行う(S312)。分割数dは、2以上の自然数である。さらに、動きブレ追加部340は、動きブレ追加処理をブロック毎に行う際の、ブロック数をカウントするためのパラメータkを1に設定する(S313)。
 次に、動きブレ追加部340は、フレーム内のブロック数block分の動きブレ追加処理を行ったか否かを判定する(S320)。つまり、動きブレ追加部340は、処理したブロック数を示すパラメータkが、1フレームを構成するブロック数block以上となるか否か、すなわち、k≧blockを満たすか否かを判定する。
 ブロック数分の動きブレ追加処理が終わっていない場合(S320でNo)、動きブレ追加部340は、フレーム内の各ブロックに対して、動き検出部380によって検出された短時間露光画像の動きベクトルMVを取得する(S330)。
 次に、動きブレ追加部340は、取得した動きベクトルを分割数dで等分割する(S340)。このとき、分割数dは、短時間露光画像のフレーム間における、補間画像の枚数-1を表す。例として、図9において、動きベクトルMVaとMVbとは、各々3等分して処理を行っており、補間画像の枚数は2枚である。
 次に、動きブレ追加部340は、動きブレ追加処理を分割数毎に行う際の、動きベクトルの分割数をカウントするためのパラメータjを1に設定する(S351)。そして、動きブレ追加部340は、動きベクトルの分割数d分の動きブレ追加処理を行ったか否かを判定する(S352)。つまり、動きブレ追加部340は、処理した分割数を示すパラメータjが、動きベクトルの分割数d以上となるか否か、すなわち、j≧dを満たすか否かを判定する。
 分割数分の動きブレ追加処理が終わっていない場合(S352でNo)、動きブレ追加部340は、動きブレ追加処理をピクセル毎に行う際の、ピクセル数をカウントするためのパラメータiを1に設定する(S353)。そして、動きブレ追加部340は、ブロック内のピクセル数pixel分の処理を行ったか否かを判定する(S354)。つまり、動きブレ追加部340は、処理したピクセル数を示すパラメータiが、ブロックに含まれるピクセル数pixel以上となるか否か、すなわち、i≧pixelを満たすか否かを判定する。
 ピクセル数分の処理が終わっていない場合(S354でNo)、動きブレ追加部340は、画素値の加算を行う(S355)。具体的には、動きブレ追加部340は、対象となる画素の画素値Aに、分割した動きベクトルMVが示す画素値Axyを加算する。また、このとき、動きブレ追加部340は、加算を行った回数Bをインクリメントする。そして、次の画素を処理するために、パラメータiをインクリメントする(S356)。以上の画素の加算処理が、対象ブロックに含まれる全てのピクセルについて実行されるまで繰り返される。
 対象ブロックに含まれる全てのピクセルについて、画素の加算処理が終了した場合(S354でYes)、動きブレ追加部340は、次の分割された動きベクトルを用いた処理を行うために、パラメータjをインクリメントする(S357)。そして、画素の加算処理が、分割数dだけ画素の加算が実行されるまで繰り返される。
 分割数分の加算処理が終了した場合(S352でYes)、動きブレ追加部340は、次のブロックの処理を行うために、パラメータkをインクリメントする(S358)。そして、画素の加算処理が、対象画像に含まれる全てのブロックについて実行されるまで繰り返される。
 以上のように、動きブレ追加部340は、分割された動きベクトルの分割数dだけ、ブロックを構成するピクセル単位で、画素値の累積加算を行う。このとき、動きブレ追加部340は、ピクセル座標における累積加算回数Bを記録する。例として、図9において、画素pixelAのポイントでは、動きベクトルMVaとMVb各々が分割後共に画素値を加算するピクセル座標である。
 最終的に、フレーム内の全ブロックに対して動きブレ追加処理が終了すると(S320でYes)、動きブレ追加部340は、累積加算した画素値Aを累積加算回数Bで正規化することで最終画素値を出力する(S360)。ここでは、動きブレ追加部340は、画素値Aを累積加算回数Bで割ることで、正規化を行う。
 なお、以上の処理は、全ての画素又はブロックで実行しなくてもよい。例えば、動きが検出された画素又はブロックのみで実行してもよい。このとき、動きブレ追加部340は、処理の閾値となるブロック数block、又は、ピクセル数pixelなどを、処理対象となるブロック数又はピクセル数に設定すればよい。
 以下では、上述したような、本発明の実施の形態2における撮像装置300による動きブレ追加処理を、図10を用いて概念的に説明する。なお、図10は、本発明の実施の形態2における撮像装置300による動きブレ追加処理の一例を説明するための概念図である。
 動き検出部380は、撮像時刻が互いに異なる短時間露光画像410及び411を用いて、動きベクトルを検出する。そして、動きブレ追加部340は、検出された動きベクトルを分割し、分割した動きベクトルを用いて補間画像421、422及び423を生成する。図10には、動きベクトルが4分割された例を示す。
 そして、動きブレ追加部340は、短時間露光画像410及び411と、補間画像421、422及び423とを重み付け加算することで、動きブレ追加画像430を生成する。なお、図8に示すフローチャートでは、短時間露光画像411の代わりに、検出された動きベクトル(すなわち、分割されていない動きベクトル)を用いて生成した補間画像(結果的には、短時間露光画像411に相当する)を用いている。
 以上のように、本発明の実施の形態2に係る撮像装置300は、複数の短時間露光画像間の動きベクトルを検出する動き検出部380を備え、検出された動きベクトルを分割し、分割した動きベクトルを用いて補間画像を生成し、短時間露光画像と補間画像とを重み付け加算することで、長時間露光画像の予測画像を生成する。これにより、本発明の実施の形態2に係る撮像装置300は、実施の形態1に係る撮像装置100に比べ、フレーム間の補間を行うため、より長時間露光画像に近い予測画像を生成することができ、符号化効率をさらに向上させることができる。
 さらに、元々ブレの少ないくっきりとした画像である短時間露光画像を用いて動きベクトルを検出しているので、エッジも立ちやすいため、高精度に動きベクトルの検出を行うことができる。このため、被写体のブレ、又は、手ブレなどの動きブレを細かい粒度で高精度に追加することができ、より長時間露光画像との差分を削減することが期待できる。
 最終的に、この差分を符号化することで、短時間露光画像と長時間露光画像とを別々に符号化した場合に比べ、符号化効率を向上することができる。
 なお、本実施の形態において、画素単位で補間を行う際、画素値を累積加算する際の重み係数は一定で扱っているが、動きベクトルの大きさによって重み係数を変更するようにしてもよい。
 また、動きブレ追加部340は、補間画像と短時間露光画像とを重み付け加算したが、複数の補間画像を生成した場合は、複数の補間画像の重み付け加算を行うことで、長時間露光画像の予測画像を生成してもよい。例えば、補間画像の生成元である動きベクトルを分割した比率をそれぞれ重み係数として扱ってもよい。あるいは、動きブレ追加部340は、長時間露光画像の予測画像として、生成した補間画像を用いてもよい。
 (実施の形態3)
 本発明の実施の形態3に係る再生装置は、符号化画像データを復号することで、短時間露光画像と差分画像とを生成する復号部と、短時間露光画像を記憶するための短時間露光画像記憶部と、短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加部と、予測画像と差分画像とを加算することで、長時間露光画像を生成する加算部と、長時間露光画像を記憶するための長時間露光画像記憶部と、短時間露光画像記憶部に記憶される短時間露光画像、又は、長時間露光画像記憶部に記憶される長時間露光画像を出力する出力部とを備えることを特徴とする。以上の構成により、滑らかな動画の再生と、くっきりした静止画の再生とを実現することができる。
 図11は、本発明の実施の形態3に係る再生装置500の構成の一例を示すブロック図である。図11に示すように、再生装置500は、復号部510と、加算器520と、スイッチ530及び540と、短時間露光画像記憶部550と、長時間露光画像記憶部560と、動きブレ追加部570と、出力部580とを備える。また、復号部510と、加算器520と、スイッチ530及び540と、動きブレ追加部570とは、LSI501に含まれる。
 復号部510は、符号化画像データを復号することで、短時間露光画像と差分画像とを生成する。例えば、復号部510は、実施の形態1及び実施の形態2に示した撮像装置100又は300によって符号化された符号化画像データを復号する。つまり、符号化画像データは、短時間露光で撮像された短時間露光画像、及び、長時間露光で撮像された長時間露光画像と当該長時間露光画像の予測画像との差分である差分画像が符号化されて生成された画像データである。
 加算器520は、動きブレ追加部570によって生成された予測画像と、復号部510によって生成された差分画像とを加算することで、長時間露光画像を生成する。具体的には、加算器520は、復号部510によって生成された差分画像が入力された場合、スイッチ530をオンにし、動きブレ追加部570によって生成される予測画像と加算することで、長時間露光画像を生成する。生成された長時間露光画像は、スイッチ540を介して、長時間露光画像記憶部560に記録される。
 また、加算器520は、復号部510によって生成された短時間露光画像が入力された場合、スイッチ530をオフにし、そのまま(すなわち、ゼロ加算後)、スイッチ540を経由して、短時間露光画像記憶部550に記録する。
 スイッチ530は、上述のように、差分画像と予測画像とが加算器520によって加算されるように、オンオフを切り替える。
 スイッチ540は、加算器520から短時間露光画像が出力された場合は、当該短時間露光画像を短時間露光画像記憶部550に記録させる。また、スイッチ540は、加算器520から長時間露光画像が出力された場合は、当該長時間露光画像を長時間露光画像記憶部560に記録させる。
 短時間露光画像記憶部550は、復号部510によって生成された短時間露光画像を記憶するためのメモリである。長時間露光画像記憶部560は、加算器520によって生成された長時間露光画像を記憶するためのメモリである。
 動きブレ追加部570は、短時間露光画像記憶部550に保持された短時間露光画像を用いて、当該短時間露光画像に動きブレを追加することで、動きブレ追加画像、すなわち、長時間露光画像の予測画像を生成する。生成した動きブレ追加画像は、スイッチ530を介して、加算器520によって生成された差分画像と加算される。
 具体的な動きブレ追加部570の処理は、実施の形態1又は2と同じであるため、説明を省略する。
 出力部580は、短時間露光画像記憶部550に記憶された短時間露光画像、又は、長時間露光画像記憶部560に記憶された長時間露光画像を選択して出力する。図11に示すように、出力部580は、動きブレ除去部581と、スイッチ582と、表示部583とを備える。
 動きブレ除去部581は、短時間露光画像記憶部550に記憶された短時間露光画像と、長時間露光画像記憶部560に記憶された長時間露光画像とを用いて、動きブレを除去することで、動きブレ除去画像を生成する。具体的には、動きブレ除去部581は、短時間露光画像と長時間露光画像とを合成することで、広ダイナミックレンジでくっきりした静止画を、動きブレ除去画像として生成する。例えば、動きブレ除去部581は、動きのある領域の短時間露光画像と、動きのない領域の長時間露光画像とを合成することで、広ダイナミックレンジでくっきりした静止画を生成する。
 このとき、短時間露光画像(動きのある領域)と長時間露光画像(動きのない領域)とでは、それぞれの領域内の平均輝度が異なっているので、平均輝度が同じになるように、例えば、動きブレ除去部581は、動きのある領域の輝度値に所定のオフセットを加算してもよい。あるいは、動きブレ除去部581は、平均輝度が同じになるように決定した重み係数を利用して、短時間露光画像と長時間露光画像とを合成してもよい。また、その両方を行ってもよい。
 スイッチ582は、短時間露光画像を表示する際は、動きブレ除去部581から出力される動きブレ除去画像を短時間露光画像として表示部583へ出力する。また、スイッチ582は、長時間露光画像を表示する際は、長時間露光画像記憶部560から出力される長時間露光画像を表示部583へ出力する。
 なお、短時間露光画像及び長時間露光画像のいずれを表示部583に表示させるかは、例えば、ユーザからの指示によって決定される。つまり、スイッチ582は、ユーザからの指示に基づいて、短時間露光画像及び長時間露光画像のいずれかを選択する。
 表示部583は、スイッチ582によって選択された短時間露光画像又は長時間露光画像を表示する。
 以上の構成により、本発明に係る再生装置500では、動画再生時は、滑らか動画として、スイッチ582により長時間露光画像記憶部560から長時間露光画像のみを表示部583へ出力する。
 逆に、動画の再生中に静止画を抜き出す際は、短時間露光画像記憶部550と長時間露光画像記憶部560とから、動きブレ除去部581が長短の露光時間が異なる画像を取得する。そして、取得した短時間露光画像及び長時間露光画像を合成することで、広ダイナミックレンジ化と被写体の動きの補正とを実現することができ、くっきりとした静止画を出力する。
 これにより、滑らかな動画像と、広ダイナミックレンジでくっきりとした静止画とを再生することができる。
 続いて、本発明の実施の形態3に係る再生装置500の動作の一例について説明する。
 図12は、本発明の実施の形態3に係る再生装置500の動作の一例を示すフローチャートである。
 まず、復号部510は、符号化画像データを復号することで、短時間露光画像と差分画像とを生成する(S410)。そして、復号部510は、加算器520及びスイッチ540を介して、生成した短時間露光画像を短時間露光画像記憶部550に格納する(S420)。
 次に、動きブレ追加部570は、短時間露光画像記憶部550に格納された複数の短時間露光画像を用いて、動きブレ追加画像、すなわち、長時間露光画像の予測画像を生成する(S430)。そして、加算器520は、予測画像と差分画像とを加算することで、長時間露光画像を生成する(S440)。加算器520は、スイッチ540を介して、生成した長時間露光画像を長時間露光画像記憶部560に格納する(S450)。
 最後に、出力部580は、例えば、ユーザからの指示に基づいて、短時間露光画像記憶部550に記憶された短時間露光画像、又は、長時間露光画像記憶部560に記憶された長時間露光画像を再生する(S460)。
 以上のように、本発明の実施の形態3に係る再生装置500によれば、短時間露光画像と差分画像とが符号化されて生成された符号化画像データから、短時間露光画像と長時間露光画像とを復元することができる。したがって、滑らかな動画像と、広ダイナミックレンジでくっきりとした静止画とを再生することができる。
 以上、本発明に係る撮像装置、再生装置、撮像方法及び再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
 例えば、上記実施の形態では、動きブレ追加部140又は340は、複数の短時間露光画像の重み付け加算、又は、短時間露光画像及び補間画像の重み付け加算を行うことで、長時間露光画像の予測画像を生成したが、長時間露光画像に近い画像を生成する方法であれば、いかなる方法を用いてもよい。例えば、動きブレ追加部140は、1枚の短時間露光画像の各画素値に所定のオフセット値を加算することで、長時間露光画像の予測画像を生成してもよい。オフセット値は、予め定められた固定値でもよく、あるいは、長時間露光画像の平均輝度値と短時間露光画像の平均輝度値との比に基づいて決定される値でもよい。なお、符号化部170は、オフセット値が固定値でない場合は、オフセット値を示す情報を符号化する。
 また、短時間露光画像記憶部120及び長時間露光画像記憶部130は、物理的に異なる2つのメモリでもよく、あるいは、物理的には1つのメモリが論理的に分割されたメモリでもよい。
 また、本発明は、上述したように、撮像装置、再生装置、撮像方法及び再生方法として実現できるだけではなく、本実施の形態の撮像方法及び再生方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なCD-ROMなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
 また、本発明は、撮像装置及び再生装置を構成する構成要素の一部又は全部を、1個のシステムLSIから構成してもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM及びRAMなどを含んで構成されるコンピュータシステムである。
 例えば、本発明に係る集積回路の一例であるLSI101は、図3に示すように、動きブレ追加部140と、減算器150と、スイッチ160と、符号化部170とを備える。また、図6に示すように、LSI301は、動きブレ追加部340と、減算器150と、スイッチ160と、符号化部170と、動き検出部380とを備えてもよい。
 また、本発明に係る集積回路の一例であるLSI501は、図11に示すように、復号部510と、加算器520と、スイッチ530及び540と、動きブレ追加部570とを備える。あるいは、LSI501は、さらに、動きブレ除去部581を備えていてもよい。
 本発明は、符号化効率を低下させることなく、広ダイナミックレンジの静止画と滑らかな動画像とを記録又は再生することができるという効果を奏し、例えば、デジタルカメラ、デジタルスチルカメラ、デジタルテレビ、デジタルレコーダーなどに利用することができる。
10 撮影記録装置
11 高速度カメラ
12 メモリ
13 MV算出部
14、140、340、570 動きブレ追加部
15 映像符号化部
16 MV符号化器
17 多重化部
18 記録部
20、100、300 撮像装置
21 A/D変換器
22 SEメモリ
23 LEメモリ
24 乗算器
25 合成回路
26 圧縮回路
27 信号処理回路
28 セレクタ
29 CPU
30、380 動き検出部
101、301、501 LSI
110 撮像部
111 撮像素子
112 同期信号生成部
113 シャッタースピード切替部
114、160、530、540、582 スイッチ
120、550 短時間露光画像記憶部
130、560 長時間露光画像記憶部
150 減算器
170 符号化部
210 垂直同期パルス信号
220、221 蓄積電圧
230、231 露光時間
240、241、410、411 短時間露光画像
250、251 長時間露光画像
260、261 重み係数
270、430 動きブレ追加画像
421、422、423 補間画像
500 再生装置
510 復号部
520 加算器
580 出力部
581 動きブレ除去部
583 表示部
 

Claims (17)

  1.  第1露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、前記第1露光時間より長い第2露光時間の露光による撮像を行うことで長時間露光画像を生成する撮像部と、
     前記撮像部によって生成された短時間露光画像を記憶するための短時間露光画像記憶部と、
     前記撮像部によって生成された長時間露光画像を記憶するための長時間露光画像記憶部と、
     前記短時間露光画像記憶部に記憶された短時間露光画像に動きブレが追加された画像である、前記長時間露光画像の予測画像を生成する動きブレ追加部と、
     前記長時間露光画像記憶部に記憶された長時間露光画像と、前記動きブレ追加部によって生成された予測画像との差分を算出することで、差分画像を生成する減算部と、
     前記短時間露光画像記憶部に記憶された短時間露光画像と、前記減算部によって生成された差分画像とを符号化する符号化部とを備える
     撮像装置。
  2.  前記動きブレ追加部は、前記短時間露光画像記憶部に記憶された、撮像時刻が互いに異なる複数の前記短時間露光画像を重み付け加算することで、前記予測画像を生成する
     請求項1記載の撮像装置。
  3.  前記動きブレ追加部は、前記撮像部が前記短時間露光画像と前記長時間露光画像とをそれぞれ撮像するときに入射される光の光量比に基づいて重み係数を決定し、決定した重み係数を用いて前記複数の短時間露光画像を重み付け加算し、
     前記符号化部は、さらに、前記重み係数を符号化する
     請求項2記載の撮像装置。
  4.  前記動きブレ追加部は、前記光量比に相当する前記第1露光時間と前記第2露光時間との比、又は、前記撮像部によって生成された短時間露光画像の平均輝度と前記撮像部によって生成された長時間露光画像の平均輝度との比に基づいて、前記重み係数を決定する
     請求項3記載の撮像装置。
  5.  前記撮像装置は、さらに、
     前記短時間露光画像記憶部に記憶された、撮像時刻が互いに異なる複数の前記短時間露光画像間の動きベクトルを検出する動き検出部を備え、
     前記動きブレ追加部は、
     前記動きベクトルを分割し、分割した動きベクトルを用いて前記複数の短時間露光画像間を補間する補間画像を生成し、生成した補間画像を用いて前記予測画像を生成する
     請求項1記載の撮像装置。
  6.  前記符号化部は、さらに、前記動きベクトルの分割数を示す情報を符号化する
     請求項5記載の撮像装置。
  7.  前記動きブレ追加部は、前記補間画像と前記短時間露光画像記憶部に記憶された短時間露光画像とを重み付け加算することで、前記予測画像を生成する
     請求項5記載の撮像装置。
  8.  前記動きブレ追加部は、前記動きベクトルに基づいて重み係数を決定し、決定した重み係数を用いて前記補間画像と前記短時間露光画像記憶部に記憶された短時間露光画像とを重み付け加算し、
     前記符号化部は、さらに、前記重み係数を符号化する
     請求項7記載の撮像装置。
  9.  符号化画像データを復号することで、短時間露光画像と差分画像とを生成する復号部と、
     前記復号部によって生成された短時間露光画像を記憶するための短時間露光画像記憶部と、
     前記短時間露光画像記憶部に記憶された短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加部と、
     前記動きブレ追加部によって生成された予測画像と、前記復号部によって生成された差分画像とを加算することで、前記長時間露光画像を生成する加算部と、
     前記加算部によって生成された長時間露光画像を記憶するための長時間露光画像記憶部と、
     前記短時間露光画像記憶部に記憶された短時間露光画像、又は、前記長時間露光画像記憶部に記憶された長時間露光画像を出力する出力部とを備える
     再生装置。
  10.  前記出力部は、
     前記長時間露光画像記憶部に記憶された長時間露光画像と、前記短時間露光画像記憶部に記憶された短時間露光画像とを用いて、動きブレを除去することで、動きブレ除去画像を生成する動きブレ除去部を備え、
     前記出力部は、生成した動きブレ除去画像を前記短時間露光画像として出力する
     請求項9記載の再生装置。
  11.  前記動きブレ除去部は、前記長時間露光画像記憶部に記憶された長時間露光画像のうち、動きがない領域の画像と、前記短時間露光画像記憶部に記憶された短時間露光画像のうち、動きがある領域の画像とを合成することで、前記動きブレ除去画像を生成する
     請求項10記載の再生装置。
  12.  第1露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、前記第1露光時間より長い第2露光時間の露光による撮像を行うことで長時間露光画像を生成する撮像ステップと、
     前記撮像ステップにおいて生成された短時間露光画像と長時間露光画像とをメモリに格納する画像格納ステップと、
     前記メモリに格納された短時間露光画像に動きブレが追加された画像である、前記長時間露光画像の予測画像を生成する動きブレ追加ステップと、
     前記メモリに格納された長時間露光画像と、前記動きブレ追加ステップにおいて生成された予測画像との差分を算出することで、差分画像を生成する減算ステップと、
     前記メモリに格納された短時間露光画像と、前記減算ステップにおいて生成された差分画像とを符号化する符号化部とを含む
     撮像方法。
  13.  符号化画像データを復号することで、短時間露光画像と差分画像とを生成する復号ステップと、
     前記復号ステップにおいて生成された短時間露光画像を短時間露光画像記憶部に格納する短時間露光画像格納ステップと、
     前記短時間露光画像記憶部に格納された短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加ステップと、
     前記動きブレ追加ステップにおいて生成された予測画像と、前記復号ステップにおいて生成された差分画像とを加算することで、前記長時間露光画像を生成する加算ステップと、
     前記加算ステップにおいて生成された長時間露光画像を長時間露光画像記憶部に格納する長時間露光画像格納ステップと、
     前記短時間露光画像記憶部に格納された短時間露光画像、又は、前記長時間露光画像記憶部に格納された長時間露光画像を出力する出力ステップとを含む
     再生方法。
  14.  第1露光時間の露光による撮像により生成された短時間露光画像に動きブレが追加された画像である、前記第1露光時間より長い第2露光時間の露光による撮像により生成された長時間露光画像の予測画像を生成する動きブレ追加部と、
     前記長時間露光画像と、前記動きブレ追加部によって生成された予測画像との差分を算出することで、差分画像を生成する減算部と、
     前記短時間露光画像と、前記減算部によって生成された差分画像とを符号化する符号化部とを備える
     集積回路。
  15.  符号化画像データを復号することで、短時間露光画像と差分画像とを生成する復号部と、
     前記復号部によって生成された短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加部と、
     前記動きブレ追加部によって生成された予測画像と、前記復号部によって生成された差分画像とを加算することで、前記長時間露光画像を生成する加算部と、
     前記復号部によって生成された短時間露光画像、又は、前記加算部によって生成された長時間露光画像を出力する出力部とを備える
     集積回路。
  16.  第1露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、前記第1露光時間より長い第2露光時間の露光による撮像を行うことで長時間露光画像を生成する撮像ステップと、
     前記撮像ステップにおいて生成された短時間露光画像と長時間露光画像とをメモリに格納する画像格納ステップと、
     前記メモリに格納された短時間露光画像に動きブレが追加された画像である、前記長時間露光画像の予測画像を生成する動きブレ追加ステップと、
     前記メモリに格納された長時間露光画像と、前記動きブレ追加ステップにおいて生成された予測画像との差分を算出することで、差分画像を生成する減算ステップと、
     前記メモリに格納された短時間露光画像と、前記減算ステップにおいて生成された差分画像とを符号化する符号化ステップとを含む
     撮像方法をコンピュータに実行させるためのプログラム。
  17.  符号化画像データを復号することで、短時間露光画像と差分画像とを生成する復号ステップと、
     前記復号ステップにおいて生成された短時間露光画像を短時間露光画像記憶部に格納する短時間露光画像格納ステップと、
     前記短時間露光画像記憶部に格納された短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加ステップと、
     前記動きブレ追加ステップにおいて生成された予測画像と、前記復号ステップにおいて生成された差分画像とを加算することで、前記長時間露光画像を生成する加算ステップと、
     前記加算ステップにおいて生成された長時間露光画像を長時間露光画像記憶部に格納する長時間露光画像格納ステップと、
     前記短時間露光画像記憶部に格納された短時間露光画像、又は、前記長時間露光画像記憶部に格納された長時間露光画像を出力する出力ステップとを含む
     再生方法をコンピュータに実行させるためのプログラム。
     
     
PCT/JP2010/002528 2009-04-08 2010-04-07 撮像装置、再生装置、撮像方法及び再生方法 WO2010116731A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011508243A JP5296193B2 (ja) 2009-04-08 2010-04-07 撮像装置、再生装置、撮像方法及び再生方法
US13/263,376 US8390698B2 (en) 2009-04-08 2010-04-07 Image capturing apparatus, reproduction apparatus, image capturing method, and reproduction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-093810 2009-04-08
JP2009093810 2009-04-08

Publications (1)

Publication Number Publication Date
WO2010116731A1 true WO2010116731A1 (ja) 2010-10-14

Family

ID=42936026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002528 WO2010116731A1 (ja) 2009-04-08 2010-04-07 撮像装置、再生装置、撮像方法及び再生方法

Country Status (3)

Country Link
US (1) US8390698B2 (ja)
JP (1) JP5296193B2 (ja)
WO (1) WO2010116731A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013031174A (ja) * 2011-07-28 2013-02-07 Samsung Electronics Co Ltd 多重露出フュージョン基盤でゴーストブラーを除去したhdr映像生成装置及び方法
CN102984464A (zh) * 2011-09-06 2013-03-20 奥林巴斯映像株式会社 摄像装置
JP2014160987A (ja) * 2013-02-20 2014-09-04 Canon Inc 撮像装置、及びその制御方法
KR20150118004A (ko) * 2014-04-11 2015-10-21 한화테크윈 주식회사 움직임 검출 장치 및 움직임 검출 방법
CN105611187A (zh) * 2015-12-22 2016-05-25 歌尔声学股份有限公司 一种基于双摄像头的图像宽动态补偿方法及系统
US9445009B2 (en) 2014-03-31 2016-09-13 Canon Kabushiki Kaisha Image processing apparatus capable of generating composite video image, control method therefor, and storage medium storing control program therefor
EP3101387A1 (en) * 2011-05-27 2016-12-07 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
JP2017504262A (ja) * 2014-01-10 2017-02-02 クアルコム,インコーポレイテッド 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法
WO2018194040A1 (ja) * 2017-04-17 2018-10-25 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法
CN117667735A (zh) * 2023-12-18 2024-03-08 中国电子技术标准化研究院 图像增强软件响应时间校准装置及方法
JP7497216B2 (ja) 2020-05-29 2024-06-10 キヤノン株式会社 画像処理装置及び方法、撮像装置、プログラム、記憶媒体

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630307B1 (ko) * 2010-05-12 2016-06-14 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP5655626B2 (ja) 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5797072B2 (ja) * 2011-09-22 2015-10-21 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
US9129414B2 (en) * 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
JP6046966B2 (ja) * 2012-04-19 2016-12-21 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
TW201416908A (zh) * 2012-10-23 2014-05-01 Pixart Imaging Inc 瞳孔追蹤裝置
US10382674B2 (en) 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
WO2015183693A1 (en) 2014-05-27 2015-12-03 Rambus, Inc. Oversampled high dynamic-range image sensor
KR102453803B1 (ko) * 2015-09-10 2022-10-12 삼성전자주식회사 이미지 처리 방법 및 장치
JP2017184094A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
JP2018061130A (ja) * 2016-10-05 2018-04-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6775386B2 (ja) 2016-11-02 2020-10-28 キヤノン株式会社 撮像装置、その制御方法、プログラムならびに記録媒体
US10911689B2 (en) * 2017-02-15 2021-02-02 Intel IP Corporation Methods and apparatus using long exposure video for virtual reality headset
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
KR102664341B1 (ko) * 2019-08-02 2024-05-09 한화비전 주식회사 움직임 벡터 산출 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10322532A (ja) * 1997-05-21 1998-12-04 Omron Corp 画像データの保存・復元装置
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP2001111934A (ja) * 1999-10-04 2001-04-20 Olympus Optical Co Ltd 電子カメラ装置
JP2007060449A (ja) * 2005-08-26 2007-03-08 Sanyo Electric Co Ltd 撮像装置
WO2007032156A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4399693B2 (ja) 2000-09-21 2010-01-20 ソニー株式会社 撮像装置
JPWO2007063819A1 (ja) 2005-11-29 2009-05-07 パイオニア株式会社 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
US8326703B2 (en) * 2005-12-30 2012-12-04 Sap Ag Architectural design for product catalog management application software
CN101485192B (zh) * 2006-10-30 2011-05-18 松下电器产业株式会社 图像生成装置以及图像生成方法
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
WO2009142003A1 (ja) * 2008-05-20 2009-11-26 パナソニック株式会社 画像符号化装置及び画像符号化方法
US8780990B2 (en) * 2008-12-16 2014-07-15 Panasonic Intellectual Property Corporation Of America Imaging device for motion vector estimation using images captured at a high frame rate with blur detection and method and integrated circuit performing the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10322532A (ja) * 1997-05-21 1998-12-04 Omron Corp 画像データの保存・復元装置
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP2001111934A (ja) * 1999-10-04 2001-04-20 Olympus Optical Co Ltd 電子カメラ装置
JP2007060449A (ja) * 2005-08-26 2007-03-08 Sanyo Electric Co Ltd 撮像装置
WO2007032156A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3101387A1 (en) * 2011-05-27 2016-12-07 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
JP2013031174A (ja) * 2011-07-28 2013-02-07 Samsung Electronics Co Ltd 多重露出フュージョン基盤でゴーストブラーを除去したhdr映像生成装置及び方法
CN102984464A (zh) * 2011-09-06 2013-03-20 奥林巴斯映像株式会社 摄像装置
JP2014160987A (ja) * 2013-02-20 2014-09-04 Canon Inc 撮像装置、及びその制御方法
JP2017504262A (ja) * 2014-01-10 2017-02-02 クアルコム,インコーポレイテッド 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法
US10091434B2 (en) 2014-01-10 2018-10-02 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
US9445009B2 (en) 2014-03-31 2016-09-13 Canon Kabushiki Kaisha Image processing apparatus capable of generating composite video image, control method therefor, and storage medium storing control program therefor
KR102127306B1 (ko) * 2014-04-11 2020-06-26 한화테크윈 주식회사 움직임 검출 장치 및 움직임 검출 방법
KR20150118004A (ko) * 2014-04-11 2015-10-21 한화테크윈 주식회사 움직임 검출 장치 및 움직임 검출 방법
CN105611187A (zh) * 2015-12-22 2016-05-25 歌尔声学股份有限公司 一种基于双摄像头的图像宽动态补偿方法及系统
JPWO2018194040A1 (ja) * 2017-04-17 2020-02-27 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法
WO2018194040A1 (ja) * 2017-04-17 2018-10-25 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法
US11523120B2 (en) 2017-04-17 2022-12-06 Saturn Licensing Llc Transmission apparatus, transmission method, reception apparatus, reception method, recording apparatus, and recording method
JP7300985B2 (ja) 2017-04-17 2023-06-30 ソニーグループ株式会社 情報処理装置および情報処理方法
JP7497216B2 (ja) 2020-05-29 2024-06-10 キヤノン株式会社 画像処理装置及び方法、撮像装置、プログラム、記憶媒体
CN117667735A (zh) * 2023-12-18 2024-03-08 中国电子技术标准化研究院 图像增强软件响应时间校准装置及方法
CN117667735B (zh) * 2023-12-18 2024-06-11 中国电子技术标准化研究院 图像增强软件响应时间校准装置及方法

Also Published As

Publication number Publication date
JP5296193B2 (ja) 2013-09-25
JPWO2010116731A1 (ja) 2012-10-18
US20120038793A1 (en) 2012-02-16
US8390698B2 (en) 2013-03-05

Similar Documents

Publication Publication Date Title
JP5296193B2 (ja) 撮像装置、再生装置、撮像方法及び再生方法
US8638374B2 (en) Image pickup apparatus, image pickup system, and image pickup method
JP5243432B2 (ja) 画像処理装置、及び画像処理方法
US20100092151A1 (en) Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor
JP4473363B2 (ja) 手振れ補正装置およびその補正方法
WO2007063819A1 (ja) 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP2007201985A (ja) 広ダイナミックレンジ撮像装置
JP2010045609A (ja) 動画再生装置、撮像装置及びプログラム
JP2008035167A (ja) 撮像装置
JP2006094058A (ja) 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
JP5480025B2 (ja) 撮像装置、撮像システム、撮像方法
JP2005286677A (ja) 撮像装置
JP2015023498A (ja) 画像符号化装置、画像符号化方法およびプログラム
JP2017123670A (ja) 撮像制御装置、及びその制御方法とプログラム
JP6152009B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP6103481B2 (ja) 撮像装置、及びその制御方法とプログラム
JP2016201617A (ja) 動画像再生装置および方法
JP2010147774A (ja) 撮像装置
JP6075829B2 (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP5820213B2 (ja) 画像処理装置及びその方法、撮像装置
JP2019075640A (ja) 画像処理装置及び画像処理方法
JP6346529B2 (ja) 撮像装置、その制御方法、及びプログラム
WO2011033675A1 (ja) 画像処理装置および画像表示装置
JP7175941B2 (ja) 画像処理装置、画像処理装置の制御方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10761435

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011508243

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13263376

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10761435

Country of ref document: EP

Kind code of ref document: A1