WO2008153167A1 - 撮像システムおよび撮像プログラム - Google Patents

撮像システムおよび撮像プログラム Download PDF

Info

Publication number
WO2008153167A1
WO2008153167A1 PCT/JP2008/060929 JP2008060929W WO2008153167A1 WO 2008153167 A1 WO2008153167 A1 WO 2008153167A1 JP 2008060929 W JP2008060929 W JP 2008060929W WO 2008153167 A1 WO2008153167 A1 WO 2008153167A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
input
processing
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2008/060929
Other languages
English (en)
French (fr)
Inventor
Eiji Furukawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of WO2008153167A1 publication Critical patent/WO2008153167A1/ja
Priority to US12/635,368 priority Critical patent/US20100091131A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to an imaging system and a program, and more particularly to a portable system and the like for estimating the amount of image displacement between images using multiple images. Background leakage
  • JP2005-94288A takes multiple high-resolution images and records them in the internal buffer memory when the user presses the shutter button halfway.
  • Digital power that records a high-resolution image taken halfway immediately before full-pressing in the memory pack as a real shot image and reduces the time lag between the image displayed on the LCD panel and the real shot image at the shutter timing Mela is disclosed (page 1, figure 3).
  • W004 / 63991 discloses that a displacement image between a plurality of images is estimated by sub-pixel matching to align multiple translated images.
  • W004 / 68862 discloses a technique for generating a single high-resolution image from multiple key-return images by summary processing. Disclosure of the invention
  • JP2005-94288A is a high fif ⁇ Image as ⁇ 3 ⁇ 4 image!
  • ⁇ of the image is limited by the number of pixels of the image sensor such as CCD.
  • W004 / 63991 and W004 / 68862 can be used to register multiple ⁇ 3 ⁇ 43 ⁇ 4
  • the amount of image displacement increases as the time of expansion from the frame timing increases, making it difficult to perform an appropriate position> 3 ⁇ 4 :.
  • the present invention has been made in view of the above technique, and aims to provide a system or the like that can estimate the amount of image displacement used to register a plurality of images with high accuracy.
  • the imaging system is an imaging system that captures an image and generates image data of the image, and the second stage ⁇ if after the first stage ⁇ ⁇ is input.
  • # ⁇ is input to the input section, and the second stage instruction force S is input until the second stage instruction force S is input.
  • Stage ⁇ indicating power S After the input, the part that performs double-colored image input, and the second stage instruction S S.
  • ttfji ⁇ processing and image displacement amount estimation for estimating the amount of image dislocation between the duplicated image and the reference image are provided.
  • image data for acquiring image data of a multiple image from a system that displays a multiple image before and after the shutter button force S is pressed.
  • An acquisition step a reference image determination step for automatically determining a leg image from an image swelled between the rules for a predetermined period before and after the shutter button is fully pressed, and a lift self-shutter button.
  • Multiple before and after And an image amount estimation step for estimating an image displacement amount between the five images and the five images.
  • the second stage ⁇ ⁇ force S before the second stage ⁇ ⁇ force S is input, it is collected, and after the second stage bulge S is input, post-processing is performed, and the second stage force S is input. If the image is swelled between the rules for a predetermined period before and after the image is taken, the image of the difference is used as the base image. Since the image displacement amount between the two images is estimated, the image displacement amount for positioning the multiple images can be estimated with high accuracy.
  • FIG. 1 is a block diagram showing the configuration of the transport system related to m ⁇ .
  • FIG. 2 is a rear view showing the heel configuration of the heel system according to i ⁇ .
  • Figure 3 is a flow chart of ⁇ performed by the ⁇ system.
  • Fig. 4 is a flow chart showing the contents of the front-rear swell rule for m ⁇ » ⁇ : regular summary.
  • FIG. 5 is a flowchart showing the previous contents in the n1 ⁇ 2 form 1.
  • FIG. 6 is a flowchart showing the contents of the rear expansion key in 1.
  • FIG. 7 is a diagram showing an example of 3 ⁇ 4
  • FIG. 8 is a diagram showing a kite sequence of the kite system according to 1.
  • Figure 9 shows the algorithm of the image displacement estimation process performed in image displacement estimation. It is a cheat.
  • Fig. 10 is an example of an analogy curve obtained from the image displacement «t definition ⁇ 1".
  • Fig. 1 1 shows the enhancement key performed in the high fif ⁇ g part. This is a flow chart showing the algorithm.
  • FIG. 12 is a block diagram showing a configuration example of the high resolution unit.
  • FIGS. 13A-1-13D are diagrams showing an example of a method for automatically determining a clear image in the imaging system according to the second embodiment.
  • FIG. 14 is a diagram illustrating the ⁇ sequence sequence of the 3 ⁇ 4 system according to the real state 3.
  • Fig. 15 is a diagram for explaining the high jij ⁇ g theory in the dredging system according to male form 4.
  • FIG. 16 is a diagram showing a processing sequence of the imaging system according to the actual ife state 5.
  • Figure 17 shows a rough outline of the high-resolution Ms image and the M ⁇ of the image that is ffled by the enhancement process in the imaging system according to aspect 6.
  • FIG. 1 is a block diagram showing a configuration of an imaging system according to an embodiment of the present invention.
  • Fig. 1 shows an electronic still camera (digital still camera) that displays still images as an example of the imaging system.
  • an electronic camera digital camera
  • the configuration of the imaging system is not limited to that shown in FIG. 1, and other components may be selected or unnecessary components may be omitted as necessary. Can do.
  • the imaging system includes a lens 1 that includes an aperture 1a, a half mirror system 3, a shutter 4, a low-pass fissure 5, a CCD (Charge Coupled Devices), an image sensor 6, and A and D conversion circuits.
  • switching unit 8 photosensor for AE (Automatic Expo Sure) 9, AF (AutoFocus) motor 10, imaging control unit 11, first image processing unit 12, buffer memory 13, ⁇ 4, Memory card I / F (interface) 15, Memory card 16, Shutter button size 7, Second screen 20, LCD display panel 102, Shutter button 104 Lens system 1, Half mirror system 3, Shutter 4, Low pass filter 5, CCD removal element 6, A / D conversion circuit 7, Switching unit 8, Photo sensor for AE 9, AF motor 10, Imaging control unit 11, First screen ⁇ M part 12, Nota memory 13, For 4 etc., there will be a part that will be described later.
  • the lens system 1, the spectral half mirror system 3, the shutter 4, the low-pass filter 5, and the CCD image sensor 6 that contain the aperture 1a are arranged along the optical axis.
  • a CCD CCD element is used as the CCD sensor 6 but a CCD sensor or the like may be used instead of the CCD image sensor 6, for example.
  • the luminous flux from the half mirror system 3 is guided to the photosensor 9 for AE.
  • the lens 1 has an AF motor 10 for moving a part of the lens system during dredging.
  • the signal from the CCD element 6 force is transmitted to the buffer memory 13 via the AZD conversion circuit 7, the switching unit 8, and the first image transfer unit 12, or via the first image processing unit 12.
  • Switching unit 8 forces ⁇ ⁇ ⁇ to buffer memory 13.
  • Buffer memory 13 is used to input / output image data to / from 4 »Also translated as a logical work buffer.
  • the image data stored in the buffer memory 13 is sent to the memory memory 16 1 through the memory card I ZF 1 5 and told.
  • the signal from the heel photosensor 9 is input to the imaging control unit 11, and the imaging control unit 1 1 controls the aperture 1 a based on the signal from the heel photosensor 9 and the AF motor. 1 0, C CD element 6 and switching unit 8 are controlled. Also, the shutter button size 1 7 determines the state of the shutter button 10 4 and inputs it to the control unit 1 1. In addition, the control unit 1 1 power ( ⁇ is input to the LCD panel 1 0 2.
  • the second drawing unit 20 includes a picture quantity estimation unit 20 a and a high resolution unit 20 b. Further, the second image processing unit 20 can input / output image data to / from the buffer memory 13, and further image data to / from the memory card 16 through the memory card I ZF 15. Can be input and output.
  • FIG. 2 is a rear view showing the bag configuration of the carrying system according to the 3 ⁇ 4W state 1 of the present invention.
  • the system according to the present embodiment is an electronic still camera, which has a camera body 100, a switch 10 0 1 provided on the camera body 100, a liquid crystal display panel 1 0 2, operation buttons 1 0 3, Button 1 0 4.
  • FIG. 3 is a flowchart showing the processing performed in the dredging system according to the first embodiment of the present invention.
  • the imaging system according to the present embodiment obtains the number of images set in ⁇ (S 1 0 1) in order to obtain multiple images necessary for high unlocking (S 1 1 1) described later.
  • 3 ⁇ 43 ⁇ 4 Performs the pre- and post-shooting setting process (S 1 0 2) based on the outline set by the user (S 1 0 1), and the later described process (S 1 0 7) and post-shooting In (S 1 0 9), the dislike of the image which is swollen and says is determined.
  • Fig. 4 is a flowchart showing the contents of the back and forth 3 ⁇ 4 ⁇ regulation ⁇ : fixed processing (S102).
  • ⁇ and] 3 in the equation (1) are set in advance.
  • m ⁇ (s ⁇ ⁇ ⁇ ) ttiii ⁇ m and the latter can be specified s3 ⁇ 4.
  • N, ⁇ ,) 3 set in ⁇ m ⁇ (si 01) according to the user's power level. For example, when the user has instructed to move the end of the scene by using the operation button 103 or the like to operate the scene, set so that the number of wrinkles increases, or compare ⁇ It can be set relatively large.
  • FIG. 5 is a flowchart showing the contents of (SI 07).
  • the preprocessing (S107) will be described.
  • the image data of the image taken by performing one of the IB images is circulated in the buffer memory 13 (S 301).
  • the circulation information is obtained by overwriting the image data of the old image with the image data of the new image, for example, the image data of the image determined by the pre-defined rule (S102). It is to say cyclically.
  • the buffer memory 13 has a storage area that can recognize image data of a number of images among the multiple images expanded in the shadow processing (S 107).
  • the image data of the current image is recorded, and the image data is cyclically described by overwriting the image data from the oldest image data. It has become. This makes it possible to save memory.
  • the previous number is counted up (S302), and it is determined whether the counted up is the same as determined in the previous / next shooting decision (S102) in Fig. 3 (S303).
  • S 30 1) the recording
  • S 302 the ffiii ⁇ count up
  • S304 enter the completion notification to the user. As a method of doing so, it is acceptable to display a completion notification on the LCD panel 102 in FIG.
  • the state of the shutter button 104 is determined (S108). If it is in the special state, the ⁇ processing (S107) is repeated. A plurality of images are taken and recorded at. In other situations, for example, when the user releases the shutter button 104, the front and rear women
  • FIG. 6 is a flowchart showing the contents of the rear swelling (S 109).
  • post-processing S109
  • the power to perform m ⁇ (S 401) in the post-shooting process S 109) is the timing immediately after the user presses the shutter button 104.
  • the shutter button 104 is pressed. Then, it is determined whether or not a predetermined time t has elapsed (S 404), and the image is stopped until the predetermined time t is reduced. If it is determined in step S404 that the t-force S3 ⁇ 4i has been reached for a predetermined time after the shutter button 104 is pressed, the second and subsequent images (S405) are started.
  • the predetermined time t for stopping this is set in advance, and the predetermined time t can be set as a time when the amount of camera shake when the shutter button 104 is pressed is considered to be large, for example. Therefore, an appropriate value is set for the predetermined time t according to the scene in which the image sensor 14 swells.
  • the imaging control unit 1 1 controls the aperture 1 a, shutter 4, AF motor 10 etc.
  • the image signal from the CCD image sensor 6 is digitized by the A / D conversion circuit 7, and the white balance, enhancement processing, interpolation processing, etc., well known by the first image ⁇ M section 1 2 Is output to the nother memory 13 as an RG B (red, green, blue) image signal.
  • AF control (S 1 0 5) is performed when the shutter button 1 0 4 is half-pressed at S 1 0 4 in Fig. 3.
  • the position and position at this time are output signals from the CCD image sensor 6. Is digitized in AZ D path 7, and the luminance signal is calculated from the image signal of the job status (for example, using only the G component), and is obtained from the edge daughter in the signal. That is, by changing the ⁇ S position of the lens system 1 to the step by the A F motor 10, the ⁇ ! Position where the edge 3 ⁇ 4 ⁇ is the maximum is estimated.
  • ⁇ ⁇ processing (S1 0 7) is performed while the shutter button 10 4 is pressed halfway, for example, using the storage area reserved in the buffer memory 13 Perform data cycle.
  • the image signal digitized by the AZD circuit 7 is recognized by the buffer memory 13 via the first image processing unit 12.
  • Sfj ⁇ Image data power for the number of sheets
  • S Buffer memory 1 3 A signal for issuing a completion notification is output. For example, a post-completion notification is displayed on the liquid crystal display panel 100.
  • FIG. 7 is a diagram illustrating an example of a post-frost frost completion notification.
  • the completion notice 1 0 6 is displayed after “ « ⁇ OK! ”On the liquid crystal display panel 1 0 2 to notify the user.
  • the control unit 11 After «Done», when the user presses the shutter button 10 4, the control unit 11 performs the rear expansion process (S 1 0 9).
  • the image signal of the first image expanded first in the post-processing (S 1 0 9) is stored in the buffer memory 13 via -m mm 2, and the shutter button 1 0 4 in the imaging control unit 1 1 It is determined whether or not a predetermined time t has been watched after being pressed (S 4 0 4).
  • Shutter button 1 0 4 Stops the image until a predetermined time t force S ⁇ i is applied, then starts the second and subsequent images after a predetermined time t force (S 1 0 9)
  • the image signals of the second and subsequent images are similarly stored in the buffer memory 13 via the first image i 2.
  • Image data such as JP EG is applied to the image data 4 stored in the buffer memory 1 3 and the image data using the buffer memory 1 3 as a buffer buffer is transferred from the buffer memory 1 3 to the memory card via the memory card IF 1 5
  • the second image section 20 can input / output image data to / from the memory 1 16 through the memory 1 1 5 and the buffer memory 1 3. Image data can also be input and output between the two. For this reason, if the buffer memory 13 has a large capacity, the image data that has been J3 ⁇ 4 or the image data that has not yet been sent to the memory is sent to the memory 16 6 E ⁇ 3 ⁇ 4 ⁇ f These image data are buffered. Word B ⁇ in the memory 1 3 and the high ⁇ 3 ⁇ 4 ⁇ processing unit 2 Ob ⁇ ⁇ Only the image data of the high resolution image ⁇ 3 from the buffer memory 1 3 to the memory card 1 6 You may do it.
  • FIG. 8 is a diagram showing the eyelid sequence of the imaging system according to the bell form 1 of the present invention.
  • AF lock is applied after the shutter button 1 0 4 is pressed halfway, and then, for example, during the period shown in ⁇ in FIG. 8, fiiii ⁇ processing (S 1 0 7) is performed and the buffer memory 1 Repeatedly record in 3 while securing image data for the previous few minutes.
  • S 4 0 1 force S is pressed
  • S 1 0 9 for example, during the period shown in FIG. Stop.
  • the position amount estimation ⁇ (S 1 1 0) and the high resolution process (S 1 1 1) performed in the second picture unit 20 will be described.
  • the image 'displacement amount estimation unit 20 a estimates the image displacement amount (pixel position adaptation) between the images, and this pixel displacement amount and m (s ⁇ o o 7) Using the image data obtained in (s I o 9), place a high me image in the high mtM section 20 b.
  • the image displacement amount estimation unit 20 a uses the image of the displacement force input during the predetermined period before and after the shutter button 10 4 is pressed as a rope image, (S 1 0 7) and processing (S 1 0
  • FIG. 9 is a flowchart showing the analogy of the image displacement estimation process (S 110) performed by the image level estimation unit 20 a.
  • the image displacement amount estimation processing (S 110) will be described with reference to the algorithm shown in FIG.
  • one image as the reference image is read as a reference image (S501).
  • the reference image is deformed with a plurality of image displacement parameters, and the image sequence is ⁇ (S502).
  • the reference image is keyed and rotated within a predetermined range to rotate the image sequence.
  • a similarity value between the image sequence and the reference image obtained by selecting the reference image in S 502 is calculated (S 505).
  • This similarity can be obtained as, for example, an image sequence such as SSD (SumofSquadeDifefence) ⁇ SAD (SumofAbsoleteDifefenc) and a reference image.
  • SSD SSD
  • SAD SudofAbsoleteDifefenc
  • a typical fas curve is obtained by complementing the typical map created in S506.
  • the extreme value of the threshold value is probed in the curve (S507).
  • Comprehensive ⁇ map complement As a method for obtaining a similar similarity curve, for example, there is a parabolic fitting splatin interpolation method.
  • the image deviation parameter when the class value is extreme is estimated as the image between the S3 ⁇ 4S image and the reference image.
  • FIG. 10 is a diagram showing an example of the analog curve obtained in S 5 07 of the image displacement amount estimation process (S 1 1 0).
  • the vertical axis indicates the value
  • the horizontal axis indicates the image displacement parameter when the image sequence is aligned in S 502 in FIG.
  • the similarity between the image sequence and the reference image is calculated by SSD, and it is obtained by complementing the similar curve force 3 ⁇ 4
  • the image data of the image is subjected to an enhancement process (S 1 1 1) using a summary to the high j3 ⁇ 4f ⁇ processing unit 2 0 b ⁇ 3 ⁇ 43 ⁇ 4U reference image.
  • FIG. 11 is a flowchart showing the analogy of the high-speed processing (S 1 1 1) performed in the high-level logic section 20 b.
  • the enhancement (S 1 1 1) using 3 ⁇ 4 ⁇ image processing is described along with the algorithm shown in Fig. 11.
  • the image data of the base image and the image data of a plurality of images whose image displacement amount is estimated in the boat position estimation process (S 110) are read (S 6 0 1).
  • the initial image ⁇ 0 is generated by performing bilinear interpolation, bicubic interpolation, or the like on the target image (S 6 0 2). This interpolation process can be omitted with ⁇ .
  • the superposition processing in S 6 0 3 is performed by using the image displacement amount estimation key (S 1 1 0) for each pixel value of the complex image whose image amount is estimated and the target image expansion; This is done by associating pixel positions with the target, and moving each Pixeno HI to the nearest point of the target image expansion / target, or to a grid point. At this time, there are cases where multiple pixels are placed on the same grid point. Average.
  • PS F Point Sp read Function
  • OTF Optica 1 Transfer function
  • CCD aperture CCD aperture
  • S 604 This PS F is reflected in the matrix A in the following equation (3), and for example, a Ga u s s function can be used simply.
  • S6 05 the maximum / i ⁇ of the speech function f (z) expressed by the following equation (3) is calculated.
  • S6 05 f (z) force S / hf is determined whether or not (S606).
  • y is a column vector that represents the image data of the registration image struck by S603
  • Z is a column vector that represents the high-resolution image data of the target image.
  • A is an image sequence that represents the characteristics of the imaging system including PSF.
  • g (z) is a regular 1 ⁇ 3 ⁇ 4 considering the smoothness of the image and the correlation of the color of the image
  • ⁇ is the weight coefficient.
  • the following method can be used for the maximum / f ⁇ of the power function f (z) expressed by Eq. (3).
  • For age using descent method calculate the partial differential of f (z) with respect to each element of z and ⁇ -T the vector with those values as elements.
  • the high image z is made to be Mff (S607), and the f (z) force S minimum Find z such that
  • ⁇ ⁇ is a column vector representing the image data of the high-resolution image that has been subjected to the ⁇ -th f
  • ⁇ is the further step length.
  • S606 smell If it is determined that the f (z) force S has been reduced, the processing is terminated, and z n at that time is recorded as a final high resolution image on the memory card 16 or the like. In this way, it is possible to obtain a high resolution image that is higher in resolution than the composite image obtained in the processing (S 107) and the processing (S 109).
  • FIG. 12 is a block diagram of a configuration example of the high TO section 20b.
  • the high key release processing unit 20b shown in FIG. 12 includes an interpolation enlargement unit 201, an image ⁇ 3 ⁇ 4 202, a PSF data unit 203, a convolution ⁇ 204, a registration image ⁇ unit 205, an image agility 206, and a tatami ⁇ 3 ⁇ 4. It consists of a dividing part 207, a regularization term calculation part 208, an image generation part 209, and a convergence judgment example 5210 force.
  • a reference image that has been set for a predetermined period before and after the shutter button 104 force S is applied is supplied to the interpolation enlargement unit 201 to perform interpolation enlargement of the reference image (corresponding to S602 in FIG. 11).
  • Examples of males for interpolation enlargement used here include bilinear interpolation and bicubic interpolation.
  • the 2p image enlarged and interpolated by the interpolation enlargement unit 201 is sent to the image storage unit 202 as, for example, the initial image z 0 and stored therein.
  • the interpolation-enlarged reference image is given to the tatami i ⁇ a dividing unit 204 and between the PSF data (corresponding to the image transformation sequence A in Equation (3)) given by the PSF data unit 203.
  • a tatami is performed at.
  • the registration image y is ⁇ by performing ⁇ ⁇ processing in the coordinate space with the reference image as the reference (see S6 in Fig. 11). 03 corresponding).
  • the registration process in the registration image ⁇ section 205 includes, for example, each pixel value of the image of the double difficulty in which the position amount is estimated in the image displacement estimation process (S110), and the reference image extension. This is done by associating the pixel positions between the pixels, and moving each pixel to the nearest point of the image extension, on the grid point. At this time, there are several pixels on the same grid point. In that case, it is difficult to average the pixel values.
  • the image data (vector) obtained by convolution integration in the convolution product ⁇ 204 is sent to the image ⁇ i comparison unit 206, and the registration image 205 is transferred to the registration image y.
  • the image data (corresponding to (y – Az) in Eq. (3)) is obtained by calculating the value of Pixeno M directly at the same Pixeno installation.
  • the image data that has been ⁇ is given to the convolution 207, and convolution with the PSF data given by the PSF data section 203 is performed.
  • the convolution ⁇ 2 07 is obtained by, for example, convolving the transfer sequence of the image transformation sequence A in Equation (3) with the column vector representing the image data, II y in Equation (3).
  • the image stored in the image storage unit 202 is given to the regularization term calculation unit 208, and the regularization term g (z) in Equation (3) is obtained, and the regularization term g (z) is set to each z
  • the vector obtained by partial differentiation with the element is obtained.
  • the regularization term calculation unit 208 performs color conversion processing from RGB to YC r C b on the image data stored in the image ⁇ 3 ⁇ 43 ⁇ 4202, and the YC r C b component 0 ⁇ ⁇ 3 ⁇ 4 and the color integrity ), A vector obtained by dividing the frequency high-pass filter (Laplacian filter) into tatami i ⁇ is obtained.
  • the square norm of this vector (the square of the length) is used as a regularization term g (z), and g (z) is partially differentiated by each element of z.
  • the false color component is extracted when the Laplacian filter is applied to the C component C b component (color component), the false color component can be removed by maximizing the regularization term g (z). it can.
  • the regularization term g (z) in Eq. (3), we will use the image a priori that "generally the image color ⁇ is a smooth transformation", and The suppressed high image can be obtained stably.
  • Image data (vector) generated by convolution 2 0 7 image data (vector) stored in image ⁇ 3 ⁇ 4 2 0 2, image data generated by regularization term calculation unit 2 0 8 (vector) No) is given to the ff picture ⁇ part 2 0 9.
  • these image data (vector) forces S expression (3) and expression (4) are multiplied by a weighting coefficient such as ⁇ and added, and the Mff high image is « (Corresponding to equation (4)).
  • the high ?? ⁇ 1® image confused in the image ⁇ part 2 0 9 is given to the convergence judgment 2 1 0 and the convergence judgment is performed.
  • this convergence judgment it is possible to judge that the ff «of the high angle ?? image has converged when the number of repetitive computations is more than a certain number of times and the convergence has been completed.
  • the high ⁇ image and take the difference from the current high ⁇ image and determine that 3 ⁇ 4 3 ⁇ 4 is less than a certain value. Even if it is judged that it was good ,.
  • the high resolution image is output to the outside as a high resolution image. If it is determined that the image has not converged, the selected high m3 ⁇ 4 image is given to the image section 202 and used for the next update operation.
  • the high-resolution ⁇ image convolution for the next update « ⁇ « Wakebe 2 0 4, is applied to the regularization term calculation unit 2 0 8.
  • FIGS. 13A-1 13D are diagrams illustrating an example of a method for automatically determining a reference image in the imaging system according to the second embodiment of the present invention.
  • the predetermined force S is determined as the period during which a predetermined amount of image is displayed before and after the shutter button 10 4 force S ⁇ if, and any of the images set in this interval
  • a standard image the image displacement amount between the multiple reference images and the standard image is estimated, and the subsequent high resolution processing (S 1 1 1) and the like are performed.
  • the number of front shots is 30 and the back shot is 30.
  • the shutter button 1 0 4 Power S ⁇ J A period during which 0 sheets are displayed is defined as a reference period, and a S / S image is determined from the 20 sheets.
  • FIG. 13B as in FIG.
  • the period between the reference periods is determined as the period during which a predetermined image is displayed before and after the shutter button 104 is pressed.
  • a predetermined period of time before and after the shutter button 104 force ⁇ i is pressed is determined as a reference image, and any one of the images between these reference examples is used as a reference image.
  • the time for pre-processing is 1 second
  • the time for post-bulk processing is 1 second
  • 1 3 seconds before shutter button 104 is released the total of 1/3 seconds, 2Z3 seconds, is set as 3 ⁇ 43 ⁇ 43 ⁇ 4, and the reference image is determined from the images made during this 2Z3 seconds.
  • the image rate of 30 fps in the imaging system is 10 images in 1 second 3 seconds.
  • FIG. 13D the time between the tirif ⁇ process (S107) is determined as the predetermined length of time before and after the shutter button 104 is pressed as in FIG. 13C. Since there are only seconds, the shutter button 104 force before 0.2 seconds and after ((1Z 3-0. 2) +1/3) seconds total 2/3 seconds between ⁇ 3 ⁇ 4, these 2 3 seconds
  • the reference image is determined from among the images that have been generated during the period. The effect is the same as that of the imaging system according to Embodiment 1.
  • FIG. 14 is a diagram showing a summary sequence of the imaging system according to the third embodiment of the present invention.
  • the configuration and management of the imaging system according to the main form is the same as the removal system according to the male form 1 and the 3 ⁇ 4 ⁇ form 2 except for the following points, and only the differences are described.
  • the image data of the image processed in the fii ⁇ processing (S 107) and (S 109) is sent to the buffer memory 13 as RAW data to which no image is applied. It is assumed that the buffer memory 13 circulates the image data of the image expanded in the ttJ ⁇ process (S 107) as RAW data (see Circular Information 1).
  • the image data of the images photographed in the switching unit 8 forces 3 ⁇ 4 ⁇ ⁇ ⁇ (S107) and «W ⁇ m (S109) are stored in the buffer memory 13 as RAW data.
  • RAW data suitable for high-level processing S 111 can be used in the high-level data processing unit 20b.
  • the other effects are the same as those of the «system related to» ⁇ state 1 and state 2.
  • FIG. 15 is a diagram for explaining high-key unlocking in the imaging system according to Example 4 of the present invention.
  • the configuration of the imaging system according to the male configuration is the same as that of the imaging system according to the first embodiment, the second embodiment, and the third embodiment except for the following points. Only explained.
  • the image data y k of the double-difficult image expanded in the pre-expansion process (S 10 7) and the process (S 109) is used.
  • the power function f (z) in this male form is expressed by the following equation (5).
  • y k is determined in Si ⁇ treatment (S 107) and U3 ⁇ 4 ⁇ treatment (S 109).
  • a column vector representing the image data of the k-th image ( ⁇ ⁇ image) a k is a weighting factor for each ⁇ 3 ⁇ 4 »3 ⁇ 4 image
  • Z is the height of the target image column vector representing the images data
  • a k is the image varying ⁇ representing the flame of an imaging system including an inter-image motion, the PSF or the like.
  • a k is calculated using the image position estimated in the image displacement estimation process (S 1 1 0), and the position of the target image and ⁇ 5 ⁇ ® image; I can do it.
  • G (z) is a regularization term that takes into account the smoothness of the image and the correlation of the color of the image, and is the weighting factor. Also in the present embodiment, as in 3 ⁇ 46S Form 1, the high resolution z that minimizes the power function f (z) expressed by Equation (5) is obtained using the following method or the like.
  • an image that is considered to be of a high level is selected because a higher level and a higher weight are applied to an image that is closer to the point in time when the reference image is carried, and an image that is swollen at the time. It is possible to obtain a good high image.
  • the other effects are the same as those of the system according to the cat form 1 in the form 2 and the form 3 in the form 2.
  • FIG. 16 is a diagram showing the eyelid sequence of the imaging system according to Embodiment 5 of the present invention. Note that the configuration and management of the imaging system according to this difficult mode are the same as those of the imaging system according to cat form 1 to 2 2 m 3 ⁇ m 4 except for the following points. Only will be described.
  • the image capturing is not stopped in the post-photographing process (S 1 0 9 in the first embodiment), and multiple images are made similar to those in the second processing state 1 (S 1 0 7). Then, the image immediately after the shutter button 10 104 is pressed (N in Fig. 16) is set as the reference image. In the example of Fig. 16 (a), the reference image force S is expanded. After a predetermined number of images (2 images in Fig. 16 (a)) were employed later! It should be noted that the image displacement amount estimation key (S 1 1 0) need not be performed for the ray image that is not used in the high-mization processing.
  • the high-resolution processing is performed using the weighting of the fourth embodiment (see Equation (5)), but the predetermined image carried after the lecture image is created (Fig. 1). in 6 (b) to reduce the weighting coefficient a k of images of two ⁇ .
  • FIG. 17 is a graph showing the high-resolution image magnification and the number of images reversed in the high-resolution processing in the imaging system according to Embodiment 6 of the present invention.
  • the configuration of the imaging system according to the present embodiment is the same as that of the imaging system according to the embodiment 1, the male form 2, the form 3, and the male form 4, the form 5 except for the following points. Yes, only the different parts will be explained.
  • the image to be ffiffl for the enhancement processing is converted into a high resolution image. It is automatically set according to the ratio of ⁇ to ⁇ ⁇ . At this time, as shown in FIG. 17, the larger the magnification of the high resolution, the greater the number of images used for high resolution processing.
  • ⁇ ⁇ 3 ⁇ 4 ⁇ ⁇ fix (s 101) in state 1
  • the user sets the magnification of the high ⁇ »3 ⁇ 4 image and calculates the number of images required to generate the high-resolution image.
  • the tfi ⁇ process (S107) and process (S109) may be used for the number of images.
  • a high-resolution image can be obtained by using the machine image corresponding to the sharpness of the high-resolution image to improve the image.
  • Other effects are the same as those of the imaging system according to Embodiment 1 ⁇ m 2, Embodiment 3, and n »state ⁇ m 5.
  • the transport system according to this difficult form is tii3 ⁇ 4 «(S 107) and processing (S 10
  • the present invention is not limited to the above-described embodiment, and includes various modifications and improvements that can be made within the scope of the g «idea.
  • the special feature of shirt turbotan 10 04 is used as ⁇ in the first stage of starting the M3 ⁇ 4 process (S 1 0 7), and the second process of starting the post process (S 1 0 9).
  • the example of the shutter button 1 0 4 is given as an example of the stage, but you can enter the input of the first stage and the second stage in different ways.
  • the images may be overlapped ⁇ : and the weighted average may be performed to generate an image that gives ⁇ g3 ⁇ 4 random noise. Les.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

撮像システムは、第１段階の撮影指示が入力された後に第２段階の撮影指示が入力されるシャッターボタン（１０４）と、第１段階の撮影指示が入力されてから第２段階の撮影指示が入力されるまでの間に複数枚の画像を撮影する前撮影処理を行って、第２段階の撮影指示が入力された後に複数枚の画像を撮影する後撮影処理を行う撮影部（１、３～１４）と、第２段階の指示が入力される前後の所定の期間である規定期間に撮影されたいずれかの画像を基準画像として、前撮影処理および後撮影処理において撮影された複数枚の画像と基準画像との間の画像変位量を推定する画像変位量推定部（２０ａ）とを備える。

Description

明 細 書 システムおよ プログラム 擁
本発明は、 撮像システムおよ プログラムに関し、 特に複隱の画像を^^して画 像間の画像変位量を推定する搬システム等に関する。 背景漏
JP2005- 94288Aは、 ユーザーがシャッターボタンを半押ししているときに通常よりも 高解像の画像を複数枚撮影して内蔵バッファメモリに記録しておき、 シャッターボタ ンを全押ししたときに、 全押しする直前の半押し中に撮影された高解像度画像を本撮 影画像としてメモリーパックに記録して、 シャッタータイミングにおける液晶表示パ ネルの表示画像と本撮影画像とのタイムラグを低減するデジタル力メラを開示してい る （1頁、 図 3 ) 。
また、 W004/63991 は、 複数枚の画像間の画像変位量をサブピクセルマッチング によつて推定して複辦夂の翻军 画像を位置合; する を開示している。 また、 W004/68862 は、 纏像処理によって複雖の翻鍵画像から一枚の高解 画像を生成する技術を開示している。 発明の開示
JP2005-94288Aが開示するデジタルカメラは、 しする直前に された高 fif^ 画像を Φ¾画像として！^しているものの、 ^^画像の ^^は C CD等の撮像素子 の画素数によつて制限される。
また、 W004/63991、 W004/68862が開示する技術により、 高解像度画像を生成するため に複纖の ί¾¾|^¾画像を位置合; "¾rTる には、 位置合わせの御となる纏画像の フレームタイミングから膨時間力 るほど画像の画像変位量が大きくなり、 適切な位 置合 >¾：を行うことが困難になる。
本宪明は、 上記技 を鑑みてなされたものであり、 複 の画像を位置合; ¾rT るのに用いる画像変位量を高レヽ精度で推定することができる システム等を»するこ とを目的とする。
本発明のある態様によれば、 撮像システムは、 画像を撮影して、 画像の画像データを生 成する撮像システムであって、 第 1段階の ί ^^入力された後に第 2段階の ^if^ が入力される # ^^入力部と、 第 1段階の 力入力されてから第 2段階の 指 示力 S入力されるまでの間に複難の画像を鍵する 麵を行って、 第 2段階の攝 指示力 S入力された後に複徹の画像を娜する後攝讀を行う 部と、 第 2段階の指 示力 S入力される前後の所定の期間である規 間に されたレ、ずれかの画像を基準画像 として、 ttfji^処理およ におレ、て された複«の画像と基準画像との間 の画 ί滅位量を推定する画像変位量推 とを備える。
また、 本発明の別の態様によれば、 コンピュータに実行させるプログラムにおいて、 シ ャッターボタン力 S しされる前後に複 »：の画像を する システムから複»：の 画像の画像データを取得する画像データ取得ステップと、 前記シャッターボタンが全押し される前後の所定の期間である規錢間に膨された画像から脚画像を自動的に決定す る基準画像決定ステップと、 lift己シャッターボタン力 しされる前後に された複数 枚の画像と歸5»画像との間の画像変位量を推定する画 «位量推定ステップと、備え る。
これらの鎌によれば、 第 2段階の ί ^力 S入力される前に ^纏を行って、 第 2段階の 膨力 S入力された後に後 処理を行レヽ、 第 2段階の 力 S入力される前後 の所定の期間である規魏間に膨されたレ、ずれかの画像を基麵像として、 If ^処理 およ確膨麵におレ、て膨された複嫩の画像と 画像との間の画像変位量を推定 するので、複 の画像を位置合^ τΤるための画像変位量を高レ、精度で推定することが できる。
本発明の ¾W態、利点については、 樹寸された図面を参照しながら以下に詳細に説明 する。 図面の簡単な説明
図 1は、 m ιに係る搬システムの構成を示すプロック図である。
図 2は、 i ιに係る纖システムの舰構成を示す背面図である。
図 3は、 ιに係る纖システムで行われる麵を^ ι~フローチヤ一トである。 図 4は、 m ιにおける前後膨規定 »^：定纏の内容を示すフローチャートで ある。
図 5は、 n½形態 1における前 の内容を示すフローチヤ一トである。
図 6は、 1における後膨鍵の内容を示すフローチヤ一トである。
図 7は、 態 1における後 ¾|完了; »の例を示す図である。
図 8は、 1に係る纖システムの麵シーケンスを示す図である。
図 9は、 画像変位量推趨で行われる画像変位量推定処理のァルゴリズムを示すフ口一 チヤ一トである。
図 1 0は、 画像変位 «t定麵におレ、て求められた類献曲線の例を^ 1"図である。 図 1 1は、 高 fif^gィ 部で行われる高 化鍵のアルゴリズムを示すフローチ ヤートである。
図 1 2は、 高解 ィ 部の構成例を示すプロック図である。
図 1 3 A— 1 3 Dは、 鍾形態 2に係る撮像システムにおいて鮮画像を自動的に決定 する方法の例を示す図である。
図 1 4は、 実 ½^態 3に係る ¾システムの^]連シーケンスを示す図である。
図 1 5は、 雄形態 4に係る纖システムにおける高 jij^gィ 理について説明するた めの図である。
図 1 6は、 実 ife 態 5に係る撮像システムの処理シーケンスを示す図である。
図 1 7は、 形態 6に係る撮像システムにおける高解 Ms像の と高 化処 理で^ fflされる画像の の M^、を^ ダラフである。 発明を実施するための最良の形態
態 1 )
以下、 図面を参照しながら本発明の 態 1に係る撮像システムにつレ、て説明する。 図 1は、 本発明の実施开態 1〖こ係る撮像システムの構成を示すプロック図である。 なお 図 1には、 撮像システムの例として静止画像を する電子スチルカメラ （デジタルスチ ルカメラ） を示しているが、 例え〖¾±画像の他に動画を することのできる電子カメ ラ （デジタルカメラ） 等であってもよレ、。 また、 撮像システムの構成は図 1に示すものに 限定されず、 必要に応じて他の構成要素を ϋ¾口したり、 不必要な構成要素を省略すること ができる。
本¾»態に係る撮像システムは、 絞り 1 aを内包するレンズ 1、 ハーフミラー 系 3、 シャッター 4、 ローパスフィスレタ 5、 CCD (Ch a r g e Coup l e d D e v i c e s) 撮像素子 6、 A,D変換回路 7、 切替部 8、 AE (Au t oma t i c Expo su r e) 用フォトセンサー 9、 AF (Au t oFo cu s) モーター 10、 撮 像制御部 11、 第一画^ 理部 12、 バッファメモリ 13、 Ιϊβΐ 4、 メモリーカード I/F (インターフェース） 15、 メモリーカード 16、 シャッターボタン判 7、 第二画 部 20、 液晶表示パネル 102、 シャッターボタン 104を備える。 なお、 レンズ系 1、 ハーフミラー系 3、 シャッター 4、 ローパスフィルタ 5、 CCD撤素 子 6、 A/D変換回路 7、 切替部 8、 AE用フォトセンサー 9、 AFモーター 10、 撮像 制御部 11、 第一画^ M部 12、 ノ ッファメモリ 13、
Figure imgf000007_0001
4等は、 後に説明する Ιίίϋ ^鍵およ ϋ¾膨麵を行う 部を構 る。
絞り 1 aを内包するレンズ系 1、 分光ハーフミラー系 3、 シャッター 4、 ローパスフィ ルタ 5、 CCD撮像素子 6は、 光軸に沿って配置されている。 なお、 本雄形態 1では C CD賺素子 6として報式の CCD纖素子を棚するものとするが、 例えば CCD撮 像素子 6の代わりに CMO S 素子等を用いてもよレヽ。 ^ハーフミラー系 3から した光束は AE用フォトセンサー 9に導かれる。 レンズ 1には、 條時にレンズ系 の一部を移動するための A Fモーター 10が されている。 CCD 素子 6力らの信 号は、 AZD変換回路 7、 切換部 8および第一画譲理部 12を介してバッファメモリ 1 3へ入力される力 \ または第一画»理部 12を経由 に切換部 8力らバッファメモリ 13へ ϊΐ^λ力される。
バッファメモリ 13は、 4、 第二画 ^理部 20との間で画像データの入出力 が可能であり »理のワークバッファとしても翻される。 バッファメモリ 1 3に保存さ れた画像データは、 メモリーカード I ZF 1 5を介して、 膽可能なメモリ一力一ド 1 6 へ人力され言 される。
ΑΕ用フォトセンサー 9からの信号は撮像制御部 1 1へ入力されており、 撮像制御部 1 1は、 ΑΕ用フォトセンサー 9からの信号に基づいて絞り 1 aを制御すると共に、 AFモ 一ター 1 0、 C CD 素子 6、 切替部 8を制御する。 また、 シャッターボタン 1 0 4の 状態をシャッターボタン判 1 7が判定し嫌制御部 1 1へ入力する。 さらに、 赚制 御部 1 1力ら (^言号が液晶表示パネル 1 0 2へ入力される。
第二画^^理部 2 0は、 画 «位量推^ 2 0 a、 高解 ィ 理部 2 0 bを備えてレ、 る。 また第二画»理部 2 0は、 バッファメモリ 1 3との間で画像データの入出力が可能 であり、 さらにメモリーカード I ZF 1 5を介してメモリーカード 1 6との間で画像デー タの入出力が可能となってレヽる。
図 2は、 本発明の ¾W態 1に係る搬システムの舰構成を示す背面図である。 本実 施形態に係る ¾システムは電子スチルカメラであり、 カメラ本体 1 0 0と、 カメラ本体 1 0 0に備えられた スィツチ 1 0 1、 液晶表示パネル 1 0 2、 操作ボタン 1 0 3、 シ ャッターボタン 1 0 4とを有している。
図 3は、 本発明の 態 1に係る纖システムで行われる処理を示すフローチヤ一ト である。 本¾»態に係る撮像システムは、 後に説明する高解鍵化擁 (S 1 1 1 ) に 必要となる複纖の画像を得るため、 ^ (S 1 0 1 ) で設定した枚数分の画像 を 、 識する。 ユーザーによって ¾¾： 定 (S 1 0 1 ) された概を元に前後撮 影規 定処理 （S 1 0 2) を行って、 後に説明する Ιίί»処理 (S 1 0 7) と後撮 影麵 (S 1 0 9) において膨、 言 する画像の嫌を決定する。 図 4は、 前後 ¾ ^規定お^:定処理 (S 102) の内容を示すフローチヤ一トである。 ここで、 前後職規¾» ^：定処理 (S102) について説明する。 図 4に示すように、 m^ (SI 01) で設定された «が複 かどうかを判定し （S201) 、 1 枚なら処理を終了し、 複«なら ¾処理 (S107) で 、言 する と 後撮影処理 （S 109) で撮影、 記録する後撮^ mを以下の式 （1) 、 式 （2) で計算 し （S202、 S 203) 、 麵を終了する。
Figure imgf000009_0001
m = m . - tmm - - - (2)
本 形態では、 式 （1) における α、 ]3は、 予め設定されているものとする。 なお、 m ^ (s ι ο ι) において、 ttiii^mと後 を s¾的に指定するように 構成することもできる。 また、 ^m ^ (si 01) において設定する¾»：ゃ、 α、 ）3の値を、 ユーザー力 ^しょうとするシーンに応じて設定しておくこともできる。 例えば、 終体の動きカ激しレ、シーンを する旨を操作ボタン 103などの操作でユー ザ一が指示したとき等には、 鹏嫩が多くなるように、 を設定したり、 αを比 較的大きく設定したりすることができる。
このように前後 規¾¾«：定処理 (S 102) を行った後、 バッファメモリ 13等 に識されている前後娜識嫌を 0枚に棚化 （S103) し、 シャッターボタン 1 04の状 定を行う （ S 104 ) 。 シャッターボタン 104力 S^J し状態なら通常の 1 ¾Wを行レ、 (S 113) 、 衡された画像の画像データを言 (S 112) して終了す る。 シャッターボタン 104が半押し状態なら AF制御 (S 105) を行う。 その後、 撮 が複数枚かどうかを判定して （S106) 、 撮 数が複数枚の場合には前 処 理 （S 107) において複»：の画像を 、 |»Τる。 図 5は、 (SI 07) の内容を示すフローチャートである。 ここで、 前 処理 (S 107) について説明する。 図 5に示すように、 まず IB像の 1お を行って撮 影された画像の画像データをバッファメモリ 13に循環曾 (S 301) する。 ここで循 環識とは、 古い画像の画像データを新しい画像の画像データで上書きしながら所 分の画像の画像データ、例えば前後 規定 定麵 (S 102) で決定された灘 分の画像データを循環的に言 することである。 なおバッファメモリ 13は、 羅 影処理 (S 107) において膨される複»：の画像のうち所 数分の画像の画像デー タを識できる記憶領域を有しており、 例えば、既に所定概分の画像の画像データが記 録されてレ、る ¾ ^には、 言 されてレ、る画像データの中で一番古レ、画像データから上書き することにより画像データを循環的に言 するようになつている。 これにより、 メモリを 節約することが可能となる。
その後、 前 枚数をカウントアップして （S302) 、 図 3の前後撮影 決定 (S 102) で決定した とカウントアップした が同じ になったかどう力を判定 （S 303) し、 同じになるまで 1枚 と循環記録 (S 30 1) 、 ffiii^ 枚数カウントアップ （S302) を繰り返す。 ttj^^mと |ίί¾ 機が同じになったら、 後 輔完了通知 (S304) をユーザーに脑する。 脑方 法としては、 図 2の液晶表示パネル 102に完了の通知を表示しても良レヽし、 例えば音声 を使って »1しても良レ、。
このように ¾ίί^処理 (S 107) を行った後、シャッターボタン 104の状態を判定 (S 108) し、 特し状態なら ^処理 （S 107) を繰り返し、 し状態なら後 膨麵 (S109) において複数枚の画像を撮影、記録する。 それ以外の状態、 例えば ユーザーがシャッターボタン 104を離している には、 前後婦 |5»¾棚ィ 理 (S 103) へ戻る。
図 6は、 後膨麵 (S 109) の内容を示すフローチャートである。 ここで、 後 処理 (S 109) について説明する。 本実施形態では、 後撮影処理 (S 109) において まず m枚の^^ (S 401 ) を行う力 この m枚の のタイミングはユーザーがシャッ ターボタン 104を しした直後のタイミングである。 本実«態では、 m= 1の で説明するが、 撮像素子の性^、 の職しょうとするシーンに応じて m= 2枚以上 とすることもできる。 また、 操作ボタン 103などの操作によって、 ユーザーが mの値を 指定する構成にすることもできる。 1枚目の膨 （S401) を行った後、 後膨言 5®枚 数をカウントアップ （S402) して、 前後 ϋ ^規定お «定処理 (S102) で決定し た後撮^ ¾数とカウントアップした後 言 » [が同じになったかどうかを判定し （S 403) 、 (S405) 、 後 |5^«カウントアップ （S402) を繰り返 す。 この際、 例えばバッファメモリ 13の記'^ S域を 処綱と後膨処 に割り 当てておき、 それぞれの に割り当てられた記 1t®域を翻するようにする。
また本 形態では、 後撮影処理 (S 109) において全押し直後の m枚 （上述のよう に、 本 態では m= 1としている） の膨 （S401) を行った後、 シャッターボタ ン 104力 しされてから所定の時間 tが ¾ したかどうかを判定 （S 404) し、 所 定の時間 t力 S細するまで画像の を停止する。 S 404においてシャッターボタン 1 04力 S しされてから所定の時間 t力 S¾iしたと判定された には、 2枚目以降の画 像の (S405) を開始する。 この を停止する所定の時間 tは、 予め設定されて おり、 所定の時間 tは、 例えばシャッターボタン 104力 しされる際の手ぶれ量が大 きいと考えられる時間として設定することができる。 したがって、 所定の時間 tは、 撮像 素子 14 、 の膨しょうとするシーンに応じて、 適当な値が設定される。 このように後撮影処理 （S 1 0 9 ) を行った後に、 画像変位量推定処理 (S 1 1 0) 、 W ^imm (s i n ) を行って、 高^ 匕処理 (s 1 1 1) によって^^された 高^ ^画像を画像識 (S I 1 2) し、 処理を終了する。 なお画像変位量推定処理 (S
1 1 0) 、
Figure imgf000012_0001
(s 1 1 1) については、 後に説明する。
ここで、 本 形態に係る撮像システムで行われる上述の処理について、 画像信号 （画 像データ） の¾^こ沿ってさらに詳しく説明する。 まず、 ユーザーが廳スィッチ 1 0 1 を ON状態にしてシャッターボタン 1 0 4を押すことなどにより、 撮像制御部 1 1は、 絞 り 1 a、 シャッター 4、 AFモーター 1 0等を制御して画像の撮影を行う。 画像の撮影で は、 C CD撮像素子 6からの画像信号が A,D変換回路 7にてデジタノ 言号化され、 第一 画^ M部 1 2により周知のホワイトバランス、 強調処理、 補間処理などがなされた RG B (赤、 緑、 青） の画像信号として、 ノ ッファメモリ 1 3に出力される。
図 3の S 1 0 4においてシャッターポタン 1 0 4が半押しされている場合に AF制御 (S 1 0 5) を行うが、 このときの^ 、位置は、 C CD撮像素子 6からの出力信号を AZ D変細路 7にてデジタノ 言号化し、 職状態の画像信号から （例えば、 G成分のみを用 いて） 輝度信号を算出して、 その «信号中のエッジ娘から求められる。 すなわち、 A Fモーター 1 0にてレンズ系 1の^ S位置を段,に変えることで、 エッジ ¾ ^が最大と なる^!位置を推定する。
そして AFをロックした後、 シャッターボタン 1 0 4が半押しされている間、 ήίί^処 理 （S 1 0 7 ) を行い、 例えばバッファメモリ 1 3に確保された 分の記憶領域 を用いて画像データの循環言 を行う。 その際、 AZD変 路 7にてデジタノ 言号化さ れた画像信号は、 第一画像処理部 1 2を介してバッファメモリ 1 3に識される。 Sfj^ 枚数分の画像データ力 Sバッファメモリ 1 3に言 されると、 撮像制御部 1 1が後 完了通知を出すための信号を出力し、 例えば液晶表示パネル 1 0 2に後 完了通知 が表示される。
図 7は、 後膨霜完了通知の例を示す図である。 図 7に示す例では、 液晶表示パネル 1 0 2に 「«^OK！」 という後 完了通知 1 0 6を表示することにより、 ユー ザ一に通知を行うようになって ヽる。
後 «完了»の後、 ユーザーがシャッターボタン 1 0 4を しすると ¾制御 部 1 1が後膨処理 (S 1 0 9 ) を行う。 後 処理 (S 1 0 9) で 初に膨された 一枚目の画像の画像信号を、 -m mm 2を介してバッファメモリ 1 3へ保存し、 撮像制御部 1 1でシャッターボタン 1 0 4力 しされてから所定の時間 tが観 か どうかを判定する （ S 4 0 4 ) 。 シャツタ一ボタン 1 0 4力 しされてから所定の時間 t力 S^i するまでは画像の を停止して、 所定の時間 t力 したら後 (S 1 0 9 ) における二枚目以降の を開始し、 二枚目以降の画像の画像信号も同様に第一画 i 2を介してバッファメモリ 1 3に保存される。 バッファメモリ 1 3に保存され た画像データ 4で J P EGなどの画^ が施され、 バッファメモリ 1 3をヮ ークバッファとして された画像データがバッファメモリ 1 3からメモリーカード I F 1 5を介してメモリーカード 1 6に言凝される。
なお第二画 »理部 2 0は、 メモリ一力一ド 1 1 5を介してメモリ一力一ド 1 6と の間で画像データの入出力が可能となっており、 またバッファメモリ 1 3との間でも画像 データの入出力が可能となっている。 このためバッファメモリ 1 3が大容量の ^には、 J¾された画像データや Ιϊ^される前の画像データをメモリ一力一ド 1 6へ言 E^¾~fこれ らの画像データをバッファメモリ 1 3に言 B ^しておき、 高^ ¾ィ匕処理部 2 O bで^^さ れた高解 ^¾画像の画像データのみをバッファメモリ 1 3からメモリーカード 1 6へ言 2^ しても良い。
図 8は、 本発明の鐘形態 1に係る撮像システムの麵シーケンスを示す図である。 本 ¾ϋ ^態では上述のように、 シャッターポタン 1 0 4が半押しされてから AFロックした 後、 例えば図 8の Αに示す期間中、 fiiii^処理 (S 1 0 7) を行いバッファメモリ 1 3に 前 数分の画像データを確保しながら循環記録する。 そしてシャッターボタン 1 0 4 力 S しされた直後に、 後 (S 1 0 9) におけるー¾¾ (S 4 0 1 ) を行った 後、 例えば図 8の Bに示す期間中、 画像の膨を停止する。 それから、 後 艇 (S 1 0 9) における二枚目以降の を行い、 バッファメモリ 1 3に後¾»：分の画像デー タを識する。 なお図 8の Cは、 後に説明する画像変位量推定処理 （S 1 1 0) に用いら れる画像データが言 s ^される期間を示している。 図 8に示す処理を行った後、 高解 ^化 処理 ( S 1 1 1 ) に必要な枚数分の画像データを用いて画像変位量推定処理 ( S 1 1 0) 、 高^^化麵 (S 1 1 1 ) を行う。
ここで、 第二画 部 2 0で行われる画 位量推定^ (S 1 1 0) 、 高解 ^ィ匕 処理 (S 1 1 1 ) について説明する。 第二画 部 2 0では、 はじめに画像 '変位量推定 部 2 0 aにおレ、て画像間の画像変位量 （画素位爾応） を推定した後、 この画素変位量と m (s ι o 7) およ (s I o 9 ) で得られた画像データを用いて高 ^mtM部 2 0 bにおレヽて高 me像を^ Tる。
まず、 画像変位量推定処理 (S 1 1 0 ) について説明する。 画像変位量推定部 2 0 a は、 シャッターボタン 1 0 4力 しされる前後の所定の期間である ¾^間に娜され たレヽずれ力の画像を綱画像として、
Figure imgf000014_0001
(S 1 0 7) およ 処理 (S 1 0
9) において された複難の画像と基準画像との間の画像変位量を推定する。 なお本 形態では、 シャッターボタン 1 0 4力 S しされた直後に された画像 （図 8の 1 ¾ ^時の画像） を»画像とする。 この：^、上記の規¾¾間はシャッターボタン 10
4力 S しされてから最初の画像が されるまでの期間である。
図 9は、 画^ ¾位量推定部 20 aで行われる画像変位量推定処理 (S 110) のァノレゴ リズムを示すフ口一チヤ一トである。 以下、 図 9に示すアルゴリズムの ¾ί«τに添つて画像 変位量推定処理 （S 110) の説明を行う。 まず、 画^ ¾位量推定の となる画像を基 準画像として 1枚読み込む (S 501) 。 本¾ ^態では、 シャッターボタン 104が全 押しされた直後に された画像が基準画像となる。 次に、 基準画像を複数の画像変位パ ラメータで変形させ、 画像列を^^する （S502) 。 このとき、 例えば基準画像を所定 の範囲で鍵、 回転させて画像列を^ Tる。 それから、 御画像との間の画艘位量推 定を行う参照画像として、 ttiW鍵 (S 107) およ «膨処理 (S 109) におい て膨された複隱の画像のうち 1枚の画像を読み込む (S 503) 。 そして、 領域べ一 スマツチング手法等のピクセノ Wツチング手法を用レ、て基準画像と参照画像との間で大ま 力な画素位置の対応付けを行う （S504) 。 これにより、 基準画像と参照画像との間の 画 «位量がピクセノレ （画素） レベルで求められる。
次に、 S 502で基準画像を赫することにより «された画像列と参照画像との間の 類似度値を算出する （S 505) 。 この類似度は、 例えば S SD (Sum o f S qu a r e d D i f f e r enc e) ^SAD (Sum o f Ab s o l u t e D i f f e r enc e) 等の画像列と参照画像との^として求めることができる。 そして S 5 02におレ、て画像列を した際の画艘位パラメータと、 S505で算出した類 値 との「«を用いて、 ■的な類似度マップを作^ 1~る （S506) 。 それから、 S506 で作成した,的な類 ί マップを補完して 的な類 fas曲線を求め、 この 的な類
«曲線において衝 値の極値を探針る （S507)。 的な類 ί マップを補完 して 的な類似度曲線を求める方法としては、 例えばパラボラフィッティングゃスプラ ィン補間法がある。 この^ Wな類 ί 曲線にぉレ、て類 ί献値が極値になるときの画像変 ィ立パラメータが、 S¾S像と参照画像との間の画^^ として推定される。
その後、 高 ^化処理 (S 1 1 1 ) で用いられるすべての画像について画像変位量推 定カ S行われたかどうかを判定し （S 5 0 8) 、 すべての画像について画艘位量推定が行 われていない には、 ftj^処理 (S 1 0 7) およ « 麵 （S 1 0 9 ) において された複對夂の画像のうち他の画像を次の画像として （S 5 0 9) 、 S 5 0 3から S 5 0 8までの処理を繰り返す。 なお本実施开態では、 前^^処理 (S 1 0 7) および後撮 影処理 (S 1 0 9) において撮影されバッファメモリ 1 3に されたすべての画像につ レ、て画像変位難定を行うものとするが、 バッファメモリ 1 3に識された複嫩の画像 の一部にっレ、てのみ画艘位量推定を行うようにしてもよレ、。 S 5 0 8におレ、て、 高嫌 度化^! (S 1 1 1 ) で用いられるすべての画像について画像変位量推定が行われたと判 定された^^には麵を終了する。
図 1 0は、 画像変位量推定処理 (S 1 1 0) の S 5 0 7において求められた類 ί 曲線 の例を示す図である。 図 1 0におレ、て、 縦軸は類 値を、横軸は図 9の S 5 0 2におレヽ て画像列を «した際の画像変位パラメータを示してレヽる。 図 1 0の例では、 画像列と参 照画像との間の類似度が S S Dで算出されており、 類赚曲線力 ¾|¾的な類 f マップを パラボラフィッティングで補完することにより求められているため、 類 ί 値力 S小さいほ ど類鍵が高くなる。 このように、 隐的な類 ί献マップを補完して^ ¾な類 ί«曲線 を求め、 その極値 （図 1 0の例では ィ直） を探^- Τることにより、 ¾¾S像と参照画像 との間の画^^位量をサブピクセルレベルで求めることができる。
このように、 画像変位量推 2 0 aで推定された画像変位量と、 画像変位量を求めた 画像の画像データを高 j¾f ^化処理部 2 0 b^¾¾U 基準画像に対して纏 »理を用 いた高 化麵 (S 1 1 1 ) を行う。
図 1 1は、 高H^fl^理部 2 0 bで行われる高^ gィ匕処理 （S 1 1 1 ) のァノレゴリ ズムを示すフローチャートである。 以下、 図 1 1に示すアルゴリズムの に添って ¾ΛΙ 像処理を用いた高 化 (S 1 1 1 ) の説明を行う。 まず、 基 «ί像の画像データ と画艇位量推定処理 (S 1 1 0) におレヽて画像変位量が推定された複嫩の画像の画像 データを読み込む （S 6 0 1 ) 。 次に、 基準画像を高 化鍵のターゲット画像とし て、 このターゲット画像に対しバイリニア補間やバイキュービック補間等の補 理を行 つて初期画像 ζ 0を作成する （S 6 0 2 ) 。 なおこの補間処理は、 ^により省略するこ とができる。
それから、 画像変位量推 2 0 aで推定された画像変位量を用いて、 ターゲット画像 と画像変位量推定処理 (S 1 1 0 ) において画 i M立量が推定された画像との間の画素対 応醒を明らかにし、 ターゲット画像の拡 標を基準とする座標空間において重ねあわ せ処理を行って、 レジストレーシヨン画像 yを生成する （S 6 0 3 ) 。 なおここで yは、 レジストレーション画像の画像データを表すべクトルである。 このレジストレーション画 像 yを^ Tる方法の詳細にっレ、ては、 「田中 ·奥富、 碰成 ？ itMの高速化アル ゴリズム、 Computer Vision and Image Media (CVIM) Vol. 2004、 No. 113、 pp.97-104 (2004-11)」 に開示されている。 S 6 0 3における重ねあわせ処理は、 例えは 像変位量 推定鍵 (S 1 1 0) において画^ ¾位量が推定された複辦夂の画像の各ピクセル値と、 ターゲット画像の拡; ½標との間で画素位置の対応付けを行い、 各ピクセノ HIをターゲッ ト画像の拡/ 標の最も近レ、格子点上にぉレ、ていくことで行われる。 このとき、 同一の格 子点上に複数のピクセル ί直をおく場合があるが、 その場合にはそれらのピクセノ Μ直に対し て平均ィ を する。
次に、 光学伝達関数（OTF、 Op t i c a 1 Tr an s f e r Func t i o n)、 CCDアパーチャ （CCD開口） 等の撮像難を考慮した点広がり関数（PS F、 P o i n t Sp r e a d F u n c t i o n)を求める （S 604) 。 この P S Fは、 以 下の式 (3) における行列 Aに反映され、 例えば簡易的に Ga u s s関数を用いることが できる。 それから、 S 603で^^されたレジストレーション画像 yと S 604で求めら れた PSFを用いて、 以下の式 (3) で表される言鞭関数 f (z) の最 / i匕を行レヽ （S6 05) 、 f (z) 力 S最 /hf匕されたかどうかを判定する （S606) 。
/(z) = ||y-Az||2+Ag(z) · · · (3)
式 （ 3 ) におレ、て、 yは S 603で賊されたレジストレーション画像の画像データを 表す列べクトル、 Zはターゲット画像を高解 ^化した高 像の画像データを表す 列べクトル、 Aは PSF等を含めた撮像システムの特性をあらわす画像変^列である。 また、 g (z) は画像の滑らかさや画像の色の相関等を考慮した正則ィ1^¾であり、 λは重 み係数である。 式 （3) で表される籠関数 f (z) の最 / f匕には、 例えば 下法を 用いることができる。 、降下法を用いる齢には、 f (z) を zの各要素で偏微分した 値を計算して、 それらの値を要素とするベタトルを^ -Tる。 そして以下の式 (4) に示 すように、 偏微分した値を要素とするべクトルを zに付加することにより、 高 像 zを Mffさせていき （S607) 、 f (z) 力 S最小となる zを求める。
Figure imgf000018_0001
式 （4) において、 ζηは η回目の fを行った高解 画像の画像データを表す列べ タトルであり、 αは更 の歩み幅である。 なお、 最初の S 605の 理では、 高解 ^¾ 画像 ζとして S 602で求められた初期画像 ζ。を用いることができる。 S606におい て f (z) 力 S最小ィ匕されたと判定された には処理を終了し、 そのときの z nを最終的 な高解^^画像としてメモリーカード 16等に記録する。 このようにして、 処理 (S 107) およ 処理 （S 109) において された複嫩の画像よりも高解 像の高^^ ®像を得ることができる。
図 12は、 高^ TOィ匕^ ®部 20bの構成例を^ 1~プロック図である。 ここで、 高解像 度化処理部 20 bで行われる 理を用いた高 iif^gィ 理 (s 111) についてさ らに説明する。 図 12に示す高解鍵化処理部 20 bは、補間拡大部 201、 画像^ ¾ 202、 PSFデータ 部 203、 畳込^^ 204、 レジストレーシヨン画^^ 部 205、画敏麵 206、 畳^ ¾分部 207、 正則化項演算部 208、 赌画胜 成部 209、収束判 ¾¾5210力ら構成される。
はじめに、 シャッターボタン 104力 S しされる前後の所定の期間である規¾¾間に された基準画像を補間拡大部 201に与え、 基準画像の補間拡大を行う （図 11の S 602に対応） 。 ここで用いられる補間拡大の雄としては、 例えばバイリニア補間ゃバ ィキュービック補間などが挙げられる。 補間拡大部 201におレ、て補間拡大された ¾2p画 像は、 例えば初期画像 z0として画像蓄積部 202に送られ、 ここに蓄積される。 次に、 補間拡大された基準画像は畳 i^a分部 204に与えられ、 P S Fデータ麟部 203に より与えられる PSFデータ （式 （3) の画像変衡 ϊ列 Aに相当） との間で畳 分が 行われる。
また、 基準画像およひ面像変位量推定処理 (S 110) において画像変位量が推定され た複嫩の参照画像は、 レジストレーション画^ «部 205に与えられ、 画像変位量推 ¾¾20 aで求められた画像変位量を元に基準画像の拡 標を基準とする座標空間で重 ねあ ^Ηί処理を行うことにより、 レジストレーシヨン画像 yが^^される （図 11の S6 03に対応） 。 レジストレーション画像^部 205における重ねあわせ処理は、 例えば 画像変位量推定処理 (S110) におレヽて画艇位量が推定された複難の画像の各ピク セル値と、 基準画像の拡 標との間で画素位置の対応付けを行い、 各ピクセノ w直を » 画像の拡 標の最も近レ、格子点上にぉレ、ていくことで行われる。 このとき、 同一の格子 点上に複数のピクセル ί直をおく があるが、 その場合にはそれらのピクセル値に対して 平均ィ を難する。
畳込み積^ 204において畳込み積分された画像データ （ベクトル） は画 ^i 較部 2 06に送られ、 レジストレーション画 部 205におレ、て^^されたレジストレーシ ョン画像 yとの間で、 同一のピクセノ 立置におけるピクセノ M直の を算出することによ り、 画像データ （式 (3) の （y— Az) に相当） が される。
Figure imgf000020_0001
において^^された ¾ ^画像データは畳込^ 207に与えられ、 P S Fデータ麟 部 203により与えられる P S Fデータとの間で畳込^分が行われる。 畳込^^ 2 07は、 例えば式 (3) における画像変^列 Aの転衝亍列と ^^画像データを表す列べ クトルとを畳込 分することにより、 式 （3) の II y-Az II 2を zの各要素で偏微分 したべクトルを^ る。
また、 画像蓄積部 202に蓄積された画像は正則化項演算部 208に与えられ、 式 (3) における正則化項 g (z) が求められると共に、 正則化項 g (z) を zの各要素で 偏微分したべクトルが求められる。 正則化項演算部 208は、 例えば、 画像 ^¾¾202 に蓄積された画像データに対して、 RGBから YCrCbの色変換処理を行い、 その YCr Cb成分 0^β¾分と色誠分） に対して周波数高域通過フィルタ （ラプラシアンフィル タ） を畳 i ^分したベクトルを求める。 そして、 このベクトルの二乗ノルム （長さの二 乗） を正則化項 g (z) として、 g (z) を zの各要素で偏微分したベクトルを生成す る。 Cい Cb成分 （色 分） にラプラシアンフィルタを掛けると偽色の成分が抽出され るため、 正則化項 g ( z ) を最 /Jィ匕することにより偽色の成分を除去することができる。 このため、式 （3 ) に正則化項 g ( z ) を含めることで 「一般に画像の色 ^^分は滑らか な変ィ匕である」 という画像の先験',を用いることとなり、 色差を抑制した高 像 を安定して求めることが可能となる。
畳込 2 0 7で された画像データ （べクトル） 、 画像^ ¾ 2 0 2に蓄積さ れた画像データ （べクトル） 、 正則化項演算部 2 0 8で生成された画像データ （べクト ノレ） は、 ff画 ^^部 2 0 9に与えられる。 ff画^^部 2 0 9では、 これらの画像 データ （ベクトル） 力 S式 （3 ) 、 式 （4) に示すえ、 α等の重み係数を乗じて加算され、 Mffされた高 像が «される （式（4) に対応） 。
それから、 赌画 ^^部 2 0 9において惑された高 «?^1®像は、 収束判 2 1 0へ与えられ、 収束判定が行われる。 この収束判定では、 収束にカゝかつ^^り返し演算回 数が一定回数よりも多くなった に高角?^ Μ像の ff«が収束したと判断しても良 いし、 また、過去に赌された高^^画像を言 しておき、 現在の高^ 像との差 分を取つて、 その ¾ ¾が一定の値よりも少なレヽと判断された に高^«^画像の ff 誰が収束したと判断しても良レ、。
収束判 2 1 0におレ、て Hffi條カ S収束したと判断された には、 麵された高解 髓画像 ¾¾鹏な高 画像として外部へ出力される。 赌纏カ S収束していないと 判断された には、 赌された高 m¾画像は画像謹部 2 0 2へ与えられ、 次回の更 新作業に利用される。 この高解 ^画像は、 次回の更新 «のために畳込^ «分部2 0 4、 正則化項演算部 2 0 8へ与えられる。 以上の処理を繰り返し、 5^画 ^部2 0 9 で高^ 像を魏していくことで、 贿な高 像を得ることができる。 本¾»態では、 第 1段階の 指示としてシャッターボタン 1 0 4が しされてい る間に Ιίί¾«Ι (S I 0 7) を行って、 第 2段階の„ としてシャッターボタン 1 0 4力 S しされた後に後 処理 (S 1 0 9) を行い、 シャッターボタン 1 0 4が^ しされた直後.に膨された画像を御画像として、 参照画像と鮮画像との間の画艘位 量を推定するため、 参照画像と ffi 画像との間の画像変位量を高い精度で推定することが でき、 子な高 像の ^^が可能となる。
また、 後 処理 (S 1 0 9 ) において^ し直後の (S 4 0 1 ) を行った後 に、 手ぶれ量が大きいと考えられる時間が経過するまで画像の を停止することによ り、 参照画像と基準画像との間の画像変位量をさらに高レヽ精度で推定することが可能とな る。
Figure imgf000022_0001
図 1 3 A— 1 3 Dは、 本発明の実施形態 2に係る撮像システムにおいて基準画像を自動 的に決定する方法の例を示す図である。 なお、 本鍾形態に係る撮像システムの構 よ
«理は、 以下に示す点を除いて雄形態 1に係る撮像システムと同様であり、 異なる部 分についてのみ説明する。
図 1 3 Aでは、 シャッターボタン 1 0 4力 S^ifしされる前後に所定の «の画像が される期間として規¾¾間力 S決められており、 この規 間に されたいずれかの画像 を基準画像として、 複隱の参照画像と基準画像との間の画像変位量を推定し、 後の高解 髓化処理 (S 1 1 1 ) 等を行う。 なお図 1 3 Aの例では、 前 夂数が 3 0枚、 後撮影 が 3 0枚であり、 シャッターボタン 1 0 4力 S^J しされる前 1 0枚と後 1 0枚の合計 2 0枚が される期間を規¾¾間とし、 この 2 0枚の中から ¾¾S像を決定するように なっている。 図 13Bでは、 図 13 Aと同様にシャッターボタン 104力 S しされる前後に所定の の画像が される期間として規¾¾間が決められているが、 後 m¾数が 6枚しか ないため、 シャッターボタン 104力 S しされる前 14枚と後 6枚の合計 20枚が される期間を規¾¾間とし、 この 20枚の中から ¾¾®像を決定するようになっている。 図 13Cでは、 シャッターボタン 104力 ^i しされる前後の所定の長さの時間として 規¾¾間が決められており、 この規¾¾間に されたいずれカゝの画像を基準画像とし て、 複嫩の参照画像と挪画像との間の画像変位量を推定し、
Figure imgf000023_0001
(s
111) 等を行う。 なお図 13 Cの例では、 前 処理 (S 107) を行う時間が 1秒、 後膨処理 (S 109) を行う時間が 1秒であり、 シャッターボタン 104が^ しされ る前 1 3秒と後 1/3秒の合計 2Z3秒を ¾¾¾間とし、 この 2Z3秒の間に され た画像の中から基準画像を決定するようになってレヽる。 ここで例えば、 撮像システムのフ レームレートカ 30 f p sの 、 1ノ 3秒の間に される画像は 10枚となる。
図 13Dでは、 図 13 Cと同様にシャッターボタン 104力 しされる前後の所定の 長さの時間として規^間が決められているが、 tirif^処理 (S 107) を行う時間が 0. 2秒しかないため、 シャッターポタン 104力 しされる前 0. 2秒と後 （ （1Z 3-0. 2) +1/3) 秒の合計 2/3秒を^ ¾間とし、 この 2 3秒の間に ¾ ^され た画像の中から基準画像を決定するようになってレ、る。 なお効果にっレ、ては、 形態 1 に係る撮像システムと同様である。 図 14は、 本発明の 態 3に係る撮像システムの纏シーケンスを示す図である。 なお、 本霞形態に係る撮像システムの構成およ 理は、 以下に示す点を除いて雄形 態 1や ¾^態 2に係る撤システムと同様であり、 異なる部分にっレ、てのみ説明する。 本¾»態では図 14 すように、 fii^処理 (S 107) およ (S 1 09) において された画像の画像データを、 画 の施されていない RAWデータ としてバッファメモリ 13に言 する。 なおバッファメモリ 13は、 ttJ^処理 (S 10 7) において膨された画像の画像データを RAWデータとして循環識 態 1参 照） するものとする。 また本謹形態では、 切替部 8力 ¾ίί^麵 (S 107) およ « W^^m (S 109) において撮影された画像の画像データを RAWデータのままバッフ ァメモリ 13に it^ する。 これにより、 高 ill^イ^ L理部 20bにおレ、て高 ィ匕 処理 (S 111) に適した RAWデータを用いることができる。 その他の効果について は、 »^態 1や 態 2に係る «システムと同様である。
Figure imgf000024_0001
図 15は、 本発明の ¾ ^^態 4に係る撮像システムにおける高解鍵化達について説 明するための図である。 なお、本雄形態に係る撮像システムの構成おょ確理は、 以下 に示す点を除レ、て実施形態 1や実施形態 2や実施形態 3に係る撮像システムと同様であ り、 異なる部分についてのみ説明する。
本実»態では、 レジストレーション画像 yを生成する代わりに、 前膨処理 (S 10 7) およ 処理 (S 109) において膨された複難の画像の画像データ ykを 用いて高^^化処理 （¾6S^態 1の高解鍵イ^ 0;理 S111に相当） を行い、 その際、 処理 (S 107) およ (S 109) において された複 の画像 に対して重み付けを行う。 本雄形態における讓関数 f (z) は、 以下の式 （5) で表 される。
Figure imgf000024_0002
式 （5) において、 ykは Si ^処理 (S 107) およ U¾娜処理 (S 109) にお レ、て k番目に された画像 （贿髓画像） の画像データを表す列ベクトル、 a kは各 ί¾»¾画像に^ Tる重み係数、 Zはターゲット画像を高^^化した高 像の画 像データを表す列ベクトル、 Akは画像間モーション、 P S F等を含めた撮像システムの 難をあらわす画像変贿列である。 本雄形態では、 Akが画像変位量推定処理 (S 1 1 0) で推定された画艘位量を用いて算出されており、 ターゲット画像と {5^^®像 の位置合; iができるようになつている。 また、 g ( z ) は画像の滑らかさや画像の色の 相関等を考慮した正則化項であり、 は重み係数である。 本¾»態でも ¾6S形態 1と同 様に、 下法等を用いて、 式 （5 ) で表される籠関数 f ( z ) が最小となる高解像 像 zを求める。
本! ¾ ^態では図 1 5に示すように、 シャッターボタン 1 0 4が^ しされた時点 （基 準画像が される直前） により近い時点で された画像に対してより高い重み付けを 行うようになっている。 例えば、 贿^ ®像の nフレーム目 （基準画像） を高解髓ィ匕 する場合には、 nフレーム目に近いフレームほど重み係数 a kの値を大きくする。 なお重 み係数 a kの値は、 図 1 5に示すようにガウス分布的に重みを変ィ匕させてもよいし、 基準 画像から近い所定の範囲内のフレームに他のフレームよりも大きい一定の重みをつけるよ う ίこしてあよレヽ。
本雄形態では、 基準画像が搬される時点により近レ、時点で膨された画像に対して より高レ、重み付けを行うようになってレ、るため、類 が高レヽと考えられる画像を用レ、て 良好な高^ 像を することが可能となる。 その他の効果については、 猫形態 1 ゃ¾»態 2ゃ¾»態 3に係る «システムと同様である。
態 5)
図 1 6は、 本発明の 態 5に係る撮像システムの麵シーケンスを示す図である。 なお、本難形態に係る撮像システムの構成およ 理は、 以下に示す点を除いて猫形 態 1ゃ¾»態 2 ^ m 3 ^ m 4に係る撮像システムと同様であり、 異なる部 分についてのみ説明する。
本実施形態では、 後撮影処理 （実施形態 1の S 1 0 9 ) において画像の撮影を停止せ ず、 ¾処理 態 1の S 1 0 7) と同様に複纖の画像を赚的に する。 そ して、 シャッターボタン 1 0 4力 しされた直後 （図 1 6の N) に された画像を基 準画像とするが、 図 1 6 ( a ) の例では、 基準画像力 S膨された後に職された所定の枚 数 （図 16 ( a ) では 2枚） の画像を!^して高解鍵化麵を行う。 なお高 m¾化処 理に用いなレヽ画像については、 画像変位量推定鍵 (S 1 1 0) を行う必要もなレヽ。
また図 1 6 ( b ) の例では、 実施形態 4の重み付けを用レヽた高解像度化処理を行うが (式 ( 5 ) 参照） 、 講画像が された後に搬された所定の徹 （図 1 6 (b ) では 2抝 の画像の重み係数 a kを小さくする。
本¾»態では、 シャッターボタン 1 0 4カ^ ifしされた後に された 量が多 いと考えられる所定の概の画像を除外若しくは区別して高解髓化麵を行うため、 良 好な高解鍵画像を«することが可能となる。 その他の効果については、 態 1や m 2 ^ 3 ^ mm 4に係る システムと同様である。 図 1 7は、 本発明の 態 6に係る撮像システムにおける高解^ g画像の倍率と高解 鍵化処理で翻される画像の枚数の遍を示すグラフである。 なお、本謹形態に係る 撮像システムの構成おょ 理は、 以下に示す点を除レヽて魏形態 1や雄形態 2ゃ靈 形態 3や雄形態 4ゃ雞形態 5に係る撮像システムと同様であり、 異なる部分にっレ、て のみ説明する。 本 ¾ 形態では、 ¾ί ^処理 (S 107) およ 処理 (S 109) において された複«の画像のうち、 高^^化処理に ffifflする画像の «が、 «される高解像 麵像の僻 ^の画像に财る の比） に応じて自動的に設定される。 このとき図 17に示すように、 高解 像の倍率が大きいほど高解像度ィ 理に使用する画像の枚 数を多くする。
また、 例えば 態 1の ϋ^¾Ι^定 (s 101) の代わりに、 ユーザーが高^»¾ 画像の倍率を設定するようにして、 その高解像度画像の生成に必要な枚数の画像を算出 し、 tfi^処理 (S 107) およ 処理 (S 109) においてその枚数分の画像を するようにしてもよレヽ。 なおこのとき、 tiiS^処理 (S 107) と後膨鍵 (S 1 09) で膨する画像の概を別々に算出するようにしてもよレ、。
本¾»態では、 高解^ ®像の鮮に応じた機の画像を用レ、て高 化麵を行 うため、 舰な高解^ ®像を ることが可能となる。 その他の効果については、 実 施形態 1 ^ m 2や 形態 3や n»態 ^ m 5に係る撮像システムと同様 である。
Figure imgf000027_0001
本難形態に係る搬システムは、 tii¾« (S 107) およ 処理 (S 10
9) をデジタルスチルカメラ等の撮^ ¾置で行い、 «位量推定処理 (S 110) およ ひ 角? ^¾化処理 (S 111) をノ、。—ソナルコンピュータ等の画^ ^艘置で行うように なっている。 その他の撮像システムの構成および処理は、 実施形態 1から 6のレヽずれかの 撮像システムと同様である。 本^^態のように画像の と画^理を別の装置で行う には、 画 位量推定 (S110) およひ ^¾ィ匕^ M (SI 11) で用いら れる画像データ、 どの画像を基準画像とするかにつレヽての'隨等を画 置に 若 しくは入力する必要がある。 また鍾形態 4のように重み付けを用いた高 m¾化鍵を 行う には、 重み係数の情報等を画讓雄置に与えること力 S必要である。 なお効果に っレ、ては、 H»態 1から 6のレ、ずれかの システムと同様である。
なお、 本発明は上記した 態に限定されるものではなく、 その g«思想の範囲内 でなしうるさまざまな変更、 改良力含まれることは言うまでもなレ、。 例えば 態 1か ら 6では、 M¾処理 (S 1 0 7) を開始する第 1の段階の ^としてシャツターボ タン 1 0 4の特しを、 後 処理 (S 1 0 9) を開始する第 2段階の 指示としてシ ャッターボタン 1 0 4の しを例に挙げているが、 第 1の段階の 赫および第 2段 階の ί ^の入力を別の方法で行つてもよレヽ。 また、 m ι力ら 6では鮮画像を 高解鍵イ^ L理する 法として^ を用いているが、 理を用いた高 fif^ ィ匕処理の代わりに、 例えば tir 処理 (s 1 0 7) およ ^処理 (s 1 0 9) で膨 された画像の画像変位量を推定した後、 画像を重ね合^:て加重平均し、 ランダムノイズ を {g¾するような画 を行うようにしてもよレ、。
顧は 2007年 6月 11 日に日本国特許庁に出願された特願 2007-154097に基づく優先権 を主張し、 これらの出願の全ての内容は参照により本明細書に組み込まれる。

Claims

請 求 の 範 囲
1. 画像を撮影して、 lilt己画像の画像データを生成する システムであって、
第 1段階の 标力 S入力された後に第 2段階の職赫力 S入力される 入力部 (104) と、
編己第 1段階の 指示が入力されてから ΙίίΙΕ第 2段階の職指示力 S入力されるまでの 間に複難の画像を膨する 処理を行って、 鍾己第 2段階の麟膨カ S入力された 後に複難の画像を膨する後膨麵を行う膨部 （1、 3〜14) と、
藤己第 2段階の膨が入力される前後の所定の期間である規 間に膨されたレ、ずれ 力の画像を ¾¾S像として、 鎌己 Ιίίί ^処理おょひ孺己後膨麵におレ、て膨された複 の画像と 基準画像との間の画像変位量を推定する画像変位量推 (20 a) と、
を備える撮像システム。
2. 請求項 1に言 の撮像システムであって、
爾己画像変位量推 (20 a) によって推定された画像変位量と、 m w ^ ょひ嘗己後搬処理にぉレ、て膨された複徹の画像を用レ、て、 謂己 Siiii^処理およひ 記後膨麵において された画像よりも高膽の高解鍵画像を^- る高 ^化 麵部 (20b) をさらに備える纖システム。
3. 請求項 2に記載の撮像システムであって、
漏己高 m¾化処理部 (20b) は、 嫌己高解鍵画像を^ る際に、 謙己 tfim^処 理およひ mi己後 において撮影された複 妝の画像に対して重み付けを行う重み付 け部を有し、 嫌己重み付け部は、 嫌己第 2段階の膨 力 s入力された時点により近い時 点で^^された画像に対してより高レ、重み付けを行う、
搬システム。
4. 請求項 2または 3に記載の撮像システムであつて、
嫌己高^ S化処理部 ( 2 0 b) は、 廳己後膨処理において搬された複嫩の画像 のうち、所定の機の画像を して ΐ ΐΞ高 像を^ Tる、
^^システム。
5. 請求項 2に記載の撮像システムであつて、
m m imm (2 0 b) は、 tffia後膨処理におレヽて された複嫩の画像 のうち、所定の杉激の画像を区另リして処理する、
^^システム。
6. 請求項 2力ら 5のレヽずれ力、一つに記載の システムであつて、
stiiB高館纏匕処理部 (2 0 ) は、 嫌己高 画像の解に応じて、 Mm^ 画像の に用いる画像の枚数、 または MlBffii^処理おょひ蕭己後 処理にぉレ、て撮 影される画像の » [を設定する^ ffl»c^ を有する、
纖システム。
7. 請求項 1力、ら 3のレ、ずれか一つに記載の システムであって、 ΙΗϋ^部 （1、 3〜1 4) は、 ttit己後 #f 0aにおいて所定の «の画像を ¾した 後に所定の時間力 S するまで画像の を停止する、
纖システム。
8. 請求項 1から 6のレヽずれか一つに言 E¾の ¾システムであって、
肅己画像変位量推 ( 2 0 a ) は、 嫌己第 2段階の膨指示が入力された後に最初に された画像を ffiP画像とする、
¾システム。
9. 請求項 1から 8のレ、 1¾力一つに言凍の撮像システムであって、
lift己 麵におレ、て される複難の画像のうち所¾«分の画像の画像データ を することができ、 古レヽ画像の画像データを新しレヽ画像の画像データで上書きしなが ら編 ¾»：分の画像の画像データを循環的に識する循環言 部を備え、 嫌己循環記 録部は、 藤己 ΐ ϋ^処理おょひ丽己後膨処理にぉレ、て膨された画像の画像データを画 »aの施されていない RAWデータとして言 る、
撮像システム。
1 0. 請求項 1から 9のレ、ずれか一つに言 の システムであって、
ΙΒ¾¾¾間は、 ΙίίΙ己第 2段階の膨^力 S入力される前後の所定の長さの時間として 決められている.、
撮像システム。
11. 請求項 1力ら 9のレヽずれか一つに言織の システムであって、 藤己規魏間は、 謂己第 2段階の膨 力 S入力される前後に所定の概の画像が搬 される期間として決められている、
纖システム。
12. シャッターボタン （104)力 しされる前後に複¾¾の画像を攝する徹シ ステムから複«の画像の画像データを取得する画像データ取得ステップ （S 107, S 109) と、
前記シャッターボタン （104)が fしされる前後の所定の期間である規定期間に撮 影された画像から講画像を自動的に決定する S¾S像決定ステップ （S110) と、 tfiiEシャッターボタン （104)が^ しされる前後に^^された複嫩の画像と tins
¾W像との間の画像変位量を推定する画^^位量推定ステップ （S 110) と、 をコンピュータに実行させるプログラム。
PCT/JP2008/060929 2007-06-11 2008-06-10 撮像システムおよび撮像プログラム Ceased WO2008153167A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/635,368 US20100091131A1 (en) 2007-06-11 2009-12-10 Imaging system and storage medium storing an imaging program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-154097 2007-06-11
JP2007154097A JP2008306651A (ja) 2007-06-11 2007-06-11 撮像システムおよびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/635,368 Continuation US20100091131A1 (en) 2007-06-11 2009-12-10 Imaging system and storage medium storing an imaging program

Publications (1)

Publication Number Publication Date
WO2008153167A1 true WO2008153167A1 (ja) 2008-12-18

Family

ID=40129768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/060929 Ceased WO2008153167A1 (ja) 2007-06-11 2008-06-10 撮像システムおよび撮像プログラム

Country Status (3)

Country Link
US (1) US20100091131A1 (ja)
JP (1) JP2008306651A (ja)
WO (1) WO2008153167A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219574A (ja) * 2009-03-12 2010-09-30 Ricoh Co Ltd 画像合成装置、及び画像合成プログラム
US8571356B2 (en) 2009-08-24 2013-10-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image processing program
JP2016524423A (ja) * 2013-06-21 2016-08-12 クアルコム，インコーポレイテッド ユーザ選択関心領域を超解像するためのシステムおよび方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1993278A1 (en) * 2006-03-03 2008-11-19 Olympus Corporation Imaging device, processing method for obtaining high-resolution, processing program for obtaining high-resolution, and recording medium
US20100141734A1 (en) * 2008-10-28 2010-06-10 Hitachi Maxell, Ltd. Imaging apparatus and optical axis correction method of imaging apparatus
FR2945698B1 (fr) * 2009-05-18 2017-12-22 Canon Kk Procede et dispositif de codage d'une sequence video
KR101630303B1 (ko) * 2010-02-02 2016-06-14 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
JP5687608B2 (ja) 2011-11-28 2015-03-18 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6012167B2 (ja) * 2011-11-29 2016-10-25 キヤノン株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
JP5949165B2 (ja) * 2012-05-29 2016-07-06 富士通株式会社 画像合成装置、画像合成プログラム及び画像合成方法
JP6278712B2 (ja) * 2014-01-17 2018-02-14 キヤノン株式会社 撮像装置およびその制御方法
JP6863089B2 (ja) 2017-05-30 2021-04-21 トヨタ自動車株式会社 変数群演算装置、変数群演算方法、及び変数群演算プログラム
JP7614814B2 (ja) * 2020-12-07 2025-01-16 キヤノン株式会社 撮像装置とその制御方法及びプログラム
CN114531549B (zh) * 2022-04-22 2022-08-09 浙江大华技术股份有限公司 图像采集方法、电子设备和计算机可读存储介质
CN121733590A (zh) * 2026-02-28 2026-03-27 妆溯(广东)数字科技有限公司 基于图像处理的具身机器人高速抓取控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006021A (ja) * 2005-06-22 2007-01-11 Nikon Corp 撮像装置および画像処理プログラム
JP2007013269A (ja) * 2005-06-28 2007-01-18 Olympus Corp 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006021A (ja) * 2005-06-22 2007-01-11 Nikon Corp 撮像装置および画像処理プログラム
JP2007013269A (ja) * 2005-06-28 2007-01-18 Olympus Corp 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219574A (ja) * 2009-03-12 2010-09-30 Ricoh Co Ltd 画像合成装置、及び画像合成プログラム
US8571356B2 (en) 2009-08-24 2013-10-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image processing program
JP2016524423A (ja) * 2013-06-21 2016-08-12 クアルコム，インコーポレイテッド ユーザ選択関心領域を超解像するためのシステムおよび方法

Also Published As

Publication number Publication date
US20100091131A1 (en) 2010-04-15
JP2008306651A (ja) 2008-12-18

Similar Documents

Publication Publication Date Title
WO2008153167A1 (ja) 撮像システムおよび撮像プログラム
US9473698B2 (en) Imaging device and imaging method
US9858651B2 (en) Electronic device and method in an electronic device for processing image data
US9118840B2 (en) Image processing apparatus which calculates motion vectors between images shot under different exposure conditions, image processing method, and computer readable medium
CN101998053B (zh) 图像处理方法、图像处理设备和成像设备
US8872936B2 (en) Image processing device, white balance correction method, and imaging device
CN103647898B (zh) 摄像设备及其控制方法
US8125557B2 (en) Image evaluation method, image capturing method and digital camera thereof for evaluating and capturing images according to composition of the images
US8587671B2 (en) Digital image processing apparatus, an image processing method, and a recording medium storing the image processing method for obtaining an out-of-focus image by using a plurality of images
US20100201828A1 (en) Image processing device, image processing method, and capturing device
TW201007617A (en) Image processing device and program
US20100245632A1 (en) Noise reduction method for video signal and image pickup apparatus
WO2014183385A1 (zh) 一种终端及其实现图像处理的方法
JP2002112095A (ja) デジタルスチルカメラ
US9007471B2 (en) Digital photographing apparatus, method for controlling the same, and computer-readable medium
US20030076437A1 (en) Image capturing apparatus
US8553097B2 (en) Reducing blur based on a kernel estimation of an imaging device
JP2021140663A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体
EP3605450B1 (en) Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program
JP2021180366A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2020160773A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2008079123A (ja) 撮像装置及びフォーカス制御プログラム
JP2007013270A (ja) 撮像装置
JP2012133492A (ja) 画像処理装置およびプログラム
JP2007013269A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08765622

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08765622

Country of ref document: EP

Kind code of ref document: A1