WO2013069292A1 - 画ブレ補正装置 - Google Patents

画ブレ補正装置 Download PDF

Info

Publication number
WO2013069292A1
WO2013069292A1 PCT/JP2012/007186 JP2012007186W WO2013069292A1 WO 2013069292 A1 WO2013069292 A1 WO 2013069292A1 JP 2012007186 W JP2012007186 W JP 2012007186W WO 2013069292 A1 WO2013069292 A1 WO 2013069292A1
Authority
WO
WIPO (PCT)
Prior art keywords
light field
field information
blur
image
series
Prior art date
Application number
PCT/JP2012/007186
Other languages
English (en)
French (fr)
Inventor
苅田　吉博
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2013069292A1 publication Critical patent/WO2013069292A1/ja
Priority to US14/177,651 priority Critical patent/US9070189B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the technology disclosed here relates to an image blur correction apparatus.
  • Some conventional imaging devices include an image blur correction mechanism (see Patent Document 1).
  • an image blur correction mechanism see Patent Document 1
  • the image pickup optical system is moved by the drive actuator based on the movement amount, and the position of the image on the image pickup sensor is corrected.
  • a conventional imaging apparatus can output an image with small blur.
  • the image shake is corrected by the image blur correction mechanism as described above.
  • the image blur is corrected by moving the imaging optical system.
  • the conventional image blur correction mechanism cannot correct the blur of each subject (first subject, second subject).
  • the case where the imaging device has moved upward has been described as an example, but the same problem also occurs when the imaging device has moved downward or left and right.
  • a correction device is provided.
  • the image blur correction device includes light field information generation means, blur amount detection means, and correction means.
  • the light field information generating unit generates a series of light field information corresponding to continuously shot images taken by the imaging device.
  • the blur amount detecting means detects the blur amount of the imaging device from a series of changes in the light field information.
  • the correcting unit corrects the series of light field information according to the blur amount so as to suppress the change in the series of light field information.
  • the image blur correction device By configuring the image blur correction device in this way, it is possible to correct image blur satisfactorily even when a plurality of subjects are present at different positions in the depth direction.
  • the block diagram of the light field camera which concerns on this embodiment (A) a diagram showing a relationship between a light beam passing through a lens array and an image sensor, and (B) a diagram for explaining a light beam incident angle ( ⁇ , ⁇ ).
  • the flow which shows the processing form of the light field camera which concerns on this embodiment.
  • the figure which showed the relationship between the optical component of the light field camera which concerns on this embodiment, and a light ray ((A) initial state, (B) angle blurring state).
  • the schematic diagram for demonstrating the state of the light field information which concerns on this embodiment ((A) initial state, (B) angle blurring state, (C) angle blurring correction, (D) after angle blurring correction).
  • the figure which showed the relationship between the optical component of the light field camera which concerns on this embodiment, and a light ray ((A) initial state, (B) movement blur state).
  • the schematic diagram for demonstrating the state of the light field information which concerns on this embodiment ((A) initial state, (B) movement blur state, (C) after movement blur correction).
  • the figure which shows the three-dimensional optical axis direction intensity distribution which concerns on this embodiment ((A) initial state, (B) after rotation blurring).
  • the digital camera 100 includes an optical system 101, an image sensor 120, an AFE (analog front end) 121, a light field information processing unit 125, an image processing unit 122, a buffer memory 124, and a liquid crystal monitor 123. Prepare.
  • the digital camera 100 further includes a controller 130, a card slot 141, a flash memory 142, and an operation unit 150.
  • the optical system 101 forms a subject image.
  • the optical system 101 mainly includes a plurality of lenses 102 including a focus lens, and a lens array 103.
  • the plurality of lenses 102 are lenses that adjust the focus state of the subject and adjust the angle of view of the subject.
  • the plurality of lenses 102 may be composed of any number of lenses, and may be composed of any number of groups of lenses.
  • an example in which a plurality of lenses 102 is included in the optical system 101 is shown, but if the lens array 103 is provided, the plurality of lenses 102 are not necessarily prepared.
  • the lens array 103 is a lens in which a plurality of lens elements are arranged in parallel (see FIG. 2).
  • the lens array 103 is disposed to face the image sensor 120.
  • a hood that limits the lens diameter, focal length, distance to the image sensor, and viewing angle in each lens element so that an image formed by each lens element does not overlap an image formed by adjacent lens elements. Etc. are designed.
  • the image sensor 120 is an image sensor that captures a subject image formed by the optical system 101.
  • the image sensor 120 generates image data of a frame (frame) that captures the subject image.
  • the AFE (Analog Front End) 121 performs various processes on the image data generated by the image sensor 120. Specifically, the AFE 121 performs processing such as noise suppression by correlated double sampling, amplification to the input range width of the A / D converter by an analog gain controller, and A / D conversion by the A / D converter.
  • the light field information processing unit 125 generates light field information and executes various processes on the light field information. Specifically, the light field information processing unit 125 generates light field information based on the image information of the subject image. In addition, the light field information processing unit 125 performs various types of blur detection based on the light field information and performs various types of blur correction on the light field information.
  • the light field information generation unit 110, the angle blur detection unit 111, the angle blur correction unit 112, the parallel movement blur detection unit 113, the parallel movement blur correction unit 114, the rotation blur detection unit 116, and the rotation blur correction unit 117 In addition, it is realized in the light field information processing unit 125. Details of each means 110-114, 116-117 will be described later.
  • the image processing unit 122 generates and outputs image data based on the combined light field information.
  • the image processing unit 122 performs processing such as smear correction, white balance correction, gamma correction, YC conversion processing, and electronic zoom processing on the image data.
  • the image processing unit 122 performs processing such as compression processing, reduction processing, enlargement processing, and composition processing. By executing such processing on the image data, the image processing unit 122 generates a through image and a recorded image.
  • the output image generation unit 115 is mainly realized in the image processing unit 122. Details of the output image generation means 115 will be described later.
  • the image processing unit 122 is a microcomputer that executes a program.
  • the image processing unit 122 may be a hard-wired electronic circuit.
  • the image processing unit 122 may be configured integrally with the controller 130 or the like.
  • the controller 130 controls the overall operation of the digital camera 100.
  • the controller 130 includes a ROM, a CPU, and the like.
  • the ROM stores a program for overall control of the entire operation of the digital camera 100, in addition to programs related to file control, autofocus control (AF control), automatic exposure control (AE control), and flash emission control. Yes.
  • the controller 130 controls the light field information processing unit 125.
  • the controller 130 records the image data subjected to various processes by the image processing unit 122 in the memory card 140 and the flash memory 142 (hereinafter, the memory 140, 142) as still image data or moving image data.
  • the imaging control unit 105 is mainly realized by the controller 130.
  • the controller 130 is a microcomputer that executes a program. However, in another embodiment, a hard-wired electronic circuit may be used. The controller 130 may be configured integrally with the image processing unit 122 and the like.
  • the liquid crystal monitor 123 displays images such as a through image and a recorded image.
  • the through image and the recorded image are generated by the image processing unit 122.
  • the through image is a series of images that are continuously generated by the image processing unit 122 at regular time intervals while the digital camera 100 is set to the shooting mode.
  • the recorded image is an image obtained by decoding (expanding) the still image data or the moving image data recorded in the memory 140, 142 or the like.
  • the recorded image is displayed on the liquid crystal monitor 123 when the digital camera 100 is set to the reproduction mode.
  • any display capable of displaying an image such as an organic EL display or a plasma display, may be used.
  • the buffer memory 124 is a volatile storage medium that functions as a work memory for the image processing unit 122 and the controller 130.
  • the buffer memory 124 is a DRAM.
  • the flash memory 142 is an internal memory of the digital camera 100.
  • the flash memory 142 is a non-volatile recording medium.
  • the memory card 140 is detachably inserted into the card slot 141.
  • the card slot 141 is electrically and mechanically connected to the memory card 140.
  • the memory card 140 is an external memory of the digital camera 100.
  • the memory card 140 is a non-volatile recording medium.
  • the operation unit 150 is an operation interface that receives an operation from a user.
  • the operation unit 150 is a general term for operation buttons, operation dials, and the like arranged on the exterior of the digital camera 100.
  • the operation unit 150 When the operation unit 150 receives an operation from the user, the operation unit 150 immediately transmits a signal indicating the content of the operation to the controller 130.
  • the operation unit 150 may be a contact input type operation interface such as a touch panel.
  • the operation unit 150 may be an external unit that can be remotely controlled.
  • the imaging control means 105 when photographing a subject, the light beam that has passed through the lens array 103 reaches the image sensor 120. Then, a subject image corresponding to the light beam that has passed through each lens element of the lens array 103 is formed on the image sensor 120. Then, as shown in FIG. 3, the imaging control means 105 generates image information of the subject image formed on the image sensor 120 (S1). Specifically, the image capturing control unit 105 continuously captures images of the subject by controlling the image sensor 120 and the buffer memory 124. More specifically, the imaging control unit 105 sets the exposure time to a short time and repeatedly executes the process of generating image information. In this way, the imaging control unit 105 generates a plurality of pieces of image information (a series of image information; time series information) and records them in the buffer memory 124.
  • the exposure time when generating each of the plurality of pieces of image information may be set to be constant or may be changed.
  • the time interval (timing) for generating each of the plurality of pieces of image information may be set seamlessly, may be set to a predetermined time interval, or may be varied.
  • the light field information generation unit 110 generates light field information I corresponding to each image information based on a series of image information recorded in the buffer memory 124. That is, the light field information generation unit 110 generates a series of light field information corresponding to the series of image information (S3).
  • the light field information is information representing a light field in an area where the lens array 103 is disposed.
  • the light field information is light intensity information I (x, y, ⁇ , ⁇ ).
  • the light intensity information I (x, y, ⁇ , ⁇ ) has the position coordinates (x, y) of each lens element and the light beam incident angle ( ⁇ , ⁇ ) at the position coordinates as parameters.
  • the surface of the lens array 103 is defined by a coordinate system including an x-axis and a y-axis.
  • the z axis is an axis orthogonal to the xy coordinate system and passes through the centroid of the lens array 103 surface. Further, the z axis is an axis orthogonal to the light receiving surface of the image sensor 120. In the present embodiment, the z axis coincides with, for example, the optical axis.
  • the position coordinates (x, y) of each lens element are coordinates indicating the center position of each lens element, for example.
  • the light incident angle ( ⁇ , ⁇ ) is such that the straight line connecting the center of each lens element and the pixel of the image connected by each lens element is the z axis (in detail, the z ′ axis of each lens element described later). It is an angle to make.
  • the axis parallel to the optical axis and passing through the center Or of each element is defined as the z 'axis.
  • the x ′ axis and the y ′ axis are defined with the center Or of the surface of the lens array 103 as the origin.
  • a coordinate system including the x ′ axis, the y ′ axis, and the z ′ axis is a relative coordinate system with respect to the coordinate system including the x axis, the y axis, and the z axis.
  • the light incident angle ( ⁇ , ⁇ ) will be described using such a relative coordinate system (x ′, y ′, z ′). As shown in FIG. 2B, when the vector Lv of the light ray incident on each lens element is projected perpendicularly to the x′-z ′ plane, the angle formed by this projected vector and the z ′ axis is This is the light incident angle ⁇ . Further, when the vector Lv of the light ray incident on each lens element is projected onto the y′-z ′ plane, the angle formed by the projected vector and the z ′ axis is the light ray incident angle ⁇ .
  • the angle blur detection means 111 compares the angular direction intensity distribution between the series of light field information I to detect the angle blur amount (S4).
  • the angle blur amount is, for example, at least one of a blur amount around the x axis and a blur amount around the y axis.
  • the angle blur correction unit 112 corrects the series of light field information I output from the light field information generation unit 110 based on the angle blur amount obtained from the angle blur detection unit 111 (S5). For example, the angle blur correction unit 112 corrects the light field information I so as to suppress a rotation change of the series of light field information I.
  • the translation blur detection unit 113 compares the intensity distribution in the optical axis direction between the series of light field information I, for example, the light intensity information I (x, y, 0, 0), and determines the blur amount in the translation direction. Is detected (S6).
  • the blur amount in the translation direction is, for example, at least one of the blur amount in the x-axis direction and the blur amount in the y-axis direction.
  • the translation blur correction unit 114 corrects the series of light field information I output from the angle blur correction unit 112 based on the translation blur amount obtained from the translation blur detection unit 113 (S7). ).
  • the translation blur correction unit 114 corrects the light field information I so as to suppress the translational change in the series of light field information I.
  • the rotation blur detection unit 116 compares the intensity distribution in the optical axis direction between the series of light field information I with respect to the rotation, and detects the rotation blur amount around the z axis (S8). Then, the rotational blur correction unit 117 corrects the series of light field information I output from the translational blur correction unit 114 based on the rotational blur amount around the z-axis obtained from the rotational blur detection unit 116 ( S9). For example, the rotation blur correcting unit 117 corrects the light field information I so as to suppress a series of changes in the light field information I with respect to rotation around the z axis.
  • the output image generation means 115 uses the series of light field information I output from the light field information processing unit 125 to perform image generation processing according to the setting parameters for the focus position, depth of focus, viewing angle, and the like (S10). ). For example, the output image generation unit 115 generates a still image obtained by combining a series of light field information I and / or a moving image obtained by combining a series of images from the series of light field information I. Output. In a series of light field information I combining processing, for example, light field information I addition processing is performed. Thereby, the S / N is improved and a high-quality still image can be obtained.
  • a series of light field information I is generated from a series of images stored in the buffer memory 124.
  • the description will be made using two images in a series of images and two light field information I corresponding to the two images.
  • FIGS. 4A to 4B show the relationship between the optical components of the digital camera 100 and light rays.
  • subjects such as trees are arranged along the reference axes 201a and 201b.
  • distant subjects 202a and 202b and near subjects 203a and 203b are prepared.
  • 204a and 204b are z-axes.
  • Reference numerals 206a and 206b denote CCD image sensors (120).
  • the lens array 103 including four lens elements is denoted as 205a and 205b.
  • FIG. 4A shows a state at the time of first image shooting
  • FIG. 4B shows a state at the time of second image shooting.
  • the reference axis 201a and the z-axis 204a coincide.
  • the z-axis 204b rotates with respect to the reference axis 201b.
  • FIGS. 4A and 4B light rays emitted from the vertices of the far subjects 202a and 202b and the vertices of the near subjects 203a and 203b pass through the lens arrays 205a and 205b, and the CCD image sensor 206a. , 206b are indicated by arrows.
  • FIG. 5A shows a schematic diagram showing the light field information I generated in the case of FIG.
  • FIG. 5B shows a schematic diagram showing the light field information I generated in the case of FIG.
  • FIG. 5C shows the light field information I after the rotation process
  • FIG. 5D is a schematic diagram showing the light field information I after the angle blur correction process.
  • 301a and 301b indicate light field information I.
  • the light emitted from the vertices of the far subjects 202a and 202b and the vertices of the near subjects 203a and 203b, that is, the rays passing through the four lens elements 0, 1, 2, and 3 of the lens arrays 205a and 205b, Field information 301a and 301b are formed.
  • 302a and 302b indicate the angular direction intensity distribution Iave ( ⁇ , ⁇ ).
  • the angular direction intensity distribution Iave ( ⁇ , ⁇ ) is obtained by averaging light field information I formed by light rays emitted from all subjects within the viewing angle at all positions in the (x, y) direction.
  • the angular direction intensity distribution Iave ( ⁇ , ⁇ ) is an index representing how much light intensity of which incident angle is present in the entire area of the lens arrays 205a and 205b. Note that, by taking the average in the (x, y) direction as described above, even if the light field information I includes parallel movement blur, the influence can be reduced.
  • the angle blur detection unit 111 includes an angular direction intensity distribution extraction unit 111a and a horizontal / vertical direction rotation blur detection unit 111b.
  • the angular direction intensity distribution extraction unit 111a calculates the angular direction intensity distributions 302a and 302b by averaging the light field information I in the (x, y) direction.
  • the horizontal / vertical rotation blur detecting unit 111b performs pattern matching with the angular direction intensity distribution 302a while correcting the angular coordinates of the angular direction intensity distribution 302b.
  • the angle blur detection unit 111 acquires the angle coordinate correction amount with the least error. Thereby, the angle blur detection unit 111 detects the angle blur amount of the light field information 301b with respect to the light field information 301a.
  • the angle blur correction unit 112 (an example of a horizontal / vertical rotation blur correction unit) corrects the angle coordinates of the light field information 301b using the angle blur amount obtained by the angle blur amount detection unit 111. Thereby, the state in which the light beam forming the light field information 301b is rotated according to the amount of angular blur is realized. In this way, the angle blur correction unit 112 generates the light field information 301b 'in which the difference from the light field information 301a is reduced. The angle blur correction unit 112 further outputs the light field information 301c by calculating the average of the light field information 301b 'and the light field information 301a.
  • angle blur amount detection means 111 may use the integration result of the angular velocity detection value by the gyro instead of the signal processing of the light field information I, and in this case, the pattern matching processing can be reduced.
  • FIG. 6A the meanings of symbols 401a to 406a are the same as those of 201a to 206a in FIG. 4A.
  • FIG. 6B the meanings of symbols 401b to 406b are the same as those of 201b to 206b in FIG. 4B.
  • FIG. 6A shows a state at the time of first image shooting
  • FIG. 6B shows a state at the time of second image shooting.
  • the reference axis 401a and the z-axis 404a coincide.
  • the z-axis 404b is translated upward with respect to the reference axis 401b.
  • FIGS. 7A to 7B are schematic diagrams showing the light field information I generated by the light field information generating means 110 in the case of FIGS. 6A and 6B.
  • FIG. 7C is a schematic diagram showing light field information I after translational blur correction.
  • 501a and 501b indicate the light field information I.
  • the light field is generated by the light rays emitted from the vertices of the far subjects 402a and 402b and the vertices of the near subjects 403a and 403b, that is, the light rays passing through the four lens elements 0, 1, 2, and 3 of the lens array 405.
  • Information 501a and 501b are formed.
  • 502a and 502b indicate the optical axis direction intensity distribution I (x, y, 0, 0).
  • the optical axis direction intensity distribution I (x, y, 0, 0) extracts the intensity of incident light rays in the optical axis direction at each position in the light field information I formed by the light rays emitted from all subjects within the viewing angle. It is a thing.
  • the parallel movement blur detecting unit 113 includes a surface direction intensity distribution extracting unit 113a and a parallel blur detecting unit 113b.
  • the surface direction intensity distribution extracting unit 113a extracts light field information I in the optical axis direction at each position based on the light field information 501a and 501b, and calculates the optical axis direction intensity distributions 502a and 502b.
  • the parallel blur detection unit 113b performs pattern matching with the optical axis direction intensity distribution 502a while correcting the position coordinates of the optical axis direction intensity distribution 502b. Then, the translational blur detection unit 113 acquires the position coordinate correction amount with the least error. Accordingly, the parallel movement blur detection unit 113 detects the parallel blur amount of the light field information 501b with respect to the light field information 501a (an example of a parallel blur detection unit).
  • the translation blur correction unit 114 (an example of the parallel blur correction unit) corrects the position coordinates of the light field information 501b using the parallel blur amount obtained by the translation blur detection unit 113. Thereby, the state in which the light rays forming the light field information 501b are translated according to the parallel blur amount is realized. In this way, the translational blur correction unit 114 corrects the light field information 501b so that there is no difference between the light field information 501b and the light field information 501a. Then, the translational blur correction unit 114 outputs the light field information 501c by calculating an average with the light field information 501a.
  • the light field information 501c in the lens elements 0, 1, and 2 shown in FIG. 7C is a common part of the light field information 501a and the light field information 501b. For this reason, about a common part, improvement of S / N can be aimed at by taking an average.
  • the light field information 501a in the lens element 3 in FIG. 7A and the light field information 502b in the lens element 0 in FIG. 7B are non-common parts. However, when this non-common part is included in the output light field information I, it is possible to utilize a larger parallax by using a wider range of light field information I. If this non-common part is not included in the light field information I to be output, the output light field information I is generated by averaging the common parts of the plurality of light field information I. / N improvement can be realized.
  • FIGS. 7 (A) and 7 (B) are three-dimensional perspective views of the intensity distribution in the optical axis direction described with reference to FIGS. 7 (A) and 7 (B).
  • the intensity distribution in the optical axis direction of the light field information I is 602a and 602b.
  • the rotation blur detection unit 116 (an example of the rotation around the axis rotation blur detection unit) performs pattern matching while changing the rotation angle between the optical axis direction intensity distribution 602a and the optical axis direction intensity distribution 602b. The amount of rotational blur around the z axis is detected.
  • the rotational shake correction unit 117 (an example of the rotational shake correction unit around the axis) adds a process of rotating the position coordinates to the process in the translational shake detection unit 113 and the translational shake correction unit 114, thereby rotating around the z axis. Correct the rotational blur of the.
  • the image blur correction apparatus includes a light field information generation unit 110, angle blur amount detection units 111, 113, and 116, and correction units 112, 114, and 117.
  • the light field information generation unit 110 generates a series of light field information I corresponding to continuously shot images taken by the digital camera 100.
  • the angle blur amount detection means 111, 113, 116 detects the blur amount of the digital camera 100 from a series of changes in the light field information I.
  • the correcting means 112, 114, 117 correct the series of light field information I according to the amount of blur so as to suppress the change of the series of light field information I.
  • the blur amount of the digital camera 100 is detected from the change in the series of light field information I, and the change in the series of light field information I is suppressed.
  • a series of light field information I is corrected according to the blur amount.
  • the method for acquiring the light field information I is not limited to the method using the lens array 103, and can be acquired by the coded aperture method.
  • the rotation blur around the z-axis can be corrected by adding the process of rotating the position coordinates to the process in the translational blur detection unit 113 and the translational blur correction unit 114.
  • the detection and correction of blur and the detection and correction of rotation blur may be executed simultaneously.
  • the imaging device is compatible with the digital camera 100.
  • the shake amount detection means includes at least one of the angle shake detection means 111, the parallel movement shake detection means 113, and the rotation shake detection means 116.
  • the angular direction intensity distribution extraction unit includes an angle blur detection unit 111.
  • the horizontal / vertical rotation shake detection means includes at least one of a parallel movement shake detection means 113 and a rotation shake detection means 116.
  • the correction means includes at least one of the angle shake correction means 112, the parallel movement shake correction means 114, and the rotation shake correction means 117.
  • the horizontal / vertical rotation blur correction means includes an angle blur correction means 112.
  • the parallel shake / rotational shake correction means includes at least one of a translational shake correction means 114 and a rotary shake correction means 117.
  • the image blur correction device corrects the image blur based on the light that has passed through the lens array arranged side by side on the surface intersecting the optical axis.
  • the image blur correction apparatus includes light field information generation means, blur amount detection means, and correction means.
  • the light field information generating unit generates a series of light field information corresponding to continuously shot images taken by the imaging device.
  • the blur amount detecting means detects the blur amount of the imaging device from a series of changes in the light field information.
  • the correcting unit corrects the series of light field information according to the blur amount so as to suppress a change in the series of light field information.
  • the blur amount detection means includes angular direction intensity distribution extraction means and horizontal / vertical rotation blur detection means.
  • the angular direction intensity distribution extracting means extracts angular direction intensity distribution information from a series of light field information.
  • the horizontal / vertical rotation blur detection unit detects the rotation blur amount in the horizontal / vertical direction of the imaging apparatus by performing pattern matching using the angular direction intensity distribution information.
  • the correcting means has horizontal / vertical rotation blur correcting means.
  • the horizontal / vertical rotation blur correction unit corrects the series of light field information according to the rotation blur amount so as to suppress the change in the angular intensity distribution in the series of light field information. Then, the horizontal / vertical rotation blur correcting means outputs the corrected light field information as the first corrected light field information.
  • the blur amount detection means uses the horizontal and vertical blur amounts in the horizontal and vertical directions of the imaging device based on the surface direction intensity distribution information extracted from the first corrected light field information. At least one of the rotational blur amounts around the axis is further detected.
  • the correcting unit further corrects the first corrected light field information in accordance with at least one of the blur amounts so as to suppress a change in the surface direction intensity distribution in the first corrected light field information. Then, the correcting unit outputs the corrected first corrected light field information as second corrected light field information.
  • the blur amount detecting means includes a surface direction intensity distribution extracting means and a parallel blur / rotating blur detecting means.
  • the surface direction intensity distribution extraction unit extracts surface direction intensity distribution information from a series of light field information.
  • the parallel blur / axis rotation blur detection unit performs pattern matching using the surface direction intensity distribution information, and thereby at least one of a horizontal blur amount and a rotation blur amount about the axis of the imaging apparatus. ,To detect.
  • the correcting means has parallel blurring / rotational rotation correcting means.
  • the parallel blur / rotational rotation blur correction unit corrects the series of light field information according to at least one of the blur amounts so as to suppress a change in the surface direction intensity distribution in the series of light field information. .
  • the parallel shake / rotation-around-shaft correction means outputs the corrected light field information as the first corrected light field information.
  • the blur amount detection means calculates the rotational blur amount in the horizontal and vertical directions of the imaging device based on the angular direction intensity distribution information extracted from the first corrected light field information. , Detect further.
  • the correcting unit further corrects the first corrected light field information in accordance with the rotation blur amount so as to suppress the change in the angular direction intensity distribution in the first corrected light field information. Then, the correcting means outputs the corrected first corrected light field information as second corrected light field information.
  • the blur amount detection means may detect the blur amount of the imaging device from a series of changes in light field information and the rotational angular velocity generated in the imaging device.
  • the rotational angular velocity generated in the imaging device may be detected by, for example, a gyro.
  • the technique disclosed here is widely applicable to image blur correction apparatuses.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

　複数の被写体が奥行き方向に異なる位置に存在していても、良好に画ブレを補正することができる画ブレ補正装置を、提供する。本画ブレ補正装置は、ライトフィールド情報生成手段（１１０）と、角度ブレ量検出手段（１１１，１１３，１１６）と、補正手段（１１２，１１４，１１７）とを、備えている。ライトフィールド情報生成手段（１１０）は、デジタルカメラ（１００）によって撮影された連続撮影画像に対応する一連のライトフィールド情報（Ｉ）を、生成する。角度ブレ量検出手段（１１１，１１３，１１６）は、一連のライトフィールド情報（Ｉ）の変化から、デジタルカメラ（１００）のブレ量を検出する。補正手段（１１２，１１４，１１７）は、一連のライトフィールド情報（Ｉ）の変化を抑制するように、ブレ量にしたがって一連のライトフィールド情報（Ｉ）を補正する。

Description

画ブレ補正装置
　ここに開示された技術は、画ブレ補正装置に関する。
　従来の撮像装置では、画ブレ補正機構を備えたものがある（特許文献１を参照）。このタイプの撮像装置では、画像光線が撮像光学系を介して撮像センサに入力されると、撮像センサ上における画像の移動量が、検知手段で検知される。すると、この移動量に基づいて駆動アクチュエータによって撮像光学系が移動され、撮像センサ上の画像の位置が補正される。このような画ブレ補正機構によって、従来の撮像装置では、ブレが小さな画像が出力できるようになっている。
特許第２５４１９２４号公報
　従来の撮像装置では、撮像装置にブレが生じると、上記のような画ブレ補正機構によって、画像ブレが補正されていた。例えば、撮像装置がピッチ方向及びヨー方向に回転した場合や撮像装置が上下及び左右に移動した場合では、撮像光学系を移動することによって、画像ブレが補正されていた。
　しかしながら、奥行き方向に複数の被写体が存在する状態において、撮像装置が上下及び左右に移動した場合、状況によっては、画ブレを正確に補正できないおそれがある。例えば、撮像装置に近い側に位置する被写体（第１被写体）と、撮像装置に遠い側に位置する被写体（第２被写体）とが同軸上に配置されている例で説明すると、この状態で撮像装置が上方に移動した場合、撮像センサ上における第１被写体像の移動量（第１移動量）と、撮像センサ上における第２被写体像の移動量（第２移動量）とが、異なる。
　このため、第１移動量に基づいて画ブレを補正すると、第２被写体像のブレ補正に誤差が生じる。一方で、第２移動量に基づいて画ブレを補正すると、第１被写体像のブレ補正に誤差が生じる。このように、奥行き方向に複数の被写体が存在する場合、従来の画ブレ補正機構では、各被写体（第１被写体、第２被写体）のブレを補正することができないという問題があった。なお、ここでは、撮像装置が上方に移動した場合を例に説明を行ったが、撮像装置が下方や左右に移動した場合にも同様な問題が生じる。
　ここに開示された技術は、上記のような問題に鑑みてなされたものであり、複数の被写体が奥行き方向に異なる位置に存在していても、良好に画ブレを補正することができる画ブレ補正装置を、提供することにある。
　画ブレ補正装置は、ライトフィールド情報生成手段と、ブレ量検出手段と、補正手段とを、備えている。ライトフィールド情報生成手段は、撮像装置によって撮影された連続撮影画像に対応する一連のライトフィールド情報を、生成する。ブレ量検出手段は、一連のライトフィールド情報の変化から、撮像装置のブレ量を検出する。補正手段は、一連のライトフィールド情報の変化を抑制するように、ブレ量にしたがって一連のライトフィールド情報を補正する。
　このように画ブレ補正装置を構成することによって、複数の被写体が奥行き方向に異なる位置に存在していても、良好に画ブレを補正することができる。
本実施形態に係るライトフィールドカメラのブロック図。 本実施形態に係るライトフィールドカメラにおける、（Ａ）レンズアレイを通過する光線と撮像素子との関係を示す図と、（Ｂ）光線入射角度（θ，φ）を説明するための図。 本実施形態に係るライトフィールドカメラの処理形態を示すフロー。 本実施形態に係るライトフィールドカメラの光学部品と光線との関係を示した図（（Ａ）初期状態、（Ｂ）角度ブレ状態）。 本実施形態に係るライトフィールド情報の状態を説明するための模式図（（Ａ）初期状態、（Ｂ）角度ブレ状態、（Ｃ）角度ブレ補正、（Ｄ）角度ブレ補正後）。 本実施形態に係るライトフィールドカメラの光学部品と光線との関係を示した図（（Ａ）初期状態、（Ｂ）移動ブレ状態）。 本実施形態に係るライトフィールド情報の状態を説明するための模式図（（Ａ）初期状態、（Ｂ）移動ブレ状態、（Ｃ）移動ブレ補正後）。 本実施形態に係る３次元光軸方向強度分布を示す図（（Ａ）初期状態、（Ｂ）回転ブレ後）。
　＜１．実施の形態＞
　以下、本発明をデジタルカメラに適用した場合の実施の形態１について、図面を参照しながら説明する。
　＜１－１．デジタルカメラの全体概要＞
　図１に示すように、デジタルカメラ１００は、光学系１０１、イメージセンサ１２０、ＡＦＥ（アナログ・フロント・エンド）１２１、ライトフィールド情報処理部１２５、画像処理部１２２、バッファメモリ１２４、液晶モニタ１２３を、備える。また、デジタルカメラ１００は、コントローラ１３０、カードスロット１４１、フラッシュメモリ１４２、操作ユニット１５０を、さらに備える。
　光学系１０１は、被写体像を形成する。光学系１０１は、主に、フォーカスレンズを含む複数のレンズ１０２と、レンズアレイ１０３とを、有する。複数のレンズ１０２は、被写体のフォーカス状態を調節したり、被写体の画角を調節したりするレンズである。複数のレンズ１０２は、何枚のレンズから構成されるものであってもよいし、何群のレンズから構成されるものであってもよい。なお、ここでは、光学系１０１に複数のレンズ１０２が含まれる場合の例を示したが、レンズアレイ１０３があれば、複数のレンズ１０２は必ずしも用意する必要はない。
　レンズアレイ１０３は、複数のレンズエレメントを並列的に配列したレンズである（図２を参照）。レンズアレイ１０３は、イメージセンサ１２０に対向して、配置される。ここでは、各レンズエレメントが結ぶ像が、隣接するレンズエレメントが結ぶ像と重なり合わないように、各レンズエレメントにおける、レンズの直径、焦点距離、撮像素子までの距離、及び視野角を制限するフード等が、設計されている。
　イメージセンサ１２０は、光学系１０１により形成された被写体像を撮像する撮像素子である。イメージセンサ１２０は、被写体像を写すフレーム（コマ）の画像データを生成する。
　ＡＦＥ（Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）１２１は、イメージセンサ１２０により生成された画像データに対して、各種処理を施す。具体的には、ＡＦＥ１２１は、相関二重サンプリングによる雑音抑圧、アナログゲインコントローラによるＡ／Ｄコンバータの入力レンジ幅への増幅、Ａ／ＤコンバータによるＡ／Ｄ変換等の処理を施す。
　ライトフィールド情報処理部１２５は、ライトフィールド情報を生成し、ライトフィールド情報に対して各種処理を実行する。詳細には、ライトフィールド情報処理部１２５は、被写体像の画像情報に基づいて、ライトフィールド情報を生成する。また、ライトフィールド情報処理部１２５は、ライトフィールド情報に基づいて各種のブレ検出を行い、ライトフィールド情報に対して各種のブレ補正を実行する。なお、ライトフィールド情報生成手段１１０、角度ブレ検出手段１１１、角度ブレ補正手段１１２、平行移動ブレ検出手段１１３、平行移動ブレ補正手段１１４、回転ブレ検出手段１１６、及び回転ブレ補正手段１１７は、主に、ライトフィールド情報処理部１２５において実現される。各手段１１０－１１４，１１６－１１７の詳細については、後述する。
　画像処理部１２２は、合成後のライトフィールド情報に基づいて、画像データを生成し出力する。また、画像処理部１２２は、画像データに対して、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理等のような処理を、施す。また、画像処理部１２２は、圧縮処理、縮小処理、拡大処理、合成処理等のような処理を、施す。このような処理を画像データに対して実行することによって、画像処理部１２２は、スルー画像及び記録画像を生成する。また、出力画像生成手段１１５は、主に、画像処理部１２２において実現される。出力画像生成手段１１５の詳細については、後述する。
　本実施形態では、画像処理部１２２は、プログラムを実行するマイクロコンピュータである。しかしながら、他の実施形態では、画像処理部１２２は、ハードワイヤードな電子回路であってもよい。また、画像処理部１２２は、コントローラ１３０等と一体的に構成されるものであってもよい。
　コントローラ１３０は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３０は、ＲＯＭ及びＣＰＵ等により構成される。ＲＯＭには、ファイル制御、オートフォーカス制御（ＡＦ制御）、自動露出制御（ＡＥ制御）、フラッシュの発光制御に関するプログラムの他、デジタルカメラ１００全体の動作を統括制御するためのプログラムが、格納されている。
　例えば、コントローラ１３０は、ライトフィールド情報処理部１２５を制御する。また、コントローラ１３０は、画像処理部１２２により各種処理が施された画像データを、静止画データ又は動画データとして、メモリカード１４０及びフラッシュメモリ１４２（以下、メモリ等１４０，１４２）に記録する。なお、撮像制御手段１０５は、主に、コントローラ１３０において実現される。
　本実施形態では、コントローラ１３０は、プログラムを実行するマイクロコンピュータであるが、他の実施形態では、ハードワイヤードな電子回路であってもよい。コントローラ１３０は、画像処理部１２２等と一体的に構成されるものであってもよい。
　液晶モニタ１２３は、スルー画像及び記録画像等の画像を、表示する。スルー画像及び記録画像は、画像処理部１２２により生成される。スルー画像は、デジタルカメラ１００が撮影モードに設定されている間、画像処理部１２２により一定時間間隔で連続的に生成される一連の画像である。
　記録画像は、メモリ等１４０，１４２に記録されている静止画データ又は動画データをデコード（伸張）することにより得られる画像である。記録画像は、デジタルカメラ１００が再生モードに設定されている時に、液晶モニタ１２３上に表示される。
　他の実施形態では、液晶モニタ１２３の代わりに、有機ＥＬディスプレイやプラズマディスプレイ等のような、画像を表示可能な任意のディスプレイが、使用されてもよい。
　バッファメモリ１２４は、画像処理部１２２及びコントローラ１３０のワークメモリとして機能する揮発性の記憶媒体である。本実施形態では、バッファメモリ１２４は、ＤＲＡＭである。
　フラッシュメモリ１４２は、デジタルカメラ１００の内部メモリである。フラッシュメモリ１４２は、不揮発性の記録媒体である。
　カードスロット１４１には、メモリカード１４０が着脱可能に挿入される。カードスロット１４１は、メモリカード１４０と電気的及び機械的に接続される。メモリカード１４０は、デジタルカメラ１００の外部メモリである。メモリカード１４０は、不揮発性の記録媒体である。
　操作ユニット１５０は、ユーザから操作を受け付ける操作インターフェースである。操作ユニット１５０は、デジタルカメラ１００の外装に配置される操作釦や操作ダイヤル等の総称である。操作ユニット１５０は、ユーザから操作を受け付けると、直ちに操作の内容を示す信号をコントローラ１３０に送信する。なお、操作ユニット１５０は、タッチパネルのような接触入力式の操作インターフェースであってもよい。また、操作ユニット１５０は、リモートコントロール可能な外部ユニットであってもよい。
　＜１－２．ライトフィールドカメラの撮影動作＞
　図２（Ａ）に示すように、被写体を撮影する場合には、レンズアレイ１０３を通過した光線は、イメージセンサ１２０に到達する。すると、レンズアレイ１０３の各レンズエレメントを通過した光線に対応する被写体像が、イメージセンサ１２０上に形成される。すると、図３に示すように、撮像制御手段１０５は、イメージセンサ１２０に形成された被写体像の画像情報を、生成する（Ｓ１）。具体的には、撮像制御手段１０５は、イメージセンサ１２０とバッファメモリ１２４とを制御することによって、被写体を連続的に撮影する。より具体的には、撮像制御手段１０５は、露光時間を短時間に設定し、画像情報を生成する処理を、繰り返し実行する。このようにして、撮像制御手段１０５は、複数の画像情報（一連の画像情報；時系列情報）を生成し、バッファメモリ１２４に記録する。
　なお、複数の画像情報それぞれを生成するときの露光時間は、一定に設定してもよいし、変動させてもよい。また、複数の画像情報それぞれを生成する時間間隔（タイミング）は、シームレスに設定してもよいし、所定の時間間隔に設定してもよいし、変動させてもよい。
　続いて、ライトフィールド情報生成手段１１０が、バッファメモリ１２４に記録された一連の画像情報に基づいて、各画像情報に対応するライトフィールド情報Ｉを、生成する。すなわち、ライトフィールド情報生成手段１１０は、一連の画像情報に対応する一連のライトフィールド情報を、生成する（Ｓ３）。
　ライトフィールド情報は、レンズアレイ１０３が配置された領域におけるライトフィールドを表す情報である。具体的には、ライトフィールド情報は、光強度情報Ｉ（ｘ，ｙ，θ，φ）である。光強度情報Ｉ（ｘ，ｙ，θ，φ）は、各レンズエレメントの位置座標（ｘ，ｙ）と、この位置座標における光線入射角度（θ，φ）とをパラメータとして有している。
　なお、図２（Ａ）に示すように、レンズアレイ１０３面は、ｘ軸及びｙ軸からなる座標系で定義されている。また、ｚ軸は、ｘ－ｙ座標系に直交する軸であり、レンズアレイ１０３面の図心を通過している。さらに、ｚ軸は、イメージセンサ１２０の受光面に直交する軸である。本実施形態では、ｚ軸は、例えば光軸と一致している。
　各レンズエレメントの位置座標（ｘ，ｙ）は、例えば、各レンズエレメントの中心位置を示す座標である。光線入射角度（θ，φ）は、各レンズエレメントの中心と各レンズエレメントが結ぶ像の画素とを結ぶ直線が、上記のｚ軸（詳細には、後述する各レンズエレメントのｚ’軸）となす角度である。
　ここでは、図２（Ｂ）に示すように、光軸に平行且つ各エレメントの中心Ｏｒを通る軸が、ｚ’軸と定義されている。図２（Ｂ）では、レンズアレイ１０３面の中心Ｏｒを原点として、ｘ’軸及びｙ’軸を定義している。ｘ’軸、ｙ’軸、ｚ’軸からなる座標系は、上述したｘ軸、ｙ軸、及びｚ軸からなる座標系に対する相対座標系である。
　このような相対座標系（ｘ’，ｙ’，ｚ’）を用いて、光線入射角度（θ，φ）の説明を行っておく。図２（Ｂ）に示すように、各レンズエレメントに入射された光線のベクトルＬｖをｘ’－ｚ’平面に垂直に投影した場合、この投影後のベクトルとｚ’軸とがなす角度が、光線入射角度θである。また、各レンズエレメントに入射された光線のベクトルＬｖをｙ’－ｚ’平面に投影した場合、この投影後のベクトルとｚ’軸とがなす角度が、光線入射角度φである。
　続いて、角度ブレ検出手段１１１は、一連のライトフィールド情報Ｉ間の角度方向強度分布を比較して、角度ブレ量を、検出する（Ｓ４）。角度ブレ量は、例えば、ｘ軸回りのブレ量、及びｙ軸回りのブレ量の少なくともいずれか一方である。続いて、角度ブレ補正手段１１２は、角度ブレ検出手段１１１から得られた角度ブレ量に基づいて、ライトフィールド情報生成手段１１０から出力された一連のライトフィールド情報Ｉを、補正する（Ｓ５）。例えば、角度ブレ補正手段１１２は、一連のライトフィールド情報Ｉの回転変化を抑制するように、ライトフィールド情報Ｉを、補正する。
　続いて、平行移動ブレ検出手段１１３は、一連のライトフィールド情報Ｉ間の光軸方向強度分布例えば光強度情報Ｉ（ｘ，ｙ，０，０）を比較して、平行移動方向のブレ量を、検出する（Ｓ６）。平行移動方向のブレ量は、例えば、ｘ軸方向のブレ量、及びｙ軸方向のブレ量の少なくともいずれか一方である。続いて、平行移動ブレ補正手段１１４は、平行移動ブレ検出手段１１３から得られた平行移動ブレ量に基づいて、角度ブレ補正手段１１２から出力された一連のライトフィールド情報Ｉを、補正する（Ｓ７）。例えば、平行移動ブレ補正手段１１４は、一連のライトフィールド情報Ｉにおける平行移動変化を抑制するように、ライトフィールド情報Ｉを、補正する。
　続いて、回転ブレ検出手段１１６は、一連のライトフィールド情報Ｉ間の光軸方向強度分布を回転に関して比較して、ｚ軸回りの回転ブレ量を、検出する（Ｓ８）。そして、回転ブレ補正手段１１７は、回転ブレ検出手段１１６から得られたｚ軸回りの回転ブレ量に基づいて、平行移動ブレ補正手段１１４から出力された一連のライトフィールド情報Ｉを、補正する（Ｓ９）。例えば、回転ブレ補正手段１１７は、ｚ軸回りの回転に対する一連のライトフィールド情報Ｉの変化を、抑制するように、ライトフィールド情報Ｉを、補正する。
　出力画像生成手段１１５は、ライトフィールド情報処理部１２５から出力された一連のライトフィールド情報Ｉを用いて、焦点の位置、焦点深度、及び視野角等に対する設定パラメータに従って、画像生成処理を行う（Ｓ１０）。例えば、出力画像生成手段１１５は、一連のライトフィールド情報Ｉを合成して得られる静止画像、及び／又は一連のライトフィールド情報Ｉから一連の画像を合成して得られる動画像を、生成して出力する。一連のライトフィールド情報Ｉの合成処理では、例えば、ライトフィールド情報Ｉの加算処理が行われる。これによって、Ｓ／Ｎが向上し、高画質の静止画像を得ることができる。
　＜２．ブレ検出及びブレ補正＞
　＜２－１．ピッチ方向及びヨー方向の角度ブレに対する検出及び補正＞
　図４（Ａ）－図４（Ｂ）及び図５（Ａ）－図５（Ｄ）を用いて、ピッチ方向とヨー方向とに対する角度ブレを検出し補正する方法を説明する。なお、上記したように、本デジタルカメラ１００では、バッファメモリ１２４に蓄積された一連の画像から、一連のライトフィールド情報Ｉが、生成されている。しかしながら、以下では、説明を容易にするために、一連の画像の中の２つの画像と、これら２つの画像に対応する２つのライトフィールド情報Ｉを用いて、説明を行う。
　図４（Ａ）－図４（Ｂ）は、デジタルカメラ１００の光学部品と光線との関係を示したものである。図４（Ａ）－図４（Ｂ）では、基準軸２０１ａ，２０１ｂに沿って、被写体例えば木が、配置されている。被写体としては、遠方被写体２０２ａ，２０２ｂと、近方被写体２０３ａ，２０３ｂとが、用意されている。
　なお、図４（Ａ）－図４（Ｂ）では、２０４ａ，２０４ｂは、ｚ軸である。２０６ａ，２０６ｂは、ＣＣＤイメージセンサ（１２０）である。また、ここでは、４つのレンズエレメントから構成されるレンズアレイ１０３を、２０５ａ，２０５ｂと記している。
　図４（Ａ）は第１の画像撮影時の状態を表し、図４（Ｂ）は第２の画像撮影時の状態を表している。図４（Ａ）では、基準軸２０１ａとｚ軸２０４ａとが、一致している。図４（Ｂ）では、ｚ軸２０４ｂが、基準軸２０１ｂに対して回転している。
　図４（Ａ）及び図４（Ｂ）では、遠方被写体２０２ａ，２０２ｂの頂点と、近方被写体２０３ａ，２０３ｂの頂点から発せられた光線が、レンズアレイ２０５ａ，２０５ｂを通って、ＣＣＤイメージセンサ２０６ａ，２０６ｂに入射する様子が、矢印で示されている。
　図４（Ａ）の場合に生成されるライトフィールド情報Ｉを示す模式図を、図５（Ａ）に示す。また、図４（Ｂ）の場合に生成されるライトフィールド情報Ｉを示す模式図を、図５（Ｂ）に示す。さらに、図５（Ｃ）は、回転処理後のライトフィールド情報Ｉを示し、図５（Ｄ）は、角度ブレ補正処理後のライトフィールド情報Ｉを示す模式図である。
　なお、図５（Ａ）及び図５（Ｂ）では、３０１ａ、３０１ｂが、ライトフィールド情報Ｉを示している。ここでは、遠方被写体２０２ａ，２０２ｂの頂点と近方被写体２０３ａ，２０３ｂの頂点から発せられた光線、すなわちレンズアレイ２０５ａ，２０５ｂの４つのレンズエレメント０、１、２、３を通過する光線によって、ライトフィールド情報３０１ａ，３０１ｂが形成される。
　図５（Ａ）及び図５（Ｂ）では、３０２ａ、３０２ｂが、角度方向強度分布Ｉave（θ、φ）を示している。角度方向強度分布Ｉave（θ、φ）は、視野角内のすべての被写体が発する光線によって形成されたライトフィールド情報Ｉを、（ｘ，ｙ）方向の全位置において、平均したものである。角度方向強度分布Ｉave（θ、φ）は、レンズアレイ２０５ａ，２０５ｂの領域全体として、どの入射角の光線強度がどのぐらいあるかを表す指標である。なお、このように、（ｘ，ｙ）方向の平均をとることによって、ライトフィールド情報Ｉに平行移動ブレが含まれていたとしても、その影響を小さくすることができる。
　角度ブレ検出手段１１１は、角度方向強度分布抽出手段１１１ａ、及び水平・垂直方向回転ブレ検出手段１１１ｂを、有している。角度方向強度分布抽出手段１１１ａは、ライトフィールド情報Ｉを（ｘ，ｙ）方向に平均することによって、角度方向強度分布３０２ａ，３０２ｂを、算出する。そして、水平・垂直方向回転ブレ検出手段１１１ｂは、角度方向強度分布３０２ｂの角度座標を修正しながら、角度方向強度分布３０２ａとの間でパターンマッチングを行う。そして、角度ブレ検出手段１１１は、最も誤差の少ない角度座標修正量を、取得する。これにより、角度ブレ検出手段１１１は、ライトフィールド情報３０１ａに対するライトフィールド情報３０１ｂの角度ブレ量を、検出する。
　角度ブレ補正手段１１２（水平・垂直方向回転ブレ補正手段の一例）は、角度ブレ量検出手段１１１が求めた角度ブレ量を用いて、ライトフィールド情報３０１ｂの角度座標を補正する。これにより、ライトフィールド情報３０１ｂを形成する光線が、角度ブレ量に応じて回転された状態が、実現される。このようにして、角度ブレ補正手段１１２は、ライトフィールド情報３０１ａとの差を低減したライトフィールド情報３０１ｂ’を、生成する。そして、角度ブレ補正手段１１２は、更に、ライトフィールド情報３０１ｂ’とライトフィールド情報３０１ａとの平均を計算することによって、ライトフィールド情報３０１ｃを出力する。
　なお、上述した角度ブレ量検出手段１１１は、ライトフィールド情報Ｉの信号処理ではなく、ジャイロによる角速度検出値の積分結果を用いても良く、その場合はパターンマッチング処理を削減することができる。
　＜２－２．平行移動に対するブレ補正＞
　次に、図６（Ａ）－図６（Ｂ）及び図７（Ａ）－図７（Ｃ）を用いて、平行移動ブレの補正方法を説明する。図６（Ａ）において、４０１ａから４０６ａまでの記号の意味は、図４（Ａ）の２０１ａから２０６ａまでのものと同じである。図６（Ｂ）において、４０１ｂから４０６ｂまでの記号の意味は、図４（Ｂ）の２０１ｂから２０６ｂまでのものと、同じである。
　図４（Ａ）－図４（Ｂ）と同様に、図６（Ａ）は第１の画像撮影時の状態を表し、図６（Ｂ）は第２の画像撮影時の状態を表している。図６（Ａ）では、基準軸４０１ａとｚ軸４０４ａが一致している。図６（Ｂ）では、ｚ軸４０４ｂが、基準軸４０１ｂに対して、上方に平行移動している。
　図６（Ａ）及び図６（Ｂ）の場合に、ライトフィールド情報生成手段１１０によって生成されるライトフィールド情報Ｉを示す模式図を、図７（Ａ）－図７（Ｂ）に示す。また、図７（Ｃ）は、平行移動ブレ補正後のライトフィールド情報Ｉを示す模式図である。
　図７（Ａ）及び図７（Ｂ）では、５０１ａ、５０１ｂが、ライトフィールド情報Ｉを示している。ここでは、遠方被写体４０２ａ，４０２ｂの頂点と近方被写体４０３ａ，４０３ｂの頂点とから発せられた光線、すなわちレンズアレイ４０５の４つのレンズエレメント０、１、２、３を通過する光線によって、ライトフィールド情報５０１ａ，５０１ｂが形成される。
　図７（Ａ）及び図７（Ｂ）では、５０２ａ、５０２ｂが、光軸方向強度分布Ｉ（ｘ，ｙ，０，０）を示している。光軸方向強度分布Ｉ（ｘ，ｙ，０，０）は、視野角内のすべての被写体が発する光線によって形成されたライトフィールド情報Ｉにおいて、各位置の光軸方向の入射光線の強度を抽出したものである。
　平行移動ブレ検出手段１１３は、面方向強度分布抽出手段１１３ａ、及び並行ブレ検出手段１１３ｂを、有している。面方向強度分布抽出手段１１３ａは、ライトフィールド情報５０１ａ及び５０１ｂに基づいて、各位置における光軸方向のライトフィールド情報Ｉを抽出して、光軸方向強度分布５０２ａ，５０２ｂを算出する。並行ブレ検出手段１１３ｂは、光軸方向強度分布５０２ｂの位置座標を修正しながら、光軸方向強度分布５０２ａとの間でパターンマッチングを行う。そして、平行移動ブレ検出手段１１３は、最も誤差の少ない位置座標修正量を、取得する。これにより、平行移動ブレ検出手段１１３は、ライトフィールド情報５０１ａに対するライトフィールド情報５０１ｂの平行ブレ量を、検出する（並行ブレ検出手段の一例）。
　平行移動ブレ補正手段１１４（平行ブレ補正手段の一例）は、平行移動ブレ検出手段１１３が求めた平行ブレ量を用いて、ライトフィールド情報５０１ｂの位置座標を補正する。これにより、ライトフィールド情報５０１ｂを形成する光線が、平行ブレ量に応じて平行移動された状態が、実現される。このようにして、平行移動ブレ補正手段１１４は、ライトフィールド情報５０１ｂとライトフィールド情報５０１ａとの差がなくなるように、ライトフィールド情報５０１ｂを補正する。そして、平行移動ブレ補正手段１１４は、ライトフィールド情報５０１ａとの平均を計算することによって、ライトフィールド情報５０１ｃを出力する。
　ここで、図７（Ｃ）に示すレンズエレメント０，１，２におけるライトフィールド情報５０１ｃについては、ライトフィールド情報５０１ａとライトフィールド情報５０１ｂとの共通部分である。このため、共通部分については、平均をとることによって、Ｓ／Ｎの向上を図ることができる。一方で、図７（Ａ）のレンズエレメント３におけるライトフィールド情報５０１ａ、及び図７（Ｂ）のレンズエレメント０におけるライトフィールド情報５０２ｂについては、非共通部分である。しかしながら、この非共通部分を、出力するライトフィールド情報Ｉに含める場合には、より広範囲のライトフィールド情報Ｉを利用して、より大きな視差を活用可能となる。また、この非共通部分を、出力するライトフィールド情報Ｉに含めない場合には、複数のライトフィールド情報Ｉの共通部分のみで平均処理をして、出力ライトフィールド情報Ｉを生成することで、Ｓ／Ｎ向上を実現することができる。
　＜２－３．回転に対するブレ補正＞
　次に、図８（Ａ）及び図８（Ｂ）を用いて、ｚ軸回りの回転ブレを補正する方法を、説明する。
　図８（Ａ）及び図８（Ｂ）は、図７（Ａ）及び図７（Ｂ）で説明した光軸方向強度分布の３次元斜視図である。ライトフィールド情報Ｉの光軸方向強度分布が、６０２ａと６０２ｂである。
　例えば、図８（Ｂ）に対応する第２の画像が、図８（Ａ）に対応する第１の画像に対して、ｚ軸４０４ｂを中心に回転した状態で撮影された場合、光軸方向強度分布６０２ｂは、光軸方向強度分布６０２ａに対して、光軸まわりに回転した分布となる。このため、回転ブレ検出手段１１６（軸回り回転ブレ検出手段の一例）は、光軸方向強度分布６０２ａと光軸方向強度分布６０２ｂとの間で、回転角度を変えながらパターンマッチングを行うことによって、ｚ軸回りの回転ブレ量を、検出する。そして、回転ブレ補正手段１１７（軸回り回転ブレ補正手段の一例）は、平行移動ブレ検出手段１１３及び平行移動ブレ補正手段１１４における処理に、位置座標を回転する処理を加えることによって、ｚ軸回りの回転ブレを、補正する。
　＜３．まとめ＞
　画ブレ補正装置は、ライトフィールド情報生成手段１１０と、角度ブレ量検出手段１１１，１１３，１１６と、補正手段１１２，１１４，１１７とを、備えている。ライトフィールド情報生成手段１１０は、デジタルカメラ１００によって撮影された連続撮影画像に対応する一連のライトフィールド情報Ｉを、生成する。角度ブレ量検出手段１１１，１１３，１１６は、一連のライトフィールド情報Ｉの変化から、デジタルカメラ１００のブレ量を検出する。補正手段１１２，１１４，１１７は、一連のライトフィールド情報Ｉの変化を抑制するように、ブレ量にしたがって一連のライトフィールド情報Ｉを補正する。
　ここに示した画像ブレ補正装置を備えたデジタルカメラ１００では、一連のライトフィールド情報Ｉの変化から、デジタルカメラ１００のブレ量を検出し、一連のライトフィールド情報Ｉの変化を抑制するように、ブレ量にしたがって一連のライトフィールド情報Ｉを補正する。このライトフィールド情報Ｉを用いることによって、複数の被写体が奥行き方向に異なる位置に存在していても、良好に画ブレを補正することができる。
　＜４．他の実施形態＞
　（１）ライトフィールド情報Ｉの取得方法は、上記のレンズアレイ１０３を用いた方法に限るものではなく、符号化開口法で取得することも可能である。
　（２）前記実施形態では、静止画撮影を前提として説明を行ったが、動画撮影に適用してもよい。
　（３）前記実施形態では、角度ブレ、平行ブレ、回転ブレの順に、ブレ補正を行う場合の例を示したが、ブレ補正の順序はこの限りではなく、どのようにしてもよい。
　（４）前記実施形態では、補正前のライトフィールド情報Ｉを用いて、各種のブレ検出を実行する場合の例を示したが、補正後のライトフィールド情報Ｉを用いて、各種のブレ検出を実行してもよい。
　（５）前記実施形態では、角度ブレに対するブレ補正、平行ブレに対するブレ補正、回転ブレに対するブレ補正が行われる場合の例を示したが、３つのブレ補正のうちの少なくともいずれか１つだけが、実行されるようにしてもよい。
　（６）前記実施形態では、平行ブレの検出及び補正と、回転ブレの検出及び補正とが独立して実行される場合の例を示した。しかしながら、上述したように、平行移動ブレ検出手段１１３及び平行移動ブレ補正手段１１４における処理に、位置座標を回転する処理を加えることによって、ｚ軸回りの回転ブレを補正することができるので、平行ブレの検出及び補正と、回転ブレの検出及び補正とを、同時に実行するようにしてもよい。
　（７）デジタルカメラ１００において実現可能な複数の態様を、以下にまとめておく。これら態様は、必要に応じて任意に組み合せることができる。
　以下では、撮像装置がデジタルカメラ１００に対応している。ブレ量検出手段は、角度ブレ検出手段１１１、平行移動ブレ検出手段１１３、及び回転ブレ検出手段１１６の少なくともいずれか１つを、含んでいる。角度方向強度分布抽出手段は、角度ブレ検出手段１１１を含んでいる。水平・垂直方向回転ブレ検出手段は、平行移動ブレ検出手段１１３、及び回転ブレ検出手段１１６の少なくともいずれか一方を、含んでいる。
　補正手段は、角度ブレ補正手段１１２、平行移動ブレ補正手段１１４、及び回転ブレ補正手段１１７の少なくともいずれか１つを、含んでいる。水平・垂直方向回転ブレ補正手段は、角度ブレ補正手段１１２を含んでいる。平行ブレ・軸回り回転ブレ補正手段は、平行移動ブレ補正手段１１４、及び回転ブレ補正手段１１７の少なくともいずれか一方を、含んでいる。
　（Ａ）画ブレ補正装置は、上述したように、光軸に交差する面上に並べて配置されたレンズアレイを通過した光に基づいて、画ブレを補正する。画ブレ補正装置は、ライトフィールド情報生成手段と、ブレ量検出手段と、補正手段とを、備えている。ライトフィールド情報生成手段は、撮像装置によって撮影された連続撮影画像に対応する一連のライトフィールド情報を、生成する。ブレ量検出手段は、一連のライトフィールド情報の変化から、撮像装置のブレ量を検出する。補正手段は、一連のライトフィールド情報の変化を抑制するように、前記ブレ量にしたがって前記一連のライトフィールド情報を補正する。
　（Ｂ－１）画ブレ補正装置では、ブレ量検出手段が、角度方向強度分布抽出手段と、水平・垂直方向回転ブレ検出手段とを、有している。角度方向強度分布抽出手段は、一連のライトフィールド情報から、角度方向強度分布情報を抽出する。水平・垂直方向回転ブレ検出手段は、角度方向強度分布情報を用いてパターンマッチングを行うことで、撮像装置の水平・垂直方向の回転ブレ量を、検出する。補正手段は、水平・垂直方向回転ブレ補正手段を、有している。水平・垂直方向回転ブレ補正手段は、一連のライトフィールド情報における角度方向強度分布の変化を抑制するように、回転ブレ量にしたがって、一連のライトフィールド情報を補正する。そして、水平・垂直方向回転ブレ補正手段は、補正後のライトフィールド情報を、第１の補正済みライトフィールド情報として出力する。
　（Ｂ－２）画ブレ補正装置では、ブレ量検出手段が、第１の補正済みライトフィールド情報から抽出される面方向強度分布情報に基づいて、撮像装置の水平・垂直方向の並行ブレ量及び軸回りの回転ブレ量の少なくともいずれか一方を、さらに検出する。補正手段は、第１の補正済みライトフィールド情報における面方向強度分布の変化を抑制するように、少なくともいずれか一方のブレ量にしたがって、第１の補正済みライトフィールド情報をさらに補正する。そして、補正手段は、補正後の第１補正済みライトフィールド情報を第２の補正済みライトフィールド情報として出力する。
　（Ｃ－１）画ブレ補正装置では、ブレ量検出手段が、面方向強度分布抽出手段と、並行ブレ・軸回り回転ブレ検出手段とを、有している。面方向強度分布抽出手段は、一連のライトフィールド情報から、面方向強度分布情報を抽出する。並行ブレ・軸回り回転ブレ検出手段は、面方向強度分布情報を用いてパターンマッチングを行うことで、撮像装置の水平・垂直方向の並行ブレ量及び軸回りの回転ブレ量の少なくともいずれか一方を、検出する。補正手段は、平行ブレ・軸回り回転ブレ補正手段を、有している。平行ブレ・軸回り回転ブレ補正手段は、一連のライトフィールド情報における面方向強度分布の変化を抑制するように、上記の少なくともいずれか一方のブレ量にしたがって、一連のライトフィールド情報を、補正する。そして、平行ブレ・軸回り回転ブレ補正手段は、補正後のライトフィールド情報を、第１の補正済みライトフィールド情報として出力する。
　（Ｃ－２）画ブレ補正装置では、ブレ量検出手段が、第１の補正済みライトフィールド情報から抽出される角度方向強度分布情報に基づいて、撮像装置の水平・垂直方向の回転ブレ量を、さらに検出する。補正手段は、第１の補正済みライトフィールド情報における角度方向強度分布の変化を抑制するように、回転ブレ量にしたがって、第１の補正済みライトフィールド情報を、さらに補正する。そして、補正手段は、補正後の第１の補正済みライトフィールド情報を第２の補正済みライトフィールド情報として出力する。
　（Ｄ）画ブレ補正装置では、ブレ量検出手段が、一連のライトフィールド情報の変化と、撮像装置に生じる回転角速度とから、撮像装置のブレ量を検出してもよい。この場合、撮像装置に生じる回転角速度は、例えばジャイロによって検出してもよい。
　ここに開示された技術は、画ブレ補正装置に広く適用可能である。
　１００　ライトフィールドカメラ
　１０１　光学系
　１０２　複数のレンズ
　１０３，２０５ａ，２０５ｂ，４０５ａ，４０５ｂ　レンズアレイ
　１０５　撮像制御手段
　１１０　ライトフィールド情報生成手段
　１１１　角度ブレ検出手段
　１１１ａ　角度方向強度分布抽出手段
　１１１ｂ　水平・垂直方向回転ブレ検出手段
　１１２　角度ブレ補正手段
　１１３　平行移動ブレ検出手段
　１１３ａ　面方向強度分布抽出手段
　１１３ｂ　平行ブレ検出手段
　１１４　平行移動ブレ補正手段
　１１５　出力画像生成手段
　１１６　回転ブレ検出手段
　１１７　回転ブレ補正手段
　１２０，２０６ａ，２０６ｂ，４０６ａ，４０６ｂ　イメージセンサ
　１２２　画像処理部
　１２５　ライトフィールド情報処理部
　１３０　コントローラ
　２０１ａ，２０１ｂ，４０１ａ，４０１ｂ　基準軸
　２０２ａ，２０２ｂ，４０２ａ，４０２ｂ　遠方被写体
　２０３ａ，２０３ｂ，４０３ａ，４０３ｂ　近方被写体
　２０４ａ，２０４ｂ，４０４ａ，４０４ｂ　ｚ光軸
　３０１ａ，３０１ｂ，３０１ｃ，５０１ａ，５０１ｂ，５０１ｃ，Ｉ　ライトフィールド情報
　３０２ａ，３０２ｂ　角度方向強度分布
　５０２ａ，５０２ｂ，６０２ａ，６０２ｂ　光軸方向強度分布

Claims (3)

  1. 　撮像装置によって撮影された連続撮影画像に対応する一連のライトフィールド情報を、生成するライトフィールド情報生成手段と、
    　前記一連のライトフィールド情報の変化から、前記撮像装置のブレ量を検出するブレ量検出手段と、
    　前記一連のライトフィールド情報の変化を抑制するように、前記ブレ量にしたがって前記一連のライトフィールド情報を補正する補正手段と、
    を備える画ブレ補正装置。
  2. 　前記ブレ量検出手段は、
    　前記一連のライトフィールド情報から、角度方向強度分布情報を抽出する角度方向強度分布抽出手段と、
    　前記角度方向強度分布情報を用いてパターンマッチングを行うことで、前記撮像装置の水平・垂直方向の回転ブレ量を、検出する水平・垂直方向回転ブレ検出手段と、を有し、
    　前記補正手段は、
    　前記一連のライトフィールド情報における前記角度方向強度分布の変化を抑制するように、前記回転ブレ量にしたがって、前記一連のライトフィールド情報を、補正する水平・垂直方向回転ブレ補正手段、
    を有する請求項１に記載の画ブレ補正装置。
  3. 　前記ブレ量検出手段は、
    　前記一連のライトフィールド情報から、面方向強度分布情報を抽出する面方向強度分布抽出手段と、
    　前記面方向強度分布情報を用いてパターンマッチングを行うことで、前記撮像装置の水平・垂直方向の並行ブレ量及び所定軸回りの回転ブレ量の少なくともいずれか一方を、検出する並行ブレ・軸回り回転ブレ検出手段と、を有し、
    　前記補正手段は、
    　前記一連のライトフィールド情報における前記面方向強度分布の変化を抑制するように、前記少なくともいずれか一方のブレ量にしたがって、前記一連のライトフィールド情報を、補正する平行ブレ・軸回り回転ブレ補正手段を、有する、
    請求項１又は２に記載の画ブレ補正装置。
PCT/JP2012/007186 2011-11-10 2012-11-08 画ブレ補正装置 WO2013069292A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/177,651 US9070189B2 (en) 2011-11-10 2014-02-11 Image blurring correction device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011246586A JP2015019119A (ja) 2011-11-10 2011-11-10 画ブレ補正装置
JP2011-246586 2011-11-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/177,651 Continuation US9070189B2 (en) 2011-11-10 2014-02-11 Image blurring correction device

Publications (1)

Publication Number Publication Date
WO2013069292A1 true WO2013069292A1 (ja) 2013-05-16

Family

ID=48289509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/007186 WO2013069292A1 (ja) 2011-11-10 2012-11-08 画ブレ補正装置

Country Status (3)

Country Link
US (1) US9070189B2 (ja)
JP (1) JP2015019119A (ja)
WO (1) WO2013069292A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130995A1 (en) * 2012-05-31 2015-05-14 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and program storage medium
WO2015132831A1 (ja) * 2014-03-03 2015-09-11 パナソニックＩｐマネジメント株式会社 撮像装置
JP2016042662A (ja) * 2014-08-18 2016-03-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
WO2016158957A1 (ja) * 2015-03-30 2016-10-06 株式会社ニコン 撮像装置、マルチレンズカメラおよび撮像装置の製造方法
US9582887B2 (en) 2013-10-09 2017-02-28 Sony Corporation Methods and apparatus for determining field of view dependent depth map correction values
CN109714536A (zh) * 2019-01-23 2019-05-03 Oppo广东移动通信有限公司 图像校正方法、装置、电子设备及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180080219A (ko) * 2015-10-09 2018-07-11 비스비 카메라 코퍼레이션 홀로그램 광 필드 이미징 디바이스 및 그 이용 방법
JP6843651B2 (ja) * 2017-03-01 2021-03-17 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005084A (ja) * 2006-06-21 2008-01-10 Sony Corp 画像処理装置、画像処理方法、撮像装置および撮像方法
JP2008219878A (ja) * 2007-02-09 2008-09-18 Olympus Imaging Corp 復号方法、復号装置、復号プログラム、及び電子カメラ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2541924B2 (ja) 1985-05-24 1996-10-09 キヤノン株式会社 撮像光学装置
GB0510470D0 (en) 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
US7756407B2 (en) 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images
US7580620B2 (en) 2006-05-08 2009-08-25 Mitsubishi Electric Research Laboratories, Inc. Method for deblurring images using optimized temporal coding patterns
JP5188205B2 (ja) 2007-06-12 2013-04-24 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法
JP5377073B2 (ja) 2009-05-20 2013-12-25 キヤノン株式会社 撮像装置、ぶれ修復方法及びプログラム
JP5249157B2 (ja) 2009-08-26 2013-07-31 Ｋｄｄｉ株式会社 ３次元モデルを高速に高精度化する方法及び装置
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8542933B2 (en) * 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005084A (ja) * 2006-06-21 2008-01-10 Sony Corp 画像処理装置、画像処理方法、撮像装置および撮像方法
JP2008219878A (ja) * 2007-02-09 2008-09-18 Olympus Imaging Corp 復号方法、復号装置、復号プログラム、及び電子カメラ

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130995A1 (en) * 2012-05-31 2015-05-14 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and program storage medium
US9712755B2 (en) * 2012-05-31 2017-07-18 Canon Kabushiki Kaisha Information processing method, apparatus, and program for correcting light field data
US9582887B2 (en) 2013-10-09 2017-02-28 Sony Corporation Methods and apparatus for determining field of view dependent depth map correction values
WO2015132831A1 (ja) * 2014-03-03 2015-09-11 パナソニックＩｐマネジメント株式会社 撮像装置
JP2016042662A (ja) * 2014-08-18 2016-03-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
WO2016158957A1 (ja) * 2015-03-30 2016-10-06 株式会社ニコン 撮像装置、マルチレンズカメラおよび撮像装置の製造方法
JPWO2016158957A1 (ja) * 2015-03-30 2018-02-01 株式会社ニコン 撮像装置、マルチレンズカメラおよび撮像装置の製造方法
CN109714536A (zh) * 2019-01-23 2019-05-03 Oppo广东移动通信有限公司 图像校正方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20140161368A1 (en) 2014-06-12
JP2015019119A (ja) 2015-01-29
US9070189B2 (en) 2015-06-30

Similar Documents

Publication Publication Date Title
WO2013069292A1 (ja) 画ブレ補正装置
JP6327245B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
WO2020088133A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
TWI394435B (zh) 用於測定一成像裝置之移動的方法及系統
US20220038630A1 (en) Blur correction device, interchangeable lens and image-capturing device
KR102515482B1 (ko) 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
JP2011120138A (ja) カメラモジュール
US9667853B2 (en) Image-capturing apparatus
JP2018173632A (ja) 撮像装置
CN109660718A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2010130628A (ja) 撮像装置、映像合成装置および映像合成方法
JP2011205284A (ja) 画像処理方法および画像処理装置
WO2018076529A1 (zh) 场景深度计算方法、装置及终端
JP7387713B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JP5393877B2 (ja) 撮像装置および集積回路
US10681260B2 (en) Focus detection device and focus detection method
JP2006203504A (ja) 撮像装置
JP2016042662A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP2013250360A (ja) 撮像装置、撮像方法及びプログラム
WO2018180908A1 (ja) ブレ補正装置、交換レンズおよび撮像装置
JP4682010B2 (ja) 撮像装置
JP2003207813A (ja) 撮像装置
JP2020095071A (ja) 交換レンズおよび撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12848625

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12848625

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP