WO2015190317A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2015190317A1
WO2015190317A1 PCT/JP2015/065533 JP2015065533W WO2015190317A1 WO 2015190317 A1 WO2015190317 A1 WO 2015190317A1 JP 2015065533 W JP2015065533 W JP 2015065533W WO 2015190317 A1 WO2015190317 A1 WO 2015190317A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency component
distortion
frame
correction amount
image processing
Prior art date
Application number
PCT/JP2015/065533
Other languages
English (en)
French (fr)
Inventor
大木　光晴
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/312,479 priority Critical patent/US9906693B2/en
Publication of WO2015190317A1 publication Critical patent/WO2015190317A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program, and more particularly, to an image processing device, an image processing method, and a program that are suitable for correcting focal plane distortion caused by a rolling shutter of a CMOS image sensor. .
  • CMOS complementary metal-oxide-semiconductor
  • CMOS due to its structure, cannot expose all pixels simultaneously and read out the pixel signals obtained as a result. In view of this, so-called rolling shutter is performed in which pixels are sequentially scanned in units of lines and exposure and pixel signals are read out. However, there is a CMOS having a so-called global shutter function that can match the exposure timing of all pixels.
  • FIG. 1 is a diagram for explaining a CMOS rolling shutter, and shows a continuous 0th frame f0, a first frame f1, a second frame f2,... Constituting a moving image. ing.
  • Each frame is composed of pixels for 0 to h ⁇ 1 lines.
  • the rolling shutter performs exposure and reading in units of lines.
  • the frame rate of the moving image to be captured is 30 fps
  • the time difference between the readout timings of the lines adjacent vertically is 1 / (30 ⁇ h) seconds.
  • 1 / (30 ⁇ h) seconds is a minute time, but when accumulated, it cannot be ignored.
  • the read timing of these two lines is It is difficult to say that it is the same time, and this time difference causes distortion in the frame.
  • FIG. 2 shows a landscape (a building such as a house or a building) as a subject of moving image capturing.
  • the subject is captured as a moving image in an imaging range surrounded by a broken line, for example, by a video camera fixed to a car that is stopped with the engine running.
  • the video camera is assumed to vibrate slightly from side to side due to engine vibration.
  • FIG. 3 shows one frame of a moving image captured in a stopped state with minute vibrations.
  • a minute left / right shake hereinafter referred to as a distorted high-frequency component
  • a minute vibration of the video camera occurs in the frame of the moving image. It will be a thing.
  • a method for correcting such a distortion high-frequency component has been established. Specifically, a pixel that specifies a position where the same part of the subject is captured between two temporally adjacent frames (for example, an n ⁇ 1th frame and an nth frame adjacent in time). A matching process is performed, a correspondence relationship between each pixel is obtained between the two frames, and a distortion high-frequency component generated in the frame is corrected based on this correspondence relationship.
  • FIG. 4 shows a result of distortion correction performed on the frame in which the distortion high-frequency component shown in FIG. 3 is generated. If the correspondence between each pixel can be accurately obtained between two frames, the distortion high frequency component can be corrected as shown in FIG. However, as is clear by comparing the angle of view between the frame before distortion correction shown in FIG. 3 and the frame after distortion correction shown in FIG. 4, the frame after distortion correction has a narrowed field angle. Will end up.
  • FIG. 5 shows the movement of the imaging range when a moving image is captured while running. That is, when the automobile travels in the right direction on the drawing, the imaging range by the video camera is also moved in the right direction on the drawing as indicated by a broken line.
  • FIG. 6 shows one frame of a moving image captured during traveling.
  • the frame of the moving image has a distortion high-frequency component as in the case of FIG. 3, and further, the distortion in which the originally standing upright house or building is tilted obliquely. (Hereinafter, the distortion low frequency component) occurs.
  • the distortion high-frequency component as in the case of FIG. 3, and further, the distortion in which the originally standing upright house or building is tilted obliquely. (Hereinafter, the distortion low frequency component) occurs.
  • the distortion high-frequency component as in the case of FIG. 3, and further, the distortion in which the originally standing upright house or building is tilted obliquely.
  • the distortion low frequency component occurs. This is because the timing when the 0th line in the same frame is imaged and the timing when the mth line (m is an integer from 1 to h ⁇ 1) are not simultaneous and there is a difference.
  • FIG. 7 shows the result of distortion correction performed on the frame in which the distortion high frequency component and distortion low frequency component shown in FIG. 6 are generated. If the correspondence between each pixel can be accurately obtained between two frames, the distortion high frequency component and the distortion low frequency component can be collectively corrected as shown in FIG.
  • the frame after correcting the distortion high frequency component and distortion low frequency component is shown in FIG.
  • the angle of view is further narrowed compared to the frame after correcting the high-frequency distortion component.
  • the pixel matching processing of the moving image captured in the stopped state shown in FIG. 3 can narrow the search range because the imaging range of each frame changes only for minute vibrations. Therefore, the corresponding position between the two frames can be detected relatively easily and accurately.
  • the pixel matching processing of the moving image captured during traveling shown in FIG. 6 requires a wider search range because the imaging range of each frame is different. In addition to an increase in the amount of calculation, this also increases the possibility that a corresponding position between two frames will be erroneously detected. If a corresponding position between two frames is erroneously detected and distortion correction is performed based on this, there may be a problem that a moving image is harder to watch than the state before correction.
  • the present disclosure has been made in view of such circumstances, and is intended to correct distortion generated in a frame due to a rolling shutter to an extent that can be appreciated.
  • An image processing apparatus is a first detection unit that detects a distortion high-frequency component that is a high-frequency component of distortion of a frame in an image processing apparatus that corrects distortion generated in a frame constituting a moving image.
  • a second detection unit that detects a distortion low frequency component that is a low frequency component of distortion of the frame, a correction amount determination unit that determines a correction amount of the distortion high frequency component, and the detected distortion low frequency component
  • a correction unit that corrects the distortion low-frequency component generated in the frame and corrects the distortion high-frequency component generated in the frame according to the determined correction amount.
  • the correction amount determination unit can determine the correction amount of the distortion high frequency component based on the detected magnitude of the distortion low frequency component.
  • the first detection unit can detect a positional relationship between corresponding pixels of the two frames by the pixel matching process between the two frames moving back and forth in time as the distortion high-frequency component
  • the second detection unit can detect an average value of the positional relationship between corresponding pixels of the two frames as the distortion low frequency component.
  • the correction amount determination unit can monotonously decrease the correction amount of the distortion high-frequency component with respect to the detected increase in the magnitude of the distortion low-frequency component.
  • the image processing apparatus may further include a weight determining unit that determines a weighting factor based on the detected magnitude of the distortion low frequency component, and the correction amount determining unit is determined The correction amount of the distortion high frequency component can be determined based on the weight coefficient.
  • the image processing apparatus may further include a multiplying unit that multiplies the correction amount of the distortion high-frequency component with respect to the previous frame by the detected distortion high-frequency component, and the correction
  • the amount determining unit can further determine a correction amount of the distortion high-frequency component based on a multiplication result of the correction amount of the distortion high-frequency component with respect to the previous frame and the detected distortion high-frequency component.
  • An image processing method is an image processing method of an image processing apparatus for correcting distortion generated in a frame constituting a moving image, using a high-frequency component of the distortion of the frame by the image processing apparatus.
  • a first detection step for detecting a certain distortion high frequency component a second detection step for detecting a distortion low frequency component which is a low frequency component of distortion of the frame, and a correction amount for determining a correction amount of the distortion high frequency component
  • the distortion low frequency component generated in the frame is corrected, and the distortion high frequency component generated in the frame is corrected in accordance with the determined correction amount.
  • a correction step is an image processing method of an image processing apparatus for correcting distortion generated in a frame constituting a moving image, using a high-frequency component of the distortion of the frame by the image processing apparatus.
  • a program includes a computer for correcting distortion generated in a frame constituting a moving image, a first detection unit that detects a distortion high-frequency component that is a high-frequency component of distortion of the frame, A second detection unit that detects a distortion low-frequency component that is a low-frequency component of the distortion of the frame; a correction amount determination unit that determines a correction amount of the distortion high-frequency component; and the detected distortion low-frequency component
  • the distortion low-frequency component generated in the frame is corrected, and the correction unit corrects the distortion high-frequency component generated in the frame according to the determined correction amount.
  • a distortion high-frequency component that is a high-frequency component of distortion of a frame constituting a moving image is detected, a distortion low-frequency component that is a low-frequency component of distortion of the frame is detected, and the distortion high-frequency component
  • the amount of correction is determined. Further, the distortion low frequency component generated in the frame is corrected based on the detected distortion low frequency component, and the distortion high frequency component generated in the frame is corrected according to the determined correction amount.
  • FIG. 26 is a block diagram illustrating a configuration example of an image processing apparatus to which the present disclosure is applied.
  • the distorted low frequency component refers to a component of the distortion generated in the moving image frame that is lower than the moving image frame rate
  • the distorted high frequency component refers to the moving image frame rate. It shall refer to the high frequency component.
  • the human visual characteristic is that when viewing a moving image that is captured in a stationary state and the imaging range does not change, it is possible to recognize changes in details in the image, and the imaging range captured while moving It is known that when a moving image with a change is viewed, a rough change in the image can be recognized, but a change in details cannot be recognized.
  • the generated distortion high frequency component can be recognized. Therefore, since it is difficult to endure viewing as it is, it is desirable to correct the distortion high frequency component.
  • the generated distortion low-frequency component (originally the tilt of the subject standing upright) can be recognized, but the distortion high-frequency component cannot be recognized. Therefore, in this case, if only the distortion low-frequency component is corrected, it can be appreciated.
  • the distortion low frequency component when the distortion low frequency component is large, only the distortion low frequency component is corrected, and the distortion high frequency component is not so much corrected.
  • the distortion low frequency component is small, the distortion low frequency component and the distortion high frequency component are corrected.
  • FIG. 8 shows a result of distortion correction of the frame in which a high-frequency distortion component and a low-distortion frequency component imaged during running are generated by the image processing apparatus according to the present embodiment shown in FIG. Yes.
  • a high-frequency distortion component may remain in the frame, but it can be safely viewed as a moving image. .
  • FIG. 9 shows a configuration example of the image processing apparatus according to the present embodiment.
  • the image processing apparatus 10 includes an image data holding unit 11, a pixel matching unit 12, an integration unit 13, a weight calculation unit 14, a position conversion data holding unit 15, a conversion accumulation unit 16, a deformation amount control unit 17, and a deformation unit 18. Composed.
  • frames constituting a moving image are sequentially input and input to the image data holding unit 11, the pixel matching unit 12, and the deformation unit 18.
  • the frame that is simultaneously input to these is defined as the f-th frame.
  • the image data holding unit 11 delays the frames of the moving images sequentially input to the image processing apparatus 10 by one frame period and outputs the delayed frames to the pixel matching unit 12 at the subsequent stage.
  • the pixel matching unit 12 performs pixel matching processing on the f-1th frame, the fth frame, and two frames that are temporally adjacent to each other as a processing target, and the f-1th frame The position of the pixel of the f-th frame corresponding to each pixel of the frame is specified.
  • the pixel matching unit 12 outputs the obtained function G (described as “Previous To ⁇ Current” in FIG. 9) to the integration unit 13 and the conversion accumulation unit 16.
  • the integrating unit 13 uses the following expression (2) based on the function G indicating the positional relationship of the pixels of the f-th frame corresponding to each pixel of the f-1-th frame.
  • An average value (x gmv , y gmv ) of the movement amount from the frame to the f-th frame is calculated.
  • NumOfPixels means the total number of pixels in the frame.
  • the average value (x gmv , y gmv ) of the movement amount from the f ⁇ 1th frame to the fth frame is also referred to as a global motion vector.
  • the integration by the integration unit 13 eliminates random noise (inaccuracy of the function G). As a result, it can be said that the global motion vector is accurate.
  • the integrating unit 13 outputs the calculated global motion vector to the weight calculating unit 14 and the deforming unit 18.
  • the weight calculation unit 14 determines a weighting factor W that determines a correction amount for a detailed fluctuation (distortion high-frequency component) occurring in a frame based on the input global motion vector.
  • FIG. 10 shows the relationship between the global motion vector and the weighting factor.
  • the horizontal axis in the figure is the size of the global motion vector
  • the vertical axis is the value of the weighting factor
  • the threshold values TH1 and TH2 in the global motion vector on the horizontal axis
  • the maximum value Wmax in the weighting factor on the vertical axis
  • the distortion high frequency component generated in the frame is corrected by 70%. Further, if the size of the global motion vector is 60 or more in terms of pixels, only 10% of the distortion high frequency component generated in the frame is corrected.
  • the position conversion data holding unit 15 delays the function Fn input from the deformation amount control unit 17 by one frame period, and outputs it to the conversion accumulation unit 16 as a function Fp.
  • the function Fp does not exist. Instead, the identity conversion I that is the initial setting is output.
  • the conversion accumulating unit 16 calculates the function Fc by multiplying the function G input from the pixel matching unit 12 and the function Fp input from the position conversion data holding unit 15 according to the following equation (3) to control the conversion amount. To the unit 17.
  • the function G indicates the positional relationship of the pixels of the f-th frame corresponding to each pixel of the f-1th frame
  • the function Fp is before the f-th frame of interest. This shows the positional relationship of the pixels of the f-1th frame corresponding to each pixel of the existing reference frame.
  • the function Fc represents the positional relationship of the pixels of the f-th frame with respect to each pixel of the reference frame, and represents the positional relationship when the fine fluctuation occurring in the f-th frame is completely corrected. Will be.
  • the deformation amount control unit 17 calculates the function Fn according to the following equation (4) based on the function Fc input from the conversion accumulating unit 16 and the weight coefficient W input from the weight calculation unit 14, and a position conversion data holding unit 15 and the deformation unit 18.
  • I in Formula (4) represents identity transformation.
  • Equation (4) when the value of the weighting factor W is large, the function Fn is almost similar to the function Fc. In this case, the detail fluctuation occurring in the f-th frame is completely corrected in the subsequent deformation unit 18.
  • the function Fn becomes almost identical transformation I. In this case, almost no deformation (distortion correction) is performed in the subsequent deformation unit 18.
  • the deformation unit 18 uses the f-th frame as a processing target, and corrects detailed fluctuation (distortion high-frequency component) generated in the f-th frame based on the function Fn input from the deformation amount control unit 17. . Further, the deforming unit 18 corrects the inclination (distortion low frequency component) of the subject in a specific direction generated in the f-th frame based on the global motion vector input from the integrating unit 13.
  • the pixel value of the pixel located at the coordinate indicated by the function Fn (x b , y b ) of the f-th frame may be written into the coordinate (x b , y b ).
  • the pixel value of the pixel located at the coordinate indicated by the function H (x i , y i ) may be written into the coordinate (x i , y i ).
  • the function H is as shown in the following equation (5).
  • the deforming unit 18 performs a process of writing the pixel value of the pixel located at the coordinates (x o , y o ) of the f-th frame to the coordinates (x b , y b ). In this way, the f-th frame can be corrected by creating a frame in which pixel values are written in all coordinates (x b , y b ).
  • FIG. 11 shows the f-1 frame and the f frame when the video camera is moving from the left side to the right side of the drawing while capturing a stationary straight bar object as a moving image. Show. It is assumed that the stationary subject 51 is standing upright.
  • the originally upright subject 51 is projected obliquely as a projected image 52 on the (f-1) th frame.
  • the originally upright subject 51 is projected obliquely as a projection image 53 on the f-th frame.
  • the size of x gmv corresponds to the amount of deviation in the x direction from the 0th line to the h ⁇ 1 line of the projection image 52 (or projection image 53). Accordingly, the function H is used to modify the f-th frame shown in the figure so as to become the corrected f-th frame.
  • FIG. 12 shows the f-1th frame and the f frames when the video camera moves in the vertical direction from the upper side to the lower side and captures a stationary straight bar-like subject as a moving image. Shows the eye frame. It is assumed that the stationary subject 61 is upright.
  • the straight bar-like subject 61 is projected as the projection image 62 or 63 shorter than the original length on the f-1 and f frames.
  • the function H is a correction for deforming (enlarging or reducing) the projection image 63 having a length of (h + y gmv ) in the f-th frame into the subject 64 in an ideally frame without distortion.
  • FIG. 13 is a flowchart for explaining distortion correction processing by the image processing apparatus 10.
  • step S1 the parameter f representing the number of the frame to be processed, which is input to the image processing apparatus 10, is reset to zero.
  • step S2 since the position conversion data holding unit 15 does not currently receive the function Fn from the deformation amount control unit 17, the initial setting of the position conversion data (function Fp) to be output to the conversion accumulation unit 16 is performed. Let it be the identity transformation I.
  • step S3 the f-th frame (0th frame in this case) is input to the image data holding unit 11.
  • the image data holding unit 11 holds the f-th frame for one frame period, and outputs it to the pixel matching unit 12 together with the next frame at the timing when the next frame is input to the image processing apparatus 10. .
  • step S4 it is determined whether or not the f-th frame (that is, f + 1-th frame) exists, and if it exists, the process proceeds to step S5. If there is no such distortion, the distortion correction process is terminated.
  • step S5 the parameter f is incremented by 1.
  • step S6 the f-th frame (in this case, the first frame) is input to the image processing apparatus 10 (the image data holding unit 11, the pixel matching unit 12, and the transformation unit 18).
  • the current f-th frame and the f-1th frame are input to the pixel matching unit 12, and pixel matching processing is performed between the two frames.
  • a function G obtained as a result of the pixel matching process is input to the integration unit 13 and the conversion accumulation unit 16.
  • step S7 the conversion accumulating unit 16 sets the function G from the pixel matching unit 12 and the function Fp held by the position conversion data holding unit 15 (however, if the processing target is one frame, the function Fp). Is the identity transformation I), and the function Fc obtained as a result is output to the transformation amount control unit 17.
  • step S8 the integrating unit 13 calculates a global motion vector according to the equation (2) based on the function G, and outputs it to the weight calculating unit 14 and the deforming unit 18.
  • step S9 the weight calculation unit 14 determines the weight coefficient W based on the global motion vector.
  • step S7 and the processes of steps S8 and S9 are actually executed in parallel.
  • step S10 the deformation amount control unit 17 calculates the function Fn according to the equation (4) based on the function Fc from the conversion accumulation unit 16 and the weight coefficient W from the weight calculation unit 14, thereby obtaining one frame.
  • the previously obtained function Fn is updated and output to the position conversion data holding unit 15 and the deformation unit 18.
  • step S ⁇ b> 11 the deformation unit 18 corrects the fine fluctuation (distortion high frequency component) generated in the f-th frame based on the function Fn from the deformation amount control unit 17.
  • the function H based on the global motion vector, the inclination of the subject in a specific direction (distortion low-frequency component) occurring in the f-th frame is corrected.
  • step S4 the processes of steps S4 to S11 are repeated, and the distortion correction process is terminated when there is no longer any moving image frame input to the image processing apparatus 10.
  • the distortion caused by the CMOS rolling shutter is classified into the distortion high frequency component and the distortion low frequency component, and the magnitude of the distortion low frequency component (overall Since the degree of correction of the distortion high frequency component is adjusted according to the magnitude of the target motion vector, distortion that is noticeable when the moving image is viewed can be corrected.
  • the image processing apparatus 10 can be applied to an image processing apparatus that corrects an image, and can also be applied to, for example, an electronic apparatus equipped with a CMOS such as a digital video camera.
  • CMOS complementary metal-oxide-semiconductor
  • a series of processes of the image processing apparatus 10 described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 14 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processes by a program.
  • the CPU 101, the ROM 102, and the RAM 103 are connected to each other by a bus 104.
  • An input / output interface 105 is further connected to the bus 104.
  • An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
  • the input unit 106 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 107 includes a display, a speaker, and the like.
  • the storage unit 108 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 109 includes a network interface or the like.
  • the drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 101 loads the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. A series of processing is performed.
  • the program executed by the computer 100 can be provided by being recorded in, for example, a removable medium 111 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • this indication can also take the following structures.
  • a first detection unit that detects a distortion high-frequency component that is a high-frequency component of distortion of the frame;
  • a second detection unit that detects a distortion low-frequency component that is a low-frequency component of distortion of the frame;
  • a correction amount determination unit that determines a correction amount of the distortion high-frequency component;
  • a correction unit that corrects the distortion low-frequency component generated in the frame based on the detected distortion low-frequency component, and corrects the distortion high-frequency component generated in the frame according to the determined correction amount;
  • a weight determining unit that determines a weighting factor based on the magnitude of the detected distortion low-frequency component; The image processing apparatus according to any one of (1) to (4), wherein the correction amount determination unit determines a correction amount of the distortion high-frequency component based on the determined weighting factor.
  • a multiplier that multiplies the correction amount of the distortion high-frequency component with respect to the previous frame by the detected distortion high-frequency component; The correction amount determination unit further determines a correction amount of the distortion high-frequency component based on a multiplication result of the correction amount of the distortion high-frequency component for the previous frame and the detected distortion high-frequency component.
  • the image processing device according to any one of 1) to 5).
  • a computer for correcting distortion generated in the frames constituting the moving image A first detection unit that detects a distortion high-frequency component that is a high-frequency component of distortion of the frame; A second detection unit that detects a distortion low-frequency component that is a low-frequency component of distortion of the frame; A correction amount determination unit that determines a correction amount of the distortion high-frequency component; A correction unit that corrects the distortion low-frequency component generated in the frame based on the detected distortion low-frequency component, and corrects the distortion high-frequency component generated in the frame according to the determined correction amount. Program to function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

　本開示は、ローリングシャッタに起因してフレームに生じる歪を鑑賞に堪えられる程度に補正することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。　本開示の一側面である画像処理装置は、動画像を構成するフレームに生じた歪みを補正する画像処理装置において、前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出部と、前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出部と、前記歪高周波成分の補正量を決定する補正量決定部と、検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正部とを備える。本開示は、例えば、CMOSセンサを搭載したビデオカメラに適用できる。

Description

画像処理装置、画像処理方法、およびプログラム
　本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、CMOSイメージセンサのローリングシャッタに起因するフォーカルプレーン歪を補正する場合に用いて好適な画像処理装置、画像処理方法、およびプログラムに関する。
　現在、撮像装置などに搭載されるイメージセンサとしてはCMOSイメージセンサ（以下、CMOSと略称する）が主流となっている。
　CMOSは、その構造上、全ての画素を同時に露光させ、その結果得られる画素信号を同時に読み出すことができない。そこで、画素をライン単位で順次走査して露光と画素信号の読み出す、いわゆるローリングシャッタを行うようになっている。ただし、全ての画素の露光タイミングを一致させることができる、いわゆるグローバルシャッタ機能を備えるCMOSも存在する。
　図１は、CMOSによるローリングシャッタを説明するための図であり、動画像を構成する連続した０枚目のフレームｆ０、１枚目のフレームｆ１、２枚目のフレームｆ２、・・・を示している。各フレームは、０乃至ｈ－１ライン分の画素で構成される。
　上述したように、ローリングシャッタでは、ライン単位で露光、読み出しが行われる。例えば、撮像される動画像のフレームレートが30fpsである場合、上下に隣接するラインの読み出しタイミングの時間差は、１／（３０×ｈ）秒となる。１／（３０×ｈ）秒は微少な時間ではあるが、累積されると無視できないものとなり、例えば、同一フレームのある程度離れた２本のラインに着目すると、これら２本のラインの読み出しタイミングは、同時刻とは言い難く、この時間差によりフレームに歪みが生じる。
　次に、ローリングシャッタに起因してフレームに生じる歪について説明する。
　図２は、動画撮像の被写体とする風景（家、ビルなどの建物）を示している。この被写体を、例えば、エンジンがかけられた状態で停車している自動車に固定されたビデオカメラにより、破線で囲まれた撮像範囲を動画像として撮像する場合を想定する。ただし、該ビデオカメラは、エンジンの振動により、左右に微小振動しているものとする。
　図３は、微小振動がある停車状態で撮像された動画像の１フレームを示している。同図に示されるように、動画像のフレームには、ビデオカメラの微小振動に起因する微小な左右振れ（以下、歪高周波成分と称する）が生じてしまうので、このままでは鑑賞には堪えられないものとなる。
　そこで、従来、このような歪高周波成分を補正する方法が確立されている。具体的には、時間的に近い２枚のフレーム（例えば、時間的に隣り合うｎ－１枚目のフレームとｎ枚目のフレーム）間で被写体の同一部位が写っている位置を特定する画素マッチング処理が行われ、２枚のフレーム間で各画素の対応関係が求められて、この対応関係に基づいてフレームに生じた歪高周波成分が補正される。
　図４は、図３に示された歪高周波成分が生じているフレームに対して歪補正を行った結果を示している。２枚のフレーム間で各画素の対応関係を正確に求めることができれば、同図に示されるように、歪高周波成分を補正することができる。ただし、図３に示された歪補正前と、図４に示された歪補正後でフレームとで画角を比較して明らかなように、歪補正後のフレームは、画角が狭められてしまうことになる。
　次に、上述したように自動車に固定されているビデオカメラで、自動車の走行中に進行方向に対して垂直な方向（真横方向）を撮影した場合を考える。
　図５は、走行しながら動画像を撮像した場合の撮像範囲の移動を示している。すなわち、自動車が図面上右方向に走行した場合、該ビデオカメラによる撮像範囲も、破線で示されるように、図面上の右方向に移動される。
　図６は、走行中で撮像された動画像の１フレームを示している。同図に示されるように、動画像のフレームには、図３の場合と同様、歪高周波成分が生じており、さらに、本来は直立していた家やビルが斜めに傾いて写ってしまう歪（以下、以下、歪低周波成分）が生じている。これは、同一のフレームにおける０ライン目が撮像されたタイミングと、ｍライン目（ｍは１からｈ－１までの整数）が撮像されたタイミングが同時ではなく、差があるためである。
　図６に示されたような歪高周波成分と歪低周波成分がフレームに生じている動画像についても、このままでは鑑賞に堪えられないものである。よって、従来、これらの歪補正についても様々方法が存在する。具体的には、上述した歪高周波成分の補正と同様、時間的に近い２枚のフレーム間で画素マッチング処理が行われ、２枚のフレーム間の各画素の対応関係に基づき、フレームに生じた歪み（歪高周波成分と歪低周波成分からなるもの）が一括して補正される。
　図７は、図６に示された歪高周波成分と歪低周波成分が生じているフレームに対して歪補正を行った結果を示している。２枚のフレーム間で各画素の対応関係を正確に求めることができれば、同図に示されるように、歪高周波成分と歪低周波成分についても一括して補正することができる。
　ただし、走行中に撮像された動画像のフレームは、図５に示されたように撮像範囲が変化するので、歪高周波成分と歪低周波成分を補正した後のフレームは、図４に示された歪高周波成分を補正した後のフレームよりもさらに画角が狭められたものとなる。
　ところで、図３に示された、停止状態で撮像された動画像の画素マッチング処理は、各フレームの撮像範囲が微小振動分しか変化していないので、探索範囲を狭くすることができる。よって、２枚のフレーム間における対応位置を比較的容易に正確に検出することができる。
　一方、図６に示された、走行中に撮像された動画像の画素マッチング処理は、各フレームの撮像範囲が異なるので、探索範囲を広げる必要がある。これは演算量が増えることに加えて、２枚のフレーム間における対応位置が誤検出されてしまう可能性も増すことになる。２枚のフレーム間における対応位置が誤検出され、これに基づいて歪補正が行われると、補正前の状態よりもさらに鑑賞に堪えがたい動画像になってしまう不具合も起こり得る。
　そこで従来、そのような不具合を抑止する方法として、画素マッチング処理の精度が良い場合にだけ歪補正を行い、悪い場合は補正を行わなかったり、走行中に撮像されるなどした、連続するフレームに同一方向への動きがある場合には、歪み調整値を小さくしたりすることが提案されている（例えば、特許文献１参照）。
特開２０１０－１６６５１２
　特許文献１の方法では、画素マッチング処理の精度が悪い場合には歪補正を行わない、あるいは、連続するフレームに同一方向への動きがある場合には歪み調整値を小さくするので、フレームが歪補正によって補正前よりもさらに劣化してしまうことを抑止できる。
　しかしながら、その場合、フレームには依然として歪みが存在するので、鑑賞に堪えがという不具合は解消されていないことになる。
　本開示はこのような状況に鑑みてなされたものであり、ローリングシャッタに起因してフレームに生じる歪を、鑑賞に堪えられる程度に補正できるようにするものである。
　本開示の一側面である画像処理装置は、動画像を構成するフレームに生じた歪みを補正する画像処理装置において、前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出部と、前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出部と、前記歪高周波成分の補正量を決定する補正量決定部と、検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正部とを備える。
　前記補正量決定部は、検出された前記歪低周波成分の大きさに基づき、前記歪高周波成分の補正量を決定することができる。
　前記第１の検出部は、前記歪高周波成分として、時間的に前後する２枚のフレーム間の画素マッチング処理により、前記２枚のフレームの対応する画素の位置関係を検出することができ、前記第２の検出部は、前記歪低周波成分として、前記２枚のフレームの対応する画素の位置関係の平均値を検出することができる。
　前記補正量決定部は、検出された前記歪低周波成分の大きさの増加に対して、前記歪高周波成分の補正量を単調減少させることができる。
　本開示の一側面である画像処理装置は、検出された前記歪低周波成分の大きさに基づいて重み係数を決定する重み決定部をさらに備えることができ、前記補正量決定部は、決定された前記重み係数に基づき、前記歪高周波成分の補正量を決定することができる。
　本開示の一側面である画像処理装置は、１枚前のフレームに対する前記歪高周波成分の前記補正量と、検出された前記歪高周波成分とを乗算する乗算部をさらに備えることができ、前記補正量決定部は、さらに、１枚前のフレームに対する前記歪高周波成分の前記補正量と検出された前記歪高周波成分との乗算結果に基づき、前記歪高周波成分の補正量を決定することができる。
　本開示の一側面である画像処理方法は、動画像を構成するフレームに生じた歪みを補正するための画像処理装置の画像処理方法において、前記画像処理装置による、前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出ステップと、前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出ステップと、前記歪高周波成分の補正量を決定する補正量決定ステップと、検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正ステップとを含む。
　本開示の一側面であるプログラムは、動画像を構成するフレームに生じた歪みを補正するためのコンピュータを、前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出部と、前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出部と、前記歪高周波成分の補正量を決定する補正量決定部と、検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正部として機能させる。
　本開示の一側面においては、動画像を構成するフレームの歪みの高周波成分である歪高周波成分が検出され、前記フレームの歪みの低周波成分である歪低周波成分が検出され、前記歪高周波成分の補正量が決定される。さらに、検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分が補正されるとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分が補正される。
　本開示の一側面によれば、ローリングシャッタに起因してフレームに生じる歪を、鑑賞に堪えられる程度に補正することができる。
CMOSによるローリングシャッタを説明するための図である。 停車状態での撮像範囲を示す図である。 微小振動がある停車状態で動画撮像されたフレームを示す図である。 図３のフレームの補正結果を示す図である。 走行状態での撮像範囲を示す図である。 走行状態で動画撮像されたフレームを示す図である。 図６のフレームの補正結果を示す図である。 本開示の概要を説明するための図である。 本開示を適用した画像処理装置の構成例を示すブロック図である。 大局的動きベクトルと重み係数の関係を示す図である。 歪低周波成分の補正に用いる関数Ｈについて説明するための図である。 歪低周波成分の補正に用いる関数Ｈについて説明するための図である。 歪補正処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明するが、その前に、本開示の概要について説明する。
　＜本開示の概要＞
　本実施の形態において、歪低周波成分とは、動画像のフレームに生じる歪のうち、動画像のフレームレートよりも低域の成分を指し、歪高周波成分とは、動画像のフレームレートよりも高域の成分を指すものとする。
　一般に、人間の視覚特性は、停止した状態で撮像された、撮影範囲が変化しない動画像を鑑賞した場合、画像内の細部の変化を認識することができ、移動中に撮像された、撮影範囲が変化する動画像を鑑賞した場合、画像内の大まかな変化は認識できるものの、細部の変化は認識できないことが知られている。
　具体的には、例えば、図３に示されたようなフレームからなる動画像を鑑賞した場合、生じている歪高周波成分は認識できる。したがって、このままでは鑑賞に堪えがたいので、歪高周波成分を補正することが望ましい。
　一方、図６に示されたようなフレームからなる動画像を鑑賞した場合、生じている歪低周波成分（本来は直立している被写体の傾き）は認識できるものの、歪高周波成分は認識できない。したがって、この場合、歪低周波成分だけを補正すれば、鑑賞に堪え得るものとなる。
　そこで、本実施の形態である画像処理装置では、歪低周波成分が大きい場合には、歪低周波成分のみを補正し、歪高周波成分をあまり補正しないようにする。また、歪低周波成分が小さい場合には、歪低周波成分と歪高周波成分を補正するようにする。
　図８は、図６に示された、走行中に動画撮像された歪高周波成分と歪低周波成分が生じているフレームを、本実施の形態である画像処理装置により歪補正した結果を示している。
　同図に示されるように、本開示の実施の形態である画像処理装置により、歪補正した場合、フレームに歪高周波成分が残ることもあるが、動画像として鑑賞するには差し支えないものとなる。
　＜本実施の形態である画像処理装置の構成例＞
　図９は、本実施の形態である画像処理装置の構成例を示している。
　この画像処理装置１０は、画像データ保持部１１、画素マッチング部１２、積分部１３、重み計算部１４、位置変換データ保持部１５、変換累積部１６、変形量制御部１７、および変形部１８から構成される。
　画像処理装置１０には、動画像を構成するフレームが順次入力され、画像データ保持部１１、画素マッチング部１２、および変形部１８に入力される。これらに同時に入力されるフレームをｆ枚目のフレームとする。
　画像データ保持部１１は、画像処理装置１０に順次入力される動画像のフレームを１フレーム周期分だけ遅延して後段の画素マッチング部１２に出力する。
　画素マッチング部１２は、同時に入力されるｆ－１枚目のフレームと、ｆ枚目のフレームと、時間的に隣接する２枚のフレームを処理対象として画素マッチング処理を行い、ｆ－１枚目のフレームの各画素に対応するｆ枚目のフレームの画素の位置を特定する。
　ここで、ｆ－１枚目のフレームの各画素の座標を（ｘp，ｙp）とし、それに対応するｆ枚目のフレームの画素の座標を（ｘc，ｙc）とした場合、ｆ－１枚目のフレームの各画素に対応するｆ枚目のフレームの画素の位置関係は、次式（１）に示されるように、関数Ｇとして示すことができる。換言すれば、関数Ｇは、座標（ｘp，ｙp）を、座標を（ｘc，ｙc）に投影するものといえる。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　なお、画素マッチング処理によって関数Ｇを求める方法については、例えば、”B. K. P. Horn and B. G. Schunck, “Determining optical flow”, AI Memo 572, Massachusetts Institute of Technology, 1980”に記載の方法を適用すればよい。なお、この他の既存の任意の方法を適用することもできる。
　画素マッチング部１２は、求めた関数Ｇ（図９においては、Previous To Currentと記述する）を積分部１３、および変換累積部１６に出力する。
　積分部１３は、ｆ－１枚目のフレームの各画素に対応するｆ枚目のフレームの画素の位置関係を示す関数Ｇに基づき、次式（２）を用いて、ｆ－１枚目のフレームからｆ枚目のフレームへの移動量の平均値（ｘgmv，ｙgmv）を算出する。式（２）において、NumOfPixelsは、フレーム内の画素の総数を意味する。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　以下、ｆ－１枚目のフレームからｆ枚目のフレームへの移動量の平均値（ｘgmv，ｙgmv）を大局的動きベクトル(Global Motion Vector)とも称する。
　ところで、画素マッチング部１２から出力される関数Ｇについては不正確である可能性が残っているが、積分部１３にて積分していることにより、ランダムノイズ（関数Ｇの不正確さ）は除去できているので、結果として、大局的動きベクトルは正確であるといえる。
　積分部１３は、算出した大局的動きベクトルを重み計算部１４、および変形部１８に出力する。
　重み計算部１４は、入力される大局的動きベクトに基づいて、フレーム内に生じている細部の揺らぎ（歪高周波成分）の補正量を決定付ける重み係数Ｗを決定する。
　図１０は、大局的動きベクトと重み係数との関係を示している。なお、同図の横軸は大局的動きベクトの大きさ、縦軸は重み係数の値であり、横軸の大局的動きベクトにおける閾値TH1およびTH2、並びに、縦軸の重み係数における最大値Wmaxおよび最小値Wminは予め設定されている値であって、例えば、TH1＝20画素、TH2＝60画素、Wmax＝0.7、Wmin＝0.1とする。
　この場合、大局的動きベクトルの大きさが、画素換算で20以下であれば、フレームに生じている歪高周波成分を70％補正することになる。また、大局的動きベクトルの大きさが、画素換算で60以上であれば、フレームに生じている歪高周波成分を10％しか補正しないことになる。
　図９に戻る。位置変換データ保持部１５は、変形量制御部１７から入力される関数Ｆｎを１フレーム周期分だけ遅延させて、関数Ｆｐとして変換累積部１６に出力する。ただし、現在着目するｆ枚目のフレームが０枚目である場合、関数Ｆｐは存在しないので、その代わりに、初期設定である、恒等変換Ｉを出力する。
　変換累積部１６は、次式（３）に従い、画素マッチング部１２から入力される関数Ｇと、位置変換データ保持部１５から入力される関数Ｆｐを乗算して関数Ｆｃを算出して変換量制御部１７に出力する。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、関数Ｇはｆ－１枚目のフレームの各画素に対応するｆ枚目のフレームの画素の位置関係を示し、関数Ｆｐは、現在着目しているｆ枚目のフレームよりも以前に存在する基準フレームの各画素に対応するｆ－１枚目のフレームの画素の位置関係を示すものである。
　よって、関数Ｆｃは、基準フレームの各画素に対するｆ枚目のフレームの画素の位置関係を示すものとなり、ｆ枚目のフレームに生じている細部の揺らぎを完全に補正する場合の位置関係を表していることになる。
　変形量制御部１７は、変換累積部１６から入力される関数Ｆｃと、重み計算部１４から入力される重み係数Ｗに基づき、次式（４）に従って関数Ｆｎを演算し、位置変換データ保持部１５および変形部１８に出力する。ただし、式（４）におけるＩは恒等変換を表す。
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　式（４）から明らかなように、重み係数Ｗの値が大きい場合、関数Ｆｎは、ほぼ関数Ｆｃに近いものとなる。この場合、後段の変形部１８において、ｆ枚目のフレームに生じている細部の揺らぎが完全に補正される。重み係数Ｗが小さい場合、関数Ｆｎ、ほぼ恒等変換Ｉとなる、この場合、後段の変形部１８において、ほとんど変形（歪補正）は行われない。
　変形部１８は、ｆ枚目のフレームを処理対象とし、変形量制御部１７から入力される関数Ｆｎに基づいて、ｆ枚目のフレームに生じている細部の揺らぎ（歪高周波成分）を補正する。また、変形部１８は、積分部１３から入力される大局的動きベクトルに基づいて、ｆ枚目のフレームに生じている特定の方向への被写体の傾き（歪低周波成分）を補正する。
　具体的に説明する。関数Ｆｎに基づく歪高周波成分の補正は、ｆ枚目のフレームの関数Ｆｎ（ｘb，ｙb）が示す座標に位置する画素の画素値を、座標（ｘb，ｙb）に書き込めばよい。
　大局的動きベクトルに基づく歪低周波成分の補正は、関数Ｈ（ｘi，ｙi）が示す座標に位置する画素の画素値を、座標（ｘi，ｙi）に書き込めばよい。ここで、関数Ｈは、次式（５）に示すとおりである。
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　変形部１８による歪高周波成分と歪低周波成分の補正は、次式（６）のようにまとめることができる。
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　すなわち、変形部１８は、ｆ枚目のフレームの座標（ｘo，ｙo）に位置する画素の画素値を、座標（ｘb，ｙb）に書き込む処理を行う。このようにして、すべての座標（ｘb，ｙb）に画素値を書き込んだフレームを作成することにより、ｆ枚目のフレームを補正することができる。
　ここで、大局的動きベクトルに基づく歪低周波成分の補正に用いる関数Ｈについて説明する。
　図１１は、ビデオカメラが図面左側から右側に横方向に移動しながら、静止している直線棒状の被写体を動画像で撮像した場合のｆ－１枚目のフレームと、ｆ枚目のフレームを示している。なお、静止している被写体５１は直立しているものとする。
　この場合、ｆ－１枚目のフレームには、本来直立している被写体５１が、投影像５２として斜めに傾いて投影される。同様に、ｆ枚目のフレームにも、本来直立している被写体５１が、投影像５３として斜めに傾いて投影される。
　この２枚のフレームから大局的動きベクトル（ｘgmv，ｙgmv）を求めると、ｘgmv＜０，ｙgmv＝０となる。ｘgmvの大きさは、投影像５２（または投影像５３）の０ライン目からｈ－１ライン目までのｘ方向のずれ量に相当する。したがって、同図に示されるｆ枚目のフレームを、補正後のｆ枚目のフレームになるように変形する補正が関数Ｈとなる。
　次に、図１２は、ビデオカメラが図面上側から下側に縦方向に移動しながら、静止している直線棒状の被写体を動画像で撮像した場合のｆ－１枚目のフレームと、ｆ枚目のフレームを示している。なお、静止している被写体６１は直立しているものとする。
　この場合、ｆ－１枚目やｆ枚目のフレームには、直線棒状の被写体６１が、本来の長さよりも短い投影像６２または６３として投影される。
　この２枚のフレームから大局的動きベクトル（ｘgmv，ｙgmv）を求めると、ｘgmv＝０，ｙgmv＜０となる。ｙgmvの大きさは、同図に示したように、投影像６２と投影像６３のｙ方向のずれ量である。従って、ｆ枚目のフレームにおける（ｈ＋ｙgmv）の長さの投影像６３を、理想的に歪のないフレームにおける被写体６４に変形（拡大または縮小）する補正が関数Ｈとなる。
　＜画像処理装置１０の動作＞
　次に、画像処理装置１０による歪補正処理について説明する。図１３は、画像処理装置１０による歪補正処理を説明するフローチャートである。
　歪補正処理の前提として、後述するステップＳ３以降において、画像処理装置１０に対して、動画像を構成するフレームが所定のフレームレートで順次入力されるものとする。
　ステップＳ１においては、画像処理装置１０に対して入力される、処理対象とするフレームの番号を表すパラメータｆが０にリセットされる。ステップＳ２においては、位置変換データ保持部１５が、現状において変形量制御部１７から関数Ｆｎが入力されていないので、変換累積部１６に対して出力する位置変換データ（関数Ｆｐ）の初期設定を恒等変換Ｉとする。
　ステップＳ３においては、ｆ枚目（いまの場合、０枚目）のフレームが画像データ保持部１１に入力される。画像データ保持部１１は、このｆ枚目のフレームを１フレーム周期だけ保持し、次のフレームが画像処理装置１０に入力されたタイミングで、次のフレームとともに画素マッチング部１２に出力することになる。
　ステップＳ４においては、ｆ枚目の次（すなわち、ｆ+１枚目）のフレームが存在するか否かが判定され、存在する場合には処理はステップＳ５に進められる。なお、存在しない場合、該歪補正処理は終了される。
　ステップＳ５においては、パラメータｆが１だけインクリメントされる。ステップＳ６においては、ｆ枚目（いまの場合、１枚目）のフレームが画像処理装置１０（の画像データ保持部１１、画素マッチング部１２、および変形部１８）に入力される。これにより、現在のｆ枚目のフレームと、ｆ－１枚目のフレームが画素マッチング部１２に入力され、２枚のフレーム間で画素マッチング処理が行われる。そして、画素マッチング処理の結果として得られる関数Ｇが積分部１３および変換累積部１６に入力される。
　変換累積部１６は、ステップＳ７として、画素マッチング部１２からの関数Ｇと、位置変換データ保持部１５が保持している関数Ｆｐ（ただし、処理対象が１枚のフレームである場合には関数Ｆｐは恒等変換Ｉである）を式（３）に従って乗算し、その結果得られる関数Ｆｃを変換量制御部１７に出力する。
　一方、積分部１３は、ステップＳ８として、関数Ｇに基づき、式（２）に従って大局的動きベクトルを算出して重み計算部１４、および変形部１８に出力する。重み計算部１４は、ステップＳ９として、大局的動きベクトに基づき、重み係数Ｗを決定する。
　なお、ステップＳ７の処理と、ステップＳ８およびＳ９の処理とは、実際には平行して実行される。
　ステップＳ１０においては、変形量制御部１７が、変換累積部１６からの関数Ｆｃと、重み計算部１４からの重み係数Ｗに基づき、式（４）に従って関数Ｆｎを演算することにより、１枚フレーム前に対して求めた関数Ｆｎを更新して、位置変換データ保持部１５および変形部１８に出力する。
　ステップＳ１１においては、変形部１８が、変形量制御部１７からの関数Ｆｎに基づいて、ｆ枚目のフレームに生じている細部の揺らぎ（歪高周波成分）を補正し、また、積分部１３からの大局的動きベクトルに基づく関数Ｈに従い、ｆ枚目のフレームに生じている特定の方向への被写体の傾き（歪低周波成分）を補正する。
　以上の処理により、処理対象であるｆ枚目のフレームに生じている歪みが補正されたことになる。この後、処理はステップＳ４に戻されて、ステップＳ４乃至Ｓ１１の処理が繰り返され、画像処理装置１０に対する動画像のフレームの入力がなくなったときに歪補正処理は終了される。
　以上説明したように、本実施の形態である画像処理装置１０によれば、CMOSのローリングシャッタに起因する歪みを歪高周波成分と歪低周波成分に分類し、歪低周波数成分の大きさ（大局的動きベクトルの大きさ）に応じて、歪高周波数成分の補正の程度を調整するので、該動画像が鑑賞される場合に目立つ歪みを補正することができる。
　なお、本実施の形態である画像処理装置１０は、画像を補正する画像処理装置に適用できる他、例えば、デジタルビデオカメラなどのCMOSが搭載された電子装置に適用できる。
　ところで、上述した画像処理装置１０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　このコンピュータ１００において、CPU１０１，ROM１０２，RAM１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
　入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
　以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１００（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本開示は以下のような構成も取ることができる。
（１）
　動画像を構成するフレームに生じた歪みを補正する画像処理装置において、
　前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出部と、
　前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出部と、
　前記歪高周波成分の補正量を決定する補正量決定部と、
　検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正部と
　を備える画像処理装置。
（２）
　前記補正量決定部は、検出された前記歪低周波成分の大きさに基づき、前記歪高周波成分の補正量を決定する
　前記（１）に記載の画像処理装置。
（３）
　前記第１の検出部は、前記歪高周波成分として、時間的に前後する２枚のフレーム間の画素マッチング処理により、前記２枚のフレームの対応する画素の位置関係を検出し、
　前記第２の検出部は、前記歪低周波成分として、前記２枚のフレームの対応する画素の位置関係の平均値を検出する
　前記（１）または（２）に記載の画像処理装置。
（４）
　前記補正量決定部は、検出された前記歪低周波成分の大きさの増加に対して、前記歪高周波成分の補正量を単調減少させる
　前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
　検出された前記歪低周波成分の大きさに基づいて重み係数を決定する重み決定部をさらに備え、
　前記補正量決定部は、決定された前記重み係数に基づき、前記歪高周波成分の補正量を決定する
　前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
　１枚前のフレームに対する前記歪高周波成分の前記補正量と、検出された前記歪高周波成分とを乗算する乗算部をさらに備え、
　前記補正量決定部は、さらに、１枚前のフレームに対する前記歪高周波成分の前記補正量と検出された前記歪高周波成分との乗算結果に基づき、前記歪高周波成分の補正量を決定する
　前記（１）から（５）のいずれかに記載の画像処理装置。
（７）
　動画像を構成するフレームに生じた歪みを補正するための画像処理装置の画像処理方法において、
　前記画像処理装置による、
　　前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出ステップと、
　　前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出ステップと、
　　前記歪高周波成分の補正量を決定する補正量決定ステップと、
　　検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正ステップと
　を含む画像処理方法。
（８）
　動画像を構成するフレームに生じた歪みを補正するためのコンピュータを、
　前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出部と、
　前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出部と、
　前記歪高周波成分の補正量を決定する補正量決定部と、
　検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正部と
　して機能させるプログラム。
　１０　画像処理装置，　１１　画像データ保持部，　１２　画素マッチング部，　１３　積分部，　１４　重み計算部，　１５　位置変換データ保持部，　１６　変換累積部，　１７　変形量制御部，　１８　変形部

Claims (8)

  1. 　動画像を構成するフレームに生じた歪みを補正する画像処理装置において、
    　前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出部と、
    　前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出部と、
    　前記歪高周波成分の補正量を決定する補正量決定部と、
    　検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正部と
    　を備える画像処理装置。
  2. 　前記補正量決定部は、検出された前記歪低周波成分の大きさに基づき、前記歪高周波成分の補正量を決定する
    　請求項１に記載の画像処理装置。
  3. 　前記第１の検出部は、前記歪高周波成分として、時間的に前後する２枚のフレーム間の画素マッチング処理により、前記２枚のフレームの対応する画素の位置関係を検出し、
    　前記第２の検出部は、前記歪低周波成分として、前記２枚のフレームの対応する画素の位置関係の平均値を検出する
    　請求項２に記載の画像処理装置。
  4. 　前記補正量決定部は、検出された前記歪低周波成分の大きさの増加に対して、前記歪高周波成分の補正量を単調減少させる
    　請求項２に記載の画像処理装置。
  5. 　検出された前記歪低周波成分の大きさに基づいて重み係数を決定する重み決定部をさらに備え、
    　前記補正量決定部は、決定された前記重み係数に基づき、前記歪高周波成分の補正量を決定する
    　請求項２に記載の画像処理装置。
  6. 　１枚前のフレームに対する前記歪高周波成分の前記補正量と、検出された前記歪高周波成分とを乗算する乗算部をさらに備え、
    　前記補正量決定部は、さらに、１枚前のフレームに対する前記歪高周波成分の前記補正量と検出された前記歪高周波成分との乗算結果に基づき、前記歪高周波成分の補正量を決定する
    　請求項２に記載の画像処理装置。
  7. 　動画像を構成するフレームに生じた歪みを補正するための画像処理装置の画像処理方法において、
    　前記画像処理装置による、
    　　前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出ステップと、
    　　前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出ステップと、
    　　前記歪高周波成分の補正量を決定する補正量決定ステップと、
    　　検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正ステップと
    　を含む画像処理方法。
  8. 　動画像を構成するフレームに生じた歪みを補正するためのコンピュータを、
    　前記フレームの歪みの高周波成分である歪高周波成分を検出する第１の検出部と、
    　前記フレームの歪みの低周波成分である歪低周波成分を検出する第２の検出部と、
    　前記歪高周波成分の補正量を決定する補正量決定部と、
    　検出された前記歪低周波成分に基づき、前記フレームに生じた前記歪低周波成分を補正するとともに、決定された前記補正量に従い、前記フレームに生じた前記歪高周波成分を補正する補正部と
    　して機能させるプログラム。
PCT/JP2015/065533 2014-06-11 2015-05-29 画像処理装置、画像処理方法、およびプログラム WO2015190317A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/312,479 US9906693B2 (en) 2014-06-11 2015-05-29 Image processing apparatus, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014120204A JP6374228B2 (ja) 2014-06-11 2014-06-11 画像処理装置、画像処理方法、およびプログラム
JP2014-120204 2014-06-11

Publications (1)

Publication Number Publication Date
WO2015190317A1 true WO2015190317A1 (ja) 2015-12-17

Family

ID=54833418

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/065533 WO2015190317A1 (ja) 2014-06-11 2015-05-29 画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US9906693B2 (ja)
JP (1) JP6374228B2 (ja)
WO (1) WO2015190317A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011114407A (ja) * 2009-11-24 2011-06-09 Sony Corp 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2011135462A (ja) * 2009-12-25 2011-07-07 Canon Inc 撮像装置及びその制御方法
JP2012199802A (ja) * 2011-03-22 2012-10-18 Canon Inc 撮像装置、及びその制御方法、プログラム
JP2012199803A (ja) * 2011-03-22 2012-10-18 Canon Inc 撮像装置、及びその制御方法、プログラム
JP2014128016A (ja) * 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4887275B2 (ja) * 2007-12-27 2012-02-29 富士フイルム株式会社 撮像装置及びそのシャッタ駆動モード選択方法
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
US8786716B2 (en) * 2011-08-15 2014-07-22 Apple Inc. Rolling shutter reduction based on motion sensors
US9460495B2 (en) * 2012-04-06 2016-10-04 Microsoft Technology Licensing, Llc Joint video stabilization and rolling shutter correction on a generic platform
US8860825B2 (en) * 2012-09-12 2014-10-14 Google Inc. Methods and systems for removal of rolling shutter effects
JP5997557B2 (ja) * 2012-09-20 2016-09-28 キヤノン株式会社 撮像装置及びその制御方法
JP5794705B2 (ja) * 2013-02-01 2015-10-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム
EP3025491B1 (en) * 2013-07-23 2018-09-05 Microsoft Technology Licensing, LLC Adaptive path smoothing for video stabilization
JP2015033108A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9554048B2 (en) * 2013-09-26 2017-01-24 Apple Inc. In-stream rolling shutter compensation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011114407A (ja) * 2009-11-24 2011-06-09 Sony Corp 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2011135462A (ja) * 2009-12-25 2011-07-07 Canon Inc 撮像装置及びその制御方法
JP2012199802A (ja) * 2011-03-22 2012-10-18 Canon Inc 撮像装置、及びその制御方法、プログラム
JP2012199803A (ja) * 2011-03-22 2012-10-18 Canon Inc 撮像装置、及びその制御方法、プログラム
JP2014128016A (ja) * 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP2016001771A (ja) 2016-01-07
JP6374228B2 (ja) 2018-08-15
US9906693B2 (en) 2018-02-27
US20170104898A1 (en) 2017-04-13

Similar Documents

Publication Publication Date Title
US10542217B2 (en) Shooting device and shooting method to suppress blur in an image
US10848676B2 (en) Semiconductor device and electronic device
US8274570B2 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
JP4695972B2 (ja) 画像処理装置、撮像装置および画像処理方法
JP4509917B2 (ja) 画像処理装置及びカメラシステム
JP4926920B2 (ja) 防振画像処理装置及び防振画像処理方法
US20150123990A1 (en) Image processing device, image processing method, image processing program, and storage medium
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
JP2014150443A (ja) 撮像装置、その制御方法及びプログラム
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP5453573B2 (ja) 撮像装置、撮像方法およびプログラム
US8928765B2 (en) Noise reduction based on motion sensors
US8436906B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2014143530A (ja) 情報処理装置と情報処理方法および撮像装置
JPWO2011077659A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2014127773A5 (ja)
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6513941B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP2011097217A (ja) 動き補正装置およびその方法
JP6374228B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017187691A1 (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP6245968B2 (ja) 画像処理装置、撮像装置および制御方法
CN106454066B (zh) 图像处理设备及其控制方法
JP2012124939A (ja) 撮像装置及び撮像装置の制御方法
JP7175702B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15806450

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15312479

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15806450

Country of ref document: EP

Kind code of ref document: A1