WO2012093663A1 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

画像処理装置、撮像装置および画像処理プログラム Download PDF

Info

Publication number
WO2012093663A1
WO2012093663A1 PCT/JP2012/000066 JP2012000066W WO2012093663A1 WO 2012093663 A1 WO2012093663 A1 WO 2012093663A1 JP 2012000066 W JP2012000066 W JP 2012000066W WO 2012093663 A1 WO2012093663 A1 WO 2012093663A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
image processing
processing apparatus
frequency distribution
Prior art date
Application number
PCT/JP2012/000066
Other languages
English (en)
French (fr)
Inventor
岳志 西
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2012551859A priority Critical patent/JP5949559B2/ja
Priority to US13/977,829 priority patent/US20130293741A1/en
Publication of WO2012093663A1 publication Critical patent/WO2012093663A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, and an image processing program that can detect the movement of a subject.
  • an optical flow technique is used to detect the movement of a subject from images captured continuously in time series such as a moving image (see Patent Document 1).
  • an object of the present invention is to provide a technique capable of detecting the motion of a subject with high speed and accuracy without increasing the circuit scale.
  • an image processing apparatus illustrating the present invention is a feature amount acquisition that acquires feature amounts of focused states of a first image and a second image captured in time series.
  • Each of the first image and the second image is divided into a plurality of image areas, and a frequency distribution of the feature amount is obtained for each image area, and the first image and the second image for each image area
  • a motion detection unit that calculates a difference in frequency distribution with respect to the image and detects a motion of the subject based on the difference in frequency distribution.
  • the motion detection unit detects the movement of the subject based on the amount of change in the frequency of the feature amount equal to or less than the first threshold and the feature amount equal to or greater than the second threshold greater than the first threshold in the difference frequency distribution. It may be detected.
  • a subject recognition unit that recognizes a subject in the first image and the second image is provided, and the motion detection unit moves the subject based on the difference frequency distribution and the size of the region corresponding to the recognized subject. May be detected.
  • the motion detection unit obtains the size of the region corresponding to the subject based on the correlation between the frequency distributions in the processing target image region and the surrounding image region, and determines the difference between the frequency distribution and the size of the region corresponding to the subject.
  • the direction of movement of the subject may be detected based on the above.
  • the feature amount acquisition unit may acquire the feature amount using a filter determined based on the sampling function.
  • a threshold learning unit that learns using the first image and the second image as new teacher data and updates the values of the first threshold and the second threshold may be provided.
  • a storage unit that stores the values of the first threshold value and the second threshold value for each scene, a scene recognition unit that recognizes the scene captured in the first image and the second image, and a recognized scene Accordingly, a threshold value setting unit that sets values of the first threshold value and the second threshold value may be provided.
  • Another aspect of the image processing apparatus exemplifying the present invention includes an acquisition unit that acquires information indicating a focused state between the captured first image and the second image, and the first image and the second image. Comparison means for comparing the respective in-focus states, and a motion detection unit for detecting the movement of the subject based on the comparison results of the in-focus states of the comparison means.
  • An aspect of an imaging apparatus that exemplifies the present invention includes an imaging unit that captures an image of a subject and generates an image, and the image processing apparatus of the present invention.
  • One aspect of an image processing program illustrating the present invention is a feature of an input procedure for inputting a first image and a second image captured in time series, and a focus state of the first image and the second image
  • a feature amount acquisition procedure for acquiring a quantity, a calculation procedure for dividing each of the first image and the second image into a plurality of image areas and obtaining a frequency distribution of the feature quantity for each image area, and a first procedure for each image area
  • a difference between the frequency distributions of the image and the second image is calculated, and a computer executes a motion detection procedure for detecting the motion of the subject based on the difference frequency distribution.
  • Another aspect of the image processing program exemplifying the present invention is an acquisition procedure for acquiring information indicating an in-focus state between the captured first image and the second image, the first image, and the second image
  • the computer executes a comparison procedure for comparing the respective in-focus states and a motion detection procedure for detecting the movement of the subject based on the comparison result of the in-focus states of the comparison procedure.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a digital camera according to an embodiment.
  • the figure which shows an example of the frequency distribution and the difference of the present frame and the past frame 6 is a flowchart illustrating an example of processing operations performed by the digital camera according to the embodiment.
  • the block diagram which shows an example of a structure of the digital camera which concerns on other embodiment.
  • the flowchart which shows an example of the processing operation by the digital camera which concerns on other embodiment.
  • FIG. 1 is a block diagram showing an example of the configuration of a digital camera according to an embodiment of the present invention.
  • the digital camera of this embodiment includes an imaging optical system 11, an imaging device 12, a DFE 13, a CPU 14, a memory 15, an operation unit 16, a monitor 17, and a media interface (media I / F) 18.
  • the DFE 13, the memory 15, the operation unit 16, the monitor 17, and the media I / F 18 are connected to the CPU 14, respectively.
  • the image pickup device 12 is a device that picks up a subject image formed by the light flux that has passed through the image pickup optical system 11.
  • the output of the image sensor 12 is input to the DFE 13.
  • the image sensor 12 of the present embodiment may be a progressive scan type solid-state image sensor (CCD or the like) or an XY address type solid-state image sensor (CMOS or the like).
  • each light receiving element of the image sensor 12 red (R), green (G), and blue (B) color filters are arranged according to a known Bayer array. Therefore, each light receiving element of the imaging element 12 outputs an image signal corresponding to each color by color separation in the color filter. Thereby, the image sensor 12 can acquire a color image.
  • the imaging element 12 captures the color image (main image) in response to a full pressing operation of the release button of the operation unit 16. Further, the imaging element 12 in the shooting mode captures a composition confirmation image (through image) at predetermined intervals even during standby for imaging.
  • the through image data is output from the image sensor 12 by thinning-out readout. The through image data is used for image display on the monitor 17 and various arithmetic processes by the CPU 14, as will be described later.
  • the DFE 13 is a digital front end circuit that performs signal processing such as A / D conversion of image signals input from the image sensor 12 and correction of defective pixels.
  • the DFE 13 constitutes an image pickup unit together with the image pickup element 12 and outputs an image signal input from the image pickup element 12 to the CPU 14 as image data.
  • the CPU 14 is a processor that comprehensively controls each unit of the digital camera. For example, the CPU 14 performs autofocus (AF) control by known contrast detection, known automatic exposure (AE) calculation, and the like based on the output of the image sensor 12. Further, the CPU 14 performs digital processing such as interpolation processing, white balance processing, gradation conversion processing, contour enhancement processing, and color conversion processing on the image data from the DEF 13.
  • AF autofocus
  • AE automatic exposure
  • digital processing such as interpolation processing, white balance processing, gradation conversion processing, contour enhancement processing, and color conversion processing on the image data from the DEF 13.
  • the CPU 14 of this embodiment operates as a feature amount acquisition unit 20, a noise removal unit 21, a face recognition unit 22, a calculation unit 23, and a motion detection unit 24 by executing an image processing program.
  • the feature amount acquisition unit 20 performs a convolution operation with a filter including an array of coefficients determined based on a sampling function on a through image or a moving image frame captured by a digital camera, and a feature amount indicating a focused state Is calculated.
  • a point spread function Point Spread Function, PSF
  • PSF Point Spread Function
  • the PSF it is preferable to use a PSF having a diameter small enough to capture a minute blur near the focal point within the depth of field, and the size of the filter is 3 pixels ⁇ 3 pixels or 5 pixels. X5 pixels or the like is preferable.
  • the feature amount acquisition unit 20 performs the convolution operation on the pixel value of the region of 3 pixels ⁇ 3 pixels centered on the pixel position of the target pixel of the frame by the filter illustrated in FIG.
  • the indicated feature amount (hereinafter referred to as “gain”) is acquired.
  • a pixel located within the depth of field has a large gain value (high gain), and a pixel located outside the depth of field has a small gain value (low gain).
  • the feature amount acquisition unit 20 outputs a frame having a gain as a pixel value.
  • the noise removing unit 21 applies a known noise removing method such as morphological processing to the frame output from the feature amount acquiring unit 20, and particularly removes spike-like noise.
  • the face recognition unit 22 as a subject recognition unit applies face recognition processing to the frame to recognize the face of the person (subject) that has been imaged.
  • This face recognition process is performed by a known algorithm.
  • the face recognizing unit 22 extracts feature points such as eyebrow, eye, nose, and lip end points from a frame by a known feature point extraction process, and determines whether or not a face region is based on these feature points. judge.
  • the face recognizing unit 22 may obtain a correlation coefficient between a prepared face image or the like and a determination target frame, and may determine a face region when the correlation coefficient exceeds a certain threshold.
  • the calculation unit 23 divides the frame into M ⁇ N image areas and obtains a frequency distribution of gain for each image area.
  • M and N are natural numbers.
  • the motion detection unit 24 calculates, for each image area, a difference in gain frequency between the current frame (first image) and the previous previous frame (second image), and based on the difference frequency distribution. Detect the movement of the subject. For example, when the frequency distribution of gains between the current frame and the past frame is as shown in FIG. 3A in the image area to be processed, the difference frequency distribution is as shown in FIG. In the present embodiment, a gain equal to or lower than the threshold Th1 (first threshold) is set to a low gain, and a gain equal to or higher than the threshold Th2 (second threshold) is set to a high gain.
  • the motion detection unit 24 moves the subject on the screen and is adjacent to the image area to be processed. It is detected as an “out” motion that goes out to the area or moves in the line of sight from within the depth of field to outside the depth of field.
  • the motion detection unit 24 moves on the screen and enters the image area to be processed from the adjacent image area or It is detected as an “in” movement that moves in the line-of-sight direction from outside the depth of field into the depth of field. Further, as described later, the motion detection unit 24 uses the face recognition result of the face recognition unit 22 to detect the motion of the subject and the direction of the motion.
  • thresholds Th1 and Th2 are values determined in advance by learning by applying, for example, 1000 to 10,000 sample images as teacher data to a known learning technique.
  • the memory 15 is a nonvolatile semiconductor memory that stores various programs such as a control program and an image processing program executed by the CPU 14 together with the frame image data and threshold values Th1 and Th2.
  • the operation unit 16 receives, for example, an input of an imaging mode switching setting, an imaging instruction for still images, continuous shooting, or moving images from the user.
  • the monitor 17 is a monitor such as a liquid crystal monitor, and displays various images according to control instructions from the CPU 14.
  • a non-volatile storage medium 19 can be detachably connected to the media I / F 18.
  • the media I / F 18 executes data writing / reading with respect to the storage medium 19.
  • the storage medium 19 includes a hard disk, a memory card incorporating a semiconductor memory, or the like. In FIG. 1, a memory card is illustrated as an example of the storage medium 19.
  • the image to be processed is a through image.
  • the CPU 14 executes the control program and the image processing program when receiving a power-on instruction of the digital camera (for example, pressing operation of a power button included in the operation unit 16) by the user. These control program and image processing program are recorded in the memory 15, for example.
  • the CPU 14 causes the image sensor 12 to start capturing a through image and displays the image on the monitor 17.
  • CPU14 starts the process from step S101.
  • Step S101 The CPU 14 reads the through image captured by the image sensor 12 from the DFE 13 as the current frame (first image). At the same time, the CPU 14 reads a through image captured immediately before the current frame and recorded in an internal memory (not shown) as a past frame (second image).
  • Step S102 The feature amount acquisition unit 20 performs a convolution operation using a filter as shown in FIG. 2 for each of the current frame and the past frame, and acquires the gain at the target pixel.
  • the feature amount acquisition unit 20 outputs a current frame and a past frame made up of gains.
  • Step S103 The noise removal unit 21 performs noise removal processing on the current frame and the past frame output from the feature extraction unit 20.
  • Step S104 The face recognition unit 22 performs face detection processing for each of the current frame and the past frame.
  • the face recognition unit 22 records the recognized face area as face data in an internal memory (not shown) for each frame.
  • Step S105 The calculation unit 23 divides each of the current frame and the past frame into M ⁇ N image areas, and obtains a frequency distribution of gain for each image area.
  • Step S106 The motion detection unit 24 calculates the difference in frequency distribution between the current frame and the past frame for each image area, and determines whether or not the subject has moved based on the difference in frequency distribution. That is, for example, as shown in FIG. 3B, the motion detection unit 24 determines that the subject in the image area has moved when the amount of change in the frequency of the low gain and the high gain is not zero. On the other hand, the motion detection unit 24 determines that the subject is not moving when the amount of change in the frequency of the low gain and the high gain is zero. The motion detection unit 24 determines all the image areas, extracts the image areas in which the movement of the subject is detected, and records them in an internal memory (not shown).
  • Step S107 The motion detection unit 24 determines whether or not the subject whose motion is detected in Step S106 and the subject whose face is recognized in Step S104 are the same subject. The motion detection unit 24 determines whether or not the face area of the subject whose face has been recognized matches the image area whose motion has been detected. If they match, the motion detection unit 24 determines that the subject whose motion has been detected is a subject whose face has been recognized. The CPU 14 highlights the face area of the subject whose motion has been detected, for example, on the monitor 17. The CPU 14 proceeds to step S108 (YES side).
  • the motion detection unit 24 determines that the subject whose motion has been detected is not a subject whose face has been recognized, but a background tree or the like, and the CPU 14 proceeds to step S101 (NO side).
  • Step S108 The motion detection unit 24 identifies the motion of the subject based on the detection result and the face recognition result.
  • the motion detection unit 24 determines whether the size of the face area of the subject has changed between the current frame and the past frame. When the size of the face area increases, the motion detection unit 24 specifies that the subject has a movement in the direction of the line of sight toward the digital camera. On the other hand, when the size of the face area decreases, the motion detection unit 24 specifies that the subject is moving in the direction of the line of sight away from the digital camera.
  • the motion detection unit 24 specifies that the subject is a movement that moves on the screen.
  • the motion detection unit 24 may obtain, for example, the centroid position of the face area in each frame, and specify the direction in which the centroid position has changed between the current frame and the past frame as the motion direction on the screen.
  • the CPU 14 applies the obtained motion detection result to a known background estimation method or main subject estimation method, and separates the background and the main subject, for example.
  • the CPU 14 performs AF control, AE calculation, auto white balance (AWB) calculation, color process control, or the like in the image area of the main subject, or performs object recognition processing of the main subject.
  • AVB auto white balance
  • Step S109 The CPU 14 determines whether or not an imaging instruction (for example, full pressing operation of a release button included in the operation unit 16) is received from the user. If the CPU 14 has not received an imaging instruction, the CPU 14 records the current frame as a past frame in the memory 15 and proceeds to step S101 (NO side). On the other hand, when the CPU 14 receives an imaging instruction, the CPU 14 proceeds to step S110 (YES side).
  • an imaging instruction for example, full pressing operation of a release button included in the operation unit 16
  • Step S110 The CPU 14 images the main subject.
  • the CPU 14 preferably sets the current frame and the past frame for each frame of the moving image and performs the same processing as in steps S101 to S108 during the capturing of the moving image.
  • the CPU 14 preferably performs the AF control and the like on the main subject, and performs subject tracking, electronic camera shake control, auto zoom, and the like.
  • a convolution operation using a filter determined based on the sampling function is performed, a gain frequency distribution is obtained for each image region, and a difference in gain frequency distribution between frames is obtained.
  • FIG. 5 is a block diagram showing an example of the configuration of a digital camera according to another embodiment of the present invention.
  • the same components as those of the digital camera according to the embodiment shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the difference between the digital camera according to the present embodiment and that of the first embodiment is that the face recognition unit 22 is omitted, and the motion detection unit 24 is configured so that the current image frame and the past frame The correlation of the gain frequency distribution with the image area is calculated, and the subject is recognized based on the correlation result.
  • the processing operation by the digital camera according to the present embodiment will be described with reference to the flowchart of FIG.
  • the image to be processed is a through image.
  • the CPU 14 executes the control program and the image processing program when receiving a power-on instruction of the digital camera (for example, pressing operation of a power button included in the operation unit 16) by the user. These control program and image processing program are recorded in the memory 15, for example.
  • the CPU 14 causes the image sensor 12 to start capturing a through image and displays the image on the monitor 17.
  • CPU14 starts the process from step S201.
  • Step S201 The CPU 14 reads the through image captured by the image sensor 12 from the DFE 13 as the current frame. At the same time, the CPU 14 reads a through image captured immediately before the current frame and recorded in an internal memory (not shown) as a past frame.
  • Step S202 The feature amount acquisition unit 20 performs a convolution operation with a filter as shown in FIG. 2 on each of the current frame and the past frame, and acquires the gain at the target pixel.
  • the feature amount acquisition unit 20 outputs a current frame and a past frame made up of gains.
  • Step S203 The noise removal unit 21 performs noise removal processing on the current frame and the past frame output from the feature extraction unit 20.
  • Step S204 The calculation unit 23 divides each of the current frame and the past frame into M ⁇ N image areas, and obtains a frequency distribution of gain for each image area.
  • Step S205 The motion detection unit 24 determines whether or not the subject is the same subject from the correlation between the frequency distribution of the image area of interest and the surrounding image area, particularly the shape of the high gain frequency distribution, in each of the current frame and the past frame. To do. That is, when the correlation coefficient in the high gain frequency distribution is equal to or greater than a predetermined value, the motion detection unit 24 determines that the subject in the image area of interest and the surrounding image area are the same. On the other hand, when the correlation coefficient in the high gain frequency distribution is smaller than the predetermined value, the motion detection unit 24 determines that the subject of the image area of interest and the surrounding image area are different. Then, the motion detection unit 24 performs correlation processing on the image areas of all current frames and past frames, extracts image areas determined to be the same subject, and records them in an internal memory (not shown).
  • the motion detection unit 24 preferably performs, for example, the determination of whether or not the subject is the same subject, for example, the color component information of the subject.
  • the size of the image area determined as the same subject is the size of the subject recognized by the correlation process.
  • Step S206 The motion detection unit 24 calculates the difference in frequency distribution between the current frame and the past frame for each image area, and determines whether or not the subject has moved based on the difference in frequency distribution. That is, for example, as shown in FIG. 3B, the motion detection unit 24 determines that the subject in the image area has moved when the amount of change in the frequency of the low gain and the high gain is not zero. On the other hand, the motion detection unit 24 determines that the subject is not moving when the amount of change in the frequency of the low gain and the high gain is zero. The motion detection unit 24 determines all the image areas, extracts the image areas in which the movement of the subject is detected, and records them in an internal memory (not shown).
  • Step S207 The motion detection unit 24 determines whether or not the subject whose motion is detected in Step S206 and the subject recognized in Step S205 are the same subject. The motion detection unit 24 determines whether or not the image area of the subject recognized by the correlation process matches the image area where the motion is detected. If they match, the motion detection unit 24 determines that the motion-detected subject is a subject recognized by the correlation process. The CPU 14 highlights the image area of the subject whose motion has been detected, for example, on the monitor 17. The CPU 14 proceeds to step S208 (YES side).
  • the motion detection unit 24 determines that the subject whose motion has been detected is not the subject recognized by the correlation process, but a background tree or the like, and the CPU 14 proceeds to step S201 (NO side). To do.
  • Step S208 The motion detection unit 24 identifies the motion of the subject based on the detection result and the correlation result.
  • the motion detection unit 24 determines whether the size of the subject recognized by the correlation process has changed between the current frame and the past frame. When the size of the subject increases, the motion detection unit 24 specifies that the subject is a movement in a direction toward the digital camera in the line-of-sight direction. On the other hand, when the size of the subject decreases, the motion detection unit 24 specifies that the subject is moving in the direction of the line of sight away from the digital camera. On the other hand, when the size of the subject does not change, the motion detection unit 24 specifies that the subject is a movement that moves on the screen.
  • the motion detection unit 24 obtains the centroid position of the image area of the subject recognized by the correlation process in each frame, and the direction in which the centroid position has changed between the current frame and the past frame is defined as the direction of movement on the screen. You may specify.
  • the CPU 14 applies the obtained motion detection result to a known background estimation method or main subject estimation method, and separates the background and the main subject, for example.
  • the CPU 14 performs AF control, AE calculation, auto white balance (AWB) calculation, color process control, or the like in the image area of the main subject, or performs object recognition processing of the main subject.
  • AVB auto white balance
  • Step S209 The CPU 14 determines whether or not an imaging instruction (for example, full pressing operation of a release button included in the operation unit 16) is received from the user. If the CPU 14 has not received an imaging instruction, the CPU 14 records the current frame as a past frame in the memory 15 and proceeds to step S201 (NO side). On the other hand, when the CPU 14 receives an imaging instruction, the CPU 14 proceeds to step S210 (YES side).
  • an imaging instruction for example, full pressing operation of a release button included in the operation unit 16
  • Step S210 The CPU 14 images the main subject.
  • the CPU 14 preferably performs the same processing from step S201 to step S208 as the current frame and the past frame for each frame of the moving image, as in the case of the through image, during capturing of the moving image.
  • the CPU 14 preferably performs the AF control and the like on the main subject, and performs subject tracking, electronic camera shake control, auto zoom, and the like.
  • a convolution operation using a filter determined based on the sampling function is performed, a gain frequency distribution is obtained for each image region, and a difference in gain frequency distribution between frames is obtained.
  • the image processing apparatus of the present invention is not limited to the example of the digital camera of the above embodiment.
  • the computer may be operated as the image processing apparatus of the present invention by causing a computer to read a moving image and causing the computer to execute an image processing program.
  • the gain value obtained by the feature extraction unit 20 is used as it is, but the present invention is not limited to this.
  • the feature extraction unit 20 may use a gain value obtained by using a filter as shown in FIG. 2 normalized with the maximum gain value in the frame as the gain.
  • the thresholds Th1 and Th2 are fixed values, but the present invention is not limited to this.
  • the CPU 14 may update the values of the threshold values Th1 and Th2 by learning using the current frame and the past frame as new teacher data.
  • the memory 15 stores threshold values Th1 and Th2 according to the imaged scene such as a night view or a portrait, and the CPU 14 recognizes the scene imaged in the frame, and according to the scene recognition result.
  • the threshold values Th1 and Th2 to be used may be determined and set. In this case, when learning using the current frame and the past frame as new teacher data, the CPU 14 may recognize the scenes of the current frame and the past frame and update the threshold values Th1 and Th2 of the recognized scene. preferable.
  • the array of coefficients determined by the PSF which is one of the sampling functions, is used as the filter as shown in FIG. 2, but the present invention is not limited to this.
  • an array of coefficients determined using a normal distribution function, a Laplace function, or the like may be used as a filter.
  • each of the current frame and the past frame is divided into M ⁇ N image areas, and the gain frequency distribution is obtained for each image area (step S105).
  • the calculation unit 23 may obtain the frequency distribution of gains in a partial area of each of the current frame and the past frame. In that case, the calculating part 23 should obtain
  • the areas for obtaining the frequency distribution of the gains may not exactly match.
  • the frequency distribution is obtained for each image area and the difference of the frequency distribution is calculated.
  • the difference need not be calculated.
  • the respective focus states are compared, and the movement of the subject is detected based on the comparison result of the focus states (changes in focus state). Also good.
  • control program and the image processing program shown in the flowcharts of FIGS. 4 and 6 in the above embodiment may be downloaded to a digital camera or a personal computer and executed.
  • the program may be recorded on a recording medium such as a CD, DVD, SD card, or other semiconductor memory and executed by a camera or a personal computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

　時系列的に撮像された第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得部と、第１の画像および第２の画像それぞれを複数の画像領域に分割し、画像領域ごとに特徴量の頻度分布を求める演算部と、画像領域ごとに、第１の画像と第２の画像との頻度分布の差分を計算し、差分した頻度分布に基づいて被写体の動きを検出する動き検出部と、を備える。

Description

画像処理装置、撮像装置および画像処理プログラム
　本発明は、被写体の動きを検出することができる画像処理装置、撮像装置および画像処理プログラムに関する。
　従来、動画などのように時系列的に連続して撮像された画像から、被写体の動きを検出するために、例えば、オプティカルフローの手法を用いて行われる（特許文献１など参照）。
特開２０１０－１３４６０６号公報
　しかしながら、オプティカルフローなどの手法による被写体の動きを検出する従来技術では、膨大な演算量が必要となり、回路規模が増大し時間が掛かるという問題がある。
　上記従来技術が有する問題に鑑み、本発明の目的は、回路規模を増大させることなく、高速かつ精度よく被写体の動きを検出することができる技術を提供することにある。
　上記課題を解決するために、本発明を例示する画像処理装置の一態様は、時系列的に撮像された第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得部と、第１の画像および第２の画像それぞれを複数の画像領域に分割し、画像領域ごとに特徴量の頻度分布を求める演算部と、画像領域ごとに、第１の画像と第２の画像との頻度分布の差分を計算し、差分した頻度分布に基づいて被写体の動きを検出する動き検出部と、を備える。
　また、動き検出部は、差分した頻度分布のうち、第１の閾値以下の特徴量および第１の閾値より大きい第２の閾値以上の特徴量の頻度の変化量に基づいて、被写体の動きを検出してもよい。
　また、第１の画像および第２の画像において被写体を認識する被写体認識部を備え、動き検出部は、差分した頻度分布と認識された被写体に対応する領域の大きさとに基づいて、被写体の動きの方向を検出してもよい。
　また、動き検出部は、処理対象の画像領域と周辺の画像領域とにおける頻度分布の相関に基づいて被写体に対応する領域の大きさを求め、差分した頻度分布と被写体に対応する領域の大きさとに基づいて、被写体の動きの方向を検出してもよい。
　また、特徴量取得部は、標本化関数に基づいて決定したフィルタを用いて特徴量を取得してもよい。
　また、第１の画像および第２の画像を新たな教師データとして用い学習し、第１の閾値および第２の閾値の値を更新する閾値学習部を備えてもよい。
　また、シーンごとに第１の閾値および第２の閾値の値を記憶する記憶部と、第１の画像および第２の画像に撮像されたシーンを認識するシーン認識部と、認識されたシーンに応じて、第１の閾値および第２の閾値の値を設定する閾値設定部と、を備えてもよい。
　本発明を例示する画像処理装置の他の態様は、撮像された第１の画像と第２の画像との合焦状態を示す情報を取得する取得部と、第１の画像及び第２の画像の対応する領域において、それぞれの合焦状態を比較する比較手段と、比較手段の合焦状態の比較結果に基づいて、被写体の動きを検出する動き検出部とを備える。
　本発明を例示する撮像装置の一態様は、被写体を撮像して画像を生成する撮像部と、本発明の画像処理装置と、を備える。
　本発明を例示する画像処理プログラムの一態様は、時系列的に撮像された第１の画像および第２の画像を入力する入力手順、第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得手順、第１の画像および第２の画像それぞれを複数の画像領域に分割し、画像領域ごとに特徴量の頻度分布を求める演算手順、画像領域ごとに、第１の画像と第２の画像との頻度分布の差分を計算し、差分した頻度分布に基づいて被写体の動きを検出する動き検出手順、をコンピュータに実行させる。
　本発明を例示する画像処理プログラムの別の態様は、撮像された第１の画像と第２の画像との合焦状態を示す情報を取得する取得手順、第１の画像及び第２の画像の対応する領域において、それぞれの合焦状態を比較する比較手順、比較手順の合焦状態の比較結果に基づいて、被写体の動きを検出する動き検出手順、をコンピュータに実行させる。
　本発明によれば、回路規模を増大させることなく、高速かつ精度よく被写体の動きを検出することができる。
一の実施形態に係るデジタルカメラの構成の一例を示すブロック図 フレームとのたたみ込み演算を行うフィルタの一例を示す図 現フレームと過去フレームとの頻度分布およびその差分の一例を示す図 一の実施形態に係るデジタルカメラによる処理動作の一例を示すフローチャート 他の実施形態に係るデジタルカメラの構成の一例を示すブロック図 他の実施形態に係るデジタルカメラによる処理動作の一例を示すフローチャート
《一の実施形態》
　図１は、本発明の一の実施形態に係るデジタルカメラの構成の一例を示すブロック図である。
　本実施形態のデジタルカメラは、撮像光学系１１、撮像素子１２、ＤＦＥ１３、ＣＰＵ１４、メモリ１５、操作部１６、モニタ１７、メディアインタフェース（メディアＩ／Ｆ）１８を有する。ＤＦＥ１３、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８は、それぞれＣＰＵ１４に接続される。
　撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体像を撮像するデバイスである。この撮像素子１２の出力はＤＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。
　また、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２はカラーの画像を取得できる。
　ここで、デジタルカメラによる撮像において、撮像素子１２は操作部１６のレリーズ釦の全押し操作に応答して上記カラーの画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮像待機時にも所定間隔毎に構図確認用画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。なお、スルー画像のデータは、後述するように、モニタ１７での画像表示や、ＣＰＵ１４による各種の演算処理に使用される。
　ＤＦＥ１３は、撮像素子１２から入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３は、本実施形態において撮像素子１２とともに撮像部を構成し、撮像素子１２より入力される画像信号を画像データとしてＣＰＵ１４に出力する。
　ＣＰＵ１４は、デジタルカメラの各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４は、ＤＥＦ１３からの画像データに対して、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などのデジタル処理を施す。
　さらに、本実施形態のＣＰＵ１４は、画像処理プログラムの実行により、特徴量取得部２０、ノイズ除去部２１、顔認識部２２、演算部２３、動き検出部２４として動作する。
　特徴量取得部２０は、デジタルカメラにより撮像されたスルー画像や動画のフレームに対し、標本化関数に基づいて決定される係数の配列からなるフィルタによる畳み込み演算を行い、合焦状態を示す特徴量を算出する。ここで、本実施形態では、標本化関数として次式（１）に示す点広がり関数（Point Spread Function、ＰＳＦ）を用い、そのＰＳＦに基づいて決定された、例えば、図２に示すような係数の配列のフィルタを用いる。
Figure JPOXMLDOC01-appb-M000001
なお、ＰＳＦとして、被写界深度内の合焦点付近での微小なボヤケを捉えることができる程度の小さな径のものを用いるのがよく、フィルタの大きさは、３ピクセル×３ピクセルや５ピクセル×５ピクセルなどとするのが好ましい。
　特徴量取得部２０は、図２に示すフィルタによる、フレームの注目画素の画素位置を中心とする３ピクセル×３ピクセルの大きさの領域の画素値に対する畳み込み演算により、注目画素における合焦状態を示す特徴量（以下、「利得」という）を取得する。ここで、被写界深度内に位置する画素は、大きな利得の値（高利得）を有し、被写界深度外に位置する画素は、小さな利得の値（低利得）を有する。特徴量取得部２０は、利得を画素値とするフレームを出力する。
　ノイズ除去部２１は、特徴量取得部２０から出力されたフレームに対して、例えば、モルフォロジ処理などの公知のノイズ除去の手法を適用し、特に、スパイク状のノイズを除去する。
　顔認識部２２は、被写体認識部として、フレームに顔認識処理を適用して、撮像された人物（被写体）の顔を認識する。この顔認識処理は公知のアルゴリズムによって行われる。一例として、顔認識部２２は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点などの特徴点をフレームから抽出し、これらの特徴点に基づいて顔領域か否かを判定する。あるいは、顔認識部２２は、予め用意された顔画像等と判定対象のフレームとの相関係数を求め、この相関係数が一定の閾値を超えるときに顔領域と判定してもよい。
　演算部２３は、フレームをＭ×Ｎ個の画像領域に分割し、画像領域ごとに利得の頻度分布を求める。ここで、Ｍ、Ｎは自然数とする。
　動き検出部２４は、画像領域ごとに、現フレーム（第１の画像）と１つ前の過去フレーム（第２の画像）との利得の頻度の差分を計算し、差分した頻度分布に基づいて被写体の動きを検出する。例えば、処理対象の画像領域において、現フレームと過去フレームとの利得の頻度分布が図３（ａ）に示すような場合、差分した頻度分布は、図３（ｂ）に示すようになる。なお、本実施形態では、閾値Ｔｈ１（第１の閾値）以下の利得を低利得とし、閾値Ｔｈ２（第２の閾値）以上の利得を高利得とする。
　図３（ｂ）に示すように、低利得の頻度が増加し、高利得の頻度が減少した場合、動き検出部２４は、被写体が、画面上を動いて処理対象の画像領域から隣接する画像領域へ出て行く、または被写界深度内から被写界深度外へ視線方向に移動する「アウト」の動きとして検出する。また、低利得の頻度が減少し、高利得の頻度が増加した場合、動き検出部２４は、被写体が、画面上を動いて隣接する画像領域から処理対象の画像領域に入って来る、または被写界深度外から被写界深度内へ視線方向に移動する「イン」の動きとして検出する。さらに、動き検出部２４は、後述するように、顔認識部２２の顔認識結果を用いることで、被写体の動きの検出とともにその動きの方向の検出も行う。
　なお、閾値Ｔｈ１およびＴｈ２は、例えば、１０００～１００００のサンプル画像を教師データとして公知の学習手法に適用して、学習することにより予め決められた値であるとする。
　メモリ１５は、フレームの画像データや閾値Ｔｈ１、Ｔｈ２とともに、ＣＰＵ１４によって実行される制御プログラムや画像処理プログラムなどの各種プログラムを記憶する不揮発性の半導体メモリである。
　操作部１６は、例えば、撮像モードの切換設定の入力や、静止画、連写または動画の撮像指示などをユーザから受け付ける。
　モニタ１７は、液晶モニタなどのモニタであり、ＣＰＵ１４の制御指示によって各種画像を表示する。
　メディアＩ／Ｆ１８には、不揮発性の記憶媒体１９を着脱可能に接続できる。そして、メディアＩ／Ｆ１８は、記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。
　次に、図４のフローチャートを参照しつつ、本実施形態に係るデジタルカメラによる処理動作について説明する。なお、以下の説明において、処理対象となる画像は、スルー画像とする。
　ＣＰＵ１４は、ユーザによりデジタルカメラの電源投入指示（例えば、操作部１６に含まれる電源釦の押し操作など）を受け付けると、制御プログラムおよび画像処理プログラムを実行する。これらの制御プログラムおよび画像処理プログラムは、例えば、メモリ１５に記録されている。ＣＰＵ１４は、撮像素子１２にスルー画像の撮像を開始させ、モニタ１７に表示する。ＣＰＵ１４は、ステップＳ１０１からの処理を開始する。
　ステップＳ１０１：ＣＰＵ１４は、撮像素子１２によって撮像されたスルー画像を、現フレーム（第１の画像）としてＤＦＥ１３から読み込む。同時に、ＣＰＵ１４は、現フレームの１つ前に撮像され不図示の内部メモリに記録されたスルー画像を過去フレーム（第２の画像）として読み込む。
　ステップＳ１０２：特徴量取得部２０は、現フレームおよび過去フレームのそれぞれに対し、図２に示すようなフィルタによる畳み込み演算を行い、注目画素における利得を取得する。特徴量取得部２０は、利得からなる現フレームおよび過去フレームを出力する。
　ステップＳ１０３：ノイズ除去部２１は、特徴抽出部２０から出力された現フレームおよび過去フレームに対し、ノイズ除去処理を施す。
　ステップＳ１０４：顔認識部２２は、現フレームおよび過去フレームそれぞれに対して、顔検出処理を行う。顔認識部２２は、フレームごとに、認識された顔領域を顔データとして内部メモリ（不図示）に記録する。
　ステップＳ１０５：演算部２３は、現フレームおよび過去フレームそれぞれをＭ×Ｎ個の画像領域に分割し、画像領域ごとに利得の頻度分布を求める。
　ステップＳ１０６：動き検出部２４は、画像領域ごとに、現フレームと過去フレームとの頻度分布の差分を計算し、差分した頻度分布に基づいて被写体が動いたか否かを判定する。すなわち、動き検出部２４は、例えば、図３（ｂ）に示すように、低利得および高利得の頻度の変化量が０でない場合、その画像領域の被写体は動いたと判定する。一方、動き検出部２４は、低利得および高利得の頻度の変化量が０の場合、被写体は動いていないと判定する。動き検出部２４は、全ての画像領域について判定し、被写体の動きが検出された画像領域を抽出し内部メモリ（不図示）に記録する。
　ステップＳ１０７：動き検出部２４は、ステップＳ１０６において動き検出された被写体と、ステップＳ１０４において顔認識された被写体とが同一被写体か否かを判定する。動き検出部２４は、顔認識された被写体の顔領域が、動き検出された画像領域と一致するか否かを判定する。動き検出部２４は、一致する場合、動き検出された被写体は、顔認識された被写体であると判定する。ＣＰＵ１４は、動き検出された被写体の顔領域を、例えば、モニタ１７にハイライト表示する。ＣＰＵ１４は、ステップＳ１０８（ＹＥＳ側）へ移行する。
　一方、動き検出部２４は、一致しない場合、動き検出された被写体は、顔認識された被写体ではなく、背景の樹木などであると判定し、ＣＰＵ１４は、ステップＳ１０１（ＮＯ側）へ移行する。
　ステップＳ１０８：動き検出部２４は、検出結果および顔認識結果に基づいて、被写体の動きを特定する。動き検出部２４は、被写体の顔領域の大きさが、現フレームと過去フレームとにおいて変化したか否かを判定する。動き検出部２４は、顔領域の大きさが増加する場合、被写体は視線方向でデジタルカメラの方に向かって来る向きの動きであると特定する。一方、動き検出部２４は、顔領域の大きさが減少する場合、被写体は視線方向でデジタルカメラから離れる向きの動きであると特定する。
　一方、動き検出部２４は、顔領域の大きさが変化しなかった場合、被写体は画面上を移動する動きであると特定する。
　なお、動き検出部２４は、例えば、各フレームにおける顔領域の重心位置を求め、その重心位置が現フレームと過去フレームとで変化した向きを、画面上の動きの向きとして特定してもよい。
　ＣＰＵ１４は、得られた動き検出の結果を、公知の背景推定や主要被写体推定の手法に適用し、例えば、背景と主要被写体とを分離する。ＣＰＵ１４は、その主要被写体の画像領域において、ＡＦ制御、ＡＥ演算、オートホワイトバランス（ＡＷＢ）演算やカラープロセス制御などを行ったり、または、その主要被写体の物体認識処理を行ったりする。
　ステップＳ１０９：ＣＰＵ１４は、ユーザより撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けたか否かを判定する。ＣＰＵ１４は、撮像指示を受け付けていない場合、現フレームを過去フレームとしてメモリ１５に記録し、ステップＳ１０１（ＮＯ側）へ移行する。一方、ＣＰＵ１４は、撮像指示を受け付けた場合、ステップＳ１１０（ＹＥＳ側）へ移行する。
　ステップＳ１１０：ＣＰＵ１４は、主要被写体の撮像を行う。なお、動画撮像の場合、ＣＰＵ１４は、動画の撮像中、スルー画像の場合と同様に、動画の各フレームについて現フレームおよび過去フレームとし、ステップＳ１０１からステップＳ１０８と同様の処理を行うのが好ましい。ＣＰＵ１４は、その撮像の間、主要被写体に対して、上記ＡＦ制御などを行うとともに、被写体追尾、電子手振れ制御、オートズームなどを行うのが好ましい。そして、ＣＰＵ１４は、撮像終了指示を受け付けた場合、一連の処理を終了する。
　このように、本実施形態では、各フレームに対して、標本化関数に基づいて決定したフィルタによる畳み込み演算を行い、画像領域ごとに利得の頻度分布を求め、フレーム間の利得の頻度分布の差分に基づいて被写体の動きを検出することにより、オプティカルフローなどの従来技術と比べて少ない演算量で、高速かつ精度よく被写体の動きを検出することができる。
　また、演算量が少ないことから、デジタルカメラの回路規模の増大を回避することができる。
　さらに、上記検出結果と顔認識結果とを合わせることにより、容易に被写体の動きを３次元的に検出することができる。
《他の実施形態》
　図５は、本発明の他の実施形態に係るデジタルカメラの構成の一例を示すブロック図である。本実施形態に係るデジタルカメラにおいて、図１に示す一の実施形態に係るデジタルカメラの構成と同一のものについては、同一の符号を付し詳細な説明は省略する。
　本実施形態に係るデジタルカメラと一の実施形態のものとの相違点は、顔認識部２２が省略され、動き検出部２４が、現フレームおよび過去フレームそれぞれにおいて、処理対象の画像領域と周辺の画像領域とにおける利得の頻度分布の相関を計算し、その相関結果に基づいて被写体を認識する。
　そこで、図６のフローチャートを参照しつつ、本実施形態に係るデジタルカメラによる処理動作について説明する。なお、以下の説明において、一の実施形態の場合と同様に、処理対象となる画像は、スルー画像とする。
　ＣＰＵ１４は、ユーザによりデジタルカメラの電源投入指示（例えば、操作部１６に含まれる電源釦の押し操作など）を受け付けると、制御プログラムおよび画像処理プログラムを実行する。これらの制御プログラムおよび画像処理プログラムは、例えば、メモリ１５に記録されている。ＣＰＵ１４は、撮像素子１２にスルー画像の撮像を開始させ、モニタ１７に表示する。ＣＰＵ１４は、ステップＳ２０１からの処理を開始する。
　ステップＳ２０１：ＣＰＵ１４は、撮像素子１２によって撮像されたスルー画像を、現フレームとしてＤＦＥ１３から読み込む。同時に、ＣＰＵ１４は、現フレームの１つ前に撮像され不図示の内部メモリに記録されたスルー画像を過去フレームとして読み込む。
　ステップＳ２０２：特徴量取得部２０は、現フレームおよび過去フレームのそれぞれに対し、図２に示すようなフィルタによる畳み込み演算を行い、注目画素における利得を取得する。特徴量取得部２０は、利得からなる現フレームおよび過去フレームを出力する。
　ステップＳ２０３：ノイズ除去部２１は、特徴抽出部２０から出力された現フレームおよび過去フレームに対し、ノイズ除去処理を施す。
　ステップＳ２０４：演算部２３は、現フレームおよび過去フレームそれぞれをＭ×Ｎ個の画像領域に分割し、画像領域ごとに利得の頻度分布を求める。
　ステップＳ２０５：動き検出部２４は、現フレームおよび過去フレームそれぞれにおいて、注目画像領域とその周辺の画像領域との頻度分布、特に、高利得の頻度分布の形状に対する相関から同一被写体か否かを判定する。すなわち、動き検出部２４は、高利得の頻度分布における相関係数が所定値以上の場合、注目画像領域とその周辺の画像領域との被写体は同一であると判定する。一方、動き検出部２４は、高利得の頻度分布における相関係数が所定値より小さい場合、注目画像領域とその周辺の画像領域との被写体は異なると判定する。そして、動き検出部２４は、現フレームおよび過去フレーム全ての画像領域について相関処理を行い、同一被写体と判定された画像領域を抽出し内部メモリ（不図示）に記録する。
　なお、動き検出部２４は、同一被写体か否かの判定にあたり、例えば、被写体が有する色成分情報なども合わせて行うのが好ましい。また、本実施形態では、同一被写体と判定された画像領域の大きさを、相関処理により認識された被写体の大きさとする。
　ステップＳ２０６：動き検出部２４は、画像領域ごとに、現フレームと過去フレームとの頻度分布の差分を計算し、差分した頻度分布に基づいて被写体が動いたか否かを判定する。すなわち、動き検出部２４は、例えば、図３（ｂ）に示すように、低利得および高利得の頻度の変化量が０でない場合、その画像領域の被写体は動いたと判定する。一方、動き検出部２４は、低利得および高利得の頻度の変化量が０の場合、被写体は動いていないと判定する。動き検出部２４は、全ての画像領域について判定し、被写体の動きが検出された画像領域を抽出し内部メモリ（不図示）に記録する。
　ステップＳ２０７：動き検出部２４は、ステップＳ２０６において動き検出された被写体と、ステップＳ２０５において認識された被写体とが同一被写体か否かを判定する。動き検出部２４は、相関処理により認識された被写体の画像領域が、動き検出された画像領域と一致するか否かを判定する。動き検出部２４は、一致する場合、動き検出された被写体は、相関処理により認識された被写体であると判定する。ＣＰＵ１４は、動き検出された被写体の画像領域を、例えば、モニタ１７にハイライト表示する。ＣＰＵ１４は、ステップＳ２０８（ＹＥＳ側）へ移行する。
　一方、動き検出部２４は、一致しない場合、動き検出された被写体は、相関処理により認識された被写体ではなく、背景の樹木などであると判定し、ＣＰＵ１４は、ステップＳ２０１（ＮＯ側）へ移行する。
　ステップＳ２０８：動き検出部２４は、検出結果および相関結果に基づいて、被写体の動きを特定する。動き検出部２４は、相関処理により認識された被写体の大きさが、現フレームと過去フレームとにおいて変化したか否かを判定する。動き検出部２４は、被写体の大きさが増加する場合、被写体は視線方向でデジタルカメラの方に向かって来る向きの動きであると特定する。一方、動き検出部２４は、被写体の大きさが減少する場合、被写体は視線方向でデジタルカメラから離れる向きの動きであると特定する。一方、動き検出部２４は、被写体の大きさが変化しなかった場合、被写体は画面上を移動する動きであると特定する。
　なお、動き検出部２４は、各フレームにおける相関処理により認識された被写体の画像領域の重心位置を求め、その重心位置が現フレームと過去フレームとで変化した向きを、画面上の動きの向きとして特定してもよい。
　ＣＰＵ１４は、得られた動き検出の結果を、公知の背景推定や主要被写体推定の手法に適用し、例えば、背景と主要被写体とを分離する。ＣＰＵ１４は、その主要被写体の画像領域において、ＡＦ制御、ＡＥ演算、オートホワイトバランス（ＡＷＢ）演算やカラープロセス制御などを行ったり、または、その主要被写体の物体認識処理を行ったりする。
　ステップＳ２０９：ＣＰＵ１４は、ユーザより撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けたか否かを判定する。ＣＰＵ１４は、撮像指示を受け付けていない場合、現フレームを過去フレームとしてメモリ１５に記録し、ステップＳ２０１（ＮＯ側）へ移行する。一方、ＣＰＵ１４は、撮像指示を受け付けた場合、ステップＳ２１０（ＹＥＳ側）へ移行する。
　ステップＳ２１０：ＣＰＵ１４は、主要被写体の撮像を行う。なお、動画撮像の場合、ＣＰＵ１４は、動画の撮像中、スルー画像の場合と同様に、動画の各フレームについて現フレームおよび過去フレームとし、ステップＳ２０１からステップＳ２０８と同様の処理を行うのが好ましい。ＣＰＵ１４は、その撮像の間、主要被写体に対して、上記ＡＦ制御などを行うとともに、被写体追尾、電子手振れ制御、オートズームなどを行うのが好ましい。そして、ＣＰＵ１４は、撮像終了指示を受け付けた場合、一連の処理を終了する。
　このように、本実施形態では、各フレームに対して、標本化関数に基づいて決定したフィルタによる畳み込み演算を行い、画像領域ごとに利得の頻度分布を求め、フレーム間の利得の頻度分布の差分に基づいて被写体の動きを検出することにより、オプティカルフローなどの従来技術と比べて少ない演算量で、高速かつ精度よく被写体の動きを検出することができる。
　また、演算量が少ないことから、デジタルカメラの回路規模の増大を回避することができる。
　さらに、上記検出結果と相関結果とを合わせることにより、容易に被写体の動きを３次元的に検出することができる。
《実施形態の補足事項》
　（１）上記実施形態では、特徴量取得部２０、ノイズ除去部２１、顔認識部２２、演算部２３、動き検出部２４の各処理を、ＣＰＵ１４がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。
　（２）本発明の画像処理装置は、上記実施形態のデジタルカメラの例に限定されない。例えば、動画をコンピュータに読み込ませ、コンピュータに画像処理プログラムを実行させることにより、コンピュータを本発明の画像処理装置として動作させてもよい。
　（３）上記実施形態では、特徴抽出部２０が求めた利得の値をそのまま用いて処理したが、本発明はこれに限定されない。例えば、特徴抽出部２０は、図２に示すようなフィルタを用いて求めた利得の値を、フレームにおける利得の最大値で正規化したものを利得としてもよい。これにより、デジタルカメラが、たとえ同じシーンを撮像している場合であっても、例えば、晴れから曇りに変わることによって、明るさが変化して利得が変化するために、見かけ上被写体が動いたとする誤検出を回避することができる。
　（４）上記実施形態では、閾値Ｔｈ１およびＴｈ２は固定値としたが、本発明はこれに限定されない。例えば、ＣＰＵ１４は、現フレームおよび過去フレームを新たな教師データとして用いて学習することにより、閾値Ｔｈ１およびＴｈ２の値を更新してもよい。
　また、メモリ１５は、閾値Ｔｈ１およびＴｈ２の値として、夜景やポートレートなどの撮像シーンに応じたものを記憶し、ＣＰＵ１４は、フレームに撮像されたシーンを認識し、そのシーン認識結果に応じて使用する閾値Ｔｈ１およびＴｈ２の値を決定し設定してもよい。この場合、ＣＰＵ１４は、現フレームおよび過去フレームを新たな教師データとして用いて学習する際、現フレームおよび過去フレームのシーンを認識し、認識されたシーンの閾値Ｔｈ１およびＴｈ２の値を更新することが好ましい。
　（５）上記実施形態では、図２に示すようなフィルタとして、標本化関数の１つであるＰＳＦにより決定された係数の配列を用いたが、本発明はこれに限定されない。例えば、正規分布関数やラプラス関数などを用いて決定した係数の配列をフィルタとして用いてもよい。
　（６）上記実施形態では、現フレームおよび過去フレームそれぞれをＭ×Ｎ個の画像領域に分割し、画像領域ごとに利得の頻度分布を求めた（ステップＳ１０５）。しかし、演算部２３は、現フレーム、過去フレームのそれぞれの一部の領域の利得の頻度分布を求めてもよい。その際には、演算部２３は、現フレームと過去フレームとの対応する領域の利得の頻度分布を求めるとよい。
　（７）上記実施形態、実施形態の補足において、利得の頻度分布を求める領域は、厳密に一致していなくてもよい。
　（８）上記実施形態では、動きを検出するのに、画像領域ごとに頻度分布を求め、頻度分布の差分を計算したが、必ずしも差分を計算しなくてもよい。例えば、現フレーム及び過去のフレームの対応する領域において、それぞれの合焦状態を比較して、その合焦状態の比較結果（合焦状態の変化）に基づいて、被写体の動きを検出することとしてもよい。
　（９）上記実施形態のおける図４、図６のフローチャートで示した制御プログラムおよび画像処理プログラムは、デジタルカメラやパーソナルコンピュータにダウンロードして実行されることとしてもよい。また、ＣＤ、ＤＶＤ、ＳＤカード、その他の半導体メモリ等の記録媒体に記録して、カメラやパーソナルコンピュータで実行されることとしてもよい。
　以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で前述のような実施形態の特徴点及び利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物によることも可能である。
１１…撮像光学系、１２…撮像素子、１３…ＤＥＦ、１４…ＣＰＵ、１５…メモリ、１６…操作部、１７…モニタ、１８…メディアＩ／Ｆ、１９…記憶媒体、２０…特徴量取得部、２１…ノイズ除去部、２２…顔認識部、２３…演算部、２４…動き検出部

Claims (11)

  1. 　時系列的に撮像された第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得部と、
    　前記第１の画像および第２の画像それぞれを複数の画像領域に分割し、前記画像領域ごとに前記特徴量の頻度分布を求める演算部と、
    　前記画像領域ごとに、前記第１の画像と前記第２の画像との前記頻度分布の差分を計算し、差分した前記頻度分布に基づいて被写体の動きを検出する動き検出部と、
    　を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記動き検出部は、前記差分した頻度分布のうち、第１の閾値以下の前記特徴量および前記第１の閾値より大きい第２の閾値以上の前記特徴量の頻度の変化量に基づいて、前記被写体の動きを検出する
    　ことを特徴とする画像処理装置。
  3. 　請求項１または請求項２に記載の画像処理装置において、
    　前記第１の画像および第２の画像において前記被写体を認識する被写体認識部を備え、
    　前記動き検出部は、前記差分した頻度分布と認識された前記被写体に対応する領域の大きさとに基づいて、前記被写体の動きの方向を検出する
    　ことを特徴とする画像処理装置。
  4. 　請求項１または請求項２に記載の画像処理装置において、
    　前記動き検出部は、処理対象の画像領域と周辺の画像領域とにおける前記頻度分布の相関に基づいて前記被写体に対応する領域の大きさを求め、前記差分した頻度分布と前記被写体に対応する領域の大きさとに基づいて、前記被写体の動きの方向を検出することを特徴とする画像処理装置。
  5. 　請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
    　前記特徴量取得部は、標本化関数に基づいて決定したフィルタを用いて前記特徴量を取得することを特徴とする画像処理装置。
  6. 　請求項２に記載の画像処理装置において、
    　前記第１の画像および第２の画像を新たな教師データとして用い学習し、前記第１の閾値および前記第２の閾値の値を更新する閾値学習部を備える
    　ことを特徴とする画像処理装置。
  7. 　請求項２または請求項６に記載の画像処理装置において、
    　シーンごとに前記第１の閾値および前記第２の閾値の値を記憶する記憶部と、
    　前記第１の画像および第２の画像に撮像されたシーンを認識するシーン認識部と、
    　認識された前記シーンに応じて、前記第１の閾値および第２の閾値の値を設定する閾値設定部と、を備える
    　ことを特徴とする画像処理装置。
  8. 　撮像された第１の画像と第２の画像との合焦状態を示す情報を取得する取得部と、
    　前記第１の画像及び第２の画像の対応する領域において、それぞれの合焦状態を比較する比較手段と、
    　前記比較手段の合焦状態の比較結果に基づいて、被写体の動きを検出する動き検出部とを備えることを特徴とする画像処理装置。
  9. 　被写体を撮像して画像を生成する撮像部と、
    　請求項１ないし請求項８のいずれか１項に記載の画像処理装置と、
    　を備えることを特徴とする撮像装置。
  10. 　時系列的に撮像された第１の画像および第２の画像を入力する入力手順、
    　前記第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得手順、
    　前記第１の画像および第２の画像それぞれを複数の画像領域に分割し、前記画像領域ごとに前記特徴量の頻度分布を求める演算手順、
    　前記画像領域ごとに、前記第１の画像と前記第２の画像との前記頻度分布の差分を計算し、差分した前記頻度分布に基づいて被写体の動きを検出する動き検出手順、
    　をコンピュータに実行させることを特徴とする画像処理プログラム。
  11. 　撮像された第１の画像と第２の画像との合焦状態を示す情報を取得する取得手順、
    　前記第１の画像及び第２の画像の対応する領域において、それぞれの合焦状態を比較する比較手順、
    　前記比較手順の合焦状態の比較結果に基づいて、被写体の動きを検出する動き検出手順、
    　をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2012/000066 2011-01-06 2012-01-06 画像処理装置、撮像装置および画像処理プログラム WO2012093663A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012551859A JP5949559B2 (ja) 2011-01-06 2012-01-06 画像処理装置、撮像装置および画像処理プログラム
US13/977,829 US20130293741A1 (en) 2011-01-06 2012-01-06 Image processing apparatus, image capturing apparatus, and storage medium storing image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-001278 2011-01-06
JP2011001278 2011-01-06

Publications (1)

Publication Number Publication Date
WO2012093663A1 true WO2012093663A1 (ja) 2012-07-12

Family

ID=46457514

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000066 WO2012093663A1 (ja) 2011-01-06 2012-01-06 画像処理装置、撮像装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US20130293741A1 (ja)
JP (1) JP5949559B2 (ja)
WO (1) WO2012093663A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017111685A (ja) * 2015-12-17 2017-06-22 Kddi株式会社 判定装置及びプログラム並びに遠隔コミュニケーション支援装置
JP2018006872A (ja) * 2016-06-28 2018-01-11 日本放送協会 画像処理パラメータ決定装置、画像処理装置、及びプログラム
JP2018513992A (ja) * 2015-03-10 2018-05-31 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 連続オートフォーカスのためのシステムおよび方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI536319B (zh) * 2014-06-24 2016-06-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統
JP6640460B2 (ja) * 2015-03-30 2020-02-05 富士フイルム株式会社 画像撮影装置、画像撮影方法、プログラムおよび記録媒体
AU2017245322A1 (en) * 2017-10-10 2019-05-02 Canon Kabushiki Kaisha Method, system and apparatus for selecting frames of a video sequence

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188713A (ja) * 1998-12-22 2000-07-04 Ricoh Co Ltd 自動焦点制御装置及びその合焦動作決定方法
JP2007251721A (ja) * 2006-03-17 2007-09-27 Japan Radio Co Ltd 移動物体検知装置及びその方法
JP2010008620A (ja) * 2008-06-26 2010-01-14 Hitachi Ltd 撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2861249B2 (ja) * 1989-05-11 1999-02-24 日本電気株式会社 画像変化検出方法および画像変化検出装置
US6298144B1 (en) * 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188713A (ja) * 1998-12-22 2000-07-04 Ricoh Co Ltd 自動焦点制御装置及びその合焦動作決定方法
JP2007251721A (ja) * 2006-03-17 2007-09-27 Japan Radio Co Ltd 移動物体検知装置及びその方法
JP2010008620A (ja) * 2008-06-26 2010-01-14 Hitachi Ltd 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513992A (ja) * 2015-03-10 2018-05-31 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 連続オートフォーカスのためのシステムおよび方法
JP2017111685A (ja) * 2015-12-17 2017-06-22 Kddi株式会社 判定装置及びプログラム並びに遠隔コミュニケーション支援装置
JP2018006872A (ja) * 2016-06-28 2018-01-11 日本放送協会 画像処理パラメータ決定装置、画像処理装置、及びプログラム

Also Published As

Publication number Publication date
JP5949559B2 (ja) 2016-07-06
JPWO2012093663A1 (ja) 2014-06-09
US20130293741A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
US9204034B2 (en) Image processing apparatus and image processing method
US9609220B2 (en) Image pickup apparatus, image pickup method, and program
JP5949559B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2008118348A (ja) 電子カメラおよびプログラム
TWI469085B (zh) 影像處理裝置、影像處理方法及電腦可讀取記憶媒體
US8558942B2 (en) Focusing measurement device, focusing measurement method, and program
JP2008092299A (ja) 電子カメラ
JP2010279054A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
US20150206024A1 (en) Image processing apparatus, image processing method, and storage medium
JP2013098935A (ja) 追尾装置及び追尾方法
US8571404B2 (en) Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method
WO2013094552A1 (ja) 撮像装置、その制御方法およびプログラム
WO2013094551A1 (ja) 撮像装置、その制御方法およびプログラム
US20200177814A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2013225779A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6099973B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP6024135B2 (ja) 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム
KR101467872B1 (ko) 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기위한 프로그램을 저장한 기록매체
JP5213493B2 (ja) 動き検出装置
JP6556033B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009258284A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2014131188A (ja) 撮像装置、その制御方法、および制御プログラム
JP6149615B2 (ja) 撮像装置
JP6029464B2 (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12732062

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012551859

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13977829

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12732062

Country of ref document: EP

Kind code of ref document: A1