WO2016084611A1 - 画像処理装置および方法、並びに、プログラム - Google Patents

画像処理装置および方法、並びに、プログラム Download PDF

Info

Publication number
WO2016084611A1
WO2016084611A1 PCT/JP2015/081826 JP2015081826W WO2016084611A1 WO 2016084611 A1 WO2016084611 A1 WO 2016084611A1 JP 2015081826 W JP2015081826 W JP 2015081826W WO 2016084611 A1 WO2016084611 A1 WO 2016084611A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
frame
unit
tracking target
image
Prior art date
Application number
PCT/JP2015/081826
Other languages
English (en)
French (fr)
Inventor
真範 三上
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016084611A1 publication Critical patent/WO2016084611A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Definitions

  • the present technology relates to an image processing device and method, and a program, and more particularly, to an image processing device and method that can detect a tracking target at a higher speed, and a program.
  • imaging devices such as digital still cameras have been widely used, and technologies such as face detection technology and autofocus have been improved.
  • technologies such as face detection technology and autofocus have been improved.
  • there has been a method of tracking a moving subject in a moving image captured at the time of imaging and using it for focusing or the like see, for example, Patent Document 1).
  • a method for detecting a subject or the like as a tracking target for example, there is a method for detecting the subject or the like based on the similarity of the color or luminance of the subject or the like.
  • the present technology has been proposed in view of such a situation, and an object thereof is to enable detection of a tracking target at a higher speed.
  • One aspect of the present technology includes a detection unit that detects a tracking target from a moving image using motion detection, and a tracking unit that tracks the tracking target detected by the detection unit in each frame of the moving image.
  • the detection unit detects a moving object by motion detection using a difference between a current frame and a past frame of the moving image, sets a partial region including the moving object for each detected moving object, A partial area can be the tracking target.
  • the detection unit can set a partial area satisfying a predetermined condition among the partial areas as an effective area and any of the effective areas as the tracking target.
  • the detection unit has the predetermined condition that at least one of the size of the partial area is within a desired range and the center of gravity of the partial area is located within the predetermined area of the moving image is the predetermined condition.
  • the effective area can be set from among the areas.
  • the detection unit can set the effective area from the partial areas, with the effective area detection target area for detecting the effective area as the predetermined area.
  • the detection unit can set the effective region from the partial regions, with the motion detection target region for performing the motion detection as the predetermined region.
  • the detection unit can set the effective area closest to the center of the effective area detection target area for detecting the effective area as the tracking target.
  • the tracking unit detects a moving object by motion detection using a difference between a current frame and a past frame of the moving image, sets a partial region including the moving object for each detected moving object,
  • the partial area can be the tracking target in the current frame.
  • the tracking unit sets a partial area satisfying a predetermined condition among the partial areas as an effective area, and sets the effective area including the center of gravity of the tracking target in the previous frame as the tracking target in the current frame. Can do.
  • the tracking unit includes a region in which a size of the partial region is within a desired range, a center of gravity of the partial region is located in a region where the motion detection is performed, and a region in which the center of gravity of the partial region detects the effective region.
  • the effective region can be set from among the partial regions, with at least one of being located within the predetermined region as the predetermined condition.
  • the tracking unit can set a region having a high similarity between the tracking target in the past frame and the image feature in the current frame as the tracking target in the current frame.
  • the tracking unit may use color or luminance or both as characteristics of the image, and a region having a high similarity to the tracking target in a past frame in the current frame may be set as the tracking target in the current frame. .
  • the tracking unit can determine the tracking target by a plurality of methods, and can set any of the determined tracking targets as the tracking target in the current frame.
  • the tracking unit includes a method for determining the tracking target using motion detection, a method for determining the tracking target using color or luminance, and a method for determining the tracking target using distance information to the tracking target.
  • the tracking target can be obtained using a plurality of methods.
  • the tracking unit may calculate the reliability of the tracking target for each of the plurality of methods, and set the tracking target with the highest reliability as the tracking target in the current frame.
  • the tracking unit is one of the tracking target position, size, color, brightness, positional relationship with the in-focus position, face detection result, distance information, and control information such as zoom and shaking suppression.
  • the reliability can be calculated based on a predetermined parameter including one.
  • the image processing apparatus may further include a storage unit that stores an image of each frame of the moving image, and the detection unit and the tracking unit may detect and track the tracking target using the image stored in the storage unit, respectively. it can.
  • An imaging unit that captures the moving image, an optical unit that optically processes incident light of the imaging unit, and a focusing unit that controls the optical unit to focus on the tracking target may be further provided.
  • One aspect of the present technology is an image processing method for detecting a tracking target from a moving image using motion detection and tracking the detected tracking target in each frame of the moving image.
  • the computer further includes a detection unit that detects a tracking target from a moving image using motion detection, and tracks the tracking target detected by the detection unit in each frame of the moving image.
  • a detection unit that detects a tracking target from a moving image using motion detection, and tracks the tracking target detected by the detection unit in each frame of the moving image.
  • a tracking target is detected from a moving image using motion detection, and the detected tracking target is tracked in each frame of the moving image.
  • an image can be processed. Further, according to the present technology, it is possible to detect the tracking target at a higher speed.
  • FIG. 15 is a flowchart following FIG. 14 for explaining an example of the flow of reliability calculation processing. It is a figure explaining the example of the mode of a stringing.
  • the subject had to be focused before the detection. Therefore, there is a possibility that the detection is delayed by the amount of the focusing operation (the time until the detection ends is too long). If the detection of the tracking target is delayed in this way, the amount of movement of the tracking target during that time increases, and in some cases, the tracking target may move out of the image frame. For this reason, there is a possibility that the tracking of the tracking target and the focusing process using the tracking result cannot be performed accurately.
  • a tracking target is detected from a moving image using motion detection, and the detected tracking target is tracked in each frame of the moving image.
  • a detection unit that detects a tracking target from a moving image using motion detection, and a tracking unit that tracks the tracking target detected by the detection unit in each frame of the moving image; Be prepared.
  • FIG. 1 shows a main configuration example of an imaging apparatus which is an embodiment of an image processing apparatus to which the present technology is applied.
  • An imaging apparatus 100 shown in FIG. 1 is an apparatus that images a subject and outputs an image of the subject as an electrical signal.
  • the imaging apparatus 100 includes, for example, a lens 101, a diaphragm 102, an imaging element 103, an analog signal processing unit 104, an A / D conversion unit 105, and a digital signal processing unit 106.
  • the lens 101 adjusts the focus to the subject and collects light from the focused position.
  • the aperture 102 adjusts exposure.
  • the image sensor 103 captures a subject and obtains a captured image. That is, the image sensor 103 photoelectrically converts light from the subject and outputs it as an image signal (analog signal).
  • the image sensor 103 can capture a still image or a moving image by such photoelectric conversion. For example, the image sensor 103 photoelectrically converts light from a subject accumulated in a pixel and outputs it as an image signal at a predetermined timing (for example, a timing designated by the user pressing a shutter button or the like).
  • a still image can be captured (an image signal of a still image can be obtained).
  • the imaging element 103 captures a moving image by obtaining photoelectrically converted light from a subject accumulated in a pixel and outputting it as an image signal at every predetermined time (obtains an image signal of a moving image). be able to.
  • the resolution of the still image may be different from the resolution of the moving image.
  • an image sensor 103 it is possible to capture a moving image (obtain a captured image of a moving image) or to capture a still image (obtain a captured image of a still image). it can.
  • the image signal of the moving image obtained by the image sensor 103 may be stored as a captured image of the moving image.
  • an image signal of a still image obtained by the image sensor 103 at a predetermined timing may be stored as a captured image of the still image.
  • a frame image signal at a predetermined timing (for example, a timing designated by the user pressing the shutter button, etc.) of a moving image captured by the image sensor 103 is stored as a still image captured image. Also good. Further, for example, the image sensor 103 may interrupt the capturing of the moving image at the predetermined timing to capture the still image, and store the obtained still image signal as a captured image of the still image. Good.
  • the image sensor 103 can be used to capture a still image at a predetermined timing (for example, a timing designated by the user pressing the shutter button, etc.) during capturing of a moving image. It may be. In the captured image, the resolution of the still image and the resolution of the moving image may be different from each other.
  • the image sensor 103 is configured as a CMOS image sensor using CMOS (Complementary Metal Oxide Semiconductor), a CCD image sensor using CCD (Charge Coupled Device), or the like.
  • the imaging element 103 may have a shutter function for controlling the timing of imaging.
  • the analog signal processing unit 104 performs analog signal processing on the image signal obtained by the image sensor 103.
  • the content of the analog signal processing is arbitrary.
  • the A / D conversion unit 105 performs A / D conversion on the image signal subjected to the analog signal processing, and obtains image data (digital signal).
  • the digital signal processing unit 106 performs digital signal processing on the image data obtained by the A / D conversion unit 105.
  • the digital signal processing unit 106 performs at least processing for detecting a tracking target from a moving image supplied as image data and processing for tracking the detected tracking target in each frame of the moving image as digital signal processing. Do. Details of these processes will be described later.
  • the digital signal processing unit 106 may perform color mixture correction, black level correction, white balance adjustment, demosaic processing, matrix processing, gamma correction, YC conversion, and the like as digital signal processing. Further, the digital signal processing unit 106 may perform processing (codec processing) relating to encoding and decoding of image data as digital signal processing.
  • the digital signal processing unit 106 includes, for example, a memory 111, a subject detection unit 112, a subject tracking unit 113, a selection unit 114, and a codec processing unit 115.
  • the memory 111 stores image data (image data of each frame of a moving image or image data of a still image) obtained by the A / D conversion unit 105.
  • the subject detection unit 112 performs motion detection on the moving image image data stored in the memory 111 to detect a tracking target.
  • the subject detection unit 112 supplies the detection result to the selection unit 114.
  • the subject tracking unit 113 tracks the tracking target for each frame of the moving image stored in the memory 111.
  • the subject tracking unit 113 supplies the tracking result to the selection unit 114.
  • the selection unit 114 selects one of the supplied detection result and tracking result according to the situation, and supplies the selected information to the system controller 131.
  • the codec processing unit 115 performs processing related to encoding and decoding of image data of moving images and still images stored in the memory 111.
  • the digital signal processing unit 106 may include processing units other than these processing units.
  • the imaging apparatus 100 includes, for example, a lens driver 121, a TG (Timing Generator) 122, and a gyro 123.
  • the lens driver 121 drives the lens 101 and the diaphragm 102 to control the focal length, exposure, and the like.
  • the TG 122 drives the image sensor 103 by generating a synchronization signal and supplying the synchronization signal to the image sensor 103 to control imaging.
  • the gyro 123 is a sensor that detects the position and orientation of the imaging apparatus 100. The gyro 123 supplies the detected sensor information to the A / D conversion unit 105.
  • the imaging apparatus 100 includes a system controller 131, for example.
  • the system controller 131 controls each unit of the imaging apparatus 100.
  • the system controller 131 controls the lens driver 121 to control focal length, exposure, and the like.
  • the system controller 131 can control the focal length, the exposure, and the like based on the tracking target detection result, the tracking result, and the like supplied from the selection unit 114.
  • the system controller 131 controls the TG 122 to control the imaging timing and the like. Further, for example, the system controller 131 controls the analog signal processing unit 104 to control analog signal processing.
  • the system controller 131 can control an arbitrary processing unit of the imaging apparatus 100, and can also control processing units other than the processing units indicated by arrows in FIG.
  • the system controller 131 includes, for example, a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like, and executes a program and processes data to control each processing unit. Do.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the imaging apparatus 100 includes, for example, a display unit 141, a storage unit 142, an input unit 143, an output unit 144, a communication unit 145, and an operation unit 146.
  • the display unit 141 is configured, for example, as a liquid crystal display or the like, reads image data stored in the memory 111, and displays the image.
  • the display unit 141 can display a captured image obtained by the imaging unit 103, a stored captured image, or the like (may be a moving image or a still image).
  • the display unit 141 can generate a GUI (Graphical User Interface) such as a menu, a button, or a cursor and display it together with a captured image, a captured image, or the like.
  • GUI Graphic User Interface
  • the storage unit 142 stores image data stored in the memory 111. At that time, the storage unit 142 stores encoded data obtained by compressing (encoding) the image data by the codec processing unit 115 in order to reduce the data amount. The encoded data stored in the storage unit 142 is read by the codec processing unit 115, decoded and used (for example, displayed on the display unit 141).
  • the input unit 143 has an external input interface such as an external input terminal, and various data (for example, image data and encoded data) supplied from the outside of the imaging apparatus 100 via the external input interface is input to the codec processing unit 115. Supply.
  • the codec processing unit 115 encodes and decodes the various data as necessary.
  • the output unit 144 includes an external output interface such as an external output terminal, and various types of data (for example, image data and encoded data) supplied via the codec processing unit 115 are input to the imaging apparatus 100 via the external output interface. To the outside.
  • various types of data for example, image data and encoded data supplied via the codec processing unit 115 are input to the imaging apparatus 100 via the external output interface. To the outside.
  • the communication unit 145 performs predetermined communication (wired communication or wireless communication, or both) with another device, and exchanges data and the like with the other device through the communication.
  • the communication unit 145 supplies various data (for example, image data and encoded data) supplied from the codec processing unit 115 to other devices via the predetermined communication (wired communication or wireless communication).
  • the communication unit 145 acquires various data (for example, image data and encoded data) from another device via the predetermined communication (wired communication or wireless communication), and supplies it to the codec processing unit 115.
  • the codec processing unit 115 encodes and decodes the various data as necessary.
  • the operation unit 146 is configured by an arbitrary input device such as a jog dial (trademark), a key, a button, or a touch panel, for example.
  • the operation unit 146 receives an operation input by a user or the like and supplies a signal corresponding to the operation input to the system controller 131. To do.
  • the system controller 131 Based on the supplied signal, the system controller 131 receives an instruction input by a user or the like, and performs a process (for example, control of each processing unit) according to the instruction.
  • the imaging apparatus 100 may include the drive 147.
  • the drive 147 reads information (programs, data, etc.) stored in a removable recording medium 148 attached to the drive 147, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 147 supplies information read from the removable recording medium 148 to the system controller 131.
  • the drive 147 stores information (for example, image data and encoded data) supplied via the system controller 131 in the removable recording medium 148. Can be made.
  • the lens 101, the diaphragm 102, and the lens driver 121 described above are formed as an interchangeable lens 151 that is detachable (replaceable) from the imaging apparatus 100, which is a separate housing from the imaging apparatus 100. May be.
  • the imaging apparatus 100 performs a process of detecting a tracking target from a moving image using motion detection, and a process of tracking the detected tracking target in each frame of the moving image.
  • the imaging apparatus 100 performs each process of steps S102 to S104 in FIG. 2 as detection of the tracking target, and performs the process of step S106 in FIG. 2 as tracking of the tracking target.
  • step S101 the image sensor 103 captures a moving image and generates an image signal of the captured image.
  • the image signal of the captured image is subjected to analog signal processing in the analog signal processing unit 104, converted into digital data image data in the A / D conversion unit 105, and stored in the memory 111.
  • the display unit 141 reads out the image data and displays a captured image (moving image).
  • step S102 the subject detection unit 112 performs subject detection processing, performs motion detection on the current frame image of the captured image (moving image), and detects a subject to be tracked.
  • the subject detection unit 112 detects a moving object in the image of the current frame by motion detection, sets a partial area including the detected moving object, and selects a tracking target candidate from the partial area.
  • An effective area may be set.
  • the effective frames 211 to 213 indicate boundaries (outer frames) of the set effective areas.
  • the effective frame 211 (effective region) is set so as to include the second person from the left detected as a moving object (a part thereof) in the image 201, and the left detected as the moving object.
  • the effective frame 212 (effective region) is set so as to include the third person (part) from the effective frame 213 (effective part) to include the rightmost person (part) detected as a moving object. Area) is set.
  • step S103 the system controller 131 determines whether or not the shutter button of the operation unit 146 is half-pressed by the user or the like, for example. If it is determined that the shutter button is not half-pressed, the process returns to step S102, and the subsequent processes are repeated for the next frame. That is, the setting of the effective area as described above is repeated for each frame of the captured image (moving image) captured in step S101.
  • the half-pressing operation of the shutter button is an example of an operation for instructing focusing on the subject.
  • the content of the operation for instructing focusing on the subject is arbitrary and may be any operation, and is not limited to half-pressing the shutter button. If it is determined in step S103 that the shutter button is half-pressed, the process proceeds to step S104.
  • the subject detection unit 112 captures a subject to be tracked. More specifically, the subject detection unit 112 selects a target to be tracked from the effective frames (effective regions) set by the processing in step S102. That is, “capturing” means setting a subject to be tracked in each frame of a moving image. Therefore, an effective frame set as a tracking target is also referred to as a capture frame.
  • the method for selecting the tracking target is arbitrary. For example, the subject detection unit 112 is closer to the center of an area (also referred to as an effective area detection target area) for detecting an effective area in the frame image, and a larger effective area (effective frame) is set as a tracking target (capture frame). You may do it.
  • the dotted line frame 221 indicates the boundary (outer frame) of the effective area detection target area
  • the point 222 indicates the center of the effective area detection target area.
  • the effective frame 212 is closer to the point 222 and larger than the effective frame 213, and thus the effective frame 212 is set as a tracking target. That is, the effective frame 212 is set as the capture frame.
  • the effective area detection target area indicated by the dotted line frame 221 may be set at an arbitrary position in the image 201 with an arbitrary size. That is, the effective area detection target area may be a part of the image 201 or the entire image 201.
  • the selection unit 114 selects a detection result (that is, information on the set tracking target) by the subject detection unit 112 and supplies it to the system controller 131.
  • step S105 the system controller 131 controls the lens driver 121 according to the detection result to focus on the subject to be tracked.
  • the system controller 131 detects the subject in the effective frame 212 (from the left in the image 201 as in the example of FIG. 3C).
  • the in-focus point 231 is focused on the third person), and the in-focus point (that is, the subject in the effective frame 212) is focused.
  • step S106 the subject tracking unit 113 performs subject tracking processing to track the subject to be tracked.
  • “Tracking” indicates that a capture frame is set in each frame of a moving image.
  • the subject tracking unit 113 sets the effective frame 251 to the effective frame 254 in the image 241 of the next frame of the image 201 as in the example of D of FIG. Set the capture frame from.
  • the system controller 131 focuses the subject based on the tracking result as in the case of the example of FIG. Details of the subject tracking process will be described later.
  • step S107 the system controller 131 determines whether or not the shutter button of the operation unit 146 has been fully pressed by a user or the like, for example. If it is determined that the shutter button has been fully pressed, the process proceeds to step S108.
  • the operation of fully pressing the shutter button is an example of an operation for instructing imaging of an object (saving of a captured image).
  • the content of the operation for instructing imaging of the subject is arbitrary, and may be any operation, and is not limited to full pressing of the shutter button.
  • step S108 the storage unit 142 reads the image data of the current frame (that is, the image data of the captured image (still image)) from the memory 111 via the codec processing unit 115 and encodes the encoded data. Data is acquired and the encoded data is stored.
  • step S108 ends, the process proceeds to step S109. If it is determined in step S107 that the shutter button has not been fully pressed, the process proceeds to step S109.
  • step S109 the system controller 131 determines whether or not to end the imaging process. If it is determined that the image capturing is continued and the imaging process is not finished, the process returns to step S106, and the subsequent processes are repeated. That is, each process of step S106 to step S109 is repeated for each frame of the moving image.
  • step S109 If it is determined in step S109 that the imaging process is to be terminated, the imaging process is terminated.
  • the imaging apparatus 100 can detect the tracking target before focusing on the subject (before the process of step S104). Therefore, the imaging apparatus 100 can detect the tracking target at a higher speed. Thereby, the imaging device 100 can perform tracking more accurately.
  • the subject detection unit 112 sets a moving object frame by taking a difference between images between frames as shown in FIG. As shown in FIG. 5A, when a difference is taken between frames, a portion that has moved between the frames is extracted.
  • the subject detection unit 112 uses the part as a moving object, and sets a partial region including the moving object.
  • the moving object frame indicates a boundary (outer frame) of a partial region including the moving object.
  • the subject detection unit 112 performs motion detection using the difference between the current frame and the past frame of the captured moving image, and a partial region (moving object frame) including the moving object for each detected moving object. May be set, and any of the partial areas may be set as the tracking target.
  • the past frame that takes a difference from the current frame may be any frame as long as it is a frame before the present.
  • the frame may be one frame before the current frame or two or more frames before. That is, the frames for which the difference is taken may or may not be continuous with each other.
  • the subject detection unit 112 determines whether or not each moving object frame set in step S121 is an effective frame.
  • step S122 the subject detection unit 112 selects a processing target from the unprocessed moving body frames among the moving body frames set in step S121.
  • the subject detection unit 112 determines whether or not the moving object frame to be processed satisfies a predetermined condition (effective frame condition).
  • This effective frame condition is arbitrary.
  • the effective frame condition may include that the size of the moving object frame to be processed (region in the moving object frame) is within a desired range.
  • the effective frame condition may include that the center of gravity of the moving object frame to be processed (the area in the moving object frame) is located in a predetermined area of the moving image.
  • This predetermined area is arbitrary.
  • the predetermined area may be an effective area detection target area or a motion detection target area for performing motion detection.
  • This predetermined area (for example, an effective area detection target area or a motion detection target area) may be set at an arbitrary size in an arbitrary position in the frame. That is, this area may be a part of the frame or the entire frame.
  • the effective frame condition may be composed of a plurality of conditions. For example, both of the above-described conditions may be included in the effective frame condition. Also, any condition other than those described above may be included in the effective frame condition. Furthermore, any conditions other than those described above may be included in the effective frame condition together with at least one of the conditions described above. If it is determined that the moving object frame to be processed satisfies the effective frame condition (if the effective frame condition is configured by a plurality of conditions, all of them are satisfied), the process proceeds to step S124.
  • the subject detection unit 112 manages information related to the effective frame in the current frame.
  • the subject detection unit 112 sets the moving object frame to be processed as an effective frame, and registers information about the moving object frame (for example, the position and size of the moving object frame, the position of the center of gravity, and the like).
  • the subject detection unit 112 counts the number of effective frames in the current frame. In step S125, the subject detection unit 112 adds +1 to the number of effective frames in the current frame (increments).
  • step S125 When the process of step S125 ends, the process proceeds to step S126. If it is determined in step S123 that the valid condition is not satisfied, the subject detection unit 112 determines that the moving object frame is an invalid frame (not an effective frame). In that case, the process proceeds to step S126.
  • step S126 the subject detection unit 112 determines whether or not all the moving object frames have been processed. If it is determined that there is an unprocessed moving object frame set in step S121, the process returns to step S122, and the subsequent processes are repeated. That is, each process of step S122 to step S126 is executed for all the moving object frames set in step S121, and it is determined whether the frame is an effective frame or an invalid frame.
  • step S126 If it is determined in step S126 that all moving object frames have been processed, the subject detection process ends, and the process returns to FIG. This subject detection process is executed for each frame until the shutter is half-pressed.
  • the subject detection unit 112 can set an effective frame before focusing on the subject. Therefore, the subject detection unit 112 can capture the subject to be tracked at a higher speed. That is, the imaging apparatus 100 can detect the tracking target at a higher speed. Thereby, the imaging device 100 can perform tracking more accurately.
  • the subject tracking unit 113 performs subject tracking processing to track a subject detected as a tracking target in each frame of a captured moving image. At that time, the subject tracking unit 113 may obtain a tracking target by a plurality of methods, and any one of the obtained tracking targets may be set as a tracking target in the current frame.
  • the plurality of methods include, for example, a method for obtaining a tracking target using motion detection, a method for obtaining a tracking target using color or luminance, and a method for obtaining a tracking target using distance information to the tracking target. Two or more methods may be included.
  • the subject tracking unit 113 may calculate the reliability of the tracking target for each of the plurality of methods, and the tracking target with the highest reliability may be set as the tracking target in the current frame.
  • FIG. 6 illustrates an example of the flow of processing in such a case.
  • the subject tracking unit 113 executes the motion detection tracking process in step S141, tracks the subject by motion detection in the current frame, and calculates the reliability. Details of this motion detection tracking process will be described later.
  • step S142 the subject tracking unit 113 tracks the subject by color or luminance in the current frame, and calculates the reliability.
  • the specific processing of this method is arbitrary. For example, in the current frame, an area having a high similarity to the color or luminance of the subject to be tracked in the previous frame may be detected, and that area may be the tracking target.
  • any feature of an image such as a frequency component or an edge component may be used, and tracking may be performed based on the similarity of the feature. In addition, tracking may be performed based on the similarity of a plurality of image features.
  • step S143 the subject tracking unit 113 tracks the subject based on the distance information to the subject in the current frame, and calculates the reliability.
  • the specific processing of this method is arbitrary. For example, in the current frame, an area that is approximately the same distance as the distance to the subject that is the tracking target in the previous frame may be detected, and that area may be the tracking target.
  • step S144 the subject tracking unit 113 selects a tracking method based on the reliability of each method calculated in steps S141 to S143. That is, the subject tracking unit 113 sets the subject that is the tracking target by the selected tracking method as the tracking target of the current frame.
  • the selection unit 114 selects a tracking result (that is, information regarding the set tracking target) by the subject tracking unit 113 and supplies it to the system controller 131.
  • step S145 the system controller 131 controls the lens driver 121 according to the tracking result to focus on the subject to be tracked.
  • step S145 When the process of step S145 is completed, the process returns to FIG.
  • the subject tracking unit 113 tracks the subject by a plurality of methods. Thereby, it is possible to track the subject more accurately than to track the subject by one method.
  • the subject tracking unit 113 uses both a method of tracking a subject using motion detection and a method of tracking a subject using color or luminance.
  • an effective frame 271 and an effective frame 272 are set by a method of tracking a subject using motion detection, and by a method of tracking the subject using color or brightness.
  • an effective frame 273 is set.
  • the effective frame 271 is set as a capture frame (tracking target). Yes.
  • the effective frame 275 is set by the method of tracking the subject using color or brightness.
  • the effective frame 275 is substantially the same size as the effective frame 273. That is, in the method of tracking the subject using color or brightness, the size of the effective frame does not change greatly. That is, the reliability of the method of tracking a subject using color or luminance has not changed significantly.
  • the effective frame 275 is set as a capture frame (tracking target). That is, the tracking method after frame number N + 1 is switched from the method of tracking a subject using motion detection to the method of tracking a subject using color or luminance.
  • the effective frame 276 is set by the method of tracking the subject using motion detection, and the effective frame 277 is set by the method of tracking the subject using color or luminance.
  • the effective frame 277 is set as a capture frame (tracking target).
  • Figure 8 shows another example.
  • the effective frame 281 and the effective frame 282 are set by the method of tracking the subject using motion detection, and effective by the method of tracking the subject using color or brightness.
  • the frame 283 is set, the method of tracking a subject using color or luminance is more reliable than the method of tracking a subject using motion detection, so the effective frame 283 is a capture frame (tracking). Target).
  • the reliability of the method of tracking the subject using color or brightness is greatly reduced, and the method of tracking the subject using motion detection is more suitable for the subject using color or brightness.
  • the reliability is higher than the method of tracking. Therefore, in the frame number N + 1, the effective frame 284 is set as a capture frame (tracking target). That is, the tracking method after frame number N + 1 is switched from the method of tracking the subject using color or luminance to the method of tracking the subject using motion detection.
  • the effective frame 286 and the effective frame 287 are set by the method of tracking the subject using motion detection, but the subject is tracked by the method of tracking the subject using color or luminance. I can't. Therefore, as in the case of frame number N + 1, the effective frame 286 set by the method of tracking the subject using motion detection is set as the capture frame (tracking target).
  • the effective frame may become unstable (lower reliability) depending on the frame.
  • the subject by tracking a subject by a plurality of methods, the subject can be tracked more accurately than by tracking a subject by one method.
  • the reliability used for selecting the tracking method may be calculated by an arbitrary method.
  • the reliability may be calculated based on an arbitrary parameter.
  • 9 to 11 show examples of parameters used for calculating the reliability.
  • the parameter used for calculating the reliability may include the position and size of the subject to be tracked. For example, as shown in FIG. 9A, when the position and size of the capture frame 311 set in the moving image 301 do not change significantly as in the capture frames 311A to 311C, the reliability is increased. It may be calculated. Also, for example, as shown in FIG. 9B, when the position and size of the capture frame 312 set in the moving image 301 change significantly as in the capture frames 312A to 312C, the reliability decreases. It may be calculated as follows.
  • the color and brightness of the subject to be tracked may be included in the parameters used for calculating the reliability.
  • the calculation is performed so as to increase the reliability. You may be made to do.
  • the color or brightness of the capture frame 313 set in the moving image 301 changes significantly as in the capture frames 313A to 313C, the reliability is lowered. It may be calculated as follows.
  • the reliability of the method of tracking the subject using color or luminance may be reduced.
  • the reliability of other methods may also be reduced.
  • the reliability may not be updated (fixed) during a period (scene) in which the color and luminance change greatly.
  • the parameter used for calculation of the reliability may include a positional relationship with the in-focus position of the subject to be tracked.
  • the focal point 315 the focal point 315A to the focal point 315C
  • the focal point 317 is positioned outside the capture frame 316 (the capture frame 316A to the capture frame 316C) set in the moving image 301. In that case, the reliability may be calculated to be low.
  • the imaging apparatus 100 can realize more accurate tracking.
  • any image processing technique such as face detection may be applied in tracking the subject to be tracked.
  • a face detection result may be included in a parameter used for calculation of reliability.
  • the reliability may be calculated to be high.
  • the obstacle before the subject 319 (subject 319A to 319C) corresponding to the capture frame 318 (capture frame 318A to capture frame 318C) set in the moving image 301, the obstacle When the object 320 (the obstacle 320B and the obstacle 320C) exists, the face of the subject 319 cannot be detected. In such a case, the reliability may be calculated to be low.
  • the parameter used for calculation of reliability may include distance information to the subject to be tracked.
  • the capture frame 311 capture frames 311A to 311C.
  • the distance to the subject at is substantially constant. Therefore, focusing is easy and the capture frame 311 can be set more accurately. In such a case, the reliability may be calculated to be high.
  • the subject 322 (subject 322A to 322C) and the subject 323 (subject 323A to 323A to 323C) are included in the capture frame 321 (capture frames 321A to 321C). Since the subject 323C) exists and the distances to both are not the same, the distance to the subject in the capture frame 321 is more diversified than in the capture frame 311. In such a case, it is difficult to focus on all the subjects, and there is a possibility that a subject that is not in focus (so-called blurred) is generated. Therefore, the setting of the capture frame 321 may be inaccurate compared to the case of the capture frame 311. In such a case, the reliability may be calculated to be low.
  • control information for the optical system such as zoom may be included in the parameter used for calculating the reliability.
  • zoom-out (Zoom Out) and zoom-in (Zoom In) are performed, and the size of the subject 325 (subjects 325A to 325C) changes greatly. Therefore, the setting of the capture frame 324 (capture frame 324A to capture frame 324C) may be inaccurate. Therefore, in such a case, the reliability may be calculated to be low.
  • control information for the posture control system such as the suppression of camera shake may be included in the parameter used for calculating the reliability.
  • a so-called “hand shake” occurs, and the imaging device 100 shakes greatly, and the subject 327 (subjects 327A to 327C) shakes greatly and quickly ( Blurring). Therefore, the setting of the capture frame 326 (capture frame 326A to capture frame 326C) may be inaccurate. Therefore, in such a case, the reliability may be calculated to be low.
  • the subject tracking unit 113 may calculate the reliability based on a predetermined parameter.
  • a predetermined parameter A plurality of parameters described above may be used.
  • the subject tracking unit 113 for example, the position and size of the tracking target, the color and brightness, the positional relationship with the in-focus position, the face detection result, the distance information, and the control information such as zoom and shake suppression.
  • the reliability may be calculated based on a predetermined parameter including one or more of them.
  • the subject tracking unit 113 can track a capture frame with higher reliability, and the imaging apparatus 100 can realize more accurate tracking.
  • the subject tracking unit 113 has been described as tracking a subject by a plurality of methods. However, the present invention is not limited to this, and the subject tracking unit 113 may track the subject by one method. For example, only the process of step S141 in FIG. 6 may be performed. That is, as in the case of tracking target detection, the subject tracking unit 113 performs motion detection using the difference between the current frame of the moving image and the past frame, and each detected moving body includes the moving body. An area may be set, and any partial area may be set as a tracking target in the current frame.
  • step S142 in FIG. 6 may be performed. That is, the subject tracking unit 113 may set an area where the similarity between the tracking target of the past frame and the image feature is high as the tracking target in the current frame.
  • the image features may include, for example, color or brightness or both.
  • the subject tracking unit 113 may perform only the process of step S143 in FIG. 6, or may track the subject by another method.
  • the subject tracking unit 113 sets an effective frame using motion detection in step S161. This process is performed in the same manner as the subject detection process described with reference to the flowchart of FIG.
  • the subject tracking unit 113 sets a capture frame from the effective frame in step S162.
  • the capture frame may be set in the same manner as in step S104 in FIG. 2. However, if a capture frame is set in a past frame (for example, the previous frame), the capture frame is also set in the current frame. Since there is a high possibility that the same subject exists near the capture frame, the subject tracking unit 113 may set an effective frame in which the center of gravity of the capture frame is located as the capture frame.
  • the effective frame 361 and the effective frame 362 are set in the image 351 of the current frame, but the center of gravity 363 of the capture frame set in the past frame is positioned in the effective frame 362. Therefore, the subject tracking unit 113 sets the effective frame 362 as a capture frame for the current frame.
  • the subject tracking unit 113 can track a capture frame with higher reliability, and the imaging apparatus 100 can realize more accurate tracking.
  • step S163 the subject tracking unit 113 calculates the reliability for all the effective frames set in step S161. Since there is a possibility that the capture frame needs to be changed depending on the reliability, the reliability is calculated for all effective frames here. Details of the reliability calculation method will be described later.
  • step S163 When the process of step S163 is finished, the motion detection tracking process is finished, and the process returns to FIG.
  • the center of gravity of the tracking target in the previous frame is calculated.
  • the included effective area may be a tracking target in the current frame.
  • the effective area is set so that a partial area satisfying a predetermined condition is set as an effective area (effective frame) among the partial areas (moving object frame) including moving objects, as in the process of step S123 of FIG. May be.
  • the size of the partial area (moving body frame) including the moving body is within a desired range, the center of gravity of the partial area (moving body frame) including the moving body is located in the motion detection target area, You may make it include at least 1 among the gravity centers of the partial area
  • region is located in the motion detection target area.
  • the subject tracking unit 113 selects a processing target from unprocessed effective frames in the previous frame (past frame) in step S181.
  • the previous frame may be a frame that is past the current frame, and may be the previous frame, or may be two or more previous frames.
  • step S182 the subject tracking unit 113 selects a processing target from unprocessed effective frames in the current frame.
  • the subject tracking unit 113 associates the effective frame in the previous frame with the effective frame in the current frame, and further manages information related to the association. “Linking” is the association of effective areas between frames. By associating effective areas (effective frames) for the same subject between frames, the reliability of the effective areas (effective frames) can be inherited between frames.
  • the reliability of the effective area (effective frame) of such a subject is calculated to be high, and the reliability of the effective area (effective frame) of a newly appearing subject is calculated to be low.
  • step S183 the subject tracking unit 113 determines whether the center of gravity of the effective frame to be processed in the current frame is located within the effective frame to be processed in the previous frame. If it is determined that it is located, the process proceeds to step S184.
  • step S184 the subject tracking unit 113 sets the effective frame to be processed in the current frame as a linking frame (effective frame linked to the effective frame to be processed in the previous frame), and the linking frame. Information on (that is, the effective frame to be processed in the current frame) is registered.
  • the subject tracking unit 113 counts the number of linked frames. In step S185, the subject tracking unit 113 adds +1 to the number of linked frames (increments).
  • step S186 the subject tracking unit 113 registers a linking ID that is identification information for identifying linking between effective areas (effective frames) between frames.
  • step S187 the subject tracking unit 113 sets a linking flag for the effective frame to be processed in the current frame as the linking frame.
  • step S187 ends, the process proceeds to step S188. If it is determined in step S183 that the center of gravity of the effective frame to be processed in the current frame is not located within the effective frame to be processed in the previous frame, the process proceeds to step S188.
  • the effective frame to be processed in the current frame whose centroid is located within the effective frame to be processed in the previous frame is linked to the effective frame to be processed in the previous frame.
  • an effective frame 381, an effective frame 382, an effective frame 383, and an effective frame 384 are set in the image 371 that is the current frame, and the effective frame 361 and the effective frame 362 are set in the previous frame. Has been.
  • the centers of gravity of the effective frame 381 and the effective frame 382 are located inside the effective frame 361. Therefore, the effective frame 381 and the effective frame 382 are linked to the effective frame 361.
  • the center of gravity of the effective frame 383 is located outside the effective frame 361 and the effective frame 362. Therefore, the effective frame 383 is not linked.
  • the center of gravity of the effective frame 384 is also located outside the effective frame 361 and the effective frame 362. Therefore, the effective frame 384 is not linked.
  • step S188 the subject tracking unit 113 determines whether or not all the effective frames of the current frame have been processed. If it is determined that there is an unprocessed effective frame, the process returns to step S182, and the subsequent processes are repeated. That is, each process of step S182 to step S188 is executed for each effective frame of the current frame.
  • step S188 If it is determined in step S188 that all the effective frames of the current frame have been processed, the process proceeds to step S189.
  • step S189 the subject tracking unit 113 determines whether all the effective frames of the previous frame have been processed. If it is determined that there is an unprocessed effective frame, the process returns to step S181, and the subsequent processes are repeated. That is, each process of step S181 to step S189 is executed for each effective frame of the previous frame.
  • step S189 If it is determined in step S189 that all the effective frames of the previous frame have been processed, the process proceeds to FIG.
  • the subject tracking unit 113 acquires the reliability of each effective area (effective frame) in the previous frame.
  • step S192 the subject tracking unit 113 selects a processing target from an unprocessed effective area (effective frame) in the current frame.
  • step S193 the subject tracking unit 113 determines whether or not a linking flag is set for the effective area (effective frame) to be processed. When it is determined that the linking flag is set (that is, the linking frame), the process proceeds to step S194.
  • step S194 the subject tracking unit 113 updates the reliability of the effective area (effective frame) in the previous frame associated with the association frame according to the association frame, and the updated reliability is obtained. Set as the reliability of the effective area (effective frame) to be processed in the current frame. When the reliability is updated as described above, the process proceeds to step S196.
  • step S193 in FIG. 15 If it is determined in step S193 in FIG. 15 that the linking flag is not set (that is, not a linking frame), the process proceeds to step S195.
  • step S195 the subject tracking unit 113 initializes the reliability of the effective area (effective frame) to be processed. That is, an initial value (for example, “0”) is set as the reliability of the effective area (effective frame) to be processed.
  • an initial value for example, “0”
  • the process proceeds to step S196.
  • step S196 the subject tracking unit 113 determines whether or not all the effective areas (effective frames) of the current frame have been processed. If it is determined that an unprocessed effective area (effective frame) exists, the process returns to step S192, and the subsequent processes are performed. That is, the processing from step S192 to step S196 is performed for each effective area (effective frame) of the current frame.
  • step S196 when it is determined that all the effective areas (effective frames) of the current frame have been processed, the reliability calculation process ends, and the process returns to FIG.
  • the subject tracking unit 113 can track a capture frame with higher reliability, and the imaging apparatus 100 can realize more accurate tracking.
  • ⁇ Application example> The shapes of various areas such as the partial area including the moving object (moving object frame), the effective area (effective frame), the area for detecting the effective area (effective frame), and the area for detecting the moving object are arbitrary and illustrated. Thus, it does not have to be rectangular.
  • the image for tracking the subject need not be a captured image.
  • an image supplied from another device via the input unit 143 or the communication unit 145 may be used.
  • the processing for the tracking target may be anything, and may not be the above-described focusing.
  • it may be exposure control or some kind of image processing.
  • the subject detection unit 112 may perform tracking by motion detection. Since subject detection and tracking using motion detection are substantially similar processes, the subject detection unit 112 performs them, and the subject tracking unit 113 uses motion detection such as a method using color or luminance. The subject may be tracked by a method other than the method. In that case, in tracking the subject, the selection unit 114 may select a tracking method.
  • the detection of the subject may be performed by a plurality of methods in the same manner as in the tracking process described above, and a method having high reliability among them may be selected.
  • the detection of the subject may be performed by a method using motion detection and a method using color or luminance, and either detection result may be selected according to the reliability.
  • this subject detection method is arbitrary, and other methods may be used, or the subject may be detected by three or more methods.
  • a subject may be detected and tracked by a plurality of methods, and a more appropriate method may be selected based on the reliability of each method at an arbitrary timing.
  • the subject detection unit 112 and the subject tracking unit 113 perform subject (tracking target) detection processing and tracking processing by each method in parallel, and the selection unit 114 appropriately obtains the processing result of the method with higher reliability. You may make it select (it switches as needed).
  • the imaging apparatus 100 has been described as an example of an image processing apparatus to which the present technology is applied.
  • the present technology is not limited to the imaging apparatus and can be applied to any image processing apparatus.
  • the present technology may be applied to an image editing apparatus that edits a moving image or the like supplied from the outside.
  • the present technology may be applied to a control device that controls an in-vehicle camera, a monitoring camera, or the like, an analysis device that analyzes an image, or the like.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed from a network or a recording medium.
  • this recording medium is constituted by a removable recording medium 148 on which the program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the removable recording medium 148 includes a magnetic disk (including a flexible disk) and an optical disk (including a CD-ROM and a DVD). Further, magneto-optical disks (including MD (Mini-Disc)) and semiconductor memories are also included.
  • the program can be installed in the storage unit 142 by attaching the removable recording medium 148 to the drive 147.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received via the communication unit 145 and installed in the storage unit 142.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received via the communication unit 145 and installed in the storage unit 142.
  • this program can be installed in advance in a ROM (Read Only Memory) or the like in the storage unit 142 or the system controller 131.
  • ROM Read Only Memory
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology is not limited to this, and any configuration mounted on such a device or a device constituting the system, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • this technique can also take the following structures.
  • a detection unit that detects a tracking target from a moving image using motion detection;
  • An image processing apparatus comprising: a tracking unit that tracks the tracking target detected by the detection unit in each frame of the moving image.
  • the detection unit detects a moving object by motion detection using a difference between a current frame and a past frame of the moving image, sets a partial region including the moving object for each detected moving object, The image processing apparatus according to (1), wherein the partial region is the tracking target.
  • the detection unit sets a partial area that satisfies a predetermined condition among the partial areas as an effective area, and sets any of the effective areas as the tracking target.
  • the detection unit uses, as the predetermined condition, at least one of a size of the partial area being within a desired range and a centroid of the partial area being located within a predetermined area of the moving image.
  • the image processing device according to (4), wherein the detection unit sets the effective area from the partial areas, with the motion detection target area for performing the motion detection as the predetermined area.
  • the image processing device according to any one of (3) to (6), wherein the detection unit sets the effective area closest to the center of the effective area detection target area for detecting the effective area as the tracking target.
  • the tracking unit detects a moving object by motion detection using a difference between a current frame and a past frame of the moving image, sets a partial region including the moving object for each detected moving object,
  • the image processing apparatus according to any one of (1) to (7), wherein the partial region is the tracking target in a current frame.
  • the tracking unit sets a partial area that satisfies a predetermined condition among the partial areas as an effective area, and uses the effective area including the center of gravity of the tracking target in the previous frame as the tracking target in the current frame.
  • the tracking unit is configured such that the size of the partial region is within a desired range, the center of gravity of the partial region is located in the region where the motion detection is performed, and the center of gravity of the partial region is the effective region.
  • the tracking unit sets, in the current frame, an area where the similarity between the tracking target in the past frame and the image feature is high as the tracking target in the current frame (1) to (10) The image processing apparatus according to any one of the above.
  • the tracking unit uses color or luminance or both as characteristics of the image, and a region having a high similarity to the tracking target of a past frame in the current frame is set as the tracking target in the current frame.
  • the image processing apparatus according to (11).
  • the tracking unit determines the tracking target using a method for determining the tracking target using motion detection, a method for determining the tracking target using color or luminance, and distance information to the tracking target.
  • the image processing apparatus according to (13), wherein the tracking target is obtained using a plurality of methods.
  • the tracking unit calculates the reliability of the tracking target for each of the plurality of methods, and sets the tracking target with the highest reliability as the tracking target in the current frame. (13) or (14 ).
  • the tracking unit includes the position and size, color and brightness, positional relationship with the focus position, face detection result, distance information, and control information such as zoom and shaking suppression of the tracking target.
  • the image processing apparatus according to (15), wherein the reliability is calculated based on a predetermined parameter including any one of the following.
  • a storage unit for storing an image of each frame of the moving image is further provided, The image processing apparatus according to any one of (1) to (16), wherein the detection unit and the tracking unit detect and track the tracking target, respectively, using an image stored in the storage unit.
  • an imaging unit that captures the moving image; An optical unit for optically processing incident light of the imaging unit;
  • the image processing apparatus according to any one of (1) to (17), further including: a focusing unit that controls the optical unit to focus on the tracking target.
  • Detect a tracking target from a moving image using motion detection An image processing method for tracking the detected tracking target in each frame of the moving image.
  • a detection unit that detects a tracking target from a moving image using motion detection
  • a program that functions as a tracking unit that tracks the tracking target detected by the detection unit in each frame of the moving image.
  • imaging device 101 lens, 102 aperture, 103 imaging device, 104 analog signal processing unit, 105 A / D conversion unit, 106 digital signal processing unit, 111 memory, 112 subject detection unit, 113 subject tracking unit, 114 selection unit, 115 codec processing unit, 121 lens driver, 122 TG, 123 gyro, 131 system controller, 141 display unit, 142 storage unit, 143 input unit, 144 output unit, 145 communication unit, 146 operation unit, 147 drive, 148 removable recording medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　本技術は、より高速に追尾対象を検出することができるようにする画像処理装置および方法、並びに、プログラムに関する。 動き検出を用いて動画像から追尾対象を検出し、その動画像の各フレームにおいて、検出された追尾対象を追尾する。例えば、動画像の現在のフレームと過去のフレームとの差分を用いて動き検出を行い、検出された各動体についてその動体を含む部分領域を設定し、いずれかの部分領域を追尾対象としてもよい。また、例えば、動体を含む部分領域の内、所定の条件を満たす部分領域を有効領域とし、いずれかの有効領域を追尾対象としてもよい。本技術は、例えば、画像処理装置に適用することができる。

Description

画像処理装置および方法、並びに、プログラム
　本技術は、画像処理装置および方法、並びに、プログラムに関し、特に、より高速に追尾対象を検出することができるようにした画像処理装置および方法、並びに、プログラムに関する。
　従来、デジタルスチルカメラ等の撮像装置が広く普及しており、顔検出技術やオートフォーカスなどの技術も向上している。例えば、撮像の際に取り込む動画像において、動いてる被写体等を追尾し、合焦等に利用する方法があった（例えば、特許文献１参照）。
　このような技術において、被写体等を追尾対象として検出する方法として、例えば、その被写体等の色や輝度等の類似度に基づいて検出する方法があった。
特開２００８－１１３０７１号公報
　しかしながら、その場合、追尾対象の検出精度を十分に高くするためには、その検出の前にその被写体に合焦させておく必要があり、検出が遅くなる（検出が終了するまでの時間が長すぎる）おそれがあった。このような追尾対象の検出が遅れると、その間の被写体の移動量が大きくなり、被写体の追尾や、その追尾結果を利用した合焦等の処理を正確に行うことができないおそれがあった。
　本技術は、このような状況に鑑みて提案されたものであり、より高速に追尾対象を検出することができるようにすることを目的とする。
　本技術の一側面は、動き検出を用いて動画像から追尾対象を検出する検出部と、前記動画像の各フレームにおいて、前記検出部により検出された前記追尾対象を追尾する追尾部とを備える画像処理装置である。
　前記検出部は、前記動画像の現在のフレームと過去のフレームとの差分を用いた動き検出で動体を検出し、検出された各動体について前記動体を含む部分領域を設定し、いずれかの前記部分領域を前記追尾対象とすることができる。
　前記検出部は、前記部分領域の内、所定の条件を満たす部分領域を有効領域とし、いずれかの前記有効領域を前記追尾対象とすることができる。
　前記検出部は、前記部分領域のサイズが所望の範囲内であること、前記部分領域の重心が前記動画像の所定の領域内に位置することの少なくとも１つを前記所定の条件として、前記部分領域の中から前記有効領域を設定することができる。
　前記検出部は、前記有効領域を検出する有効領域検出対象領域を前記所定の領域として、前記部分領域の中から前記有効領域を設定することができる。
　前記検出部は、前記動き検出を行う動き検出対象領域を前記所定の領域として、前記部分領域の中から前記有効領域を設定することができる。
　前記検出部は、前記有効領域を検出する有効領域検出対象領域の中心に最も近い有効領域を前記追尾対象とすることができる。
　前記追尾部は、前記動画像の現在のフレームと過去のフレームとの差分を用いた動き検出で動体を検出し、検出された各動体について前記動体を含む部分領域を設定し、いずれかの前記部分領域を現在のフレームにおける前記追尾対象とすることができる。
　前記追尾部は、前記部分領域の内、所定の条件を満たす部分領域を有効領域とし、１つ前のフレームにおける前記追尾対象の重心を含む前記有効領域を現在のフレームにおける前記追尾対象とすることができる。
　前記追尾部は、前記部分領域のサイズが所望の範囲内であること、前記部分領域の重心が前記動き検出を行う領域内に位置すること、前記部分領域の重心が前記有効領域を検出する領域内に位置することの少なくとも１つを前記所定の条件として、前記部分領域の中から前記有効領域を設定することができる。
　前記追尾部は、現在のフレームの内、過去のフレームの前記追尾対象と画像の特徴の類似度が高い領域を、現在のフレームにおける前記追尾対象とすることができる。
　前記追尾部は、色若しくは輝度または両方を前記画像の特徴とし、現在のフレームの内、過去のフレームの前記追尾対象と類似度が高い領域を、現在のフレームにおける前記追尾対象とすることができる。
　前記追尾部は、複数の方法により前記追尾対象を求め、求めた前記追尾対象のいずれかを現在のフレームにおける前記追尾対象とすることができる。
　前記追尾部は、動き検出を用いて前記追尾対象を求める方法、色または輝度を用いて前記追尾対象を求める方法、および、前記追尾対象までの距離情報を用いて前記追尾対象を求める方法の内の、複数の方法を用いて前記追尾対象を求めることができる。
　前記追尾部は、前記複数の方法のそれぞれについて前記追尾対象の信頼度を算出し、前記信頼度が最も高い前記追尾対象を現在のフレームにおける前記追尾対象とすることができる。
　前記追尾部は、前記追尾対象の、位置や大きさ、色や明るさ、合焦位置との位置関係、顔検出結果、距離情報、並びに、ズームや揺れ抑制等の制御情報の内のいずれか１つを含む所定のパラメータに基づいて、前記信頼度を算出することができる。
　前記動画像の各フレームの画像を記憶する記憶部をさらに備え、前記検出部および前記追尾部は、前記記憶部に記憶された画像を用いて、それぞれ前記追尾対象の検出および追尾を行うことができる。
　前記動画像を撮像する撮像部と、前記撮像部の入射光を光学的に処理する光学部と、前記光学部を制御して前記追尾対象に合焦させる合焦部とをさらに備えることができる。
　本技術の一側面は、また、動き検出を用いて動画像から追尾対象を検出し、前記動画像の各フレームにおいて、検出された前記追尾対象を追尾する画像処理方法である。
　本技術の一側面は、さらに、コンピュータを、動き検出を用いて動画像から追尾対象を検出する検出部と、前記動画像の各フレームにおいて、前記検出部により検出された前記追尾対象を追尾する追尾部として機能させるプログラムである。
　本技術の一側面においては、動き検出を用いて動画像から追尾対象が検出され、前記動画像の各フレームにおいて、検出された前記追尾対象が追尾される。
　本技術によれば、画像を処理することが出来る。また本技術によれば、より高速に追尾対象を検出することができる。
撮像装置の主な構成例を示す図である。 撮像処理の流れの例を説明するフローチャートである。 被写体の捕捉と追尾の様子の例を説明する図である。 被写体検出処理の流れの例を説明するフローチャートである。 動き検出と有効枠の設定の様子の例を説明する図である。 被写体追尾処理の流れの例を説明するフローチャートである。 アルゴリズムの切り替えの様子の例を説明する図である。 アルゴリズムの切り替えの様子の他の例を説明する図である。 信頼度算出の様子の例を説明する図である。 信頼度算出の様子の例を説明する図である。 信頼度算出の様子の例を説明する図である。 動き検出追尾処理の流れの例を説明するフローチャートである。 捕捉枠選択の様子の例を説明する図である。 信頼度算出処理の流れの例を説明するフローチャートである。 信頼度算出処理の流れの例を説明する図１４に続くフローチャートである。 紐付けの様子の例を説明する図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（撮像装置）
　＜１．第１の実施の形態＞
　　＜追尾対象の検出＞
　従来、デジタルスチルカメラ等の撮像装置において、撮像の際に取り込む動画像から動いてる被写体等を追尾し、その追尾結果を合焦等に利用する方法があった。このような技術において、被写体等を追尾対象として検出する方法として、例えば、その被写体等の色や輝度等の類似度に基づいて検出する方法があった。
　しかしながら、その場合、追尾対象の検出精度を十分に高くするためには、その検出の前にその被写体に合焦させておかなければならなかった。そのため、その合焦動作の分、検出が遅くなる（検出が終了するまでの時間が長すぎる）おそれがあった。このように追尾対象の検出が遅れると、その間の追尾対象の移動量が大きくなり、場合によってはその追尾対象が画枠外に移動してしまう可能性もある。そのため、その追尾対象の追尾や、その追尾結果を利用した合焦等の処理を正確に行うことができなくなってしまうおそれがあった。
　そこで、動き検出を用いて動画像から追尾対象を検出し、その動画像の各フレームにおいて、検出された前記追尾対象を追尾するようにする。
　つまり、例えば、画像処理装置において、動き検出を用いて動画像から追尾対象を検出する検出部と、前記動画像の各フレームにおいて、前記検出部により検出された前記追尾対象を追尾する追尾部とを備えるようにする。
　このようにすることにより、被写体に合焦させる必要無く、より高速に追尾対象を検出することができる。
　　＜撮像装置＞
　このような本技術を適用した画像処理装置の一実施の形態である撮像装置の主な構成例を、図１に示す。図１に示される撮像装置１００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
　図１に示されるように、撮像装置１００は、例えば、レンズ１０１、絞り１０２、撮像素子１０３、アナログ信号処理部１０４、A/D変換部１０５、およびデジタル信号処理部１０６を有する。
　レンズ１０１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光する。絞り１０２は、露出の調整を行う。
　撮像素子１０３は、被写体を撮像して撮像画像を得る。つまり、撮像素子１０３は、被写体からの光を光電変換して画像信号（アナログ信号）として出力する。撮像素子１０３は、このような光電変換により、静止画像を取り込むこともできるし、動画像を取り込むこともできる。例えば、撮像素子１０３は、所定のタイミング（例えば、ユーザがシャッタボタンを押下する等して指定したタイミング）において、画素に蓄積された被写体からの光を光電変換して画像信号として出力することにより、静止画像を取り込む（静止画像の画像信号を得る）ことができる。また、例えば、撮像素子１０３は、所定の時間毎に、画素に蓄積された被写体からの光を光電変換して画像信号として出力することにより、動画像を取り込む（動画像の画像信号を得る）ことができる。なお、撮像素子１０３が取り込む画像（取り込み画像とも称する）において、静止画像の解像度と動画像の解像度とが互いに異なるようにしてもよい。
　したがって、このような撮像素子１０３を用いることにより、動画像の撮像を行う（動画像の撮像画像を得る）こともできるし、静止画像の撮像を行う（静止画像の撮像画像を得る）こともできる。例えば動画像の撮像を行う場合、撮像素子１０３が得る動画像の画像信号を、動画像の撮像画像として保存するようにしてもよい。また、例えば静止画像の撮像を行う場合、撮像素子１０３が所定のタイミングにおいて得る静止画像の画像信号を静止画像の撮像画像として保存するようにしてもよい。また、例えば、撮像素子１０３が取り込む動画像の、所定のタイミング（例えば、ユーザがシャッタボタンを押下する等して指定したタイミング）のフレームの画像信号を静止画像の撮像画像として保存するようにしてもよい。さらに、例えば、撮像素子１０３が、その所定のタイミングにおいて動画像の取り込みを中断して静止画像の取り込みを行い、得られた静止画像の画像信号を静止画像の撮像画像として保存するようにしてもよい。
　また、例えば、撮像素子１０３を用いて、動画像の撮像中の、所定のタイミング（例えば、ユーザがシャッタボタンを押下する等して指定したタイミング）において、静止画像の撮像を行うことができるようにしてもよい。なお、撮像画像において、静止画像の解像度と動画像の解像度とが互いに異なるようにしてもよい。
　例えば、撮像素子１０３は、CMOS（Complementary Metal Oxide Semiconductor）を用いたCMOSイメージセンサ、CCD（Charge Coupled Device）を用いたCCDイメージセンサ等として構成される。撮像素子１０３が、撮像のタイミングを制御するシャッタ機能を有するようにしてもよい。
　アナログ信号処理部１０４は、撮像素子１０３により得られた画像信号に対してアナログ信号処理を行う。アナログ信号処理の内容は任意である。A/D変換部１０５は、アナログ信号処理された画像信号をA/D変換し、画像データ（デジタル信号）を得る。
　デジタル信号処理部１０６は、A/D変換部１０５において得られた画像データに対してデジタル信号処理を行う。デジタル信号処理部１０６は、デジタル信号処理として、少なくとも、画像データとして供給される動画像から追尾対象を検出する処理と、その動画像の各フレームにおいて、検出された追尾対象を追尾する処理とを行う。これらの処理の詳細については、後述する。
　なお、デジタル信号処理の内容は任意であり、それら以外の処理も行われるようにしてもよい。例えば、デジタル信号処理部１０６が、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等をデジタル信号処理として行うようにしてもよい。また、デジタル信号処理部１０６が、デジタル信号処理として、画像データの符号化や復号に関する処理（コーデック処理）を行うようにしてもよい。
　デジタル信号処理部１０６は、例えば、メモリ１１１、被写体検出部１１２、被写体追尾部１１３、選択部１１４、およびコーデック処理部１１５を有する。
　メモリ１１１は、A/D変換部１０５において得られた画像データ（動画像の各フレームの画像データや静止画像の画像データ）を記憶する。
　被写体検出部１１２は、メモリ１１１に記憶されている動画像の画像データに対して動き検出を行い、追尾対象を検出する。被写体検出部１１２は、検出結果を選択部１１４に供給する。
　被写体追尾部１１３は、メモリ１１１に記憶されている動画像の各フレームについて、追尾対象の追尾を行う。被写体追尾部１１３は、追尾結果を選択部１１４に供給する。
　選択部１１４は、状況に応じて、供給される検出結果と追尾結果との内、いずれかを選択し、選択した情報をシステムコントローラ１３１に供給する。
　コーデック処理部１１５は、メモリ１１１に記憶される動画像や静止画像の画像データの符号化や復号に関する処理を行う。
　もちろん、デジタル信号処理部１０６が、これらの処理部以外の処理部を有するようにしてもよい。
　また、撮像装置１００は、例えば、レンズドライバ１２１、TG（Timing Generator）１２２、およびジャイロ１２３を有する。レンズドライバ１２１は、レンズ１０１や絞り１０２を駆動させ、焦点距離や露出等を制御する。TG１２２は、同期信号を生成して撮像素子１０３に供給することにより撮像素子１０３を駆動させ、撮像を制御する。ジャイロ１２３は、撮像装置１００の位置や姿勢を検知するセンサである。ジャイロ１２３は、検知したセンサ情報をA/D変換部１０５に供給する。
　また、撮像装置１００は、例えば、システムコントローラ１３１を有する。システムコントローラ１３１は、撮像装置１００の各部を制御する。例えば、システムコントローラ１３１は、レンズドライバ１２１を制御して、焦点距離や露出等を制御する。例えば、システムコントローラ１３１は、選択部１１４から供給される追尾対象の検出結果や追尾結果等に基づいて、焦点距離や露出等を制御することができる。
　また、例えば、システムコントローラ１３１は、TG１２２を制御して、撮像タイミング等を制御する。さらに、例えば、システムコントローラ１３１は、アナログ信号処理部１０４を制御して、アナログ信号処理を制御する。なお、システムコントローラ１３１は、撮像装置１００の任意の処理部を制御することができ、図１において矢印で示される処理部以外の処理部も制御することができる。
　システムコントローラ１３１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等よりなり、プログラムを実行したり、データを処理したりして各処理部の制御を行う。
　また、撮像装置１００は、例えば、表示部１４１、記憶部１４２、入力部１４３、出力部１４４、通信部１４５、および操作部１４６を有する。
　表示部１４１は、例えば、液晶ディスプレイ等として構成され、メモリ１１１に記憶されている画像データを読み出し、その画像を表示する。例えば、表示部１４１は、撮像部１０３において得られた取り込み画像や保存した撮像画像等を表示することができる（動画像でも静止画像でもよい）。また、例えば、表示部１４１は、メニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成して、取り込み画像や撮像画像等とともに表示することができる。
　記憶部１４２は、メモリ１１１に記憶されている画像データを記憶する。その際、記憶部１４２は、データ量を低減させるために、その画像データがコーデック処理部１１５により圧縮（符号化）された符号化データを記憶する。記憶部１４２に記憶されている符号化データは、コーデック処理部１１５により読み出され、復号されて利用される（例えば、表示部１４１に表示される）。
　入力部１４３は、外部入力端子等の外部入力インターフェイスを有し、その外部入力インタフェースを介して撮像装置１００の外部から供給される各種データ（例えば画像データや符号化データ）をコーデック処理部１１５に供給する。コーデック処理部１１５は、その各種データを必要に応じて符号化したり復号したりする。
　出力部１４４は、外部出力端子等の外部出力インターフェイスを有し、コーデック処理部１１５を介して供給される各種データ（例えば画像データや符号化データ）を、その外部出力インターフェイスを介して撮像装置１００の外部に出力する。
　通信部１４５は、他の装置と所定の通信（有線通信若しくは無線通信、または両方）を行い、その通信を介して他の装置とデータ等の授受を行う。例えば、通信部１４５は、コーデック処理部１１５から供給される各種データ（例えば画像データや符号化データ）を、その所定の通信（有線通信若しくは無線通信）を介して他の装置に供給する。また、通信部１４５は、その所定の通信（有線通信若しくは無線通信）を介して他の装置から各種データ（例えば画像データや符号化データ）を取得し、それをコーデック処理部１１５に供給する。コーデック処理部１１５は、その各種データを必要に応じて符号化したり復号したりする。
　操作部１４６は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等の任意の入力デバイスにより構成され、例えばユーザ等による操作入力を受け、その操作入力に対応する信号をシステムコントローラ１３１に供給する。システムコントローラ１３１は、その供給された信号に基づいて、ユーザ等が入力した指示を受け付け、その指示に応じた処理（例えば各処理部の制御等）を行う。
　また例えば、撮像装置１００が、ドライブ１４７を有するようにしてもよい。ドライブ１４７は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体１４８に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ１４７は、リムーバブル記録媒体１４８から読み出した情報をシステムコントローラ１３１に供給する。また、ドライブ１４７は、書き込み可能なリムーバブル記録媒体１４８が自身に装着された場合、システムコントローラ１３１を介して供給される情報（例えば画像データや符号化データ等）を、そのリムーバブル記録媒体１４８に記憶させることができる。
　なお、以上に説明したレンズ１０１、絞り１０２、およびレンズドライバ１２１は、撮像装置１００とは別筐体の、撮像装置１００に着脱可能な（交換可能な）交換式レンズ１５１として形成されるようにしてもよい。
　　＜撮像処理の流れ＞
　次に、このような構成の撮像装置１００により実行される処理の流れについて説明する。最初に、撮像装置１００により実行される、被写体を撮像する撮像処理の流れの例を、図２のフローチャートを参照して説明する。必要に応じて、図３を参照して説明する。
　撮像処理において、撮像装置１００は、上述したように、動き検出を用いて動画像から追尾対象を検出する処理と、その動画像の各フレームにおいて、検出された追尾対象を追尾する処理を行う。撮像装置１００は、追尾対象の検出として、図２のステップＳ１０２乃至ステップＳ１０４の各処理を実行し、追尾対象の追尾として、図２のステップＳ１０６の処理を行う。
　撮像処理が開始されると、ステップＳ１０１において、撮像素子１０３は、動画像を取り込み、取り込み画像の画像信号を生成する。その取り込み画像の画像信号は、アナログ信号処理部１０４においてアナログ信号処理され、A/D変換部１０５においてデジタルデータの画像データに変換され、メモリ１１１に記憶される。表示部１４１は、その画像データを読み出して取り込み画像（動画像）を表示する。
　このような動画像の取り込みと表示が行われている間、すなわち、ステップＳ１０１の処理と並行して、それ以降の処理（ステップＳ１０２乃至ステップＳ１０９の各処理）が行われる。被写体検出部１１２は、ステップＳ１０２において、被写体検出処理を実行し、その取り込み画像（動画像）の現在のフレームの画像に対して動き検出を行い、追尾対象とする被写体を検出する。
　その被写体検出処理において、被写体検出部１１２が、動き検出により現在のフレームの画像内の動体を検出し、その検出した動体を含む部分領域を設定し、その部分領域の中から、追尾対象の候補となる有効領域を設定するようにしてもよい。
　被写体検出処理の詳細については後述するが、被写体検出部１１２は、例えば図３のＡに示されるように、現在のフレームの画像２０１に対して動き検出などを行って、有効枠２１１乃至有効枠２１３を設定する。この有効枠２１１乃至有効枠２１３は、設定された有効領域の境界（外枠）を示す。図３のＡの例の場合、画像２０１において、動体として検出された左から２番目の人物（の一部）を含むように有効枠２１１（有効領域）が設定され、動体として検出された左から３番目の人物（の一部）を含むように有効枠２１２（有効領域）が設定され、動体として検出された一番右番の人物（の一部）を含むように有効枠２１３（有効領域）が設定されている。
　ステップＳ１０３において、システムコントローラ１３１は、例えばユーザ等により操作部１４６のシャッタボタンが半押しされたか否かを判定する。シャッタボタンの半押しが行われていないと判定された場合、ステップＳ１０２に処理が戻り、次のフレームに対して、それ以降の処理が繰り返される。つまり、上述したような有効領域の設定が、ステップＳ１０１において取り込まれる取り込み画像（動画像）のフレーム毎に繰り返される。なお、ここで、シャッタボタンの半押しの操作は、被写体への合焦を指示する操作の一例である。この被写体への合焦を指示する操作の内容は任意であり、どのような操作であってもよく、シャッタボタンの半押しに限定されない。ステップＳ１０３において、シャッタボタンが半押しされたと判定された場合、処理はステップＳ１０４に進む。
　ステップＳ１０４において、被写体検出部１１２は、追尾対象とする被写体を捕捉する。より具体的には、被写体検出部１１２は、ステップＳ１０２の処理により設定された有効枠（有効領域）の中から追尾対象とするものを選択する。つまり、「捕捉」とは、動画像の各フレームにおいて、追尾対象とする被写体を設定することである。したがって、追尾対象として設定される有効枠のことを捕捉枠とも称する。この追尾対象の選択方法は任意である。例えば、被写体検出部１１２が、フレームの画像内の有効領域を検出する領域（有効領域検出対象領域とも称する）の中心により近く、より大きな有効領域（有効枠）を追尾対象（捕捉枠）とするようにしてもよい。
　図３のＢの例では、点線枠２２１が有効領域検出対象領域の境界（外枠）を示し、点２２２がその有効領域検出対象領域の中心を示している。図３のＢの例の場合、有効枠２１２の方が有効枠２１３よりも点２２２に近く、かつ大きいため、有効枠２１２が追尾対象として設定される。つまり、有効枠２１２が捕捉枠として設定される。なお、点線枠２２１により示される有効領域検出対象領域は、画像２０１内の任意の位置に任意の大きさで設定されるようにしてもよい。すなわち、この有効領域検出対象領域は、画像２０１の一部分であってもよいし、画像２０１全体であってもよい。
　追尾対象が設定されると、選択部１１４は、その被写体検出部１１２による検出結果（すなわち、設定された追尾対象に関する情報）を選択し、それをシステムコントローラ１３１に供給する。
　ステップＳ１０５において、システムコントローラ１３１は、その検出結果に従ってレンズドライバ１２１を制御し、追尾対象とする被写体に合焦させる。
　図３の例の場合、図３のＢにおいて有効枠２１２が追尾対象として設定されたため、システムコントローラ１３１は、図３のＣの例のように、有効枠２１２内の被写体（画像２０１において左から３人目の人物）に合焦点２３１を合わせ、その合焦点（すなわち、有効枠２１２内の被写体）に合焦させる。
　ステップＳ１０６において、被写体追尾部１１３は、被写体追尾処理を行い、追尾対象とする被写体を追尾する。「追尾する」とは、捕捉枠を動画像の各フレームにおいて設定することを示す。例えば、図３の例の場合、被写体追尾部１１３は、図３のＤの例のように、画像２０１の次のフレームの画像２４１において、有効枠２５１乃至有効枠２５４を設定し、それらの中から捕捉枠を設定する。そしてシステムコントローラ１３１は、追尾結果に基づいて、図３のＣの例の場合と同様にその被写体に合焦させる。この被写体追尾処理の詳細については後述する。
　ステップＳ１０７において、システムコントローラ１３１は、例えばユーザ等により操作部１４６のシャッタボタンが全押しされたか否かを判定する。シャッタボタンが全押しされたと判定された場合、処理はステップＳ１０８に進む。なお、ここでシャッタボタンの全押しの操作は、被写体の撮像（撮像画像の保存）を指示する操作の一例である。この被写体の撮像を指示する操作の内容は任意であり、どのような操作であってもよく、シャッタボタンの全押しに限定されない。
　ステップＳ１０８において、記憶部１４２は、コーデック処理部１１５を介して、現在のフレームの画像データ（つまり、撮像画像（静止画像）の画像データ）をメモリ１１１から読み出されて符号化された符号化データを取得し、その符号化データを記憶する。
　ステップＳ１０８の処理が終了すると処理はステップＳ１０９に進む。また、ステップＳ１０７において、シャッタボタンの全押しが行われていないと判定された場合、処理はステップＳ１０９に進む。
　ステップＳ１０９において、システムコントローラ１３１は、撮像処理を終了するか否かを判定する。画像の取り込みを継続しており、撮像処理を終了しないと判定された場合、処理はステップＳ１０６に戻り、それ以降の処理を繰り返す。すなわち、動画像の各フレームについて、ステップＳ１０６乃至ステップＳ１０９の各処理が繰り返される。
　そして、ステップＳ１０９において撮像処理を終了すると判定された場合、撮像処理が終了する。
　以上のように撮像処理を行うことにより、撮像装置１００は、被写体に合焦する前に（ステップＳ１０４の処理の前に）追尾対象を検出することができる。したがって、撮像装置１００は、より高速に追尾対象を検出することができる。これにより、撮像装置１００は、より正確に追尾を行うことができる。
　　＜被写体検出処理の流れ＞
　次に、図４のフローチャートを参照して、図２のステップＳ１０２において実行される被写体検出処理の流れの例を説明する。必要に応じて、図５を参照して説明する。
　被写体検出処理が開始されると、被写体検出部１１２は、ステップＳ１２１において、例えば図５のＡのように、フレーム間で画像の差分を取り、動体枠を設定する。図５のＡに示されるように、フレーム間で差分をとるとそのフレーム間で動いた部分が抽出される。被写体検出部１１２は、その部分を動体とし、その動体を含む部分領域を設定する。動体枠は、その動体を含む部分領域の境界（外枠）を示す。
　このように、被写体検出部１１２が、取り込まれた動画像の現在のフレームと過去のフレームとの差分を用いて動き検出を行い、検出された各動体についてその動体を含む部分領域（動体枠）を設定し、その内のいずれかの部分領域を追尾対象とするようにしてもよい。
　なお、この現在のフレームと差分をとる過去のフレームは、現在より前のフレームであればどのフレームであってもよい。例えば、現在のフレームの１つ前のフレームであってもよいし、２つ以上前のフレームであってもよい。つまり、差分をとるフレームは、互いに連続していてもよいし、連続していなくてもよい。
　ステップＳ１２２乃至ステップＳ１２６において、被写体検出部１１２は、ステップＳ１２１において設定された各動体枠が有効枠か否かを判定する。
　ステップＳ１２２において、被写体検出部１１２は、ステップＳ１２１において設定された動体枠の内、未処理の動体枠の中から処理対象を選択する。
　ステップＳ１２３において、被写体検出部１１２は、処理対象の動体枠が所定の条件（有効枠条件）を満たすか否かを判定する。この有効枠条件は任意である。例えば、処理対象の動体枠（動体枠内の領域）のサイズが所望の範囲内であることを有効枠条件に含めるようにしてもよい。また、例えば、処理対象の動体枠（動体枠内の領域）の重心が、動画像の所定の領域内に位置することを有効枠条件に含めるようにしてもよい。この所定の領域は、任意である。例えば、所定の領域が、有効領域検出対象領域であってもよいし、動き検出を行う動き検出対象領域であってもよい。
　この所定の領域（例えば、有効領域検出対象領域や動き検出対象領域）は、フレーム内の任意の位置に任意の大きさで設定されるようにしてもよい。すなわち、この領域は、フレームの一部分であってもよいし、フレーム全体であってもよい。
　有効枠条件は複数の条件により構成されるようにしてもよい。例えば、上述した条件の両方を有効枠条件に含めてもよい。また、上述した以外の任意の条件を有効枠条件に含めるようにしてもよい。さらに、上述した以外の任意の条件を上述した条件の内の少なくともいずれか一方とともに有効枠条件に含めるようにしてもよい。処理対象の動体枠が有効枠条件を満たす（有効枠条件が複数の条件により構成される場合は、その全てを満たす）と判定された場合、処理はステップＳ１２４に進む。
　被写体検出部１１２は、現在のフレームにおける有効枠に関する情報を管理する。ステップＳ１２４において、被写体検出部１１２は、処理対象の動体枠を有効枠として設定し、その動体枠に関する情報（例えば動体枠の位置、大きさ、その重心の位置等）を登録する。
　被写体検出部１１２は、現在のフレームにおける有効枠数をカウントする。ステップＳ１２５において、被写体検出部１１２は、現在のフレームにおける有効枠数を＋１加算する（インクリメントする）。
　ステップＳ１２５の処理が終了すると、処理はステップＳ１２６に進む。また、ステップＳ１２３において、有効条件を満たさないと判定された場合、被写体検出部１１２は、その動体枠を無効枠（有効枠で無い）と判定する。その場合、処理はステップＳ１２６に進む。
　ステップＳ１２６において、被写体検出部１１２は、全ての動体枠を処理したか否かを判定する。ステップＳ１２１において設定された動体枠の内、未処理のものが存在すると判定された場合、処理はステップＳ１２２に戻り、それ以降の処理が繰り返される。つまり、ステップＳ１２１において設定された全ての動体枠についてステップＳ１２２乃至ステップＳ１２６の各処理が実行され、有効枠か無効枠かが判定される。
　例えば、図５のＢの場合、画像２０１において６つの動体枠が設定され、それらが有効枠２１１乃至有効枠２１３と無効枠２６１乃至無効枠２６３とに分類されている。
　ステップＳ１２６において全ての動体枠を処理したと判定された場合、被写体検出処理が終了し、処理は図２に戻る。この被写体検出処理は、シャッタが半押しされるまで、フレーム毎に実行される。
　以上のように被写体検出処理を実行することにより、被写体検出部１１２は、被写体に合焦する前に有効枠を設定することができる。したがって、被写体検出部１１２は、より高速に追尾対象とする被写体を捕捉することができる。つまり、撮像装置１００は、より高速に追尾対象を検出することができる。これにより、撮像装置１００は、より正確に追尾を行うことができる。
　　＜被写体追尾処理の流れ＞
　次に、図６のフローチャートを参照して、図２のステップＳ１０６において実行される被写体追尾処理の流れの例を説明する。必要に応じて、図７乃至図１１を参照して説明する。
　被写体追尾部１１３は、被写体追尾処理を実行して、取り込まれる動画像の各フレームにおいて、追尾対象として検出された被写体を追尾する。その際、被写体追尾部１１３が、複数の方法により追尾対象を求め、求めた追尾対象のいずれかを現在のフレームにおける追尾対象とするようにしてもよい。その複数の方法は、例えば、動き検出を用いて追尾対象を求める方法、色または輝度を用いて追尾対象を求める方法、および、追尾対象までの距離情報を用いて追尾対象を求める方法の内、２つ以上の方法を含むようにしてもよい。
　また、被写体追尾部１１３が、複数の方法のそれぞれについて追尾対象の信頼度を算出し、その信頼度が最も高い追尾対象を現在のフレームにおける追尾対象とするようにしてもよい。
　図６においては、そのような場合の処理の流れの例を説明する。被写体追尾処理が開始されると、被写体追尾部１１３は、ステップＳ１４１において、動き検出追尾処理を実行し、現在のフレームにおいて動き検出により被写体を追尾し、信頼度を算出する。この動き検出追尾処理の詳細については後述する。
　ステップＳ１４２において、被写体追尾部１１３は、現在のフレームにおいて色または輝度により被写体を追尾し、信頼度を算出する。この方法の具体的な処理は任意である。例えば、現在のフレームにおいて、１つ前のフレームにおける追尾対象の被写体の色または輝度との類似度が高い領域を検出し、その領域を追尾対象とするようにしてもよい。なお、この色や輝度の代わりに、例えば周波数成分やエッジ成分等の、画像の任意の特徴を用い、その特徴の類似度に基づいて追尾が行われるようにしてもよい。また、画像の複数の特徴の類似度に基づいて追尾が行われるようにしてもよい。
　ステップＳ１４３において、被写体追尾部１１３は、現在のフレームにおいて被写体までの距離情報により被写体を追尾し、信頼度を算出する。この方法の具体的な処理は任意である。例えば、現在のフレームにおいて、１つ前のフレームにおいて追尾対象とされた被写体までの距離と略同距離の領域を検出し、その領域を追尾対象とするようにしてもよい。
　ステップＳ１４４において、被写体追尾部１１３は、ステップＳ１４１乃至ステップＳ１４３において算出された各方法の信頼度に基づいて、追尾方法を選択する。つまり、被写体追尾部１１３は、選択された追尾方法により追尾対象とされた被写体を、現在のフレームの追尾対象とする。
　追尾対象が設定されると、選択部１１４は、その被写体追尾部１１３による追尾結果（すなわち、設定された追尾対象に関する情報）を選択し、それをシステムコントローラ１３１に供給する。
　ステップＳ１４５において、システムコントローラ１３１は、その追尾結果に従ってレンズドライバ１２１を制御し、追尾対象とする被写体に合焦させる。
　ステップＳ１４５の処理が終了すると、処理は図２に戻る。
　以上のように、被写体追尾部１１３は、複数の方法により被写体を追尾する。これにより、１つの方法で被写体を追尾するよりも正確に被写体を追尾することができる。
　例えば、図７のように、被写体追尾部１１３が、動き検出を使って被写体を追尾する方法と、色または輝度を使って被写体を追尾する方法とを併用するとする。図７に示されるように、フレーム番号Ｎの画像において、動き検出を使って被写体を追尾する方法により有効枠２７１と有効枠２７２とが設定され、色または輝度を使って被写体を追尾する方法により有効枠２７３が設定されているとする。この場合、動き検出を使って被写体を追尾する方法の方が、色または輝度を使って被写体を追尾する方法よりも信頼度が高いので、有効枠２７１が捕捉枠（追尾対象）として設定されている。
　ところが時間が進み、フレーム番号Ｎ＋１の画像では、フレーム番号Ｎにおいて有効枠２７１内に居た被写体と有効枠２７２内に居た被写体とが互いに重なり、動き検出を使って被写体を追尾する方法によりその両被写体を含む有効枠２７４が設定される。そのため、フレーム番号Ｎの時と比べて、動き検出を使って被写体を追尾する方法により設定された有効枠の大きさが大きく変化している。そのため、フレーム番号Ｎ＋１の画像では、動き検出を使って被写体を追尾する方法の信頼度が大幅に低減している。
　これに対して、フレーム番号Ｎ＋１の画像では、色または輝度を使って被写体を追尾する方法により有効枠２７５が設定されている。この有効枠２７５は、有効枠２７３と略同じ大きさである。つまり、色または輝度を使って被写体を追尾する方法の場合、有効枠の大きさが大きく変化していない。つまり、色または輝度を使って被写体を追尾する方法の信頼度は大幅に変化していない。これにより、フレーム番号Ｎ＋１においては、色または輝度を使って被写体を追尾する方法の方が、動き検出を使って被写体を追尾する方法よりも信頼度が高くなっている。そのため、フレーム番号Ｎ＋１においては、有効枠２７５が捕捉枠（追尾対象）として設定されている。つまり、フレーム番号Ｎ＋１以降の追尾方法が、動き検出を使って被写体を追尾する方法から色または輝度を使って被写体を追尾する方法に切り替えられている。
　なお、フレーム番号Ｎ＋２の画像では、動き検出を使って被写体を追尾する方法により有効枠２７６が設定され、色または輝度を使って被写体を追尾する方法により有効枠２７７が設定されているが、色または輝度を使って被写体を追尾する方法において設定された有効枠２７７の大きさが大きく変化していないので、有効枠２７７が捕捉枠（追尾対象）として設定されている。
　図８に他の例を示す。図８の例の場合、フレーム番号Ｎの画像において、動き検出を使って被写体を追尾する方法により有効枠２８１と有効枠２８２とが設定され、色または輝度を使って被写体を追尾する方法により有効枠２８３が設定されているが、色または輝度を使って被写体を追尾する方法の方が、動き検出を使って被写体を追尾する方法よりも信頼度が高いので、有効枠２８３が捕捉枠（追尾対象）として設定されている。
　ところが時間が進み、フレーム番号Ｎ＋１の画像では、画像内の左側の人物が日陰等に入り、画像の輝度が大幅に低減している。そのため、このフレームにおいては、色または輝度を使って被写体を追尾する方法により被写体を追尾することができなくなってしまっている。これに対して、動き検出を使って被写体を追尾する方法では、このフレーム番号Ｎ＋１においても安定して被写体を追尾することができ、有効枠２８４と有効枠２８５が設定されている。
　つまり、フレーム番号Ｎ＋１の画像では、色または輝度を使って被写体を追尾する方法の信頼度が大幅に低減し、動き検出を使って被写体を追尾する方法の方が、色または輝度を使って被写体を追尾する方法よりも信頼度が高くなっている。そのため、フレーム番号Ｎ＋１においては、有効枠２８４が捕捉枠（追尾対象）として設定されている。つまり、フレーム番号Ｎ＋１以降の追尾方法が、色または輝度を使って被写体を追尾する方法から動き検出を使って被写体を追尾する方法に切り替えられている。
　なお、フレーム番号Ｎ＋２の画像では、動き検出を使って被写体を追尾する方法により有効枠２８６と有効枠２８７が設定されているが、色または輝度を使って被写体を追尾する方法では被写体を追尾することができていない。そのため、フレーム番号Ｎ＋１の場合と同様、動き検出を使って被写体を追尾する方法により設定された有効枠２８６が捕捉枠（追尾対象）として設定されている。
　このように１つの追尾方法では場合、フレームによって有効枠が不安定となる（信頼度が低いものとなる）おそれがある。そこで、以上のように、複数の方法により被写体を追尾することにより、１つの方法で被写体を追尾するよりも正確に被写体を追尾することができる。
　以上のように追尾方法の選択に利用される信頼度は、任意の方法で算出されるようにしてもよい。例えば、信頼度が任意のパラメータに基づいて算出されるようにしてもよい。図９乃至図１１にその信頼度の算出に用いられるパラメータの例を示す。
　例えば、信頼度の算出に用いられるパラメータに、追尾対象の被写体の位置や大きさが含まれるようにしてもよい。例えば、図９のＡに示されるように、動画像３０１において設定された捕捉枠３１１の位置や大きさが捕捉枠３１１Ａ乃至捕捉枠３１１Ｃのように大きく変化しない場合、信頼度が高くなるように算出されるようにしてもよい。また、例えば、図９のＢに示されるように、動画像３０１において設定された捕捉枠３１２の位置や大きさが捕捉枠３１２Ａ乃至捕捉枠３１２Ｃのように大きく変化する場合、信頼度が低くなるように算出されるようにしてもよい。
　画像内において追尾対象とされる被写体の位置や大きさが大きく変化しない方が追尾が容易であるので、その捕捉枠の信頼度は高くなる。したがって、このようなパラメータを信頼度の算出に用いることにより、より信頼度の高い捕捉枠を追尾することができ、撮像装置１００は、より正確な追尾を実現することができる。
　なお、被写体（捕捉枠）の位置や大きさだけでなく、その形状をパラメータとして信頼度の算出に用いるようにしてもよい。また、それらの内一部のみをパラメータとして信頼度の算出に用いるようにしてもよいし、それら以外のパラメータを併用するようにしてもよい。
　また、例えば、信頼度の算出に用いられるパラメータに、追尾対象の被写体の色や明るさが含まれるようにしてもよい。例えば、図９のＡに示されるように、動画像３０１において設定された捕捉枠３１１の色や輝度が捕捉枠３１１Ａ乃至捕捉枠３１１Ｃのように大きく変化しない場合、信頼度が高くなるように算出されるようにしてもよい。また、例えば、図９のＣに示されるように、動画像３０１において設定された捕捉枠３１３の色や輝度が捕捉枠３１３Ａ乃至捕捉枠３１３Ｃのように大きく変化する場合、信頼度が低くなるように算出されるようにしてもよい。
　被写体の色や輝度の変化は、当然、色または輝度を使って被写体を追尾する方法に大きく影響を及ぼす。そこで、例えば、図９のＣの例のような場合は、色または輝度を使って被写体を追尾する方法の信頼度を低減させるようにしてもよい。もちろん、その他の方法についても信頼度を低減させるようにしてもよい。また、例えば、色や輝度が大きく変化する期間（シーン）においては、信頼度の更新を行わない（固定化する）ようにしてもよい。
　このようにすることにより、信頼度が低い捕捉枠による追尾を除外することができる。そのため、より信頼度の高い捕捉枠を追尾することができ、撮像装置１００は、より正確な追尾を実現することができる。
　また、例えば、信頼度の算出に用いられるパラメータに、追尾対象の被写体の合焦位置との位置関係が含まれるようにしてもよい。例えば、図１０のＡに示されるように、動画像３０１において設定された捕捉枠３１４（捕捉枠３１４Ａ乃至捕捉枠３１４Ｃ）内に合焦点３１５（合焦点３１５Ａ乃至合焦点３１５Ｃ）が位置する場合、信頼度が高くなるように算出されるようにしてもよい。また、例えば、図１０のＢに示されるように、動画像３０１において設定された捕捉枠３１６（捕捉枠３１６Ａ乃至捕捉枠３１６Ｃ）の外に合焦点３１７（合焦点３１７Ａ乃至合焦点３１７Ｃ）が位置する場合、信頼度が低くなるように算出されるようにしてもよい。
　追尾対象とされる被写体が合焦位置から遠くなるほど、その被写体に合焦していない可能性が高く、追尾が困難になる可能性がある。つまり、その捕捉枠の信頼度は低くなる。したがって、このようなパラメータを信頼度の算出に用いることにより、より信頼度の高い捕捉枠を追尾することができ、撮像装置１００は、より正確な追尾を実現することができる。
　また、追尾対象とする被写体の追尾において、顔検出などの任意の画像処理技術を適用するようにしてもよい。その場合、例えば、信頼度の算出に用いられるパラメータに、顔検出結果が含まれるようにしてもよい。例えば、図９のＡに示されるように、被写体の顔を正しく検出できる場合は、信頼度が高くなるように算出されるようにしてもよい。また、例えば、図１０のＣに示されるように、動画像３０１において設定された捕捉枠３１８（捕捉枠３１８Ａ乃至捕捉枠３１８Ｃ）に対応する被写体３１９（被写体３１９Ａ乃至被写体３１９Ｃ）の前に、障害物３２０（障害物３２０Ｂおよび障害物３２０Ｃ）が存在する場合、被写体３１９の顔が検出ができなくなるので、このような場合、信頼度が低くなるように算出されるようにしてもよい。
　このようにすることにより、用意された技術を利用することができるより信頼度の高い捕捉枠を追尾することができ、撮像装置１００は、より正確な追尾を実現することができる。
　また、例えば、信頼度の算出に用いられるパラメータに、追尾対象の被写体までの距離情報が含まれるようにしてもよい。例えば、図９のＡに示される動画像３０１においては、捕捉枠３１１（捕捉枠３１１Ａ乃至捕捉枠３１１Ｃ）内に被写体として人物の１名の顔が存在するのみであるので、その捕捉枠３１１内における被写体までの距離は略一定となる。そのため、合焦もし易く、捕捉枠３１１もより正確に設定することができるので、このような場合、信頼度が高くなるように算出されるようにしてもよい。
　これに対して、図１１のＡに示される動画像３０１においては、捕捉枠３２１（捕捉枠３２１Ａ乃至捕捉枠３２１Ｃ）内に、被写体３２２（被写体３２２Ａ乃至被写体３２２Ｃ）と、被写体３２３（被写体３２３Ａ乃至被写体３２３Ｃ）が存在し、両者までの距離が互いに同一でないため、捕捉枠３２１内における被写体までの距離が捕捉枠３１１の場合よりも多様化する。このような場合、全ての被写体に合焦させることが困難になり、合焦しない（所謂ボケた）被写体が生じる可能性がある。そのため、捕捉枠３２１の設定が、捕捉枠３１１の場合よりも不正確になる可能性がある。このような場合、信頼度が低くなるように算出されるようにしてもよい。
　このようにすることにより、より信頼度の高い捕捉枠を追尾することができ、撮像装置１００は、より正確な追尾を実現することができる。
　また、例えば、信頼度の算出に用いられるパラメータに、ズーム等の光学系に対する制御情報が含まれるようにしてもよい。例えば、図１１のＢに示される動画像３０１においては、ズームアウト（Zoom Out）やズームイン（Zoom In）が行われ、被写体３２５（被写体３２５Ａ乃至被写体３２５Ｃ）の大きさが大きく変化している。そのため、捕捉枠３２４（捕捉枠３２４Ａ乃至捕捉枠３２４Ｃ）の設定が不正確になる可能性がある。そこでこのような場合、信頼度が低くなるように算出されるようにしてもよい。
　また、例えば、信頼度の算出に用いられるパラメータに、手ぶれの抑制等の姿勢制御系に対する制御情報が含まれるようにしてもよい。例えば、図１１のＣに示される動画像３０１においては、所謂「手ブレ」が発生し、撮像装置１００が大きく揺れる等して、被写体３２７（被写体３２７Ａ乃至被写体３２７Ｃ）が大きく速く揺れている（ブレ大）。そのため、捕捉枠３２６（捕捉枠３２６Ａ乃至捕捉枠３２６Ｃ）の設定が不正確になる可能性がある。そこでこのような場合、信頼度が低くなるように算出されるようにしてもよい。
　以上のように、被写体追尾部１１３が、所定のパラメータに基づいて、信頼度を算出するようにしてもよい。なお、以上に説明したパラメータを複数用いるようにしてもよい。つまり、被写体追尾部１１３が、例えば、追尾対象の、位置や大きさ、色や明るさ、合焦位置との位置関係、顔検出結果、距離情報、並びに、ズームや揺れ抑制等の制御情報の内の１つ以上を含む所定のパラメータに基づいて、信頼度を算出するようにしてもよい。
　このようにすることにより、被写体追尾部１１３は、より信頼度の高い捕捉枠を追尾することができ、撮像装置１００は、より正確な追尾を実現することができる。
　なお、以上においては、被写体追尾部１１３が、複数の方法により被写体を追尾するように説明したが、これに限らず、被写体追尾部１１３が１つの方法により被写体を追尾するようにしてもよい。例えば、図６のステップＳ１４１の処理のみを行うようにしてもよい。すなわち、被写体追尾部１１３が、追尾対象の検出の場合と同様に、動画像の現在のフレームと過去のフレームとの差分を用いて動き検出を行い、検出された各動体についてその動体を含む部分領域を設定し、いずれかの部分領域を現在のフレームにおける追尾対象とするようにしてもよい。
　また、例えば、図６のステップＳ１４２の処理のみを行うようにしてもよい。すなわち、被写体追尾部１１３が、過去のフレームの追尾対象と画像の特徴の類似度が高い領域を現在のフレームにおける追尾対象とするようにしてもよい。この画像の特徴として、例えば、色若しくは輝度または両方を含むようにしてもよい。
　もちろん、被写体追尾部１１３が、図６のステップＳ１４３の処理のみを行うようにしてもよいし、その他の１つの方法により被写体を追尾するようにしてもよい。
　　＜動き検出追尾処理の流れ＞
　次に、図６のステップＳ１４１において実行される動き検出追尾処理の流れの例を、図１２のフローチャートを参照して説明する。必要に応じて図１３を参照して説明する。
　動き検出追尾処理が開始されると、被写体追尾部１１３は、ステップＳ１６１において、動き検出を用いて有効枠を設定する。この処理は、図４のフローチャートを参照して説明した被写体検出処理と同様に行われる。
　有効枠が設定されると、被写体追尾部１１３は、ステップＳ１６２において、その有効枠の中から捕捉枠を設定する。この捕捉枠の設定は、図２のステップＳ１０４の処理と同様に行ってもよいが、過去のフレーム（例えば１つ前のフレーム）において、捕捉枠が設定されている場合、現フレームにおいてもその捕捉枠の近くに同一の被写体が存在する可能性が高いので、被写体追尾部１１３は、その捕捉枠の重心が内部に位置する有効枠を捕捉枠として設定するようにしてもよい。
　例えば、図１３の例の場合、現在のフレームの画像３５１において、有効枠３６１と有効枠３６２が設定されているが、過去のフレームにおいて設定された捕捉枠の重心３６３が有効枠３６２内に位置するので、被写体追尾部１１３は、この有効枠３６２を現在のフレームの捕捉枠とする。
　このようにすることにより、被写体追尾部１１３は、より信頼度の高い捕捉枠を追尾することができ、撮像装置１００は、より正確な追尾を実現することができる。
　ステップＳ１６３において、被写体追尾部１１３は、ステップＳ１６１において設定された全ての有効枠について信頼度を算出する。信頼度によって捕捉枠を変更する必要がある可能性もあるので、ここでは、全ての有効枠について信頼度が算出される。信頼度の算出方法の詳細については後述する。
　ステップＳ１６３の処理が終了すると、動き検出追尾処理が終了し、処理は図６に戻る。
　なお、上述したように被写体追尾部１１３が図６のステップＳ１４１の処理のみにより被写体を追尾する場合において、この図１２のステップＳ１６２の処理と同様に、１つ前のフレームにおける追尾対象の重心を含む有効領域を現在のフレームにおける追尾対象とするようにしてもよい。
　そして、その有効領域の設定は、図４のステップＳ１２３の処理と同様に、動体を含む部分領域（動体枠）の内、所定の条件を満たす部分領域を有効領域（有効枠）とするようにしてもよい。
　さらに、その所定の条件として、動体を含む部分領域（動体枠）のサイズが所望の範囲内であること、動体を含む部分領域（動体枠）の重心が動き検出対象領域内に位置すること、動体を含む部分領域（動体枠）の重心が有効領域検出対象領域内に位置することの内、少なくとも１つが含まれるようにしてもよい。
　　＜信頼度算出処理の流れ＞
　次に、図１４および図１５のフローチャートを参照して、図１２のステップＳ１６３において実行される信頼度算出処理の流れの例を説明する。必要に応じて図１６を参照して説明する。
　信頼度算出処理が開始されると、被写体追尾部１１３は、ステップＳ１８１において、前フレーム（過去のフレーム）における未処理の有効枠の中から処理対象を選択する。この前フレームは、現在のフレームよりも過去のフレームであればよく、１つ前のフレームであってもよいし、２つ以上前のフレームであってもよい。
　ステップＳ１８２において、被写体追尾部１１３は、現在のフレームにおける未処理の有効枠の中から処理対象を選択する。
　被写体追尾部１１３は、前フレームにおける有効枠と現在のフレームにおける有効枠との紐付けを行い、さらにその紐付けに関する情報を管理する。「紐付け」とは、フレーム間の有効領域の関連付けである。フレーム間で同一の被写体に対する有効領域（有効枠）同士を関連付けることにより、その有効領域（有効枠）の信頼度をフレーム間で継承させることができる。
　より過去のフレームから大きく動かない被写体の有効領域（有効枠）程、信頼性が高い。現在のフレームにおいて新たに出現したり、大きく移動したりした被写体の有効領域（有効枠）は、被写体の誤検出である可能性も高く、その有効領域（有効枠）の信頼性は低い。
　そこでそのような被写体の有効領域（有効枠）の信頼度を高く算出し、新たに出現した被写体の有効領域（有効枠）は、その信頼度を低く算出するようにする。
　ステップＳ１８３において、被写体追尾部１１３は、現在のフレームにおける処理対象の有効枠の重心が、前フレームにおける処理対象の有効枠内に位置するか否かを判定する。位置すると判定された場合、処理はステップＳ１８４に進む。
　ステップＳ１８４において、被写体追尾部１１３は、現在のフレームにおける処理対象の有効枠を紐付け枠（前フレームにおける処理対象の有効枠に対して紐付けされる有効枠）として設定し、その紐付け枠（すなわち、現在のフレームにおける処理対象の有効枠）に関する情報を登録する。
　被写体追尾部１１３は、紐付け枠数をカウントする。ステップＳ１８５において、被写体追尾部１１３は、紐付け枠数を＋１加算する（インクリメントする）。
　ステップＳ１８６において、被写体追尾部１１３は、フレーム間の有効領域（有効枠）同士の紐付けを識別する識別情報である紐付けIDを登録する。
　ステップＳ１８７において、被写体追尾部１１３は、紐付け枠とした現在のフレームにおける処理対象の有効枠に対して紐付けフラグを立てる。
　ステップＳ１８７の処理が終了すると、処理はステップＳ１８８に進む。また、ステップＳ１８３において、現在のフレームにおける処理対象の有効枠の重心が、前フレームにおける処理対象の有効枠内に位置しないと判定された場合、処理はステップＳ１８８に進む。
　つまり、重心が、前フレームにおける処理対象の有効枠内に位置する現在のフレームにおける処理対象の有効枠が、その前フレームにおける処理対象の有効枠に紐付けされる。
　例えば、図１６の場合、現在のフレームである画像３７１において、有効枠３８１、有効枠３８２、有効枠３８３、および有効枠３８４が設定されており、前フレームにおいて有効枠３６１と有効枠３６２が設定されている。
　このような場合、有効枠３８１と有効枠３８２の重心は、有効枠３６１の内側に位置する。したがって、有効枠３８１と有効枠３８２は、有効枠３６１に紐付けされる。これに対して、有効枠３８３はの重心は、有効枠３６１と有効枠３６２の外側に位置する。したがって、この有効枠３８３は紐付けされない。また、有効枠３８４の重心も、有効枠３６１と有効枠３６２の外側に位置する。したがって、この有効枠３８４も紐付けされない。
　図１４に戻り、ステップＳ１８８において、被写体追尾部１１３は、現在のフレームの有効枠を全て処理したか否かを判定する。未処理の有効枠が存在すると判定された場合、処理はステップＳ１８２に戻り、それ以降の処理が繰り返される。つまり、現在のフレームの各有効枠に対して、ステップＳ１８２乃至ステップＳ１８８の各処理が実行される。
　ステップＳ１８８において、現在のフレームの有効枠を全て処理したと判定された場合、処理はステップＳ１８９に進む。ステップＳ１８９において、被写体追尾部１１３は、前フレームの有効枠を全て処理したか否かを判定する。未処理の有効枠が存在すると判定された場合、処理はステップＳ１８１に戻り、それ以降の処理が繰り返される。つまり、前フレームの各有効枠に対して、ステップＳ１８１乃至ステップＳ１８９の各処理が実行される。
　ステップＳ１８９において、前フレームの有効枠を全て処理したと判定された場合、処理は図１５に進む。
　図１５のステップＳ１９１において、被写体追尾部１１３は、前フレームにおける各有効領域（有効枠）の信頼度を取得する。
　ステップＳ１９２において、被写体追尾部１１３は、現在のフレームにおける未処理の有効領域（有効枠）の中から処理対象を選択する。
　ステップＳ１９３において、被写体追尾部１１３は、処理対象の有効領域（有効枠）について、紐付けフラグが立てられているか否かを判定する。紐付けフラグが立てられている（すなわち、紐付け枠である）と判定された場合、処理はステップＳ１９４に進む。
　ステップＳ１９４において、被写体追尾部１１３は、その紐付け枠に紐付けられた前フレームにおける有効領域（有効枠）の信頼度を、その紐付け枠に応じて更新し、その更新後の信頼度を現在のフレームの処理対象の有効領域（有効枠）の信頼度として設定する。以上のように信頼度が更新されると、処理はステップＳ１９６に進む。
　また、図１５のステップＳ１９３において、紐付けフラグが立てられていない（すなわち、紐付け枠でない）と判定された場合、処理はステップＳ１９５に進む。
　ステップＳ１９５において、被写体追尾部１１３は、処理対象の有効領域（有効枠）の信頼度を、初期化する。つまり、処理対象の有効領域（有効枠）の信頼度として初期値（例えば「０」）が設定される。以上のように信頼度が初期化されると、処理はステップＳ１９６に進む。
　ステップＳ１９６において、被写体追尾部１１３は、現在のフレームの有効領域（有効枠）を全て処理したか否かを判定する。未処理の有効領域（有効枠）が存在すると判定された場合、処理はステップＳ１９２に戻り、それ以降の処理が行われる。つまり、現在のフレームの各有効領域（有効枠）について、ステップＳ１９２乃至ステップＳ１９６の処理が行われる。
　ステップＳ１９６において、現在のフレームの全ての有効領域（有効枠）が処理されたと判定された場合、信頼度算出処理が終了し、処理は図１２に戻る。
　以上のようにすることにより、被写体追尾部１１３は、より信頼度の高い捕捉枠を追尾することができ、撮像装置１００は、より正確な追尾を実現することができる。
　　＜応用例＞
　なお、上述した動体を含む部分領域（動体枠）、有効領域（有効枠）、有効領域（有効枠）を検出する領域、動体を検出する領域等の各種領域の形状は任意であり、図示したように矩形で無くてもよい。
　また、以上に説明したように被写体の追尾を行う画像は、撮像画像で無くてもよい。例えば、入力部１４３や通信部１４５を介して他の装置から供給される画像であってもよい。
　また、追尾対象に対する処理は、何でも良く、上述した合焦でなくてもよい。例えば、露出制御であっても良いし、何らかの画像処理であってもよい。
　また、動き検出による追尾は、被写体検出部１１２が行ってもよい。動き検出を用いた被写体の検出も追尾も略同様の処理であるので、それらを被写体検出部１１２が行うようにし、被写体追尾部１１３は、例えば、色または輝度を用いる方法等、動き検出を用いる方法以外の方法で被写体の追尾を行うようにしてもよい。その場合、被写体の追尾において、選択部１１４が、追尾する方法を選択するようにすればよい。
　また、被写体（追尾対象）の検出も、上述した追尾処理の場合と同様に、複数の方法で行い、それらの内信頼度の高い方法を選択するようにしてもよい。例えば、被写体の検出を動き検出を用いる方法と色または輝度を用いる方法とのそれぞれで行い、それらの信頼度に応じていずれか一方の検出結果を選択するようにしてもよい。もちろん、この被写体の検出方法は任意であり、これら以外の方法を用いるようにしてもよいし、３種類以上の方法で被写体を検出するようにしてもよい。
　換言するに、被写体（追尾対象）の検出および追尾を複数の方法で行い、任意のタイミングにおいて、各方法の信頼度に基づいてより適切な方法を選択するようにしてもよい。例えば、被写体検出部１１２および被写体追尾部１１３が、各方法による被写体（追尾対象）の検出処理および追尾処理を互いに並行して行い、選択部１１４が、信頼度がより大きい方法の処理結果を適宜選択する（必要に応じて切り替える）ようにしてもよい。
　なお、以上においては、本技術を適用する画像処理装置の一例として撮像装置１００を説明したが、本技術は、撮像装置に限らず任意の画像処理装置に適用することができる。例えば、外部から供給される動画像等を編集する画像編集装置に本技術を適用するようにしてもよい。また、車載カメラや監視カメラ等を制御する制御装置や、画像を解析する解析装置等に本技術を適用するようにしてもよい。
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　この記録媒体は、例えば、図１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブル記録媒体１４８により構成される。このリムーバブル記録媒体１４８には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
　その場合、プログラムは、そのリムーバブル記録媒体１４８をドライブ１４７に装着することにより、記憶部１４２にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１４５を介して受信し、記憶部１４２にインストールすることができる。
　その他、このプログラムは、記憶部１４２やシステムコントローラ１３１内のROM（Read Only Memory）等に、あらかじめインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　動き検出を用いて動画像から追尾対象を検出する検出部と、
　前記動画像の各フレームにおいて、前記検出部により検出された前記追尾対象を追尾する追尾部と
　を備える画像処理装置。
　（２）　前記検出部は、前記動画像の現在のフレームと過去のフレームとの差分を用いた動き検出で動体を検出し、検出された各動体について前記動体を含む部分領域を設定し、いずれかの前記部分領域を前記追尾対象とする
　（１）に記載の画像処理装置。
　（３）　前記検出部は、前記部分領域の内、所定の条件を満たす部分領域を有効領域とし、いずれかの前記有効領域を前記追尾対象とする
　（２）に記載の画像処理装置。
　（４）　前記検出部は、前記部分領域のサイズが所望の範囲内であること、前記部分領域の重心が前記動画像の所定の領域内に位置することの少なくとも１つを前記所定の条件として、前記部分領域の中から前記有効領域を設定する
　（３）に記載の画像処理装置。
　（５）　前記検出部は、前記有効領域を検出する有効領域検出対象領域を前記所定の領域として、前記部分領域の中から前記有効領域を設定する
　（４）に記載の画像処理装置。
　（６）　前記検出部は、前記動き検出を行う動き検出対象領域を前記所定の領域として、前記部分領域の中から前記有効領域を設定する
　（４）に記載の画像処理装置。
　（７）　前記検出部は、前記有効領域を検出する有効領域検出対象領域の中心に最も近い有効領域を前記追尾対象とする
　（３）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記追尾部は、前記動画像の現在のフレームと過去のフレームとの差分を用いた動き検出で動体を検出し、検出された各動体について前記動体を含む部分領域を設定し、いずれかの前記部分領域を現在のフレームにおける前記追尾対象とする
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記追尾部は、前記部分領域の内、所定の条件を満たす部分領域を有効領域とし、１つ前のフレームにおける前記追尾対象の重心を含む前記有効領域を現在のフレームにおける前記追尾対象とする
　（８）に記載の画像処理装置。
　（１０）　前記追尾部は、前記部分領域のサイズが所望の範囲内であること、前記部分領域の重心が前記動き検出を行う領域内に位置すること、前記部分領域の重心が前記有効領域を検出する領域内に位置することの少なくとも１つを前記所定の条件として、前記部分領域の中から前記有効領域を設定する
　（９）に記載の画像処理装置。
　（１１）　前記追尾部は、現在のフレームの内、過去のフレームの前記追尾対象と画像の特徴の類似度が高い領域を、現在のフレームにおける前記追尾対象とする
　（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記追尾部は、色若しくは輝度または両方を前記画像の特徴とし、現在のフレームの内、過去のフレームの前記追尾対象と類似度が高い領域を、現在のフレームにおける前記追尾対象とする
　（１１）に記載の画像処理装置。
　（１３）　前記追尾部は、複数の方法により前記追尾対象を求め、求めた前記追尾対象のいずれかを現在のフレームにおける前記追尾対象とする
　（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）　前記追尾部は、動き検出を用いて前記追尾対象を求める方法、色または輝度を用いて前記追尾対象を求める方法、および、前記追尾対象までの距離情報を用いて前記追尾対象を求める方法の内の、複数の方法を用いて前記追尾対象を求める
　（１３）に記載の画像処理装置。
　（１５）　前記追尾部は、前記複数の方法のそれぞれについて前記追尾対象の信頼度を算出し、前記信頼度が最も高い前記追尾対象を現在のフレームにおける前記追尾対象とする
　（１３）または（１４）に記載の画像処理装置。
　（１６）　前記追尾部は、前記追尾対象の、位置や大きさ、色や明るさ、合焦位置との位置関係、顔検出結果、距離情報、並びに、ズームや揺れ抑制等の制御情報の内のいずれか１つを含む所定のパラメータに基づいて、前記信頼度を算出する
　（１５）に記載の画像処理装置。
　（１７）　前記動画像の各フレームの画像を記憶する記憶部をさらに備え、
　前記検出部および前記追尾部は、前記記憶部に記憶された画像を用いて、それぞれ前記追尾対象の検出および追尾を行う
　（１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　前記動画像を撮像する撮像部と、
　前記撮像部の入射光を光学的に処理する光学部と、
　前記光学部を制御して前記追尾対象に合焦させる合焦部と
　をさらに備える（１）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）　動き検出を用いて動画像から追尾対象を検出し、
　前記動画像の各フレームにおいて、検出された前記追尾対象を追尾する
　画像処理方法。
　（２０）　コンピュータを、
　動き検出を用いて動画像から追尾対象を検出する検出部と、
　前記動画像の各フレームにおいて、前記検出部により検出された前記追尾対象を追尾する追尾部と
　して機能させるプログラム。
　１００　撮像装置，　１０１　レンズ，　１０２　絞り，　１０３　撮像素子，　１０４　アナログ信号処理部，　１０５　A/D変換部，　１０６　デジタル信号処理部，　１１１　メモリ，　１１２　被写体検出部，　１１３　被写体追尾部，　１１４　選択部，　１１５　コーデック処理部，　１２１　レンズドライバ，　１２２　TG，　１２３　ジャイロ，　１３１　システムコントローラ，　１４１　表示部，　１４２　記憶部，　１４３　入力部、　１４４　出力部，　１４５　通信部，　１４６　操作部，　１４７　ドライブ，　１４８　リムーバブル記録媒体

Claims (20)

  1. 　動き検出を用いて動画像から追尾対象を検出する検出部と、
    　前記動画像の各フレームにおいて、前記検出部により検出された前記追尾対象を追尾する追尾部と
    　を備える画像処理装置。
  2. 　前記検出部は、前記動画像の現在のフレームと過去のフレームとの差分を用いた動き検出で動体を検出し、検出された各動体について前記動体を含む部分領域を設定し、いずれかの前記部分領域を前記追尾対象とする
    　請求項１に記載の画像処理装置。
  3. 　前記検出部は、前記部分領域の内、所定の条件を満たす部分領域を有効領域とし、いずれかの前記有効領域を前記追尾対象とする
    　請求項２に記載の画像処理装置。
  4. 　前記検出部は、前記部分領域のサイズが所望の範囲内であること、前記部分領域の重心が前記動画像の所定の領域内に位置することの少なくとも１つを前記所定の条件として、前記部分領域の中から前記有効領域を設定する
    　請求項３に記載の画像処理装置。
  5. 　前記検出部は、前記有効領域を検出する有効領域検出対象領域を前記所定の領域として、前記部分領域の中から前記有効領域を設定する
    　請求項４に記載の画像処理装置。
  6. 　前記検出部は、前記動き検出を行う動き検出対象領域を前記所定の領域として、前記部分領域の中から前記有効領域を設定する
    　請求項４に記載の画像処理装置。
  7. 　前記検出部は、前記有効領域を検出する有効領域検出対象領域の中心に最も近い有効領域を前記追尾対象とする
    　請求項３に記載の画像処理装置。
  8. 　前記追尾部は、前記動画像の現在のフレームと過去のフレームとの差分を用いた動き検出で動体を検出し、検出された各動体について前記動体を含む部分領域を設定し、いずれかの前記部分領域を現在のフレームにおける前記追尾対象とする
    　請求項１に記載の画像処理装置。
  9. 　前記追尾部は、前記部分領域の内、所定の条件を満たす部分領域を有効領域とし、１つ前のフレームにおける前記追尾対象の重心を含む前記有効領域を現在のフレームにおける前記追尾対象とする
    　請求項８に記載の画像処理装置。
  10. 　前記追尾部は、前記部分領域のサイズが所望の範囲内であること、前記部分領域の重心が前記動き検出を行う領域内に位置すること、前記部分領域の重心が前記有効領域を検出する領域内に位置することの少なくとも１つを前記所定の条件として、前記部分領域の中から前記有効領域を設定する
    　請求項９に記載の画像処理装置。
  11. 　前記追尾部は、現在のフレームの内、過去のフレームの前記追尾対象と画像の特徴の類似度が高い領域を、現在のフレームにおける前記追尾対象とする
    　請求項１に記載の画像処理装置。
  12. 　前記追尾部は、色若しくは輝度または両方を前記画像の特徴とし、現在のフレームの内、過去のフレームの前記追尾対象と類似度が高い領域を、現在のフレームにおける前記追尾対象とする
    　請求項１１に記載の画像処理装置。
  13. 　前記追尾部は、複数の方法により前記追尾対象を求め、求めた前記追尾対象のいずれかを現在のフレームにおける前記追尾対象とする
    　請求項１に記載の画像処理装置。
  14. 　前記追尾部は、動き検出を用いて前記追尾対象を求める方法、色または輝度を用いて前記追尾対象を求める方法、および、前記追尾対象までの距離情報を用いて前記追尾対象を求める方法の内の、複数の方法を用いて前記追尾対象を求める
    　請求項１３に記載の画像処理装置。
  15. 　前記追尾部は、前記複数の方法のそれぞれについて前記追尾対象の信頼度を算出し、前記信頼度が最も高い前記追尾対象を現在のフレームにおける前記追尾対象とする
    　請求項１３に記載の画像処理装置。
  16. 　前記追尾部は、前記追尾対象の、位置や大きさ、色や明るさ、合焦位置との位置関係、顔検出結果、距離情報、並びに、ズームや揺れ抑制等の制御情報の内のいずれか１つを含む所定のパラメータに基づいて、前記信頼度を算出する
    　請求項１５に記載の画像処理装置。
  17. 　前記動画像の各フレームの画像を記憶する記憶部をさらに備え、
    　前記検出部および前記追尾部は、前記記憶部に記憶された画像を用いて、それぞれ前記追尾対象の検出および追尾を行う
    　請求項１に記載の画像処理装置。
  18. 　前記動画像を撮像する撮像部と、
    　前記撮像部の入射光を光学的に処理する光学部と、
    　前記光学部を制御して前記追尾対象に合焦させる合焦部と
    　をさらに備える請求項１に記載の画像処理装置。
  19. 　動き検出を用いて動画像から追尾対象を検出し、
    　前記動画像の各フレームにおいて、検出された前記追尾対象を追尾する
    　画像処理方法。
  20. 　コンピュータを、
    　動き検出を用いて動画像から追尾対象を検出する検出部と、
    　前記動画像の各フレームにおいて、前記検出部により検出された前記追尾対象を追尾する追尾部と
    　して機能させるプログラム。
PCT/JP2015/081826 2014-11-26 2015-11-12 画像処理装置および方法、並びに、プログラム WO2016084611A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014238681 2014-11-26
JP2014-238681 2014-11-26

Publications (1)

Publication Number Publication Date
WO2016084611A1 true WO2016084611A1 (ja) 2016-06-02

Family

ID=56074180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081826 WO2016084611A1 (ja) 2014-11-26 2015-11-12 画像処理装置および方法、並びに、プログラム

Country Status (1)

Country Link
WO (1) WO2016084611A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017229061A (ja) * 2016-06-21 2017-12-28 キヤノン株式会社 画像処理装置およびその制御方法、ならびに撮像装置
CN112154482A (zh) * 2018-05-21 2020-12-29 松下知识产权经营株式会社 球类运动影像分析装置及球类运动影像分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009273023A (ja) * 2008-05-09 2009-11-19 Fujifilm Corp 撮像装置、撮像方法、合焦制御方法及びプログラム
JP2011060167A (ja) * 2009-09-14 2011-03-24 Secom Co Ltd 移動物体追跡装置
JP2012080251A (ja) * 2010-09-30 2012-04-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
WO2013021767A1 (ja) * 2011-08-10 2013-02-14 富士フイルム株式会社 動体検出装置及び方法
JP2013085089A (ja) * 2011-10-07 2013-05-09 Nikon Corp 被写体追尾装置およびカメラ
JP2014016630A (ja) * 2013-09-04 2014-01-30 Nikon Corp 被写体追尾装置、被写体追尾方法、およびカメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009273023A (ja) * 2008-05-09 2009-11-19 Fujifilm Corp 撮像装置、撮像方法、合焦制御方法及びプログラム
JP2011060167A (ja) * 2009-09-14 2011-03-24 Secom Co Ltd 移動物体追跡装置
JP2012080251A (ja) * 2010-09-30 2012-04-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
WO2013021767A1 (ja) * 2011-08-10 2013-02-14 富士フイルム株式会社 動体検出装置及び方法
JP2013085089A (ja) * 2011-10-07 2013-05-09 Nikon Corp 被写体追尾装置およびカメラ
JP2014016630A (ja) * 2013-09-04 2014-01-30 Nikon Corp 被写体追尾装置、被写体追尾方法、およびカメラ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017229061A (ja) * 2016-06-21 2017-12-28 キヤノン株式会社 画像処理装置およびその制御方法、ならびに撮像装置
CN112154482A (zh) * 2018-05-21 2020-12-29 松下知识产权经营株式会社 球类运动影像分析装置及球类运动影像分析方法
CN112154482B (zh) * 2018-05-21 2024-05-10 松下知识产权经营株式会社 球类运动影像分析装置及球类运动影像分析方法

Similar Documents

Publication Publication Date Title
JP5954336B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
JP5898501B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
US8610784B2 (en) Imaging apparatus, imaging system, control method of imaging apparatus, and program
US10511781B2 (en) Image pickup apparatus, control method for image pickup apparatus
US9609220B2 (en) Image pickup apparatus, image pickup method, and program
JP2013145314A5 (ja)
JP2018072554A (ja) 撮像装置および焦点調節方法
JP2011248159A (ja) 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
JP6548436B2 (ja) 焦点検出装置およびその制御方法
JPWO2014046184A1 (ja) 複数被写体の距離計測装置及び方法
JP2021039380A (ja) 撮像装置、撮像方法、及びプログラム
JP6838894B2 (ja) 焦点調節装置、その制御方法及びプログラム
WO2016084611A1 (ja) 画像処理装置および方法、並びに、プログラム
WO2012093663A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2016142999A (ja) 撮像装置及びその制御方法
JP2016057349A (ja) 撮像装置、画像処理方法及びプログラム
JP2020181147A (ja) 焦点調整装置、撮像装置、焦点調整方法、およびプログラム
JP2016156950A (ja) 自動焦点調節装置およびその制御方法
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP6568448B2 (ja) 自動焦点調節装置およびその制御方法、撮像装置
US9525815B2 (en) Imaging apparatus, method for controlling the same, and recording medium to control light emission
JP2006039254A (ja) カメラ
US11012609B2 (en) Image pickup apparatus and its control method, and storage medium
JP5323243B2 (ja) 画像処理装置及びその制御方法
JP5168424B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15863744

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15863744

Country of ref document: EP

Kind code of ref document: A1