WO2018179695A1 - 制御装置、撮像装置、制御方法及びプログラム - Google Patents

制御装置、撮像装置、制御方法及びプログラム Download PDF

Info

Publication number
WO2018179695A1
WO2018179695A1 PCT/JP2018/001304 JP2018001304W WO2018179695A1 WO 2018179695 A1 WO2018179695 A1 WO 2018179695A1 JP 2018001304 W JP2018001304 W JP 2018001304W WO 2018179695 A1 WO2018179695 A1 WO 2018179695A1
Authority
WO
WIPO (PCT)
Prior art keywords
main subject
distance
image
area
unit
Prior art date
Application number
PCT/JP2018/001304
Other languages
English (en)
French (fr)
Inventor
裕 君島
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18774522.9A priority Critical patent/EP3606039A1/en
Priority to US16/493,599 priority patent/US10999488B2/en
Priority to JP2019508602A priority patent/JP7103346B2/ja
Publication of WO2018179695A1 publication Critical patent/WO2018179695A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/12—Reflex cameras with single objective and a movable reflector or a partly-transmitting mirror
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling

Definitions

  • the present disclosure relates to a control device, an imaging device, a control method, and a program.
  • This disclosure is intended to provide a control device, an imaging device, a control method, and a program that can accurately detect an object of autofocus.
  • a main subject detection unit that detects a first main subject among subjects included in the first image and acquires main subject information indicating the first main subject;
  • a distance information calculation unit that detects a distance of a subject included in the first image and acquires first distance information indicating the distance;
  • a detection unit that detects a distance including the first main subject based on the main subject information and the first distance information, and acquires main subject distance information indicating the distance including the first main subject.
  • the present disclosure for example, A control device as described above; And an imaging unit.
  • a main subject detection unit detects a first main subject among subjects included in the first image, acquires main subject information indicating the first main subject
  • the distance information calculation unit detects the distance of the subject included in the first image, acquires first distance information indicating the distance
  • the detection unit detects a distance including the first main subject based on the main subject information and the first distance information, and acquires main subject distance information indicating the distance including the first main subject.
  • a main subject detection unit detects a first main subject among subjects included in the first image, acquires main subject information indicating the first main subject
  • the distance information calculation unit detects the distance of the subject included in the first image, acquires first distance information indicating the distance, Based on the main subject information and the first distance information, the detection unit detects a distance including the first main subject, and acquires a main subject distance information indicating the distance including the first main subject in the computer. It is a program to be executed.
  • the target of autofocus can be accurately detected.
  • the effect described here is not necessarily limited, and any effect described in the present disclosure may be used. Further, the contents of the present disclosure are not construed as being limited by the exemplified effects.
  • FIG. 1 is a diagram illustrating a schematic configuration of an imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration example of an imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining a problem to be considered when performing autofocus.
  • FIG. 4 is a diagram for explaining processing performed by each functional block in the control unit.
  • FIG. 5A to FIG. 5C are diagrams for reference in describing the processing performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 6A and FIG. 6B are diagrams for reference in describing the processing performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for reference in describing processing performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a schematic configuration of an imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration example of an imaging apparatus according to an embodiment of the present disclosure
  • FIG. 8 is a diagram for reference in describing processing performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a flow of processing performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for reference in describing the first control performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a flow of first control processing performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram for reference in describing the first control performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 13 is a flowchart illustrating a flow of a second control process performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram for reference in describing the second control performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 15 is a flowchart illustrating a flow of third control processing performed in the imaging apparatus according to an embodiment of the present disclosure.
  • FIG. 16 is a block diagram illustrating an example of a schematic configuration of the vehicle control system.
  • FIG. 17 is an explanatory diagram illustrating an example of the installation positions of the outside-vehicle information detection unit and the imaging unit.
  • FIG. 1 is a schematic cross-sectional view illustrating a schematic configuration of an imaging apparatus 1 according to an embodiment of the present disclosure.
  • the imaging apparatus 1 includes a housing (body) 10, an optical imaging system 20 including a photographic lens 22, a semi-transmissive mirror 11, an imaging element 12 ⁇ / b> A, an image plane phase difference AF sensor 12 ⁇ / b> B, a dedicated phase difference AF sensor 13, and an electronic viewfinder 14.
  • the display 15 is provided.
  • the imaging unit is configured by a configuration including the imaging device 12A and the optical imaging system 20.
  • an optical imaging system 20 is provided for the housing 10.
  • the optical imaging system 20 is, for example, a so-called interchangeable lens unit, and a photographing lens 22 and a diaphragm are provided in a lens barrel 21.
  • the photographing lens 22 is driven by a focus drive system (not shown), and AF (Auto-Focus) operation is enabled.
  • the optical imaging system 20 may be configured integrally with the housing 10 or the optical imaging system 20 may be detachable from the housing 10 via a predetermined adapter.
  • the semi-transmissive mirror 11 is provided in the housing 10 between the photographing lens 22 and the image pickup device 12A in the housing 10. Subject light is incident on the semi-transmissive mirror 11 via the photographing lens 22.
  • the semi-transmissive mirror 11 reflects a part of the subject light incident through the photographing lens 22 in the direction of the upper dedicated phase difference AF sensor 13 and transmits a part of the subject light to the image sensor 12A. Note that the transmissivity, reflectance, and the like of the semi-transmissive mirror 11 can be arbitrarily set.
  • an image sensor 12A for generating a captured image is provided.
  • a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) or the like is used as the image sensor 12A.
  • the image sensor 12A photoelectrically converts subject light incident through the photographing lens 22 and converts it into a charge amount to generate an image.
  • the image signal is subjected to predetermined signal processing such as white balance adjustment processing, gamma correction processing, and the like, and is finally stored as image data in a storage medium in the imaging apparatus 1 or a portable memory that can be attached to and detached from the imaging apparatus 1. Saved in etc.
  • the image sensor 12A includes, for example, R (Red) pixels, G (Green) pixels, and B (Blue) pixels, which are normal imaging pixels, and an image plane phase difference AF sensor 12B that performs phase difference focus detection. ing. That is, the image plane phase difference AF sensor 12B is configured by arranging the image plane phase difference pixels in a part of the image sensor 12A. Each pixel constituting the image sensor photoelectrically converts incident light from the subject into a charge amount, and outputs a pixel signal.
  • the dedicated phase difference AF sensor 13 is provided, for example, in the housing 10 so as to be positioned above the semi-transmissive mirror 11 and in front of the image sensor 12A.
  • the dedicated phase difference AF sensor 13 is, for example, a phase difference detection type AF dedicated module.
  • the subject light collected by the photographing lens 22 is reflected by the semi-transmissive mirror 11 and enters the dedicated phase difference AF sensor 13.
  • the focus detection signal detected by the dedicated phase difference AF sensor 13 is supplied to a processing unit that calculates the defocus amount in the imaging apparatus 1.
  • the imaging apparatus 1 performs AF using the dedicated phase difference AF sensor 13 and the image plane phase difference AF sensor 12B.
  • the present invention is not limited to this, and the AF method performed by the imaging apparatus 1 may be an AF method using one of the dedicated phase difference AF sensor 13 and the image plane phase difference AF sensor 12B, or another known method.
  • An AF method may be used.
  • An AF method using a hybrid of a plurality of AF methods may be used. If the imaging apparatus 1 does not include the dedicated phase difference AF sensor 13, AF is performed using the image plane phase difference AF sensor 12B.
  • the housing 10 is provided with an electronic view finder (EVF) 14.
  • the electronic viewfinder 14 includes, for example, a liquid crystal display (LCD), an organic EL (Electroluminescence) display, and the like.
  • the electronic viewfinder 14 is supplied with image data obtained by processing an image signal extracted from the image sensor 12A by a signal processing unit (not shown).
  • the electronic viewfinder 14 displays images corresponding to the image data as real-time images (through images).
  • the housing 10 is provided with a display 15.
  • the display 15 is a flat display such as a liquid crystal display or an organic EL.
  • the display 15 is supplied with image data obtained by processing an image signal extracted from the image sensor 12A by a signal processing unit (not shown), and the display 15 displays them as a real-time image (so-called through image).
  • the display 15 is provided on the back side of the housing, but is not limited thereto, and may be provided on the top surface of the housing, or may be movable or removable.
  • the display 15 may not be provided in the housing 10, and in this case, a television device or the like connected to the imaging device 1 may function as the display 15.
  • an area in which AF corresponding to the mode hereinafter referred to as an AF area as appropriate
  • an AF area is displayed superimposed on the real-time image.
  • the imaging apparatus 1 includes, for example, a preprocessing circuit 31, a camera processing circuit 32, and an image.
  • a memory 33, a control unit 34, a graphic I / F (Interface) 35, an input unit 36, an R / W (reader / writer) 37, and a storage medium 38 are provided.
  • the optical imaging system 20 includes a photographing lens 22 (including a focus lens and a zoom lens) for condensing light from a subject on the imaging element 12A, a lens driving mechanism 22A for adjusting the focus by moving the focus lens, and a shutter. It consists of a mechanism and an iris mechanism. These are driven based on a control signal from the control unit 34.
  • the lens driving mechanism 22A realizes an AF operation by moving the photographing lens 22 along the optical axis direction in accordance with a control signal supplied from a control unit 34 (for example, an AF control unit 34D described later).
  • the optical image of the subject obtained through the optical imaging system 20 is formed on the imaging element 12A as an imaging device.
  • the dedicated phase difference AF sensor 13 is, for example, a phase difference detection type autofocus dedicated sensor.
  • the subject light collected by the photographing lens 22 is reflected by the semi-transmissive mirror 11 and enters the dedicated phase difference AF sensor 13.
  • the focus detection signal detected by the dedicated phase difference AF sensor 13 is supplied to the control unit 34.
  • the imaging element 12A has a normal imaging pixel and a phase difference detection pixel.
  • the image plane phase difference AF sensor 12B is an autofocus sensor including a plurality of phase difference detection pixels.
  • the focus detection signal detected by the image plane phase difference AF sensor 12B is supplied to the control unit 34.
  • the pre-processing circuit 31 performs sample hold and the like on the image signal output from the image sensor 12A so as to maintain a good S / N (Signal / Noise) ratio by CDS (Correlated Double Sampling) processing. Further, the gain is controlled by AGC (Auto-Gain-Control) processing, A / D (Analog / Digital) conversion is performed, and a digital image signal is output.
  • AGC Auto-Gain-Control
  • a / D Analog / Digital
  • the camera processing circuit 32 performs signal processing such as white balance adjustment processing, color correction processing, gamma correction processing, Y / C conversion processing, and AE (Auto-Exposure) processing on the image signal from the preprocessing circuit 31.
  • signal processing such as white balance adjustment processing, color correction processing, gamma correction processing, Y / C conversion processing, and AE (Auto-Exposure) processing on the image signal from the preprocessing circuit 31.
  • the image memory 33 is a buffer memory composed of volatile memory, for example, DRAM (Dynamic Random Access Memory), and temporarily stores image data that has been subjected to predetermined processing by the preprocessing circuit 31 and the camera processing circuit 32. It is something to store.
  • DRAM Dynamic Random Access Memory
  • the control unit 34 includes, for example, a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the ROM stores a program that is read and executed by the CPU.
  • the RAM is used as a work memory for the CPU.
  • the CPU controls the entire imaging apparatus 1 by executing various processes in accordance with programs stored in the ROM and issuing commands.
  • the control unit 34 includes, as functional blocks, for example, a main subject detection unit 34A, a depth detection unit 34B that is an example of a distance information calculation unit, a foreground depth range detection unit 34C that is an example of a detection unit, and an AF control. Part 34D. Processing performed by each of these functional blocks will be described later.
  • a main subject is referred to as a foreground, and a subject that is not the main subject is referred to as a background.
  • the main subject is a subject considered to be important for the user among a plurality of subjects, and more specifically, a subject including a portion that the user wants to focus on.
  • the graphic I / F 35 generates an image signal to be displayed on the display 15 from the image signal supplied from the control unit 34 and supplies the signal to the display 15 to display an image.
  • the display 15 displays a through image being captured, an image recorded on the storage medium 38, and the like.
  • the input unit 36 includes, for example, a power button for switching power on / off, a release button for instructing start of recording of a captured image, an operator for zoom adjustment, a touch screen configured integrally with the display 15, and the like. Consists of.
  • a control signal corresponding to the input is generated and output to the control unit 34.
  • the control part 34 performs the arithmetic processing and control corresponding to the said control signal.
  • the R / W 37 is an interface to which a storage medium 38 for recording image data generated by imaging is connected.
  • the R / W 37 writes the data supplied from the control unit 34 to the storage medium 38, and outputs the data read from the storage medium 38 to the control unit 34.
  • the storage medium 38 is a large-capacity storage medium such as a hard disk, a memory stick (registered trademark of Sony Corporation), and an SD memory card, for example.
  • the image is stored in a compressed state based on a standard such as JPEG. Further, EXIF (Exchangeable Image File Format) data including additional information such as information relating to the saved image and imaging date and time is also stored in association with the image.
  • EXIF Exchangeable Image File Format
  • the camera processing circuit 32 performs image quality correction processing on the image signal supplied from the preprocessing circuit 31 and supplies the image signal to the graphic I / F 35 via the control unit 34 as a through image signal. Thereby, a through image is displayed on the display 15. The user can adjust the angle of view by looking at the through image displayed on the display 15.
  • the control unit 34 outputs a control signal to the optical imaging system 20 to operate the shutters constituting the optical imaging system 20.
  • an image signal for one frame is output from the image sensor 12A.
  • the camera processing circuit 32 performs image quality correction processing on the image signal for one frame supplied from the image sensor 12 ⁇ / b> A via the preprocessing circuit 31, and supplies the processed image signal to the control unit 34.
  • the control unit 34 compresses and encodes the input image signal and supplies the generated encoded data to the R / W 37. Thereby, the data file of the captured still image is stored in the storage medium 38 via the R / W 37. It should be noted that at the time of moving image shooting, the above-described processing is performed in real time in accordance with a moving image shooting instruction. It is also possible to take a still image during moving image shooting by pressing the shutter button during moving image shooting.
  • the control unit 34 transmits the selected still image file from the storage medium 38 via the R / W 37 in response to an operation input from the input unit 36. Read. A decompression decoding process is performed on the read image file. Then, the decoded image signal is supplied to the graphic I / F 35 via the control unit 34. As a result, the still image stored in the storage medium 38 is displayed on the display 15.
  • the main subject detection process often requires a longer calculation time than the AF distance information detection process (distance calculation), and in this case, there is a time lag (delay) with respect to the latest distance measurement result.
  • Arise When attempting to perform AF using the latest distance measurement result, the recognition result of the main subject has only the previous (old) result in time, so the movement of the subject at the time when the delay occurs is not considered. End up.
  • AF is performed after the computation of the main subject detection process is completed, focusing is performed based on the distance measurement result that is temporally previous, so that the subject moves in the Z-axis direction (depth direction). AF followability deteriorates.
  • FIG. 3 shows an example in which the distance information D1 is obtained as the distance measurement result of the player HA, and the distance information D2 is obtained as the distance measurement result of the player HB as another player.
  • an image IMb is acquired as an input image at the next time Tb (after time).
  • the image IMb is, for example, an image after one frame with respect to the image IMa.
  • the image IMb may be an image several frames after the image IMa.
  • the image IMb includes a player HC in addition to the players HA and HB described above.
  • Distance information detection processing is performed on the image IMb, and distance information on the subject in the image IMb is obtained as a distance measurement result.
  • FIG. 3 shows an example in which distance information D1 is obtained as a distance measurement result of player HA, distance information D2 is obtained as a distance measurement result of player HB, and distance information D3 is obtained as a distance measurement result of player HC. ing.
  • the main subject detection process requires a longer calculation time than the distance information detection process. For this reason, since the main subject detection process is not completed when the distance information detection process is completed and the distance measurement result is obtained, when performing AF using the distance measurement result at time Tb, as described above. Therefore, the movement of the subject between the times Ta and Tb is not taken into consideration. On the other hand, when the process is waited until the main subject detection process is completed, the player HA moves in the Z-axis direction (depth direction) of the subject during that time, and a deviation occurs between the actual distance and the distance measurement result. The followability of AF becomes worse with respect to the movement in the Z-axis direction.
  • the foreground depth range is a distance including the main subject.
  • the foreground depth range is described as a predetermined distance range including the main subject, but may be the distance itself.
  • a main subject detection unit 34A, a depth detection unit 34B, a foreground depth range detection unit 34C, and an AF control unit 34D which are functional blocks constituting the control unit 34, are shown.
  • FIG. 5A shows an example of the image IM1.
  • the image IM1 is an image in which grass exists on the front side, a person H1 that runs from the right to the left of the screen exists on the back side, and a forest (indicated by three trees in FIG. 5A) exists in the background. is there.
  • the image IM1 is input to each of the main subject detection unit 34A and the depth detection unit 34B.
  • the main subject detection unit 34A performs main subject detection processing for detecting a main subject (first main subject) among subjects included in the image IM1. For example, the main subject detection unit 34A detects a motion based on a difference between frames, and regards the subject from which the motion is detected as a main subject.
  • the main subject detection unit 34A detects a main subject by performing a main subject detection process, and acquires a main subject map MA1 (an example of main subject information) indicating the main subject. That is, the main subject map MA1 is information indicating a region where the main subject exists. An example of the main subject map MA1 is shown in FIG. 5B.
  • a white portion in the main subject map MA1 is identified as a moving main subject.
  • white portions other than the portions corresponding to the person H1 exist locally due to the influence of noise.
  • the main subject map MA1 is supplied to the foreground depth range detection unit 34C.
  • the depth detection unit 34B detects the distance of the subject included in the image IM1 by performing distance information detection processing.
  • the depth detection unit 34B performs distance information detection processing using sensor information obtained from the image plane phase difference AF sensor 12B and the dedicated phase difference AF sensor 13, for example. It should be noted that distance information detection processing may be performed using sensor information obtained from one of the image plane phase difference AF sensor 12B and the dedicated phase difference AF sensor 13 in accordance with the area where distance information is detected.
  • the depth detection unit 34B detects the distance of the subject included in the image IM1, and acquires the depth map DMA1 (an example of first distance information).
  • An example of the depth map DMA1 is shown in FIG. 5C. In the depth map DMA1 shown in FIG. 5C, the distance is represented by shades of black and white, and the distance becomes white and the distance becomes black.
  • the depth map DMA1 is supplied to the foreground depth range detection unit 34C.
  • the foreground depth range detector 34C detects the foreground depth range based on the main subject map MA1 and the depth map DMA1. An example of processing for detecting the foreground depth range performed by the foreground depth range detection unit 34C will be described.
  • the foreground depth range detection unit 34C performs clustering (also referred to as cluster analysis or cluster classification) that decomposes the depth map DMA1 into finite clusters.
  • clustering also referred to as cluster analysis or cluster classification
  • a method called a k-means method can be applied.
  • FIG. 6A An example of a depth map that has been clustered is shown as a depth map CDMA1 in FIG. 6A.
  • the distance information indicated by the depth map DMA1 is classified into six clusters (clusters CL1 to CL6) by the clustering of the foreground depth range detection unit 34C.
  • cluster CL1 corresponds to 0 to 3 m (meters)
  • cluster CL2 corresponds to 3 to 6 m
  • cluster CL3 corresponds to 6 to 9 m
  • cluster CL4 corresponds to 9 to 12 m
  • the cluster CL5 corresponds to 12 to 15m
  • the cluster CL6 corresponds to 15 to ⁇ m.
  • the boundary value of each cluster CL may be included in any cluster CL.
  • 3m that is the boundary value between the cluster CL1 and the cluster CL2 may be included in the cluster CL1 or may be included in the cluster CL2.
  • the foreground depth range detection unit 34C performs a matching process for matching the depth map CDMA1 after clustering with the main subject map MA1.
  • the result of the matching process is shown in FIG. 6B.
  • the foreground depth range detection unit 34C calculates the ratio of the main subject included in each cluster CL. This ratio is indicated, for example, by the ratio of the area (number of pixels) of the main subject to the area (number of pixels) constituting each cluster CL.
  • the area of the main subject is weighted according to the position of the main subject on the screen (map), Corresponding weighting can also be performed.
  • the larger (stronger) weighting can be performed.
  • an evaluation value indicating the main subject likeness is acquired based on a known recognition technique or the like, and a larger (strong) weighting that seems to be a main subject as the evaluation value is larger It can be performed.
  • FIG. 7 shows an example of the ratio of main subjects included in each cluster CL.
  • the foreground depth range detection unit 34C detects a cluster whose ratio of main subjects is equal to or greater than a certain threshold as the foreground depth range. That is, the foreground depth range is information indicating the area of the detected cluster.
  • the ratio of main subjects included in the cluster CL1 is 6%
  • the ratio of main subjects included in the cluster CL2 is 0%
  • the ratio of main subjects included in the cluster CL3 is 42%.
  • the ratio of the main subject included in the cluster CL4 is 0%
  • the ratio of the main subject included in the cluster CL5 is 3%
  • the ratio of the main subject included in the cluster CL6 is 0%. .
  • the foreground depth range detection unit 34C detects the distance range (6 to 9 m) corresponding to the cluster CL3 as the foreground depth range.
  • the foreground depth range detection unit 34C can also detect a cluster having the largest proportion of main subjects as the foreground depth range.
  • the foreground depth range detection unit 34C acquires foreground depth range information MD (an example of main subject distance information) that is information indicating the detected foreground depth range. Then, the foreground depth range detection unit 34C supplies the foreground depth range information MD to the AF control unit 34D.
  • the foreground depth range information MD supplied to the AF control unit 34D is held in a memory or the like included in the control unit 34. Note that the process of detecting the foreground depth range is performed periodically, for example, according to the frame period.
  • an image IM2 (an example of a second image) is acquired by the imaging device 1 as an input image at time T2 temporally after time T1.
  • the image IM2 for example, is an image one frame after the image IM1, and is an image acquired most recently in time.
  • An example of the image IM2 is shown in FIG. 8A.
  • the depth detection unit 34B performs distance information detection processing to detect the distance for each subject included in the image IM2, and acquires the depth map DMA2 (an example of second distance information).
  • An example of the depth map DMA2 is shown in FIG. 8B.
  • the distance is represented by black and white shading, and the distance is white and the distance is black.
  • the depth map DMA2 is supplied to the AF control unit 34D.
  • the AF control unit 34D detects the main subject included in the depth map DMA2, that is, the main subject (second main subject) included in the image IM2, based on the foreground depth range information MD detected using the previous frame. .
  • the AF control unit 34D performs clustering that decomposes the Depth map DMA2 into finite clusters.
  • a clustering method for example, a method called a k-means method similar to the depth detection unit 34B can be applied.
  • FIG. 8C An example of a depth map that has been clustered is shown in FIG. 8C as a depth map CDMA2.
  • a depth map CDMA2 Even for a moving subject, the movement in the Z-axis direction during the time and distance information detection process between one frame is slight. Therefore, the depth map CDMA2 is classified into substantially the same clusters (for example, six clusters CL1 to CL6) as the depth map CDMA1.
  • the AF control unit 34D detects that the main subject exists in the range corresponding to the cluster CL3 in the range of 6 to 9 m in the depth map DMA2.
  • An example of a range in which the main subject is detected is surrounded by a thick line in FIG. 8C.
  • the foreground depth range obtained using the past frame is used.
  • the foreground depth range obtained using the past frame is used.
  • FIG. 9 is a flowchart showing the flow of processing for detecting the foreground depth range.
  • the main subject detection unit 34A performs main subject detection processing on the image IM1 that is the input image at time T1, and detects the main subject in the image IM1.
  • the main subject map MA1 as the detection result is supplied to the foreground depth range detection unit 34C. Then, the process proceeds to step ST12.
  • step ST12 the Depth detection unit 34B performs distance information detection processing on the image IM1, and detects distance information of each subject in the image IM1.
  • the depth map DMA1 as the detection result is supplied to the foreground depth range detection unit 34C. Then, the process proceeds to step ST13.
  • step ST13 the foreground depth range detector 34C detects the foreground depth range using the main subject map MA1 and the depth map DMA1. Since the foreground depth range detection unit 34C detects the foreground depth range as described above, a duplicate description is omitted. Foreground depth range information MD indicating the foreground depth range is supplied to the AF control unit 34D. Then, the process proceeds to step ST14.
  • step ST14 the image IM2 is input as an input image at time T2, which is later in time than time T1.
  • the depth detection unit 34B performs distance information detection processing on the image IM2, and detects distance information of each subject in the image IM2.
  • a depth map DMA2 as a detection result is supplied to the AF control unit. Then, the process proceeds to step ST15. Thereafter, at each timing when the main subject detection process is performed by the main subject detection unit 34A, the same processing as step ST11 is performed based on the latest main subject information obtained by the main subject detection processing.
  • the AF control unit 34D detects the main subject included in the depth map DMA2 based on the foreground depth range information MD, and detects the main subject included in the image IM2. Since the process in which the AF control unit 34D detects the main subject based on the foreground depth range information MD has been described above, a duplicate description will be omitted. With the above processing, the main subject in the current frame can be detected even when the main subject detection processing by the main subject detection unit 34A for the image IM2 is not completed.
  • the foreground depth range information MD can be used for various processes of the imaging apparatus 1, for example, processes in AF control. Specifically, the AF control unit 34D controls the movement of the lens based on the detection result of the main subject (for example, the second main subject included in the image IM2 described above) included in the latest image in time. In addition, foreground depth range information MD can be used.
  • an example of AF control using the foreground depth range information MD (first to third control examples) will be described. In the following description, the same reference numerals are assigned to the same or similar components as those described in the foreground depth range detection process, and a duplicate description is omitted as appropriate.
  • the following control is control performed in a mode in which an AF area is locally selected from among a plurality of AF areas presented as UI (User Interface).
  • the AF area is presented to the user, for example, by being displayed on the display 15 by a rectangular frame with a color.
  • the user selects, for example, one AF area as an AF area among the plurality of AF areas.
  • Such an AF mode is called a spot or the like.
  • a spot an example in which a spot is selected as an example of the AF mode will be described. However, processing described below may be performed in an AF mode different from the spot.
  • FIG. 10A shows an example of an image IM3 displayed on the display 15 at time T3.
  • Time T3 may be the same time as time T2 described above.
  • the display 15 shows an AF area AR1 set by the user. AF is performed within the range specified in the AF area AR1.
  • the AF area AR1 is an area presented as a UI, and sensor information used for AF performed in the AF area AR1 is not necessarily output from a sensor (for example, the image plane phase difference AF sensor 12B) in the AF area AR1.
  • the sensor information is not necessarily limited. That is, the AF area AR1 used as the UI does not necessarily match the range of the AF sensor used when performing AF in signal processing.
  • a professional photographer is assumed as the user.
  • Such a user can perform camera work such that a main subject that moves (for example, the face of the person H1) is aligned with one AF area AR1 that is local and has a narrow range.
  • the main subject for example, the face of the person H1 falls out of the AF area AR1, and AF is in the background. May be done.
  • the phenomenon that the focus is inadvertently matched with the background is also referred to as background loss.
  • the person H1 is a player with intense movement such as American football or soccer, there is a high possibility that background loss will occur.
  • the effective AF area is expanded to the periphery, and the main subject is present in the AF area after enlargement.
  • FIG. 11 is a flowchart showing the flow of the first control process
  • FIG. 12 shows a Depth map DMA3 which is a Depth map of the image IM3 acquired most recently in time.
  • the foreground depth range can be acquired by the above-described control using an image acquired temporally before the image IM3.
  • the foreground depth range is a cluster CL3 (for example, 6 to 9 m).
  • the following processing is performed by the control unit 34 (for example, the AF control unit 34D).
  • step ST21 in the flowchart of FIG. 11 it is determined whether or not a main subject exists in the set AF area AR1. For example, as shown in FIG. 12, it is determined whether or not the cluster CL3 is included in the AF area AR1 using the depth map DMA3. If the cluster CL3 is included in the AF area AR1, the process proceeds to step ST22 assuming that the main subject is in the AF area AR1.
  • step ST22 AF is performed in the AF area AR1, and the position of the lens is controlled so that the area corresponding to the AF area AR1 is in focus.
  • the lens position is determined by the AF control unit 34D controlling the lens driving mechanism 22A.
  • step ST21 the cluster CL3 is not included in the AF area AR1. That is, since the determination in step ST21 is negative, the process proceeds to step ST23.
  • step ST23 processing for expanding the AF search range is performed, and processing for changing the AF area is performed.
  • the AF area AR2 which is the AF area after the change, is indicated by a dotted line.
  • the size of the AF area AR2 can be set as appropriate.
  • the size of the AF area AR2 is the size of several AF areas AR1. Then, the process proceeds to step ST24.
  • step ST24 it is determined whether or not the main subject exists in the AF area AR2 after the change.
  • the process proceeds to step ST25.
  • step ST25 AF is performed in the AF area AR2, and the lens position is controlled so that the area corresponding to the AF area AR2 is in focus.
  • step ST24 since the cluster CL3 is not included in the AF area AR2 after the change, that is, the main subject does not exist in the AF area AR2, the process proceeds to step ST26.
  • step ST26 since there is no main subject around the set AF area AR1, AF is performed in the AF area AR1, which is the AF area originally set, and the area corresponding to the AF area AR1 is focused.
  • the position of the lens is controlled so that
  • the range of the AF area is expanded in consideration of the fact that the main subject often exists around the AF area. If a main subject exists in the AF area after enlargement, AF is performed in the AF area after enlargement. Thereby, when there is no main subject in the AF area set by the user, it is possible to prevent AF from being performed on the background.
  • the AF area AR2 after the change is preferably not displayed on the display 15 while respecting the user's intention (intention that the set AF area is the AF area AR1), but may be displayed.
  • the AF area is gradually enlarged in a plurality of steps, and it is determined in each step whether or not a main subject exists in the AF area after the change. good.
  • the position of the lens is locked so that the point once AF is locked and AF is not performed on the person who has crossed.
  • a so-called stabilization process for fixing the lens or adjusting the reactivity of the lens movement is performed. Because of this stabilization processing, AF may not be performed on the main subject even if the user quickly moves the imaging device 1 so that the main subject is included in the AF area AR1.
  • the AF is always performed forward without performing the stabilization process, there is a problem that AF is performed across the main subject and the stability of the AF is impaired.
  • the second control example is control that avoids these problems by using the foreground depth range information MD.
  • FIG. 13 is a flowchart showing the flow of processing in the second control.
  • FIG. 14A shows the depth map DMA5 of the image IM5 acquired at a certain time T5
  • FIG. 14B shows the depth map DMA6 of the image IM6 acquired at the latest time T6.
  • the foreground depth range can be acquired in the same manner as the above-described processing using images acquired before the images IM5 and IM6, and in this example, the cluster CL3 (for example, 6 to 9 m) is acquired. ).
  • the following processing is performed by the control unit 34 (for example, the AF control unit 34D).
  • step ST31 in the flowchart of FIG. 13 it is determined that the background exists in the AF area AR1 at time T5. For example, as shown in FIG. 14A, since the area of the cluster CL3 is not included in the AF area AR1 set by the user, it is determined that the main subject does not exist and the background exists in the AF area AR1. Is done. Then, the process proceeds to step ST32.
  • step ST32 an operation of moving the imaging device 1 at time T6, which is temporally later than time T5, is performed.
  • time T6 it is determined whether or not a main subject exists in the AF area AR1.
  • the process proceeds to step ST33.
  • step ST33 a process for invalidating the stabilization process is performed, and control is performed so that the stabilization process is not performed. Then, AF is performed in the AF area AR1, and the face of the person H1 as the main subject is focused. As a result, when the AF is performed on the background that is not the main subject and the AF area AR1 is shifted to the state that matches the main subject, the AF is returned to the background or the like. Can be speeded up.
  • step ST34 stabilization processing is performed as necessary. After the moving operation of the imaging device 1, when the distance included in the AF area AR1 is a distance corresponding to the clusters CL5 and CL6, it is not necessary to perform stabilization processing. On the other hand, even if the user's intention is to include the main subject in the AF area AR1 after the moving operation of the image pickup apparatus 1, an unintended person may exist or pass in front of the main subject. However, a person who is present closer to the imaging device 1 should be detected as the cluster CL1 or CL2 in the AF area AR1. Therefore, in such a case, it is possible to prevent the stability of the AF from being lost by performing the stabilization process. And a process returns to step ST31 and the process mentioned above is repeated.
  • the third control is an example in which stabilization processing is performed when following the movement of the main subject.
  • FIG. 15 is a flowchart showing the flow of processing in the third control.
  • step ST41 it is detected that the main subject exists in the AF area AR1 set by the user. For example, when the area of the cluster CL3 is included in the AF area AR1, it is determined that the main subject exists in the AF area AR1. Then, the process proceeds to step ST42.
  • step ST42 it is determined whether or not the main subject has disappeared from the AF area AR1 in the image acquired most recently. If the main subject continues to exist from the AF area AR1, the process returns to step ST41. If no main subject is left from the AF area AR1, the process proceeds to step ST43.
  • step ST43 stabilization processing is performed so that the focus does not match the background even when framing is removed from the main subject.
  • the lens drive mechanism 22A is controlled by the control unit 34, and the position of the lens is fixed.
  • the stabilization process is started, for example, when there is no main subject in the AF area AR1 over several frames, the area corresponding to the AF area AR1 may be focused.
  • the third control during the AF operation, if the foreground depth range exists in the AF area AR1, in other words, if the main subject exists, the AF is in the main subject. It is determined that the camera is in a locked state and the focus position is locked so that it does not move significantly. Thereby, even when the main subject is temporarily removed from the AF area AR1 while the main subject is being tracked by the imaging apparatus 1, it is possible to prevent the focus from being adjusted to the background.
  • the main subject in the latest frame can be detected using the foreground depth range information MD, and various controls of AF can be realized.
  • the first to third controls in the above-described embodiment may be related controls instead of independent controls.
  • the second control may be performed after it is determined that there is no main subject in the expanded AF area AR1. Further, the control to be performed may be different depending on the mode set in the imaging apparatus 1.
  • the main subject detection unit 34A detects the movement based on the difference between frames and regards the moving subject as the main subject.
  • the present invention is not limited to this.
  • the main subject detection unit 34 ⁇ / b> A may detect motion by optical flow.
  • subject recognition such as face recognition or person recognition may be used, or subject tracking may be used, and the main subject may be specified based on the result.
  • a subject existing in a region designated by the user or a specific color range designated by the user may be regarded as a main subject.
  • the main subject may be learned and the result may be regarded as the main subject.
  • the main subject may be specified using saliency, which is a technique for extracting a remarkable area on the screen. Further, the main subject may be specified by combining these methods.
  • the depth detection unit 34B obtains the distance information using the sensor information acquired by the image plane phase difference AF sensor 12B and the dedicated phase difference AF sensor 13, but the present invention is not limited to this. It is not something.
  • the depth detection unit 34B may acquire distance information based on the result of stereo viewing by a multi-view camera, may acquire distance information using a light field camera, or may use a triangulation sensor. You may make it acquire distance information using.
  • the distance information may be acquired using a plurality of frames of images (using moving object parallax), or the distance information may be acquired using the degree of blur. A method of acquiring distance information using the degree of blur is called DFD (Depth from defocus).
  • the clustering method in the above-described embodiment is not limited to the k-means method, and a known method can be applied.
  • the distance range in which the main subject exists in the latest frame may be colored or surrounded by a frame and presented to the user as a UI.
  • the display 15 may be made to function as a presentation unit, and the range of the distance in which the main subject exists in the latest frame may be displayed on the display 15 separately from other places.
  • the display 15 may be separated from the imaging device 1.
  • the processing order in the first to third controls described above may be changed, or may be performed in parallel.
  • the processes of steps ST11 and ST12 may be performed in parallel.
  • the process of fixing the lens position has been described as an example of the stabilization process.
  • Fixing the position of the lens means that the movement of the lens position is zero and that some movement is allowed within a range where the focus is not greatly shifted.
  • the lens position may be fixed or variable within a predetermined range according to the set sensitivity.
  • the imaging device in the above-described embodiment includes medical devices such as a microscope, smartphones, computer devices, game devices, robots, security cameras, moving bodies (vehicles, trains, airplanes, helicopters, small flying vehicles, construction vehicles, agriculture For example, a vehicle for use.
  • medical devices such as a microscope, smartphones, computer devices, game devices, robots, security cameras, moving bodies (vehicles, trains, airplanes, helicopters, small flying vehicles, construction vehicles, agriculture For example, a vehicle for use.
  • the present disclosure can be realized by a control device (for example, a one-chip microcomputer) having the control unit 34, and can also be realized as an imaging system including a plurality of devices. It is also possible to realize it. For example, it is possible to download a program for performing the control described in the embodiment, and an imaging device (for example, an imaging device provided in a smartphone) that does not have the control function described in the embodiment downloads and installs the program. Thus, the control described in the embodiment can be performed in the imaging apparatus.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • the distance measurement result of the present disclosure can be used, for example, for setting and maintaining a region of interest in sensing, automatic driving assistance such as dangerous driving, and the like.
  • FIG. 16 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, a sound image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 17 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 17 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a solid object that travels at a predetermined speed (for example, 0 km / h or more) in the same direction as the vehicle 12100, particularly the closest three-dimensional object on the traveling path of the vehicle 12100. it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the imaging device 1 in FIG. 2 can be applied to the imaging unit 12031.
  • the distance to obstacles outside the vehicle can be detected appropriately, so that automatic driving control systems and automatic braking systems can operate properly, enabling safe and comfortable driving To.
  • the control executed by the control unit 34 is lens control corresponding to the distance measurement result. It is not limited.
  • This indication can also take the following composition.
  • a main subject detection unit that detects a first main subject among subjects included in the first image and acquires main subject information indicating the first main subject;
  • a distance information calculation unit that detects a distance of the subject included in the first image and acquires first distance information indicating the distance;
  • a detecting unit that detects a distance including the first main subject based on the main subject information and the first distance information, and acquires main subject distance information indicating a distance including the first main subject. Control device.
  • the distance information calculation unit detects a distance of a subject included in a second image acquired later in time than the first image, acquires second distance information indicating the distance,
  • the control device according to (1) further including a control unit that detects a second main subject among the subjects included in the second image based on the main subject distance information and the second distance information.
  • the control unit controls the movement of the lens so that the first region is in focus when the second main subject exists in the first region set in the imaging range of the imaging unit, and the first region is in focus.
  • control device wherein when the second main subject does not exist in an area, control is performed to set a second area obtained by enlarging the first area.
  • the control unit controls the movement of the lens so that the second area is in focus, and the second main subject is placed in the second area. If the lens does not exist, the movement of the lens is controlled so that the first region is in focus. (4).
  • the control unit invalidates the stabilization process when the first main subject does not exist in the first area set in the imaging range of the imaging unit and the second main subject exists in the first area.
  • the control device according to (2) or (3).
  • the control unit activates a stabilization process when the first main subject exists in the first area set in the shooting range of the imaging unit and the second main subject does not exist in the first area.
  • the control device according to (2) or (3).
  • the detection unit classifies the first distance information into clusters, and refers to the main subject information, thereby indicating information indicating a cluster having a ratio of the first main subject equal to or greater than a predetermined threshold value as the main subject distance information.
  • the control device according to any one of (1) to (7).
  • the detection unit performs cluster classification on the first distance information, and refers to the main subject information, thereby acquiring information indicating a cluster having the largest ratio of the first main subject as the main subject distance information.
  • the control device according to any one of (7).
  • the control device according to any one of (1) to (9), wherein the distance indicates a predetermined distance range.
  • the first area is one area selected by the user from among a plurality of selectable autofocus areas displayed on the display unit. (4), (5), (9) Control device.
  • the control device according to any one of (4), (7), (8), and (9), wherein the second region is a region that is not displayed on the display unit.
  • the control device according to any one of (4), (7), (8), and (9), wherein the second region is a region that is temporarily displayed on the display unit.
  • the control device according to any one of (4), (7), (8), and (9), wherein the stabilization process is a process of fixing a lens position.
  • the control device according to any one of (2) to (14), wherein the second image is an image acquired most recently in time.
  • An imaging apparatus comprising: an imaging unit.
  • a lens driving unit The imaging device according to (16), wherein movement of the lens is controlled by controlling the lens driving unit by the control device.
  • a main subject detection unit detects a first main subject among subjects included in the first image, acquires main subject information indicating the first main subject
  • a distance information calculation unit detects the distance of the subject included in the first image, acquires first distance information indicating the distance
  • a detection unit detects a distance including the first main subject based on the main subject information and the first distance information, and acquires main subject distance information indicating a distance including the first main subject.
  • a main subject detection unit detects a first main subject among subjects included in the first image, acquires main subject information indicating the first main subject
  • a distance information calculation unit detects the distance of the subject included in the first image, acquires first distance information indicating the distance
  • Control for detecting a distance including the first main subject based on the main subject information and the first distance information, and acquiring main subject distance information indicating a distance including the first main subject.
  • a program that causes a computer to execute the method.
  • DESCRIPTION OF SYMBOLS 1 ... Imaging device, 15 ... Display, 34 ... Control part, 34A ... Main subject detection part, 34B ... Depth detection part, 34C ... Foreground depth range detection part, 34D ... AF control unit, IM1 ... first image, IM2 ... second image, MA1 ... main subject map, DMA1 ... Depth map, MD ... foreground depth range information, CL ... cluster , AR ... AF area

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得する主要被写体検出部と、第１画像に含まれる被写体の距離を検出し、当該距離を示す第１距離情報を取得する距離情報算出部と、主要被写体情報及び第１距離情報に基づいて、第１主要被写体が含まれる距離を検出し、第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する検出部とを有する制御装置である。 図４

Description

制御装置、撮像装置、制御方法及びプログラム
　本開示は、制御装置、撮像装置、制御方法及びプログラムに関する。
　従来から自動的に焦点を検出する様々な方式（ＡＦ(Auto Focus)の方式）が提案されている（例えば、下記特許文献１を参照のこと）。
特開２００７－２３３０３４号公報
　このような分野では、オートフォーカスの対象を的確に検出することが望まれている。
　本開示は、オートフォーカスの対象を的確に検出することができる制御装置、撮像装置、制御方法及びプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得する主要被写体検出部と、
　第１画像に含まれる被写体の距離を検出し、当該距離を示す第１距離情報を取得する距離情報算出部と、
　主要被写体情報及び第１距離情報に基づいて、第１主要被写体が含まれる距離を検出し、第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する検出部と
　を有する制御装置である。
　本開示は、例えば、
　上述した制御装置と、
　撮像部と
　を有する撮像装置である。
　本開示は、例えば、
　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
　距離情報算出部が、第１画像に含まれる被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
　検出部が、主要被写体情報及び第１距離情報に基づいて、第１主要被写体が含まれる距離を検出し、第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
　制御方法である。
　本開示は、例えば、
　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
　距離情報算出部が、第１画像に含まれる被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
　検出部が、主要被写体情報及び第１距離情報に基づいて、第１主要被写体が含まれる距離を検出し、第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
制御方法をコンピュータに実行させるプログラムである。
　本開示の少なくとも実施形態によれば、オートフォーカスの対象を的確に検出することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
図１は、本開示の一実施形態に係る撮像装置の概略構成を示す図である。 図２は、本開示の一実施形態に係る撮像装置の構成例を示すブロック図である。 図３は、オートフォーカスを行う上で考慮すべき問題を説明するための図である。 図４は、制御部における各機能ブロックが行う処理を説明するための図である。 図５Ａ～図５Ｃは、本開示の一実施形態に係る撮像装置において行われる処理を説明するうえで参考する図である。 図６Ａ及び図６Ｂは、本開示の一実施形態に係る撮像装置において行われる処理を説明するうえで参考する図である。 図７は、本開示の一実施形態に係る撮像装置において行われる処理を説明するうえで参考する図である。 図８は、本開示の一実施形態に係る撮像装置において行われる処理を説明するうえで参考する図である。 図９は、本開示の一実施形態に係る撮像装置において行われる処理の流れを示すフローチャートである。 図１０は、本開示の一実施形態に係る撮像装置において行われる第１の制御を説明するうえで参考する図である。 図１１は、本開示の一実施形態に係る撮像装置において行われる第１の制御の処理の流れを示すフローチャートである。 図１２は、本開示の一実施形態に係る撮像装置において行われる第１の制御を説明するうえで参考する図である。 図１３は、本開示の一実施形態に係る撮像装置において行われる第２の制御の処理の流れを示すフローチャートである。 図１４は、本開示の一実施形態に係る撮像装置において行われる第２の制御を説明するうえで参考する図である。 図１５は、本開示の一実施形態に係る撮像装置において行われる第３の制御の処理の流れを示すフローチャートである。 図１６は、車両制御システムの概略的な構成の一例を示すブロック図である。 図１７は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．一実施形態＞
＜２．変形例＞
＜３．応用例＞
　以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
＜１．一実施形態＞
［撮像装置の構成例］
　始めに、本開示の一実施形態に係る撮像装置の構成例について説明する。図１は、本開示の一実施形態に係る撮像装置１の概略構成を示す断面模式図である。
　撮像装置１は、筐体（ボディ）１０、撮影レンズ２２を備える光学撮像系２０、半透過ミラー１１、撮像素子１２Ａ、像面位相差ＡＦセンサ１２Ｂ、専用位相差ＡＦセンサ１３、電子ビューファインダ１４、ディスプレイ１５を備えている。例えば、撮像素子１２Ａと光学撮像系２０とを含む構成により撮像部が構成される。
　図１に示されるように、筐体１０に対して光学撮像系２０が設けられている。光学撮像系２０は、例えば交換可能ないわゆるレンズ部であり、鏡筒２１内に撮影レンズ２２、絞り等が設けられている。撮影レンズ２２は、フォーカス駆動系（図示しない）によって駆動され、ＡＦ(Auto Focus)動作が可能とされている。なお、光学撮像系２０は、筐体１０と一体ものとして構成しても良いし、光学撮像系２０が所定のアダプタを介して筐体１０に着脱可能としても良い。
　半透過ミラー１１は、筐体１０内において、撮影レンズ２２と筐体１０内の撮像素子１２Ａとの間に設けられている。半透過ミラー１１には、撮影レンズ２２を介して被写体光が入射する。半透過ミラー１１は、撮影レンズ２２を介して入射する被写体光の一部を上方の専用位相差ＡＦセンサ１３の方向に反射させ、また、被写体光の一部を撮像素子１２Ａへと透過させる。なお、半透過ミラー１１の透過度、反射率等は任意に設定することが可能である。
　筐体１０内には撮影画像生成用の撮像素子１２Ａが設けられている。撮像素子１２Ａとしては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。撮像素子１２Ａは、撮影レンズ２２を介して入射する被写体光を光電変換して電荷量に変換し、画像を生成する。画像信号は、ホワイトバランス調整処理、ガンマ補正処理などの所定の信号処理が施されて最終的に画像データとして、撮像装置１内の記憶媒体や撮像装置１に着脱可能とされる可搬型のメモリ等に保存される。
　撮像素子１２Ａは、通常の撮像画素である例えば、Ｒ（Red）画素、Ｇ（Green）画素、Ｂ（Blue）画素を有するとともに、位相差焦点検出を行う像面位相差ＡＦセンサ１２Ｂを有している。すなわち、撮像素子１２Ａの一部に像面位相差画素が配置されることにより像面位相差ＡＦセンサ１２Ｂが構成されている。撮像素子を構成する各画素は被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。
　専用位相差ＡＦセンサ１３は、例えば、筐体１０内において半透過ミラー１１の上方に、且つ、撮像素子１２Ａの前方に位置するように設けられている。専用位相差ＡＦセンサ１３は、例えば、位相差検出方式のＡＦ専用モジュールである。撮影レンズ２２により集光された被写体光は半透過ミラー１１で反射することによって専用位相差ＡＦセンサ１３に入射する。専用位相差ＡＦセンサ１３により検出された焦点検出信号は撮像装置１内においてデフォーカス量の算出を行う処理部などに供給される。このように、一実施形態に係る撮像装置１は、専用位相差ＡＦセンサ１３と像面位相差ＡＦセンサ１２Ｂとを用いてＡＦを行う。但し、これに限定されるものではなく、撮像装置１が行うＡＦの方式は、専用位相差ＡＦセンサ１３及び像面位相差ＡＦセンサ１２Ｂの一方を用いたＡＦ方式でも良いし、別の公知のＡＦ方式を用いたものであっても良い。複数のＡＦ方式のハイブリッドによるＡＦ方式を用いたものであっても良い。なお、撮像装置１が専用位相差ＡＦセンサ１３を備えない場合には、像面位相差ＡＦセンサ１２Ｂを用いてＡＦを行う。
　筐体１０には電子ビューファインダ（EVF：Electronic View Finder）１４が設けられている。電子ビューファインダ１４は、例えば、液晶ディスプレイ（Liquid Crystal Display（ＬＣＤ））、有機ＥＬ(Electroluminescence:電界発光) ディスプレイなどを備える。電子ビューファインダ１４には、撮像素子１２Ａから取り出された画像信号を信号処理部（図示しない）で処理することにより得られる画像データが供給される。電子ビューファインダ１４は、それらの画像データに対応する画像をリアルタイム画像（スルー画像）として表示する。
　筐体１０には、ディスプレイ１５が設けられている。ディスプレイ１５は、液晶ディスプレイ、有機ＥＬ等のフラットディスプレイなどである。ディスプレイ１５には、撮像素子１２Ａから取り出された画像信号を信号処理部（図示しない）で処理して得られる画像データが供給され、ディスプレイ１５はそれらをリアルタイム画像（いわゆるスルー画像）として表示する。図１においては、ディスプレイ１５は、筺体の背面側に設けられているが、これに限られず、筺体上面などに設けても良く、可動式や取り外し式としても良い。ディスプレイ１５は筐体１０になくても良く、この場合、撮像装置１に接続されたテレビジョン装置等がディスプレイ１５として機能しても良い。また、ディスプレイ１５には、モードに応じたＡＦが行われるエリア（以下、ＡＦエリアと適宜、称する）がリアルタイム画像に重畳されて表示される。
［撮像装置の内部構成例］
　次に、図２のブロック図を参照して、撮像装置１の内部構成例（主に信号処理に係る構成例）について説明する。撮像装置１は、上述した光学撮像系２０、専用位相差ＡＦセンサ１３、撮像素子１２Ａ、像面位相差ＡＦセンサ１２Ｂ、ディスプレイ１５の他に、例えば、前処理回路３１、カメラ処理回路３２、画像メモリ３３、制御部３４、グラフィックＩ／Ｆ（Interface）３５、入力部３６、Ｒ／Ｗ（リーダ／ライタ）３７および記憶媒体３８を備えている。
　光学撮像系２０は、被写体からの光を撮像素子１２Ａに集光するための撮影レンズ２２（フォーカスレンズ、ズームレンズなどを含む）、フォーカスレンズを移動させてフォーカス調整を行うレンズ駆動機構２２Ａ、シャッタ機構、アイリス機構などから構成されている。これらは制御部３４からの制御信号に基づいて駆動される。レンズ駆動機構２２Ａは、撮影レンズ２２を制御部３４（例えば、後述するＡＦ制御部３４Ｄ）から供給された制御信号に応じて光軸方向に沿って移動させることにより、ＡＦ動作を実現する。光学撮像系２０を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子１２Ａ上に結像される。
　専用位相差ＡＦセンサ１３は、例えば、位相差検出方式のオートフォーカス専用センサである。撮影レンズ２２により集光された被写体光は、半透過ミラー１１で反射されることによって専用位相差ＡＦセンサ１３に入射する。専用位相差ＡＦセンサ１３により検出された焦点検出信号は制御部３４に供給される。
　撮像素子１２Ａは、上述したように、通常の撮像画素と位相差検出用画素とを有するものである。像面位相差ＡＦセンサ１２Ｂは、複数の位相差検出用画素からなるオートフォーカス用センサである。像面位相差ＡＦセンサ１２Ｂにより検出された焦点検出信号は制御部３４に供給される。
　前処理回路３１は、撮像素子１２Ａから出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。
　カメラ処理回路３２は、前処理回路３１からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。
　画像メモリ３３は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリであり、前処理回路３１およびカメラ処理回路３２によって所定の処理が施された画像データを一時的に蓄えておくものである。
　制御部３４は、例えばＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)およびＲＯＭ(Read Only Memory)などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ実行されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１全体の制御を行う。
　また、制御部３４は、機能ブロックとして、例えば、主要被写体検出部３４Ａと、距離情報算出部の一例であるＤｅｐｔｈ検出部３４Ｂと、検出部の一例である前景Ｄｅｐｔｈ範囲検出部３４Ｃと、ＡＦ制御部３４Ｄとを有している。これらの各機能ブロックが行う処理については後述する。なお、本明細書では、主要被写体を前景と称し、主要被写体ではない被写体を背景と称する。主要被写体とは、複数の被写体のうちユーザにとって重要と考えられる被写体であり、より具体的には、ユーザがピントを合わせたいと考える部分を含む被写体である。
　グラフィックＩ／Ｆ３５は、制御部３４から供給された画像信号から、ディスプレイ１５に表示させるための画像信号を生成して、この信号をディスプレイ１５に供給することにより画像を表示させる。ディスプレイ１５には、撮像中のスルー画、記憶媒体３８に記録された画像などが表示される。
　入力部３６は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、ディスプレイ１５と一体に構成されたタッチスクリーンなどからなる。入力部３６に対して入力がなされると、当該入力に応じた制御信号が生成されて制御部３４に出力される。そして、制御部３４は当該制御信号に対応した演算処理や制御を行う。
　Ｒ／Ｗ３７には、撮像により生成された画像データなどを記録する記憶媒体３８が接続されるインターフェースである。Ｒ／Ｗ３７は、制御部３４から供給されたデータを記憶媒体３８に書き込み、また、記憶媒体３８から読み出したデータを制御部３４に出力する。記憶媒体３８は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧなどの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
[撮像装置の基本的な動作例]
　ここで、上述した撮像装置１における基本的な動作について説明する。画像の撮像前には、撮像素子１２Ａによって受光されて光電変換された信号が、順次、前処理回路３１に供給される。前処理回路３１では、入力信号に対してＣＤＳ処理、ＡＧＣ処理などが施され、さらに画像信号に変換される。
　カメラ処理回路３２は、前処理回路３１から供給された画像信号を画質補正処理し、スルー画像の信号として、制御部３４を介してグラフィックＩ／Ｆ３５に供給する。これにより、スルー画像がディスプレイ１５に表示される。ユーザはディスプレイ１５に表示されるスルー画像を見て画角合わせを行うことができる。
　この状態で、入力部３６のシャッタボタンが押下されると、制御部３４は、光学撮像系２０に制御信号を出力して、光学撮像系２０を構成するシャッタを動作させる。これにより撮像素子１２Ａからは、１フレーム分の画像信号が出力される。
　カメラ処理回路３２は、撮像素子１２Ａから前処理回路３１を介して供給された１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を制御部３４に供給する。制御部３４は、入力された画像信号を圧縮符号化し、生成した符号化データを、Ｒ／Ｗ３７に供給する。これにより、撮像された静止画像のデータファイルがＲ／Ｗ３７を介して記憶媒体３８に記憶される。なお、動画の撮影時には、動画撮影の指示に応じて上述した処理がリアルタイムに行われる。動画撮影中にシャッタボタンを押すことにより、動画撮影中に静止画を撮影することも可能である。
　一方、記憶媒体３８に記憶された画像ファイルを再生する場合には、制御部３４は、入力部３６からの操作入力に応じて、選択された静止画像ファイルを記憶媒体３８からＲ／Ｗ３７を介して読み込む。読み込まれた画像ファイルに対して伸張復号化処理が施される。そして、復号化された画像信号が制御部３４を介してグラフィックＩ／Ｆ３５に供給される。これにより、記憶媒体３８に記憶された静止画像がディスプレイ１５に表示される。
[オートフォーカスについて考慮すべき問題]
　ここで、オートフォーカスについて考慮すべき問題について説明する。種々の画像処理技術を用いて主要被写体検出処理を行うことにより主要被写体を認識し、当該主要被写体に優先的にピントを合わせる技術が提案されている。しかしながら、主要被写体検出処理によって検出された主要被写体は必ずしもユーザが意図する主要被写体と一致しない場合がある。特にプロカメラマンのようなハイエンドユーザにとって、自身の意図する被写体が主要被写体と認識されずに、他の被写体にピントが合ってしまうことは好ましくなく、決定的なシーンを逃してしまうことさえあり得る。ハイエンドユーザは自ら設定したＡＦエリア内でＡＦを行うことを望むことが多いが、一方で限定されたＡＦエリア内に被写体を置き続けることはプロのカメラマンにとっても困難である。
　また、主要被写体検出処理はＡＦ用の距離情報検出処理（測距演算）に比べてより長い計算時間を必要とすることが多く、その場合は最新の測距結果に対してタイムラグ（遅延）が生じる。最新の測距結果を用いてＡＦを行おうとする場合、主要被写体の認識結果は時間的に前（古い）結果しか存在しないため、遅延が生じる時間での被写体の動きは考慮されないことになってしまう。反対に、主要被写体検出処理の演算が終了した後にＡＦを行うと、時間的に前となる測距結果によってピント合わせが行われるため、被写体のＺ軸方向（奥行き方向）への動きに対してＡＦの追従性が悪くなる。
　この点について、図３を参照して説明する。ある時刻Ｔａで入力画像として画像ＩＭａが取得（入力）されたとする。画像ＩＭａに対して主要被写体検出処理が行われ、例えば、中央付近に位置するアメリカンフットボールのプレーヤＨＡの顔ＦＡが主要被写体として検出されたとする。一方で、画像ＩＭａに対する距離情報検出処理が行われ、画像ＩＭａ内の被写体に対する距離情報が測距結果として得られる。図３では、プレーヤＨＡの測距結果として距離情報Ｄ１が得られ、他のプレーヤであるプレーヤＨＢの測距結果として距離情報Ｄ２が得られた例が示されている。
　次の（時間的に後の）時刻Ｔｂにおいて、入力画像として画像ＩＭｂが取得されたとする。画像ＩＭｂは、画像ＩＭａに対して例えば１フレーム後の画像である。画像ＩＭｂは、画像ＩＭａに対して数フレーム後の画像であっても良い。画像ＩＭｂには、上述したプレーヤＨＡ、ＨＢの他にプレーヤＨＣが含まれている。画像ＩＭｂに対して距離情報検出処理が行われ、画像ＩＭｂ内の被写体に対する距離情報が測距結果として得られる。図３では、プレーヤＨＡの測距結果として距離情報Ｄ１が得られ、プレーヤＨＢの測距結果として距離情報Ｄ２が得られ、プレーヤＨＣの測距結果として距離情報Ｄ３が得られた例が示されている。
　上述したように、主要被写体検出処理は距離情報検出処理に比べてより長い計算時間を必要とする。このため、距離情報検出処理が終了し測距結果が得られた段階では主要被写体検出処理が終了していないため、時刻Ｔｂにおける測距結果を用いてＡＦを行う場合には、上述したように、時刻Ｔａ、Ｔｂ間における被写体の動きが考慮されないことになる。一方で、主要被写体検出処理が終了するまで処理を待つとその間にプレーヤＨＡが被写体のＺ軸方向（奥行き方向）に動き、実際の距離と測距結果との間にズレが生じてしまい、被写体のＺ軸方向への動きに対してＡＦの追従性が悪くなる。以下、これらの点を踏まえ、本開示の一実施形態について詳細に説明する。
［撮像装置の動作例］
（前景Ｄｅｐｔｈ範囲を検出する動作）
　撮像装置１の動作例について説明する。始めに、図４～図８を参照して、前景Ｄｅｐｔｈ範囲を検出する動作例について説明する。前景Ｄｅｐｔｈ範囲とは、主要被写体が含まれる距離であり、本実施形態では主要被写体が含まれる所定の距離範囲として説明するが、距離そのものであっても良い。図４では、制御部３４を構成する機能ブロックである主要被写体検出部３４Ａ、Ｄｅｐｔｈ検出部３４Ｂ、前景Ｄｅｐｔｈ範囲検出部３４Ｃ及びＡＦ制御部３４Ｄがそれぞれ示されている。
　ある時刻Ｔ１に、入力画像として画像ＩＭ１（第１画像の一例）が撮像装置１により取得されたとする。図５Ａには、画像ＩＭ１の一例が示されている。画像ＩＭ１は、前側に草が存在し、その奥側に画面の右から左に走る人物Ｈ１が存在し、背景に森（図５Ａでは３本の木により示されている）が存在する画像である。
　画像ＩＭ１が主要被写体検出部３４Ａ、Ｄｅｐｔｈ検出部３４Ｂのそれぞれに入力される。主要被写体検出部３４Ａは、画像ＩＭ１に含まれる被写体のうち主要被写体（第１主要被写体）を検出する主要被写体検出処理を行う。主要被写体検出部３４Ａは、例えば、フレーム間の差分に基づいて動きを検出し、動きが検出された被写体を主要被写体とみなす。主要被写体検出部３４Ａは、主要被写体検出処理を行うことにより主要被写体を検出し、当該主要被写体を示す主要被写体マップＭＡ１（主要被写体情報の一例）を取得する。すなわち、この主要被写体マップＭＡ１は、主要被写体が存在する領域を示す情報である。主要被写体マップＭＡ１の一例が図５Ｂに示されている。主要被写体マップＭＡ１における白い箇所が、動きのある主要被写体として識別されている。なお、図５Ｂに示す主要被写体マップＭＡ１ではノイズの影響により、人物Ｈ１に対応する箇所以外にも白い箇所が局所的に存在している。主要被写体マップＭＡ１が前景Ｄｅｐｔｈ範囲検出部３４Ｃに供給される。
　Ｄｅｐｔｈ検出部３４Ｂは、距離情報検出処理を行うことにより、画像ＩＭ１に含まれる被写体の距離を検出する。Ｄｅｐｔｈ検出部３４Ｂは、例えば、像面位相差ＡＦセンサ１２Ｂ及び専用位相差ＡＦセンサ１３から得られるセンサ情報を利用して、距離情報検出処理を行う。なお、距離情報を検出するエリアに応じて、像面位相差ＡＦセンサ１２Ｂ及び専用位相差ＡＦセンサ１３の一方から得られるセンサ情報を利用して距離情報検出処理が行われても良い。Ｄｅｐｔｈ検出部３４Ｂは、画像ＩＭ１に含まれる被写体の距離を検出し、ＤｅｐｔｈマップＤＭＡ１（第１距離情報の一例）を取得する。ＤｅｐｔｈマップＤＭＡ１の一例が図５Ｃに示されている。図５Ｃに示されるＤｅｐｔｈマップＤＭＡ１では、距離の遠近が白黒の濃淡で表されており、距離が近いほど白になり距離が遠くなるほど黒になるように表されている。ＤｅｐｔｈマップＤＭＡ１が前景Ｄｅｐｔｈ範囲検出部３４Ｃに供給される。
　前景Ｄｅｐｔｈ範囲検出部３４Ｃは、主要被写体マップＭＡ１及びＤｅｐｔｈマップＤＭＡ１に基づいて、前景Ｄｅｐｔｈ範囲を検出する。前景Ｄｅｐｔｈ範囲検出部３４Ｃにより行われる、前景Ｄｅｐｔｈ範囲を検出する処理の一例について説明する。前景Ｄｅｐｔｈ範囲検出部３４Ｃは、ＤｅｐｔｈマップＤＭＡ１を有限のクラスタに分解するクラスタリング（クラスタ分析やクラスタ分類とも称される）を行う。クラスタリングの方法としては、例えば、ｋ－ｍｅａｎｓ法と称される方法を適用することができる。
　クラスタリングがなされたＤｅｐｔｈマップの一例が、ＤｅｐｔｈマップＣＤＭＡ１として図６Ａに示されている。前景Ｄｅｐｔｈ範囲検出部３４Ｃのクラスタリングにより、ＤｅｐｔｈマップＤＭＡ１により示される距離情報が６個のクラスタ（クラスタＣＬ１～ＣＬ６）に分類される。
　クラスタＣＬに対応する距離情報の一例が図７に示されている。例えば、クラスタＣＬ１が０～３ｍ（メートル）に対応しており、クラスタＣＬ２が３～６ｍに対応しており、クラスタＣＬ３が６～９ｍに対応しており、クラスタＣＬ４が９～１２ｍに対応しており、クラスタＣＬ５が１２～１５ｍに対応しており、クラスタＣＬ６が１５～∞ｍに対応している。なお、各クラスタＣＬの境界値は、何れかのクラスタＣＬに含まれていれば良い。例えば、クラスタＣＬ１とクラスタＣＬ２との境界値である３ｍは、クラスタＣＬ１に含まれていても良いし、クラスタＣＬ２に含まれていても良い。
　次に、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、クラスタリング後のＤｅｐｔｈマップＣＤＭＡ１と主要被写体マップＭＡ１とを照合する照合処理を行う。照合処理の結果が図６Ｂに示されている。そして、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、各クラスタＣＬに含まれる主要被写体の割合を求める。この割合は、例えば、各クラスタＣＬを構成する面積（画素数）に対して主要被写体の面積（画素数）が占める割合により示される。なお、各クラスタＣＬの面積に対して主要被写体の面積が占める割合を求める際に、主要被写体の面積に対して、主要被写体の画面（マップ）上の位置に応じた重み付けや、主要被写体らしさに応じた重み付けを行うこともできる。このとき、位置に応じた重み付けの例としては、例えば画面の中央に近いほど、より大きな（強い）重み付けを行うことができる。また、主要被写体らしさに応じた重み付けの例としては、公知の認識技術等に基づき主要被写体らしさを示す評価値を取得し、当該評価値が大きいほどより主要被写体らしいものとしてより大きな（強い）重み付けを行うことができる。
　各クラスタＣＬに含まれる主要被写体の割合の一例が図７に示されている。前景Ｄｅｐｔｈ範囲検出部３４Ｃは、主要被写体の割合がある閾値以上のクラスタを前景Ｄｅｐｔｈ範囲として検出する。すなわち、前景Ｄｅｐｔｈ範囲は、検出されたクラスタの領域を示す情報である。図７に示すように、例えば、クラスタＣＬ１に含まれる主要被写体の割合が６％であり、クラスタＣＬ２に含まれる主要被写体の割合が０％であり、クラスタＣＬ３に含まれる主要被写体の割合が４２％であり、クラスタＣＬ４に含まれる主要被写体の割合が０％であり、クラスタＣＬ５に含まれる主要被写体の割合が３％であり、クラスタＣＬ６に含まれる主要被写体の割合が０％であるとする。このとき、例えば、閾値を６ｍと設定している場合、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、クラスタＣＬ３に対応する距離の範囲（６～９ｍ）を前景Ｄｅｐｔｈ範囲として検出する。なお、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、主要被写体の割合が最も大きいクラスタを前景Ｄｅｐｔｈ範囲として検出することもできる。前景Ｄｅｐｔｈ範囲検出部３４Ｃは、検出した前景Ｄｅｐｔｈ範囲を示す情報である前景Ｄｅｐｔｈ範囲情報ＭＤ（主要被写体距離情報の一例）を取得する。そして、前景Ｄｅｐｔｈ範囲検出部３４Ｃは、前景Ｄｅｐｔｈ範囲情報ＭＤをＡＦ制御部３４Ｄに供給する。ＡＦ制御部３４Ｄに供給された前景Ｄｅｐｔｈ範囲情報ＭＤは、制御部３４が有するメモリ等に保持される。なお、前景Ｄｅｐｔｈ範囲を検出する処理は、周期的、例えば、フレーム周期に応じて行われる。
　次に、時刻Ｔ１より時間的に後の時刻Ｔ２に、入力画像として画像ＩＭ２（第２画像の一例）が撮像装置１により取得されたとする。画像ＩＭ２は、例えば、画像ＩＭ１の１フレーム後の画像であり、時間的に最も後に取得された画像である。画像ＩＭ２の一例が図８Ａに示されている。
　Ｄｅｐｔｈ検出部３４Ｂは、距離情報検出処理を行うことにより、画像ＩＭ２に含まれる被写体毎の距離を検出し、ＤｅｐｔｈマップＤＭＡ２（第２距離情報の一例）を取得する。ＤｅｐｔｈマップＤＭＡ２の一例が図８Ｂに示されている。図８Ｂに示されるＤｅｐｔｈマップＤＭＡ２では、ＤｅｐｔｈマップＤＭＡ１と同様に、距離の遠近が白黒の濃淡で表されており、距離が近いほど白になり距離が遠くなるほど黒になるように表されている。ＤｅｐｔｈマップＤＭＡ２がＡＦ制御部３４Ｄに供給される。
　ＡＦ制御部３４Ｄは、前フレームを用いて検出された前景Ｄｅｐｔｈ範囲情報ＭＤに基づいて、ＤｅｐｔｈマップＤＭＡ２に含まれる主要被写体、すなわち、画像ＩＭ２に含まれる主要被写体（第２主要被写体）を検出する。ＡＦ制御部３４Ｄは、ＤｅｐｔｈマップＤＭＡ２を有限のクラスタに分解するクラスタリングを行う。クラスタリングの方法としては、例えば、Ｄｅｐｔｈ検出部３４Ｂと同様のｋ－ｍｅａｎｓ法と称される方法を適用することができる。
　クラスタリングがなされたＤｅｐｔｈマップの一例が、ＤｅｐｔｈマップＣＤＭＡ２として図８Ｃに示されている。動く被写体であっても、１フレーム間の時刻及び距離情報検出処理が行われる間におけるＺ軸方向の動きは僅かである。したがって、ＤｅｐｔｈマップＣＤＭＡ２は、ＤｅｐｔｈマップＣＤＭＡ１と略同様のクラスタ（例えば、６個のクラスタＣＬ１～ＣＬ６）に分類される。
　ＡＦ制御部３４Ｄは、例えば、上述したように前景Ｄｅｐｔｈ範囲が６～９ｍの場合には、ＤｅｐｔｈマップＤＭＡ２における６～９ｍの範囲、すなわちクラスタＣＬ３に対応する領域に主要被写体が存在すると検出する。主要被写体が存在すると検出された範囲の一例が図８Ｃにおいて太線で囲まれている。
　このように、時刻Ｔ２において主要被写体検出処理が終了しておらず主要被写体マップが存在しなくても、過去のフレーム（例えば、前のフレーム）を使用して得られた前景Ｄｅｐｔｈ範囲を使用して、最新フレームのどこに主要被写体が存在するかを検出することができる。
　図９は、前景Ｄｅｐｔｈ範囲を検出する処理の流れを示すフローチャートである。ステップＳＴ１１では、時刻Ｔ１における入力画像である画像ＩＭ１に対して、主要被写体検出部３４Ａが主要被写体検出処理を行い、画像ＩＭ１における主要被写体を検出する。検出結果である主要被写体マップＭＡ１が前景Ｄｅｐｔｈ範囲検出部３４Ｃに供給される。そして、処理がステップＳＴ１２に進む。
　ステップＳＴ１２では、Ｄｅｐｔｈ検出部３４Ｂが、画像ＩＭ１に対して距離情報検出処理を行い、画像ＩＭ１における各被写体の距離情報を検出する。検出結果であるＤｅｐｔｈマップＤＭＡ１が前景Ｄｅｐｔｈ範囲検出部３４Ｃに供給される。そして、処理がステップＳＴ１３に進む。
　ステップＳＴ１３では、前景Ｄｅｐｔｈ範囲検出部３４Ｃが、主要被写体マップＭＡ１及びＤｅｐｔｈマップＤＭＡ１を用いて前景Ｄｅｐｔｈ範囲を検出する。前景Ｄｅｐｔｈ範囲検出部３４Ｃが前景Ｄｅｐｔｈ範囲を検出する処理の内容は上述してあるので、重複した説明を省略する。前景Ｄｅｐｔｈ範囲を示す前景Ｄｅｐｔｈ範囲情報ＭＤがＡＦ制御部３４Ｄに供給される。そして、処理がステップＳＴ１４に進む。
　ステップＳＴ１４では、時刻Ｔ１より時間的に後の時刻Ｔ２における入力画像として画像ＩＭ２が入力される。Ｄｅｐｔｈ検出部３４Ｂが、画像ＩＭ２に対して距離情報検出処理を行い、画像ＩＭ２における各被写体の距離情報を検出する。検出結果であるＤｅｐｔｈマップＤＭＡ２がＡＦ制御部に供給される。そして、処理がステップＳＴ１５に進む。以降は、主要被写体検出部３４Ａによる主要被写体検出処理が行われるタイミングごとに、当該主要被写体検出処理により得られる最新の主要被写体情報に基づき、ステップＳＴ１１から続く同様の処理が行われる。
　ＡＦ制御部３４Ｄは、前景Ｄｅｐｔｈ範囲情報ＭＤに基づいて、ＤｅｐｔｈマップＤＭＡ２に含まれる主要被写体を検出し、画像ＩＭ２に含まれる主要被写体を検出する。ＡＦ制御部３４Ｄが、前景Ｄｅｐｔｈ範囲情報ＭＤに基づいて主要被写体を検出する処理は上述してあるので重複した説明を省略する。以上の処理により、画像ＩＭ２に対する主要被写体検出部３４Ａによる主要被写体検出処理が終了していない場合でも、現フレームにおける主要被写体を検出することができる。
（第１の制御例）
　前景Ｄｅｐｔｈ範囲情報ＭＤは、撮像装置１の様々な処理、例えば、ＡＦ制御における処理に用いることができる。具体的には、ＡＦ制御部３４Ｄが時間的に最も後の画像に含まれる主要被写体（例えば、上述した画像ＩＭ２に含まれる第２主要被写体）の検出結果に基づいてレンズの移動を制御する処理に、前景Ｄｅｐｔｈ範囲情報ＭＤを用いることができる。以下、前景Ｄｅｐｔｈ範囲情報ＭＤを使用したＡＦ制御の例（第１～第３の制御例）について説明する。なお、以下の説明では、前景Ｄｅｐｔｈ範囲の検出処理で説明した内容と同一、同質の構成に関しては同一の参照符号を付し、重複した説明を適宜、省略する。
　以下の制御は、ＵＩ（User Interface）として提示される複数のＡＦエリアのうち、ＡＦエリアが局所的に選択されるモードで行われる制御である。ＡＦエリアは、例えば、色が付された矩形の枠によりディスプレイ１５に表示されることにより、ユーザに提示される。ユーザは、複数のＡＦエリアのうちＡＦを行うエリアとして、例えば１個のＡＦエリアを選択する。このようなＡＦモードは、スポット等と称される。以下では、ＡＦモードの例としてスポットが選択された例を説明するが、スポットと異なるＡＦモードにおいて以下に説明する処理が行われても良い。
　図１０Ａは、時刻Ｔ３でディスプレイ１５に表示される画像ＩＭ３の一例を示している。時刻Ｔ３は、上述した時刻Ｔ２と同じ時刻でも良い。ディスプレイ１５には、ユーザが設定したＡＦエリアＡＲ１が示されている。ＡＦエリアＡＲ１で指定された範囲でＡＦが行われる。なお、ＡＦエリアＡＲ１はＵＩとして提示される領域であり、ＡＦエリアＡＲ１で行われるＡＦに使用されるセンサ情報は必ずしも、ＡＦエリアＡＲ１内のセンサ（例えば、像面位相差ＡＦセンサ１２Ｂ）から出力されるセンサ情報とは限らない。すなわち、ＵＩとして使用されるＡＦエリアＡＲ１と、ＡＦを信号処理的に行う際に用いられるＡＦセンサの範囲とは必ずしも一致していなくても良い。
　ここで、ユーザとしては例えばプロのカメラマンを想定する。このようなユーザは、局所的であり狭い範囲である１個のＡＦエリアＡＲ１に、動きのある主要被写体（例えば、人物Ｈ１の顔）を合わせるようなカメラワークを行うことができる。しかしながら、プロとカメラマンと言えども人為的な操作には限界があることから、図１０に示すように、主要被写体（例えば、人物Ｈ１の顔）がＡＦエリアＡＲ１から抜けてしまい、背景にＡＦが行われてしまう場合がある。このように、意図しないでピントが背景に合ってしまう現象は、背景抜けなどとも称される。特に、人物Ｈ１がアメリカンフットボール、サッカー等の動きの激しいスポーツのプレーヤである場合には、背景抜けが生じるおそれが高くなる。
　そこで、第１の制御例では、ＡＦ操作中に、ＡＦエリアＡＲ１内に背景しか存在しない場合には、有効なＡＦエリアを周辺まで拡大して、拡大後のＡＦエリアに主要被写体が存在するか否かを判断する。拡大後のＡＦエリアに主要被写体が存在すれば、当該ＡＦエリアでＡＦを行う。これにより、背景にＡＦがなされてしまうことを防止する。
　図１１及び図１２を参照して、第１の制御例について具体的に説明する。図１１は、第１の制御の処理の流れを示すフローチャートであり、図１２は、時間的に最も後に取得された画像ＩＭ３のＤｅｐｔｈマップであるＤｅｐｔｈマップＤＭＡ３を示している。なお、前景Ｄｅｐｔｈ範囲は、画像ＩＭ３より時間的に前に取得された画像を用いて上述した制御により取得することができ、本例では、クラスタＣＬ３（例えば、６～９ｍ）とする。以下の処理は、制御部３４（例えば、ＡＦ制御部３４Ｄ）が行う。
　図１１のフローチャートにおけるステップＳＴ２１では、設定されたＡＦエリアＡＲ１に主要被写体が存在するか否かが判断される。例えば、図１２に示すように、ＤｅｐｔｈマップＤＭＡ３を使用して、ＡＦエリアＡＲ１内にクラスタＣＬ３が含まれているか否かが判断される。ここで、ＡＦエリアＡＲ１内にクラスタＣＬ３が含まれている場合には、ＡＦエリアＡＲ１内に主要被写体があるものとして処理がステップＳＴ２２に進む。
　ステップＳＴ２２では、ＡＦエリアＡＲ１でＡＦが行われ、ＡＦエリアＡＲ１に対応する領域にピント（焦点）が合うように、レンズの位置が制御される。レンズの位置は、ＡＦ制御部３４Ｄがレンズ駆動機構２２Ａを制御することにより行われる。
　本例では図１２に示すように、ＡＦエリアＡＲ１内にクラスタＣＬ３が含まれていない。すなわち、ステップＳＴ２１における判断が否定判断となるので、処理がステップＳＴ２３に進む。
　ステップＳＴ２３では、ＡＦの探索範囲を広げる処理が行われ、ＡＦエリアを変更する処理が行われる。図１２では、変更後のＡＦエリアであるＡＦエリアＡＲ２が点線により示されている。ＡＦエリアＡＲ２の大きさは適宜、設定することができる。例えば、ＡＦエリアＡＲ２の大きさはＡＦエリアＡＲ１の数個分の大きさである。そして、処理がステップＳＴ２４に進む。
　ステップＳＴ２４では、変更後のＡＦエリアＡＲ２に主要被写体が存在するか否かが判断される。本例では、ＡＦエリアＡＲ２にクラスタＣＬ３が含まれている、すなわち、ＡＦエリアＡＲ２に主要被写体が存在することから、処理がステップＳＴ２５に進む。
　ステップＳＴ２５では、ＡＦエリアＡＲ２でＡＦが行われ、ＡＦエリアＡＲ２に対応する領域にピントが合うように、レンズの位置が制御される。
　ステップＳＴ２４の判断において、変更後のＡＦエリアＡＲ２にクラスタＣＬ３が含まれてない、すなわち、ＡＦエリアＡＲ２に主要被写体が存在しないことから、処理がステップＳＴ２６に進む。
　ステップＳＴ２６では、設定されているＡＦエリアＡＲ１の周囲にも主要被写体が存在しないことから、元々設定されていたＡＦエリアであるＡＦエリアＡＲ１でＡＦが行われ、ＡＦエリアＡＲ１に対応する領域にピントが合うように、レンズの位置が制御される。
　第１の制御例では、ユーザが設定したＡＦエリアに主要被写体がない場合でも、当該ＡＦエリア周辺に主要被写体が存在することが多い点を考慮し、ＡＦエリアの範囲を拡大する。拡大後のＡＦエリアに主要被写体が存在すれば拡大後のＡＦエリアでＡＦを行う。これにより、ユーザが設定したＡＦエリアに主要被写体がない場合に、背景にＡＦが行われてしまうことを防止することができる。
　なお、変更後のＡＦエリアＡＲ２は、ユーザの意図（設定したＡＦエリアがＡＦエリアＡＲ１である意図）を尊重してディスプレイ１５に表示されないことが好ましいが、表示されても良い。表示させる場合には、ＡＦエリアの範囲を拡大したことをユーザに認識させるために一時的に表示させ、その後通常の範囲のＡＦエリアを表示させることができる。また、ＡＦエリアを拡大する際に、複数のステップで徐々にＡＦエリアを拡大していき、各ステップにおいて変更後のＡＦエリア内に主要被写体が存在するか否かが判断されるようにしても良い。
（第２の制御例）
　次に、第２の制御について説明する。例えば、主要被写体を切り替える等の際に、撮像装置１を大きく振る操作がなされたとする。操作終了後のタイミングで、ユーザにより設定されているＡＦエリアＡＲ１には背景のみが存在し、当該背景にピントが合った場合を考える。この後、ユーザが、ＡＦエリアＡＲ１内に主要被写体が含まれるように素早く撮像装置１を移動する。
　ところで、撮像装置では、一度ピントが合った箇所の前を人物等が一時的に横切った場合等を考慮して、１回ＡＦした箇所をロックし、横切った人物等にＡＦしないようにレンズ位置を固定したりレンズ移動の反応性を調整する、いわゆる安定化処理と称される処理が行われることが一般的である。この安定化処理のため、ユーザが、ＡＦエリアＡＲ１内に主要被写体が含まれるように素早く撮像装置１を移動しても主要被写体にＡＦが行われない場合がある。一方で、安定化処理を行わずに常に前側にＡＦしてしまうと、主要被写体の前を横切ったものにＡＦしてしまいＡＦの安定性が損なわれる問題がある。第２の制御例は、前景Ｄｅｐｔｈ範囲情報ＭＤを使用してこれらの問題を回避する制御である。
　図１３及び図１４を参照して、第２の制御例について詳細に説明する。図１３は、第２の制御における処理の流れを示すフローチャートである。図１４Ａは、ある時刻Ｔ５で取得される画像ＩＭ５のＤｅｐｔｈマップＤＭＡ５を示し、図１４Ｂは、時間的に最も後の時刻Ｔ６で取得される画像ＩＭ６のＤｅｐｔｈマップＤＭＡ６を示している。なお、前景Ｄｅｐｔｈ範囲は、画像ＩＭ５、ＩＭ６よりも時間的に前に取得された画像を用いて上述した処理と同様にして取得することができ、本例では、クラスタＣＬ３（例えば、６～９ｍ）とする。以下の処理は、制御部３４（例えば、ＡＦ制御部３４Ｄ）が行う。
　図１３のフローチャートにおけるステップＳＴ３１では、時刻Ｔ５におけるＡＦエリアＡＲ１に背景が存在していると判断される。例えば、図１４Ａに示すように、ユーザにより設定されたＡＦエリアＡＲ１内にはクラスタＣＬ３の領域は含まれないことから、ＡＦエリアＡＲ１には主要被写体が存在せず背景が存在していると判断される。そして、処理がステップＳＴ３２に進む。
　ステップＳＴ３２では、時刻Ｔ５より時間的に後の時刻Ｔ６に撮像装置１を移動させる操作がなされる。そして、時刻Ｔ６において、ＡＦエリアＡＲ１内に主要被写体が存在するか否かが判断される。例えば、図１４Ｂに示すように、ＤｅｐｔｈマップＤＭＡ６において、ＡＦエリアＡＲ１に対応する領域にクラスタＣＬ３が含まれている場合には、ＡＦエリアＡＲ１内に主要被写体が存在すると判断される。そして、処理がステップＳＴ３３に進む。
　ステップＳＴ３３では、安定化処理を無効化する処理が行われ、安定化処理が行われないようにする制御がなされる。そして、ＡＦエリアＡＲ１でＡＦが行われ、主要被写体である人物Ｈ１の顔にピントが合わせられる。これにより、主要被写体ではない背景等にＡＦが行われてしまっている状態から、ＡＦエリアＡＲ１を主要被写体に合わせた状態に遷移した場合に、ＡＦが背景等に抜けてしまった状態からの復帰を高速化することができる。
　ステップＳＴ３２において、ＡＦエリアＡＲ１内に主要被写体が存在しないと判断された場合には、処理がステップＳＴ３４に進む。ステップＳＴ３４では、必要に応じて安定化処理が行われる。撮像装置１の移動操作後、ＡＦエリアＡＲ１に含まれるものがクラスタＣＬ５やＣＬ６に相当する距離の場合は、安定化処理を行う必要はない。一方で、撮像装置１の移動操作後、ユーザの意図がＡＦエリアＡＲ１内に主要被写体を含めたつもりだったとしても、主要被写体の前側に意図しない人物が存在したり通り過ぎる場合もある。但し、撮像装置１により近い箇所に存在する人物は、ＡＦエリアＡＲ１内でクラスタＣＬ１やＣＬ２として検出されるはずである。したがって、このような場合には安定化処理を行うことにより、ＡＦの安定性が損なわれてしまうことを防止することができる。そして、処理がステップＳＴ３１に戻り、上述した処理が繰り返される。
（第３の制御例）
　次に、第３の制御について説明する。第３の制御は、主要被写体の動きに追従している場合には、安定化処理を行う例である。
　図１５は、第３の制御における処理の流れを示すフローチャートである。ステップＳＴ４１では、ユーザにより設定されたＡＦエリアＡＲ１に主要被写体が存在することが検出される。例えば、ＡＦエリアＡＲ１内にはクラスタＣＬ３の領域が含まれている場合に、ＡＦエリアＡＲ１内に主要被写体が存在すると判断される。そして、処理がステップＳＴ４２に進む。
　ステップＳＴ４２では、時間的に最も後に取得された画像におけるＡＦエリアＡＲ１から主要被写体がなくなったか否かが判断される。ＡＦエリアＡＲ１から主要被写体が存在し続ける場合には、処理がステップＳＴ４１に戻る。また、ＡＦエリアＡＲ１から主要被写体がなくなった場合は、処理がステップＳＴ４３に進む。
　ステップＳＴ４３では、主要被写体からフレーミングを外した場合でも、ピントが背景に合ってしまわないように安定化処理が行われる。例えば、制御部３４によりレンズ駆動機構２２Ａが制御され、レンズの位置が固定される。なお、安定化処理が開始された後、例えば数フレームにわたって、ＡＦエリアＡＲ１に主要被写体が存在しない場合には、当該ＡＦエリアＡＲ１に対応する領域にピントを合わせるようにしても良い。
　以上説明したように、第３の制御によれば、ＡＦ操作中に、ＡＦエリアＡＲ１に前景Ｄｅｐｔｈ範囲が存在していたら、換言すれば、主要被写体が存在すれば、ＡＦが主要被写体にあっている状態と判断し、ピント位置が大きく動かなくなるようにロックする。これにより、撮像装置１で主要被写体を追い続けている途中で、ＡＦエリアＡＲ１から主要被写体が一時的に外れてしまった場合でもピントが背景に合わないようにすることができる。
　このように、前景Ｄｅｐｔｈ範囲情報ＭＤを利用して最新フレームにおける主要被写体を検出できるとともに、ＡＦの様々な制御を実現することができる。
＜２．変形例＞
　上述した一実施形態における第１～第３の制御は独立した制御でなく、関連する制御であっても良い。例えば、第１の制御において、拡張されたＡＦエリアＡＲ１内に主要被写体が存在しないと判断された後に、第２の制御が行われるようにしても良い。また、撮像装置１に設定されるモードに応じて、行われる制御が異なるようにしても良い
　上述した一実施形態では、主要被写体検出部３４Ａがフレーム間の差分に基づいて動きを検出し、動きのなる被写体を主要被写体とみなす例について説明したが、これに限定されるものではない。例えば、主要被写体検出部３４Ａは、オプティカルフローにより動きを検出するものであっても良い。また、顔認識や人物認識等の被写体認識を利用したり、被写体追尾を利用したりして、その結果に基づいて、主要被写体を特定しても良い。ユーザにより指定された領域に存在する被写体や、ユーザの指定した特定の色範囲を主要被写体とみなしても良い。主要被写体らしさを学習し、その結果得られるものを主要被写体とみなしても良い。画面上の顕著な領域を抽出する技術であるセイレンシーを用いて主要被写体を特定するようにしても良い。また、これらの方法を組み合わせて主要被写体を特定するようにしても良い。
　上述した一実施形態では、Ｄｅｐｔｈ検出部３４Ｂが、像面位相差ＡＦセンサ１２Ｂ及び専用位相差ＡＦセンサ１３により取得されるセンサ情報を利用して距離情報を得るようにしたが、これに限定されるものではない。例えば、Ｄｅｐｔｈ検出部３４Ｂが、多眼カメラによるステレオ視の結果に基づいて距離情報を取得しても良いし、ライトフィールドカメラを使用して距離情報を取得しても良いし、三角測量センサを利用して距離情報を取得するようにしても良い。また、複数フレームの画像を利用して（動体視差を利用して）距離情報を取得するようにしても良いし、ボケの程度を利用して距離情報を取得するようにしても良い。ボケの程度を利用して距離情報を取得する方法は、ＤＦＤ（Depth from defocus）と称される。
　上述した一実施形態におけるクラスタリングの方法は、ｋ－ｍｅａｎｓ法に限定されるものではなく、公知の方法を適用することができる。
　上述した一実施形態において、最新のフレームにおいて主要被写体が存在する距離の範囲を着色したり、枠で囲む等してユーザにＵＩとして提示しても良い。例えば、ディスプレイ１５を提示部として機能させ、最新のフレームにおいて主要被写体が存在する距離の範囲を他の箇所と区別してディスプレイ１５に表示しても良い。ディスプレイ１５は、撮像装置１と別体とされていても良い。
　上述した第１～第３の制御における処理の順序が変更されても良いし、並列的に行われても良い。例えば、図９に示す処理の流れにおいて、ステップＳＴ１１、ＳＴ１２の処理が並列的に行われても良い。
　上述した一実施形態では、安定化処理の一例としてレンズの位置を固定する処理を説明したが、ピントが大きくずれない範囲でレンズの多少の動きがあってもよい。レンズの位置を固定するとは、レンズ位置の動きが０の他、ピントが大きくずれない範囲での多少の動きを許容する意味である。また、安定化処理に対する感度を設定できるようにしても良い。例えば、設定された感度に応じて、レンズの位置が固定または所定の範囲で可変とされても良い。
　上述した実施形態における撮像装置は、顕微鏡等の医療用の機器やスマートフォン、コンピュータ装置、ゲーム機器、ロボット、防犯カメラ、移動体（車両、電車、飛行機、ヘリコプター、小型飛行体、工事用車両、農業用車両等）に組み込まれていても良い。
　本開示は、制御部３４を有する制御装置（例えば、１チップのマイクロコンピュータ）により実現することも可能であるし、複数の装置からなる撮像システムとして実現することも可能である他、方法、プログラム等により実現することもできる。例えば、一実施形態で説明した制御を行うプログラムをダウンロード可能とし、一実施形態で説明した制御機能を有しない撮像装置（例えば、スマートフォンに備えられる撮像装置）が当該プログラムをダウンロードしてインストールすることにより、当該撮像装置において一実施形態で説明した制御を行うことが可能となる。
　＜３．応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。本開示の測距結果を、例えば、センシングにおける注目領域の設定・維持、危険運転等の自動運転アシストなどに利用することができる。
　図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１７は、撮像部１２０３１の設置位置の例を示す図である。
　図１７では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図２の撮像装置１を、撮像部１２０３１に適用することができる。例えば、自動車に本開示に係る技術を適用することにより、車外の障害物までの距離を適切に検出できるので、自動運転制御システムや自動ブレーキシステムが適切に動作し、安全で快適な運転を可能にする。なお、測距結果を、例えば、センシングにおける注目領域の設定・維持、危険運転等の自動運転アシストなどに利用した場合は、制御部３４により実行される制御は測距結果に応じたレンズ制御に限定されるものではない。
　本開示は、以下の構成も採ることができる。
（１）
　第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得する主要被写体検出部と、
　前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得する距離情報算出部と、
　前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する検出部と
　を有する制御装置。
（２）
　前記距離情報算出部は、前記第１画像よりも時間的に後に取得される第２画像に含まれる被写体の距離を検出し、当該距離を示す第２距離情報を取得し、
　前記主要被写体距離情報及び前記第２距離情報に基づいて、前記第２画像に含まれる前記被写体のうちの第２主要被写体を検出する制御部を有する
　（１）に記載の制御装置。
（３）
　前記制御部は、前記第２主要被写体の検出結果に基づいてレンズの移動を制御する
　（２）に記載の制御装置。
（４）
　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第２主要被写体が存在する場合には、前記第１領域に焦点が合うようにレンズの移動を制御し、前記第１領域に前記第２主要被写体が存在しない場合には、前記第１領域を拡大した第２領域を設定する制御を行う
　（２）または（３）に記載の制御装置。
（５）
　前記制御部は、前記第２領域に前記第２主要被写体が存在する場合には、前記第２領域に焦点が合うように前記レンズの移動を制御し、前記第２領域に前記第２主要被写体が存在しない場合には、前記第１領域に焦点が合うように前記レンズの移動を制御する
　（４）に記載の制御装置。
（６）
　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第１主要被写体が存在せず、前記第１領域に前記第２主要被写体が存在する場合には、安定化処理を無効にする制御を行う
　（２）または（３）に記載の制御装置。
（７）
　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第１主要被写体が存在し、前記第１領域に前記第２主要被写体が存在しない場合には、安定化処理を有効にする制御を行う
　（２）または（３）に記載の制御装置。
（８）
　前記検出部は、前記第１距離情報をクラスタ分類し、前記主要被写体情報を参照することにより、前記第１主要被写体が含まれる割合が所定の閾値以上のクラスタを示す情報を前記主要被写体距離情報として取得する
　（１）～（７）の何れかに記載の制御装置。
（９）
　前記検出部は、前記第１距離情報をクラスタ分類し、前記主要被写体情報を参照することにより、前記第１主要被写体が含まれる割合が最も大きいクラスタを示す情報を前記主要被写体距離情報として取得する
　（１）～（７）の何れかに記載の制御装置。
（１０）
　前記距離は、所定の距離範囲を示す
　（１）～（９）の何れかに記載の制御装置。
（１１）
　前記第１領域は、表示部に表示され、選択可能な複数のオートフォーカス領域のうち、ユーザにより選択された１個の領域である
　（４）、（５）、（９）の何れかに記載の制御装置。
（１２）
　前記第２領域は、前記表示部に表示されない領域である
　（４）、（７）、（８）、（９）の何れかに記載の制御装置。
（１３）
　前記第２領域は、前記表示部に一時的に表示される領域である
　（４）、（７）、（８）、（９）の何れかに記載の制御装置。
（１４）
　前記安定化処理は、レンズの位置を固定する処理である
　（４）、（７）、（８）、（９）に記載の制御装置。
（１５）
　前記第２画像は、時間的に最も後に取得された画像である
　（２）～（１４）の何れかに記載の制御装置。
（１６）
　（１）～（１５）の何れかに記載の制御装置と、
　撮像部と
　を有する撮像装置。
（１７）
　前記第２主要被写体の範囲を提示する提示部を有する
　（１６）に記載の撮像装置。
（１８）
　レンズ駆動部を有し、
　前記制御装置により前記レンズ駆動部が制御されることにより、レンズの移動が制御される
　（１６）に記載の撮像装置。
（１９）
　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
　距離情報算出部が、前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
　検出部が、前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
　制御方法。
（２０）
　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
　距離情報算出部が、前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
　検出部が、前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
制御方法をコンピュータに実行させるプログラム。
１・・・撮像装置、１５・・・ディスプレイ、３４・・・制御部、３４Ａ・・・主要被写体検出部、３４Ｂ・・・Ｄｅｐｔｈ検出部、３４Ｃ・・・前景Ｄｅｐｔｈ範囲検出部、３４Ｄ・・・ＡＦ制御部、ＩＭ１・・・第１画像、ＩＭ２・・・第２画像、ＭＡ１・・・主要被写体マップ、ＤＭＡ１・・・Ｄｅｐｔｈマップ、ＭＤ・・・前景Ｄｅｐｔｈ範囲情報、ＣＬ・・・クラスタ、ＡＲ・・・ＡＦエリア

Claims (20)

  1. 　第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得する主要被写体検出部と、
    　前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得する距離情報算出部と、
    　前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する検出部と
    　を有する制御装置。
  2. 　前記距離情報算出部は、前記第１画像よりも時間的に後に取得される第２画像に含まれる被写体の距離を検出し、当該距離を示す第２距離情報を取得し、
    　前記主要被写体距離情報及び前記第２距離情報に基づいて、前記第２画像に含まれる前記被写体のうちの第２主要被写体を検出する制御部を有する
    　請求項１に記載の制御装置。
  3. 　前記制御部は、前記第２主要被写体の検出結果に基づいてレンズの移動を制御する
    　請求項２に記載の制御装置。
  4. 　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第２主要被写体が存在する場合には、前記第１領域に焦点が合うようにレンズの移動を制御し、前記第１領域に前記第２主要被写体が存在しない場合には、前記第１領域を拡大した第２領域を設定する制御を行う
    　請求項２に記載の制御装置。
  5. 　前記制御部は、前記第２領域に前記第２主要被写体が存在する場合には、前記第２領域に焦点が合うように前記レンズの移動を制御し、前記第２領域に前記第２主要被写体が存在しない場合には、前記第１領域に焦点が合うように前記レンズの移動を制御する
    　請求項４に記載の制御装置。
  6. 　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第１主要被写体が存在せず、前記第１領域に前記第２主要被写体が存在する場合には、安定化処理を無効にする制御を行う
    　請求項２に記載の制御装置。
  7. 　前記制御部は、撮像部の撮影範囲において設定される第１領域に前記第１主要被写体が存在し、前記第１領域に前記第２主要被写体が存在しない場合には、安定化処理を有効にする制御を行う
    　請求項２に記載の制御装置。
  8. 　前記検出部は、前記第１距離情報をクラスタ分類し、前記主要被写体情報を参照することにより、前記第１主要被写体が含まれる割合が所定の閾値以上のクラスタを示す情報を前記主要被写体距離情報として取得する
    　請求項１に記載の制御装置。
  9. 　前記検出部は、前記第１距離情報をクラスタ分類し、前記主要被写体情報を参照することにより、前記第１主要被写体が含まれる割合が最も大きいクラスタを示す情報を前記主要被写体距離情報として取得する
    　請求項１に記載の制御装置。
  10. 　前記距離は、所定の距離範囲を示す
    　請求項１に記載の制御装置。
  11. 　前記第１領域は、表示部に表示され、選択可能な複数のオートフォーカス領域のうち、ユーザにより選択された１個の領域である
    　請求項４に記載の制御装置。
  12. 　前記第２領域は、前記表示部に表示されない領域である
    　請求項１１に記載の制御装置。
  13. 　前記第２領域は、前記表示部に一時的に表示される領域である
    　請求項１１に記載の制御装置。
  14. 　前記安定化処理は、レンズの位置を固定する処理である
    　請求項６に記載の制御装置。
  15. 　前記第２画像は、時間的に最も後に取得された画像である
    　請求項２に記載の制御装置。
  16. 　請求項１に記載の制御装置と、
    　撮像部と
    　を有する撮像装置。
  17. 　前記第２主要被写体の範囲を提示する提示部を有する
    　請求項１６に記載の撮像装置。
  18. 　レンズ駆動部を有し、
    　前記制御装置により前記レンズ駆動部が制御されることにより、レンズの移動が制御される
    　請求項１６に記載の撮像装置。
  19. 　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
    　距離情報算出部が、前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
    　検出部が、前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
    　制御方法。
  20. 　主要被写体検出部が、第１画像に含まれる被写体のうちの第１主要被写体を検出し、当該第１主要被写体を示す主要被写体情報を取得し、
    　距離情報算出部が、前記第１画像に含まれる前記被写体の距離を検出し、当該距離を示す第１距離情報を取得し、
    　検出部が、前記主要被写体情報及び前記第１距離情報に基づいて、前記第１主要被写体が含まれる距離を検出し、前記第１主要被写体が含まれる距離を示す主要被写体距離情報を取得する
    制御方法をコンピュータに実行させるプログラム。
PCT/JP2018/001304 2017-03-31 2018-01-18 制御装置、撮像装置、制御方法及びプログラム WO2018179695A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18774522.9A EP3606039A1 (en) 2017-03-31 2018-01-18 Control device, imaging device, control method and program
US16/493,599 US10999488B2 (en) 2017-03-31 2018-01-18 Control device, imaging device, and control method
JP2019508602A JP7103346B2 (ja) 2017-03-31 2018-01-18 制御装置、撮像装置、制御方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017072821 2017-03-31
JP2017-072821 2017-03-31

Publications (1)

Publication Number Publication Date
WO2018179695A1 true WO2018179695A1 (ja) 2018-10-04

Family

ID=63674600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001304 WO2018179695A1 (ja) 2017-03-31 2018-01-18 制御装置、撮像装置、制御方法及びプログラム

Country Status (4)

Country Link
US (1) US10999488B2 (ja)
EP (1) EP3606039A1 (ja)
JP (1) JP7103346B2 (ja)
WO (1) WO2018179695A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021197623A (ja) * 2020-06-12 2021-12-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233034A (ja) 2006-03-01 2007-09-13 Nikon Corp 撮像装置
JP2012124712A (ja) * 2010-12-08 2012-06-28 Sharp Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2017038245A (ja) * 2015-08-11 2017-02-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017163412A (ja) * 2016-03-10 2017-09-14 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0664225B2 (ja) * 1985-08-27 1994-08-22 ミノルタカメラ株式会社 焦点調節装置
JP3897087B2 (ja) * 1999-11-16 2007-03-22 富士フイルム株式会社 画像処理装置、画像処理方法、および記録媒体
JP5038283B2 (ja) * 2008-11-05 2012-10-03 キヤノン株式会社 撮影システム及びレンズ装置
JP5229371B2 (ja) * 2011-10-03 2013-07-03 株式会社ニコン 撮像装置
US9196027B2 (en) * 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233034A (ja) 2006-03-01 2007-09-13 Nikon Corp 撮像装置
JP2012124712A (ja) * 2010-12-08 2012-06-28 Sharp Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2017038245A (ja) * 2015-08-11 2017-02-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017163412A (ja) * 2016-03-10 2017-09-14 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム

Also Published As

Publication number Publication date
US10999488B2 (en) 2021-05-04
JP7103346B2 (ja) 2022-07-20
EP3606039A1 (en) 2020-02-05
JPWO2018179695A1 (ja) 2020-02-06
US20200084369A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
JP7014218B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7059522B2 (ja) 制御装置、制御方法、プログラム及び撮像システム
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
JP6977722B2 (ja) 撮像装置、および画像処理システム
JP7020434B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11889177B2 (en) Electronic device and solid-state imaging device
JP6816768B2 (ja) 画像処理装置と画像処理方法
JP6816769B2 (ja) 画像処理装置と画像処理方法
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
CN110012215B (zh) 图像处理装置和图像处理方法
WO2017122396A1 (ja) 制御装置、制御方法及びプログラム
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP7103346B2 (ja) 制御装置、撮像装置、制御方法及びプログラム
TWI794207B (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
WO2018220993A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
WO2023210197A1 (ja) 撮像装置および信号処理方法
JP7140819B2 (ja) 撮像装置
US20190306444A1 (en) Imaging control apparatus and method, and vehicle
KR20200119790A (ko) 인식 장치와 인식 방법 그리고 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18774522

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508602

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018774522

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018774522

Country of ref document: EP

Effective date: 20191031