WO2013088917A1 - 画像処理装置、画像処理方法、及び記録媒体 - Google Patents

画像処理装置、画像処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2013088917A1
WO2013088917A1 PCT/JP2012/080033 JP2012080033W WO2013088917A1 WO 2013088917 A1 WO2013088917 A1 WO 2013088917A1 JP 2012080033 W JP2012080033 W JP 2012080033W WO 2013088917 A1 WO2013088917 A1 WO 2013088917A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
distance information
unit
imaging
Prior art date
Application number
PCT/JP2012/080033
Other languages
English (en)
French (fr)
Inventor
増田　篤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP12857038.9A priority Critical patent/EP2793457B1/en
Priority to US14/363,194 priority patent/US9818202B2/en
Priority to JP2013549180A priority patent/JP5954336B2/ja
Priority to CN201280060388.3A priority patent/CN103988490B/zh
Publication of WO2013088917A1 publication Critical patent/WO2013088917A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a recording medium.
  • an imaging apparatus for example, an imaging apparatus that automatically tracks a subject when imaging a moving subject is known (see Patent Document 1).
  • Patent Document 1 describes an imaging apparatus that performs focus adjustment by tracking a target image by repeatedly detecting the target image from a plurality of images based on the color and luminance of the target.
  • Patent Document 1 when a plurality of subjects that can be tracked have the same color and brightness, there is a risk of tracking a subject other than the desired subject. For example, when two subjects move so as to intersect, if the two subjects have the same color and brightness, the subject to be tracked may be switched from one subject that has been followed to the other subject.
  • the present disclosure proposes a tracking method that can track a moving subject with high accuracy.
  • a distance information acquisition unit that acquires distance information to a subject imaged by an imaging device
  • a pixel value information acquisition unit that acquires pixel value information of an image corresponding to the subject
  • the acquired distance An image processing apparatus is provided that includes a tracking unit that tracks the moving subject based on the information and the pixel value information.
  • the distance information to the subject imaged by the image sensor, the pixel value information of the image corresponding to the subject, the distance information and the pixel value obtained are acquired. And tracking the moving subject based on the information.
  • An image processing method is provided.
  • the computer acquires the distance information to the subject imaged by the imaging element, the pixel value information of the image corresponding to the subject, the acquired distance information, There is provided a recording medium on which a program for executing tracking of the moving subject is recorded based on the pixel value information.
  • the image of the moving subject is tracked. For this reason, for example, even if the pixel value information such as color and brightness of a plurality of subjects is the same, individual subjects can be identified based on the distance information, and a desired subject can be tracked. It is possible to follow.
  • FIG. 1 is a block diagram illustrating an electrical configuration of an imaging apparatus according to a first embodiment. It is a figure for demonstrating the structure of an image pick-up element. It is a figure for demonstrating the structure of an image pick-up element. It is a block diagram which shows an example of a structure of the tracking function of an imaging device. It is a flowchart which shows the operation example of the imaging device at the time of imaging while tracking the to-be-moved subject. It is a flowchart which shows the selection process of imaging mode.
  • 6 is a flowchart illustrating subject tracking and focus tracking processing; It is a figure which shows the to-be-tracked subject. It is a graph which shows the relationship between an AF point position and the distance from the imaging device of a to-be-photographed object. It is a figure for demonstrating the prediction method of the moving direction of a to-be-photographed object. It is a front view which shows the external appearance structure of the imaging device which concerns on 2nd Embodiment. It is a rear view which shows the external appearance structure of the imaging device which concerns on 2nd Embodiment.
  • First embodiment 1-1 External configuration of imaging device 1-2. Electrical configuration of imaging apparatus 1-3. Detailed configuration of image sensor 1-4. Subject tracking function 1-5. Operation of imaging apparatus 1-6. Summary of first embodiment Second embodiment 2-1. Appearance configuration of imaging apparatus 2-2. Internal configuration of imaging apparatus 2-3. Electrical configuration of imaging apparatus 2-4. 2. Subject tracking function Third embodiment
  • FIG. 1 is a front view showing an external configuration of the imaging apparatus 1 according to the first embodiment.
  • FIG. 2 is a rear view showing an external configuration of the imaging apparatus 1 according to the first embodiment.
  • the imaging apparatus 1 is configured as a compact digital still camera, for example.
  • the imaging device 1 includes a camera body 10 and an imaging lens 2 fixed to the camera body 10.
  • a built-in flash 318 and a shutter button 307 disposed on the upper surface are provided on the front side of the camera body 10.
  • an LCD Liquid Crystal
  • Display 311 is provided.
  • the shutter button 307 is a push-down switch that can be operated in a “half-pressed state” that is pressed halfway and further operated in a “full-pressed state”.
  • a preparatory operation preparation operation such as setting of an exposure control value or focus detection
  • an imaging operation a sequence of exposing the imaging device 4 shown in FIG. 3, performing predetermined image processing on the image signal obtained by the exposure, and recording the image signal on a memory card or the like. Is performed).
  • the LCD 311 includes a color liquid crystal touch panel that can display an image, and displays a through image that is an image of a subject imaged by the imaging device 4 and a reproduction display of a recorded image.
  • the LCD 311 is used to set functions and modes installed in the imaging apparatus 1 and displays the setting screen.
  • a device capable of touch input such as an organic EL type or a plasma display type may be used.
  • the main switch (not shown) is arranged on the upper surface of the camera body 10 and is composed of a push switch.
  • the power source of the image pickup apparatus 1 is turned on and off each time it is pressed.
  • the imaging lens 2 functions as a lens window that captures light (light image) from the subject, and also functions as an imaging optical system for guiding the subject light to the imaging element 4 disposed inside the camera body 10. It is.
  • the imaging lens 2 includes a lens group including a plurality of lenses arranged in series along the optical axis. This lens group includes a focus lens for adjusting the focus and a zoom lens for changing the magnification, and each lens is driven in the direction of the optical axis to change the magnification and adjust the focus. Is called.
  • FIG. 3 is a block diagram illustrating an electrical configuration of the imaging apparatus 1 according to the first embodiment.
  • the imaging device 1 includes an imaging lens 2, a camera DSP unit 3, an imaging device 4, a preprocessing unit 5, an LCD 16, a recording medium 19, an operation unit 22, a CPU 20, a USB 23, an EEPROM 24, a RAM 25, and a flash 27. And a memory 28.
  • the imaging lens 2 controls the camera DSP (Digital Signal Processor) unit 3 to change the zoom lens, the focus, and the aperture, and condenses the incident light on the imaging surface of the subsequent imaging device 4, thereby the imaging surface of the imaging device 4. An optical image is formed.
  • DSP Digital Signal Processor
  • the image sensor 4 images a subject.
  • the imaging device 4 is a CMOS (Complementary Metal-Oxide Semiconductor) solid-state imaging device or the like, and photoelectrically converts an optical image formed on the imaging surface by driving the preprocessing unit 5 and outputs an imaging signal based on the imaging result.
  • CMOS Complementary Metal-Oxide Semiconductor
  • the image sensor 4 is arranged on a plane (XY plane) perpendicular to the Z axis and receives subject light.
  • a plurality of pixels configured with photodiodes are two-dimensionally arranged in a matrix.
  • normal pixels in which, for example, R (red), G (green), and B (blue) color filters having different spectral characteristics are arranged at a ratio of 1: 2: 1 on the light receiving surface of each pixel; Phase difference pixels for detecting the focus by dividing the subject light into pupils are arranged.
  • the imaging device 4 generates analog electrical signals (image signals) of R (red), G (green), and B (blue) color components related to the subject light image formed through the imaging lens 2. While outputting as an image signal of each color of G and B, phase difference information is also output.
  • image signals analog electrical signals
  • G green
  • B blue
  • the pre-processing unit 5 drives the image sensor 4 and also processes the image signal output from the image sensor 4 to output image data.
  • the preprocessing unit 5 includes a timing generator (TG) 6, a V driver 7, and a CDS / AGC / ADC unit 8.
  • the timing generator (TG) 6 generates and outputs various timing signals that are the driving reference of the image sensor 4, and the V driver 7 drives the image sensor 4 with the timing signal generated by the timing generator 6.
  • the CDS / AGC / ADC unit 8 performs correlated double sampling (CDS: Correlated Double Sampling) on the image pickup signal output from the image pickup device 4, thereby generating, for example, a primary color system color signal. Further, the CDS / AGC / ADC unit 8 corrects the signal level of the color signal by automatic gain control (AGC), and then generates image data by performing analog-digital conversion processing (ADC: Analog-to-Digital Converter). To do. Thereafter, the CDS / AGC / ADC unit 8 outputs the image data to the camera DSP unit 3.
  • CDS Correlated Double Sampling
  • the camera DSP unit 3 switches its operation under the control of a central processing unit (CPU) 20, and uses the memory 28 to perform processing relating to recording / reproduction of image data output from the preprocessing unit 5, monitoring, and the like. Execute.
  • the memory 28 forms a working area for the camera DSP unit 3.
  • the camera DSP unit 3 includes a camera signal processing unit 11, a memory control unit 12, a lens control unit 13, a resolution conversion unit 14, a display control unit 15, an image codec 17, a media control unit 18, and a BIU 21. And a flash control unit 26.
  • the camera signal processing unit 11 performs white balance adjustment processing, gamma correction processing, and the like on the image data output from the preprocessing unit 5 and stores the processed image data in the memory 28 via the memory control unit 12. 14 for output. Further, the camera signal processing unit 11 detects information necessary for aperture correction and autofocus adjustment from the image data, and outputs the detected information to the lens control unit 13.
  • the memory control unit 12 is a control unit that controls the memory 28 external to the camera DSP unit 3, records image data output from each unit of the camera DSP unit 3 in the memory 28, and also records images recorded in the memory 28. Data is read out and output to each part of the camera DSP unit 3.
  • the resolution conversion unit 14 converts the resolution of the image data stored in the memory 28 or the image data output from the camera signal processing unit 11 and stores it in the memory 28.
  • the camera DSP unit 3 converts the imaging result obtained from the imaging device 4 into a resolution for display on the liquid crystal display panel 16 and also converts it into a resolution designated by the user on the recording medium 19.
  • the camera DSP unit 3 cuts out a partial region of the imaging result and executes processing relating to resolution conversion processing, thereby executing processing of electronic zoom and playback zoom.
  • the display control unit 15 drives a liquid crystal display panel (LCD: Liquid Crystal Display) 16 by the image data stored in the memory 28, thereby displaying a monitor image of the imaging result and imaging result recorded on the recording medium. Is displayed.
  • LCD Liquid Crystal Display
  • the image codec 17 compresses the image data stored in the memory 28 and outputs the compressed data to each unit of the camera DSP unit 3. On the contrary, the image codec 17 decompresses the image data stored in the memory 28 and performs the camera DSP unit. 3 to each part.
  • JPEG Joint Photographic Coding Experts Group
  • ISO / TIEC TCC / SC29WG11 MPEG1 Motion Picture Experts Group 1
  • MPEG2, MPEG4, ITU-T H. 263, H. 264 / MPEG4-AVC Advanced Video Coding
  • the media control unit 18 records the image data stored in the memory 28 on the recording medium 19, reads out the image data recorded on the recording medium 19, and outputs it to the memory 28.
  • the recording medium 19 various recording media such as a so-called memory card using a semiconductor memory, a recordable DVD (Digital Versatile Disk), an optical disk using a recordable CD (Compact Disc), and a hard disk device can be widely applied.
  • the lens control unit 13 controls the aperture of the lens block 2 based on information obtained from the camera signal processing unit 11, and also performs autofocus control of the lens block 2 using a so-called hill climbing method. Further, the zoom of the lens block 2 is varied in response to an operation by the user under the control of the central processing unit 20.
  • the BIU (Bus Interface Unit) 21 is an interface between the central processing unit 20 and the camera DSP unit 3 and inputs / outputs commands related to the control of the camera DSP unit 3 by the central processing unit 20.
  • the flash control unit 26 controls the light emission amount of the flash 27 to the light emission amount set by the central processing unit 20 in the flash imaging mode.
  • the operation unit 22 is a user interface using an operator provided in the imaging apparatus 1 and a touch panel provided on the display screen of the liquid crystal display panel 16, and notifies the central processing unit 20 of an operation by the user.
  • USB (Universal Serial Bus) 23 is a storage class compatible interface, and connects an external device such as a personal computer and inputs / outputs various data to / from the external device.
  • An EEPROM (Electrically-Erasable-Programmable-Read-Only Memory-) 24 is a recording medium on which a processing program of the central processing unit 20 is recorded.
  • the RAM 25 is a work memory of the central processing unit 20.
  • the processing program of the central processing unit 20 (for example, a program for executing the subject tracking function) can be installed and provided in the imaging apparatus 1 in advance. Alternatively, it may be provided by installation via a network such as the Internet instead of provision by prior installation, or may be provided by various recording media such as a memory card, an optical disk, and a magnetic disk.
  • the central processing unit 20 is a control unit that controls the operation of the imaging apparatus 1, and controls the operation of each unit in response to the operation of the operation unit 22 by the user by executing the processing program recorded in the EEPROM 24.
  • the central processing unit 20 acquires the imaging result of the moving image from the image sensor 4 by controlling the operations of the preprocessing unit 5 and the camera DSP unit 3, and the preprocessing unit 20 5 and sequentially stores the imaging result in the memory 28 via the camera signal processing unit 11 and the memory control unit 12. Further, the resolution of the image data based on the imaging results sequentially stored in the memory is converted by the resolution conversion unit 14, and the liquid crystal display panel 16 is driven by the display control unit 15 based on the image data. Thereby, the central processing unit 20 displays the monitor image of the imaging result on the liquid crystal display panel 16 while recording the imaging result of the moving image in the memory 28.
  • the storage of the output data of the camera signal processing unit 11 in the memory 28 is stopped. Then, the image data stored in the memory 28 when the acquisition of the imaging result is instructed is converted by the resolution conversion unit 14 into the resolution instructed by the user. Further, the image data obtained by the resolution conversion process is compressed by the image codec 17 and then recorded on the recording medium 19.
  • the central processing unit 20 instructs the resolution conversion unit 14 to create a thumbnail image, thereby creating a thumbnail image for indexing. Further, the central processing unit 20 records the thumbnail image on the recording medium 19 as an index image of the imaging result recorded on the recording medium 19.
  • the central processing unit 20 instructs the resolution converter 14 to create a thumbnail image for the first frame at the start of recording, and records the thumbnail image as an index image of the imaging result recorded on the recording medium 19. Recorded on the medium 19.
  • FIGS. 4 and 5 are diagrams for explaining the configuration of the image sensor 4.
  • the imaging device 4 has a configuration capable of detecting a focus by a phase difference detection method in each of a plurality of AF areas Ef defined in a matrix on the imaging surface 101f.
  • each AF area Ef R (red), G (green), and B (blue) color filters are provided between the microlens ML (a wavy circle shown in FIG. 5) functioning as a condenser lens and the photodiode.
  • a normal pixel (hereinafter, also referred to as “normal pixel”) 110 composed of the arranged R pixel 111, G pixel 112, and B pixel 113 is provided.
  • each AF area Ef is provided with a pixel pair (hereinafter, also referred to as “AF pixel pair”) 120f that realizes a pupil division function in order to perform phase difference AF.
  • the plurality of AF pixel pairs 120f are phase difference pixels that detect the phase difference of the subject and perform focus adjustment.
  • the image information of the subject is basically acquired by the normal pixels 110 having a larger number of pixels than the AF pixel pair 120f.
  • the G pixel 112 and the R pixel 111 are alternately arranged in the horizontal direction as a horizontal line (hereinafter also referred to as “normal pixel line”) Ln of the normal pixel 110 having no pupil division function.
  • a Gr line L1 and a Gb line L2 in which B pixels 113 and G pixels 112 are alternately arranged in the horizontal direction are formed.
  • the Gr line L1 and the Gb line L2 are alternately arranged in the vertical direction, thereby forming a Bayer arrangement by the group of normal pixels 110.
  • an AF pixel pair 120f having one microlens ML having the same configuration (diameter and curvature) as that of the normal pixel 110 is repeatedly arranged along the horizontal direction.
  • a plurality of adjacent AF lines Lf are periodically formed in the vertical direction. It should be noted that between the adjacent AF lines Lf in the vertical direction, it is preferable to provide the number of normal pixel lines Ln (for example, four or more) necessary for complementing the image information of the subject that is missing in the AF line Lf. .
  • the combination of two normal pixel lines Ln adjacent to the upper and lower sides of the AF line Lf may be the same horizontal line (Gr lines L1 and Gb lines L2), or a different horizontal line (one is Gr).
  • Line L1 and the other may be Gb line L2).
  • the imaging apparatus 1 starts tracking from distance information and pixel value information (color information, etc.) for a subject detected by an arbitrary AF point, and continues to focus on a portion of the subject that is closest to the distance. Also, by performing focus tracking while predicting the amount of focus movement from the current focus position of the subject and the focus position one frame before, it is possible to image the moving subject in focus.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the tracking function of the imaging apparatus 1.
  • the imaging apparatus 1 includes a distance information acquisition unit 210, a pixel value information acquisition unit 220, a subject identification unit 230, a prediction unit 240, and a tracking unit 250.
  • the components shown in FIG. 6 are realized by the camera DSP unit 3, the preprocessing unit 5, the CPU 20, and the like shown in FIG.
  • the distance information acquisition unit 210 acquires distance information to the subject to be imaged. Specifically, the distance information acquisition unit 210 acquires distance information based on the phase difference detected by the AF pixel pair 120 f of the image sensor 4. The distance information acquisition unit 210 acquires distance information of subjects located at different points. That is, the distance information acquisition unit 210 acquires subject distance information for each frame in successive frames.
  • the distance information acquisition unit 210 may acquire distance information by thinning out a part of the plurality of AF pixel pairs 120f in accordance with the size of the subject. For example, the distance information acquisition unit 210 thins out a part of the plurality of AF pixel pairs 120f when the size of the subject is equal to or larger than a predetermined size. Even if thinning is performed in this way, the influence of detection accuracy is small if the size of the subject is large. And it is effective for power saving by thinning out the number of AF pixel pairs 120f to be detected. The distance information acquisition unit 210 outputs the acquired distance information to the subject specifying unit 230 and the prediction unit 240.
  • the pixel value information acquisition unit 220 acquires pixel value information of the subject image corresponding to the subject.
  • the pixel value information is, for example, information related to the color and luminance of the subject image.
  • the pixel value information acquisition unit 220 acquires pixel value information of a subject image for each frame in successive frames.
  • the pixel value information acquisition unit 220 outputs the acquired pixel value information to the tracking unit 250.
  • the subject specifying unit 230 specifies the subject to be tracked based on the acquired distance information. For example, the subject specifying unit 230 specifies a subject whose distance included in the distance information is smaller than a predetermined value as a subject to be tracked. Since a subject such as a person has a shorter distance from the imaging apparatus 1 than the background, a moving person can be appropriately identified by setting a subject whose distance is smaller than a predetermined value as a tracking target. The subject identification unit 230 outputs the identification result to the prediction unit 240.
  • the prediction unit 240 predicts the distance information at the destination point of the tracking target subject based on the acquired plurality of distance information. For example, the prediction unit 240 predicts distance information at a destination point using distance information of a subject located in a plurality of immediately preceding frames. The prediction unit 240 outputs the prediction result to the tracking unit 250.
  • the tracking unit 250 tracks a moving subject based on the acquired distance information and pixel value information.
  • the tracking unit 250 tracks the subject specified by the subject specifying unit 230.
  • the pixel value information such as color and brightness of a plurality of subjects is the same, individual subjects can be identified based on the distance information, and a desired subject can be tracked. It is possible to follow.
  • the tracking unit 250 tracks the subject when the pixel value information of the subject at the destination point is the same as the pixel value information of the subject at the immediately preceding point. In other words, the tracking unit 250 cancels the tracking when the pixel value information at the destination point is different from the pixel value information at the immediately preceding point. As a result, it is possible to prevent the tracking of a subject with different pixel value information, so that the subject can be tracked with higher accuracy.
  • FIG. 7 is a flowchart illustrating an operation example of the imaging apparatus 1 when capturing an image while tracking a moving subject.
  • step 501 a through image of the subject imaged by the image sensor 4 is displayed on the LCD 311. The user confirms the subject and the composition by looking at the displayed through image.
  • the imaging mode selected by the user is accepted.
  • the imaging apparatus 1 has a plurality of imaging modes, for example, an auto mode and a program mode.
  • the auto mode is a mode for selecting the shutter speed, aperture value, ISO sensitivity, flash emission, and AF point based on the photometric value.
  • the program mode is a mode including a shutter speed priority AE mode in which the user arbitrarily selects a shutter speed with the operation unit and determines the exposure based on the shutter speed, and an aperture priority AE mode in which the aperture is similarly selected.
  • the user selects an appropriate imaging mode from among these according to the imaging conditions.
  • the flash emission is automatically performed in the auto mode according to the result of photometry described later.
  • an imaging mode other than the auto mode the user selects forced light emission or non-light emission. These are selected by an operation member such as a mode setting dial.
  • Imaging mode selection process The imaging mode selection process performed in step 502 will be described with reference to FIG. FIG. 8 is a flowchart showing imaging mode selection processing.
  • step 601 when the imaging mode is not the auto mode (No), the process proceeds to step 602. On the other hand, when the imaging mode is the auto mode (Yes), the process proceeds to step 606.
  • step 602 when the imaging mode is not the program mode (No), the process proceeds to step 603.
  • the imaging mode is the program mode (Yes), the process proceeds to step 604.
  • step 603 the user arbitrarily selects shutter speed, aperture value, ISO sensitivity, and flash emission based on the most recent photometric value.
  • step 604 the user determines one or a plurality of settings from among the shutter speed, aperture value, and ISO sensitivity, and the other settings are automatically determined based on the latest photometric values.
  • step 605 the user sets whether to emit a flash.
  • step 606 the shutter speed, the aperture value, the ISO sensitivity, and the flash emission are automatically set based on the latest photometric value measured by the imaging apparatus 1.
  • step 607 the AF point is automatically selected according to the composition determined by the user.
  • step S502 This completes the imaging mode selection processing in step S502 and returns to the flowchart of FIG.
  • step 503 an AF area where the user wants to perform AF selected according to the composition that the user wants to capture is accepted.
  • the AF area includes wide AF, center fixed AF, and local AF.
  • wide AF the imaging apparatus 1 automatically selects an AF point determined to be optimal from all AF points.
  • the center fixed AF the AF point is fixed at the center.
  • local AF an AF point is set at an arbitrary location from among selectable AF points. Then, the user selects an AF area according to the subject and the composition.
  • the auto mode is selected as the imaging mode
  • the AF area is wide AF. Subject tracking and focus tracking function in the case of local AF.
  • FIG. 9 is a flowchart showing AF area selection processing.
  • step 701 when the auto mode is selected as the imaging mode (Yes), the process proceeds to step 707. On the other hand, when a mode other than the auto mode is selected as the imaging mode (No), the process proceeds to step 702.
  • step 702 If it is determined in step 702 that the user has selected wide AF (Yes), the process proceeds to step 707. On the other hand, if a setting other than wide AF is selected (No), the process proceeds to step 703. In step 703, if the user selects center fixed AF (Yes), the process proceeds to step 706. On the other hand, if the local AF is selected (No), the process proceeds to step 704.
  • step 704 local AF is set as the AF area.
  • step 705 the user selects one arbitrary point from all the AF points.
  • step 706 the center fixed AF is set as the AF area.
  • an AF point existing in the center is used for focus detection.
  • step 707 wide AF is set as the AF area. In this case, the imaging apparatus 1 automatically selects the AF point determined to be optimal from all the AF points.
  • step S503 the AF area selection processing in step S503 is completed, and the process returns to the flowchart of FIG. In step 504, the AF mode selected by the user according to the condition of the subject is accepted.
  • AF modes include single AF, continuous AF, and auto AF.
  • single AF the focus adjustment state is fixed at the AF point when the shutter button 307 (FIG. 1) is half-pressed.
  • continuous AF the AF point is always adjusted while the shutter button 307 is half-pressed.
  • auto AF the imaging apparatus 1 switches between single AF and continuous AF according to the movement of the subject. Subject tracking and focus tracking function in the case of continuous AF.
  • FIG. 10 is a flowchart showing AF mode selection processing.
  • step 801 when the user selects single AF as the AF mode (Yes), the process proceeds to step 805. On the other hand, if other than single AF is selected as the AF mode (No), the process proceeds to step 802.
  • step 802 when the user selects continuous AF as the AF mode (Yes), the process proceeds to step 804. On the other hand, when a mode other than continuous AF is selected as the AF mode (No), the process proceeds to step 803.
  • step 803 auto AF is set as the AF mode.
  • step 804 continuous AF is set as the AF mode.
  • step 805 single AF is set as the AF mode.
  • step S504 the AF mode selection process in step S504 is completed, and the process returns to the flowchart of FIG.
  • subject photometry is performed by the image sensor 4 (FIG. 3).
  • shutter speed, aperture value, ISO sensitivity, and flash emission settings are determined.
  • subject tracking and focus tracking are performed.
  • FIG. 11 is a flowchart showing subject tracking and focus tracking processing.
  • step 901 If the local AF is selected as the AF area in step 901 (Yes), the process proceeds to step 902. On the other hand, when a region other than the local AF is selected as the AF area (No), tracking of the subject and focus tracking are not performed, and the process proceeds to step 507 in FIG.
  • step 902 If it is determined in step 902 that the subject to be adjusted for AF is in the through image (Yes), the process proceeds to step 903. On the other hand, if the subject is not in the through image (No), the determination in step 902 is repeated until the subject enters the through image.
  • step 903 If it is determined in step 903 that the AF point overlaps the subject (Yes), the process proceeds to step 904. On the other hand, if the AF point does not overlap the subject (No), the determination in step S903 is repeated until the AF point overlaps the subject.
  • step 904 If it is determined in step 904 that the shutter button 307 is half-pressed (Yes), the process proceeds to step 905. On the other hand, if the shutter button 307 is not half-pressed (No), the process proceeds to step 903.
  • step 905 the subject specifying unit 230 recognizes the subject based on the AF point distance information (distance information acquired by the distance information acquisition unit 210), and the tracking unit 250 recognizes the image of the most recognized subject. A point close to is set as the point to follow.
  • FIG. 12 is a diagram illustrating a subject to be tracked.
  • FIG. 13 is a graph showing the relationship between the AF point position and the distance of the subject from the imaging device 1.
  • the distance information detected at the AF point existing along the broken line arrow X has a distribution as shown by 1201 in FIG.
  • the horizontal axis in FIG. 13 indicates the horizontal AF point position corresponding to the dashed arrow X
  • the vertical axis indicates the distance from the imaging apparatus 1.
  • a collection of AF points having distance information within the range 1202 (predetermined distance D1) is recognized as a subject.
  • the range 1202 is variable depending on the shape of the subject.
  • the point 1203 is the point closest to the imaging device 1, and the distance information corresponding to the point 1203 and the color information obtained from the normal pixels of the imaging element 4 are combined and set as the point to follow.
  • luminance information obtained from normal pixels and pattern matching to be compared with a reference image may be used as a combination with distance information.
  • the lines with the AF pixels of the image sensor 101 may be thinned and read out. good. This is because even if the number of AF points decreases, there is no practical effect on the calculation of distance information. Therefore, even if the subject moves at high speed by thinning out and reading out a line with AF pixels of the image sensor 101 This is because information can be accurately calculated.
  • step 906 the prediction unit 240 predicts the direction of movement of the point that follows the focus set in step 905, that is, the direction of movement of the subject.
  • FIG. 14 is a diagram for explaining a method of predicting the direction in which a subject moves.
  • the position of the subject when the shutter button is half-pressed in step 905 is defined as a position Pt. Then, the position one frame before becomes position Pt ⁇ 1, and the position one frame after becomes position Pt + 1.
  • the position Pt + 1 that is the prediction target is obtained by the following equations (1) to (3) when expressed as Xt + 1, Yt + 1, and Zt + 1 using three-dimensional coordinates.
  • Xt + 1 Xt + (Xt ⁇ Xt ⁇ 1) (1)
  • Yt + 1 Yt + (Yt ⁇ Yt ⁇ 1) (2)
  • Zt + 1 Zt + (Zt ⁇ Zt ⁇ 1) (3)
  • step S506 the subject tracking and focus tracking processing in step S506 is completed, and the process returns to the flowchart of FIG.
  • step 507 a still image is actually captured.
  • step 508 the result imaged in 507 is recorded on the memory card, and the series of operations is completed.
  • the imaging device 1 that is the image processing device described above acquires distance information to the subject imaged by the imaging element 4, acquires pixel value information about the subject, and based on the acquired distance information and pixel value information, Track an image of a moving subject.
  • the imaging device 1 acquires distance information to the subject imaged by the imaging element 4, acquires pixel value information about the subject, and based on the acquired distance information and pixel value information, Track an image of a moving subject.
  • FIG. 15 is a front view illustrating an external configuration of the imaging apparatus 1 according to the second embodiment.
  • FIG. 16 is a rear view illustrating an external configuration of the imaging apparatus 1 according to the second embodiment.
  • the configuration having the same reference numeral as that of the first embodiment has the same function, and thus detailed description thereof is omitted.
  • the imaging device 1 is configured as, for example, a single-lens reflex digital still camera.
  • the imaging apparatus 1 includes a camera body 10 and an imaging lens 2 as an interchangeable lens that is detachable from the camera body 10.
  • a mount portion 301 to which the imaging lens 2 is attached at the center of the front surface, a lens replacement button 302 disposed on the right side of the mount portion 301, and a grip can be held.
  • a grip portion 303 is provided.
  • an LCD Liquid Crystal Display
  • a setting button group 312 arranged on the left side of the LCD 311
  • a cross key 314 arranged on the right side of the LCD 311.
  • a push button 315 disposed at the center of the cross key 314, an EVF (Electronic View Finder) 316 disposed above the LCD 311, and an eye cup 321 surrounding the EVF 316.
  • a main switch 317 disposed on the left side of the EVF 316 and an exposure correction button 323 and an AE lock button 324 disposed on the right side of the EVF 316 are provided on the back side of the camera body 10.
  • a flash unit 318 and a connection terminal unit 319 disposed above the EVF 316 are provided.
  • the mount unit 301 is provided with a connector for electrical connection with the mounted imaging lens 2 and a coupler for mechanical connection.
  • the lens exchange button 302 is a button that is pressed when the imaging lens 2 attached to the mount unit 301 is removed.
  • the grip portion 303 is a portion where the user grips the imaging device 1 during imaging, and is provided with surface irregularities that match the finger shape in order to improve fitting properties.
  • a battery storage chamber and a card storage chamber are provided inside the grip portion 303.
  • a battery 69B (see FIG. 18) is housed in the battery compartment as a power source for the camera, and a memory card 67 (see FIG. 18) for recording image data of the captured image is detachably housed in the card compartment. It has come to be.
  • the grip unit 303 may be provided with a grip sensor for detecting whether or not the user has gripped the grip unit 303.
  • the mode setting dial 305 and the control value setting dial 306 are made of a substantially disk-shaped member that can rotate in a plane substantially parallel to the upper surface of the camera body 10.
  • the mode setting dial 305 is used to selectively select a mode and a function installed in the imaging apparatus 1.
  • Various modes such as an automatic exposure (AE) control mode, an auto focus (AF) control mode, a still image capturing mode for capturing a single still image, and a continuous image capturing mode for performing continuous capturing are selected as modes to be selected.
  • the control value setting dial 306 is for setting control values for various functions installed in the imaging apparatus 1.
  • the setting button group 312 is a button for performing operations on various functions installed in the imaging apparatus 1.
  • the setting button group 312 includes a selection confirmation switch for confirming the content selected on the menu screen displayed on the LCD 311, a selection cancel switch, a menu display switch for switching the content of the menu screen, a display on / off switch, and a display enlargement. Includes switches.
  • the cross key 314 has an annular member having a plurality of pressing portions (triangle marks in the figure) arranged at regular intervals in the circumferential direction, and is not shown and provided corresponding to each pressing portion.
  • the pressing operation of the pressing portion is detected by the contact (switch).
  • the push button 315 is arranged at the center of the cross key 314.
  • the cross key 314 and the push button 315 are used for inputting instructions such as changing the imaging magnification, frame-by-frame feeding of a recorded image to be reproduced on the LCD 311 and the like, and setting the imaging conditions (aperture value, shutter speed, flash emission, etc.). belongs to.
  • the EVF 316 includes a liquid crystal panel 310 (see FIG. 17), and displays an image captured by the image sensor 101 (see FIG. 17), reproduces and displays a recorded image, and the like.
  • live view (preview) display that displays a subject in a moving image mode based on image signals sequentially generated by the image sensor 101 before main imaging (imaging for image recording) is performed. The user can visually recognize the subject actually captured by the image sensor 101.
  • the main switch 317 is a two-contact slide switch that slides to the left and right. When the switch is set to the left, the power of the imaging device 1 is turned on, and when the switch is set to the right, the power is turned off.
  • the flash unit 318 is configured as a pop-up built-in flash. On the other hand, when attaching an external flash or the like to the camera body 10, the connection is made using the connection terminal portion 319.
  • the eye cup 321 is a “U” -shaped light shielding member that has light shielding properties and suppresses intrusion of external light into the EVF 316.
  • the exposure correction button 323 is a button for manually adjusting an exposure value (aperture value or shutter speed), and the AE lock button 324 is a button for fixing exposure.
  • the imaging lens 2 functions as a lens window that captures light (light image) from the subject, and also functions as an imaging optical system that guides the subject light to the imaging element 101 disposed inside the camera body 10. It is.
  • the imaging lens 2 can be detached from the camera body 10 by depressing the lens exchange button 302 described above.
  • FIG. 17 is a longitudinal sectional view of the imaging apparatus 1 according to the second embodiment. As shown in FIG. 17, an imaging element 101, an EVF 316 that is an example of a display unit, and the like are provided inside the camera body 10.
  • the image sensor 101 has the same function as the image sensor 4 of the first embodiment, and includes the normal pixel 110 and the AF pixel pair 120f shown in FIG.
  • a shutter unit 40 is disposed in front of the image sensor 101 in the optical axis direction.
  • the shutter unit 40 includes a curtain body that moves in the vertical direction, and a mechanical focal plane that performs an optical path opening operation and an optical path blocking operation of subject light guided to the image sensor 101 along the optical axis LT by the opening operation and the closing operation. It is configured as a shutter.
  • the shutter unit 40 can be omitted when the image sensor 101 is an image sensor capable of complete electronic shutter.
  • the EVF 316 includes a liquid crystal panel 310 and an eyepiece lens 106.
  • the liquid crystal panel 310 is configured as a color liquid crystal panel capable of displaying an image, for example, and can display an image captured by the image sensor 101.
  • the eyepiece 106 guides the subject image displayed on the liquid crystal panel 310 to the outside of the EVF 316. With such a configuration of the EVF 316, the user can visually recognize the subject imaged by the image sensor 101.
  • FIG. 18 is a block diagram illustrating an electrical configuration of the imaging apparatus 1 according to the second embodiment.
  • the same members and the like as those in FIGS. 15 to 17 are denoted by the same reference numerals.
  • the camera body 10 includes an AFE (analog front end) 5, an image processing unit 61, an image memory 614, a main control unit 62, a flash circuit 63, an operation unit, in addition to the imaging element 101 and the shutter unit 40 described above. 64, a VRAM 65 (65a, 65b), a card interface (I / F) 66, a memory card 67, a communication interface (I / F) 68, a power supply circuit 69, and a battery 69B.
  • AFE analog front end
  • the image sensor 101 is composed of a CMOS color area sensor.
  • the timing control circuit 51 described below starts (and ends) the exposure operation of the image sensor 101, selects the output of each pixel included in the image sensor 101, and reads out the pixel signal.
  • the imaging operation such as is controlled.
  • the AFE 5 gives a timing pulse that causes the image sensor 101 to perform a predetermined operation.
  • the AFE 5 performs predetermined signal processing on the image signal (analog signal group received by each pixel of the CMOS area sensor) output from the image sensor 101, converts the image signal into a digital signal, and outputs the digital signal to the image processing unit 61.
  • the AFE 5 includes a timing control circuit 51, a signal processing unit 52, an A / D conversion unit 53, and the like.
  • the timing control circuit 51 generates a predetermined timing pulse (a pulse for generating a vertical scanning pulse ⁇ Vn, a horizontal scanning pulse ⁇ Vm, a reset signal ⁇ Vr, etc.) based on the reference clock output from the main control unit 62.
  • the timing control circuit 51 outputs the generated timing pulse to the image sensor 101 and controls the image capturing operation of the image sensor 101. Further, the timing control circuit 51 controls the operations of the signal processing unit 52 and the A / D conversion unit 53 by outputting predetermined timing pulses to the signal processing unit 52 and the A / D conversion unit 53, respectively.
  • the signal processing unit 52 performs predetermined analog signal processing on the analog image signal output from the image sensor 101.
  • the signal processing unit 52 includes a CDS (correlated double sampling) circuit, an AGC (auto gain control) circuit, a clamp circuit, and the like.
  • the A / D conversion unit 53 converts the analog R, G, B image signals output from the signal processing unit 52 into a plurality of bits (for example, 12 bits) based on the timing pulse output from the timing control circuit 51. Is converted into a digital image signal.
  • the image processing unit 61 performs predetermined signal processing on the image data output from the AFE 5 to create an image file, and includes a black level correction circuit 611, a white balance control circuit 612, a gamma correction circuit 613, and the like.
  • the image data captured by the image processing unit 61 is temporarily written in the image memory 614 in synchronization with the reading of the image sensor 101. Thereafter, the image data written in the image memory 614 is accessed to access the image processing unit. Processing is performed in each of the 61 blocks.
  • the black level correction circuit 611 corrects the black level of each of the R, G, and B digital image signals A / D converted by the A / D converter 53 to a reference black level.
  • the white balance correction circuit 612 performs level conversion (white balance (WB) adjustment) of digital signals of each color component of R (red), G (green), and B (blue) based on a white reference corresponding to the light source. Is what you do. That is, the white balance control circuit 612 identifies a portion that is originally estimated to be white from the luminance, saturation data, and the like in the imaging subject based on the WB adjustment data provided from the main control unit 62. Then, the white balance control circuit 612 obtains the average of the color components and the G / R ratio and G / B ratio for each of R, G, and B of the specified portion, and performs level correction using these as R and B correction gains. To do.
  • WB white balance
  • the gamma correction circuit 613 corrects the gradation characteristics of the WB adjusted image data. Specifically, the gamma correction circuit 613 performs non-linear conversion and offset adjustment using a gamma correction table set in advance for each color component.
  • the image memory 614 temporarily stores the image data output from the image processing unit 61 in the imaging mode, and is used as a work area for performing predetermined processing on the image data by the main control unit 62. It is memory. In the playback mode, the image data read from the memory card 67 is temporarily stored.
  • the main control unit 62 is composed of a microcomputer having a built-in storage unit such as a ROM for storing a control program and a RAM for temporarily storing data, and controls the operation of each unit of the imaging apparatus 1.
  • the flash circuit 63 controls the light emission amount of the external flash connected to the flash unit 318 or the connection terminal unit 319 to the light emission amount set by the main control unit 62 in the flash imaging mode.
  • the operation unit 64 includes the mode setting dial 305, the control value setting dial 306, the shutter button 307, the setting button group 312, the cross key 314, the push button 315, the main switch 317, etc., and the operation information is sent to the main control unit 62. It is for input.
  • the VRAMs 65a and 65b have a storage capacity of image signals corresponding to the number of pixels of the LCD 311 and the EVF 316, and are buffer memories between the main control unit 62 and the LCD 311 and the EVF 316.
  • the card I / F 66 is an interface for enabling transmission / reception of signals between the memory card 67 and the main control unit 62.
  • the memory card 67 is a recording medium that stores image data generated by the main control unit 62.
  • the communication I / F 68 is an interface for enabling transmission of image data and the like to a personal computer and other external devices.
  • the power supply circuit 69 includes, for example, a constant voltage circuit, and generates a voltage for driving the entire imaging apparatus 1 such as a control unit such as the main control unit 62, the image sensor 101, and other various driving units. Note that energization control to the image sensor 101 is performed by a control signal supplied from the main control unit 62 to the power supply circuit 69.
  • the battery 69B includes a secondary battery such as a nickel metal hydride rechargeable battery or a primary battery such as an alkaline battery, and is a power source that supplies power to the entire imaging apparatus 1.
  • the camera body 10 is based on the black level corrected image data output from the black level correction circuit 611 and performs a phase difference AF calculation circuit 77 that performs a calculation necessary for autofocus (AF) control using the image sensor 101. It has.
  • the imaging apparatus 1 according to the second embodiment also has a subject tracking function similar to that of the first embodiment. That is, the imaging apparatus 1 according to the second embodiment acquires distance information to a subject imaged by the imaging element 101, acquires pixel value information regarding the subject, and based on the acquired distance information and pixel value information. To track the image of the moving subject.
  • pixel value information such as color and brightness of a plurality of subjects
  • individual subjects can be identified based on the distance information, and a desired subject can be tracked. It is possible to follow.
  • the external configuration is the same as that of the second embodiment, but the internal configuration is different. Therefore, in the following, portions different from the second embodiment will be mainly described.
  • FIG. 19 is a longitudinal sectional view of the imaging apparatus 1 according to the third embodiment.
  • FIG. 20 is a block diagram illustrating an electrical configuration of the imaging apparatus 1 according to the third embodiment.
  • the image sensor 100 is for capturing a still image (main image), and the image sensor 101 has a phase difference pixel for capturing a through image and detecting a phase difference.
  • the image sensor 101 corresponds to a first image sensor having phase difference pixels, and the image sensor 100 for generating an image for live display corresponds to a second image sensor.
  • the transmission mirror unit 1031 is configured as a transmission / reflection member that reflects and transmits subject light toward the imaging element 101 and the imaging element 100 provided on the upper part of the camera body 10 on the optical axis LT. It is installed.
  • the ratio of transmission and reflection is 5: 5, but can be arbitrarily changed according to the characteristics of each image sensor.
  • the subject light that has passed through the imaging lens 2 is reflected upward by the transmission mirror 1031, and part of the subject light that has passed through the imaging lens 2 passes through the transmission mirror 1031 and enters the imaging device 100. Part of the subject light is reflected by the transmission mirror 1031, and the reflected subject light enters the image sensor 101.
  • the image sensor 100 is disposed on a plane (XY plane) parallel to the Y axis and receives subject light transmitted through the transmission mirror 1031.
  • the image sensor 101 is disposed on a plane (XZ plane) perpendicular to the Y axis, and receives subject light.
  • the image sensor 101 has the same function as the image sensor 101 of the second embodiment, and includes the normal pixel 110 and the AF pixel pair 120f shown in FIG. On the other hand, the image sensor 100 has the normal pixel 110 but does not have the AF pixel pair 120f.
  • a shutter unit 40 is disposed in front of the image sensor 100 as shown in FIG.
  • the shutter unit 40 is configured as a mechanical focal plane shutter that performs an optical path opening operation and an optical path blocking operation of subject light toward the image sensor 100.
  • the shutter unit 40 can be omitted when the image sensor 100 is an image sensor capable of complete electronic shutter.
  • the AFE 5 gives a timing pulse for causing the imaging devices 100 and 101 to perform a predetermined operation, and also outputs an image signal (analog signal group received by each pixel of the CMOS area sensor) output from the imaging devices 100 and 101. Predetermined signal processing is performed, converted into a digital signal, and output to the image processing unit 61.
  • the AFE 5 includes a timing control circuit 51, a signal processing unit 52, an A / D conversion unit 53, and the like.
  • the timing control circuit 51 generates a predetermined timing pulse (a pulse for generating a vertical scanning pulse ⁇ Vn, a horizontal scanning pulse ⁇ Vm, a reset signal ⁇ Vr, and the like) based on the reference clock output from the main control unit 62, and the imaging device 100. , 101 to control the imaging operation of the imaging devices 100, 101.
  • a predetermined timing pulse (a pulse for generating a vertical scanning pulse ⁇ Vn, a horizontal scanning pulse ⁇ Vm, a reset signal ⁇ Vr, and the like) based on the reference clock output from the main control unit 62, and the imaging device 100. , 101 to control the imaging operation of the imaging devices 100, 101.
  • the operation of the signal processing unit 52 and the A / D conversion unit 53 is controlled by outputting predetermined timing pulses to the signal processing unit 52 and the A / D conversion unit 53, respectively.
  • the signal processing unit 52 performs predetermined analog signal processing on the analog image signal output from the image sensor 101.
  • the signal processing unit 52 includes a CDS (correlated double sampling) circuit, an AGC (auto gain control) circuit, a clamp circuit, and the like.
  • the A / D converter 53 converts the analog R, G, B image signal and phase difference pixel signal output from the signal processor 52 into a plurality of bits based on the timing pulse output from the timing control circuit 51.
  • the digital image signal is composed of (for example, 12 bits).
  • the third embodiment also has the same subject tracking function as the first and second embodiments.
  • the third embodiment also has the same subject tracking function as the first and second embodiments.
  • the image sensor 100 captures the subject. In this manner, by providing the image sensor 101 that captures a live view image to be displayed in live view and the image sensor 100 that captures a still image, it is possible to display a through image together when capturing a still image. It becomes.
  • the image pickup apparatus is described as an example of the image processing apparatus, but the present invention is not limited to this.
  • the image processing apparatus only needs to have a function of capturing a subject, and may be, for example, a mobile phone, a smartphone, a PDA (Personal Digital Assistant), a portable AV player, an electronic book, an electronic dictionary, or the like.
  • the processing by the image processing apparatus described in this specification may be realized using any of software, hardware, and a combination of software and hardware.
  • a program constituting the software is stored in advance in a storage medium provided inside or outside each device.
  • Each program is read into a RAM (Random Access Memory) at the time of execution and executed by a processor such as a CPU.
  • RAM Random Access Memory
  • a distance information acquisition unit that acquires distance information to a subject imaged by the image sensor
  • a pixel value information acquisition unit that acquires pixel value information of an image corresponding to the subject
  • a tracking unit that tracks the moving object based on the acquired distance information and the pixel value information
  • An image processing apparatus comprising:
  • the imaging device includes a phase difference pixel for detecting a phase difference of the subject and performing focus adjustment, The image processing apparatus according to (1), wherein the distance information acquisition unit acquires the distance information based on the phase difference detected by the phase difference pixel.
  • the image sensor has a plurality of the phase difference pixels
  • the image processing apparatus according to (2) wherein the distance information acquisition unit acquires the distance information by thinning out some of the plurality of phase difference pixels according to the size of the subject.
  • the image processing apparatus according to any one of (1) to (4), wherein the imaging device images the subject when the display unit performs live display of the image.
  • the image sensor is a first image sensor having phase difference pixels for detecting a phase difference of the subject and performing focus adjustment.
  • the distance information acquisition unit acquires the distance information of the subject located at different points
  • the image processing device further comprising: a prediction unit that predicts the distance information at a destination point of the subject based on the plurality of acquired distance information. .
  • the tracking unit tracks the subject when the pixel value information of the subject at the destination point is the same as the pixel value information of the subject at the immediately preceding point, (1) The image processing device according to any one of (7) to (7).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

【課題】移動する被写体を高精度に追従することが可能な追従方法を提案する。 【解決手段】画像処理装置は、撮像素子により撮像される被写体までの距離情報を取得する距離情報取得部と、前記被写体に対応する画像の画素値情報を取得する画素値情報取得部と、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾する追尾部と、を備える。前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有し、前記距離情報取得部は、前記位相差画素により検出された前記位相差に基づいて、前記距離情報を取得する。

Description

画像処理装置、画像処理方法、及び記録媒体
　本開示は、画像処理装置、画像処理方法、及び記録媒体に関する。
　画像処理装置として、例えば、移動する被写体を撮像する際に自動的に被写体を追尾する撮像装置が知られている（特許文献１参照）。
　特許文献１には、対象の色や輝度に基づいて複数の画像から対象の像を繰り返し検出することにより、対象の像を追尾して、焦点調整を行う撮像装置が記載されている。
特開２０１０－１１３１２９号公報
　しかし、特許文献１の技術においては、追尾可能な複数の被写体が同一の色や輝度である場合には、所望の被写体以外の被写体を追尾する恐れがある。例えば、２つの被写体が交差するように移動した場合に、２つの被写体の色や輝度が同一であると、それまで追従していた一方の被写体から他方の被写体に追従対象が切り替わる恐れがある。
　そこで、本開示は、移動する被写体を高精度に追従することが可能な追従方法を提案する。
　本開示によれば、撮像素子により撮像される被写体までの距離情報を取得する距離情報取得部と、前記被写体に対応する画像の画素値情報を取得する画素値情報取得部と、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾する追尾部と、を備える、画像処理装置が提供される。
　また、本開示によれば、撮像素子により撮像される被写体までの距離情報を取得することと、前記被写体に対応する画像の画素値情報を取得することと、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、を含む、画像処理方法が提供される。
　また、本開示によれば、コンピュータに、撮像素子により撮像される被写体までの距離情報を取得することと、前記被写体に対応する画像の画素値情報を取得することと、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、を実行するためのプログラムを記録した、記録媒体が提供される。
　そして、本開示によれば、取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体の像が追尾される。このため、例えば複数の被写体の色や輝度等の画素値情報が同一であっても、距離情報に基づいて個々の被写体を識別でき、所望の被写体を追従できるので、移動する被写体を高精度に追従することが可能となる。
　以上説明したように本開示によれば、移動する被写体を高精度に追従することが可能となる。
第１の実施形態に係る撮像装置の外観構成を示す正面図である。 第１の実施形態に係る撮像装置の外観構成を示す背面図である。 第１の実施形態に係る撮像装置の電気的な構成を示すブロック図である。 撮像素子の構成を説明するための図である。 撮像素子の構成を説明するための図である。 撮像装置の追尾機能の構成の一例を示すブロック図である。 移動する被写体を追尾しながら撮像する際の撮像装置の動作例を示すフローチャートである。 撮像モードの選択処理を示すフローチャートである。 ＡＦ選択処理を示すフローチャートである。 ＡＦモードの選択処理を示すフローチャートである。 被写体の追尾とピント追従処理を示すフローチャートである。 追尾対象の被写体を示す図である。 ＡＦポイント位置と、被写体の撮像装置からの距離と、の関係を示すグラフである。 被写体の移動する方向の予測方法を説明するための図である。 第２の実施形態に係る撮像装置の外観構成を示す正面図である。 第２の実施形態に係る撮像装置の外観構成を示す背面図である。 第２の実施形態に係る撮像装置の縦断面図である。 第２の実施形態に係る撮像装置の電気的な構成を示すブロック図である。 第３の実施形態に係る撮像装置の縦断面図である。 第３の実施形態に係る撮像装置の電気的な構成を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１－１．撮像装置の外観構成
　　１－２．撮像装置の電気的構成
　　１－３．撮像素子の詳細構成
　　１－４．被写体追尾機能
　　１－５．撮像装置の動作
　　１－６．第１の実施形態のまとめ
　２．第２の実施形態
　　２－１．撮像装置の外観構成
　　２－２．撮像装置の内部構成
　　２－３．撮像装置の電気的構成
　　２－４．被写体追尾機能
　３．第３の実施形態
　＜１．第１の実施形態＞
　（１－１．撮像装置の外観構成）
　図１及び図２を参照しながら、第１の実施形態に係る画像処理装置の一例である撮像装置１の外観構成について説明する。図１は、第１の実施形態に係る撮像装置１の外観構成を示す正面図である。図２は、第１の実施形態に係る撮像装置１の外観構成を示す背面図である。
　撮像装置１は、例えばコンパクトタイプのデジタルスチルカメラとして構成されている。撮像装置１は、カメラボディ１０と、カメラボディ１０に固定された撮像レンズ２とを備えている。
　図１において、カメラボディ１０の正面側には、内蔵フラッシュ３１８と、上面に配置されたシャッターボタン３０７とが設けられている。図２に示すように、カメラボディ１０の背面側には、ＬＣＤ（Liquid Crystal
Display）３１１が設けられている。
　シャッターボタン３０７は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。静止画撮像モードにおいてシャッターボタン３０７が半押しされると、被写体の静止画を撮像するための準備動作（露出制御値の設定や焦点検出等の準備動作）が実行される。一方で、シャッターボタン３０７が全押しされると、撮像動作（図３に示す撮像素子４を露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作）が実行される。
　ＬＣＤ３１１は、画像表示が可能なカラー液晶タッチパネルを備えており、撮像素子４により撮像された被写体の画像であるスルー画の表示、記録済みの画像の再生表示等を行う。また、ＬＣＤ３１１は、撮像装置１に搭載される機能やモードの設定に使用し、その設定画面を表示する。なお、ＬＣＤ３１１に代えて、有機ＥＬ式やプラズマ表示式などのタッチ入力のできる装置を用いるようにしても良い。
　メインスイッチ（不図示）は、カメラボディ１０の上面に配置され、プッシュスイッチからなり、押下するたびに撮像装置１の電源がオン、オフされる。
　撮像レンズ２は、被写体からの光（光像）を取り込むレンズ窓として機能するとともに、当該被写体光をカメラボディ１０の内部に配置されている撮像素子４に導くための撮像光学系として機能するものである。撮像レンズ２は、光軸に沿って直列的に配置された複数のレンズからなるレンズ群を備えている。このレンズ群には、焦点の調節を行うためのフォーカスレンズと、変倍を行うためのズームレンズとが含まれており、それぞれ光軸方向に駆動されることで、変倍や焦点調節が行われる。
　（１－２．撮像装置の電気的構成）
　図３を参照しながら、第１の実施形態に係る撮像装置１の電気的構成について説明する。図３は、第１の実施形態に係る撮像装置１の電気的な構成を示すブロック図である。
　図３に示すように、撮像装置１は、撮像レンズ２、カメラＤＳＰ部３、撮像素子４、前処理部５、ＬＣＤ１６、記録媒体１９、操作部２２、ＣＰＵ２０、ＵＳＢ２３、ＥＥＰＲＯＭ２４、ＲＡＭ２５、フラッシュ２７、メモリ２８を有する。
　撮像レンズ２は、カメラＤＳＰ（Digital Signal Processor）部３の制御によりズームレンズ、フォーカス、絞りを可変して入射光を続く撮像素子４の撮像面に集光し、これにより撮像素子４の撮像面に光学像を形成する。
　撮像素子４は、被写体を撮像する。撮像素子４は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）固体撮像素子等であり、前処理部５の駆動により撮像面に形成された光学像を光電変換して撮像結果による撮像信号を出力する。
　撮像素子４は、Ｚ軸に対して垂直となる平面(ＸＹ平面)上に配置されており、被写体光を受光する。撮像素子４においては、フォトダイオードを有して構成される複数の画素がマトリクス状に２次元配置されている。そして、各画素の受光面に、それぞれ分光特性の異なる例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなる通常画素と、被写体光を瞳分割して焦点検出するための位相差画素とが、配置されている。
　撮像素子４は、撮像レンズ２を通って結像された被写体光像に関するＲ（赤）、Ｇ（緑）、Ｂ（青）各色成分のアナログの電気信号（画像信号）を生成し、Ｒ、Ｇ、Ｂ各色の画像信号として出力する一方、位相差情報も出力する。なお、撮像素子４の詳細構成については、後述する。
　前処理部５は、撮像素子４を駆動すると共に、撮像素子４から出力される撮像信号を信号処理して画像データを出力する。前処理部５は、タイミングジェネレータ（ＴＧ）６と、Ｖドライバー７と、ＣＤＳ／ＡＧＣ／ＡＤＣ部８とを有する。
　タイミングジェネレータ（ＴＧ）６は、撮像素子４の駆動基準である各種のタイミング信号を生成して出力し、Ｖドライバー７は、このタイミングジェネレータ６で生成されたタイミング信号により撮像素子４を駆動する。
　ＣＤＳ／ＡＧＣ／ＡＤＣ部８は、撮像素子４から出力される撮像信号を相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）し、これにより例えば原色系の色信号を生成する。さらに、ＣＤＳ／ＡＧＣ／ＡＤＣ部８は、色信号の信号レベルを自動利得制御（ＡＧＣ：Automatic Gain Control）により補正した後、アナログディジタル変換処理（ＡＤＣ：Analog to Digital Converter ）して画像データを生成する。その後、ＣＤＳ／ＡＧＣ／ＡＤＣ部８は、画像データをカメラＤＳＰ部３に出力する。
　カメラＤＳＰ部３は、中央処理ユニット（ＣＰＵ：Central Processing Unit ）２０の制御により動作を切り換え、メモリ２８を用いて、前処理部５から出力される画像データ
の記録再生、モニタ等に係る処理を実行する。メモリ２８は、このカメラＤＳＰ部３の作業用の領域を形成する。
　カメラＤＳＰ部３は、カメラ信号処理部１１と、メモリ制御部１２と、レンズ制御部１３と、解像度変換部１４と、表示制御部１５と、画像コーディック１７と、メディア制御部１８と、ＢＩＵ２１と、フラッシュ制御部２６とを有する。
　カメラ信号処理部１１は、前処理部５から出力される画像データをホワイトバランス調整処理、ガンマ補正処理等し、処理した画像データをメモリ制御部１２を介してメモリ２８に格納し、解像度変換部１４に出力する。また、カメラ信号処理部１１は、この画像データから絞り補正、オートフォーカス調整に必要な情報を検出し、検出した情報をレンズ制御部１３に出力する。
　メモリ制御部１２は、カメラＤＳＰ部３に外付けのメモリ２８を制御する制御部であり、カメラＤＳＰ部３の各部から出力される画像データをメモリ２８に記録し、またメモリ２８に記録した画像データを読み出してカメラＤＳＰ部３の各部に出力する。
　解像度変換部１４は、メモリ２８に格納された画像データ、又はカメラ信号処理部１１から出力される画像データの解像度を変換してメモリ２８に格納する。これによりカメラＤＳＰ部３は、撮像素子４より得られる撮像結果を液晶表示パネル１６の表示に供する解像度に変換し、またユーザーにより記録媒体１９への指示された解像度に変換する。また、カメラＤＳＰ部３は、撮像結果の一部領域を切り出して、解像度の変換処理に係る処理を実行し、これにより電子ズーム、再生ズームの処理を実行する。
　表示制御部１５は、メモリ２８に格納された画像データにより液晶表示パネル（ＬＣＤ：Liquid Crystal Display））１６を駆動し、これにより撮像結果のモニタ画像を表示し、また記録媒体に記録した撮像結果を表示する。
　画像コーディック１７は、メモリ２８に格納された画像データをデータ圧縮してカメラＤＳＰ部３の各部に出力し、またこれとは逆にメモリ２８に格納された画像データをデータ伸長してカメラＤＳＰ部３の各部に出力する。なお、データ圧縮、伸長は、静止画にあってはＪＰＥＧ（Joint Photographic Coding Experts Group ）の手法が適用される。一方で、動画にあっては、ＩＳＯ/ ＩＥＣ ＪＴＣ１/ ＳＣ２９ＷＧ１１のＭＰＥＧ１（Motion Picture Experts Group 1）、ＭＰＥＧ２、ＭＰＥＧ４、ＩＴＵ－ＴのＨ. ２６３，Ｈ. ２６４/ ＭＰＥＧ４－ＡＶＣ（Advanced Video Coding ）等、動きベクトルを用いたデータ圧縮手法が適用される。
　メディア制御部１８は、メモリ２８に格納された画像データを記録媒体１９に記録し、また記録媒体１９に記録された画像データを読み出してメモリ２８に出力する。記録媒体１９は、半導体メモリによるいわゆるメモリーカード、記録可能なＤＶＤ（Digital Versatile Disk）、記録可能なＣＤ（Compact Disc）等による光ディスク、ハードディスク装置等、種々の記録媒体を広く適用することができる。
　レンズ制御部１３は、カメラ信号処理部１１から得られる情報により、レンズブロック２の絞りを制御し、またいわゆる山登り法によりレンズブロック２をオートフォーカス制御する。また中央処理ユニット２０の制御により、ユーザーによる操作に応動してレンズブロック２のズームを可変する。
　ＢＩＵ（Bus Interface Unit）２１は、中央処理ユニット２０とカメラＤＳＰ部３とのインターフェースであり、中央処理ユニット２０によるカメラＤＳＰ部３の制御に係るコマンド等を入出力する。
　フラッシュ制御部２６は、フラッシュ撮像モードにおいて、フラッシュ２７の発光量を、中央処理ユニット２０により設定された発光量に制御するものである。
　操作部２２は、撮像装置１に設けられた操作子、液晶表示パネル１６の表示画面に設けられたタッチパネルによるユーザーインターフェースであり、ユーザーによる操作を中央処理ユニット２０に通知する。
　ＵＳＢ（Universal Serial Bus）２３は、ストレージクラス対応のインターフェースであり、パーソナルコンピュータ等の外部機器を接続して、この外部機器との間で各種のデータを入出力する。
　ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory ）２４は、中央処理ユニット２０の処理プログラム等を記録した記録媒体である。ＲＡＭ２５は、中央処理ユニット２０のワークメモリである。なお、撮像装置１において、中央処理ユニット２０の処理プログラム（例えば、被写体追尾機能を実行するプログラム）は、事前に撮像装置１にインストールされて提供されうる。又は事前のインストールによる提供に代えて、インターネット等のネットワークを介したインストールによる提供するようにしても良く、メモリーカード、光ディスク、磁気ディスク等の各種記録媒体により提供するようにしても良い。
　中央処理ユニット２０は、撮像装置１の動作を制御する制御部であり、ＥＥＰＲＯＭ２４に記録された処理プログラムの実行によりユーザーによる操作部２２等の操作に応動して各部の動作を制御する。
　すなわち中央処理ユニット２０は、操作部２２の操作により撮像が指示されると、前処理部５、カメラＤＳＰ部３の動作の制御により、撮像素子４から動画による撮像結果を取得して前処理部５により順次処理し、撮像結果をカメラ信号処理部１１、メモリ制御部１２を介してメモリ２８に順次格納する。また、メモリに順次格納した撮像結果による画像データの解像度を解像度変換部１４により変換し、画像データにより表示制御部１５で液晶表示パネル１６を駆動する。これにより、中央処理ユニット２０は、動画による撮像結果をメモリ２８に記録しながら、撮像結果のモニタ画像を液晶表示パネル１６で表示する。
　また、この状態でユーザーにより静止画による撮像結果の記録が指示されると、カメラ信号処理部１１の出力データによるメモリ２８への格納を中止する。そして、撮像結果の取得が指示された時点でメモリ２８に格納した画像データを解像度変換部１４によりユーザーにより指示された解像度に変換する。また、解像度変換処理による画像データを画像コーディック１７によりデータ圧縮した後、記録媒体１９に記録する。この一連の処理において、中央処理ユニット２０は、解像度変換部１４にサムネイル画像の作成を指示し、これによりインデックス用のサムネイル画像を作成する。また、中央処理ユニット２０は、サムネイル画像を記録媒体１９に記録した撮像結果のインデックス用画像として記録媒体１９に記録する。
　同様にして、ユーザーにより動画による撮像結果の記録開始が指示されると、カメラ信号処理部１１の出力データによるメモリ２８への格納を中止し、解像度変換部１４によりカメラ信号処理部１１から出力される画像データの解像度変換処理を開始する。また、解像度変換部１４により処理された画像データの画像コーディック１７によるデータ圧縮処理を指示し、画像コーディック１７により処理結果の記録をメディア制御部１８に指示する。この処理においても、中央処理ユニット２０は、記録開始時の先頭１フレームについて、解像度変換部１４にサムネイル画像の作成を指示し、サムネイル画像を記録媒体１９に記録した撮像結果のインデックス用画像として記録媒体１９に記録する。
　（１－３．撮像素子の詳細構成）
　図４及び図５を参照しながら、撮像素子４の構成について説明する。図４及び図５は、撮像素子４の構成を説明するための図である。
　図４に示すように、撮像素子４では、撮像面１０１ｆにおいてマトリックス状に規定された複数のＡＦエリアＥｆそれぞれで位相差検出方式の焦点検出が可能な構成となっている。
　各ＡＦエリアＥｆには、集光レンズとして機能するマイクロレンズＭＬ（図５に示す波線円）とフォトダイオードとの間にＲ(赤)、Ｇ(緑)およびＢ(青)の各カラーフィルタが配設されたＲ画素１１１、Ｇ画素１１２およびＢ画素１１３からなる通常の画素(以下では「通常画素」ともいう)１１０が設けられている。一方、各ＡＦエリアＥｆには、位相差ＡＦを行うために瞳分割機能を実現する画素のペア(以下では「ＡＦ画素対」ともいう)１２０ｆが設けられている。複数のＡＦ画素対１２０ｆが、被写体の位相差を検出して焦点調整を行う位相差画素である。ＡＦエリアＥｆでは、ＡＦ画素対１２０ｆの画素より画素数が多い通常画素１１０によって、基本的には被写体の画像情報が取得されることとなる。
　ＡＦエリアＥｆには、上記の瞳分割機能を持たない通常画素１１０の水平ライン（以下では「通常画素ライン」ともいう)ＬｎとしてＧ画素１１２とＲ画素１１１とが水平方向に交互に配置されたＧｒラインＬ１と、Ｂ画素１１３とＧ画素１１２とが水平方向に交互に配置されたＧｂラインＬ２とが形成されている。ＧｒラインＬ１とＧｂラインＬ２とが垂直方向に交互に配置されることで通常画素１１０の群によるベイヤー配列が構成される。
　また、ＡＦエリアＥｆには、通常画素１１０と同じ構成(径および曲率)のマイクロレンズＭＬを１つ備えたＡＦ画素対１２０ｆが水平方向に沿って繰り返し配列されることにより、ＡＦ画素対１２０ｆが複数隣接して配置されたＡＦラインＬｆが垂直方向に周期的に形成されている。なお、垂直方向に隣り合う各ＡＦラインＬｆの間には、ＡＦラインＬｆで欠落する被写体の画像情報を補完するのに必要な本数（例えば４本以上）の通常画素ラインＬｎを設けるのが好ましい。ここで、ＡＦラインＬｆの上下に隣接する２つの通常画素ラインＬｎの組合せとしては、同系統の水平ライン（ＧｒラインＬ１同士やＧｂラインＬ２同士）でも良く、異系統の水平ライン（一方がＧｒラインＬ１で他方がＧｂラインＬ２）でも良い。
　（１－４．被写体追尾機能）
　撮像装置１は、まず任意のＡＦポイントによって検出された被写体について距離情報と画素値情報（色情報等）から追尾を開始し、被写体について最も距離が近い部分についてピントを合わせ続ける。また、被写体の現在のピント位置と１フレーム前のピント位置からピント移動量を予測しながらピント追従を行うことにより、移動する被写体をピントが合ったまま撮像できる。
　図６は、撮像装置１の追尾機能の構成の一例を示すブロック図である。図６に示すように、撮像装置１は、距離情報取得部２１０と、画素値情報取得部２２０と、被写体特定部２３０と、予測部２４０と、追尾部２５０とを有する。なお、図６に示す構成要素は、図３に示すカメラＤＳＰ部３、前処理部５、ＣＰＵ２０等により実現される。
　距離情報取得部２１０は、撮像される被写体までの距離情報を取得する。具体的には、距離情報取得部２１０は、撮像素子４のＡＦ画素対１２０ｆにより検出された位相差に基づいて、距離情報を取得する。また、距離情報取得部２１０は、異なる地点に位置する被写体の距離情報を、それぞれ取得する。すなわち、距離情報取得部２１０は、連続するフレームにおいて、フレーム毎の被写体の距離情報を取得する。
　距離情報取得部２１０は、被写体の大きさに応じて、複数のＡＦ画素対１２０ｆの一部を間引いて、距離情報を取得しても良い。例えば、距離情報取得部２１０は、被写体の大きさが所定の大きさ以上である場合には、複数のＡＦ画素対１２０ｆの一部を間引く。このように間引いても、被写体の大きさが大きい場合には、検出精度の影響が小さい。そして、検出するＡＦ画素対１２０ｆの数を間引くことで、省電力に有効である。距離情報取得部２１０は、取得した距離情報を被写体特定部２３０及び予測部２４０に出力する。
　画素値情報取得部２２０は、被写体に対応する被写体画像の画素値情報を取得する。ここで、画素値情報は、例えば、被写体画像の色や輝度に関する情報である。画素値情報取得部２２０は、連続するフレームにおいて、フレーム毎の被写体画像の画素値情報を取得する。画素値情報取得部２２０は、取得した画素値情報を追尾部２５０に出力する。
　被写体特定部２３０は、取得された距離情報に基づいて、追尾対象の被写体を特定する。例えば、被写体特定部２３０は、距離情報に含まれる距離が所定値よりも小さい被写体を、追尾対象の被写体として特定する。人物等の被写体は背景に比べて撮像装置１からの距離が短いので、距離が所定値より小さい被写体を追尾対象とすることで、移動する人物を適切に特定できる。被写体特定部２３０は、特定結果を予測部２４０に出力する。
　予測部２４０は、取得した複数の距離情報に基づいて、追尾対象の被写体の移動先の地点における距離情報を予測する。例えば、予測部２４０は、直前の複数のフレームにおいて位置する被写体の距離情報を用いて、移動先の地点における距離情報に予測する。予測部２４０は、予測結果を追尾部２５０に出力する。
　追尾部２５０は、取得した距離情報と画素値情報とに基づいて、移動する被写体を追尾する。ここで、追尾部２５０は、被写体特定部２３０によって特定された被写体を追尾する。これにより、例えば複数の被写体の色や輝度等の画素値情報が同一であっても、距離情報に基づいて個々の被写体を識別でき、所望の被写体を追従できるので、移動する被写体を高精度に追従することが可能となる。
　追尾部２５０は、移動先の地点における被写体の画素値情報が、直前の地点における被写体の画素値情報と同じである場合に、被写体を追尾する。換言すれば、追尾部２５０は、移動先の地点における画素値情報が直前の地点における画素値情報と異なる場合には、追尾を解除する。これにより、画素値情報が異なる被写体を追従することを防止できるので、より高精度に被写体を追尾することが可能となる。
　（１－５．撮像装置の動作）
　図７を参照しながら、移動する被写体を追尾しながら撮像する際の撮像装置１の動作例について説明する。図７は、移動する被写体を追尾しながら撮像する際の撮像装置１の動作例を示すフローチャートである。
　図７のフローチャートは、ユーザが撮像装置を起動することから開始される。ステップ５０１では、撮像素子４により撮像された被写体のスルー画がＬＣＤ３１１に表示される。ユーザは、表示されたスルー画を見ることで、被写体と構図を確認する。
　次に、ステップ５０２では、ユーザが選択した撮像モードを受け付ける。
　ここで、撮像装置１は、複数の撮像モードを持ち、例えばオートモードとプログラムモードを有する。オートモードは、測光値を元にシャッタースピード、絞り値、ＩＳＯ感度、フラッシュの発光、ＡＦ点の選択を行うモードである。プログラムモードは、ユーザが操作部で任意にシャッタースピードを選択し、これをもとに露出を決定するシャッタースピード優先ＡＥモード、同様に絞りを選択する絞り優先ＡＥモードなどを含むモードである。ユーザは、これらの中から撮像する条件に合わせて適切な撮像モードを選択する。フラッシュの発光についてはオートモードでは後述する測光による結果によって自動的に行われる。オートモード以外の撮像モードでは、ユーザが強制発光か非発光かを選択する。これらはモード設定ダイヤルなどの操作部材により選択される。
　（撮像モードの選択処理）
　図８を参照しながら、ステップ５０２で行われる撮像モードの選択処理について説明する。図８は、撮像モードの選択処理を示すフローチャートである。
　ステップ６０１で、撮像モードがオートモードでない場合には（Ｎｏ）、ステップ６０２へ移行する。一方で、撮像モードがオートモードである場合には（Ｙｅｓ）、ステップ６０６へ移行する。次に、ステップ６０２で、撮像モードがプログラムモードでない場合には（Ｎｏ）、ステップ６０３へ移行する。一方で、撮像モードがプログラムモードである場合には（Ｙｅｓ）、ステップ６０４へ移行する。
　ステップ６０３では、ユーザが直近で測光された測光値をもとにシャッタースピード、絞り値、ＩＳＯ感度、フラッシュの発光をそれぞれ任意に選択する。
　ステップ６０４では、ユーザがシャッタースピード、絞り値、ＩＳＯ感度の内から１つあるいは複数の設定を決定し、その他の設定は直近で測光された測光値によって自動的に決定される。そして、ステップ６０５では、ユーザがフラッシュを発光するかどうかを設定する。
　ステップ６０６では、撮像装置１が直近で測光された測光値をもとにシャッタースピード、絞り値、ＩＳＯ感度、フラッシュの発光の設定を自動的に行う。そして、ステップ６０７では、ユーザの決定した構図に合わせてＡＦ点の選択を自動的に行う。
　これにより、ステップＳ５０２の撮像モードの選択処理が完了し、図７のフローチャートに戻る。ステップ５０３では、ユーザが撮像したい構図に合わせて選択したＡＦを行いたいＡＦ領域を受け付ける。
　ここで、ＡＦ領域としては、ワイドＡＦ、中央固定ＡＦ、ローカルＡＦがある。ワイドＡＦでは、撮像装置１が全てのＡＦポイントの中から最適と判断したＡＦポイントを自動的に選択する。中央固定ＡＦでは、中央に存在するＡＦポイントに固定する。ローカルＡＦでは、選択可能なＡＦポイントのうちから任意の場所にＡＦポイントを設定する。そして、ユーザは、被写体と構図の状況に合わせてＡＦ領域を選択する。なお、撮像モードにオートモードが選択されている場合には、ＡＦ領域はワイドＡＦとなる。また、被写体追尾とピント追従は、ローカルＡＦの場合に機能する。
　（ＡＦ領域選択処理）
　図９を参照しながら、ステップＳ５０３で行われるＡＦ領域選択処理について説明する。図９は、ＡＦ領域選択処理を示すフローチャートである。
　ステップ７０１で、撮像モードとしてオートモードが選択されている場合には（Ｙｅｓ）、ステップ７０７へ移行する。一方で、撮像モードとしてオートモード以外が選択されている場合には（Ｎｏ）、ステップ７０２へ移行する。
　ステップ７０２で、ユーザがワイドＡＦを選択した場合には（Ｙｅｓ）、ステップ７０７へ移行する。一方で、ワイドＡＦ以外が選択された場合には（Ｎｏ）、ステップ７０３へ移行する。ステップ７０３で、ユーザが中央固定ＡＦを選択した場合には（Ｙｅｓ）、ステップ７０６へ移行する。一方で、ローカルＡＦが選択された場合には（Ｎｏ）、ステップ７０４へ移行する。
　ステップ７０４では、ＡＦ領域としてローカルＡＦが設定される。そして、ステップ７０５では、ユーザにより全ＡＦポイントの中から任意の１点が選択される。
　ステップ７０６では、ＡＦ領域として中央固定ＡＦが設定される。この場合には、ピント検出には中央に存在するＡＦポイントが使用される。ステップ７０７では、ＡＦ領域としてワイドＡＦが設定される。この場合には、撮像装置１が、全てのＡＦポイントの中から最適と判断したＡＦポイントを自動的に選択する。
　これにより、ステップＳ５０３のＡＦ領域選択処理が完了し、図７のフローチャートに戻る。ステップ５０４では、ユーザが被写体の状況に合わせて選択したＡＦモードを受け付ける。
　ＡＦモードとしては、シングルＡＦ、コンティニュアスＡＦ、オートＡＦがある。シングルＡＦでは、シャッターボタン３０７（図１）が半押しされた時点のＡＦポイントでピント調節状態を固定する。コンティニュアスＡＦでは、シャッターボタン３０７が半押しされている間に、常にＡＦポイントのピント調節をし続ける。オートＡＦでは、撮像装置１が被写体の動きに合わせてシングルＡＦとコンティニュアスＡＦを切り替える。また、被写体追尾とピント追従は、コンティニュアスＡＦの場合に機能する。
　（ＡＦモード選択処理）
　図１０を参照しながら、ステップＳ５０４で行われるＡＦモードの選択処理について説明する。図１０は、ＡＦモードの選択処理を示すフローチャートである。
　ステップ８０１で、ユーザがＡＦモードとしてシングルＡＦを選択した場合には（Ｙｅｓ）、ステップ８０５へ移行する。一方で、ＡＦモードとしてシングルＡＦ以外が選択された場合には（Ｎｏ）、ステップ８０２へ移行する。
　ステップ８０２で、ユーザがＡＦモードとしてコンティニュアスＡＦを選択した場合には（Ｙｅｓ）、ステップ８０４へ移行する。一方で、ＡＦモードとしてコンティニュアスＡＦ以外が選択されている場合には（Ｎｏ）、ステップ８０３へ移行する。
　ステップ８０３では、ＡＦモードとしてオートＡＦが設定される。ステップ８０４では、ＡＦモードとしてコンティニュアスＡＦが設定される。ステップ８０５では、ＡＦモードとしてシングルＡＦが設定される。
　これにより、ステップＳ５０４のＡＦモードの選択処理が完了し、図７のフローチャートに戻る。ステップ５０５では、撮像素子４（図３）により被写体の測光が行われる。設定された撮像モードにより、シャッタースピード、絞り値、ＩＳＯ感度、フラッシュの発光の設定が決定される。次に、ステップ５０６では、被写体の追尾とピント追従が行われる。
　（被写体の追尾とピント追従）
　図１１を参照しながら、ステップＳ５０６の被写体の追尾とピント追従処理について説明する。図１１は、被写体の追尾とピント追従処理を示すフローチャートである。
　ステップ９０１で、ＡＦ領域としてローカルＡＦが選択されている場合には（Ｙｅｓ）、ステップ９０２へ移行する。一方で、ＡＦ領域としてローカルＡＦ以外が選択されている場合には（Ｎｏ）、被写体の追尾とピント追従は行われず、図７のステップ５０７へ移行する。
　ステップ９０２で、ＡＦを合わせようとする被写体がスルー画の中にある場合には（Ｙｅｓ）、ステップ９０３へ移行する。一方で、被写体がスルー画の中にない場合には（Ｎｏ）、被写体がスルー画の中に入ってくるまでステップ９０２の判定を繰り返す。
　ステップ９０３で、ＡＦポイントが被写体と重なっている場合には（Ｙｅｓ）、ステップ９０４へ移行する。一方で、ＡＦポイントが被写体と重なっていない場合には（Ｎｏ）、ＡＦポイントが被写体と重なるまでステップＳ９０３の判定を繰り返す。
　ステップ９０４で、シャッターボタン３０７が半押しされている場合には（Ｙｅｓ）、ステップ９０５へ移行する。一方で、シャッターボタン３０７が半押しされていない場合には（Ｎｏ）、ステップ９０３へ移行する。
　ステップ９０５で、被写体特定部２３０は、ＡＦポイントの距離情報（距離情報取得部２１０により取得された距離情報）を基準にして被写体を認識し、追尾部２５０は、認識した被写体の最も撮像装置１に近い点をピント追従する点として設定する。
　図１２及び図１３を参照しながら、被写体の追尾とピント追従する点の設定について説明する。図１２は、追尾対象の被写体を示す図である。図１３は、ＡＦポイント位置と、被写体の撮像装置１からの距離と、の関係を示すグラフである。
　図１２において、破線矢印Ｘにそって存在するＡＦ点で検出される距離情報は、図１３の１２０１のような分布になる。なお、図１３の横軸は、破線矢印Ｘに対応した水平方向のＡＦポイント位置を示し、縦軸は、撮像装置１からの距離を示す。
　ここでは、範囲１２０２（所定距離Ｄ１以下）にある距離情報をもつＡＦポイントの集まりを、被写体と認識する。範囲１２０２は、被写体の形状により可変とする。また、点１２０３が、最も撮像装置１に近い点であり、点１２０３に対応する距離情報と撮像素子４の通常画素から得られる色情報とを組み合わせて、ピント追従する点として設定する。この他に、距離情報との組み合わせとして、通常画素から得られる輝度情報、基準画像と対比するパターンマッチングを用いてもよい。
　また、被写体として認識されるＡＦポイントの数が、例えば全ＡＦポイントの５０％を超える場合には（被写体が大きい場合には）、撮像素子１０１のＡＦ画素のあるラインを間引きして読み出しても良い。これは、ＡＦポイントの数が減っても距離情報の演算には実用上影響がないため、撮像素子１０１のＡＦ画素のあるラインを間引きして読み出すことで、被写体が高速に移動する場合も距離情報を正確に演算することができるからである。
　図１１に示すフローチャートに戻って説明を続ける。ステップ９０６では、予測部２４０は、ステップ９０５で設定されたピント追従する点の移動する方向、すなわち被写体の移動する方向を予測する。
　図１４を参照しながら、被写体の移動する方向の予測方法について説明する。図１４は、被写体の移動する方向の予測方法を説明するための図である。
　ここでは、ステップ９０５でシャッターボタンが半押しされた時点の被写体の位置を、位置Ｐｔとする。すると、１フレーム前の位置は位置Ｐｔ－１となり、１フレーム後の位置は位置Ｐｔ＋１となる。予測対象である位置Ｐｔ＋１は、３次元座標を用いてＸｔ＋１、Ｙｔ＋１、Ｚｔ＋１として表すと、下記の式（１）～（３）で求められる。
　　　Ｘｔ＋１＝Ｘｔ＋（Ｘｔ－Ｘｔ－１）　　　　（１）
　　　Ｙｔ＋１＝Ｙｔ＋（Ｙｔ－Ｙｔ－１）　　　　（２）
　　　Ｚｔ＋１＝Ｚｔ＋（Ｚｔ－Ｚｔ－１）　　　　（３）
　上記の式（１）～（３）を随時演算することで、被写体の移動する方向の予測を行い、ピントの追従を続ける。なお、Ｘ、Ｙ方向は撮像素子４の平面に対応し、Ｚ方向の値は被写体までの距離Ｒと等価であり、この値をもとにＡＦを行う。また、予測の際に、移動先の地点における被写体の画素値情報が、直前の地点における被写体の画素値情報と同じであるか否かを判定し、２つの画素値情報が同じである場合に、追従を続けても良い。
　シャッターボタンが半押しのままである場合には（Ｎｏ）、ステップ９０４～９０６を繰り返す。一方で、ステップ９０７で、シャッターボタンが全押しされた場合には（Ｙｅｓ）、ステップ５０７へ移行する。これにより、ステップＳ５０６の被写体の追尾とピント追従処理が完了し、図７のフローチャートに戻る。
　ステップ５０７では、実際に静止画の撮像が行われる。次に、ステップ５０８では、５０７で撮像された結果をメモリカードに記録して、一連の動作が終了する。
　（１－６．第１の実施形態のまとめ）
　上述した画像処理装置である撮像装置１は、撮像素子４により撮像される被写体までの距離情報を取得し、被写体に関する画素値情報を取得し、取得した距離情報と画素値情報とに基づいて、移動する被写体の像を追尾する。これにより、被写体が変形したり複雑な移動を伴う場合でも、全画面で高精度に追従しながら、ピントの合った撮像をすることが可能となる。さらに、被写体が撮像装置１の近くに位置する場合でも、撮像素子４の高速駆動によりピント検出を高速に行うことが可能である。
　＜２．第２の実施形態＞
　（２－１．撮像装置の外観構成）
　図１５及び図１６を参照しながら、第２の実施形態に係る撮像装置１の外観構成について説明する。図１５は、第２の実施形態に係る撮像装置１の外観構成を示す正面図である。図１６は、第２の実施形態に係る撮像装置１の外観構成を示す背面図である。なお、以下において、第１の実施形態と同一符号の構成は、同様な機能を有するので、詳細な説明は省略する。
　撮像装置１は、例えば一眼レフレックスタイプのデジタルスチルカメラとして構成されている。撮像装置１は、カメラボディ１０と、カメラボディ１０に着脱自在な交換レンズとしての撮像レンズ２と、を備えている。
　図１５に示すように、カメラボディ１０の正面側には、正面略中央に撮像レンズ２が装着されるマウント部３０１と、マウント部３０１の右横に配置されたレンズ交換ボタン３０２と、把持可能とするためのグリップ部３０３と、が設けられている。また、カメラボディ１０の正面側には、正面左上部に配置されたモード設定ダイアル３０５と、正面右上部に配置された制御値設定ダイアル３０６と、グリップ部３０３の上面に配置されたシャッターボタン３０７とが設けられている。
　図１６に示すように、カメラボディ１０の背面側には、ＬＣＤ（Liquid Crystal Display）３１１と、ＬＣＤ３１１の左方に配置された設定ボタン群３１２と、ＬＣＤ３１１の右方に配置された十字キー３１４と、が設けられている。また、カメラボディ１０の背面側には、十字キー３１４の中央に配置されたプッシュボタン３１５と、ＬＣＤ３１１の上方に配設されたＥＶＦ(Electronic View Finder)３１６と、ＥＶＦ３１６の周囲を囲むアイカップ３２１と、が設けられている。また、カメラボディ１０の背面側には、ＥＶＦ３１６の左方に配設されたメインスイッチ３１７と、ＥＶＦ３１６の右方に配設された露出補正ボタン３２３およびＡＥロックボタン３２４と、が設けられている。さらに、ＥＶＦ３１６の上方に配設されたフラッシュ部３１８および接続端子部３１９が設けられている。
　マウント部３０１には、装着された撮像レンズ２との電気的接続を行うためコネクタや、機械的接続を行うためのカプラが設けられている。レンズ交換ボタン３０２は、マウント部３０１に装着された撮像レンズ２を取り外す際に押下されるボタンである。
　グリップ部３０３は、ユーザが撮像時に撮像装置１を把持する部分であり、フィッティング性を高めるために指形状に合わせた表面凹凸が設けられている。なお、グリップ部３０３の内部には電池収納室およびカード収納室(不図示)が設けられている。電池収納室にはカメラの電源として電池６９Ｂ(図１８参照)が収納されており、カード収納室には撮像画像の画像データを記録するためのメモリカード６７(図１８参照)が着脱可能に収納されるようになっている。なお、グリップ部３０３には、当該グリップ部３０３をユーザが把持したか否かを検出するためのグリップセンサを設けるようにしても良い。
　モード設定ダイアル３０５及び制御値設定ダイアル３０６は、カメラボディ１０の上面と略平行な面内で回転可能な略円盤状の部材からなる。モード設定ダイアル３０５は、撮像装置１に搭載されたモードや機能を択一的に選択するためのものである。選択されるモードとしては、自動露出（ＡＥ）制御モードや自動焦点（ＡＦ；オートフォーカス）制御モード、或いは１枚の静止画を撮像する静止画撮像モードや連続撮像を行う連続撮像モード等の各種撮像モード、記録済みの画像を再生する再生モード等がある。一方、制御値設定ダイアル３０６は、撮像装置１に搭載された各種の機能に対する制御値を設定するためのものである。
　設定ボタン群３１２は、撮像装置１に搭載された各種の機能に対する操作を行うボタンである。設定ボタン群３１２には、ＬＣＤ３１１に表示されるメニュー画面で選択された内容を確定するための選択確定スイッチ、選択取り消しスイッチ、メニュー画面の内容を切り替えるメニュー表示スイッチ、表示オン／オフスイッチ、表示拡大スイッチなどが含まれる。
　十字キー３１４は、円周方向に一定間隔で配置された複数の押圧部（図中の三角印の部分）を備える環状の部材を有し、各押圧部に対応して備えられた図示省略の接点（スイッチ）により押圧部の押圧操作が検出されるように構成されている。また、プッシュボタン３１５は、十字キー３１４の中央に配置されている。十字キー３１４及びプッシュボタン３１５は、撮像倍率の変更、ＬＣＤ３１１等に再生する記録画像のコマ送り、及び撮像条件（絞り値、シャッタスピード、フラッシュ発光の有無等）の設定等の指示を入力するためのものである。
　ＥＶＦ３１６は、液晶パネル３１０(図１７参照)を備えており、撮像素子１０１(図１７参照)によって撮像された画像の表示や記録済みの画像の再生表示等を行う。このＥＶＦ３１６やＬＣＤ３１１において、本撮像(画像記録用の撮像)前に撮像素子１０１で順次に生成される画像信号に基づき動画的態様で被写体を表示するライブビュー(プレビュー)表示が行われることにより、ユーザは、実際に撮像素子１０１にて撮像される被写体を視認することが可能となる。
　メインスイッチ３１７は、左右にスライドする２接点のスライドスイッチからなり、左にセットすると撮像装置１の電源がオンされ、右にセットすると電源がオフされる。フラッシュ部３１８は、ポップアップ式の内蔵フラッシュとして構成されている。一方、外部フラッシュ等をカメラボディ１０に取り付ける場合には、接続端子部３１９を使用して接続する。
　アイカップ３２１は、遮光性を有してＥＶＦ３１６への外光の侵入を抑制する「コ」字状の遮光部材である。露出補正ボタン３２３は、露出値（絞り値やシャッタースピード）を手動で調整するためのボタンであり、ＡＥロックボタン３２４は、露出を固定するためのボタンである。
　撮像レンズ２は、被写体からの光（光像）を取り込むレンズ窓として機能するとともに、当該被写体光をカメラボディ１０の内部に配置されている撮像素子１０１に導くための撮像光学系として機能するものである。この撮像レンズ２は、上述のレンズ交換ボタン３０２を押下操作することで、カメラボディ１０から取り外すことが可能となっている。
　（２－２．撮像装置の内部構成）
　図１７を参照しながら、第２の実施形態に係る撮像装置１の内部構成について説明する。図１７は、第２の実施形態に係る撮像装置１の縦断面図である。図１７に示すように、カメラボディ１０の内部には、撮像素子１０１、表示部の一例であるＥＶＦ３１６などが設けられている。
　撮像素子１０１は、第１の実施形態の撮像素子４と同様な機能を有し、図５に示す通常画素１１０とＡＦ画素対１２０ｆを有する。
　撮像素子１０１の光軸方向前方には、シャッタユニット４０が配置されている。このシャッタユニット４０は、上下方向に移動する幕体を備え、その開動作および閉動作により光軸ＬＴに沿って撮像素子１０１に導かれる被写体光の光路開口動作および光路遮断動作を行うメカニカルフォーカルプレーンシャッタとして構成されている。なお、シャッタユニット４０は、撮像素子１０１が完全電子シャッター可能な撮像素子である場合には省略可能である。
　ＥＶＦ３１６は、液晶パネル３１０と、接眼レンズ１０６とを備えている。液晶パネル３１０は、例えば画像表示が可能なカラー液晶パネルとして構成されており、撮像素子１０１により撮像された画像の表示が可能である。接眼レンズ１０６は、液晶パネル３１０に表示された被写体像をＥＶＦ３１６の外側に導く。このようなＥＶＦ３１６の構成により、ユーザは、撮像素子１０１で撮像される被写体を視認できることとなる。
　（２－３．撮像装置の電気的構成）
　図１８を参照しながら、第２の実施形態に係る撮像装置１の電気的構成について説明する。図１８は、第２の実施形態に係る撮像装置１の電気的な構成を示すブロック図である。ここで、図１５～図１７と同一の部材等については、同一の符号を付している。
　カメラボディ１０には、先に説明した撮像素子１０１、シャッタユニット４０等の他に、ＡＦＥ（アナログフロントエンド）５、画像処理部６１、画像メモリ６１４、メイン制御部６２、フラッシュ回路６３、操作部６４、ＶＲＡＭ６５(６５ａ、６５ｂ)、カード・インターフェース（Ｉ／Ｆ）６６、メモリカード６７、通信用インターフェース（Ｉ／Ｆ）６８、電源回路６９、電池６９Ｂ、が設けられている。
　撮像素子１０１は、ＣＭＯＳカラーエリアセンサからなり、後述のタイミング制御回路５１により、当該撮像素子１０１の露光動作の開始（及び終了）や、撮像素子１０１が備える各画素の出力選択、画素信号の読出し等の撮像動作が制御される。
　ＡＦＥ５は、撮像素子１０１に対して所定の動作を行わせるタイミングパルスを与える。また、ＡＦＥ５は、撮像素子１０１から出力される画像信号（ＣＭＯＳエリアセンサの各画素で受光されたアナログ信号群）に所定の信号処理を施し、デジタル信号に変換して画像処理部６１に出力するものである。ＡＦＥ５は、タイミング制御回路５１、信号処理部５２及びＡ／Ｄ変換部５３などを備える。
　タイミング制御回路５１は、メイン制御部６２から出力される基準クロックに基づいて所定のタイミングパルス（垂直走査パルスφＶｎ、水平走査パルスφＶｍ、リセット信号φＶｒ等を発生させるパルス）を生成する。また、タイミング制御回路５１は、生成したタイミングパルスを撮像素子１０１に出力し、撮像素子１０１の撮像動作を制御する。また、タイミング制御回路５１は、所定のタイミングパルスを信号処理部５２やＡ／Ｄ変換部５３にそれぞれ出力することにより、信号処理部５２及びＡ／Ｄ変換部５３の動作を制御する。
　信号処理部５２は、撮像素子１０１から出力されるアナログの画像信号に所定のアナログ信号処理を施すものである。この信号処理部５２には、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路及びクランプ回路等が備えられている。Ａ／Ｄ変換部５３は、信号処理部５２から出力されたアナログのＲ、Ｇ、Ｂの画像信号を、タイミング制御回路５１から出力されるタイミングパルスに基づいて、複数のビット（例えば１２ビット）からなるデジタルの画像信号に変換するものである。
　画像処理部６１は、ＡＦＥ５から出力される画像データに所定の信号処理を行って画像ファイルを作成するもので、黒レベル補正回路６１１、ホワイトバランス制御回路６１２及びガンマ補正回路６１３等を備える。なお、画像処理部６１へ取り込まれた画像データは、撮像素子１０１の読み出しに同期して画像メモリ６１４に一旦書き込まれ、以後この画像メモリ６１４に書き込まれた画像データにアクセスして、画像処理部６１の各ブロックにおいて処理が行われる。
　黒レベル補正回路６１１は、Ａ／Ｄ変換部５３によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの各デジタル画像信号の黒レベルを、基準の黒レベルに補正するものである。
　ホワイトバランス補正回路６１２は、光源に応じた白の基準に基づいて、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の各色成分のデジタル信号のレベル変換（ホワイトバランス(ＷＢ)調整）を行うものである。すなわちホワイトバランス制御回路６１２は、メイン制御部６２から与えられるＷＢ調整データに基づき、撮像被写体において輝度や彩度データ等から本来白色であると推定される部分を特定する。そして、ホワイトバランス制御回路６１２は、特定した部分のＲ、Ｇ、Ｂそれぞれを色成分の平均と、Ｇ／Ｒ比及びＧ／Ｂ比とを求め、これをＲ、Ｂの補正ゲインとしてレベル補正する。
　ガンマ補正回路６１３は、ＷＢ調整された画像データの階調特性を補正するものである。具体的にはガンマ補正回路６１３は、画像データのレベルを色成分毎に予め設定されたガンマ補正用テーブルを用いて非線形変換するとともにオフセット調整を行う。
　画像メモリ６１４は、撮像モード時において、画像処理部６１から出力される画像データを一時的に記憶するとともに、この画像データに対しメイン制御部６２により所定の処理を行うための作業領域として用いられるメモリである。また、再生モード時には、メモリカード６７から読み出した画像データを一時的に記憶する。
　メイン制御部６２は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するＲＡＭ等の記憶部が内蔵されたマイクロコンピュータからなり、撮像装置１各部の動作を制御するものである。
　フラッシュ回路６３は、フラッシュ撮像モードにおいて、フラッシュ部３１８または接続端子部３１９に接続される外部フラッシュの発光量を、メイン制御部６２により設定された発光量に制御するものである。
　操作部６４は、上述のモード設定ダイアル３０５、制御値設定ダイアル３０６、シャッターボタン３０７、設定ボタン群３１２、十字キー３１４、プッシュボタン３１５、メインスイッチ３１７等を含み、操作情報をメイン制御部６２に入力するためのものである。
　ＶＲＡＭ６５ａ、６５ｂは、ＬＣＤ３１１およびＥＶＦ３１６の画素数に対応した画像信号の記憶容量を有し、メイン制御部６２とＬＣＤ３１１およびＥＶＦ３１６との間のバッファメモリである。カードＩ／Ｆ６６は、メモリカード６７とメイン制御部６２との間で信号の送受信を可能とするためのインターフェースである。メモリカード６７は、メイン制御部６２で生成された画像データを保存する記録媒体である。通信用Ｉ／Ｆ６８は、パーソナルコンピュータやその他の外部機器に対する画像データ等の伝送を可能とするためのインターフェースである。
　電源回路６９は、例えば定電圧回路等からなり、メイン制御部６２等の制御部、撮像素子１０１、その他の各種駆動部等、撮像装置１全体を駆動させるための電圧を生成する。なお、撮像素子１０１への通電制御は、メイン制御部６２から電源回路６９に与えられる制御信号により行われる。電池６９Ｂは、ニッケル水素充電池等の二次電池や、アルカリ乾電池等の一次電池からなり、撮像装置１全体に電力を供給する電源である。
　また、カメラボディ１０は、黒レベル補正回路６１１から出力される黒レベル補正済みの画像データに基づき、撮像素子１０１を用いたオートフォーカス(ＡＦ)制御時に必要な演算を行う位相差ＡＦ演算回路７７を備えている。
　（２－４．被写体追尾機能）
　第２の実施形態に係る撮像装置１も、第１の実施形態と同様な被写体追尾機能を有する。すなわち、第２の実施形態に係る撮像装置１は、撮像素子１０１により撮像される被写体までの距離情報を取得し、被写体に関する画素値情報を取得し、取得した距離情報と画素値情報とに基づいて、移動する被写体の像を追尾する。
　これにより、例えば複数の被写体の色や輝度等の画素値情報が同一であっても、距離情報に基づいて個々の被写体を識別でき、所望の被写体を追従できるので、移動する被写体を高精度に追従することが可能となる。
　＜３．第３の実施形態＞
　第３の実施形態に係る撮像装置１においては、第２の実施形態に対して、外観構成は同様であるが、内部構成が異なる。そこで、以下においては、第２の実施形態とは異なる部分について、主に説明する。
　図１９は、第３の実施形態に係る撮像装置１の縦断面図である。図２０は、第３の実施形態に係る撮像装置１の電気的な構成を示すブロック図である。
　図１９に示すように、カメラボディ１０の内部には、２つの撮像素子１００、１０１、ミラー部１０３１等が設けられている。２つの撮像素子のうち撮像素子１００は、静止画を撮像（本撮像）するためのものであり、撮像素子１０１は、スルー画の撮像と位相差検出を行うための位相差画素を有する。撮像素子１０１が、位相差画素を有する第１撮像素子に該当し、ライビュー表示する画像を生成するための撮像素子１００が第２撮像素子に該当する。
　透過ミラー部１０３１は、光軸ＬＴ上において被写体光をカメラボディ１０上部に設けられた撮像素子１０１および撮像素子１００へ向けて反射および透過する透過反射部材として構成されており、カメラボディ１０に固設されている。透過と反射の割合は５：５としているが、各撮像素子の特性に応じて任意に変更可能である。
　撮像レンズ２を通過した被写体光は、透過ミラー１０３１によって上方へ反射されるとともに、撮像レンズ２を通過した被写体光の一部は透過ミラー１０３１を透過し撮像素子１００に入射する。また被写体光の一部は透過ミラー１０３１によって反射され、この反射された被写体光は撮像素子１０１に入射される。
　撮像素子１００は、Ｙ軸に対して平行となる平面（ＸＹ平面）上に配置されており、透過ミラー１０３１を透過した被写体光を受光する。撮像素子１０１は、Ｙ軸に対して垂直となる平面(ＸＺ平面)上に配置されており、被写体光を受光する。撮像素子１０１は、第２の実施形態の撮像素子１０１と同様な機能を有し、図５に示す通常画素１１０とＡＦ画素対１２０ｆを有する。一方で、撮像素子１００は、通常画素１１０を有するが、ＡＦ画素対１２０ｆを有さない。
　撮像素子１００の前方には、図２０に示すように、シャッタユニット４０が配置されている。シャッタユニット４０は、撮像素子１００に向かう被写体光の光路開口動作及び光路遮断動作を行うメカニカルフォーカルプレーンシャッタとして構成されている。なお、シャッタユニット４０は、撮像素子１００が完全電子シャッター可能な撮像素子である場合には省略可能である。
　ＡＦＥ５は、撮像素子１００、１０１に対して所定の動作を行わせるタイミングパルスを与えると共に、撮像素子１００、１０１から出力される画像信号（ＣＭＯＳエリアセンサの各画素で受光されたアナログ信号群）に所定の信号処理を施し、デジタル信号に変換して画像処理部６１に出力するものである。ＡＦＥ５は、タイミング制御回路５１、信号処理部５２及びＡ／Ｄ変換部５３などを備えて構成されている。
　タイミング制御回路５１は、メイン制御部６２から出力される基準クロックに基づいて所定のタイミングパルス（垂直走査パルスφＶｎ、水平走査パルスφＶｍ、リセット信号φＶｒ等を発生させるパルス）を生成して撮像素子１００、１０１に出力し、撮像素子１００、１０１の撮像動作を制御する。また、所定のタイミングパルスを信号処理部５２やＡ／Ｄ変換部５３にそれぞれ出力することにより、信号処理部５２及びＡ／Ｄ変換部５３の動作を制御する。
　信号処理部５２は、撮像素子１０１から出力されるアナログの画像信号に所定のアナログ信号処理を施すものである。この信号処理部５２には、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路及びクランプ回路等が備えられている。Ａ／Ｄ変換部５３は、信号処理部５２から出力されたアナログのＲ、Ｇ、Ｂの画像信号および位相差画素信号を、タイミング制御回路５１から出力されるタイミングパルスに基づいて、複数のビット（例えば１２ビット）からなるデジタルの画像信号に変換するものである。
　第３の実施形態においても、第１、第２の実施形態と同様な被写体追尾機能を有する。これにより、被写体が変形したり複雑な移動を伴う場合でも、全画面で高精度に追従しながら、ピントの合った撮像をすることが可能となる。さらに、被写体が撮像装置１の近くに位置する場合でも、撮像素子の高速駆動によりピント検出を高速に行うことが可能である。
　また、第３の実施形態においては、ＥＶＦ３１６が被写体画像をライビュー表示する際に、撮像素子１００が被写体を撮像する。このように、ライビュー表示するスルー画を撮像する撮像素子１０１と、静止画を撮像する撮像素子１００とを独立して設けることにより、静止画を撮像するときにスルー画を共に表示することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　上記の実施形態では、画像処理装置として撮像装置を例に挙げて説明したが、これに限定されない。画像処理装置は、被写体を撮像する機能を有すれば良く、例えば携帯電話機、スマートフォン、ＰＤＡ（Personal　Digital　Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等であっても良い。
　また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
　本明細書において説明した画像処理装置による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random　Access　Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）撮像素子により撮像される被写体までの距離情報を取得する距離情報取得部と、
　前記被写体に対応する画像の画素値情報を取得する画素値情報取得部と、
　取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾する追尾部と、
　を備える、画像処理装置。
（２）前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有し、
　前記距離情報取得部は、前記位相差画素により検出された前記位相差に基づいて、前記距離情報を取得する、前記（１）に記載の画像処理装置。
（３）前記撮像素子は、前記位相差画素を複数有し、
　前記距離情報取得部は、前記被写体の大きさに応じて前記複数の位相差画素の一部を間引いて、前記距離情報を取得する、前記（２）に記載の画像処理装置。
（４）取得された前記距離情報に基づいて、追尾対象の被写体を特定する被写体特定部を更に備え、
　前記追尾部は、前記被写体特定部によって特定された前記被写体を追尾する、前記（１）～（３）のいずれか１項に記載の画像処理装置。
（５）前記被写体に対応する画像をライビュー表示する表示部を更に備え、
　前記表示部が前記画像をライビュー表示する際に、前記撮像素子が前記被写体を撮像する、前記（１）～（４）のいずれか１項に記載の画像処理装置。
（６）前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有する第１撮像素子であり、
　前記表示部がライビュー表示する画像を生成するための第２撮像素子を更に備える、前記（５）に記載の画像処理装置。
（７）前記距離情報取得部は、異なる地点に位置する前記被写体の前記距離情報を、それぞれ取得し、
　取得した複数の前記距離情報に基づいて、前記被写体の移動先の地点における前記距離情報を予測する予測部を更に備える、前記（１）～（６）のいずれか１項に記載の画像処理装置。
（８）前記追尾部は、移動先の地点における前記被写体の前記画素値情報が、直前の地点における前記被写体の前記画素値情報と同じである場合に、前記被写体を追尾する、前記（１）～（７）のいずれか１項に記載の画像処理装置。
（９）撮像素子により撮像される被写体までの距離情報を取得することと、
　前記被写体に対応する画像の画素値情報を取得することと、
　取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、
　を含む、画像処理方法。
（１０）コンピュータに、
　撮像素子により撮像される被写体までの距離情報を取得することと、
　前記被写体に対応する画像の画素値情報を取得することと、
　取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、
　を実行するためのプログラムを記録した、記録媒体。
　１　　　　撮像装置
　４、１００、１０１　　撮像素子
　１１０　　通常画素
　１２０ｆ　　ＡＦ画素対
　２１０　　距離情報取得部
　２２０　　画素値情報取得部
　２３０　　被写体特定部
　２４０　　予測部
　２５０　　追尾部
 

Claims (10)

  1. 　撮像素子により撮像される被写体までの距離情報を取得する距離情報取得部と、
    　前記被写体に対応する画像の画素値情報を取得する画素値情報取得部と、
    　取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾する追尾部と、
    　を備える、画像処理装置。
  2. 　前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有し、
    　前記距離情報取得部は、前記位相差画素により検出された前記位相差に基づいて、前記距離情報を取得する、請求項１に記載の画像処理装置。
  3. 　前記撮像素子は、前記位相差画素を複数有し、
    　前記距離情報取得部は、前記被写体の大きさに応じて前記複数の位相差画素の一部を間引いて、前記距離情報を取得する、請求項２に記載の画像処理装置。
  4. 　取得された前記距離情報に基づいて、追尾対象の被写体を特定する被写体特定部を更に備え、
    　前記追尾部は、前記被写体特定部によって特定された前記被写体を追尾する、請求項１に記載の画像処理装置。
  5. 　前記被写体に対応する画像をライビュー表示する表示部を更に備え、
    　前記表示部が前記画像をライビュー表示する際に、前記撮像素子が前記被写体を撮像する、請求項１に記載の画像処理装置。
  6. 　前記撮像素子は、前記被写体の位相差を検出して焦点調整を行うための位相差画素を有する第１撮像素子であり、
    　前記表示部がライビュー表示する画像を生成するための第２撮像素子を更に備える、請求項５に記載の画像処理装置。
  7. 　前記距離情報取得部は、異なる地点に位置する前記被写体の前記距離情報を、それぞれ取得し、
    　取得した複数の前記距離情報に基づいて、前記被写体の移動先の地点における前記距離情報を予測する予測部を更に備える、請求項１に記載の画像処理装置。
  8. 　前記追尾部は、移動先の地点における前記被写体の前記画素値情報が、直前の地点における前記被写体の前記画素値情報と同じである場合に、前記被写体を追尾する、請求項１に記載の画像処理装置。
  9. 　撮像素子により撮像される被写体までの距離情報を取得することと、
    　前記被写体に対応する画像の画素値情報を取得することと、
    　取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、
    　を含む、画像処理方法。
  10. 　コンピュータに、
    　撮像素子により撮像される被写体までの距離情報を取得することと、
    　前記被写体に対応する画像の画素値情報を取得することと、
    　取得した前記距離情報と前記画素値情報とに基づいて、移動する前記被写体を追尾することと、
    　を実行するためのプログラムを記録した、記録媒体。
     
PCT/JP2012/080033 2011-12-13 2012-11-20 画像処理装置、画像処理方法、及び記録媒体 WO2013088917A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP12857038.9A EP2793457B1 (en) 2011-12-13 2012-11-20 Image processing device, image processing method, and recording medium
US14/363,194 US9818202B2 (en) 2011-12-13 2012-11-20 Object tracking based on distance prediction
JP2013549180A JP5954336B2 (ja) 2011-12-13 2012-11-20 画像処理装置、画像処理方法、及び記録媒体
CN201280060388.3A CN103988490B (zh) 2011-12-13 2012-11-20 图像处理装置、图像处理方法和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011272177 2011-12-13
JP2011-272177 2011-12-13

Publications (1)

Publication Number Publication Date
WO2013088917A1 true WO2013088917A1 (ja) 2013-06-20

Family

ID=48612372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/080033 WO2013088917A1 (ja) 2011-12-13 2012-11-20 画像処理装置、画像処理方法、及び記録媒体

Country Status (5)

Country Link
US (1) US9818202B2 (ja)
EP (1) EP2793457B1 (ja)
JP (1) JP5954336B2 (ja)
CN (1) CN103988490B (ja)
WO (1) WO2013088917A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996205A (zh) * 2013-02-15 2014-08-20 三星电子株式会社 用于处理对象的方法和电子设备
KR20150053160A (ko) * 2013-11-07 2015-05-15 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
WO2016031403A1 (ja) * 2014-08-29 2016-03-03 ソニー株式会社 撮像制御装置、撮像装置、および、撮像装置の制御方法
CN106031154A (zh) * 2014-02-19 2016-10-12 三星电子株式会社 处理图像的方法和用于其的电子设备
CN106031157A (zh) * 2014-02-21 2016-10-12 三星电子株式会社 用于处理图像的电子设备和方法
JP2017129788A (ja) * 2016-01-21 2017-07-27 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
WO2017135276A1 (ja) * 2016-02-01 2017-08-10 ソニー株式会社 制御装置、制御方法および制御プログラム
JP2020025263A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
JP2021158668A (ja) * 2016-03-04 2021-10-07 キヤノン株式会社 撮像制御装置及び移動体

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013190899A1 (ja) * 2012-06-19 2013-12-27 富士フイルム株式会社 撮像装置及び自動焦点調節方法
JP5778873B2 (ja) * 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
KR20150077646A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 이미지 처리 장치 및 방법
US9977961B2 (en) * 2014-10-21 2018-05-22 Bae Systems Information And Electronic Systems Integration Inc. Method for maintaining detection capability when a frame in a multispectral image is corrupted
WO2016080153A1 (ja) * 2014-11-18 2016-05-26 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
CN106324945A (zh) * 2015-06-30 2017-01-11 中兴通讯股份有限公司 非接触式自动对焦方法和装置
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
KR102536083B1 (ko) * 2015-12-24 2023-05-24 삼성전자주식회사 이미징 장치, 전자 장치 및 그의 이미지 획득 방법
JP6634298B2 (ja) * 2016-01-23 2020-01-22 オリンパス株式会社 撮像装置および撮像方法
WO2017169782A1 (ja) * 2016-03-31 2017-10-05 富士フイルム株式会社 距離画像処理装置、距離画像取得装置、及び距離画像処理方法
CN106027889B (zh) * 2016-05-20 2019-04-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN111133356B (zh) * 2017-09-20 2022-03-01 富士胶片株式会社 摄像装置、摄像装置主体及摄像装置的对焦控制方法
US11380000B2 (en) * 2018-02-19 2022-07-05 Murakami Corporation Operation detection device and operation detection method
AT521845B1 (de) * 2018-09-26 2021-05-15 Waits Martin Verfahren zur Fokuseinstellung einer Filmkamera
US11539872B2 (en) * 2018-09-28 2022-12-27 Nec Corporation Imaging control system, imaging control method, control device, control method, and storage medium
CN110223318A (zh) * 2019-04-28 2019-09-10 驭势科技（北京）有限公司 一种多目标轨迹的预测方法、装置、车载设备及存储介质
CN114902648A (zh) * 2020-01-30 2022-08-12 索尼半导体解决方案公司 固态成像装置、电子设备和成像系统
JP2021197623A (ja) * 2020-06-12 2021-12-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN111866373B (zh) 2020-06-19 2021-12-28 北京小米移动软件有限公司 一种显示拍摄预览图像的方法、装置及介质
JP2022173872A (ja) * 2021-05-10 2022-11-22 オリンパス株式会社 焦点調節装置および焦点調節方法
EP4320472A1 (en) 2021-10-12 2024-02-14 Samsung Electronics Co., Ltd. Device and method for predicted autofocus on an object

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124313A (ja) * 2007-11-13 2009-06-04 Nikon Corp 電子カメラ
JP2010066494A (ja) * 2008-09-10 2010-03-25 Olympus Corp 固体撮像素子及びデジタルカメラ
JP2010113129A (ja) 2008-11-06 2010-05-20 Nikon Corp 画像追尾装置、焦点調節装置、および撮像装置
JP2010147762A (ja) * 2008-12-18 2010-07-01 Sanyo Electric Co Ltd 被写体追尾装置及び撮像装置
JP2010271670A (ja) * 2009-05-25 2010-12-02 Canon Inc 撮像装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262375A (ja) * 1994-03-25 1995-10-13 Toshiba Corp 移動体検出装置
JP2002298142A (ja) * 2001-03-29 2002-10-11 Minolta Co Ltd 人物画像検出方法、この方法を実行するためのプログラムを記録した記録媒体、人物画像検出装置及びこの装置を備えた撮影装置
US7423686B2 (en) * 2002-03-14 2008-09-09 Canon Kabushiki Kaisha Image pickup apparatus having auto-focus control and image pickup method
DE102004018813A1 (de) * 2004-04-19 2006-02-23 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und/oder Verfolgung von Objekten
JP4140591B2 (ja) * 2004-09-13 2008-08-27 ソニー株式会社 撮像システム及び撮像方法
US7561790B2 (en) * 2004-12-28 2009-07-14 Fujinon Corporation Auto focus system
JP2007097098A (ja) * 2005-09-30 2007-04-12 Nikon Corp 電子カメラ
EP1966648A4 (en) * 2005-12-30 2011-06-15 Nokia Corp METHOD AND DEVICE FOR ADJUSTING THE AUTOFOCUS OF A VIDEO CAMERA BY FOLLOWING A REGION OF INTEREST
JP5098259B2 (ja) * 2006-09-04 2012-12-12 株式会社ニコン カメラ
JP2008211367A (ja) * 2007-02-23 2008-09-11 Olympus Imaging Corp 撮像装置
JP4961282B2 (ja) * 2007-07-03 2012-06-27 キヤノン株式会社 表示制御装置及びその制御方法
JP2009141475A (ja) * 2007-12-04 2009-06-25 Nikon Corp カメラ
JP5109104B2 (ja) * 2008-04-15 2012-12-26 株式会社メガチップス 一眼レフデジタルカメラ
WO2010021090A1 (ja) * 2008-08-20 2010-02-25 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP5400406B2 (ja) * 2009-02-06 2014-01-29 キヤノン株式会社 撮像装置
JP4905512B2 (ja) * 2009-07-09 2012-03-28 株式会社デンソー 物標情報推定装置
JP5495683B2 (ja) * 2009-09-10 2014-05-21 キヤノン株式会社 撮像装置および測距方法
JP5663923B2 (ja) * 2010-03-31 2015-02-04 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP2011257444A (ja) * 2010-06-04 2011-12-22 Olympus Corp 撮像装置
JP5789098B2 (ja) * 2010-12-16 2015-10-07 キヤノン株式会社 焦点検出装置およびその制御方法
US9077890B2 (en) * 2011-02-24 2015-07-07 Qualcomm Incorporated Auto-focus tracking
JP5830373B2 (ja) * 2011-12-22 2015-12-09 オリンパス株式会社 撮像装置
WO2014010672A1 (ja) * 2012-07-12 2014-01-16 オリンパス株式会社 撮像装置及びプログラム
JP5810136B2 (ja) * 2013-07-04 2015-11-11 オリンパス株式会社 追尾装置、追尾方法及び追尾プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124313A (ja) * 2007-11-13 2009-06-04 Nikon Corp 電子カメラ
JP2010066494A (ja) * 2008-09-10 2010-03-25 Olympus Corp 固体撮像素子及びデジタルカメラ
JP2010113129A (ja) 2008-11-06 2010-05-20 Nikon Corp 画像追尾装置、焦点調節装置、および撮像装置
JP2010147762A (ja) * 2008-12-18 2010-07-01 Sanyo Electric Co Ltd 被写体追尾装置及び撮像装置
JP2010271670A (ja) * 2009-05-25 2010-12-02 Canon Inc 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2793457A4

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996205B (zh) * 2013-02-15 2019-01-08 三星电子株式会社 一种电子设备和操作电子设备的方法
CN103996205A (zh) * 2013-02-15 2014-08-20 三星电子株式会社 用于处理对象的方法和电子设备
KR20150053160A (ko) * 2013-11-07 2015-05-15 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
KR102126505B1 (ko) 2013-11-07 2020-06-24 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
US9615018B2 (en) * 2013-11-07 2017-04-04 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling the same
EP2871833B1 (en) * 2013-11-07 2020-01-01 Samsung Electronics Co., Ltd Electronic apparatus and method of controlling the same
CN106031154A (zh) * 2014-02-19 2016-10-12 三星电子株式会社 处理图像的方法和用于其的电子设备
US10674066B2 (en) 2014-02-19 2020-06-02 Samsung Electronics Co., Ltd. Method for processing image and electronic apparatus therefor
EP3110131A4 (en) * 2014-02-19 2017-11-01 Samsung Electronics Co., Ltd. Method for processing image and electronic apparatus therefor
CN106031157A (zh) * 2014-02-21 2016-10-12 三星电子株式会社 用于处理图像的电子设备和方法
US10440262B2 (en) 2014-02-21 2019-10-08 Samsung Electronics Co., Ltd. Electronic device and method for processing image
JPWO2016031403A1 (ja) * 2014-08-29 2017-06-08 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置、および、撮像装置の制御方法
US10270980B2 (en) 2014-08-29 2019-04-23 Sony Semiconductor Solutions Corporation Image capture control apparatus, image capture apparatus, and method of controlling image capture apparatus
WO2016031403A1 (ja) * 2014-08-29 2016-03-03 ソニー株式会社 撮像制御装置、撮像装置、および、撮像装置の制御方法
JP2017129788A (ja) * 2016-01-21 2017-07-27 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
US10686979B2 (en) 2016-02-01 2020-06-16 Sony Corporation Control apparatus and control method
WO2017135276A1 (ja) * 2016-02-01 2017-08-10 ソニー株式会社 制御装置、制御方法および制御プログラム
JPWO2017135276A1 (ja) * 2016-02-01 2018-11-22 ソニー株式会社 制御装置、制御方法および制御プログラム
CN108603997A (zh) * 2016-02-01 2018-09-28 索尼公司 控制装置、控制方法和控制程序
JP2021105734A (ja) * 2016-02-01 2021-07-26 ソニーグループ株式会社 制御装置、制御方法および制御プログラム
CN108603997B (zh) * 2016-02-01 2021-08-13 索尼公司 控制装置、控制方法和控制程序
JP7036423B2 (ja) 2016-02-01 2022-03-15 ソニーグループ株式会社 制御装置、制御方法および制御プログラム
JP7131647B2 (ja) 2016-02-01 2022-09-06 ソニーグループ株式会社 制御装置、制御方法および制御プログラム
JP2021158668A (ja) * 2016-03-04 2021-10-07 キヤノン株式会社 撮像制御装置及び移動体
JP7098790B2 (ja) 2016-03-04 2022-07-11 キヤノン株式会社 撮像制御装置及び移動体
JP2020025263A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器

Also Published As

Publication number Publication date
JPWO2013088917A1 (ja) 2015-04-27
CN103988490A (zh) 2014-08-13
US20140334683A1 (en) 2014-11-13
EP2793457A4 (en) 2015-08-19
EP2793457B1 (en) 2019-05-08
EP2793457A1 (en) 2014-10-22
JP5954336B2 (ja) 2016-07-20
US9818202B2 (en) 2017-11-14
CN103988490B (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
JP5954336B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
US7706674B2 (en) Device and method for controlling flash
JP4980982B2 (ja) 撮像装置、撮像方法、合焦制御方法及びプログラム
JP4657960B2 (ja) 撮像方法および装置
US20120133813A1 (en) Image pickup apparatus
JP2007232793A (ja) 撮像装置
JP2018072554A (ja) 撮像装置および焦点調節方法
JP2008046255A (ja) Ａｆ補助光搭載カメラ
US8860876B2 (en) Image display using flash reach information
JP2010054730A (ja) 合焦位置検出装置、撮像装置及び合焦位置検出方法
JP2009048136A (ja) 焦点調節装置及び焦点調節方法
JP2007233113A (ja) 測距装置及び方法
JP2007225897A (ja) 合焦位置決定装置及び方法
JP2008263478A (ja) 撮像装置
KR20100115574A (ko) 디지털 카메라 및 그 제어방법
WO2017061095A1 (ja) 撮像装置
US8073319B2 (en) Photographing method and photographing apparatus based on face detection and photography conditions
US9525815B2 (en) Imaging apparatus, method for controlling the same, and recording medium to control light emission
JP6346398B2 (ja) 撮像装置および撮像方法
JP7447901B2 (ja) 撮像装置、絞り機構制御方法
JP2018098764A (ja) 撮像装置および画像合成方法
JP6409083B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP5069076B2 (ja) 撮像装置および連続撮像方法
JP2007226141A (ja) 撮影装置及び方法
JP2006208487A (ja) 撮像装置及び撮像装置の合焦制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12857038

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013549180

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14363194

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE