WO2022181055A1 - 撮像装置、情報処理方法、及びプログラム - Google Patents

撮像装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2022181055A1
WO2022181055A1 PCT/JP2022/000090 JP2022000090W WO2022181055A1 WO 2022181055 A1 WO2022181055 A1 WO 2022181055A1 JP 2022000090 W JP2022000090 W JP 2022000090W WO 2022181055 A1 WO2022181055 A1 WO 2022181055A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
focus
area
imaging device
imaging
Prior art date
Application number
PCT/JP2022/000090
Other languages
English (en)
French (fr)
Inventor
太郎 斎藤
武弘 河口
慎也 藤原
幸徳 西山
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023502127A priority Critical patent/JPWO2022181055A1/ja
Publication of WO2022181055A1 publication Critical patent/WO2022181055A1/ja
Priority to US18/451,127 priority patent/US20230412921A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the technology of the present disclosure relates to an imaging device, an information processing method, and a program.
  • Japanese Patent Application Laid-Open No. 2010-226496 discloses an imaging unit that generates live view data from an optical image of a subject in the imaging range, an autofocus unit that automatically adjusts the focus position of the imaging unit, and a focus position in the live view data. , an image enlarging unit that enlarges the child screen data in the live view data corresponding to the area R1, and a composition area that sets the layout of the child screen so as not to overlap the focus area.
  • a photographing apparatus includes a setting unit, an image synthesizing unit that synthesizes child screen data with a child screen, and an image output unit that outputs live view data synthesized with the child screen data.
  • Japanese Patent Application Laid-Open No. 2016-004163 discloses a depth information acquisition unit that acquires depth information of a subject in a captured image, the captured image or an image corresponding to the captured image, and a focus position obtained from the depth information. a display processing unit that superimposes and displays information for specifying the focus position, and changes the display state of the information for specifying the focus position according to the relationship between the focus position and the subject position. A controller is disclosed.
  • Japanese Patent Laying-Open No. 2019-169769 discloses an image processing device that includes an imaging unit that images a subject and a distance map acquisition unit that acquires information related to the distance distribution of the subject as map data.
  • the distance map acquisition unit obtains distance map data or image shift amount or defocus amount map data related to the captured image by a TOF (Time of Flight) method, an imaging plane phase difference detection method using a split-pupil imaging device, or the like. to get
  • the image processing unit generates texture image data by suppressing low-frequency components of the captured image, and combines the texture image data and the map data acquired by the distance map acquisition unit to create an image expressing the distance distribution of the subject. Generate data.
  • An embodiment according to the technology of the present disclosure provides an imaging device, an information processing method, and a program that eliminate the need for a user to set a window region and can improve the visibility of the focus region.
  • An imaging device is an imaging device that includes an image sensor and a processor.
  • the processor detects an in-focus area within an imaging area based on imaging data obtained by the image sensor, and generating moving image data based on the captured image data; generating information image data representing information related to the moving image data; Output data and control the position of the window area according to the focus area.
  • the processor preferably outputs the moving image data and the information image data to the display destination.
  • the processor arranges the information image data in the window area and outputs synthesized moving image data generated by synthesizing the moving image data and the information image data.
  • the processor preferably sets the position of the window area to an area that does not overlap the in-focus area.
  • the processor preferably detects the in-focus area using a partial range within the depth of field as the focus determination range.
  • An aperture is provided, and the processor preferably sets the focus determination range according to the aperture value of the aperture.
  • the processor detects the in-focus area again using a part of the depth of field as the in-focus determination range when a certain percentage or more of the area in the image represented by the moving image data is the in-focus area. is preferred.
  • the processor detects the distance of the subject based on the imaging data, and controls the state of the window region according to the change direction of the detected distance of the subject.
  • the processor preferably does not change the position of the window region for a certain period of time when the focus region changes due to the fact that at least one subject existing within the focus region moves away and becomes out of focus. .
  • the processor erases the window area for a certain period of time or erases the window area for a certain period of time when at least one subject existing within the in-focus area moves in an approaching direction and enters an out-of-focus state, thereby changing the in-focus area. It is preferable to increase the transmittance.
  • the processor does not change the position of the window area for a certain period of time when the focus area changes due to the movement of at least one subject that is not present in the focus area in the direction of approaching and entering the focused state.
  • the processor preferably changes the position of the window area along the outer circumference of the image represented by the moving image data.
  • the processor moves the window area along a path that avoids the icon, or moves the icon outside the path along which the window area moves.
  • the processor When the window region has a shape extending along one side of the image represented by the moving image data, the processor preferably restricts the direction of changing the position of the window region to a direction intersecting with the extending direction of the window region. .
  • the processor preferably does not change the position of the window area while a specific operation is being performed.
  • the information image data is preferably data obtained by correcting moving image data, a histogram representing luminance, or a waveform representing luminance.
  • the processor When the information image data is peaking image data, the processor preferably sets the position of the window region to a position overlapping the focus region.
  • the processor preferably changes the size of the window area according to the size of the in-focus area.
  • the window area is set at a specific position. , the transmittance is preferably increased.
  • the image sensor includes a plurality of phase difference pixels, and the processor detects the focus area based on the imaging data obtained from the phase difference pixels among the imaging data.
  • the phase difference pixel can selectively output non-phase difference image data photoelectrically converted by the entire pixel area and phase difference image data photoelectrically converted by a partial area of the pixel, It is preferable that the processor detects the focus area based on the imaging data when the phase difference pixels output the phase difference image data.
  • An information processing method detects a focus area within an imaging area based on imaging data obtained by an image sensor, and generates moving image data based on imaging data obtained by an image sensor. , generating information image data representing information related to the moving image data; outputting the moving image data and information image data associated with the window region in the image represented by the moving image data; to control the position of the window region.
  • the program of the present disclosure detects a focus area in an imaging area based on imaging data obtained by an image sensor, generates moving image data based on imaging data obtained by the image sensor, generating information image data representing information related to image data; outputting moving image data and information image data associated with a window region in an image represented by the moving image data;
  • a computer is caused to perform a process including controlling the position of the region.
  • FIG. 1 is a schematic configuration diagram showing an example of the overall configuration of an imaging device;
  • FIG. 1 is a schematic configuration diagram showing an example of a hardware configuration of an optical system and an electrical system of an imaging device;
  • FIG. It is a schematic block diagram which shows an example of a structure of a photoelectric conversion element.
  • 4 is a block diagram showing an example of functions of a processor;
  • FIG. 2 is a bird's-eye view of an imaging area of an imaging device as seen from the sky;
  • FIG. FIG. 4 is a diagram showing an example of moving image data; It is a conceptual diagram explaining an example of information image data generation processing. It is a conceptual diagram explaining an example of a data output process.
  • FIG. 1 is a schematic configuration diagram showing an example of the overall configuration of an imaging device;
  • FIG. 1 is a schematic configuration diagram showing an example of a hardware configuration of an optical system and an electrical system of an imaging device;
  • FIG. It is a schematic block diagram which shows an example of a structure of a
  • FIG. 5 is a conceptual diagram illustrating an example of window region position control processing
  • 7 is a flowchart showing an example of the flow of PinP display processing
  • FIG. 11 is a block diagram showing an example of functions of a processor according to a first modified example
  • 4 is a conceptual diagram showing an example of the relationship between depth of field and focus determination range
  • FIG. 11 is a conceptual diagram illustrating an example of in-focus area detection processing according to the first modified example
  • FIG. 5 is a diagram showing an example of the relationship between the F-number and the focus determination range
  • FIG. 11 is a flowchart showing an example of the flow of focus area detection processing according to the first modified example
  • FIG. FIG. 11 is a conceptual diagram illustrating an example of window region position control processing according to a second modified example
  • FIG. 11 is a flowchart showing an example of the flow of window region position control processing according to the second modified example;
  • FIG. 11 is a conceptual diagram illustrating an example of window region position control processing according to a third modified example;
  • FIG. 11 is a flowchart showing an example of the flow of window region position control processing according to the third modified example;
  • FIG. 14 is a conceptual diagram illustrating an example of window region position control processing according to a fourth modified example;
  • FIG. 16 is a flowchart showing an example of the flow of window region position control processing according to the fourth modified example;
  • FIG. 21 is a conceptual diagram illustrating an example of window region position control processing according to a fifth modified example;
  • FIG. 21 is a conceptual diagram illustrating an example of window region position control processing according to a sixth modified example
  • FIG. 21 is a conceptual diagram illustrating another example of window region position control processing according to the sixth modification
  • FIG. 21 is a conceptual diagram illustrating an example of window region position control processing according to a seventh modified example
  • FIG. 16 is a flowchart showing an example of the flow of window region position control processing according to an eighth modified example
  • FIG. 21 is a conceptual diagram illustrating an example of window region position control processing according to a ninth modification
  • FIG. 21 is a conceptual diagram illustrating an example of window region position control processing according to a tenth modified example
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for "Graphics Processing Unit”.
  • TPU is an abbreviation for "Tensor processing unit”.
  • NVM is an abbreviation for "Non-volatile memory”.
  • RAM is an abbreviation for "Random Access Memory”.
  • IC is an abbreviation for "Integrated Circuit”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • PLD is an abbreviation for "Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array”.
  • SoC is an abbreviation for "System-on-a-chip.”
  • SSD is an abbreviation for "Solid State Drive”.
  • USB is an abbreviation for "Universal Serial Bus”.
  • HDD is an abbreviation for "Hard Disk Drive”.
  • EEPROM is an abbreviation for "Electrically Erasable and Programmable Read Only Memory”.
  • EL is an abbreviation for "Electro-Luminescence”.
  • I/F is an abbreviation for "Interface”.
  • UI is an abbreviation for "User Interface”.
  • fps is an abbreviation for "frame per second”.
  • MF is an abbreviation for "Manual Focus”.
  • AF is an abbreviation for "Auto Focus”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
  • CCD is an abbreviation for "Charge Coupled Device”.
  • A/D is an abbreviation for "Analog/Digital”.
  • LUT is an abbreviation for "Lookup table”.
  • the imaging device 10 is a device for imaging a subject, and includes a processor 12, an imaging device main body 16, and an interchangeable lens 18.
  • the processor 12 is an example of a "computer" according to the technology of the present disclosure.
  • the processor 12 is built in the imaging device main body 16 and controls the imaging device 10 as a whole.
  • the interchangeable lens 18 is replaceably attached to the imaging device main body 16 .
  • the interchangeable lens 18 is provided with a focus ring 18A.
  • the focus ring 18A is operated by the user of the imaging device 10 (hereinafter simply referred to as “user”) or the like when manually adjusting the focus of the imaging device 10 on the subject.
  • an interchangeable lens type digital camera is shown as an example of the imaging device 10 .
  • this is only an example, and it may be a digital camera with a fixed lens, or a smart device, a wearable terminal, a cell observation device, an ophthalmologic observation device, or a surgical microscope built into various electronic devices. It may be a digital camera.
  • An image sensor 20 is provided in the imaging device body 16 .
  • the image sensor 20 is an example of an "image sensor" according to the technology of the present disclosure.
  • Image sensor 20 is a CMOS image sensor.
  • the image sensor 20 captures an imaging area including at least one subject.
  • subject light representing the subject passes through the interchangeable lens 18 and forms an image on the image sensor 20, and image data representing the image of the subject is generated by the image sensor 20. be done.
  • CMOS image sensor is exemplified as the image sensor 20, but the technology of the present disclosure is not limited to this. The technology of the present disclosure is established.
  • a release button 22 and a dial 24 are provided on the upper surface of the imaging device body 16 .
  • the dial 24 is operated when setting the operation mode of the imaging system and the operation mode of the reproduction system. Modes are selectively set.
  • the imaging mode is an operation mode for causing the imaging device 10 to perform imaging.
  • the reproduction mode is an operation mode for reproducing an image (for example, a still image and/or a moving image) obtained by capturing an image for recording in the imaging mode.
  • the setting mode is an operation mode that is set for the imaging device 10 when setting various setting values used in control related to imaging.
  • the release button 22 functions as an imaging preparation instruction section and an imaging instruction section, and can detect a two-stage pressing operation in an imaging preparation instruction state and an imaging instruction state.
  • the imaging preparation instruction state refers to, for example, the state of being pressed from the standby position to the intermediate position (half-pressed position), and the imaging instruction state refers to the state of being pressed to the final pressed position (full-pressed position) beyond the intermediate position. point to Hereinafter, “the state of being pressed from the standby position to the half-pressed position” will be referred to as “half-pressed state”, and "the state of being pressed from the standby position to the fully-pressed position” will be referred to as "fully-pressed state”.
  • the imaging preparation instruction state may be a state in which the user's finger is in contact with the release button 22, and the imaging instruction state may be a state in which the operating user's finger is in contact with the release button 22. It may be in a state that has transitioned to a state away from the state.
  • An instruction key 26 and a touch panel display 32 are provided on the back of the imaging device body 16 .
  • the touch panel display 32 includes a display 28 and a touch panel 30 (see also FIG. 2).
  • An example of the display 28 is an EL display (eg, an organic EL display or an inorganic EL display).
  • the display 28 may be another type of display such as a liquid crystal display instead of an EL display.
  • the display 28 displays images and/or character information.
  • the display 28 is used to capture live view images, that is, to display live view images obtained by continuously capturing images when the imaging device 10 is in the imaging mode.
  • the “live view image” refers to a moving image for display based on image data obtained by being imaged by the image sensor 20 .
  • Imaging performed to obtain a live view image (hereinafter also referred to as “live view image imaging”) is performed at a frame rate of 60 fps, for example. 60 fps is merely an example, and the frame rate may be less than 60 fps or more than 60 fps.
  • the display 28 is also used to display a still image obtained by performing still image imaging when a still image imaging instruction is given to the imaging device 10 via the release button 22 . be done.
  • the display 28 is also used for displaying reproduced images and the like when the imaging device 10 is in the reproduction mode. Furthermore, when the imaging apparatus 10 is in the setting mode, the display 28 displays a menu screen from which various menus can be selected, and a setting screen for setting various setting values used in control related to imaging. Also used for display.
  • the touch panel 30 is a transmissive touch panel and is superimposed on the surface of the display area of the display 28 .
  • the touch panel 30 accepts instructions from the user by detecting contact with an indicator such as a finger or a stylus pen.
  • an indicator such as a finger or a stylus pen.
  • the above-described “full-press state” also includes a state in which the user turns on the soft key for starting imaging via the touch panel 30 .
  • an out-cell touch panel display in which the touch panel 30 is superimposed on the surface of the display area of the display 28 is given as an example of the touch panel display 32, but this is only an example.
  • the touch panel display 32 it is possible to apply an on-cell or in-cell touch panel display.
  • the instruction key 26 accepts various instructions.
  • “various instructions” include, for example, an instruction to display a menu screen, an instruction to select one or more menus, an instruction to confirm a selection, an instruction to delete a selection, zoom in, zoom out, and various instructions such as frame advance. Also, these instructions may be given by the touch panel 30 .
  • the image sensor 20 has a photoelectric conversion element 72 .
  • the photoelectric conversion element 72 has a light receiving surface 72A.
  • the photoelectric conversion element 72 is arranged in the imaging device main body 16 so that the center of the light receiving surface 72A and the optical axis OA are aligned (see also FIG. 1).
  • the photoelectric conversion element 72 has a plurality of photosensitive pixels 72B (see FIG. 3) arranged in a matrix, and the light receiving surface 72A is formed by the plurality of photosensitive pixels.
  • Each photosensitive pixel 72B has a microlens 72C (see FIG. 3).
  • Each photosensitive pixel 72B is a physical pixel having a photodiode (not shown), photoelectrically converts received light, and outputs an electrical signal corresponding to the amount of received light.
  • the plurality of photosensitive pixels 72B have red (R), green (G), or blue (B) color filters (not shown) arranged in a predetermined pattern arrangement (eg, Bayer arrangement, G stripe R/G complete checkered pattern). , X-Trans (registered trademark) arrangement, honeycomb arrangement, etc.).
  • the photosensitive pixels 72B having the microlenses 72C and the R color filters are referred to as R pixels
  • the photosensitive pixels 72B having the microlenses 72C and the G color filters are referred to as G pixels
  • the microlenses 72C and B color filters are referred to as B pixels.
  • an electrical signal output from an R pixel is referred to as an "R signal”
  • an electrical signal output from a G pixel is referred to as a "G signal”
  • an electrical signal output from a B pixel is referred to as a "G signal”. It is called "B signal”.
  • the interchangeable lens 18 has an imaging lens 40 .
  • the imaging lens 40 has an objective lens 40A, a focus lens 40B, a zoom lens 40C, and an aperture 40D.
  • the objective lens 40A, the focus lens 40B, the zoom lens 40C, and the diaphragm 40D are arranged along the optical axis OA from the subject side (object side) to the imaging device main body 16 side (image side).
  • the zoom lens 40C and the diaphragm 40D are arranged in this order.
  • the interchangeable lens 18 also includes a control device 36 , a first actuator 37 , a second actuator 38 and a third actuator 39 .
  • the control device 36 controls the entire interchangeable lens 18 according to instructions from the imaging device body 16 .
  • the control device 36 is, for example, a device having a computer including a CPU, NVM, RAM, and the like.
  • the NVM of controller 36 is, for example, an EEPROM. However, this is merely an example, and an HDD and/or an SSD or the like may be applied as the NVM of the system controller 44 instead of or together with the EEPROM.
  • the RAM of the control device 36 temporarily stores various information and is used as a work memory. In the control device 36, the CPU reads necessary programs from the NVM and executes the read various programs on the RAM to control the imaging lens 40 as a whole.
  • control device 36 Although a device having a computer is mentioned here as an example of the control device 36, this is merely an example, and a device including ASIC, FPGA, and/or PLD may be applied. Also, as the control device 36, for example, a device realized by combining a hardware configuration and a software configuration may be used.
  • the first actuator 37 includes a focus slide mechanism (not shown) and a focus motor (not shown).
  • a focus lens 40B is attached to the focus slide mechanism so as to be slidable along the optical axis OA.
  • a focus motor is connected to the focus slide mechanism, and the focus slide mechanism receives power from the focus motor and operates to move the focus lens 40B along the optical axis OA.
  • the second actuator 38 includes a zoom slide mechanism (not shown) and a zoom motor (not shown).
  • a zoom lens 40C is attached to the zoom slide mechanism so as to be slidable along the optical axis OA.
  • a zoom motor is connected to the zoom slide mechanism, and the zoom slide mechanism receives power from the zoom motor to move the zoom lens 40C along the optical axis OA.
  • the third actuator 39 includes a power transmission mechanism (not shown) and a diaphragm motor (not shown).
  • the diaphragm 40D has an aperture 40D1, and the aperture 40D1 is variable in size.
  • the aperture 40D1 is formed by, for example, a plurality of aperture blades 40D2.
  • the multiple aperture blades 40D2 are connected to a power transmission mechanism.
  • a diaphragm motor is connected to the power transmission mechanism, and the power transmission mechanism transmits the power of the diaphragm motor to the plurality of diaphragm blades 40D2.
  • the plurality of aperture blades 40D2 change the size of the opening 40D1 by receiving power transmitted from the power transmission mechanism.
  • the diaphragm 40D adjusts exposure by changing the size of the opening 40D1.
  • the focus motor, zoom motor, and aperture motor are connected to the control device 36, and the control device 36 controls the driving of the focus motor, zoom motor, and aperture motor.
  • a stepping motor is used as an example of the motor for focus, the motor for zoom, and the motor for aperture. Therefore, the focus motor, the zoom motor, and the aperture motor operate in synchronization with the pulse signal according to commands from the control device 36 .
  • the interchangeable lens 18 is provided with the focus motor, the zoom motor, and the aperture motor is shown here, this is merely an example, and the focus motor and the zoom motor are provided.
  • the aperture motor may be provided in the imaging device main body 16 . Note that the configuration and/or the method of operation of the interchangeable lens 18 can be changed as required.
  • the MF mode and the AF mode are selectively set according to instructions given to the imaging device main body 16.
  • MF mode is an operation mode for manual focusing.
  • the focus lens 40B moves along the optical axis OA by a movement amount corresponding to the operation amount of the focus ring 18A or the like, thereby adjusting the focus. be done.
  • the imaging device main body 16 calculates the focus position according to the subject distance, and the focus is adjusted by moving the focus lens 40B toward the calculated focus position.
  • the in-focus position refers to the position of the focus lens 40B on the optical axis OA in a focused state.
  • the imaging device body 16 includes an image sensor 20, a processor 12, a system controller 44, an image memory 46, a UI device 48, an external I/F 50, a communication I/F 52, a photoelectric conversion element driver 54, and an input/output interface 70.
  • the image sensor 20 also includes a photoelectric conversion element 72 and an A/D converter 74 .
  • the input/output interface 70 is connected to the processor 12, the image memory 46, the UI device 48, the external I/F 50, the photoelectric conversion element driver 54, and the A/D converter 74.
  • the input/output interface 70 is also connected to the control device 36 of the interchangeable lens 18 .
  • the system controller 44 includes a CPU (not shown), NVM (not shown), and RAM (not shown).
  • the NVM is a non-temporary storage medium and stores various parameters and various programs.
  • the NVM of system controller 44 is, for example, an EEPROM. However, this is merely an example, and an HDD and/or an SSD or the like may be applied as the NVM of the system controller 44 instead of or together with the EEPROM.
  • the RAM of the system controller 44 temporarily stores various information and is used as a work memory.
  • the CPU reads necessary programs from the NVM and executes the read various programs on the RAM, thereby controlling the imaging apparatus 10 as a whole. That is, in the example shown in FIG. 2, the processor 12, the image memory 46, the UI system device 48, the external I/F 50, the communication I/F 52, the photoelectric conversion element driver 54, and the control device 36 are controlled by the system controller 44.
  • the processor 12 operates under the control of the system controller 44.
  • Processor 12 comprises CPU 62 , NVM 64 and RAM 66 .
  • the CPU 62 , NVM 64 and RAM 66 are connected via a bus 68 , which is connected to an input/output interface 70 .
  • bus 68 may be a serial bus or a parallel bus including a data bus, an address bus, a control bus, and the like.
  • the NVM 64 is a non-temporary storage medium, and stores various parameters and programs different from the various parameters and programs stored in the NVM of the system controller 44 .
  • the various programs include a later-described program 65 (see FIG. 4).
  • NVM 64 is, for example, an EEPROM. However, this is merely an example, and an HDD and/or SSD may be applied as the NVM 64 instead of or together with the EEPROM.
  • the RAM 66 temporarily stores various information and is used as a work memory.
  • the CPU 62 reads necessary programs from the NVM 64 and executes the read programs in the RAM 66 .
  • the CPU 62 performs image processing according to programs executed on the RAM 66 .
  • a photoelectric conversion element driver 54 is connected to the photoelectric conversion element 72 .
  • the photoelectric conversion element driver 54 supplies the photoelectric conversion element 72 with an imaging timing signal that defines the timing of imaging performed by the photoelectric conversion element 72 according to instructions from the CPU 62 .
  • the photoelectric conversion element 72 resets, exposes, and outputs an electric signal according to the imaging timing signal supplied from the photoelectric conversion element driver 54 .
  • imaging timing signals include a vertical synchronization signal and a horizontal synchronization signal.
  • the interchangeable lens 18 When the interchangeable lens 18 is attached to the imaging device main body 16, subject light incident on the imaging lens 40 is imaged on the light receiving surface 72A by the imaging lens 40.
  • the photoelectric conversion element 72 photoelectrically converts the subject light received by the light receiving surface 72A under the control of the photoelectric conversion element driver 54, and converts an electric signal corresponding to the amount of the subject light to A as imaging data 73 representing the subject light.
  • /D converter 74 Specifically, the A/D converter 74 reads out the imaging data 73 from the photoelectric conversion element 72 in units of one frame and for each horizontal line in a sequential exposure readout method.
  • the A/D converter 74 digitizes analog imaging data 73 read from the photoelectric conversion element 72 .
  • the imaging data 73 digitized by the A/D converter 74 is so-called RAW image data, and represents an image in which R pixels, G pixels, and B pixels are arranged in a mosaic pattern. Further, in the present embodiment, as an example, the number of bits of each of R pixels, B pixels, and G pixels included in the RAW image data, that is, the bit length is 14 bits.
  • the CPU 62 of the processor 12 acquires the imaging data 73 from the A/D converter 74 and performs image processing on the acquired imaging data 73 .
  • the processor 12 generates moving image data 80 and information image data 82 based on the imaging data 73 .
  • the image memory 46 stores synthetic moving image data 84 generated by synthesizing the moving image data 80 and the information image data 82 .
  • the composite moving image data 84 is moving image data used for displaying a live view image.
  • the UI-based device 48 has a display 28 .
  • the CPU 62 causes the display 28 to display the composite moving image data 84 stored in the image memory 46 .
  • the CPU 62 also causes the display 28 to display various information.
  • the UI device 48 also includes a reception device 76 .
  • the reception device 76 has a touch panel 30 and a hard key section 78 .
  • the hard key portion 78 is a plurality of hard keys including the instruction key 26 (see FIG. 1).
  • the CPU 62 operates according to various instructions accepted by the touch panel 30 .
  • the hard key unit 78 is included in the UI device 48 here, the technology of the present disclosure is not limited to this. good.
  • the external I/F 50 controls transmission and reception of various types of information with devices existing outside the imaging device 10 (hereinafter also referred to as "external devices").
  • An example of the external I/F 50 is a USB interface.
  • External devices such as smart devices, personal computers, servers, USB memories, memory cards, and/or printers are directly or indirectly connected to the USB interface.
  • the communication I/F 52 is connected to a network (not shown).
  • the communication I/F 52 controls transmission and reception of information between a communication device (not shown) such as a server on the network and the system controller 44 .
  • a communication device such as a server on the network
  • the communication I/F 52 transmits information requested by the system controller 44 to the communication device via the network.
  • the communication I/F 52 also receives information transmitted from the communication device and outputs the received information to the system controller 44 via the input/output interface 70 .
  • photosensitive pixels 72B including a pair of independent photodiodes PD1 and PD2 are arranged two-dimensionally on the light receiving surface 72A of the photoelectric conversion element 72.
  • one direction parallel to the light receiving surface 72A is defined as the X direction
  • a direction orthogonal to the X direction is defined as the Y direction.
  • the photosensitive pixels 72B are arranged along the X and Y directions.
  • the photodiode PD1 performs photoelectric conversion on the luminous flux passing through the first pupil partial area in the imaging lens 40 .
  • the photodiode PD2 photoelectrically converts the luminous flux passing through the second pupil partial region in the imaging lens 40 .
  • a color filter (not shown) and a microlens 72C are arranged in each of the photosensitive pixels 72B.
  • the photoelectric conversion element 72 having the configuration shown in FIG. 3 is an image plane phase difference type photoelectric conversion element in which one pixel is provided with a pair of photodiodes PD1 and PD2.
  • the electrical conversion element 72 also has a function for all the photosensitive pixels 72B to output data regarding imaging and phase difference.
  • the photoelectric conversion element 72 outputs non-phase-difference image data 73A by combining the pair of photodiodes PD1 and PD2 into one pixel at the time of imaging. Further, in the AF mode, the photoelectric conversion element 72 outputs phase difference image data 73B by detecting signals from each of the pair of photodiodes PD1 and PD2.
  • all the photosensitive pixels 72B provided in the photoelectric conversion element 72 of this embodiment are so-called "phase difference pixels".
  • the photosensitive pixels 72B can selectively output non-phase-contrast image data 73A photoelectrically converted by the entire pixel area and phase-contrast image data photoelectrically converted by a partial area of the pixel.
  • the "whole area of the pixel” is the light receiving area including the photodiode PD1 and the photodiode PD2.
  • the “partial region of the pixel” is the light receiving region of the photodiode PD1 or the light receiving region of the photodiode PD2.
  • the non-phase-contrast image data 73A can also be generated based on the phase-contrast image data 73B. For example, by adding the phase difference image data 73B for each pair of pixel signals corresponding to the pair of photodiodes PD1 and PD2, the non-phase difference image data 73A is generated. Also, the phase difference image data 73B may include only data output from one of the pair of photodiodes PD1 and PD2. For example, when the phase difference image data 73B includes only the data output from the photodiode PD1, by subtracting the phase difference image data 73B from the non-phase difference image data 73A for each pixel, the photodiode PD2 It is possible to create data output from
  • the imaging data 73 read from the photoelectric conversion element 72 includes non-phase-contrast image data 73A and/or phase-contrast image data 73B.
  • the in-focus area within the imaging area is detected based on the phase difference image data 73B.
  • a picture-in-picture display (hereinafter referred to as PinP display), which will be described later, is performed based on the detected in-focus area.
  • the NVM 64 of the imaging device 10 stores a program 65 .
  • the CPU 62 reads the program 65 from the NVM 64 and executes the read program 65 on the RAM 66 .
  • the CPU 62 performs PinP display processing according to a program 65 executed on the RAM 66 .
  • the PinP display processing is performed by the CPU 62 operating according to the program 65 as a moving image data generation unit 62A, an information image data generation unit 62B, a data output processing unit 62C, a focus area detection unit 62D, and a window area position control unit 62E. Realized.
  • FIG. 5 is a bird's-eye view of the imaging area 10A of the imaging device 10 as seen from above.
  • a person 11A and a tree 11B exist as subjects in the imaging area 10A.
  • the direction parallel to the optical axis OA is the Z direction.
  • the Z direction is orthogonal to the X and Y directions described above.
  • the distance between the person 11A and the tree 11B is different with respect to the imaging device 10, and the tree 11B exists farther than the person 11A.
  • the moving image data generator 62A generates moving image data including a plurality of frames 80A based on the non-phase difference image data 73A (see FIG. 4) obtained by the imaging operation of the image sensor 20. Generate 80.
  • each frame 80A shows two subjects, a person 11A and a tree 11B.
  • the information image data generating section 62B generates information image data 82 representing information related to the moving image data 80 based on the moving image data 80 generated by the moving image data generating section 62A. As an example, as shown in FIG. 7, the information image data generating unit 62B performs color correction on each frame 80A of the moving image data 80, thereby generating a moving image composed of a plurality of color-corrected frames 82A. Information image data 82, which is image data, is generated.
  • the information image data generation unit 62B may generate the information image data 82 by applying an LUT for color matching to the moving image data 80 without being limited to color correction.
  • the information image data 82 is not limited to data obtained by correcting the moving image data 80, and may be a histogram representing image brightness or a waveform representing image brightness. In this way, the information image data 82 may be data representing information related to the moving image data 80 .
  • the data output processing unit 62C outputs the moving image data 80 and the information image data 82 associated with the window region 85 (see FIG. 8) in the image represented by the moving image data 80.
  • the data output processing unit 62C superimposes the information image data 82 on a window area 85 set as a rectangular area in a part of the frame 80A of the moving image data 80.
  • the data output processing unit 62C synthesizes the moving image data 80 and the information image data 82 in a state where the information image data 82 is superimposed on the window region 85 of the moving image data 80.
  • Synthetic moving image data 84 is generated.
  • the data output processing unit 62C outputs the combined moving image data 84 to the display 28 via the image memory 46 (see FIG. 2).
  • the display 28 is an example of a "display destination" according to the technology of the present disclosure.
  • the data output processing unit 62C is not limited to directly outputting the composite moving image data 84 to the display destination, and may indirectly output the composite moving image data 84 to the display destination via a relay device or the like. Further, the data output processing unit 62C outputs the moving image data 80 and the information image data 82 while associating the information image data 82 with the window region 85 of the moving image data 80 without generating the synthesized moving image data 84. You may output to a display destination directly or indirectly.
  • the focus area detection unit 62D detects the focus area within the imaging area 10A based on the phase difference image data 73B. That is, the focus area detection unit 62D detects the focus area based on the imaging data 73 when the photosensitive pixels 72B (see FIG. 3) as phase difference pixels output the phase difference image data 73B.
  • the focus area detection unit 62D detects the phase difference (shift) between the image based on the signal output from the photodiode PD1 and the image based on the signal output from the photodiode PD2.
  • distance information at a plurality of positions within the imaging area 10A is obtained by detecting the amount and direction of deviation).
  • the image plane phase difference type photoelectric conversion element 72 in which a pair of photodiodes is provided in one pixel is used, the distance can be obtained for each position corresponding to each of the photosensitive pixels 72B.
  • the focus area detection unit 62D can detect the area of the subject in focus (that is, the focus area) based on the distance information at a plurality of positions within the imaging area 10A.
  • the focus area detection unit 62D detects the focus area from the frame 80A based on the phase difference image data 73B corresponding to the generated frame 80A. to detect
  • the window area position control section 62E controls the position of the window area 85 according to the focus area detected by the focus area detection section 62D.
  • the window region position control unit 62E sets the position of the window region 85 to a region that does not overlap the focus region in each frame 80A of the moving image data 80.
  • window area position control unit 62E when an area including person 11A is detected as focus area FA, window area position control unit 62E does not overlap person 11A in focus in frame 80A.
  • the position of the window area 85 is set as follows. For example, the window region position control unit 62E sets the window region 85 to a position overlapping the out-of-focus tree 11B. Note that the window area position control section 62E may reduce the size of the window area 85 so that it does not overlap the focus area FA. In the present disclosure, "changing the position of the window area” also includes changing the size of the window area.
  • FIG. 9 the subject in focus is represented by a solid line, and the subject in an out-of-focus state is represented by a broken line. The same applies to the following figures.
  • the window region position control unit 62E changes the position of the window region 85 so that it does not overlap the tree 11B in focus. For example, in the example shown in FIG. 9, the window region position control unit 62E changes the position of the window region 85 to a position overlapping the person 11A in the non-focus state.
  • the data output processing unit 62C described above superimposes the information image data 82 on the position of the window area 85 set by the window area position control unit 62E in each frame 80A of the moving image data 80. Accordingly, in each frame 80A of the moving image data 80, the information image data 82 is displayed in a PinP manner so as not to overlap the focus area FA on the display 28 as the display destination.
  • FIG. 10 shows an example of the flow of PinP display processing executed by the CPU 62.
  • the PinP display processing shown in FIG. 10 is executed, for example, during display of a live view image before an imaging instruction is given by the release button 22 in MF mode.
  • the moving image data generation unit 62A determines whether or not the imaging data 73 (see FIG. 3) has been generated by the image sensor 20 (see FIG. 2).
  • the imaging data 73 includes non-phase contrast image data 73A and phase contrast image data 73B.
  • step ST100 if the imaging data 73 is not generated by the image sensor 20, the determination is negative, and the PinP display process proceeds to step ST106.
  • step ST100 if the imaging data 73 is generated by the image sensor 20, the determination is affirmative, and the PinP display process proceeds to step ST101.
  • step ST101 the moving image data generation unit 62A generates moving image data 80 (see FIG. 6) based on the non-phase contrast image data 73A included in the imaging data 73. After one frame 80A of the moving image data 80 is generated in step ST101, the PinP display process proceeds to step ST102.
  • the information image data generating section 62B generates information image data 82 representing information related to the moving image data 80 based on the moving image data 80 generated by the moving image data generating section 62A.
  • the information image data generator 62B generates the information image data 82 by performing color correction (see FIG. 7) on each frame 80A of the moving image data 80.
  • FIG. 8 After the information image data 82 is generated in step ST102, the PinP display process proceeds to step ST103.
  • step ST103 the focus area detection unit 62D detects the focus area FA (see FIG. 9) within the imaging area 10A (that is, within the frame 80A) based on the phase difference image data 73B included in the imaging data 73. .
  • the PinP display process proceeds to step ST104.
  • step ST104 the window area position control section 62E sets the position of the window area 85 according to the focus area FA detected by the focus area detection section 62D (see FIG. 9). In this embodiment, the window area position control section 62E sets the position of the window area 85 to an area that does not overlap the focus area FA. After the position of the window area 85 is set in step ST104, the PinP display process proceeds to step ST105.
  • step ST105 the data output processing unit 62C outputs the moving image data 80 and the information image data 82 to the display 28 with the information image data 82 superimposed on the window area 85 set in the frame 80A.
  • the data output processing unit 62C outputs synthetic moving image data 84 (see FIG. 8) generated by synthesizing the moving image data 80 and the information image data 82 to the display 28.
  • FIG. in step ST105 after outputting the composite moving image data 84, the PinP display process proceeds to step ST106.
  • step ST106 the CPU 62 determines whether or not a condition for ending the PinP display process (hereinafter referred to as "end condition") is satisfied.
  • end condition there is a condition that it is detected that an imaging instruction is given by the release button 22 (see FIG. 1).
  • step ST106 if the end condition is not satisfied, the determination is negative, and the PinP display process proceeds to step ST100.
  • step ST105 if the termination condition is satisfied, the determination is affirmative, and the PinP display processing is terminated.
  • the position of the window area 85 is controlled so as not to overlap the focus area FA.
  • the visibility of the focus area FA can be improved.
  • the photoelectric conversion element 72 is an image-plane phase difference type photoelectric conversion element in which a pair of photodiodes is provided in one pixel, and all the photosensitive pixels 72B have the function of outputting data related to imaging and phase difference. However, it is not limited to that all the photosensitive pixels 72B also have the function of outputting data on imaging and phase difference.
  • the photoelectric conversion element 72 may include photosensitive pixels that do not have the function of outputting data on imaging and phase difference.
  • the photoelectric conversion element 72 is not limited to the image plane phase difference type photoelectric conversion element in which one pixel is provided with a pair of photodiodes. It may also include photosensitive pixels for phase difference detection for obtaining the phase difference image data 73B. In this case, the phase difference pixel is provided with a light shielding member so as to receive light from one of the first partial pupil region and the second partial pupil region.
  • the focus area FA is not limited to the method using a photoelectric conversion element having phase difference pixels, and can also be detected based on imaging data obtained by a photoelectric conversion element having no phase difference pixels.
  • the imaging apparatus 10 according to the first modification detects the focus area FA using a partial range within the depth of field as the focus determination range in order to expand the area in which the window area 85 can be set within the frame 80A. do.
  • Other configurations of the imaging device 10 according to the first modification are the same as those of the imaging device 10 according to the above embodiment.
  • the focus area detection unit 62D acquires depth of field information 90 from the system controller 44, for example, in addition to the non-phase contrast image data 73A.
  • the depth-of-field information 90 is information representing the rear depth-of-field Lr represented by the following formula (1) and the front-field depth Lf represented by the following formula (2).
  • f is the focal length
  • F is the aperture value (that is, F value) of the diaphragm 40D
  • L is the focusing distance
  • ⁇ is the permissible circle of confusion diameter.
  • the diameter of the permissible circle of confusion is about twice the array pitch of the photosensitive pixels 72B, and blur of about one pixel size is allowed.
  • the focusing distance L is the distance from the light receiving surface 72A of the photoelectric conversion element 72 included in the image sensor 20 to the subject in focus.
  • the depth of field information 90 includes values for a rear depth of field Lr and a front depth of field Lf .
  • the depth of field information 90 may include the values of the focal length f, the F value, the focusing distance L, and the permissible circle of confusion diameter ⁇ .
  • the focus area detection section 62D may calculate the rear depth of field Lr and the front depth of field Lf based on the above formulas (1) and (2).
  • the depth of field DOF represents the range from the front depth of field Lf to the rear depth of field Lr along the Z direction.
  • the depth of field DOF increases (that is, becomes deeper) as the F number increases.
  • the focus area detection unit 62D detects the focus area FA using a partial range within the depth of field DOF as the focus determination range FJR. That is, the focus area detection unit 62D detects the subject existing within the focus determination range FJR based on the non-phase difference image data 73A, and sets the detected subject area as the focus area FA.
  • the window area 85 cannot be set at a position that does not overlap the focus area FA.
  • FJR DOF and many focus areas FA are detected in the frame 80A, so that the window area 85 is set at a position that does not overlap the focus areas FA.
  • FJR ⁇ DOF reduces the number of focus areas FA detected in the frame 80A, so the window area 85 is set at a position that does not overlap the focus areas FA. becomes possible. That is, by setting FJR ⁇ DOF, the area in which the window area 85 can be set can be expanded.
  • the focus determination range FJR may be a fixed value. For example, a range of ⁇ 1 m with respect to the focusing distance L may be set as the focus determination range FJR. However, since the depth of field DOF changes according to the F-number, if the focus determination range FJR is set to a fixed value, the relationship between the determination result of the in-focus area FA and the F-number is given to the user. It may make you feel uncomfortable.
  • the focus determination range FJR may be changed according to the F-number. For example, the larger the F-number, the wider the focus determination range FJR. Also, the focus determination range FJR may be changed according to the depth of field DOF. For example, a range reduced by multiplying the depth of field DOF by a certain ratio (for example, 10%) may be used as the focus determination range FJR. Furthermore, the reception device 76 or the like may allow the user to set the focus determination range FJR.
  • the focus area detection unit 62D detects a part of the depth of field DOF when a certain ratio or more of the area in the image represented by the moving image data 80 (that is, the frame 80A) is the focus area FA.
  • the in-focus area FA may be detected again by setting the range to the focus determination range FJR (that is, FJR ⁇ DOF).
  • the focus area detection unit 62D performs the focus area detection process shown in FIG. 15 as an example.
  • the focus area detection section 62D detects the focus area FA based on the phase difference image data 73B included in the imaging data 73.
  • the focus area detection process proceeds to step ST201.
  • step ST201 the focus area detection section 62D calculates the ratio of the focus area FA within the frame 80A. After the ratio of the focus area FA is calculated in step ST201, the focus area detection process proceeds to step ST202.
  • step ST202 the focus area detection unit 62D determines whether or not the ratio of the focus area FA is equal to or greater than a certain ratio. In step ST202, if the ratio of the focus area FA is less than the fixed ratio, the determination is negative, and the focus area detection process ends. In step ST202, when the proportion of the focus area FA is equal to or greater than the fixed proportion, the determination is affirmative, and the focus area detection process proceeds to step ST203.
  • step ST203 the focus area detection unit 62D limits the focus determination range FJR to a partial range within the depth of field DOF (that is, FJR ⁇ DOF). After FJR ⁇ DOF in step ST203, the in-focus area detection process proceeds to step ST204.
  • step ST204 the focus area detection unit 62D detects the focus area FA again based on the phase difference image data 73B while FJR ⁇ DOF. After the focus area FA is detected in step ST204, the focus area detection process proceeds to step ST202.
  • step ST202 the focus area detection unit 62D determines again whether or not the ratio of the focus area FA is equal to or greater than a certain ratio. In step ST202, if the ratio of the focus area FA is less than the fixed ratio, the determination is negative, and the focus area detection process ends. In step ST202, if the proportion of the focus area FA is equal to or greater than the fixed proportion, the determination is affirmative, and the focus area detection process proceeds to step ST203 again.
  • step ST203 the focus area detection unit 62D further limits the focus determination range FJR to a narrower range. After that, the in-focus area detection process is repeatedly executed until the determination in step ST202 is negative.
  • the focus area detection unit 62D narrows the focus determination range FJR when substantially the entire image represented by the moving image data 80 is the focus area FA, thereby reducing the window width.
  • the area in which the position of the area 85 can be changed is expanded.
  • the imaging device 10 according to the second modification detects the distance of the subject, and controls the state of the window region 85 according to the change direction of the detected distance of the subject.
  • the imaging device 10 controls the position of the window region 85 when at least one subject existing within the focused region moves away from the imaging device 10 and becomes out of focus. do.
  • the focus area detection unit 62D detects movement of the subject in addition to detection of the focus area FA based on the phase difference image data 73B corresponding to the multiple frames 80A.
  • the window region position control section 62E controls the position of the window region 85 based on the moving direction of the subject.
  • the focus area detection unit 62D detects that the person 11A2 has moved away from the imaging device 10 and is out of focus.
  • the window region position control unit 62E sets the window region 85 so as to overlap the out-of-focus person 11A2, the information image data 82 displayed in the window region 85 interferes with focus adjustment on the person 11A2. becomes.
  • the window region position control unit 62E moves the window region 85 for a certain period of time (for example, for 2 seconds), the window region 85 is moved after the out-of-focus state continues for a certain period of time.
  • the window area position control unit 62E moves the window area 85 and enlarges the window area 85 .
  • the window region position control unit 62E performs window region position control processing shown in FIG. 17 as an example.
  • the window area position control section 62E determines whether or not the focus area detection section 62D has detected movement of the subject. In step ST300, if the movement of the subject has not been detected, the determination is negative, and the window region position control process proceeds to step ST305. In step ST300, if movement of the subject is detected, the determination is affirmative, and the window region position control process proceeds to step ST301.
  • step ST301 the window area position control section 62E determines whether or not the movement of the subject detected by the focus area detection section 62D is moving away. In step ST301, if the movement is not in the receding direction, the determination is negative, and the window region position control process proceeds to step ST305. In step ST301, if the movement is in the receding direction, the determination is affirmative, and the window region position control process proceeds to step ST302.
  • step ST302 the window area position control section 62E determines whether or not the subject detected by the focus area detection section 62D has changed from the in-focus state to the out-of-focus state. In step ST302, if the subject is not in the out-of-focus state, the determination is negative, and the window region position control process proceeds to step ST305. In step ST302, when the subject is out of focus, the determination is affirmative, and the window region position control process proceeds to step ST303.
  • step ST303 the window region position control section 62E determines whether or not the out-of-focus state has continued for a certain period of time. In step ST303, if the out-of-focus state has not continued for a certain period of time, the determination is negative, and the window region position control process proceeds to step ST305. In step ST303, if the out-of-focus state continues for a certain period of time, the determination is affirmative, and the window region position control process proceeds to step ST304.
  • step ST304 the window area position control section 62E changes the position of the window area 85 (see FIG. 16). After the position of the window region 85 is changed in step ST304, the window region position control process proceeds to step ST305.
  • step ST305 the window region position control section 62E determines whether or not a condition for ending the window region position control process (hereinafter referred to as "end condition") is satisfied. If the end condition is not satisfied in step ST305, the determination is negative, and the window region position control process proceeds to step ST300. In step ST305, if the termination condition is satisfied, the determination is affirmative, and the window region position control process is terminated.
  • end condition a condition for ending the window region position control process
  • the window area 85 Do not change position for a certain period of time. Accordingly, it is possible to prevent the information image data 82 displayed in the window region 85 from interfering with focus adjustment.
  • the imaging device 10 detects the distance to the subject and controls the state of the window region 85 according to the change direction of the detected distance to the subject.
  • the imaging device 10 erases the window region 85 for a certain period of time when at least one subject existing within the in-focus region moves toward the imaging device 10 and becomes out of focus. or increase the transmittance for a certain period of time.
  • the focus area detection unit 62D detects movement of the subject in addition to detection of the focus area FA, as in the second modification.
  • the window region position control section 62E controls the position of the window region 85 based on the moving direction of the subject.
  • the focus area detection unit 62D detects that the person 11A2 has approached the imaging device 10 and is out of focus.
  • the user may want to adjust the focus on the person 11A2 approaching instead of keeping the person 11A1 in focus.
  • the window area 85 overlaps the person 11A2, and the information image data 82 displayed in the window area 85 interferes with focusing on the person 11A2. becomes.
  • the window region position control unit 62E keeps the window region 85 for a certain period of time (for example, two seconds). to erase. Instead of erasing the window region 85 for a certain period of time, the transmittance of the window area 85 may be increased for a certain period of time. In this case, the transmittance of the window region 85 is set, for example, from 0% to 70%. By increasing the transmittance of the window region 85, even when the information image data 82 is displayed in the window region 85, the image of the person 11A2 in the region overlapping the window region 85 can be seen through the window region 85. Become.
  • the window region position control unit 62E performs window region position control processing shown in FIG. 19 as an example.
  • the window area position control section 62E determines whether or not the focus area detection section 62D has detected movement of the subject. In step ST400, if the movement of the subject has not been detected, the determination is negative, and the window region position control process proceeds to step ST404. In step ST400, if movement of the subject is detected, the determination is affirmative, and the window region position control process proceeds to step ST401.
  • step ST401 the window area position control section 62E determines whether or not the movement of the subject detected by the focus area detection section 62D is movement in the approaching direction. In step ST401, if the movement is not in the approaching direction, the determination is negative, and the window region position control process proceeds to step ST404. In step ST401, if the movement is toward the approaching direction, the determination is affirmative, and the window region position control process proceeds to step ST402.
  • step ST402 the window area position control section 62E determines whether or not the subject detected by the focus area detection section 62D has changed from the in-focus state to the out-of-focus state. In step ST402, if the subject is not in the out-of-focus state, the determination is negative, and the window region position control process proceeds to step ST404. In step ST402, if the object is out of focus, the determination is affirmative, and the window region position control process proceeds to step ST403.
  • the window area position control section 62E erases the window area 85 for a certain period of time (see FIG. 18). That is, the information image data 82 is not displayed for a certain period of time.
  • the window area position control process proceeds to step ST404.
  • step ST404 the window region position control unit 62E determines whether or not the termination condition is satisfied. If the end condition is not satisfied in step ST404, the determination is negative, and the window region position control process proceeds to step ST400. In step ST404, if the end condition is satisfied, the determination is affirmative, and the window region position control process ends.
  • the window area 85 is changed. Erasing for a certain period of time or increasing the transmittance for a certain period of time. Accordingly, it is possible to prevent the information image data 82 displayed in the window region 85 from interfering with focus adjustment.
  • the imaging device 10 according to the fourth modification detects the distance to the subject, and controls the state of the window region 85 according to the change direction of the detected distance to the subject.
  • the imaging device 10 moves the position of the window region 85 for a certain period of time. It does not change.
  • the focus area detection unit 62D detects movement of the subject in addition to detection of the focus area FA, as in the second and third modifications.
  • the window region position control section 62E controls the position of the window region 85 based on the moving direction of the subject.
  • the focus area detection unit 62D detects that the out-of-focus person 11A2 approaches the imaging device 10 and becomes in focus.
  • the window region position control unit 62E keeps the position of the window region 85 constant when the out-of-focus person 11A2 moves toward the imaging device 10 and comes into focus. Do not change the time (eg 10 seconds). That is, the position of the window region 85 is changed after a certain period of time has elapsed.
  • the certain period of time may be the time until the next operation (MF operation, zoom operation, setting change operation such as white balance, etc.) is performed.
  • the certain period of time may be a period of time until an acceleration sensor or the like detects that the angle of view has been changed.
  • the window region position control unit 62E performs window region position control processing shown in FIG. 21 as an example.
  • the window area position control section 62E determines whether or not the focus area detection section 62D has detected movement of the subject. In step ST500, if movement of the subject is not detected, the determination is negative, and the window region position control process proceeds to step ST504. In step ST500, if movement of the subject is detected, the determination is affirmative, and the window region position control process proceeds to step ST501.
  • step ST501 the window area position control section 62E determines whether or not the movement of the subject detected by the focus area detection section 62D is movement in the approaching direction. In step ST501, if the movement is not in the approaching direction, the determination is negative, and the window region position control process proceeds to step ST504. In step ST501, if the movement is toward the approaching direction, the determination is affirmative, and the window region position control process proceeds to step ST502.
  • step ST502 the window area position control section 62E determines whether or not the subject detected by the focus area detection section 62D has changed from the out-of-focus state to the focused state. In step ST502, if the subject is not in focus, the determination is negative, and the window region position control process proceeds to step ST504. In step ST502, if the subject is in focus, the determination is affirmative, and the window region position control process proceeds to step ST503.
  • step ST503 the window area position control section 62E does not change the position of the window area 85 for a certain period of time (see FIG. 20). That is, the position of the window region 85 is changed after a certain period of time has elapsed. In step ST503, after the position of the window region 85 is not changed for a certain period of time and remains fixed, the window region position control process proceeds to step ST504.
  • step ST504 the window region position control section 62E determines whether or not the termination condition is satisfied. If the end condition is not satisfied in step ST504, the determination is negative, and the window region position control process proceeds to step ST500. In step ST504, if the termination condition is satisfied, the determination is affirmative, and the window region position control process is terminated.
  • the window area 85 Do not change position for a certain period of time. As a result, it is possible to prevent the position of the window region 85 from being changed due to focusing on a subject unintended by the user.
  • the focus area FA often exists near the center of the frame 80A, the visibility of the focus area FA is ensured by moving the window area 85 along the outer periphery of the frame 80A.
  • the icon 92 is a display image representing various setting information of the imaging device 10 (focus mode type, F number, flash ON/OFF, etc.).
  • the window area position control unit 62E moves the icon 92 out of the path along which the window area 85 moves when the icon 92 exists on the path along which the window area 85 moves.
  • the window region 85 has a rectangular shape extending in the X direction, which is the long side direction of the frame 80A.
  • a histogram or a waveform obtained by plotting luminance values in the Y direction of the frame 80A is displayed as the information image data 82 in the window area 85 .
  • the window region position control unit 62E limits the change direction of the position of the window region 85 to the direction intersecting with the extending direction of the window region 85 .
  • the window region position control unit 62E limits the change direction of the position of the window region 85 to the Y direction. Note that the window region 85 may extend in the Y direction. In this case, the window region position control unit 62E limits the change direction of the position of the window region 85 to the X direction.
  • window region position control unit 62E performs window region position control processing shown in FIG. 26 as an example.
  • window region position control section 62E determines whether or not a condition for changing the position of window region 85 is satisfied. For example, the window area position control unit 62E determines that the condition for changing the position of the window area 85 is satisfied when the focus area FA is changed. If the conditions are not satisfied in step ST600, the determination is negative, and the window region position control process proceeds to step ST603. In step ST600, if the condition is satisfied, the determination is affirmative, and the window region position control process proceeds to step ST601.
  • step ST601 the window region position control unit 62E determines whether or not the user has performed a specific operation on the imaging device 10. In step ST601, if the specific operation has not been performed, the determination is negative, and the window region position control process proceeds to step ST603. In step ST601, if a specific operation is performed, the determination is affirmative, and the window region position control process proceeds to step ST602.
  • step ST602 the window region position control section 62E determines whether or not the operation has ended. In step ST602, if the operation has not ended, the determination is negative, and the window region position control process executes step ST602 again. In step ST602, if the operation has ended, the determination is affirmative, and the window region position control process proceeds to step ST603.
  • step ST603 the window area position control section 62E changes the position of the window area 85. After the position of the window region 85 is changed in step ST603, the window region position control process proceeds to step ST604.
  • step ST604 the window region position control section 62E determines whether or not the termination condition is satisfied. If the end condition is not satisfied in step ST604, the determination is negative, and the window region position control process proceeds to step ST600. In step ST604, if the end condition is satisfied, the determination is affirmative, and the window region position control process ends.
  • the position of the window region 85 is not changed when the user is performing a specific operation, so both operability and visibility of the window region 85 are compatible.
  • the peaking image data is image data in which the in-focus portion is emphasized, and is generated by the information image data generating section 62B.
  • the window area position control section 62E sets the position of the window area 85 to a position overlapping the focus area FA.
  • the window area position control section 62E sets the position of the window area 85 to a position overlapping the focus area FA.
  • peaking image data in which the in-focus portion (for example, the outline) of the face portion of the person 11A is emphasized is displayed.
  • the size of the window area 85 may be changed according to the area of the focusing area FA.
  • the window area 85 is enlarged so that the size of the face in the peaking image is larger than the size of the face of the person 11A in the frame 80A.
  • the information image data 82 is peaking image data
  • the position of the window area 85 so as to overlap with the focus area FA only for the peaking image
  • the accuracy of focus confirmation by the user can be improved. improves.
  • the window region position control unit 62E sets the window region 85 to a specific position (for example, default position in the upper right corner) within the frame 80A.
  • the transmittance of the window region 85 is changed from 0% to 50%, for example.
  • the PinP display processing of the present disclosure can also be applied in the AF mode.
  • the CPU 62 was exemplified, but instead of the CPU 62 or together with the CPU 62, at least one other CPU, at least one GPU, and/or at least one TPU may be used. .
  • the program 65 may be stored in a portable non-temporary storage medium such as SSD or USB memory.
  • a program 65 stored in a non-temporary storage medium is installed in the processor 12 of the imaging device 10 .
  • the CPU 62 executes PinP display processing according to the program 65 .
  • the program 65 is stored in a storage device such as another computer or a server device connected to the imaging device 10 via a network, and the program 65 is downloaded in response to a request from the imaging device 10 and installed in the processor 12. may be made.
  • a storage device such as a server device, or the NVM 64, and part of the program 65 may be stored.
  • processor 12 is built in the imaging device 10 shown in FIGS. 1 and 2 , the technology of the present disclosure is not limited to this. good too.
  • processor 12 including CPU 62, NVM 64, and RAM 66 is illustrated in the above embodiment, the technology of the present disclosure is not limited to this, and a device including an ASIC, FPGA, and/or PLD may be used instead of processor 12. may apply. Also, instead of the processor 12, a combination of hardware and software configurations may be used.
  • processors shown below can be used as hardware resources for executing the PinP display processing described in the above embodiment.
  • Examples of processors include a CPU, which is a general-purpose processor that functions as a hardware resource that executes PinP display processing by executing software, that is, a program.
  • processors include, for example, FPGAs, PLDs, ASICs, and other dedicated electric circuits that are processors having circuit configurations specially designed to execute specific processing.
  • Each processor has a built-in or connected memory, and each processor uses the memory to execute PinP display processing.
  • the hardware resource that executes the PinP display process may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of multiple FPGAs, or (combination of CPU and FPGA). Also, the hardware resource for executing the PinP display process may be one processor.
  • one processor is configured by combining one or more CPUs and software, and this processor functions as a hardware resource for executing PinP display processing.
  • this processor functions as a hardware resource for executing PinP display processing.
  • SoC SoC
  • a and/or B is synonymous with “at least one of A and B.” That is, “A and/or B” means that only A, only B, or a combination of A and B may be used. Also, in this specification, when three or more matters are expressed by connecting with “and/or”, the same idea as “A and/or B" is applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置は、イメージセンサ及びプロセッサを備える撮像装置であって、プロセッサは、イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、イメージセンサにより得られた撮像データに基づいて動画像データを生成し、動画像データに関連する情報を表す情報画像データを生成し、動画像データ、及び動画像データが表す画像内における窓領域に関連付けられた情報画像データを出力し、合焦領域に応じて窓領域の位置を制御する。

Description

撮像装置、情報処理方法、及びプログラム
　本開示の技術は、撮像装置、情報処理方法、及びプログラムに関する。
　特開２０１０－２２６４９６号公報には、撮像範囲中の被写体の光学像からスルー画データを生成する撮像部、撮像部の合焦位置を自動調整するオートフォーカス部、スルー画データ中の合焦位置を含む領域Ｒ１を特定する合焦領域特定部、領域Ｒ１に対応するスルー画データ中の子画面データを拡大する画像拡大部、子画面の配置を合焦領域に重ならないように設定する合成領域設定部、子画面に子画面データを合成する画像合成部、および子画面データが合成されたスルー画データを出力する画像出力部と、を備えた撮影装置が開示されている。
　特開２０１６－００４１６３号公報には、撮像画像内の被写体の奥行き情報を取得する奥行き情報取得部と、前記撮像画像又は前記撮像画像に対応する画像と前記奥行き情報から得られる合焦位置を指定するための情報とを重畳して表示する処理を行い、合焦位置と被写体位置との関係に応じて前記合焦位置を指定するための情報の表示状態を変化させる表示処理部と、を備える制御装置が開示されている。
　特開２０１９－１６９７６９号公報には、被写体を撮像する撮像部と、被写体の距離分布に関連する情報をマップデータとして取得する距離マップ取得部を備える画像処理装置が開示されている。距離マップ取得部は、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式や瞳分割型撮像素子を用いた撮像面位相差検出方式等により、距離マップデータまたは撮像画像に関連する像ずれ量もしくはデフォーカス量のマップデータを取得する。画像処理部は、撮像画像の低周波数成分を抑圧したテクスチャ画像のデータを生成し、テクスチャ画像のデータと、距離マップ取得部により取得されたマップデータを合成して被写体の距離分布を表現した画像データを生成する。
　本開示の技術に係る一つの実施形態は、ユーザによる窓領域の設定操作が不要で、かつ合焦領域の視認性を高めることができる撮像装置、情報処理方法、及びプログラムを提供する。
　本開示の撮像装置は、イメージセンサ及びプロセッサを備える撮像装置であって、プロセッサは、イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、イメージセンサにより得られた撮像データに基づいて動画像データを生成し、動画像データに関連する情報を表す情報画像データを生成し、動画像データ、及び動画像データが表す画像内における窓領域に関連付けられた情報画像データを出力し、合焦領域に応じて窓領域の位置を制御する。
　プロセッサは、動画像データ及び情報画像データを表示先に出力することが好ましい。
　プロセッサは、窓領域に情報画像データを配置して、動画像データと情報画像データとを合成することにより生成した合成動画像データを出力することが好ましい。
　プロセッサは、合焦領域に重ならない領域に窓領域の位置を設定することが好ましい。
　プロセッサは、被写界深度内の一部の範囲を合焦判定範囲として合焦領域を検出することが好ましい。
　絞りを備え、プロセッサは、絞りの絞り値に応じて合焦判定範囲を設定することが好ましい。
　プロセッサは、動画像データが表す画像内の一定割合以上の領域が合焦領域である場合に、被写界深度内の一部の範囲を合焦判定範囲として、再度合焦領域を検出することが好ましい。
　プロセッサは、撮像データに基づいて被写体の距離を検出し、検出した被写体の距離の変化方向に応じて窓領域の状態を制御することが好ましい。
　プロセッサは、合焦領域内に存在する少なくとも１つの被写体が遠ざかる方向に移動して非合焦状態になることにより合焦領域が変化した場合に、窓領域の位置を一定時間変更しないことが好ましい。
　プロセッサは、合焦領域内に存在する少なくとも１つの被写体が近づく方向に移動して非合焦状態になることにより合焦領域が変化した場合に、窓領域を一定時間消去するか、若しくは一定時間透過率を上げることが好ましい。
　プロセッサは、合焦領域内に存在しない少なくとも１つの被写体が近づく方向に移動して合焦状態になることにより合焦領域が変化した場合に、窓領域の位置を一定時間変更しないことが好ましい。
　プロセッサは、動画像データが表す画像の外周に沿って窓領域の位置を変更することが好ましい。
　プロセッサは、動画像データが表す画像内にアイコンが表示されている場合に、アイコンを避ける経路に沿って窓領域を移動させるか、若しくは窓領域が移動する経路外にアイコンを移動させることが好ましい。
　プロセッサは、窓領域が、動画像データが表す画像の一辺に沿って延伸した形状である場合に、窓領域の位置の変更方向を、窓領域の延伸方向と交差する方向に制限することが好ましい。
　プロセッサは、特定の操作が行われている間には、窓領域の位置を変更しないことが好ましい。
　情報画像データは、動画像データに補正を施したデータ、輝度を表すヒストグラム、又は輝度を表す波形であることが好ましい。
　プロセッサは、情報画像データがピーキング画像データである場合には、窓領域の位置を、合焦領域に重なる位置に設定することが好ましい。
　プロセッサは、合焦領域の大きさに応じて窓領域の大きさを変更することが好ましい。
　動画像データが表す画像内の一定割合以上の領域が合焦領域であって、合焦領域に重ならない領域に窓領域を設定することができない場合に、窓領域を、特定の位置に設定し、透過率を上げた状態とすることが好ましい。
　イメージセンサは、複数の位相差画素を備え、プロセッサは、撮像データのうち、位相差画素から得られた撮像データに基づいて合焦領域を検出することが好ましい。
　位相差画素は、画素の全領域によって光電変換が行われた非位相差画像データと、画素の一部の領域によって光電変換が行われた位相差画像データとを選択的に出力可能であり、プロセッサは、位相差画素が位相差画像データを出力した場合における撮像データに基づいて合焦領域を検出することが好ましい。
　本開示の情報処理方法は、イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、動画像データに関連する情報を表す情報画像データを生成すること、動画像データ、及び動画像データが表す画像内における窓領域に関連付けられた情報画像データを出力すること、合焦領域に応じて窓領域の位置を制御すること、を含む。
　本開示のプログラムは、イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、動画像データに関連する情報を表す情報画像データを生成すること、動画像データ、及び動画像データが表す画像内における窓領域に関連付けられた情報画像データを出力すること、合焦領域に応じて窓領域の位置を制御することを含む処理をコンピュータに実行させる。
撮像装置の全体の構成の一例を示す概略構成図である。 撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。 光電変換素子の構成の一例を示す概略構成図である。 プロセッサの機能の一例を示すブロック図である。 撮像装置による撮像エリアを上空から見た俯瞰図である。 動画像データの一例を示す図である。 情報画像データ生成処理の一例を説明する概念図である。 データ出力処理の一例を説明する概念図である。 窓領域位置制御処理の一例を説明する概念図である。 ＰｉｎＰ表示処理の流れの一例を示すフローチャートである。 第１変形例に係るプロセッサの機能の一例を示すブロック図である。 被写界深度と合焦判定範囲との関係一例を示す概念図である。 第１変形例に係る合焦領域検出処理の一例を説明する概念図である。 Ｆ値と合焦判定範囲との関係の一例を示す図である。 第１変形例に係る合焦領域検出処理の流れの一例を示すフローチャートである。 第２変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第２変形例に係る窓領域位置制御処理の流れの一例を示すフローチャートである。 第３変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第３変形例に係る窓領域位置制御処理の流れの一例を示すフローチャートである。 第４変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第４変形例に係る窓領域位置制御処理の流れの一例を示すフローチャートである。 第５変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第６変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第６変形例に係る窓領域位置制御処理の他の例を説明する概念図である。 第７変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第８変形例に係る窓領域位置制御処理の流れの一例を示すフローチャートである。 第９変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第１０変形例に係る窓領域位置制御処理の一例を説明する概念図である。
　以下、添付図面に従って本開示の技術に係る撮像装置、情報処理方法、及びプログラムの一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。ＬＵＴとは、“Lookup table”の略称を指す。
　一例として図１に示すように、撮像装置１０は、被写体を撮像する装置であり、プロセッサ１２、撮像装置本体１６、及び交換レンズ１８を備えている。プロセッサ１２は、本開示の技術に係る「コンピュータ」の一例である。プロセッサ１２は、撮像装置本体１６に内蔵されており、撮像装置１０の全体を制御する。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１０のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１０による被写体に対するピントの調整を手動で行う場合に、ユーザ等によって操作される。
　図１に示す例では、撮像装置１０の一例として、レンズ交換式のデジタルカメラが示されている。但し、これは、あくまでも一例に過ぎず、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。
　撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、本開示の技術に係る「イメージセンサ」の一例である。イメージセンサ２０は、ＣＭＯＳイメージセンサである。イメージセンサ２０は、少なくとも１つの被写体を含む撮像エリアを撮像する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、被写体の画像を示す画像データがイメージセンサ２０によって生成される。
　本実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
　撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１０では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１０に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、撮像に関連する制御で用いられる各種の設定値を設定する場合などに撮像装置１０に対して設定する動作モードである。
　レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。
　撮像装置本体１６の背面には、指示キー２６及びタッチパネル・ディスプレイ３２が設けられている。
　タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図２も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。
　ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１０が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。
　ディスプレイ２８は、撮像装置１０に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１０が再生モードの場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１０が設定モードの場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値等を設定するための設定画面の表示にも用いられる。
　タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。
　本実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
　指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。
　一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、受光面７２Ａを有する。光電変換素子７２は、受光面７２Ａの中心と光軸ＯＡとが一致するように撮像装置本体１６内に配置されている（図１も参照）。光電変換素子７２は、マトリクス状に配置された複数の感光画素７２Ｂ（図３参照）を有しており、受光面７２Ａは、複数の感光画素によって形成されている。各感光画素７２Ｂは、マイクロレンズ７２Ｃ（図３参照）を有する。各感光画素７２Ｂは、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。
　また、複数の感光画素７２Ｂには、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のカラーフィルタ（図示省略）が既定のパターン配列（例えば、ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等）でマトリクス状に配置されている。
　なお、以下では、説明の便宜上、マイクロレンズ７２Ｃ及びＲのカラーフィルタを有する感光画素７２ＢをＲ画素と称し、マイクロレンズ７２Ｃ及びＧのカラーフィルタを有する感光画素７２ＢをＧ画素と称し、マイクロレンズ７２Ｃ及びＢのカラーフィルタを有する感光画素７２ＢをＢ画素と称する。また、以下では、説明の便宜上、Ｒ画素から出力される電気信号を「Ｒ信号」と称し、Ｇ画素から出力される電気信号を「Ｇ信号」と称し、Ｂ画素から出力される電気信号を「Ｂ信号」と称する。
　交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（物体側）から撮像装置本体１６側（像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。
　また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、及び第３アクチュエータ３９を備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。制御装置３６のＮＶＭは、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をシステムコントローラ４４のＮＶＭとして適用してもよい。また、制御装置３６のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。制御装置３６において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像レンズ４０の全体を制御する。
　なお、ここでは、制御装置３６の一例として、コンピュータを有する装置を挙げているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。
　第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。
　第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。
　第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、例えば、複数枚の絞り羽根４０Ｄ２によって形成されている。複数枚の絞り羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根４０Ｄ２に伝達する。複数枚の絞り羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。絞り４０Ｄは、開口４０Ｄ１の大きさを変化させることで露出を調節する。
　フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、本実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。従って、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。なお、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。なお、交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。
　撮像装置１０では、撮像モードの場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動でピントを合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点が調節される。
　ＡＦモードでは、撮像装置本体１６が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ４０Ｂを移動させることで、焦点を調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸ＯＡ上での位置を指す。
　撮像装置本体１６は、イメージセンサ２０、プロセッサ１２、システムコントローラ４４、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２及びＡ／Ｄ変換器７４を備えている。
　入出力インタフェース７０には、プロセッサ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、光電変換素子ドライバ５４、及びＡ／Ｄ変換器７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。
　システムコントローラ４４は、ＣＰＵ（図示省略）、ＮＶＭ（図示省略）、及びＲＡＭ（図示省略）を備えている。システムコントローラ４４において、ＮＶＭには、非一時的記憶媒体であり、各種パラメータ及び各種プログラムが記憶されている。システムコントローラ４４のＮＶＭは、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をシステムコントローラ４４のＮＶＭとして適用してもよい。また、システムコントローラ４４のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。システムコントローラ４４において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像装置１０の全体を制御する。すなわち、図２に示す例では、プロセッサ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び制御装置３６がシステムコントローラ４４によって制御される。
　プロセッサ１２は、システムコントローラ４４の制御下で動作する。プロセッサ１２は、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。
　ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。なお、図２に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
　ＮＶＭ６４は、非一時的記憶媒体であり、システムコントローラ４４のＮＶＭに記憶されている各種パラメータ及び各種プログラムとは異なる各種パラメータ及び各種プログラムを記憶している。各種プログラムには、後述のプログラム６５（図４参照）が含まれる。ＮＶＭ６４は、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
　ＣＰＵ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラムに従って画像処理を行う。
　光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、ＣＰＵ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。
　交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示す撮像データ７３としてＡ／Ｄ変換器７４に出力する。具体的には、Ａ／Ｄ変換器７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎に撮像データ７３を読み出す。
　Ａ／Ｄ変換器７４は、光電変換素子７２から読み出されるアナログの撮像データ７３をデジタル化する。Ａ／Ｄ変換器７４によりデジタル化された撮像データ７３は、いわゆるＲＡＷ画像データであり、Ｒ画素、Ｇ画素、及びＢ画素がモザイク状に配列された画像を表す。また、本実施形態では、一例として、ＲＡＷ画像データに含まれるＲ画素、Ｂ画素、及びＧ画素の各画素のビット数、すなわち、ビット長は、１４ビットである。
　本実施形態において、一例として、プロセッサ１２のＣＰＵ６２は、Ａ／Ｄ変換器７４から撮像データ７３を取得し、取得した撮像データ７３に対して画像処理を行う。本実施形態では、プロセッサ１２は、撮像データ７３に基づいて、動画像データ８０及び情報画像データ８２を生成する。画像メモリ４６には、動画像データ８０と情報画像データ８２とを合成することにより生成された合成動画像データ８４が記憶される。本実施形態では、合成動画像データ８４は、ライブビュー画像の表示に用いられる動画データである。
　ＵＩ系デバイス４８は、ディスプレイ２８を備えている。ＣＰＵ６２は、ディスプレイ２８に対して、画像メモリ４６に記憶された合成動画像データ８４を表示させる。また、ＣＰＵ６２は、ディスプレイ２８に対して各種情報を表示させる。
　また、ＵＩ系デバイス４８は、受付デバイス７６を備えている。受付デバイス７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。ＣＰＵ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。
　外部Ｉ／Ｆ５０は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。
　通信Ｉ／Ｆ５２は、ネットワーク（図示省略）に接続されている。通信Ｉ／Ｆ５２は、ネットワーク上のサーバ等の通信装置（図示省略）とシステムコントローラ４４との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、システムコントローラ４４からの要求に応じた情報を、ネットワークを介して通信装置に送信する。また、通信Ｉ／Ｆ５２は、通信装置から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してシステムコントローラ４４に出力する。
　一例として図３に示すように、本実施形態では、光電変換素子７２の受光面７２Ａには、独立した一対のフォトダイオードＰＤ１，ＰＤ２を含む感光画素７２Ｂが２次元状に配列されている。図３では、受光面７２Ａに平行である１つの方向をＸ方向とし、Ｘ方向に直交する方向をＹ方向としている。感光画素７２Ｂは、Ｘ方向及びＹ方向に沿って配列されている。
　フォトダイオードＰＤ１は、撮像レンズ４０における第１の瞳部分領域を通過する光束に対する光電変換を行う。フォトダイオードＰＤ２は、撮像レンズ４０における第２の瞳部分領域を通過する光束に対する光電変換を行う。感光画素７２Ｂの各々には、カラーフィルタ（図示省略）、及びマイクロレンズ７２Ｃが配置されている。
　図３に示す構成の光電変換素子７２は、一画素に一対のフォトダイオードＰＤ１，ＰＤ２が設けられた像面位相差方式の光電変換素子である。本実施形態では、電変換素子７２は、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えている。光電変換素子７２は、撮像時には、一対のフォトダイオードＰＤ１，ＰＤ２を合わせて１つの画素とすることで、非位相差画像データ７３Ａを出力する。また、光電変換素子７２は、ＡＦモードでは、一対のフォトダイオードＰＤ１，ＰＤ２のそれぞれから信号を検出することにより、位相差画像データ７３Ｂを出力する。
　すなわち、本実施形態の光電変換素子７２に設けられた全ての感光画素７２Ｂは、いわゆる「位相差画素」である。感光画素７２Ｂは、画素の全領域によって光電変換が行われた非位相差画像データ７３Ａと、画素の一部の領域によって光電変換が行われた位相差画像データとを選択的に出力可能である。ここで、「画素の全領域」とは、フォトダイオードＰＤ１とフォトダイオードＰＤ２とを合わせた受光領域である。また、「画素の一部の領域」とは、フォトダイオードＰＤ１の受光領域、又はフォトダイオードＰＤ２の受光領域である。
　なお、非位相差画像データ７３Ａは、位相差画像データ７３Ｂに基づいて生成することも可能である。例えば、位相差画像データ７３Ｂを、一対のフォトダイオードＰＤ１，ＰＤ２に対応する一対の画素信号ごとに加算することにより、非位相差画像データ７３Ａが生成される。また、位相差画像データ７３Ｂには、一対のフォトダイオードＰＤ１，ＰＤ２のうちの一方から出力されたデータのみが含まれていてもよい。例えば、位相差画像データ７３ＢにフォトダイオードＰＤ１から出力されたデータのみが含まれている場合には、非位相差画像データ７３Ａから位相差画像データ７３Ｂを画素ごとに減算することにより、フォトダイオードＰＤ２から出力されるデータを作成することが可能である。
　すなわち、光電変換素子７２から読み出される撮像データ７３には、非位相差画像データ７３Ａ及び／又は位相差画像データ７３Ｂが含まれる。本実施形態では、ＭＦモードにおいて、位相差画像データ７３Ｂに基づいて撮像エリア内における合焦領域を検出する。検出した合焦領域に基づいて、後述するピクチャー・イン・ピクチャー表示（以下、ＰｉｎＰ表示と称する）が行われる。
　一例として図４に示すように、撮像装置１０のＮＶＭ６４には、プログラム６５が記憶されている。ＣＰＵ６２は、ＮＶＭ６４からプログラム６５を読み出し、読み出したプログラム６５をＲＡＭ６６上で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラム６５に従ってＰｉｎＰ表示処理を行う。ＰｉｎＰ表示処理は、ＣＰＵ６２がプログラム６５に従って、動画像データ生成部６２Ａ、情報画像データ生成部６２Ｂ、データ出力処理部６２Ｃ、合焦領域検出部６２Ｄ、及び窓領域位置制御部６２Ｅとして動作することで実現される。
　一例として図５に示すように、撮像装置１０を用いて被写体の撮像が行われる。図５は、撮像装置１０による撮像エリア１０Ａを上空から見た俯瞰図である。図５に示す例では、撮像エリア１０Ａに、被写体として、人物１１Ａ及び木１１Ｂが存在している。図５において、光軸ＯＡに平行な方向をＺ方向とする。Ｚ方向は、前述のＸ方向及びＹ方向に直交している。図５に示す例では、撮像装置１０を基準として、人物１１Ａと木１１Ｂとの距離が異なり、人物１１Ａよりも木１１Ｂのほうが遠くに存在する。
　一例として図６に示すように、動画像データ生成部６２Ａは、イメージセンサ２０の撮像動作により得られる非位相差画像データ７３Ａ（図４参照）に基づいて、複数のフレーム８０Ａを含む動画像データ８０を生成する。図６に示す例では、各フレーム８０Ａには、人物１１Ａ及び木１１Ｂの２つの被写体が写っている。
　情報画像データ生成部６２Ｂは、動画像データ生成部６２Ａが生成した動画像データ８０に基づき、動画像データ８０に関連する情報を表す情報画像データ８２を生成する。一例として図７に示すように、情報画像データ生成部６２Ｂは、動画像データ８０の各フレーム８０Ａに対して色味補正を行うことにより、色味補正が施された複数のフレーム８２Ａからなる動画像データである情報画像データ８２を生成する。
　なお、情報画像データ生成部６２Ｂは、色味補正に限られず、動画像データ８０に対して、カラーマッチングを行うためのＬＵＴを適用することにより情報画像データ８２を生成してもよい。また、情報画像データ８２は、動画像データ８０に補正を施したデータに限られず、画像の輝度を表すヒストグラム、又は画像の輝度を表す波形であってもよい。このように、情報画像データ８２は、動画像データ８０に関連する情報を表すデータであればよい。
　データ出力処理部６２Ｃは、動画像データ８０、及び動画像データ８０が表す画像内における窓領域８５（図８参照）に関連付けられた情報画像データ８２を出力する。一例として図８に示すように、データ出力処理部６２Ｃは、動画像データ８０のフレーム８０Ａ内の一部に矩形領域として設定される窓領域８５に情報画像データ８２を重畳させる。また、本実施形態では、データ出力処理部６２Ｃは、動画像データ８０の窓領域８５に情報画像データ８２を重畳させた状態で、動画像データ８０と情報画像データ８２とを合成することにより、合成動画像データ８４を生成する。データ出力処理部６２Ｃは、合成動画像データ８４を、画像メモリ４６（図２参照）を介してディスプレイ２８に出力する。
　なお、ディスプレイ２８は、本開示の技術に係る「表示先」の一例である。また、データ出力処理部６２Ｃは、合成動画像データ８４を直接表示先に出力することに限られず、中継装置等を介して間接的に表示先に出力してもよい。また、データ出力処理部６２Ｃは、合成動画像データ８４を生成せずに、情報画像データ８２を動画像データ８０の窓領域８５に関連付けた状態で、動画像データ８０及び情報画像データ８２を、直接又は間接的に表示先に出力してもよい。
　合焦領域検出部６２Ｄは、位相差画像データ７３Ｂに基づいて撮像エリア１０Ａ内における合焦領域を検出する。すなわち、合焦領域検出部６２Ｄは、位相差画素としての感光画素７２Ｂ（図３参照）が、位相差画像データ７３Ｂを出力した場合における撮像データ７３に基づいて合焦領域を検出する。
　具体的には、合焦領域検出部６２Ｄは、位相差画像データ７３Ｂに基づいて、フォトダイオードＰＤ１から出力された信号による像と、フォトダイオードＰＤ２から出力された信号による像との位相差（ずれ量及びずれ方向）を検出することにより、撮像エリア１０Ａ内の複数の位置における距離情報を取得する。本実施形態では、一画素に一対のフォトダイオードが設けられた像面位相差方式の光電変換素子７２を用いているので、感光画素７２Ｂの各々に対応する位置について距離を取得することができる。合焦領域検出部６２Ｄは、撮像エリア１０Ａ内の複数の位置における距離情報に基づいて、合焦状態にある被写体の領域（すなわち合焦領域）を検出することができる
　例えば、合焦領域検出部６２Ｄは、動画像データ生成部６２Ａが１つのフレーム８０Ａを生成するたびに、生成されたフレーム８０Ａに対応する位相差画像データ７３Ｂに基づいて、フレーム８０Ａから合焦領域を検出する。
　窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄが検出した合焦領域に応じて窓領域８５の位置を制御する。本実施形態では、窓領域位置制御部６２Ｅは、動画像データ８０の各フレーム８０Ａにおいて、合焦領域に重ならない領域に窓領域８５の位置を設定する。
　一例として図９に示すように、人物１１Ａを含む領域が合焦領域ＦＡとして検出されている場合には、窓領域位置制御部６２Ｅは、フレーム８０Ａ内において合焦状態にある人物１１Ａに重ならないように、窓領域８５の位置を設定する。例えば、窓領域位置制御部６２Ｅは、窓領域８５を、非合焦状態にある木１１Ｂに重なる位置に設定する。なお、窓領域位置制御部６２Ｅは、合焦領域ＦＡに重ならないように窓領域８５の大きさを縮小してもよい。なお、本開示において、「窓領域の位置を変更する」ことには、窓領域の大きさを変更することも含まれる。
　図９において、合焦状態である被写体を実線で表し、非合焦状態である被写体を破線で表している。以下の図においても同様である。
　この後、木１１Ｂにピントが合うようにユーザが手動でピント調整を行った場合には、人物１１Ａに代えて、木１１Ｂを含む領域が合焦領域ＦＡとして検出される。この場合、窓領域位置制御部６２Ｅは、合焦状態にある木１１Ｂに重ならないように、窓領域８５の位置を変更する。例えば、図９に示す例では、窓領域位置制御部６２Ｅは、窓領域８５の位置を、非焦状態にある人物１１Ａに重なる位置に変更している。
　上述のデータ出力処理部６２Ｃは、動画像データ８０の各フレーム８０Ａにおいて、窓領域位置制御部６２Ｅにより設定された窓領域８５の位置に情報画像データ８２を重畳させる。これにより、表示先としてのディスプレイ２８では、動画像データ８０の各フレーム８０Ａにおいて、情報画像データ８２は、合焦領域ＦＡに重ならないようにＰｉｎＰ表示される。
　次に、撮像装置１０の作用について図１０を参照しながら説明する。図１０には、ＣＰＵ６２によって実行されるＰｉｎＰ表示処理の流れの一例が示されている。図１０に示すＰｉｎＰ表示処理は、例えば、ＭＦモードにおいてレリーズボタン２２により撮像指示が行われる前のライブビュー画像の表示中に実行される。
　図１０に示すＰｉｎＰ表示処理では、先ず、ステップＳＴ１００で、動画像データ生成部６２Ａは、イメージセンサ２０（図２参照）によって撮像データ７３（図３参照）が生成されたか否かを判定する。ここで、撮像データ７３には、非位相差画像データ７３Ａ及び位相差画像データ７３Ｂが含まれる。
　ステップＳＴ１００において、イメージセンサ２０によって撮像データ７３が生成されていない場合は、判定が否定されて、ＰｉｎＰ表示処理はステップＳＴ１０６へ移行する。ステップＳＴ１００において、イメージセンサ２０によって撮像データ７３が生成された場合は、判定が肯定されて、ＰｉｎＰ表示処理はステップＳＴ１０１へ移行する。
　ステップＳＴ１０１で、動画像データ生成部６２Ａは、撮像データ７３に含まれる非位相差画像データ７３Ａに基づいて動画像データ８０（図６参照）を生成する。ステップＳＴ１０１で、動画像データ８０の１つのフレーム８０Ａが生成された後、ＰｉｎＰ表示処理はステップＳＴ１０２へ移行する。
　ステップＳＴ１０２で、情報画像データ生成部６２Ｂは、動画像データ生成部６２Ａが生成した動画像データ８０に基づいて、動画像データ８０に関連する情報を表す情報画像データ８２を生成する。本実施形態では、情報画像データ生成部６２Ｂは、動画像データ８０の各フレーム８０Ａに対して色味補正（図７参照）を行うことにより情報画像データ８２を生成する。ステップＳＴ１０２で、情報画像データ８２が生成された後、ＰｉｎＰ表示処理はステップＳＴ１０３へ移行する。
　ステップＳＴ１０３で、合焦領域検出部６２Ｄは、撮像データ７３に含まれる位相差画像データ７３Ｂに基づいて、撮像エリア１０Ａ内（すなわちフレーム８０Ａ内）における合焦領域ＦＡ（図９参照）を検出する。ステップＳＴ１０３で、合焦領域ＦＡが検出された後、ＰｉｎＰ表示処理はステップＳＴ１０４へ移行する。
　ステップＳＴ１０４で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄが検出した合焦領域ＦＡに応じて窓領域８５の位置を設定する（図９参照）。本実施形態では、窓領域位置制御部６２Ｅは、合焦領域ＦＡに重ならない領域に窓領域８５の位置を設定する。ステップＳＴ１０４で、窓領域８５の位置が設定された後、ＰｉｎＰ表示処理はステップＳＴ１０５へ移行する。
　ステップＳＴ１０５で、データ出力処理部６２Ｃは、フレーム８０Ａに設定された窓領域８５に情報画像データ８２を重畳させた状態で、動画像データ８０及び情報画像データ８２を、ディスプレイ２８に出力する。本実施形態では、データ出力処理部６２Ｃは、動画像データ８０と情報画像データ８２とを合成することにより生成した合成動画像データ８４（図８参照）をディスプレイ２８に出力する。ステップＳＴ１０５で、合成動画像データ８４を出力した後、ＰｉｎＰ表示処理はステップＳＴ１０６へ移行する。
　ステップＳＴ１０６で、ＣＰＵ６２は、ＰｉｎＰ表示処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件としてはレリーズボタン２２（図１参照）により撮像指示がなされたことを検出した、との条件等が挙げられる。ステップＳＴ１０６において、終了条件を満足していない場合は、判定が否定されて、ＰｉｎＰ表示処理はステップＳＴ１００へ移行する。ステップＳＴ１０５において、終了条件を満足した場合は、判定が肯定されて、ＰｉｎＰ表示処理が終了する。
　以上説明したように、上記実施形態に係る撮像装置１０では、窓領域８５は、合焦領域ＦＡに重ならないように位置が制御されるので、ユーザによる窓領域８５の設定操作が不要で、かつ合焦領域ＦＡの視認性を高めることができる。
　上記実施形態では、光電変換素子７２は、一画素に一対のフォトダイオードが設けられた像面位相差方式の光電変換素子であり、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えているが、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えていることには限定されない。光電変換素子７２には、撮像及び位相差に関するデータを出力する機能を有しない感光画素が含まれていてもよい。また、光電変換素子７２は、一画素に一対のフォトダイオードが設けられた像面位相差方式の光電変換素子に限られず、非位相差画像データ７３Ａを取得するための撮像用の感光画素と、位相差画像データ７３Ｂを取得するための位相差検出用の感光画素とを含むものであってもよい。この場合、位相差画素は、第１の瞳部分領域と第２の瞳部分領域とのうち一方を受光するように遮光部材が設けられる。
　また、合焦領域ＦＡは、位相差画素を有する光電変換素子を用いる手法に限られず、位相差画素を有しない光電変換素子により得られる撮像データに基づいて検出することも可能である。例えば、撮像データが表す被写体のコントラスト又は輪郭情報などに基づいて、合焦領域ＦＡを検出することが可能である。
　［第１変形例］
　第１変形例に係る撮像装置１０は、フレーム８０Ａ内において窓領域８５を設定可能な領域を広げるために、被写界深度内の一部の範囲を合焦判定範囲として合焦領域ＦＡを検出する。第１変形例に係る撮像装置１０のその他の構成は、上記実施形態に係る撮像装置１０の構成と同様である。
　一例として図１１に示すように、第１変形例では、合焦領域検出部６２Ｄは、非位相差画像データ７３Ａに加えて、例えばシステムコントローラ４４から被写界深度情報９０を取得する。被写界深度情報９０は、下式（１）で表される後方被写界深度Ｌｒと、下式（２）で表される前方被写界深度Ｌｆとを表す情報である。
Figure JPOXMLDOC01-appb-M000001
 
Figure JPOXMLDOC01-appb-M000002
 
　ここで、ｆは焦点距離、Ｆは絞り４０Ｄの絞り値（すなわちＦ値）、Ｌは合焦距離、δは許容錯乱円径である。許容錯乱円径は、感光画素７２Ｂの配列ピッチの２倍程度であり、１画素程度の大きさのボケを許容する。なお、合焦距離Ｌとは、イメージセンサ２０に含まれる光電変換素子７２の受光面７２Ａから合焦状態にある被写体までの距離である。
　例えば、被写界深度情報９０には、後方被写界深度Ｌｒ及び前方被写界深度Ｌｆの値が含まれている。なお、被写界深度情報９０に、焦点距離ｆ、Ｆ値、合焦距離Ｌ、及び許容錯乱円径δの値がそれぞれ含まれていてもよい。この場合、合焦領域検出部６２Ｄは、上式（１）及び上式（２）に基づいて、後方被写界深度Ｌｒ及び前方被写界深度Ｌｆを算出すればよい。
　一例として図１２に示すように、被写界深度ＤＯＦは、Ｚ方向に沿って、前方被写界深度Ｌｆから後方被写界深度Ｌｒまでの範囲を表す。被写界深度ＤＯＦは、Ｆ値が大きいほど大きく（すなわち深く）なる。
　合焦領域検出部６２Ｄは、被写界深度ＤＯＦ内の一部の範囲を合焦判定範囲ＦＪＲとして合焦領域ＦＡを検出する。すなわち、合焦領域検出部６２Ｄは、非位相差画像データ７３Ａに基づき、合焦判定範囲ＦＪＲ内に存在する被写体を検出し、検出した被写体の領域を合焦領域ＦＡとする。
　Ｆ値が大きい場合（例えばＦ値が２２の場合）には、Ｚ方向のすべての範囲が被写界深度ＤＯＦ内となり、フレーム８０Ａ内のほぼすべての領域が合焦領域ＦＡとなることがある。このような場合には、合焦領域ＦＡに重ならない位置に窓領域８５を設定することができない。一例として図１３に示すように、例えば、ＦＪＲ＝ＤＯＦであり、フレーム８０Ａ内に多数の合焦領域ＦＡが検出されることにより、合焦領域ＦＡに重ならない位置に窓領域８５を設定することができない場合を想定する。
　このような場合であっても、ＦＪＲ＜ＤＯＦとすることにより、フレーム８０Ａ内において検出される合焦領域ＦＡの数が減少するので、合焦領域ＦＡに重ならない位置に窓領域８５を設定することが可能となる。すなわち、ＦＪＲ＜ＤＯＦとすることにより、窓領域８５を設定可能な領域を広げることができる。
　合焦判定範囲ＦＪＲは、固定値であってもよい。例えば、合焦距離Ｌを基準として±１ｍの範囲を合焦判定範囲ＦＪＲとしてもよい。但し、被写界深度ＤＯＦはＦ値に応じて変化するものであるため、合焦判定範囲ＦＪＲを固定値とすると、合焦領域ＦＡの判定結果とＦ値との関係に対して、ユーザに違和感を与える可能性がある。
　このため、一例として図１４に示すように、Ｆ値に応じて合焦判定範囲ＦＪＲを変化させてもよい。例えば、Ｆ値が大きいほど、合焦判定範囲ＦＪＲを広くする。また、被写界深度ＤＯＦに応じて合焦判定範囲ＦＪＲを変化させてもよい。例えば、被写界深度ＤＯＦに一定の比率（例えば１０％）を乗じることにより縮小した範囲を合焦判定範囲ＦＪＲとしてもよい。さらに、受付デバイス７６等により、ユーザが合焦判定範囲ＦＪＲを設定可能としてもよい。
　また、合焦領域検出部６２Ｄは、動画像データ８０が表す画像内（すなわちフレーム８０Ａ内）の一定割合以上の領域が合焦領域ＦＡである場合に、被写界深度ＤＯＦ内の一部の範囲を合焦判定範囲ＦＪＲとして（すなわちＦＪＲ＜ＤＯＦとして）、再度合焦領域ＦＡを検出してもよい。
　この場合、合焦領域検出部６２Ｄは、一例として図１５に示す合焦領域検出処理を行う。まず、ステップＳＴ２００で、合焦領域検出部６２Ｄは、撮像データ７３に含まれる位相差画像データ７３Ｂに基づいて合焦領域ＦＡを検出する。このステップＳＴ２００は、上記実施形態のステップＳＴ１０３（図１０参照）と同様であり、ＦＪＲ＝ＤＯＦである。ステップＳＴ２００で、合焦領域ＦＡが検出された後、合焦領域検出処理はステップＳＴ２０１へ移行する。
　ステップＳＴ２０１で、合焦領域検出部６２Ｄは、フレーム８０Ａ内における合焦領域ＦＡの割合を算出する。ステップＳＴ２０１で、合焦領域ＦＡの割合が算出された後、合焦領域検出処理はステップＳＴ２０２へ移行する。
　ステップＳＴ２０２で、合焦領域検出部６２Ｄは、合焦領域ＦＡの割合が一定割合以上であるか否かを判定する。ステップＳＴ２０２において、合焦領域ＦＡの割合が一定割合未満である場合には、判定が否定されて、合焦領域検出処理は終了する。ステップＳＴ２０２において、合焦領域ＦＡの割合が一定割合以上である場合には、判定が肯定されて、合焦領域検出処理はステップＳＴ２０３へ移行する。
　ステップＳＴ２０３で、合焦領域検出部６２Ｄは、合焦判定範囲ＦＪＲを、被写界深度ＤＯＦ内の一部の範囲に制限する（すなわちＦＪＲ＜ＤＯＦとする）。ステップＳＴ２０３で、ＦＪＲ＜ＤＯＦとされた後、合焦領域検出処理はステップＳＴ２０４へ移行する。
　ステップＳＴ２０４で、合焦領域検出部６２Ｄは、ＦＪＲ＜ＤＯＦとした状態で、位相差画像データ７３Ｂに基づいて、再度合焦領域ＦＡを検出する。ステップＳＴ２０４で、合焦領域ＦＡが検出された後、合焦領域検出処理はステップＳＴ２０２へ移行する。
　ステップＳＴ２０２で、合焦領域検出部６２Ｄは、合焦領域ＦＡの割合が一定割合以上であるか否かを再度判定する。ステップＳＴ２０２において、合焦領域ＦＡの割合が一定割合未満である場合には、判定が否定されて、合焦領域検出処理は終了する。ステップＳＴ２０２において、合焦領域ＦＡの割合が一定割合以上である場合には、判定が肯定されて、合焦領域検出処理は、再度ステップＳＴ２０３へ移行する。
　ステップＳＴ２０３で、合焦領域検出部６２Ｄは、合焦判定範囲ＦＪＲをさらに狭い範囲に制限する。この後、合焦領域検出処理は、ステップＳＴ２０２において判定が否定されるまで繰り返し実行される。
　このように、図１５に示す例では、合焦領域検出部６２Ｄは、動画像データ８０が表す画像のほぼ全体が合焦領域ＦＡである場合に、合焦判定範囲ＦＪＲを狭めることで、窓領域８５の位置を変更可能な領域を広げる。
　［第２変形例］
　第２変形例に係る撮像装置１０は、被写体の距離を検出し、検出した被写体の距離の変化方向に応じて窓領域８５の状態を制御する。特に本変形例では、撮像装置１０は、合焦領域内に存在する少なくとも１つの被写体が撮像装置１０から遠ざかる方向に移動して非合焦状態になった場合に、窓領域８５の位置を制御する。
　本変形例では、合焦領域検出部６２Ｄは、複数のフレーム８０Ａに対応する位相差画像データ７３Ｂに基づいて、合焦領域ＦＡの検出に加えて、被写体の移動を検出する。窓領域位置制御部６２Ｅは、被写体の移動方向に基づいて、窓領域８５の位置を制御する。
　一例として図１６に示すように、フレーム８０Ａにおいて合焦領域ＦＡに二人の人物１１Ａ１，１１Ａ２が存在している場合に、一方の人物１１Ａ２が撮像装置１０から遠ざかる方向に移動したとする。本変形例では、合焦領域検出部６２Ｄは、人物１１Ａ２が撮像装置１０から遠ざかって非合焦状態となったことを検出する。
　合焦状態であった人物１１Ａ２が非合焦状態となることにより、人物１１Ａ２が存在する領域は合焦領域ＦＡではなくなるので、人物１１Ａ２に重なるように窓領域８５を移動させることが可能である。しかし、ユーザは、合焦状態にある人物１１Ａ１にピントを合わせ続けるのではなく、遠ざかった人物１１Ａ２を追うようにピント調整を行いたい場合がある。この場合、窓領域位置制御部６２Ｅが非合焦状態となった人物１１Ａ２に重なるように窓領域８５を設定すると、窓領域８５に表示される情報画像データ８２が、人物１１Ａ２に対するピント調整の邪魔となってしまう。
　このため、本変形例では、窓領域位置制御部６２Ｅは、合焦状態の人物１１Ａ２が撮像装置１０から遠ざかる方向に移動して非合焦状態となった場合に、窓領域８５を一定時間（例えば２秒間）移動させず、非合焦状態が一定時間継続した後に窓領域８５を移動させる。図１６に示す例では、窓領域位置制御部６２Ｅは、窓領域８５を移動させるとともに、窓領域８５を拡大している。
　本変形例では、窓領域位置制御部６２Ｅは、一例として図１７に示す窓領域位置制御処理を行う。まず、ステップＳＴ３００で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより被写体の移動が検出されたか否かを判定する。ステップＳＴ３００において、被写体の移動が検出されていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ３０５へ移行する。ステップＳＴ３００において、被写体の移動が検出された場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ３０１へ移行する。
　ステップＳＴ３０１で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体の移動が、遠ざかる方向への移動であるか否かを判定する。ステップＳＴ３０１において、遠ざかる方向への移動でない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ３０５へ移行する。ステップＳＴ３０１において、遠ざかる方向への移動である場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ３０２へ移行する。
　ステップＳＴ３０２で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体が合焦状態から非合焦状態となったか否かを判定する。ステップＳＴ３０２において、被写体が非合焦状態となっていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ３０５へ移行する。ステップＳＴ３０２において、被写体が非合焦状態となった場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ３０３へ移行する。
　ステップＳＴ３０３で、窓領域位置制御部６２Ｅは、非合焦状態が一定時間継続したか否かを判定する。ステップＳＴ３０３において、非合焦状態が一定時間継続しなかった場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ３０５へ移行する。ステップＳＴ３０３において、非合焦状態が一定時間継続した場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ３０４へ移行する。
　ステップＳＴ３０４で、窓領域位置制御部６２Ｅは、窓領域８５の位置を変更する（図１６参照）。ステップＳＴ３０４で、窓領域８５の位置が変更された後、窓領域位置制御処理はステップＳＴ３０５へ移行する。
　ステップＳＴ３０５で、窓領域位置制御部６２Ｅは、窓領域位置制御処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。ステップＳＴ３０５において、終了条件を満足していない場合は、判定が否定されて、窓領域位置制御処理はステップＳＴ３００へ移行する。ステップＳＴ３０５において、終了条件を満足した場合は、判定が肯定されて、窓領域位置制御処理が終了する。
　以上のように、本変形例では、合焦状態であった被写体が撮像装置１０から遠ざかる方向に移動して非合焦状態になることにより合焦領域ＦＡが変化した場合に、窓領域８５の位置を一定時間変更しない。これにより、窓領域８５に表示される情報画像データ８２がピント調整の邪魔になることを抑制することができる。
　［第３変形例］
　第３変形例に係る撮像装置１０は、第２変形例と同様に、被写体の距離を検出し、検出した被写体の距離の変化方向に応じて窓領域８５の状態を制御する。特に本変形例では、撮像装置１０は、合焦領域内に存在する少なくとも１つの被写体が撮像装置１０に近づく方向に移動して非合焦状態になった場合に、窓領域８５を一定時間消去するか、若しくは一定時間透過率を上げる。
　本変形例では、合焦領域検出部６２Ｄは、第２変形例と同様に、合焦領域ＦＡの検出に加えて、被写体の移動を検出する。窓領域位置制御部６２Ｅは、被写体の移動方向に基づいて、窓領域８５の位置を制御する。
　一例として図１８に示すように、フレーム８０Ａにおいて合焦領域ＦＡに二人の人物１１Ａ１，１１Ａ２が存在している場合に、一方の人物１１Ａ２が撮像装置１０に近づく方向に移動したとする。本変形例では、合焦領域検出部６２Ｄは、人物１１Ａ２が撮像装置１０に近づいて非合焦状態となったことを検出する。
　第２変形例の場合と同様に、ユーザは、合焦状態にある人物１１Ａ１にピントを合わせ続けるのではなく、近づいてきた人物１１Ａ２にピント調整を行いたい場合がある。しかし、人物１１Ａ２は、撮像装置１０に近づくに連れて大きさが大きくなるので、窓領域８５が人物１１Ａ２に重なり、窓領域８５に表示される情報画像データ８２が、人物１１Ａ２に対するピント調整の邪魔となってしまう。
　このため、本変形例では、窓領域位置制御部６２Ｅは、人物１１Ａ２が撮像装置１０に近づく方向に移動して非合焦状態となった場合に、窓領域８５を一定時間（例えば２秒間）消去する。なお、窓領域８５を一定時間消去することに代えて、窓領域８５の透過率を一定時間上げてもよい。この場合、窓領域８５の透過率は、例えば０％から７０％に設定される。窓領域８５の透過率上げることで、窓領域８５に情報画像データ８２を表示させた場合においても、窓領域８５に重なった領域における人物１１Ａ２の像が、窓領域８５を透過して視認可能となる。
　本変形例では、窓領域位置制御部６２Ｅは、一例として図１９に示す窓領域位置制御処理を行う。まず、ステップＳＴ４００で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより被写体の移動が検出されたか否かを判定する。ステップＳＴ４００において、被写体の移動が検出されていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ４０４へ移行する。ステップＳＴ４００において、被写体の移動が検出された場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ４０１へ移行する。
　ステップＳＴ４０１で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体の移動が、近づく方向への移動であるか否かを判定する。ステップＳＴ４０１において、近づく方向への移動でない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ４０４へ移行する。ステップＳＴ４０１において、近づく方向への移動である場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ４０２へ移行する。
　ステップＳＴ４０２で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体が合焦状態から非合焦状態となったか否かを判定する。ステップＳＴ４０２において、被写体が非合焦状態となっていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ４０４へ移行する。ステップＳＴ４０２において、被写体が非合焦状態となった場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ４０３へ移行する。
　ステップＳＴ４０３で、窓領域位置制御部６２Ｅは、窓領域８５を一定時間消去する（図１８参照）。すなわち、情報画像データ８２が一定時間表示されない。ステップＳＴ４０３で、窓領域８５が一定時間消去された後、窓領域位置制御処理はステップＳＴ４０４へ移行する。
　ステップＳＴ４０４で、窓領域位置制御部６２Ｅは、終了条件を満足したか否かを判定する。ステップＳＴ４０４において、終了条件を満足していない場合は、判定が否定されて、窓領域位置制御処理はステップＳＴ４００へ移行する。ステップＳＴ４０４において、終了条件を満足した場合は、判定が肯定されて、窓領域位置制御処理が終了する。
　以上のように、本変形例では、合焦状態であった被写体が撮像装置１０に近づく方向に移動して非合焦状態になることにより合焦領域ＦＡが変化した場合に、窓領域８５を一定時間消去するか、若しくは一定時間透過率を上げる。これにより、窓領域８５に表示される情報画像データ８２がピント調整の邪魔になることを抑制することができる。
　［第４変形例］
　第４変形例に係る撮像装置１０は、第２変形例及び第３変形例と同様に、被写体の距離を検出し、検出した被写体の距離の変化方向に応じて窓領域８５の状態を制御する。特に本変形例では、撮像装置１０は、合焦領域内に存在しない少なくとも１つの被写体が撮像装置１０に近づく方向に移動して合焦状態になった場合に、窓領域８５の位置を一定時間変更しない。
　本変形例では、合焦領域検出部６２Ｄは、第２変形例及び第３変形例と同様に、合焦領域ＦＡの検出に加えて、被写体の移動を検出する。窓領域位置制御部６２Ｅは、被写体の移動方向に基づいて、窓領域８５の位置を制御する。
　一例として図２０に示すように、フレーム８０Ａにおいて二人の人物１１Ａ１，１１Ａ２のうち、合焦領域ＦＡに存在しない一方の人物１１Ａ２が撮像装置１０に近づく方向に移動したとする。本変形例では、合焦領域検出部６２Ｄは、非合焦状態の人物１１Ａ２が撮像装置１０に近づいて合焦状態となったことを検出する。
　非合焦状態であった人物１１Ａ２が近づいてきて合焦状態となったとしても、この人物１１Ａ２は、ユーザが撮像対象としたい対象被写体とは限らない。このような場合に、合焦領域ＦＡが変更することにより窓領域８５が移動及び／又は縮小すると、窓領域８５に表示される情報画像データ８２の視認性が低下する恐れがある。
　このため、本変形例では、窓領域位置制御部６２Ｅは、非合焦状態の人物１１Ａ２が撮像装置１０に近づく方向に移動して合焦状態となった場合に、窓領域８５の位置を一定時間（例えば１０秒間）変更しない。すなわち、窓領域８５は、一定時間経過後に位置が変更される。なお、一定時間は、次の操作（ＭＦ操作、ズーム操作、又はホワイトバランス等の設定変更操作など）が行われるまでの時間であってもよい。また、一定時間は、画角が変更されたことを、加速度センサなどが検出するまでの時間であってもよい。
　本変形例では、窓領域位置制御部６２Ｅは、一例として図２１に示す窓領域位置制御処理を行う。まず、ステップＳＴ５００で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより被写体の移動が検出されたか否かを判定する。ステップＳＴ５００において、被写体の移動が検出されていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ５０４へ移行する。ステップＳＴ５００において、被写体の移動が検出された場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ５０１へ移行する。
　ステップＳＴ５０１で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体の移動が、近づく方向への移動であるか否かを判定する。ステップＳＴ５０１において、近づく方向への移動でない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ５０４へ移行する。ステップＳＴ５０１において、近づく方向への移動である場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ５０２へ移行する。
　ステップＳＴ５０２で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体が非合焦状態から合焦状態となったか否かを判定する。ステップＳＴ５０２において、被写体が合焦状態となっていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ５０４へ移行する。ステップＳＴ５０２において、被写体が合焦状態となった場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ５０３へ移行する。
　ステップＳＴ５０３で、窓領域位置制御部６２Ｅは、窓領域８５の位置を一定時間変更しない（図２０参照）。すなわち、窓領域８５は、一定時間経過後に位置が変更される。ステップＳＴ５０３で、窓領域８５の位置が一定時間変更されず、位置が固定された状態が続いた後、窓領域位置制御処理はステップＳＴ５０４へ移行する。
　ステップＳＴ５０４で、窓領域位置制御部６２Ｅは、終了条件を満足したか否かを判定する。ステップＳＴ５０４において、終了条件を満足していない場合は、判定が否定されて、窓領域位置制御処理はステップＳＴ５００へ移行する。ステップＳＴ５０４において、終了条件を満足した場合は、判定が肯定されて、窓領域位置制御処理が終了する。
　以上のように、本変形例では、非合焦状態であった被写体が撮像装置１０に近づく方向に移動して合焦状態になることにより合焦領域ＦＡが変化した場合に、窓領域８５の位置を一定時間変更しない。これにより、ユーザが意図しない被写体が合焦することにより、窓領域８５の位置が変更されることを抑制することができる。
　［第５変形例］
　次に、窓領域８５の位置の変更に関する変形例について説明する。本変形例では、一例として図２２に示すように、窓領域位置制御部６２Ｅは、窓領域８５の位置を変更する場合に、動画像データ８０が表す画像の外周（すなわちフレーム８０Ａの外周）に沿って窓領域８５の位置を変更する。
　合焦領域ＦＡはフレーム８０Ａの中央付近に存在することが多いので、フレーム８０Ａの外周に沿って窓領域８５を移動させることで、合焦領域ＦＡの視認性が確保される。
　［第６変形例］
　次に、動画像データ８０が表す画像内にアイコンが表示されている場合における窓領域８５の位置の変更に関する変形例について説明する。本変形例では、一例として図２３に示すように、窓領域位置制御部６２Ｅは、フレーム８０Ａ内にアイコン９２が表示されている場合において、アイコン９２を避ける経路に沿って窓領域８５を移動させる。これにより、窓領域８５が重なることによるアイコン９２の視認性の低下が防止される。
　例えば、アイコン９２は、撮像装置１０の各種の設定情報（フォーカスモードの種別、Ｆ値、フラッシュのオン／オフなど）を表す表示画像である。
　別の例として図２４に示すように、窓領域位置制御部６２Ｅは、窓領域８５が移動する経路上にアイコン９２が存在する場合に、窓領域８５が移動する経路外にアイコン９２を移動させてもよい。
　［第７変形例］
　次に、窓領域８５が、動画像データ８０が表す画像の一辺に沿って延伸した形状である場合における窓領域８５の位置の変更に関する変形例について説明する。本変形例では、一例として図２５に示すように、窓領域８５は、フレーム８０Ａの長辺方向であるＸ方向に延伸した矩形状である。本変形例では、窓領域８５には、情報画像データ８２として、フレーム８０ＡのＹ方向に関する輝度値をプロットしたヒストグラム又は波形が表示される。
　この場合、窓領域８５をＸ方向に移動させることはできない。そこで、窓領域８５の形状を変更して移動させると、窓領域８５に表示されるヒストグラム又は波形の視認性が低下する。このため、本変形例では、窓領域位置制御部６２Ｅは、窓領域８５の位置の変更方向を、窓領域８５の延伸方向と交差する方向に制限する。図２５に示す例では、窓領域位置制御部６２Ｅは、窓領域８５の位置の変更方向をＹ方向に制限する。なお、窓領域８５はＹ方向に延伸していてもよい。この場合、窓領域位置制御部６２Ｅは、窓領域８５の位置の変更方向をＸ方向に制限する。
　［第８変形例］
　次に、窓領域８５の位置の変更を、撮像装置１０に対してユーザが操作を行っている場合に禁止する例を説明する。ユーザが、撮像装置１０に対してピント調整などの操作を行っている最中に窓領域８５が移動すると、煩わしく、操作に支障をきたす恐れがある。このため、本変形例では、窓領域位置制御部６２Ｅは、ユーザが特定の操作を行っている場合に、窓領域８５の位置を変更しない。
　本変形例では、窓領域位置制御部６２Ｅは、一例として図２６に示す窓領域位置制御処理を行う。まず、ステップＳＴ６００で、窓領域位置制御部６２Ｅは、窓領域８５の位置を変更する条件を満たすか否かを判定する。例えば、窓領域位置制御部６２Ｅは、合焦領域ＦＡに変更が生じた場合には、窓領域８５の位置を変更する条件を満たすと判定する。ステップＳＴ６００において、条件を満たさない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ６０３へ移行する。ステップＳＴ６００において、条件を満たす場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ６０１へ移行する。
　ステップＳＴ６０１で、窓領域位置制御部６２Ｅは、撮像装置１０に対してユーザにより特定の操作が行われているか否かを判定する。ステップＳＴ６０１において、特定の操作が行われていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ６０３へ移行する。ステップＳＴ６０１において、特定の操作が行われている場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ６０２へ移行する。
　ステップＳＴ６０２で、窓領域位置制御部６２Ｅは、操作が終了したか否かを判定する。ステップＳＴ６０２において、操作が終了していない場合には、判定が否定されて、窓領域位置制御処理は再びステップＳＴ６０２を実行する。ステップＳＴ６０２において、操作が終了した場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ６０３へ移行する。
　ステップＳＴ６０３で、窓領域位置制御部６２Ｅは、窓領域８５の位置を変更する。ステップＳＴ６０３で、窓領域８５の位置が変更された後、窓領域位置制御処理はステップＳＴ６０４へ移行する。
　ステップＳＴ６０４で、窓領域位置制御部６２Ｅは、終了条件を満足したか否かを判定する。ステップＳＴ６０４において、終了条件を満足していない場合は、判定が否定されて、窓領域位置制御処理はステップＳＴ６００へ移行する。ステップＳＴ６０４において、終了条件を満足した場合は、判定が肯定されて、窓領域位置制御処理が終了する。
　以上のように、本変形例では、ユーザにより特定の操作が行われている場合に、窓領域８５の位置を変更しないので、操作性と窓領域８５の視認性とが両立する。
　［第９変形例］
　次に、情報画像データ８２がピーキング画像データである場合について説明する。ピーキング画像データとは、合焦部分が強調された画像データであり、情報画像データ生成部６２Ｂにより生成される。本変形例では、窓領域位置制御部６２Ｅは、窓領域８５の位置を合焦領域ＦＡに重なる位置に設定する。
　一例として図２７に示すように、人物１１Ａの顔部分が合焦領域ＦＡとして検出されている場合を想定する。この場合、窓領域位置制御部６２Ｅは、窓領域８５の位置を合焦領域ＦＡに重なる位置に設定する。窓領域８５には、人物１１Ａの顔部分における合焦部分（例えば輪郭）が強調されたピーキング画像データが表示される。
　なお、合焦領域ＦＡの面積に応じて窓領域８５の大きさを変更してもよい。図２７に示す例では、ピーキング画像内の顔の大きさが、フレーム８０Ａ内における人物１１Ａの顔の大きさよりも大きくなるように、窓領域８５を拡大している。
　このように、情報画像データ８２がピーキング画像データである場合に、ピーキング画像に限って、窓領域８５の位置を合焦領域ＦＡに重なる位置に設定することで、ユーザによる合焦確認の精度が向上する。
　［第１０変形例］
　次に、動画像データ８０が表す画像内の一定割合以上の領域が合焦領域ＦＡであって、合焦領域ＦＡに重ならない領域に窓領域８５を設定することができない場合について説明する。上記第２変形例では、合焦判定範囲ＦＪＲを狭めることで、窓領域８５の位置を変更可能な領域を広げているが、本変形例では、窓領域８５を、フレーム８０Ａ内の特定の位置に設定し、透過率を上げた状態とする
　一例として図２８に示すように、フレーム８０Ａ内に多数の合焦領域ＦＡが検出されることにより、合焦領域ＦＡに重ならない位置に窓領域８５を設定することができない場合を想定する。この場合、本変形例では、窓領域位置制御部６２Ｅは、窓領域８５をフレーム８０Ａ内の特定の位置（例えば、右上隅のデフォルト位置）に設定する。窓領域８５の透過率は、例えば０％から５０％に変更される。窓領域８５の透過率を上げることで、窓領域８５に情報画像データ８２を表示させた場合においても、窓領域８５に重なった領域における人物１１Ａの像が、窓領域８５を透過して視認可能となる。
　本変形例によれば、合焦領域ＦＡに重ならないように窓領域８５を設定することができない状況下で、合焦領域ＦＡの視認性を一定程度確保することができる。
　上記実施形態及び各変形例は、ＭＦモード時においてライブビュー画像の表示中に行われるＰｉｎＰ表示処理について説明しているが、本開示のＰｉｎＰ表示処理は、ＡＦモード時にも適用可能である。
　なお、上記実施形態及び各変形例は、矛盾が生じない限り互いに組み合わせることが可能である。
　また、上記実施形態では、ＣＰＵ６２を例示したが、ＣＰＵ６２に代えて、又は、ＣＰＵ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。
　上記実施形態では、ＮＶＭ６４にプログラム６５が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、プログラム６５がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されているプログラム６５は、撮像装置１０のプロセッサ１２にインストールされる。ＣＰＵ６２は、プログラム６５に従ってＰｉｎＰ表示処理を実行する。
　また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置にプログラム６５を記憶させておき、撮像装置１０の要求に応じてプログラム６５がダウンロードされ、プロセッサ１２にインストールされるようにしてもよい。
　なお、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６４にプログラム６５の全てを記憶させておく必要はなく、プログラム６５の一部を記憶させておいてもよい。
　また、図１及び図２に示す撮像装置１０にはプロセッサ１２が内蔵されているが、本開示の技術はこれに限定されず、例えば、プロセッサ１２が撮像装置１０の外部に設けられるようにしてもよい。
　上記実施形態では、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を含むプロセッサ１２が例示されているが、本開示の技術はこれに限定されず、プロセッサ１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、プロセッサ１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
　上記実施形態で説明したＰｉｎＰ表示処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、ＰｉｎＰ表示処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することでＰｉｎＰ表示処理を実行する。
　ＰｉｎＰ表示処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、ＰｉｎＰ表示処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、ＰｉｎＰ表示処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、ＰｉｎＰ表示処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、ＰｉｎＰ表示処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記のＰｉｎＰ表示処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (23)

  1. 　イメージセンサ及びプロセッサを備える撮像装置であって、
    　前記プロセッサは、
    　前記イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、
    　前記イメージセンサにより得られた撮像データに基づいて動画像データを生成し、
    　前記動画像データに関連する情報を表す情報画像データを生成し、
    　前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力し、
    　前記合焦領域に応じて前記窓領域の位置を制御する、
    　撮像装置。
  2. 　前記プロセッサは、前記動画像データ及び前記情報画像データを表示先に出力する
    　請求項１に記載の撮像装置。
  3. 　前記プロセッサは、
    　前記窓領域に前記情報画像データを配置して、前記動画像データと前記情報画像データとを合成することにより生成した合成動画像データを出力する、
    　請求項１又は請求項２に記載の撮像装置。
  4. 　前記プロセッサは、
    　前記合焦領域に重ならない領域に前記窓領域の位置を設定する、
    　請求項１から請求項３のうちいずれか１項に記載の撮像装置。
  5. 　前記プロセッサは、
    　被写界深度内の一部の範囲を合焦判定範囲として前記合焦領域を検出する、
    　請求項１から請求項４のうちいずれか１項に記載の撮像装置。
  6. 　絞りを備え、
    　前記プロセッサは、前記絞りの絞り値に応じて前記合焦判定範囲を設定する、
    　請求項５に記載の撮像装置。
  7. 　前記プロセッサは、
    　前記動画像データが表す画像内の一定割合以上の領域が前記合焦領域である場合に、被写界深度内の一部の範囲を合焦判定範囲として、再度前記合焦領域を検出する、
    　請求項１から請求項４のうちいずれか１項に記載の撮像装置。
  8. 　前記プロセッサは、
    　前記撮像データに基づいて被写体の距離を検出し、検出した被写体の距離の変化方向に応じて前記窓領域の状態を制御する、
    　請求項１から請求項７のうちいずれか１項に記載の撮像装置。
  9. 　前記プロセッサは、
    　前記合焦領域内に存在する少なくとも１つの被写体が遠ざかる方向に移動して非合焦状態になることにより前記合焦領域が変化した場合に、前記窓領域の位置を一定時間変更しない、
    　請求項８に記載の撮像装置。
  10. 　前記プロセッサは、
    　前記合焦領域内に存在する少なくとも１つの被写体が近づく方向に移動して非合焦状態になることにより前記合焦領域が変化した場合に、前記窓領域を一定時間消去するか、若しくは一定時間透過率を上げる、
    　請求項８又は請求項９に記載の撮像装置。
  11. 　前記プロセッサは、
    　前記合焦領域内に存在しない少なくとも１つの被写体が近づく方向に移動して合焦状態になることにより前記合焦領域が変化した場合に、前記窓領域の位置を一定時間変更しない、
    　請求項８から請求項１０のうちいずれか１項に記載の撮像装置。
  12. 　前記プロセッサは、
    　前記動画像データが表す画像の外周に沿って前記窓領域の位置を変更する、
    　請求項１から請求項１１のうちいずれか１項に記載の撮像装置。
  13. 　前記プロセッサは、
    　前記動画像データが表す画像内にアイコンが表示されている場合に、前記アイコンを避ける経路に沿って前記窓領域を移動させるか、若しくは前記窓領域が移動する経路外に前記アイコンを移動させる、
    　請求項１から請求項１２のうちいずれか１項に記載の撮像装置。
  14. 　前記プロセッサは、
    　前記窓領域が、前記動画像データが表す画像の一辺に沿って延伸した形状である場合に、前記窓領域の位置の変更方向を、前記窓領域の延伸方向と交差する方向に制限する、
    　請求項１から請求項１１のうちいずれか１項に記載の撮像装置。
  15. 　前記プロセッサは、
    　特定の操作が行われている間には、前記窓領域の位置を変更しない、
    　請求項１から請求項１４のうちいずれか１項に記載の撮像装置。
  16. 　前記情報画像データは、前記動画像データに補正を施したデータ、輝度を表すヒストグラム、又は輝度を表す波形である、
    　請求項１から請求項１５のうちいずれか１項に記載の撮像装置。
  17. 　前記プロセッサは、
    　前記情報画像データがピーキング画像データである場合には、前記窓領域の位置を、前記合焦領域に重なる位置に設定する、
    　請求項１から請求項１５のうちいずれか１項に記載の撮像装置。
  18. 　前記プロセッサは、
    　前記合焦領域の大きさに応じて前記窓領域の大きさを変更する、
    　請求項１７に記載の撮像装置。
  19. 　前記動画像データが表す画像内の一定割合以上の領域が前記合焦領域であって、前記合焦領域に重ならない領域に前記窓領域を設定することができない場合に、前記窓領域を、特定の位置に設定し、透過率を上げた状態とする、
    　請求項１から請求項１８のうちいずれか１項に記載の撮像装置。
  20. 　前記イメージセンサは、複数の位相差画素を備え、
    　前記プロセッサは、
    　前記撮像データのうち、前記位相差画素から得られた撮像データに基づいて前記合焦領域を検出する、
    　請求項１から請求項１９のうちいずれか１項に記載の撮像装置。
  21. 　前記位相差画素は、画素の全領域によって光電変換が行われた非位相差画像データと、画素の一部の領域によって光電変換が行われた位相差画像データとを選択的に出力可能であり、
    　前記プロセッサは、
    　前記位相差画素が前記位相差画像データを出力した場合における撮像データに基づいて前記合焦領域を検出する、
    　請求項２０に記載の撮像装置。
  22. 　イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、
    　前記イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、
    　前記動画像データに関連する情報を表す情報画像データを生成すること、
    　前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力すること、
    　前記合焦領域に応じて前記窓領域の位置を制御すること、
    　を含む情報処理方法。
  23. 　イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、
    　前記イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、
    　前記動画像データに関連する情報を表す情報画像データを生成すること、
    　前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力すること、
    　前記合焦領域に応じて前記窓領域の位置を制御すること、
    　を含む処理をコンピュータに実行させるためのプログラム。
PCT/JP2022/000090 2021-02-26 2022-01-05 撮像装置、情報処理方法、及びプログラム WO2022181055A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023502127A JPWO2022181055A1 (ja) 2021-02-26 2022-01-05
US18/451,127 US20230412921A1 (en) 2021-02-26 2023-08-17 Imaging apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021031216 2021-02-26
JP2021-031216 2021-02-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/451,127 Continuation US20230412921A1 (en) 2021-02-26 2023-08-17 Imaging apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2022181055A1 true WO2022181055A1 (ja) 2022-09-01

Family

ID=83048832

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000090 WO2022181055A1 (ja) 2021-02-26 2022-01-05 撮像装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230412921A1 (ja)
JP (1) JPWO2022181055A1 (ja)
WO (1) WO2022181055A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042382A (ja) * 2006-08-03 2008-02-21 Sony Corp 撮像装置および表示方法、並びにプログラム
JP2008111897A (ja) * 2006-10-30 2008-05-15 Canon Inc オートフォーカス装置および撮像装置
JP2009219020A (ja) * 2008-03-12 2009-09-24 Canon Inc 撮影装置、撮像装置の制御方法及び撮像装置の制御プログラム
JP2009218915A (ja) * 2008-03-11 2009-09-24 Canon Inc 撮像装置および表示制御方法
JP2010226496A (ja) * 2009-03-24 2010-10-07 Olympus Imaging Corp 撮影装置およびライブビュー表示方法
JP2014106411A (ja) * 2012-11-28 2014-06-09 Canon Inc 自動焦点調節装置及び自動焦点調節方法
WO2017085982A1 (ja) * 2015-11-16 2017-05-26 ソニー株式会社 制御装置、制御方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042382A (ja) * 2006-08-03 2008-02-21 Sony Corp 撮像装置および表示方法、並びにプログラム
JP2008111897A (ja) * 2006-10-30 2008-05-15 Canon Inc オートフォーカス装置および撮像装置
JP2009218915A (ja) * 2008-03-11 2009-09-24 Canon Inc 撮像装置および表示制御方法
JP2009219020A (ja) * 2008-03-12 2009-09-24 Canon Inc 撮影装置、撮像装置の制御方法及び撮像装置の制御プログラム
JP2010226496A (ja) * 2009-03-24 2010-10-07 Olympus Imaging Corp 撮影装置およびライブビュー表示方法
JP2014106411A (ja) * 2012-11-28 2014-06-09 Canon Inc 自動焦点調節装置及び自動焦点調節方法
WO2017085982A1 (ja) * 2015-11-16 2017-05-26 ソニー株式会社 制御装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
US20230412921A1 (en) 2023-12-21
JPWO2022181055A1 (ja) 2022-09-01

Similar Documents

Publication Publication Date Title
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
JP5855454B2 (ja) 撮像装置
JP2010226496A (ja) 撮影装置およびライブビュー表示方法
JP5203657B2 (ja) 拡大表示機能付きカメラ
JP2022062138A (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
KR20110001655A (ko) 화각 미리 보기 기능을 갖는 디지털 영상 신호 처리 장치, 이의 제어 방법 및 상기 방법을 기록한 기록 매체
JP2009069170A (ja) 撮影装置および撮影装置の制御方法
JP6964806B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP2009036985A (ja) 撮影装置および撮影装置の制御方法
JP2013090241A (ja) 表示制御装置、撮像装置および表示制御プログラム
US9691362B2 (en) Display control apparatus, display control method, and recording medium displaying frames indicating portions of an image
WO2022181055A1 (ja) 撮像装置、情報処理方法、及びプログラム
US12114087B2 (en) Imaging apparatus and imaging method for performing first and second readouts during a vertical period
JP7421008B2 (ja) 撮像装置、撮像方法、及びプログラム
CN112640430B (zh) 成像元件、摄像装置、图像数据处理方法及存储介质
WO2022181056A1 (ja) 撮像装置、情報処理方法、及びプログラム
JP2009048123A (ja) 撮影装置および撮影装置の制御方法
JP2009036987A (ja) 撮影装置および撮影装置の制御方法
WO2023276446A1 (ja) 撮像装置、撮像方法、及びプログラム
JP7410088B2 (ja) 撮像素子、撮像装置、画像データ出力方法、及びプログラム
JP7415079B2 (ja) 撮像装置、撮像方法、及びプログラム
US10805545B2 (en) Imaging device
JP5338248B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2009037084A (ja) 撮影装置および撮影装置の制御方法
JP2009048126A (ja) 撮影装置および撮影装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759098

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023502127

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759098

Country of ref document: EP

Kind code of ref document: A1