WO2022004302A1 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- WO2022004302A1 WO2022004302A1 PCT/JP2021/021753 JP2021021753W WO2022004302A1 WO 2022004302 A1 WO2022004302 A1 WO 2022004302A1 JP 2021021753 W JP2021021753 W JP 2021021753W WO 2022004302 A1 WO2022004302 A1 WO 2022004302A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- subject
- image
- frame
- area
- condition
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Definitions
- the technology of the present disclosure relates to an image processing device, an image pickup device, an image processing method, and a program.
- Japanese Patent Application Laid-Open No. 2018-097380 describes a detection means for detecting a subject from an image obtained through a lens unit, a selection means for selecting a main subject from a plurality of subjects detected by the detection means, and a plurality of detection means detected by the detection means.
- An image pickup apparatus comprising: a setting means for setting a plurality of focus detection areas according to a subject, a focus detection means for performing focus detection in a plurality of focus detection areas set by the setting means, and a control means. Is disclosed.
- the control means is mainly used when the main subject is in focus, if the main subject is selected by the selection means based on a user instruction for selecting the main subject. Regardless of the difference between the focus detection result for the focus detection area corresponding to the subject and the focus detection result for the focus detection area corresponding to the subject other than the main subject within the predetermined depth of field of the lens unit. Instead, the in-focus display for the subject within the predetermined depth of field is displayed so that the in-focus display for the main subject is different from the in-focus display for subjects other than the main subject. Control to do so. Further, if the main subject is not selected by the selection means based on the user instruction to select the main subject, the control means displays the in-focus display for the subject including the main subject within a predetermined depth of field. , Control to display in the same display format.
- Japanese Patent Application Laid-Open No. 2018-007082 describes a reading means for reading image data and an image file including incidental information indicating a focal surface distance, a main subject, and a distance map from an image pickup apparatus, and an analysis of the image data to obtain a distance map. Therefore, a calculation for calculating the overlap ratio between the detection means for detecting a subject whose difference between the distance from the image pickup element and the focal surface distance is smaller than a predetermined value and the position of the main subject and the position of the subject detected by the detection means. It is characterized by being provided with a means and a display control means for controlling the image based on the image data to be selectively superimposed on the position of the subject detected by the detection means according to the overlap ratio and displayed.
- the image reproduction device is disclosed.
- One embodiment according to the technique of the present disclosure can make it easier to visually grasp a plurality of specific subjects as compared with the case where the result of recognizing all the subjects is individually displayed for each of all the subjects.
- a first aspect of the technique of the present disclosure comprises a processor and a memory connected to or built into the processor, the processor based on image data obtained by imaging a group of subjects by an image pickup device. It recognizes the subject included in the subject group, displays the image indicated by the image data on the display, and corresponds to a plurality of subject areas included in the subject group, which are multiple subject areas in the image. It is an image processing device that displays a plurality of subject areas satisfying a predetermined condition in an image in a manner that can be identified as one object based on the result of recognizing the subject.
- a second aspect according to the technique of the present disclosure is a first aspect in which a processor displays a grouped image area in which a plurality of subject areas satisfying a predetermined condition are grouped in an image so as to be identifiable as one object. It is an image processing apparatus according to.
- a third aspect of the technique of the present disclosure is that the processor displays a boundary line indicating the boundary of the grouped image area in the image so that a plurality of subject areas can be identified as one object in the image. It is an image processing apparatus which concerns on the 2nd aspect to display in.
- the fourth aspect according to the technique of the present disclosure is the image processing apparatus according to the third aspect, in which the boundary line is a contour line indicating the outer contour of the grouped image area.
- the fifth aspect according to the technique of the present disclosure is the image processing apparatus according to the fourth aspect, in which the contour line is an object frame surrounding a plurality of subject areas.
- a sixth aspect according to the technique of the present disclosure is an embodiment in which a processor can identify a plurality of subject areas as one object by displaying an object frame surrounding a plurality of subject areas satisfying a predetermined condition in an image. It is an image processing apparatus according to the first aspect to display in an image.
- a seventh aspect according to the technique of the present disclosure is a fifth aspect in which a processor dynamically changes the size of a frame from the outside or the inside of the outer contour to the outer contour in an image to create an object frame. It is an image processing apparatus according to.
- An eighth aspect according to the technique of the present disclosure is a fifth aspect in which the processor acquires the distances from the image pickup apparatus to each of the plurality of subjects, and changes the display mode of the object frame according to the acquired distances for the plurality of subjects.
- the image processing unit according to any one of the seventh aspects from the above aspect.
- a ninth aspect according to the technique of the present disclosure is that the object frame is from the subject area having the shortest distance among the plurality of subject areas to the subject area having the longest distance among the plurality of subject areas in the image.
- the image processing apparatus according to the eighth aspect which is a frame having a shape that narrows toward the surface.
- a tenth aspect according to the technique of the present disclosure is that the image is a first moving image, and the processor uses the first moving image to include a part of the subject area and the remaining subject area in the plurality of subject areas.
- the image processing unit according to any one of the fifth to ninth aspects, which deforms an object frame when one interval is vacant by a first predetermined interval or more.
- the eleventh aspect according to the technique of the present disclosure is a mode in which the processor separates a part of the subject area from the object frame on condition that the state in which the first interval is open for the first predetermined interval or more is maintained for the predetermined time or more.
- a twelfth aspect of the technique of the present disclosure is that the processor individually surrounds a plurality of subject areas that satisfy at least a predetermined condition among the plurality of component image areas indicating the plurality of components constituting the subject group.
- the image processing apparatus according to any one of the fifth to eleventh aspects, in which the individual frame and the object frame are displayed in the image.
- a thirteenth aspect according to the technique of the present disclosure is an image processing apparatus according to a twelfth aspect, wherein the processor acquires the characteristics of a plurality of components and changes the display mode of the plurality of individual frames according to the acquired characteristics. Is.
- the fourteenth aspect according to the technique of the present disclosure is the image processing apparatus according to the thirteenth aspect, in which the characteristic includes at least one of the number, size, type, and speed of components.
- a fifteenth aspect according to the technique of the present disclosure is a twelfth to a fourteenth aspect in which a processor displays an object frame before an individual frame in an image when the image pickup mode of the image pickup apparatus is activated. It is an image processing apparatus which concerns on any one aspect of.
- a sixteenth aspect of the technique of the present disclosure is a parallel display process in which a processor displays an individual frame and an object frame in parallel in an image, and selectively displays the individual frame and the object frame in the image.
- the image processing unit according to any one of the twelfth to fifteenth aspects that selectively performs the selection display processing.
- a seventeenth aspect of the technique of the present disclosure is that the processor performs parallel display processing and selective display processing according to at least one of the movement of a plurality of subjects, the movement of an image pickup device, and the depth of field. It is an image processing apparatus which concerns on the 16th aspect which performs selectively.
- An eighteenth aspect according to the technique of the present disclosure is a first aspect in which a processor displays a plurality of subject areas in an image in a manner that allows the plurality of subject areas to be identified as one object by displaying the plurality of subject areas in a peaking manner.
- the image processing unit according to any one of the seventeenth aspects.
- a nineteenth aspect according to the technique of the present disclosure is a first aspect in which a processor displays a plurality of subject areas in an image in a manner that can be identified as one object by displaying a plurality of subject areas by a segmentation method.
- the image processing unit according to any one of the seventeenth aspects.
- a twentieth aspect according to the technique of the present disclosure is the first aspect to the first aspect in which the processor extracts a contour line of at least one specific subject area out of a plurality of subject areas and displays the extracted contour line on an image.
- An image processing unit according to any one of the nineteen aspects.
- a twenty-first aspect according to the technique of the present disclosure is the image processing apparatus according to the twentieth aspect, wherein the processor changes the display mode of the contour line according to the distance between the subject and the image pickup device indicated by the specific subject area. be.
- the processor displays one of a designated target subject area among a plurality of subject areas and a subject area other than the target subject area with more emphasis than the other. It is an image processing apparatus according to any one of the first aspect to the twenty-first aspect.
- a twenty-third aspect according to the technique of the present disclosure relates to the twentieth aspect or the twenty-first aspect in which the processor acquires the position information indicating the position of the contour line in the image and stores the position information in the storage medium. It is an image processing device.
- the 24th aspect according to the technique of the present disclosure is any one of the 1st to 23rd aspects, which is a condition in which the default condition includes the focusing condition that the focusing is performed on a plurality of subjects. It is an image processing apparatus according to one aspect.
- the twenty-fifth aspect according to the technique of the present disclosure is a condition from the first aspect to the twenty-fourth aspect, which is a condition including a subject size condition that the degree of difference in size between a plurality of subject areas is within a predetermined range. It is an image processing apparatus which concerns on any one aspect.
- the 26th aspect according to the technique of the present disclosure is the image processing apparatus according to the 25th aspect, wherein the subject area is a face area showing a face and the size is the size of a face frame surrounding the face area.
- the 27th aspect according to the technique of the present disclosure is the image processing apparatus according to the 26th aspect, wherein the predetermined range differs depending on the ratio of the size of the face frame between the plurality of subject areas.
- the 28th aspect according to the technique of the present disclosure is a condition from the first aspect to the 27th aspect, which is a condition including a subject interval condition that the second interval between a plurality of subjects is less than the second predetermined interval. It is an image processing apparatus which concerns on any one aspect.
- the 29th aspect according to the technique of the present disclosure is a condition from the first aspect to the 28th aspect, which is a condition in which the default condition includes a gesture common condition that the gesture expressed by a plurality of subject areas is common. It is an image processing apparatus which concerns on any one aspect.
- the thirtieth aspect according to the technique of the present disclosure is any one of the first aspect to the 29th aspect, which is a condition in which the default condition includes the condition that the moving directions of the plurality of subject areas are the same, that is, the same moving direction condition. It is an image processing apparatus according to one aspect.
- a thirty-first aspect according to the technique of the present disclosure is any one of the first to thirty aspects, wherein the processor selects whether or not to include a plurality of subject areas in one object according to a given instruction. It is an image processing apparatus according to an aspect.
- the 32nd aspect according to the technique of the present disclosure is that the image is the second moving image, and the processor executes the specific process when the predetermined condition is satisfied while the second moving image is displayed on the display. It is an image processing apparatus according to any one of the first aspect to the thirty-first aspect.
- the default condition is the first individual subject area indicating the first individual subject in the subject group and the second individual subject area indicating the second individual subject in the image.
- Image processing according to the 32nd aspect which is a condition including an individual subject area interval condition that the three intervals are within the third predetermined interval, and the processor executes a specific process when the individual subject area interval condition is satisfied. It is a device.
- a processor displays a first individual frame surrounding a first individual subject area and a second individual frame surrounding a second individual subject area in a second moving image.
- the image processing unit according to the 33rd aspect wherein the third interval is within the third predetermined interval when the area of the overlapping area between the individual frame and the second individual frame is equal to or larger than the predetermined area.
- the 35th aspect according to the technique of the present disclosure includes an image processing apparatus according to any one of the first to 34th aspects, and an image sensor that captures an image pickup region including a subject group. It is an image pickup device.
- a thirty-sixth aspect according to the technique of the present disclosure further includes an imaging optical system having a focus lens that can move in the optical axis direction, and a processor focuses the focus lens on a plurality of subjects by moving the focus lens in the optical axis direction. It is an image pickup apparatus which concerns on the 35th aspect.
- a thirty-seventh aspect according to the technique of the present disclosure is the thirty-sixth aspect in which the default condition includes a close-up focusing condition that the focus is performed closer to the predetermined depth of field. This is the image pickup device.
- a 38th aspect according to the technique of the present disclosure is to recognize a subject included in a subject group based on image data obtained by capturing an image of the subject group by an image pickup device, and to display the image data.
- a 39th aspect according to the technique of the present disclosure is to recognize a subject included in a subject group based on image data obtained by capturing an image of the subject group by an image pickup apparatus on a computer, and to a display. Displaying an image indicated by image data, and a plurality of subject areas in an image that correspond to a plurality of subjects included in a subject group and satisfy a predetermined condition for a plurality of subject areas. It is a program for executing a process including displaying in an image in a mode that can be identified as one object based on the recognized result.
- FIG. 3 is a conceptual diagram showing an example of incident characteristics of subject light with respect to the first phase difference pixel and the second phase difference pixel included in the photoelectric conversion element shown in FIG.
- FIG. 3 is a conceptual diagram showing an example of incident characteristics of subject light with respect to the first phase difference pixel and the second phase difference pixel included in the photoelectric conversion element shown in FIG.
- FIG. 3 is a conceptual diagram showing an example of incident characteristics of subject light with respect to the first phase difference pixel and the second phase difference pixel included in the photoelectric conversion element shown in FIG.
- FIG. 3 is a conceptual diagram showing an example of incident characteristics of subject light with respect to the first phase difference pixel and the second phase difference pixel included in the photoelectric conversion element shown in FIG.
- It is a schematic block diagram which shows an example of the structure of the non-phase difference pixel included in the photoelectric conversion element shown in FIG.
- It is a schematic block diagram which shows an example of the hardware configuration of an image pickup apparatus.
- the screen content from the time when the restricted area is specified by the user until the object frame that surrounds multiple attention subject areas (multiple subject areas that satisfy the default conditions) as one object is superimposed on the live view image. It is a screen transition diagram which shows an example of a change. It is a block diagram which shows an example of a mode in which an image processing program is installed in a controller in an image pickup apparatus from a storage medium in which an image processing program is stored.
- CPU refers to the abbreviation of "Central Processing Unit”.
- RAM is an abbreviation for "RandomAccessMemory”.
- IC refers to the abbreviation of "Integrated Circuit”.
- ASIC refers to the abbreviation of "ApplicationSpecific Integrated Circuit”.
- PLD is an abbreviation for "Programmable Logic Device”.
- FPGA refers to the abbreviation of "Field-Programmable Gate Array”.
- SoC is an abbreviation for "System-on-a-chip”.
- SSD is an abbreviation for "Solid State Drive”.
- USB is an abbreviation for "Universal Serial Bus”.
- HDD is an abbreviation for "Hard Disk Drive”.
- EEPROM refers to the abbreviation of "Electrically Erasable and Programmable Read Only Memory”.
- EL refers to the abbreviation of "Electro-Luminescence”.
- I / F refers to the abbreviation of "Interface”.
- UI refers to the abbreviation of "User Interface”.
- TOF is an abbreviation for "Time of Flight”.
- fps is an abbreviation for "frame per second”.
- MF is an abbreviation for "Manual Focus”.
- AF is an abbreviation for "AutoFocus”.
- CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
- CCD refers to the abbreviation of "Charge Coupled Device”.
- a CPU is illustrated as an example of the "processor” according to the technique of the present disclosure, but the "processor” according to the technique of the present disclosure includes a plurality of processing devices such as a CPU and a GPU. It may be a combination of.
- the GPU operates under the control of the CPU and is responsible for executing image processing.
- vertical refers to vertical in the sense of including an error generally allowed in the technical field to which the technology of the present disclosure belongs, in addition to perfect vertical.
- match refers to a match in the sense that it includes, in addition to the exact match, an error generally tolerated in the art to which the techniques of the present disclosure belong.
- the image pickup apparatus 10 is a digital camera having an interchangeable lens and omitting a reflex mirror.
- the image pickup apparatus 10 includes an image pickup apparatus main body 12 and an interchangeable lens 14 interchangeably attached to the image pickup apparatus main body 12.
- a digital camera having an interchangeable lens and omitting a reflex mirror is mentioned, but the technique of the present disclosure is not limited to this, and the lens is fixed. It may be a digital camera, a digital camera without the reflex mirror omitted, a monitor (eg, a monitor connected to a personal computer or a television receiver), a smart device, a wearable terminal.
- a cell observation device for example, a vehicle such as a train or a bus
- a room for example, a conference room or an event hall
- a passage for example, a passage, or a road where the population density changes.
- the image sensor 16 is provided on the image pickup apparatus main body 12.
- the image sensor 16 is a CMOS image sensor.
- the image sensor 16 captures an imaging region including a group of subjects.
- the interchangeable lens 14 is attached to the image pickup apparatus main body 12
- the subject light indicating the subject is transmitted through the interchangeable lens 14 and imaged on the image sensor 16, and the image data indicating the image of the subject is generated by the image sensor 16. Will be done.
- the CMOS image sensor is exemplified as the image sensor 16, but the technique of the present disclosure is not limited to this, and for example, the image sensor 16 is another type of image sensor such as a CCD image sensor.
- the technology of this disclosure is established.
- a release button 18 and a dial 20 are provided on the upper surface of the image pickup apparatus main body 12.
- the dial 20 is operated when setting the operation mode of the image pickup system, the operation mode of the reproduction system, and the like, and by operating the dial 20, the image pickup apparatus 10 selectively selects the image pickup mode and the reproduction mode as the operation modes. Is set to.
- the release button 18 functions as an imaging preparation instruction unit and an imaging instruction unit, and can detect a two-step pressing operation of an imaging preparation instruction state and an imaging instruction state.
- the imaging preparation instruction state refers to a state in which the image is pressed from the standby position to the intermediate position (half-pressed position), and the imaging instruction state is a state in which the image is pressed to the final pressed position (fully pressed position) beyond the intermediate position. Point to. In the following, the "state of being pressed from the standby position to the half-pressed position" is referred to as "half-pressed state", and the "state of being pressed from the standby position to the full-pushed position” is referred to as "full-pressed state”.
- the image pickup preparation instruction state may be a state in which the user's finger is in contact with the release button 18, and the image pickup instruction state is a state in which the operating user's finger is in contact with the release button 18. It may be in a state of transition from the state to a state away from the state.
- a touch panel display 22 and an instruction key 24 are provided on the back surface of the image pickup apparatus main body 12.
- the touch panel display 22 includes a display 26 and a touch panel 28 (see also FIG. 3).
- An example of the display 26 is an organic EL display.
- the display 26 is not an organic EL display, but may be another type of display such as a liquid crystal display or an inorganic EL display.
- the display 26 is illustrated here, the technique of the present disclosure is not limited to this, and an image (for example, the technique of the present disclosure) is displayed on a separate display in place of the display 26 or together with the display 26. The image obtained by applying) may be displayed.
- the display 26 displays an image and / or character information and the like.
- the display 26 is used for imaging for a live view image, that is, for displaying a live view image obtained by performing continuous imaging when the imaging device 10 is in the imaging mode.
- Imaging for a live view image (hereinafter, also referred to as “imaging for a live view image”) is performed according to, for example, a frame rate of 60 fps. 60 fps is only an example, and a frame rate of less than 60 fps may be used, or a frame rate of more than 60 fps may be used.
- live view image refers to a moving image for display based on the image data obtained by being imaged by the image sensor 16. Live view images are also commonly referred to as through images.
- the live view image is an example of the "first moving image” and the “second moving image” according to the technique of the present disclosure.
- the display 26 is also used for displaying a still image obtained by taking an image for a still image when an instruction for taking an image for a still image is given to the image pickup device 10 via a release button 18. Be done. Further, the display 26 is also used for displaying a reproduced image and displaying a menu screen or the like when the image pickup apparatus 10 is in the reproduction mode.
- the touch panel 28 is a transmissive touch panel and is superimposed on the surface of the display area of the display 26.
- the touch panel 28 receives an instruction from the user by detecting contact with an indicator such as a finger or a stylus pen.
- the user turns on the soft key for starting imaging displayed on the display 26 via the touch panel 28, or the area surrounded by the object frame 98 (see FIG. 16) described later is formed.
- imaging with the main exposure is started.
- the above-mentioned "fully pressed state” includes a state in which the user turns on the soft key for starting imaging via the touch panel 28, and an object frame 98 (see FIG. 16) described later. ) Is touched by the user via the touch panel 28, and the state is also included.
- an out-cell type touch panel display in which the touch panel 28 is superimposed on the surface of the display area of the display 26 is mentioned, but this is only an example.
- an on-cell type or in-cell type touch panel display can be applied as the touch panel display 22
- the instruction key 24 receives various instructions.
- the "various instructions” are, for example, an instruction to display a menu screen on which various menus can be selected, an instruction to select one or a plurality of menus, an instruction to confirm the selected contents, and an instruction to delete the selected contents.
- Zoom in, zoom out, and various instructions such as frame advance. Further, these instructions may be given by the touch panel 28.
- the image sensor 16 includes a photoelectric conversion element 30.
- the photoelectric conversion element 30 has a light receiving surface 30A.
- the photoelectric conversion element 30 is arranged in the image pickup apparatus main body 12 (see FIG. 1) so that the center of the light receiving surface 30A and the optical axis OA (see FIG. 1) coincide with each other.
- the photoelectric conversion element 30 has a plurality of photosensitive pixels arranged in a matrix, and the light receiving surface 30A is formed by the plurality of photosensitive pixels.
- the photosensitive pixel is a pixel having a photodiode PD, photoelectrically converts the received light, and outputs an electric signal according to the amount of received light.
- phase difference pixel P which is a so-called image plane phase difference pixel
- non-phase difference pixel N which is a pixel different from the phase difference pixel P. ..
- a color filter is arranged on the photodiode PD.
- the color filter includes a G filter corresponding to the G (green) wavelength range, an R filter corresponding to the R (red) wavelength range, and a B filter corresponding to the B (blue) wavelength range, which contributes most to obtaining a brightness signal. include.
- the non-phase difference pixel N is also referred to as a normal pixel.
- the photoelectric conversion element 30 has three types of photosensitive pixels, R pixel, G pixel, and B pixel, as the non-phase difference pixel N.
- the R pixel, G pixel, B pixel, and retardation pixel P are in the row direction (for example, the horizontal direction when the bottom surface of the image pickup apparatus main body 12 is in contact with the horizontal plane) and the column direction (for example, with respect to the horizontal direction). It is regularly arranged in each of the vertical directions (vertical directions) with a predetermined periodicity.
- the R pixel is a pixel corresponding to the photodiode PD in which the R filter is arranged
- the G pixel and the phase difference pixel P are the pixels corresponding to the photodiode PD in which the G filter is arranged
- the B pixel is B. It is a pixel corresponding to the photodiode PD in which the filter is arranged.
- phase difference pixel lines 32A and a plurality of non-phase difference pixel lines 32B are arranged on the light receiving surface 30A.
- the phase difference pixel line 32A is a horizontal line including the phase difference pixel P.
- the phase difference pixel line 32A is a horizontal line in which the phase difference pixel P and the non-phase difference pixel N are mixed.
- the non-phase difference pixel line 32B is a horizontal line including only a plurality of non-phase difference pixels N.
- the retardation pixel lines 32A and the non-phase difference pixel lines 32B corresponding to the predetermined number of lines are alternately arranged along the column direction.
- the "default number of lines" referred to here refers to, for example, two lines.
- 2 lines are exemplified as the default number of lines, but the technique of the present disclosure is not limited to this, and the default number of lines may be 3 or more lines, or a dozen or more lines. , Dozens of lines, hundreds of lines, etc.
- the phase difference pixel lines 32A are arranged by skipping two rows in the column direction from the first row to the last row.
- a part of the pixels of the phase difference pixel line 32A is the phase difference pixel P.
- the phase difference pixel line 32A is a horizontal line in which the phase difference pixels P and the non-phase difference pixels N are periodically arranged.
- the phase difference pixel P is roughly classified into a first phase difference pixel L and a second phase difference pixel R.
- the first phase difference pixel L and the second phase difference pixel R are alternately arranged as G pixels at intervals of several pixels in the line direction.
- the first phase difference pixel L and the second phase difference pixel R are arranged so as to appear alternately in the column direction.
- the first phase difference pixel L, the second phase difference pixel R, the first phase difference pixel L, and the second phase difference pixel R are arranged along the column direction from the first row. They are arranged in order. That is, the first phase difference pixel L and the second phase difference pixel R are alternately arranged along the column direction from the first row.
- the second phase difference pixel R, the first phase difference pixel L, the second phase difference pixel R, and the first phase difference pixel along the column direction from the first row are arranged in the order of L. That is, the second phase difference pixel R and the first phase difference pixel L are alternately arranged along the column direction from the first row.
- the photoelectric conversion element 30 is divided into two regions. That is, the photoelectric conversion element 30 has a non-phase difference pixel division area 30N and a phase difference pixel division area 30P.
- the phase difference pixel division region 30P is a phase difference pixel group composed of a plurality of phase difference pixels P, and receives subject light to generate phase difference image data as an electric signal according to the amount of received light.
- the phase difference image data is used for distance measurement, for example.
- the non-phase difference pixel division region 30N is a group of non-phase difference pixels composed of a plurality of non-phase difference pixels N, and receives subject light to generate non-phase difference image data as an electric signal according to the amount of received light.
- the non-phase difference image data is displayed on the display 26 (see FIG. 2) as a visible light image, for example.
- the first phase difference pixel L includes a light-shielding member 34A, a microlens 36, and a photodiode PD.
- a light-shielding member 34A is arranged between the microlens 36 and the light-receiving surface of the photodiode PD.
- the left half of the light receiving surface of the photodiode PD in the row direction (the left side when facing the subject from the light receiving surface (in other words, the right side when facing the light receiving surface from the subject)) is shielded by the light shielding member 34A.
- the second phase difference pixel R includes a light-shielding member 34B, a microlens 36, and a photodiode PD.
- the light-shielding member 34B is arranged between the microlens 36 and the light-receiving surface of the photodiode PD.
- the right half of the light receiving surface of the photodiode PD in the row direction (the right side when facing the subject from the light receiving surface (in other words, the left side when facing the light receiving surface from the subject)) is shielded by the light shielding member 34B.
- the light shielding member 34B In the following, for convenience of explanation, when it is not necessary to distinguish between the light-shielding members 34A and 34B, they are referred to as “light-shielding members” without reference numerals.
- the interchangeable lens 14 includes an image pickup lens 40.
- the luminous flux passing through the exit pupil of the image pickup lens 40 is roughly classified into left region passing light 38L and right region passing light 38R.
- the left region passing light 38L refers to the left half of the luminous flux passing through the exit pupil of the image pickup lens 40 when facing the subject side from the phase difference pixel P side
- the right region passing light 38R refers to the imaging lens.
- the luminous flux passing through the exit pupil of 40 it refers to the luminous flux of the right half when facing the subject side from the phase difference pixel P side.
- the luminous flux passing through the exit pupil of the image pickup lens 40 is divided into left and right by the microlens 36, the light blocking member 34A, and the light blocking member 34B that function as the pupil dividing portion, and the first retardation pixel L is the light passing through the left region as the subject light. 38L is received, and the second phase difference pixel R receives the right region passing light 38R as the subject light.
- the photoelectric conversion element 30 combines the first phase difference image data corresponding to the subject image corresponding to the left region passing light 38L and the second phase difference image data corresponding to the subject image corresponding to the right region passing light 38R. Generated.
- the amount of deviation ⁇ between the first phase difference image data for one line and the second phase difference image data for one line (hereinafter, simply “shift amount ⁇ ”).
- the distance to the subject that is, the subject distance is measured based on (also referred to as). Since the method of deriving the subject distance from the deviation amount ⁇ is a known technique, detailed description thereof will be omitted here.
- the non-phase difference pixel N is different from the phase difference pixel P in that it does not have a light-shielding member.
- the photodiode PD of the non-phase difference pixel N receives the left region passing light 38L and the right region passing light 38R as subject light.
- the image pickup lens 40 is an example of the “image pickup optical system” according to the technique of the present disclosure, and includes an objective lens 40A, a focus lens 40B, and an aperture 40C.
- the objective lens 40A, the focus lens 40B, and the aperture 40C are the objective lens 40A, the focus lens 40B, and the aperture 40C along the optical axis OA from the subject side (object side) to the image pickup device main body 12 side (image side). They are arranged in order.
- the interchangeable lens 14 includes a slide mechanism 42, a motor 44, and a motor 46.
- a focus lens 40B is attached to the slide mechanism 42 so as to be slidable along the optical axis OA.
- a motor 44 is connected to the slide mechanism 42, and the slide mechanism 42 operates by receiving the power of the motor 44 to move the focus lens 40B along the optical axis OA.
- the diaphragm 40C is a diaphragm in which the size of the opening is variable.
- a motor 46 is connected to the diaphragm 40C, and the diaphragm 40C adjusts the exposure by operating under the power of the motor 46.
- the structure and / or operation method of the interchangeable lens 14 can be changed as needed.
- the motors 44 and 46 are connected to the image pickup apparatus main body 12 via a mount (not shown), and the drive is controlled according to a command from the image pickup apparatus main body 12.
- a stepping motor is adopted as an example of the motors 44 and 46. Therefore, the motors 44 and 46 operate in synchronization with the pulse signal in response to a command from the image pickup apparatus main body 12.
- FIG. 6 an example in which the motors 44 and 46 are provided in the interchangeable lens 14 is shown, but the present invention is not limited to this, and one of the motors 44 and 46 is provided in the image pickup apparatus main body 12. Both the motors 44 and 46 may be provided in the image pickup apparatus main body 12.
- the MF mode and the AF mode are selectively set according to the instruction given to the image pickup device main body 12.
- the MF mode is an operation mode for manually focusing.
- the focus lens 40B moves along the optical axis OA with a movement amount corresponding to the operation amount of the focus ring, whereby the focus is adjusted. Will be done.
- the image pickup device main body 12 calculates the focusing position according to the subject distance, and moves the focus lens 40B toward the calculated focusing position to adjust the focus.
- the in-focus position refers to the position of the focus lens 40B on the optical axis OA in a state of being in focus.
- the control for aligning the focus lens 40B with the in-focus position is also referred to as "AF control”.
- the calculation of the in-focus position is also referred to as “AF calculation”.
- the CPU 48A which will be described later, performs AF calculation to detect the focus on a plurality of subjects. Then, the CPU 48A, which will be described later, focuses on the subject based on the result of the AF calculation, that is, the focus detection result.
- the image pickup device main body 12 includes an image sensor 16, a controller 48, an image memory 50, a UI device 52, an external I / F 54, a photoelectric conversion element driver 56, a motor driver 58, a motor driver 60, a mechanical shutter driver 62, and a mechanical shutter actuator. It has 64. Further, the image pickup apparatus main body 12 includes a mechanical shutter 72. Further, the image sensor 16 includes a signal processing circuit 74.
- a controller 48, an image memory 50, a UI device 52, an external I / F 54, a photoelectric conversion element driver 56, a motor driver 58, a motor driver 60, a mechanical shutter driver 62, and a signal processing circuit 74 are connected to the input / output interface 70. Has been done.
- the controller 48 includes a CPU 48A, a storage 48B, and a memory 48C.
- the CPU 48A is an example of a "processor” according to the technique of the present disclosure
- the memory 48C is an example of a “memory” according to the technique of the present disclosure
- the controller 48 is an "image processing device” according to the technique of the present disclosure.
- a "computer" an example of a "computer”.
- the CPU 48A, the storage 48B, and the memory 48C are connected via the bus 76, and the bus 76 is connected to the input / output interface 70.
- bus 76 may be a serial bus, or may be a parallel bus including a data bus, an address bus, a control bus, and the like.
- the storage 48B stores various parameters and various programs.
- the storage 48B is a non-volatile storage device.
- EEPROM is adopted as an example of the storage 48B.
- the EEPROM is only an example, and an HDD and / or an SSD or the like may be applied as the storage 48B in place of or together with the EEPROM.
- the memory 48C temporarily stores various information and is used as a work memory.
- An example of the memory 48C is RAM, but the memory is not limited to this, and other types of storage devices may be used.
- the CPU 48A reads a necessary program from the storage 48B, and executes the read program on the memory 48C.
- the CPU 48A controls the entire image pickup apparatus main body 12 according to a program executed on the memory 48C.
- the image memory 50, the UI device 52, the external I / F 54, the photoelectric conversion element driver 56, the motor driver 58, the motor driver 60, and the mechanical shutter driver 62 are controlled by the CPU 48A.
- a photoelectric conversion element driver 56 is connected to the photoelectric conversion element 30.
- the photoelectric conversion element driver 56 supplies an imaging timing signal defining the timing of imaging performed by the photoelectric conversion element 30 to the photoelectric conversion element 30 according to an instruction from the CPU 48A.
- the photoelectric conversion element 30 resets, exposes, and outputs an electric signal according to the image pickup timing signal supplied from the photoelectric conversion element driver 56.
- Examples of the imaging timing signal include a vertical synchronization signal and a horizontal synchronization signal.
- the photoelectric conversion element 30 photoelectrically converts the subject light received by the light receiving surface 30A, and signals an electric signal according to the amount of the subject light as analog image data indicating the subject light.
- the signal processing circuit 74 reads analog image data from the photoelectric conversion element 30 in units of one frame and for each horizontal line by an exposure sequential reading method. The analog image data is roughly classified into analog phase difference image data generated by the phase difference pixel P and analog non-phase difference image data generated by the non-phase difference pixel N.
- the signal processing circuit 74 generates digital image data by digitizing the analog image data input from the photoelectric conversion element 30.
- the signal processing circuit 74 includes a non-phase difference image data processing circuit 74A and a phase difference image data processing circuit 74B.
- the non-phase difference image data processing circuit 74A generates digital non-phase difference image data by digitizing analog non-phase difference image data.
- the phase difference image data processing circuit 74B generates digital phase difference image data by digitizing analog phase difference image data.
- digital image data when it is not necessary to distinguish between digital non-phase difference image data and digital phase difference image data, it is referred to as “digital image data”. Further, in the following, for convenience of explanation, when it is not necessary to distinguish between analog image data and digital image data, they are referred to as “image data”.
- the mechanical shutter 72 is a focal plane shutter and is arranged between the diaphragm 40C and the light receiving surface 30A.
- the mechanical shutter 72 includes a front curtain (not shown) and a rear curtain (not shown). Each of the front curtain and the rear curtain has a plurality of blades. The first curtain is placed closer to the subject than the second curtain.
- the mechanical shutter actuator 64 is an actuator having a solenoid for the front curtain (not shown) and a solenoid for the rear curtain (not shown).
- the solenoid for the front curtain is a drive source for the front curtain and is mechanically connected to the front curtain.
- the rear curtain solenoid is a drive source for the rear curtain and is mechanically connected to the rear curtain.
- the mechanical shutter driver 62 controls the mechanical shutter actuator 64 according to the instruction from the CPU 48A.
- the solenoid for the front curtain generates power under the control of the mechanical shutter driver 62, and by applying the generated power to the front curtain, the front curtain is selectively wound and pulled down.
- the rear curtain solenoid generates power under the control of the mechanical shutter driver 62, and by applying the generated power to the rear curtain, the rear curtain is selectively wound and pulled down.
- the opening and closing of the front curtain and the opening and closing of the rear curtain are controlled by the CPU 48A, so that the exposure amount to the photoelectric conversion element 30 is controlled.
- the image pickup for a live view image and the image pickup for a recorded image for recording a still image and / or a moving image are performed by an exposure sequential readout method (rolling shutter method).
- the image sensor 16 has an electronic shutter function, and imaging for a live view image is realized by operating the electronic shutter function without operating the mechanical shutter 72 in the fully open state.
- imaging for a still image is realized by activating the electronic shutter function and operating the mechanical shutter 72 so as to shift the mechanical shutter 72 from the front curtain closed state to the rear curtain closed state.
- Digital image data is stored in the image memory 50. That is, the non-phase difference image data processing circuit 74A stores the non-phase difference image data in the image memory 50, and the phase difference image data processing circuit 74B stores the phase difference image data in the image memory 50.
- the CPU 48A acquires digital image data from the image memory 50 and executes various processes using the acquired digital image data.
- the UI device 52 includes a display 26, and the CPU 48A causes the display 26 to display various information. Further, the UI device 52 includes a reception device 80.
- the reception device 80 includes a touch panel 28 and a hard key unit 82.
- the hard key unit 82 is a plurality of hard keys including an instruction key 24 (see FIG. 2).
- the CPU 48A operates according to various instructions received by the touch panel 28.
- the hard key unit 82 is included in the UI device 52, but the technique of the present disclosure is not limited to this, and for example, even if the hard key unit 82 is connected to the external I / F 54. good.
- the external I / F 54 controls the exchange of various information with a device existing outside the image pickup device 10 (hereinafter, also referred to as an “external device”).
- An example of the external I / F 54 is a USB interface.
- External devices such as smart devices, personal computers, servers, USB memory, memory cards, and / or printers are directly or indirectly connected to the USB interface.
- the motor driver 58 is connected to the motor 44 and controls the motor 44 according to an instruction from the CPU 48A. By controlling the motor 44, the position of the focus lens 40B on the optical axis OA is controlled via the slide mechanism 42. The focus lens 40B moves according to the instruction from the CPU 48A, avoiding the period of the main exposure by the image sensor 16.
- the motor driver 60 is connected to the motor 46 and controls the motor 46 according to an instruction from the CPU 48A. By controlling the motor 46, the size of the opening of the diaphragm 40C is controlled.
- the storage 48B stores a subject recognition processing program 84, an individual frame display processing program 86, an object frame display processing program 88, and an imaging support processing program 90.
- an image processing program When it is not necessary to distinguish and explain (not shown), it is simply referred to as an "image processing program" without a reference numeral.
- the image processing program is an example of a "program" according to the technique of the present disclosure.
- the CPU 48A reads an image processing program from the storage 48B and executes the read image processing program on the memory 48C.
- the CPU 48A performs subject recognition processing according to the subject recognition processing program 84 executed on the memory 48C (see also FIG. 17). Further, the CPU 48A performs the individual frame display processing according to the individual frame display processing program 86 executed on the memory 48C (see also FIG. 18). Further, the CPU 48A performs the object frame display processing according to the object frame display processing program 88 executed on the memory 48C (see also FIGS. 19A and 19B). Further, the CPU 48A performs the image pickup support process according to the image pickup support process program 90 executed on the memory 48C (see also FIG. 20).
- the subject recognition process the individual frame display process, the object frame display process, the image capture support process, the object frame deformation process (see FIG. 38), and the display method setting process (see FIG. 47) are distinguished. Also referred to as "image processing" when there is no need to explain.
- the CPU 48A recognizes a subject included in the subject group based on the image data obtained by capturing the subject group by the image pickup device 10 by executing the subject recognition process, and the image data is displayed on the display 26. Display the image indicated by. Further, the CPU 48A supports a plurality of subject areas in the image, which are a plurality of subject areas included in the subject group, by executing the object frame display process, and a plurality of subject areas satisfying the predetermined conditions can be obtained. Based on the result of recognizing the subject, it is displayed in the image in a manner that can be identified as one object.
- the processing contents will be described in more detail.
- the CPU 48A operates as the acquisition unit 48A1 and the subject recognition unit 48A2 by executing the subject recognition processing program 84. Further, the CPU 48A operates as the acquisition unit 48A1, the creation unit 48A3, and the display control unit 48A4 by executing the individual frame display processing program 86. Further, the CPU 48A operates as a creation unit 48A3, a display control unit 48A4, a calculation unit 48A5, and a mechanism control unit 48A6 by executing the object frame display processing program 88. Further, the CPU 48A operates as the execution unit 48A7 by executing the image pickup support processing program 90.
- the acquisition unit 48A1 acquires non-phase difference image data from the image memory 50 as live view image data.
- the live view image data is acquired from the image memory 50 by the acquisition unit 48A1 at a predetermined frame rate (for example, 60 fps).
- the live view image data is image data obtained by capturing an image pickup region including a group of subjects by the image sensor 16.
- a plurality of persons are applied as an example of a subject group. Therefore, in the example shown in FIG. 9, as the live view image data, image data showing a live view image including a person area for a plurality of people is shown.
- the person area refers to an image area showing a person.
- the subject group includes vehicles, small animals, insects, plants, etc. in addition to the person. Landscapes, organs of living organisms, and / or cells of living organisms may be included. Further, the subject group does not have to include a person, and may be any subject group that can be imaged by the image sensor 16.
- the display control unit 48A4 causes the display 26 to display the live view image indicated by the live view image data acquired by the acquisition unit 48A1 each time the acquisition unit 48A1 acquires the live view image data for one frame.
- the subject recognition unit 48A2 recognizes a subject included in the subject group in the imaging region based on the live view image data acquired by the acquisition unit 48A1.
- the trained model 92 is stored in the storage 48B, and the subject recognition unit 48A2 recognizes a subject included in the subject group using the trained model 92.
- An example of the trained model 92 is a trained model using a cascade classifier.
- a trained model using a cascade classifier is constructed as a trained model for image recognition, for example, by performing supervised machine learning on a neural network.
- the trained model 92 does not have to be limited to the trained model using the cascade classifier, and may be a dictionary for pattern matching. That is, the trained model 92 may be any trained model as long as it is a trained model used in image analysis performed when a subject is recognized.
- the subject recognition unit 48A2 recognizes the face of a person included in the imaging region as a subject by performing image analysis on the live view image data.
- the face of a person is an example of a "subject” according to the technique of the present disclosure
- the face of a person is an example of a "face” according to the technique of the present disclosure.
- the face area showing the face of a person in an image is an example of the "subject area” according to the technique of the present disclosure.
- an example in which the face of a person is recognized as a subject by the subject recognition unit 48A2 is given, but the technique of the present disclosure is not limited to this, and the entire person is recognized as a subject by the subject recognition unit 48A2. You may do so.
- the subject recognition unit 48A2 identifies the age group and gender of the person included in the imaging region, and also identifies the registered unique person by using the so-called face recognition technology.
- the subject recognition unit 48A2 stores the recognition result information 94 indicating the result of recognizing the face of a person in the memory 48C.
- the recognition result information 94 is overwritten and saved in the memory 48C in units of one frame.
- the recognition result information 94 is stored in the memory 48C in a state where the subject name and the recognition area specific coordinates are associated with each other on a one-to-one basis.
- the subject name is information that can identify a person whose face is recognized by the subject recognition unit 48A2.
- Information that can identify a general person includes, for example, age group and gender.
- examples of information that can identify a unique person include a name and an address.
- the recognition area specific coordinates refer to the coordinates indicating the position in the live view image of the quadrangular frame (hereinafter, also referred to as “face frame”) surrounding the face area indicating the face of the person recognized by the subject recognition unit 48A2.
- face frame also referred to as “face frame” surrounding the face area indicating the face of the person recognized by the subject recognition unit 48A2.
- the recognition area specific coordinates may be the coordinates of three vertices or the coordinates of four vertices. Further, the shape of the face frame is not limited to a quadrangle, and may be another shape. In this case as well, the coordinates that can specify the position of the face frame in the live view image may be used as the recognition area specific coordinates.
- the creation unit 48A3 creates an individual frame 96 to be superimposed on the live view image.
- the individual frame 96 is a frame that individually surrounds a plurality of face areas. That is, the individual frame 96 is a frame corresponding to the face frame.
- the creation unit 48A3 generates the live view image data with an individual frame from the live view image data acquired by the acquisition unit 48A1 based on the latest recognition result information 94 stored in the memory 48C.
- the individual framed live view image data is image data showing a live view image (hereinafter, also referred to as “individual framed live view image”) on which the individual frame 96 is superimposed.
- the creation unit 48A3 generates live view image data so that the individual frame 96 is superimposed on the live view image at the position specified by the recognition area specific coordinates included in the recognition result information 94.
- the creation unit 48A3 outputs the live view image data with individual frames to the display control unit 48A4 and the calculation unit 48A5.
- the display control unit 48A4 displays the individual frame 96 in the live view image. That is, the display control unit 48A4 causes the display 26 to display the individual framed live view image indicated by the individual framed live view image data input from the creating unit 48A3.
- a plurality of individual frames 96 are displayed on the display 26.
- a set of face areas important to the user for example, a face area corresponding to the face of the person to be focused
- other face areas are visually displayed. It becomes difficult to identify.
- the CPU 48A identifies a plurality of face areas satisfying the default conditions for the display 26 as one object based on the recognition result information 94 by executing the object frame display process. Display in the live view image in a possible manner.
- the default condition is a condition including a focusing condition.
- the focusing condition refers to the condition that focusing is performed on the faces of a plurality of people.
- the hatched area is shown as a plurality of face areas satisfying the focusing condition.
- the subject to be focused is the faces of a plurality of people within a predetermined depth of field (for example, the depth of field currently set). be.
- the calculation unit 48A5 identifies the attention face region from the recognition result information 94, and calculates the in-focus position for the face indicated by the identified attention face region (hereinafter, also referred to as “attention face”).
- the attention face area refers to, for example, a face area registered in advance as a face area to be noted by the user. In the example shown in FIG. 13, each face region of "Fujitaro", “Fujijiro”, and "Fujisaburo" whose subject name is indicated by the recognition result information 94 is shown as a attention face region.
- the calculation unit 48A5 refers to the recognition area specific coordinates corresponding to each of the face of "Fujitaro", the face of "Fujijiro", and the face of "Fujisaburo", and from the image memory 50, a plurality of attention face areas. (In the example shown in FIG. 13, the position of the face area of "Fujitaro", the position of the face area of "Fujijiro", and the position of the face area of "Fujisaburo) do.
- the calculation unit 48A5 performs AF calculation for each of a plurality of attention faces using the phase difference image data acquired from the image memory 50. That is, the calculation unit 48A5 uses the phase difference image data to display a plurality of faces represented by the plurality of attention face regions (in the example shown in FIG. 13, the face of "Fujitaro", the face of "Fujijiro", and “Fujijiro". Calculate the in-focus position for each of the faces of "Fuji Saburo").
- the calculation unit 48A5 is in focus on all faces, that is, the face of "Fujitaro", the face of "Fujijiro", and the face of "Fujisaburo" (hereinafter, "representative focusing position”). Also called) is calculated.
- the representative focusing position As an example of the representative focusing position, the in-focus position for the face of "Fujitaro", the in-focus position for the face of "Fujijiro", and the in-focus position for the face of "Fujisaburo" are in the middle. Can be mentioned.
- the mechanism control unit 48A6 operates the motor 44 by controlling the motor driver 58 so as to move the focus lens 40B to the representative focusing position calculated by the calculation unit 48A5.
- the focus lens 40B has a focusing position in which the face of "Fujitaro", the face of "Fujijiro”, and the face of "Fujisaburo" are included in the default depth of field (here, as an example, representative). Moves to the in-focus position), and as a result, the face of "Fujitaro", “Fujijiro", and “Fujisaburo" are in focus.
- the mechanism control unit 48A6 monitors the operating state of the motor 44, and specifies the position of the focus lens 40B based on the operating state of the motor 44. Here, the mechanism control unit 48A6 determines whether or not the focusing condition is satisfied by determining whether or not the focus lens 40B has reached the representative focusing position.
- the creation unit 48A3 creates an object frame 98 to be superimposed on the live view image.
- the object frame 98 is a frame that surrounds a plurality of face areas that satisfy the focusing conditions (in the example shown in FIG. 15, the face area of "Fujitaro", the face area of "Fujijiro”, and the face area of "Fujisaburo"). Is.
- the creation unit 48A3 generates live view image data with an object frame by deleting the individual frame 96 from the live view image data with the individual frame and adding the object frame 98.
- the live view image data with an object frame is image data showing a live view image (hereinafter, also referred to as “live view image with an object frame”) on which the object frame 98 is superimposed.
- live view image with an object frame a live view image
- the position of the erased individual frame 96 is indicated by a broken line rectangular frame in the live view image data containing the object frame, and the face area of “Fujitaro” and “Fujijiro” are shown.
- the face area and the face area of "Fujisaburo" are surrounded by an object frame 98 as one object.
- the creation unit 48A3 When creating the object frame 98, the creation unit 48A3 first creates a plurality of face areas satisfying the focusing conditions (in the example shown in FIG. 15, the face area of "Fujitaro", the face area of "Fujijiro", and “Fujijiro". A grouped image area (rectangular area in the example shown in FIG. 15) 100 in which the face area of "Fuji Saburo" is grouped is generated. Then, the creating unit 48A3 creates a boundary line indicating the boundary of the grouped image area 100, that is, a contour line indicating the outer contour of the grouped image area 100 as the object frame 98.
- the object frame 98 is formed by a rectangular frame. However, when the outline of the grouped image area 100 is an object frame 98, the object frame 98 is grouped. The shape of the object frame 98 also changes depending on the shape of the image area 100.
- the display control unit 48A4 causes the display 26 to display the live view image with the object frame indicated by the live view image data with the object frame generated by the creation unit 48A3. That is, the display control unit 48A4 displays the grouped image area 100 in the live view image in a manner that can be identified as one object by displaying the object frame 98 in the live view image. In other words, the display control unit 48A4 displays the object frame 98 in the live view image to display a plurality of face areas satisfying the focusing condition (in the example shown in FIG. 15, the face area of "Fujitaro", "Fuji". The face area of "Jiro" and the face area of "Fujisaburo”) are displayed in the live view image in a manner that can be identified as one object.
- the execution unit 48A7 executes a specific process when the focusing condition is satisfied while the live view image with the object frame is displayed on the display 26.
- the display control unit 48A4 displays the live view image with the object frame on the display 26
- the display control unit 48A7 outputs an object frame display signal indicating that the object frame is displayed on the display 26. Output to.
- the object frame display signal is input from the display control unit 48A4 and the instruction to start the imaging accompanied by the main exposure (hereinafter, also referred to as “imaging start instruction”) is received by the touch panel 28, the execution unit 48A7 performs the specific process. To execute.
- the instruction to start imaging to the touch panel 28 is merely an example, and may be, for example, the operation of setting the above-mentioned "fully pressed state”.
- the specific process refers to, for example, a process of causing the image sensor 16 to perform an image pickup accompanied by the main exposure.
- FIG. 16 shows an example in which a specific process is performed by using an imaging start instruction as a trigger, but the technique of the present disclosure is not limited to this.
- the execution unit 48A7 causes the display 26 to display information indicating that the user is ready for imaging with the main exposure, that is, There is a process of causing the display 26 to display a display prompting the user to start imaging accompanied by the main exposure.
- the message "Please press the release button all the way” or the mark prompting the instruction to start imaging (for example) to the display 26.
- a process of displaying a soft key) for receiving an imaging start instruction can be mentioned.
- the user can output the sound from the speaker (not shown) instead of the visible display on the display 26 or together with the visible display on the display 26.
- the processes that prompt the user to start imaging with the main exposure and the process that prompts the user to start the imaging with the main exposure by transmitting the vibration of a specific rhythm using a vibrator (not shown) to the user. At least one of the processes may be performed.
- FIG. 17 shows an example of the flow of subject recognition processing executed by the CPU 48A when the image pickup mode is set for the image pickup apparatus 10.
- FIG. 18 shows an example of the flow of the individual frame display process executed by the CPU 48A when the image pickup mode is set for the image pickup apparatus 10.
- 19A and 19B show an example of the flow of the object frame display process executed by the CPU 48A when the image pickup mode is set for the image pickup apparatus 10.
- FIG. 20 shows an example of the flow of the image pickup support process executed by the CPU 48A when the image pickup mode is set for the image pickup apparatus 10.
- the image pickup device 10 is performing the imaging for the live view image at a predetermined frame rate.
- step ST100 the acquisition unit 48A1 acquires live view image data for one frame from the image memory 50.
- the display control unit 48A4 causes the display 26 to display the live view image indicated by the live view image data acquired by the acquisition unit 48A1 in step ST100.
- the subject recognition unit 48A2 recognizes the face of a person included in the imaging region as a subject based on the live view image data acquired by the acquisition unit 48A1 in step ST100.
- the subject recognition unit 48A2 overwrites and saves the recognition result information 94 indicating the result of recognizing the face of the person included in the image pickup area as the subject in the memory 48C.
- the subject recognition unit 48A2 determines whether or not the condition for terminating the subject recognition process (hereinafter, also referred to as “subject recognition process end condition”) is satisfied.
- the subject recognition processing end condition the condition that the image pickup mode set for the image pickup device 10 is canceled, or the instruction to end the subject recognition process is received by the reception device 80. Conditions and the like can be mentioned. If the subject recognition processing end condition is not satisfied in step ST108, the determination is denied and the subject recognition processing proceeds to step ST100. If the subject recognition processing end condition is satisfied in step ST108, the determination is affirmed and the subject recognition processing ends.
- step ST150 the creating unit 48A3 performs the subject recognition process shown in FIG. 17 based on the live view image data for one frame, thereby entering the imaging region. It is determined whether or not the face of the included person is recognized as the subject. If the face of the person included in the imaging region is not recognized as the subject in step ST150, the determination is denied and the individual frame display process proceeds to step ST164. When the face of a person included in the imaging region is recognized as a subject in step ST150, the determination is affirmed, and the individual frame display process proceeds to step ST152.
- step ST152 the creation unit 48A3 acquires the latest recognition result information 94 from the memory 48C.
- the creation unit 48A3 creates the individual frame 96 based on the recognition result information 94 acquired in step ST152 to generate the live view image data with the individual frame.
- the display control unit 48A4 causes the display 26 to display the live view image with individual frames indicated by the live view image data with individual frames. That is, the display control unit 48A4 superimposes and displays the individual frame 96 created in step ST154 on the live view image.
- step ST158 the display control unit 48A4 determines whether or not the object frame 98 has been created by executing the process of step ST210 included in the object frame display process shown in FIG. 19A. If the object frame 98 is not created in step ST158, the determination is denied and the individual frame display process proceeds to step ST164. If the object frame 98 is created in step ST158, the determination is affirmed, and the individual frame display process shifts to step ST160.
- step ST160 the display control unit 48A4 erases the individual frame 96 from the live view image with the individual frame.
- step ST162 the display control unit 48A4 determines whether or not the object frame 98 has been deleted by executing the process of step ST218 included in the object frame display process shown in FIG. 19B. If the object frame 98 is not erased in step ST162, the determination is denied and the determination in step ST162 is performed again. If the object frame 98 is deleted in step ST162, the determination is affirmed, and the individual frame display process shifts to step ST164.
- step ST164 the display control unit 48A4 determines whether or not the condition for terminating the individual frame display process (hereinafter, also referred to as “individual frame display process end condition”) is satisfied.
- the condition for ending the individual frame display process the reception device 80 has received a condition that the image pickup mode set for the image pickup device 10 has been canceled or an instruction to end the individual frame display process. , And the conditions. If the condition for ending the individual frame display process is not satisfied in step ST164, the determination is denied and the individual frame display process proceeds to step ST150. If the condition for ending the individual frame display process is satisfied in step ST164, the determination is affirmed and the individual frame display process ends.
- step ST200 the calculation unit 48A5 performs the subject recognition process shown in FIG. 17 based on the live view image data for one frame, thereby entering the imaging region. It is determined whether or not the plurality of attention faces included are recognized as a plurality of attention subjects. If the plurality of attention faces included in the imaging region are not recognized as the plurality of attention subjects in step ST200, the determination is denied, and the object frame display process shifts to step ST220 shown in FIG. 19B. When a plurality of attention faces included in the imaging region are recognized as a plurality of attention subjects in step ST200, the determination is affirmed, and the object frame display process proceeds to step ST202.
- step ST202 the calculation unit 48A5 acquires the latest recognition result information 94 from the memory 48C.
- the calculation unit 48A5 calculates the in-focus position for a plurality of attention faces recognized as a plurality of attention subjects in the step ST200.
- the calculation unit 48A5 calculates the representative focusing position based on the plurality of focusing positions calculated for the plurality of attention faces in the step ST204.
- the mechanism control unit 48A6 controls the motor 44 via the motor driver 58 to move the focus lens 40B to the representative focusing position calculated in step ST206.
- the creating unit 48A3 specifies a plurality of attention face areas showing a plurality of attention faces recognized as a plurality of attention subjects as a plurality of subject areas satisfying the focusing condition. Then, the creating unit 48A3 creates an object frame 98 that surrounds a plurality of face regions specified as a plurality of subject regions that satisfy the focusing condition. That is, the creating unit 48A3 generates the live view image data containing the object frame from the live view image data containing the individual frame.
- the display control unit 48A4 displays the object frame 98 created in the step ST210 in the live view image. That is, the display control unit 48A4 causes the display 26 to display the live view image with the object frame indicated by the live view image data with the object frame generated in step ST210.
- the display control unit 48A4 sets the entire display mode of the object frame 98 according to the types of the plurality of subject areas surrounded by the object frame 98, the combination of the plurality of subject areas, and / or the state of the plurality of subject areas. It may be changed partially or partially.
- the display mode of the object frame 98 is partially changed, the position of a specific type of subject area, the position of a plurality of subject areas of a specific combination, and / or a specific state of the lines constituting the object frame 98.
- the display mode may be changed only at the portion closest to the position of the subject area.
- Examples of the display mode of the object frame 98 include the thickness of the frame line of the object frame 98, the color of the frame line, the transparency of the frame line, and / or the time interval of blinking.
- the display mode of the object frame 98 may be changed entirely or partially depending on the type of the plurality of subject areas surrounded by the object frame 98, the combination of the plurality of subject areas, and / or the appearance of the plurality of subject areas.
- the technique of making the object is applicable to all of the following morphological examples.
- step ST214 shown in FIG. 19B the display control unit 48A4 determines whether or not the specific process of step 254 included in the image pickup support process shown in FIG. 20 has been performed. If the specific process is not performed in step ST214, the determination is denied and the object frame display process proceeds to step ST216. If the specific process is performed in step ST214, the determination is affirmed, and the object frame display process shifts to step ST218.
- step ST216 the display control unit 48A4 determines whether or not the object frame erasing condition for erasing the object frame 98 from the live view image with the object frame displayed on the display 26 is satisfied.
- the object frame erasing condition the condition that the instruction to erase the object frame 98 from the live view image containing the object frame is accepted by the receiving device 80, or the negative determination in step ST214 is repeated a predetermined number of times. The condition is that. If the object frame erasing condition is not satisfied in step ST216, the determination is denied and the object frame display process proceeds to step ST214. If the object frame deletion condition is satisfied in step ST216, the determination is affirmed, and the object frame display process proceeds to step ST218.
- step ST218 the display control unit 48A4 erases the object frame 98 from the live view image with the object frame displayed on the display 26.
- the display control unit 48A determines whether or not the condition for terminating the object frame display process (hereinafter, also referred to as “object frame display process end condition”) is satisfied.
- the reception device 80 has received a condition that the image pickup mode set for the image pickup apparatus 10 has been canceled or an instruction to end the object frame display process. , And the conditions. If the object frame display processing end condition is not satisfied in step ST220, the determination is denied, and the object frame display processing proceeds to step ST200 shown in FIG. 19A. If the condition for ending the object frame display process is satisfied in step ST220, the determination is affirmed and the object frame display process ends.
- step ST250 the execution unit 48A7 determines whether or not the object frame 98 is displayed on the display 26. If the object frame 98 is not displayed on the display 26 in step ST250, the determination is denied and the imaging support process proceeds to step ST256. When the object frame 98 is displayed on the display 26 in step ST250, the determination is affirmed, and the imaging support process shifts to step ST252.
- step ST252 the execution unit 48A7 determines whether or not the image pickup start instruction has been accepted. If the image pickup start instruction is not accepted in step ST252, the determination is denied and the image pickup support process shifts to step ST256. If the image pickup start instruction is received in step ST252, the determination is affirmed, and the image pickup support process shifts to step ST254. The image pickup start instruction is received, for example, by the touch panel 28 or the release button 18.
- step ST254 the execution unit 48A7 executes a process of causing the image sensor 16 to perform an image pickup accompanied by the main exposure as a specific process.
- the execution unit 48A7 determines whether or not the condition for terminating the imaging support process (hereinafter, also referred to as “imaging support process termination condition”) is satisfied.
- the image pickup support process end condition the condition that the image pickup mode set for the image pickup apparatus 10 is canceled, or the instruction to end the image pickup support process is received by the reception device 80. Conditions and the like can be mentioned. If the condition for ending the image pickup support process is not satisfied in step ST256, the determination is denied and the image pickup support process proceeds to step ST250. If the condition for ending the image pickup support process is satisfied in step ST256, the determination is affirmed and the image pickup support process ends.
- a plurality of subject areas satisfying the predetermined conditions are displayed in the live view image in a manner that can be identified as one object based on the recognition result information 94. .. Therefore, according to this configuration, it is possible to make it easier to visually grasp a specific plurality of subjects as compared with the case where the result of recognizing all the subjects is individually displayed for each of all the subjects.
- the live view image is illustrated here, the present invention is not limited to this, and a post view image, a still image, or a moving image for recording may be used instead of the live view image or together with the live view image. good.
- the grouped image area 100 in which a plurality of subject areas satisfying the predetermined conditions are grouped is displayed in the live view image in a manner that can be identified as one object. Therefore, according to this configuration, it is possible to make it easier to visually grasp a specific block of a plurality of subjects as compared with the case where a plurality of subject areas are not grouped.
- the boundary line indicating the boundary of the grouped image area 100 is displayed in the live view image, so that a plurality of subject areas can be identified as one object. Displayed in the view image. Therefore, according to this configuration, it is possible to visually grasp the boundary between the area including a specific plurality of subjects and the other areas.
- the boundary line indicating the boundary of the grouped image area 100 is the contour line indicating the outer contour of the grouped image area 100. Therefore, according to this configuration, the boundary between the grouped image area 100 and another image area can be visually grasped.
- the contour line showing the outer contour of the grouped image area 100 is an object frame 98 surrounding a plurality of subject areas. Therefore, according to this configuration, it is possible to visually grasp the boundary between the area including a specific plurality of subjects and the other areas.
- the object frame 98 may be a frame that surrounds a plurality of subject areas that satisfy the density condition. That is, in the object frame 98, a plurality of subject areas (for example, a plurality of subject areas corresponding to a plurality of subjects recognized as a face not wearing a mask by the subject recognition unit 48A2) are predeterminedly dense in the image.
- It may be a frame surrounding a region (for example, a region corresponding to the grouping region described above) that is densely packed with a density exceeding the degree (for example, the density of the subject area per unit area).
- the object frame 98 is displayed on a display (for example, a display different from the display 26 and / or the display 26), and an alert notifying that the density is equal to or higher than the predetermined density is displayed on the speaker or the display (for example, the display is different from the display 26). It may be emitted via the display 26 and / or a display different from the display 26).
- an object frame 98 surrounding a plurality of subject areas satisfying a predetermined condition is displayed in the live view image, so that the plurality of subject areas can be identified as one object. Is displayed in the live view image. Therefore, according to this configuration, it is possible to visually grasp the area including a specific plurality of subjects and the other areas.
- a plurality of subject areas satisfying the focusing condition are displayed in the live view image in a manner that can be identified as one object based on the recognition result information 94. Therefore, according to this configuration, it is possible to visually grasp a plurality of focused subjects and other subjects.
- the specific process is executed when the default condition is satisfied while the live view image is displayed on the display 26. Therefore, according to this configuration, it is possible to suppress the execution of the specific process at an inappropriate timing as compared with the case where the specific process is executed even though the default condition is not satisfied.
- focusing is performed on a plurality of subjects by moving the focus lens 40B in the optical axis OA direction. Therefore, according to this configuration, it is possible to capture a plurality of specific subjects in a focused state.
- the subject included in the subject group is recognized based on the live view image data and the trained model 92. Therefore, according to this configuration, the subject group can be recognized in a short time as compared with the case where the subject group is recognized only by visual inspection.
- the AF calculation is performed to detect the focus on a plurality of subjects, and the focusing is performed based on the detection result of the focus. Therefore, according to this configuration, focusing can be performed more quickly than with manual focus.
- focusing is performed by moving the focus lens 40B to an intermediate position between the infinity side focusing position and the infinity side focusing position with respect to a plurality of subjects. Therefore, according to this configuration, as compared with the case where the focus lens 40B is moved to the near-side focusing position or the infinity-side focusing position with respect to a plurality of subjects, the entire specific plurality of subject areas are sharpened for the user. Can be visually recognized.
- focusing is performed by moving the focus lens 40B to a focus position in which a plurality of subjects are included in the depth of field. Therefore, according to this configuration, as compared with the case where the focus lens 40B is moved to a focus position other than the focus position included in the depth of field by a plurality of subjects, the user can refer to a specific plurality of subject areas. Everything can be seen sharply.
- the technique of the present disclosure is not limited to this.
- a boundary line indicating the boundary between the two divided regions May be displayed in the live view image in a visually recognizable manner.
- the user can be made to recognize that one of the two divided regions includes a plurality of face regions that satisfy the focusing condition.
- the two divisions are illustrated, but this is only an example, and the number of divisions may be three or more.
- the boundary line indicating the boundary between the divided regions can be visually recognized. It should be displayed in the live view image with.
- the contrast of the other of the two divided regions is included. May be displayed in a state in which one of the two divided regions is emphasized more than the other by making the contrast lower than that of one.
- the two divisions are illustrated, but this is only an example, and the number of divisions may be three or more.
- one or more division areas including a plurality of face areas satisfying the focusing condition are included.
- the contrast may be different between the other divided areas and the other divided areas at a visually recognizable level.
- the method of making the contrast different for each divided area is only an example, and the image area in which a plurality of face areas satisfying the focusing condition are regarded as one object and the other image areas can be visually recognized. It should be displayed in the live view image with.
- a plurality of attention face areas satisfying the focusing condition are grouped as one object, but the technique of the present disclosure is not limited to this.
- a plurality of attention subjects recognized by the subject recognition unit 48A2 on the condition that a plurality of attention subjects (for example, a plurality of attention faces) are recognized by the subject recognition unit 48A2.
- a plurality of attention subject areas indicating the above may be grouped as one object.
- the display control unit 48A4 may also display the individual frame 96 in the live view image containing the object frame.
- an individual frame 96 is shown in which each of the plurality of face areas (three face areas in the example shown in FIG. 21) in the object frame 98 is surrounded.
- the plurality of individual frames 96 and the object frame 98 that individually surround the plurality of face areas satisfying the default conditions are displayed in the live view image, so that a specific plurality of subjects can be displayed. It is possible to visually grasp the relationship between the mass and each of a plurality of subjects.
- the object frame 98 may be created after further narrowing down a plurality of face areas satisfying the focusing condition.
- the object frame 98 may be created for the grouped image area 100 in which a plurality of face areas satisfying the focusing condition and satisfying the subject size condition are grouped.
- the subject size condition refers to a condition that the degree of difference in size between a plurality of subject areas is within a predetermined range.
- the size of the face frame is used as the size of the subject area.
- the size between a plurality of face areas satisfying the focusing condition can be mentioned, but the size is not limited to this, and the size between a plurality of face areas not satisfying the focusing condition is not limited to this. It may be.
- the object frame display shown in FIG. 22 is displayed.
- the process is executed by the CPU 48A.
- the flowchart shown in FIG. 22 is different from the flowchart shown in FIG. 19A in that it has steps ST300 to ST308 instead of steps ST206 to ST210. Therefore, here, among the object frame display processes shown in FIG. 22, only the portion different from the object frame display process shown in FIG. 19A will be described.
- a plurality of face areas that satisfy the focusing conditions and the subject size conditions remain (a plurality of face areas remain when the process of step ST306 is executed). explain.
- the calculation unit 48A5 determines the in-focus position exceeding the predetermined distance from the in-focus position with respect to the main attention subject from the plurality of attention subjects for which the in-focus position is calculated. Exclude the subject of interest. That is, the calculation unit 48A5 is performed from the in-focus position calculated for the main attention face (for example, the face of "Fujitaro" shown in FIG. 15) from the plurality of attention faces for which the in-focus position is calculated. Exclude the attention face for which the in-focus position exceeding the predetermined distance is calculated.
- the default distance may be a fixed value, an instruction received by the receiving device 80, or a variable value changed according to a given condition (for example, an imaging condition).
- the calculation unit 48A5 is the area of each face frame of the plurality of attention subjects left by being excluded in step ST300, that is, the area of the plurality of attention faces remaining by being excluded in step ST300. Calculate the area of each face frame.
- the calculation unit 48A5 calculates the size ratio of the face frame between the plurality of attention faces.
- the size ratio of the face frame corresponds to the calculation result in step ST302, that is, the ratio of the area of the face frame between the plurality of attention faces (for example, the attention face of one of the two attention faces to be compared).
- the ratio of the area of the face frame between a plurality of attention faces is the ratio of the "degree of difference in size between a plurality of subject areas" and the "ratio of the size of the face frame between a plurality of subject areas" according to the technique of the present disclosure. Is an example.
- the calculation unit 48A5 excludes the attention subject whose size ratio calculated in step ST304 exceeds the predetermined range from the plurality of attention subjects remaining after being excluded in step ST300. That is, the calculation unit 48A5 excludes the attention face surrounded by the face frame whose size ratio calculated in ST304 exceeds the predetermined range from the plurality of attention faces remaining after being excluded in step ST300.
- the default range is determined according to the size ratio of the face frame between the plurality of attention faces. That is, the default range is different for each size ratio of the face frame among the plurality of attention faces.
- the default range may be a fixed value, an instruction accepted by the receiving device 80, or a variable value changed according to a given condition (for example, an imaging condition). There may be.
- the creating unit 48A3 covers a plurality of attention subject areas indicating a plurality of attention subjects remaining by being excluded in step ST306, and a plurality of attentions satisfying the focusing condition and the subject size condition. Specify as the subject area. That is, the creating unit 48A3 specifies a plurality of attention face regions indicating a plurality of attention faces remaining after being excluded in step ST306 as a plurality of attention face regions satisfying the focusing condition and the subject size condition. do. Then, the creation unit 48A3 creates an object frame 98 that surrounds a plurality of attention face areas specified as a plurality of attention subject areas that satisfy the focusing condition and satisfy the subject size condition as one object.
- a plurality of subject areas in which the degree of difference in size between the plurality of subject areas is within the default range. Is displayed on the display in a manner that can be identified as one object, so that a subject not intended by the user can be prevented from entering a group of a specific plurality of subjects intended by the user.
- the subject not intended by the user is a specific subject intended by the user as compared with the case where the default range is always set to a constant range. It is possible to improve the accuracy of preventing the subject from being included in a group of multiple subjects.
- the mechanism control unit 48A6 may operate the aperture 40C to fit a plurality of objects of interest within the depth of field.
- the calculation unit 48A5 calculates the in-focus position for each of the plurality of attention subjects, that is, the in-focus position for each of the plurality of attention faces.
- the calculation unit 48A5 calculates the depth of field for accommodating the plurality of attention subjects based on the plurality of in-focus positions calculated for the plurality of attention subjects. That is, the calculation unit 48A5 calculates the depth of field for accommodating the plurality of attention faces based on the plurality of in-focus positions calculated for the plurality of attention faces.
- the calculation unit 48A5 calculates the depth of field using the first calculation formula.
- the first arithmetic expression used here for example, the closest focusing position and the infinity focusing position among a plurality of focusing positions are set as independent variables, and the value indicating the depth of view is the dependent variable. It is an arithmetic expression.
- the calculation unit 48A5 uses a first table in which values indicating the closest focusing position, the infinity side focusing position, and the depth of field are associated with each other, instead of the first calculation formula. good.
- the calculation unit 48A5 calculates the F value that realizes the calculated depth of field.
- the calculation unit 48A5 calculates the F value using the second arithmetic expression.
- the second arithmetic expression used here is, for example, an arithmetic expression in which the value indicating the depth of field is an independent variable and the F value is a dependent variable.
- the calculation unit 48A5 may use a second table in which a value indicating the depth of field and an F value are associated with each other, instead of the second calculation formula.
- the mechanism control unit 48A6 operates the aperture 40C by controlling the motor 46 via the motor driver 60 according to the F value calculated by the calculation unit 48A5.
- the object frame display process shown in FIG. 24 is executed by the CPU 48A.
- the flowchart shown in FIG. 24 is different from the flowchart shown in FIG. 19A in that step ST350 and step ST352 are provided between step ST208 and step ST210. Therefore, here, among the object frame display processes shown in FIG. 24, only the portion different from the object frame display process shown in FIG. 19A will be described.
- step ST350 shown in FIG. 24 the calculation unit 48A5 determines the depth of field for accommodating a plurality of attention faces as the depth of field for accommodating a plurality of attention subjects based on the plurality of in-focus positions calculated in step ST204. calculate.
- the mechanism control unit 48A6 determines the subject matter calculated in step ST350 for all the focused subjects (for example, a plurality of attention subjects whose in-focus position is calculated in step ST204). Adjust the aperture 40C so that it fits in the depth of field.
- the technique of the present disclosure is not limited to this, and the individual frame 96 is not limited thereto.
- the object frame 98 may be displayed on the display 26 prior to the above.
- the display control unit 48A4 may display the object frame 98 before the individual frame 96 in the live view image when the image pickup mode of the image pickup device 10 is activated.
- the individual frame display process shown in FIG. 25 is executed by the CPU 48A.
- the flowchart shown in FIG. 25 is different from the flowchart shown in FIG. 18 in that it has steps ST400 to ST404 as steps prior to step ST150. Therefore, here, among the individual frame display processes shown in FIG. 25, only the portion different from the individual frame display process shown in FIG. 18 will be described.
- step ST400 the display control unit 48A4 determines whether or not the image pickup mode of the image pickup apparatus 10 has been activated. If the image pickup mode of the image pickup apparatus 10 is not activated in step ST400, the determination is denied and the determination in step ST400 is performed again. When the image pickup mode of the image pickup apparatus 10 is activated in step ST400, the determination is affirmed, and the individual frame display process shifts to step ST402.
- step ST402 the display control unit 48A4 determines whether or not the object frame 98 is created by executing the object frame display process. If the object frame 98 is not created in step ST402, the determination is denied and the determination in step ST402 is performed again. If the object frame 98 is created in step ST402, the determination is affirmed, and the individual frame display process shifts to step ST404.
- step ST404 the display control unit 48A4 determines whether or not the object frame 98 has been deleted by executing the object frame display process. If the object frame 98 is not erased in step ST404, the determination is denied and the determination in step ST404 is performed again. If the object frame 98 is deleted in step ST404, the determination is affirmed, and the individual frame display process shifts to step ST150.
- a plurality of attention face areas are regarded as one object and described by giving an example of a form in which the object frame 98 surrounds the face area.
- the technique of the present disclosure is not limited to this, and the focus is not limited to this.
- the plurality of attention face areas may be surrounded by the object frame 98 as one object.
- the object frame display process shown in FIG. 26 is executed by the CPU 48A.
- the flowchart shown in FIG. 26 is different from the flowchart shown in FIG. 19A in that it has step ST450 instead of steps ST204 to ST208.
- the CPU 48A determines whether or not the default conditions are satisfied. If the default condition is not satisfied in step ST450, the determination is denied, and the object frame display process proceeds to step ST220 shown in FIG. 19B. If the default condition is satisfied in step ST450, the determination is affirmed, and the object frame display process proceeds to step ST210.
- various conditions that can be used as the default conditions in step ST450 will be described. It is also possible to apply a combination of various conditions described later, the focusing condition described above, and at least two of the subject size conditions described above as the default conditions of step ST450.
- the closest focusing condition can be mentioned.
- the closest focus condition is that the focus is closer to the side than the default depth of field. Focusing closer to the default depth of field is also called soft focus.
- the mechanism control unit 48A6 arranges that the object-side focus is located closer to the default depth of field.
- the focus lens 40B is moved by controlling the motor 44 via the motor driver 58.
- three people are within the predetermined depth of field as a plurality of objects of interest, and among the three people, an object closer to the focus lens 40B than the person closest to the focus lens 40B.
- the lateral focus is located.
- the creating unit 48A3 surrounds the grouped image area 100 in which three face areas showing the faces of three people within the predetermined depth of field are grouped.
- live view image data containing the object frame is generated.
- the display control unit 48A4 causes the display 26 to display the live view image with the object frame indicated by the live view image data with the object frame generated by the creation unit 48A3.
- the default depth of field is compared with the case where the focus is always within the default depth of field. It is possible to reduce the sharpness of the subject area indicating the subject included in. In this case, in the subject area, the sharpness becomes lower as the distance from the position of the focal point on the object side increases. The sharpness decreases in order.
- the order of sharpness can be arbitrarily or selectively changed by changing the position of the focal point on the object side. Therefore, it may be possible to change the order of sharpness by accepting an input for changing the position of the focal point on the object side.
- the above-mentioned subject size condition can be mentioned.
- the calculation unit 48A5 calculates the size (for example, area) of all the individual frames 96 included in the live view image data containing the individual frames. Then, the calculation unit 48A5 specifies a face area in which the degree of difference in size between the individual frames 96 is within a predetermined range. In the example shown in FIG.
- the display control unit 48A4 displays a live view image on which an object frame 98 surrounding the four face areas specified by the calculation unit 48A5 is superimposed as a live view image with an object frame on the display 26.
- the subject size condition is used as the default condition in step ST450, the subject not intended by the user is prevented from being included in the group of a specific plurality of subjects intended by the user. can do.
- the subject determined to be out of the condition may be accepted in the object frame 98. For example, when a certain mode (such as the non-conditional subject addition mode) is set and the area of the subject determined to be out of the condition is touched, a function to generate an object frame 98 including the touched subject is added. You may. Further, when the subject in the object frame 98 is touched, the object frame 98 that does not include the subject may be generated.
- the subject spacing condition is that the spacing between a plurality of subjects (an example of the "second predetermined spacing” according to the technique of the present disclosure) is less than the predetermined spacing (an example of the "second predetermined spacing” according to the technique of the present disclosure). It is a condition.
- the default interval may be a fixed value, an instruction received by the receiving device 80, or a variable value changed according to a given condition (for example, an imaging condition).
- the calculation unit 48A5 uses the spacing between all the individual frames 96 included in the live view image data containing the individual frames (hereinafter, “individual”). Also called “frame interval”) is calculated. Then, the calculation unit 48A5 specifies a face area surrounded by the individual frames 96 having a relationship in which the individual frame intervals are less than the predetermined intervals. In the example shown in FIG. 29, three face areas are specified as face areas surrounded by individual frames 96 having a relationship in which the individual frame intervals are less than the predetermined intervals.
- the display control unit 48A4 displays a live view image on which an object frame 98 surrounding the three face areas specified by the calculation unit 48A5 is superimposed as a live view image with an object frame on the display 26.
- step ST450 by using the subject spacing condition as the default condition of step ST450, it is possible to prevent a subject not intended by the user from being included in a specific group of a plurality of subjects intended by the user.
- An example of a condition that can be used as the default condition of step ST450 is a gesture common condition.
- the common gesture condition is that the gestures expressed by the plurality of subject areas are common.
- the creation unit 48A3 has a plurality of common gestures from the live view image data (for example, the live view image data with individual frames) based on the recognition result information 94. Identify the subject area of.
- the recognition result information 94 used here includes, for example, as shown in FIG. 30, information that the subject name is "a person holding a thumb in front of the face". That is, the creating unit 48A3 identifies the subject area indicating the person performing the gesture of "thumbs up in front of the face" from the live view image data by referring to the recognition result information 94.
- the gesture of "raising the thumb in front of the face” is just an example, and the gesture includes, for example, the act of "jumping" and the pose of "raising both arms”.
- the creation unit 48A3 generates live view image data with an object frame by creating an object frame 98 that surrounds a plurality of subject areas having a common gesture as one object. Then, the display control unit 48A4 causes the display 26 to display the live view image with the object frame indicated by the live view image data with the object frame generated by the creation unit 48A3. That is, the display control unit 48A4 sets the live view image on which the object frame 98 surrounding the plurality of subject areas having the same gesture as one object is superimposed as the live view image with the object frame on the display 26. Display.
- step ST450 by using the gesture common condition as the default condition of step ST450, it is possible to prevent a subject not intended by the user from being included in a group of a specific plurality of subjects intended by the user.
- the object frame 98 is displayed according to the outer contour of the grouped image area 100 from the beginning without any predictive action.
- the technique is not limited to this, and the position of the object frame 98 may be fixed in the live view image after the predictive motion is inserted.
- the display control unit 48A4 determines the size of the frame in the live view image from the outside of the outer contour of the grouped image area 100 to the outer contour of the grouped image area 100.
- the object frame 98 is created by dynamically changing it. Further, the display control unit 48A4 dynamically changes the size of the frame from the inside of the outer contour of the grouped image area 100 to the outer contour of the grouped image area 100 in the live view image, so that the object frame 98 May be created.
- the object frame 98 is created by dynamically changing the size of the frame from the outside or the inside of the outer contour of the grouped image area 100 to the outer contour of the grouped image area 100 in the live view image. Therefore, the position of the object frame 98 can be easily grasped as compared with the case where the object frame 98 is suddenly fitted to the outer contour of the grouped image area 100 without a predictive action.
- the same moving direction condition is a condition that the moving directions of the plurality of subject areas are the same.
- the creating unit 48A3 has the same movement direction from the live view image data (for example, the live view image data with an individual frame) based on the above-mentioned recognition result information 94. Identify multiple subject areas.
- the moving direction of the subject area is specified, for example, by calculating a motion vector by the creating unit 48A3 using the recognition result information 94.
- the creating unit 48A3 groups a plurality of subject areas having the same moving direction as one object, and sets the contour line showing the outer contour of the grouped image area 100 obtained by grouping as an object.
- Live view image data with an object frame is generated by creating it as a frame 98.
- the display control unit 48A4 displays the live view image with the object frame indicated by the live view image data with the object frame generated by the creation unit 48A3 on the display 26. That is, the display control unit 48A4 displays a live view image on which an object frame 98 surrounding a plurality of subject areas having the same moving direction as one object is superimposed as a live view image with an object frame on the display 26. Let me.
- step ST450 by using the same movement direction condition as the default condition of step ST450, it is possible to prevent a subject not intended by the user from being included in a group of a specific plurality of subjects intended by the user.
- the display control unit 48A4 displays the object frame 98 according to the moving direction of the plurality of subject areas, the moving speed of the plurality of subject areas (for example, the average moving speed), and / or the distance between the plurality of subject areas. May be changed.
- Examples of the display mode of the object frame 98 include the thickness of the frame line of the object frame 98, the color of the frame line, the transparency of the frame line, and / or the time interval of blinking.
- An example of a condition that can be used as a default condition in step ST450 is an individual subject area spacing condition.
- the individual subject area spacing condition is the spacing between the first individual subject area indicating the first individual subject in the subject group and the second individual subject area indicating the second individual subject in the live view image (related to the technique of the present disclosure). It is a condition that the (example of the “third interval”) is within the predetermined interval (an example of the “third predetermined interval” according to the technique of the present disclosure).
- the calculation unit 48A5 has the first individual subject area and the first individual subject area based on the recognition result information 94. 2 Specify the individual subject area.
- an image area showing a dog is shown as a first individual subject area
- an image area showing a person is shown as a second individual subject area. Note that this is only an example, and the first individual subject area and the second individual subject area may be any image area that can be specified as an image area indicating the subject based on the recognition result information 94.
- first individual frame 96A surrounding the first individual subject area and a second individual frame 96B surrounding the second individual subject area are shown.
- the first individual frame 96A is a rectangular frame that surrounds the first individual subject area as one object (in the example shown in FIG. 33, an object in the rectangular area), and the second individual frame 96B covers the second individual subject area by 1. It is a rectangular frame surrounding as two objects (in the example shown in FIG. 33, an object in a rectangular area).
- the first individual frame 96A and the second individual frame 96B are displayed in the live view image by the display control unit 48A4 in the same manner as the above-mentioned individual framed live view image.
- "displayed in the live view image” means, for example, that the display 26 is displayed in a state of being superimposed on the live view image.
- the calculation unit 48A5 calculates the area of the overlapping area (hereinafter, also simply referred to as “overlapping area”) between the first individual frame 96A and the second individual frame 96B. Then, the calculation unit 48A5 determines whether or not the calculated area is equal to or larger than the predetermined area, and determines that the distance between the first individual subject area and the second individual subject area is within the predetermined distance.
- the default area may be a fixed value, an instruction received by the receiving device 80, or a variable value changed according to a given condition (for example, an imaging condition).
- the overlapping area is formed.
- the area is larger than the specified area.
- the distance between the first individual frame subject area and the second individual frame subject area is within the predetermined distance.
- the creating unit 48A3 groups the first individual subject area and the second individual subject area into one object (in the example shown in FIG. 33, an object of a rectangular area). do.
- the creation unit 48A3 generates live view image data with an object frame by creating an outer contour line indicating the outer contour of the grouped image area 100 obtained by grouping as an object frame 98.
- the display control unit 48A4 causes the display 26 to display the live view image with the object frame indicated by the live view image data with the object frame generated by the creation unit 48A3. That is, the display control unit 48A4 sets the live view image on which the object frame 98 surrounding the first individual subject area and the second individual subject area as one object is superimposed as the live view image with the object frame on the display 26. To display.
- the execution unit 48A7 executes the above-mentioned specific processing when the individual subject area spacing condition is satisfied.
- the specific process is executed by the execution unit 48A7 on condition that the object frame 98 is displayed on the display 26 by the display control unit 48A4.
- the individual subject area spacing condition is used as the default condition in step ST450, and the specific process is executed when the individual subject area spacing condition is satisfied.
- the specific process is executed after the user determines the distance between the individual subject and the second individual subject by eye measurement
- the distance between the first individual subject and the second individual subject is the distance intended by the user. It is possible to improve the accuracy with which specific processing is executed at the timing.
- the overlapping area of the first individual frame 96A and the second individual frame 96B is determined.
- the area of the overlapping area between the first individual frame 96A and the second individual frame 96B is specified at the timing when the area intended by the user is reached, as compared with the case where the specific processing is executed after the user determines the area of The accuracy with which the process is executed can be improved.
- the display mode (for example, the shape) of the object frame 98 is fixed regardless of the subject distance, but the technique of the present disclosure is not limited to this, and the display control unit 48A4 is a display control unit 48A4 for each of a plurality of subjects.
- the display mode of the object frame 98 may be changed according to the acquired subject distance.
- the calculation unit 48A5 refers to the above-mentioned recognition result information 94 from the live view image data with individual frames, and a plurality of attention subject areas (in the example shown in FIG. 34, in the example shown in FIG. 34, Identify multiple areas of interest).
- the calculation unit 48A5 acquires the distance (subject distance) to each of the plurality of attention subjects indicated by the specified plurality of attention subject areas.
- the calculation unit 48A5 acquires the phase difference image data corresponding to each position of the specified plurality of attention subject regions from the image memory 50.
- the calculation unit 48A5 calculates the subject distance to each attention subject (for example, the distance from the light receiving surface 30A (see FIG. 6) to each attention subject) based on the acquired phase difference image data.
- the creation unit 48A3 groups a plurality of attention subject areas into one object (one square area in the example shown in FIG. 35).
- the creation unit 48A3 generates live view image data with an object frame by creating an outer contour line indicating the outer contour of the grouped image area 100 obtained by grouping as an object frame 98.
- the object frame 98 is a quadrangular frame, and has a shape in which the subject distance among the plurality of attention subject areas is narrowed from the shortest side (the side close to the light receiving surface 30A) to the longest side (the side far from the light receiving surface 30A). It is formed.
- FIG. 35 the example shown in FIG.
- the object frame 98 is trapezoidal, the lower base is located on the shortest side of the subject distance of the plurality of attention subject areas, and the subject distance of the plurality of attention subject areas is the longest side.
- the upper base which is shorter than the lower base, is located.
- a trapezoid is shown as an example of the shape of the object frame 98, but the technique of the present disclosure is not limited to this, and may be a polygon such as a triangle.
- the frame may be a curved geometric shape frame, and a frame having a shape narrowed from the subject region having the shortest subject distance to the subject region having the longest subject distance is preferable.
- the display control unit 48A4 causes the display 26 to display the live view image with the object frame indicated by the live view image data with the object frame generated by the creation unit 48A3. That is, the display control unit 48A4 displays the live view image on which the object frame 98 surrounding the plurality of attention subject areas as one object is superimposed on the display 26 as the live view image with the object frame.
- the shape of the object frame 98 is deformed according to the subject distance to the subject of interest, but the technique of the present disclosure is not limited to this.
- the thickness of the border of the object frame 98 can be partially changed, the color of the border can be partially changed, the transparency of the border can be partially changed, or the border can be changed according to the distance to the subject of interest. May be partially blinked.
- the shape of the object frame 98 is specified because it is narrowed from the subject region having the shortest subject distance to the subject region having the longest subject distance. It is possible to make the user guess which of the plurality of subjects is the subject closer to the image pickup device 10 and which is the subject farther from the image pickup device 10.
- the display control unit 48A4 may display one of the designated target subject area among the plurality of subject areas and the subject area other than the target subject area more emphasized than the other.
- various methods such as changing the brightness, changing the contrast, and / or surrounding with a frame can be considered.
- the creating unit 48A3 has an object frame 98.
- the cross mark 102 may be created inside.
- the cross mark 102 is merely an example, and may be another type of mark such as a star or an arrow.
- the creating unit 48A3 has a cross mark so that the intersection of the cross marks 102 is located at a reference point in the main attention subject area (for example, if the subject is a person, the center of the face area). 102 is created in the object frame 98.
- the main attention subject area refers to an image area indicating a subject registered in advance as a main attention subject (hereinafter, also referred to as “main attention subject”).
- the main subject area of interest is an example of the "target subject area” according to the technique of the present disclosure.
- the subject area other than the main attention subject area is an example of the “subject area other than the target subject area” according to the technique of the present disclosure.
- the creation unit 48A3 acquires the recognition result information 94 from the memory 48C, and identifies the main attention subject area in the object frame 98 with reference to the acquired recognition result information 94.
- the creation unit 48A3 is the position of the center of the face area and the cross mark 102 in the main attention subject area indicating the attention subject (in the example shown in FIG. 36, the main attention subject area indicating the main attention subject "Fujitaro"). Live view image data with an object frame in which the cross mark 102 is arranged in the object frame 98 so as to match the position of the intersection is generated.
- the display control unit 48A4 causes the display 26 to display the live view image with the object frame indicated by the live view image data with the object frame generated by the creation unit 48A3.
- the display control unit 48A4 is a live-you image in which an object frame 98 surrounding a plurality of attention subject areas as one object is superimposed, and a live image in which the cross mark 102 is superimposed on the face area of the main attention subject area.
- the view image is displayed on the display 26 as a live view image with an object frame.
- FIG. 36 a form example in which the main subject area of interest is displayed more emphasized than the remaining subject area in the object frame 98 is shown, but the technique of the present disclosure is not limited to this, and the object frame is not limited to this.
- a subject area other than the main attention subject area may be displayed with more emphasis than the main attention subject area.
- one of the main attention subject area and the subject area other than the main attention subject area in the plurality of subject areas in the object frame 98 is emphasized more than the other. Since it is displayed, it is easier to visually identify the subject desired by the user from a plurality of subjects as compared with the case where the visibility level of the main attention subject area and the subject area other than the main attention subject area is set to the same level. Can be done.
- the object frame 98 shown in FIGS. 35 and 36 may be deformed as the attention subject area in the object frame 98 moves.
- the CPU 48A is an example of the distance between a part of the subject area and the remaining subject area in the plurality of subject areas (an example of the "first interval" according to the technique of the present disclosure". ) Is greater than or equal to the predetermined interval (an example of the "first predetermined interval" according to the technique of the present disclosure), the object frame 98 is deformed.
- the CPU 48A partially from the object frame 98 on the condition that the distance between a part of the subject area and the remaining subject area among the plurality of subject areas is maintained for a predetermined time or more in a state where the space is longer than the predetermined distance.
- the object frame 98 is transformed into a form in which the subject area is separated.
- the attention subject area in the object frame 98 (in the example shown in FIG. 37, the face area showing the face of a person) is
- the moved attention subject area (hereinafter, also referred to as “moving attention subject area”) fits within the object frame 98.
- the object frame 98 is deformed while following the movement of.
- the creating unit 48A3 calculates the interval ⁇ between the object areas of interest in the object frame 98, and determines whether or not the interval ⁇ is equal to or greater than the predetermined interval.
- the creating unit 48A3 transforms the object frame 98 into a form in which the moving attention subject area is separated from the object frame 98 on condition that the state in which the interval ⁇ is vacant by the predetermined interval or more is maintained for the predetermined time or more.
- the default time may be a fixed value, an instruction received by the receiving device 80, or a variable value changed according to a given condition (for example, an imaging condition). ..
- the deformation process of the shape of the object frame 98 from the time t0 to t3 is shown.
- the object framed live view image indicated by the object framed live view image data generated by the creation unit 48A3 between the times t0 and t3 is displayed on the display 26 by the display control unit 48A4.
- the moving attention subject area is separated from the other image area 104 (broken line hatching area shown in FIG. 37) in which the remaining attention subject area in the object frame 98 is used as one object, and the area is accompanied by this.
- the object frame 98 extends following the movement of the moving subject area of interest. From time t1 to time t2, the distance ⁇ between the moving subject area of interest and the other image area 104 gradually increases, and the object frame 98 is also extended accordingly. At time t2, the interval ⁇ reaches the predetermined interval, and the interval ⁇ is maintained at the predetermined interval or more even after the time t2.
- the creating unit 48A3 sets a contour line indicating the outer contour of the other image area 104 as a new object frame. By creating it as 98, the moving attention subject area is separated from the new object frame 98.
- FIG. 38 shows an example of the flow of the object frame transformation process executed by the CPU 48A according to the object frame transformation process program (not shown) stored in the storage 48B.
- step ST500 the creating unit 48A3 calculates the interval ⁇ between the object frames of interest in the object frame 98.
- step ST502 the creating unit 48A3 determines whether or not the interval ⁇ calculated in step ST500 is equal to or greater than the predetermined interval. If the interval ⁇ is less than the predetermined interval in step ST502, the determination is denied, and the object frame deformation process shifts to step ST510. If the interval ⁇ is equal to or greater than the predetermined interval in step ST502, the determination is affirmed, and the object frame deformation process proceeds to step ST504.
- step ST504 the creation unit 48A3 deforms the object frame 98 according to the distance ⁇ between the subject areas of interest.
- the object frame 98 deformed by executing the process of step ST504 is displayed on the display 26 in a state of being superimposed on the live view image by the display control unit 48A4.
- the creating unit 48A3 determines whether or not the state of "interval ⁇ ⁇ predetermined interval" has continued for a predetermined time or longer. If the state of "interval ⁇ ⁇ predetermined interval" does not continue for the predetermined time or more in step ST506, the determination is denied and the object frame transformation process shifts to step ST510. If the state of "interval ⁇ ⁇ predetermined interval" continues for a predetermined time or longer in step ST506, the determination is affirmed and the object frame transformation process shifts to step ST508.
- step ST508 the creating unit 48A3 transforms the object frame 98 into a form in which a part of the subject area, that is, the above-mentioned moving subject area is separated from the object frame 98.
- the object frame 98 deformed by executing the process of step ST508 is displayed on the display 26 in a state of being superimposed on the live view image by the display control unit 48A4.
- step ST510 the creating unit 48A3 determines whether or not the object frame erasing condition (see step ST216 in FIG. 19B) is satisfied. If the object frame erasing condition is not satisfied in step ST510, the determination is denied and the object frame transformation process proceeds to step ST500. If the object frame deletion condition is satisfied in step ST510, the determination is affirmed and the object frame transformation process ends.
- the object frame 98 is deformed when the interval ⁇ is longer than the predetermined interval, so that it is possible to visually indicate that the interval of a specific plurality of subjects has changed. Can be grasped.
- the object frame 98 is transformed into a form in which the moving attention subject area is separated from the object frame 98 when the state of “interval ⁇ ⁇ predetermined interval” continues for a predetermined time or longer. Therefore, it is possible to visually grasp the subject that has left the group consisting of a specific plurality of subjects and the subject that remains in the group.
- a mode example is shown in which a part of the subject area is separated from the object frame 98 when the state in which the interval ⁇ is maintained for the predetermined interval or longer continues for the predetermined time or longer, but the CPU 48A is shown. May choose whether to include multiple subject areas in one object according to given instructions. That is, the CPU 48A may remove a part of the subject area from the object frame 98 or add it to the object frame 98 according to a given instruction.
- the display control unit 48A4 causes the display 26 to display a live view image with an object frame.
- the individual frame 96 surrounding the attention subject area in the example shown in FIG. 48A4, the attention face area
- the display control unit 48A4 selects the individual frame 96 in the object frame 98 according to the instruction received by the touch panel 28, and removes the selected individual frame 96 from the object frame 98.
- the display control unit 48A4 selects the individual frame 96 according to the touch operation performed on the touch panel 28, and selects the individual frame 96 according to the swipe operation performed on the touch panel 28. It is removed from the object frame 98.
- the display control unit 48A deforms the object frame 98 so as to avoid the area vacated by removing the individual frame 96 from the object frame 98. Let me.
- the display control unit 48A4 sets the individual frame 96 that is out of the object frame 98 according to the instruction received by the touch panel 28 (in the example shown in FIG. 30, a swipe operation). By returning to the original position in, the object frame 98 is returned to its original form.
- the operation of the above instruction is not limited to the swipe operation, and for example, by touching the individual frame 96 or the subject, it may be possible to alternately change whether or not the object frame 98 includes the individual frame 96.
- the object frame 98 that surrounds a plurality of attention subject areas as one object is superimposed and displayed on the live view image, so that the plurality of attention subject areas can be distinguished from other image areas as one object.
- the technique of the present disclosure is not limited to this.
- the CPU 48A may display a plurality of attention subject areas in a live view image in a manner that allows the plurality of attention subject areas to be identified as one object by displaying the plurality of attention subject areas in a peaking manner. In this case, for example, as shown in FIG.
- the creating unit 48A3 has a mode in which the outer contours of each of the plurality of attention subject areas in the live view image data are displayed in a peaking manner, that is, more than other image areas. Processing is performed in an emphasized manner, and the cross mark 106 is superimposed on a specific area of the main attention subject area (in the example shown in FIG. 41, the face area of the main attention subject area indicating the main attention subject "Fujitaro"). Generates peaking live view image data.
- the display control unit 48A4 causes the display 26 to display a live view image (hereinafter, also referred to as “peaking live view image”) indicated by the peaking live view image data generated by the creation unit 48A3.
- a live view image hereinafter, also referred to as “peaking live view image”
- the live view image is displayed on the display 26, and each of the plurality of attention subject areas in the live view image is displayed in a peaking manner.
- the plurality of attention subject areas are displayed in the live view image in a manner that can be identified as one object by displaying the plurality of attention subject areas in a peaking manner. Therefore, it is possible to visually distinguish and grasp a plurality of attention subject areas and subject areas other than the attention subject areas.
- the display control unit 48A4 displays a contour line of the subject area of interest according to the distance between the subject of interest and the image pickup apparatus 10 indicated by the subject area of interest, that is, the subject distance. May be changed.
- the attention subject indicated by the attention subject region is an example of the "subject indicated by the specific subject region" according to the technique of the present disclosure.
- the display 26 is in a state in which the attention subject area indicating the attention subject on the side of the plurality of attention subject areas where the subject distance is short, that is, the side close to the light receiving surface 30A is in focus and in a peaking manner. It is displayed in. Further, in the example shown in FIG. 42, the attention subject region showing the attention subject on the side of the plurality of attention subject regions having a long subject distance, that is, the side far from the light receiving surface 30A, is displayed by the peaking method. It is displayed on the display 26 in a state of being out of focus (blurred state) from the area.
- the display mode of the contour line is changed according to the distance between the attention subject indicated by the attention subject area and the image pickup device 10, the attention subject and the image pickup device 10 indicated by the attention subject area.
- the user can be made to guess the distance from.
- the attention subject area indicating the attention subject on the side where the subject distance is short that is, the side close to the light receiving surface 30A among the plurality of attention subject areas is displayed on the display 26 in a focused state, and a plurality of them.
- the attention subject area indicating the attention subject on the side of the attention subject area on the side where the subject distance is long that is, the side far from the light receiving surface 30A is displayed on the display 26 in a state of being out of focus (blurred state).
- the attention subject area other than the main attention subject area may be displayed by the peaking method.
- the peaking method for example, as shown in FIG. 44, only the subject area of interest selected according to the instruction given to the touch panel 28 (in the example shown in FIG. 44, a touch operation with a finger on the touch panel 28) is displayed by the peaking method. It is displayed at 26. Further, the attention subject area selected according to the instruction given to the touch panel 28 may be displayed on the display 26 by the peaking method together with the main attention subject area.
- the attention subject area is displayed on the display 26 by a peaking method
- the technique of the present disclosure is not limited to this, and the CPU 48A may display a plurality of attention subject areas.
- a plurality of attention subject areas may be displayed in the live view image in a manner that can be identified as one object.
- the creation unit 48A3 identifies a plurality of attention subject areas from the live view image data with reference to the recognition result information 94. Then, the creating unit 48A3 refers to the specified plurality of attention subject areas and generates segmentation-type live view image data (hereinafter, also referred to as “segmentation live view image data”) from the live view image data.
- the creating unit 48A3 acquires position information (for example, coordinates) indicating the positions of contour lines of a plurality of attention subject areas from the segmentation live view image data, and stores the acquired position information in the storage 48B (the technique of the present disclosure). Store in an example of "storage medium").
- the display control unit 48A4 causes the display 26 to display a live view image (hereinafter, also referred to as “segmentation live view image”) indicated by the segmentation live view image data generated by the creation unit 48A3.
- segmentation live view image a live view image indicated by the segmentation live view image data generated by the creation unit 48A3.
- the position information indicating the position of the contour line of the plurality of attention subject areas is acquired from the segmentation live view image data and stored in the storage 48B, the position information is stored in some storage medium. It becomes easier to reproduce the contour line of the subject area of interest as compared with the case where it is not stored in.
- the CPU 48A may extract the contour line of at least one attention subject area out of the plurality of attention subject areas and display the extracted contour line on the live view image.
- the display control unit 48A4 acquires the position information from the storage 48B. Then, the display control unit 48A4 has a live view image (“2. A live view image with a contour line is displayed on the display 26.
- the contour line of at least one attention subject area out of the plurality of attention subject areas is extracted, and the extracted contour line is displayed on the live view image. It is possible to visually grasp the positional relationship between the view image and the subject area of interest.
- the contour line is superimposed and displayed on various images such as a post view image, a still image, or a moving image for recording. You may do it.
- the individual frame 96 and the object frame 98 have been described with reference to an example of a form in which the individual frame 96 and the object frame 98 are selectively displayed on the display 26, but the technique of the present disclosure is not limited to this.
- the display method in which the individual frame 96 and the object frame 98 are selectively displayed on the display 26 and the display method in which the individual frame 96 and the object frame 98 are displayed in parallel can be selectively switched. You may.
- the CPU 48A selects the parallel display process of displaying the individual frame 96 and the object frame 98 in parallel in the live view image, and the selection of selectively displaying the individual frame 96 and the object frame 98 in the live view image. Selectively perform display processing. Further, the CPU 48A selectively performs parallel display processing and selective display processing according to at least one of the movement of a plurality of subjects, the movement of the image pickup apparatus 10, and the depth of field.
- FIG. 47 shows an example of the flow of the display method setting process.
- step ST550 the CPU 48A calculates the amount of change in the imaging region per unit time.
- the amount of change in the imaging region per unit time is determined according to the movement of the subject included in the imaging region and / or the movement of the imaging device 10 (for example, the movement of the imaging device 10 accompanying the pan operation and / or the tilt operation). ..
- the CPU 48A calculates a motion vector between frames of live view image data, and calculates the amount of change in the imaging region per unit time based on the calculated motion vector, frame rate, and the like.
- step ST552 the CPU 48A determines whether or not the amount of change calculated in step ST550 is equal to or less than the predetermined amount of change.
- the default amount of change may be a fixed value, an instruction received by the receiving device 80, or a variable value changed according to a given condition (for example, an imaging condition).
- step ST552 if the amount of change calculated in step ST550 exceeds the predetermined amount of change, the determination is denied and the display method setting process proceeds to step ST562.
- step ST552 if the amount of change calculated in step ST550 is equal to or less than the predetermined amount of change, the determination is affirmed and the display method setting process proceeds to step ST554.
- step ST554 the CPU 48A determines whether or not the value indicating the depth of field currently set exceeds the threshold value. If the value indicating the depth of field currently set in step ST554 exceeds the threshold value, the determination is affirmed, and the display method setting process proceeds to step ST556. If the value indicating the depth of field currently set in step ST554 is equal to or less than the threshold value, the determination is affirmed and the display method setting process proceeds to step ST558.
- step ST556 the CPU 48A sets a display method for displaying the individual frame 96 on the display 26 and displaying the object frame 98 on the display 26. After the process of step ST556 is executed, the display method setting process shifts to step ST564.
- step ST558 the CPU 48A determines whether or not the elapsed time from recognizing the subject included in the image pickup area is equal to or less than the predetermined time.
- the default time used in step ST558 may be a fixed value, an instruction received by the receiving device 80, or a variable value changed according to a given condition (for example, an imaging condition). May be good.
- step ST558 if the elapsed time from recognizing the subject included in the imaging region is equal to or less than the predetermined time, the determination is affirmed and the display method setting process proceeds to step ST560. If the elapsed time from recognizing the subject included in the imaging region exceeds the predetermined time in step ST558, the determination is denied and the display method setting process proceeds to step ST562.
- step ST560 the CPU 48A sets a display method in which the individual frame 96 is displayed on the display 26 and the object frame 98 is not displayed on the display 26. After the process of step ST560 is executed, the display method setting process shifts to step ST564.
- step ST562 the CPU 48A sets a display method in which the individual frame 96 is not displayed on the display 26 and the object frame 98 is displayed on the display 26. After the process of step ST562 is executed, the display method setting process shifts to step ST564.
- step ST564 the CPU 48A determines whether or not the condition for terminating the display method setting process (hereinafter, also referred to as "display method setting process end condition") is satisfied.
- the display method setting process end condition the reception device 80 has received a condition that the image pickup mode set for the image pickup apparatus 10 has been canceled or an instruction to end the display method setting process. , And the conditions. If the display method setting process end condition is not satisfied in step ST564, the determination is denied and the display method setting process proceeds to step ST550. If the display method setting process end condition is satisfied in step ST564, the display method setting process ends.
- the parallel display process of displaying the individual frame 96 and the object frame 98 in parallel in the live view image, and the individual frame 96 and the object frame 98 in the live view image Since the selection display process for selectively displaying is performed selectively, the frame intended by the user among the individual frame 96 and the object frame 98 is selected as compared with the case where only the individual frame 96 or the object frame 98 is always displayed. It can be easily displayed.
- the parallel display process and the selective display process are selectively performed according to the movement of a plurality of subjects, the movement of the image pickup apparatus 10, and at least one of the depth of field. Since this is performed, the individual frame is compared with the case where only the individual frame 96 or the object frame 98 is always displayed regardless of any of the movements of the plurality of subjects, the movement of the image pickup apparatus 10, and the depth of field of the plurality of subjects. Of 96 and the object frame 98, the frame intended by the user can be easily displayed.
- the rectangular frame is exemplified as the individual frame 96, but the technique of the present disclosure is not limited to this.
- the CPU 48A may acquire the characteristics of a plurality of subjects and change the display mode of the plurality of individual frames 96 according to the acquired characteristics.
- the characteristic refers to a characteristic including at least one of, for example, the number of subjects, the size of the subject, the type of the subject, and the speed of the subject.
- the subject is an example of a "component" according to the technique of the present disclosure.
- the individual frame display process shown in FIG. 48 is executed by the CPU 48A.
- the flowchart shown in FIG. 48 is different from the flowchart shown in FIG. 18 in that it has steps ST600 to ST608 instead of step ST154. Therefore, here, among the individual frame display processes shown in FIG. 48, only the portion different from the individual frame display process shown in FIG. 18 will be described.
- the thickness of the line is "thin line ⁇ normal line ⁇ thick line".
- the creating unit 48A3 refers to the recognition result information 94 acquired in step ST152, and refers to the number of subjects recognized by the subject recognition unit 48A2 (hereinafter, “number of subjects”). It is also determined whether or not the number of subjects is less than or equal to the predetermined number of subjects.
- the predetermined number of subjects may be a fixed value, or may be an instruction received by the receiving device 80, or a variable value changed according to a given condition (for example, an imaging condition). If the number of subjects is equal to or less than the predetermined number of subjects in step ST600, the determination is affirmed, and the individual frame display process proceeds to step ST602. If the number of subjects exceeds the predetermined number of subjects in step ST600, the determination is denied and the individual frame display process shifts to step ST608.
- step ST602 the creating unit 48A3 calculates the area of the subject area (for example, the average value, the median value, or the mode value of the areas of a plurality of subject areas) with reference to the recognition result information 94 acquired in step ST152. Then, it is determined whether or not the calculated area is equal to or larger than the predetermined area.
- the default area may be a fixed value, an instruction received by the receiving device 80, or a variable value changed according to a given condition (for example, an imaging condition). .. If the area of the subject area is less than the predetermined area in step ST602, the determination is denied and the individual frame display process shifts to step ST606. If the area of the subject area is equal to or larger than the predetermined area in step ST602, the determination is affirmed, and the individual frame display process shifts to step ST604.
- step ST604 the creation unit 48A3 generates live view image data with individual frames by creating individual frames 96 with normal lines based on the recognition result information 94 acquired in step ST152. After the process of step ST604 is executed, the individual frame display process shifts to step ST156.
- step ST606 the creation unit 48A3 creates the individual frame 96 with a thick line based on the recognition result information 94 acquired in step ST152 to generate the live view image data with the individual frame.
- the individual frame display process shifts to step ST156.
- step ST608 the creation unit 48A3 generates live view image data with individual frames by creating individual frames 96 with thin lines based on the recognition result information 94 acquired in step ST152. After the process of step ST608 is executed, the individual frame display process shifts to step ST156.
- a plurality of individual frames 96 having different types of borders may be displayed in a mixed state in the live view image containing the individual frames.
- the type of the frame line of the individual frame 96 may be changed for each area of the subject area. For example, the smaller the area of the subject area, the thicker the frame line of the individual frame 96 may be.
- the thickness of the frame line of the individual frame may be limited according to the number of subjects. For example, when the number of subjects recognized by the subject recognition unit 48A2 in one frame exceeds a certain number, the thickness of the frame line may be maintained.
- the thickness of the frame line of the individual frame 96 is changed according to the conditions (for example, the number of subjects and the area of the subject area) is shown, but this is only an example. Instead, the shape, color, transparency, and / or blinking time interval of the frame line of the individual frame 96 may be changed according to the conditions.
- the thickness, shape, color, transparency, and / or blinking time interval of the frame line of the individual frame 96 may be changed according to the type of the subject. Further, the thickness, shape, color, transparency, and / or blinking time interval of the frame line of the individual frame 96 may be changed according to the speed of the subject.
- the display mode of the plurality of individual frames 96 according to the characteristics of the plurality of subjects, the characteristics of the plurality of subjects can be visually grasped. Further, by changing the display mode of the plurality of individual frames 96 according to the characteristics including at least one of the number of subjects, the size of the subject, the type of the subject, and the speed of the subject, the number of subjects and the subject can be changed. It is possible to visually grasp at least one of the size of the subject, the type of the subject, and the speed of the subject.
- the technique of the present disclosure is not limited to this, and the individual frame 96 is gradually displayed. It may be displayed or gradually hidden, or the object frame 98 may be gradually displayed or gradually hidden.
- the display control unit 48A4 may display the individual frame 96 in the live view image by the fade-out method and the object frame 98 by the fade-in method. good.
- the display control unit 48A4 may display the individual frame 96 in the fade-in method and the object frame 98 in the fade-out method in the live view image. good.
- one of the individual frame 96 and the object frame 98 is displayed in the fade-out method and the other is displayed in the feed-in method in the live view image. Compared with the case where both the frame 96 and the object frame 98 are always displayed, the visibility of the displayed image can be improved.
- an example in which an object frame 98 in which a plurality of attention subject areas including a plurality of attention subject areas included in the imaging region are surrounded as one object is displayed on the display 26 is given, but the technique of the present disclosure is described. Not limited to this.
- the object frame 98 is created only for the attention subject area included in the restricted area specified in the live view image. It may be displayed on the display 26.
- the display control unit 48A4 sets a plurality of attention subject areas into other image areas in the live view image, which is defined according to a given instruction (“restricted area” in the example shown in FIG. 51). It is displayed in a manner that can be distinguished from.
- a plurality of attention subject areas for example, a plurality of objects satisfying a predetermined condition
- the object frame 98 that surrounds the face area) as one object is displayed on the display 26 in a state of being superimposed on the live view image.
- a live view image has been described as an example of the "image” according to the technique of the present disclosure, but the technique of the present disclosure is not limited to this, and a post view image or a moving image for recording is used. It may be an image other than the live view image, such as.
- a physical camera (hereinafter, also referred to as “physical camera”) is exemplified as the image pickup apparatus 10, but the technique of the present disclosure is not limited to this, and instead of the physical camera, a physical camera is placed at a different position. Even if a virtual camera that generates virtual viewpoint image data by virtually capturing a subject from a virtual viewpoint based on the captured image data obtained by being imaged by a plurality of set physical cameras is applied. good. In this case, the individual frame 96 and the object frame 98 may be displayed in the image indicated by the virtual viewpoint image data, that is, the virtual viewpoint image.
- an example of a mode in which the non-phase difference pixel division area 30N and the phase difference pixel division area 30P are used in combination has been described, but the technique of the present disclosure is not limited to this.
- an area sensor may be used in which the phase difference image data and the non-phase difference image data are selectively generated and read out.
- a plurality of photosensitive pixels are arranged two-dimensionally on the area sensor.
- a pair of independent photodiodes having no light-shielding member are used.
- photoelectric conversion is performed by the entire region of the photosensitive pixel (a pair of photodiodes), and when phase difference image data is generated and read out (for example, passive distance measurement). ), Photoelectric conversion is performed by one of the pair of photodiodes.
- one photodiode of the pair of photodiodes is a photodiode corresponding to the first phase difference pixel L described in the above embodiment
- one photodiode of the pair of photodiodes is the above-mentioned photodiode. It is a photodiode corresponding to the second phase difference pixel R described in the embodiment.
- phase difference image data and the non-phase difference image data may be selectively generated and read by all the photosensitive pixels included in the area sensor, but the present invention is not limited to this and is included in the area sensor.
- the phase difference image data and the non-phase difference image data may be selectively generated and read by the photosensitive pixel of the unit.
- the image plane phase difference pixel is exemplified as the phase difference pixel P, but the technique of the present disclosure is not limited to this.
- the non-phase difference pixel N is arranged in place of the phase difference pixel P included in the photoelectric conversion element 30, and the phase difference AF plate including a plurality of phase difference pixels P is the photoelectric conversion element 30. It may be provided separately in the image pickup apparatus main body 12.
- the AF method using the distance measurement result based on the phase difference image data that is, the phase difference AF method is exemplified, but the technique of the present disclosure is not limited to this.
- the contrast AF method may be adopted instead of the phase difference AF method.
- an AF method based on a distance measurement result using the parallax of a pair of images obtained from a stereo camera, or an AF method using a TOF method distance measurement result using a laser beam or the like may be adopted.
- the focal plane shutter has been described as an example of the mechanical shutter 72, but the technique of the present disclosure is not limited to this, and other types of mechanical shutters such as a lens shutter are applied instead of the focal plane shutter.
- the technology of the present disclosure is established.
- the image processing program may be stored in the storage medium 200.
- the storage medium 200 is a non-temporary storage medium.
- An example of the storage medium 200 is any portable storage medium such as SSD or USB memory.
- the image processing program stored in the storage medium 200 is installed in the controller 48.
- the CPU 48A executes image processing according to an image processing program.
- the image processing program is stored in a storage unit of another computer or server device connected to the controller 48 via the communication network (not shown), and the image processing program is downloaded in response to the request of the image pickup device 10. It may be installed in the controller 48.
- controller 48 is built in the image pickup device 10
- the technique of the present disclosure is not limited to this, and for example, the controller 48 is provided outside the image pickup device 10. You may be able to do it.
- the CPU 48A is a single CPU, but may be a plurality of CPUs. Further, the GPU may be applied instead of the CPU 48A.
- the controller 48 is exemplified, but the technique of the present disclosure is not limited to this, and a device including an ASIC, FPGA, and / or PLD may be applied instead of the controller 48. .. Further, instead of the controller 48, a combination of a hardware configuration and a software configuration may be used.
- the processor includes software, that is, a CPU, which is a general-purpose processor that functions as a hardware resource for executing image processing by executing a program.
- examples of the processor include a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as FPGA, PLD, or ASIC.
- a memory is built in or connected to any processor, and each processor executes image processing by using the memory.
- the hardware resource that performs image processing may consist of one of these various processors, or a combination of two or more processors of the same type or dissimilarity (eg, a combination of multiple FPGAs, or a CPU). And FPGA). Further, the hardware resource for executing the image processing may be one processor.
- one processor is configured by a combination of one or more CPUs and software, and this processor functions as a hardware resource for executing image processing.
- SoC SoC
- a processor that realizes the functions of the entire system including a plurality of hardware resources for executing image processing with one IC chip is used.
- the image processing is realized by using one or more of the above-mentioned various processors as a hardware resource.
- a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be only A, it may be only B, or it may be a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.
- the above processor With the processor With a memory connected to or built into the processor, The above processor The subject included in the subject group is recognized based on the image data obtained by capturing the subject group by the image pickup device. Display the image indicated by the above image data on the display. A plurality of subject areas in the image, which correspond to a plurality of subjects included in the subject group, and a plurality of subject areas satisfying a predetermined condition as one object based on the result of recognizing the subject. An image processing device that displays in the above image in an identifiable manner.
- Appendix 2 The image processing device according to Appendix 1, wherein the processor displays a grouped image area in which a plurality of subject areas satisfying the above-mentioned default conditions are grouped in the image in a mode in which the grouped image area can be identified as one object.
- Appendix 3 In Appendix 2, the processor displays the boundary line indicating the boundary of the grouped image area in the image, so that the plurality of subject areas can be identified as one object in the image.
- Appendix 4 The image processing apparatus according to Appendix 3, wherein the boundary line is a contour line indicating an outer contour of the grouped image area.
- Appendix 5 The image processing apparatus according to Appendix 4, wherein the contour line is an object frame surrounding the plurality of subject areas.
- the processor includes a plurality of individual frames individually surrounding the plurality of subject areas satisfying at least the above-mentioned predetermined conditions among the plurality of component image areas indicating the plurality of components constituting the subject group, and the object frame.
- the image processing device which displays the image in the above image.
- Appendix 7 The image processing device according to Appendix 6, wherein the processor displays the individual frame in the image by the fade-out method and displays the object frame by the fade-in method.
- Appendix 8 The image processor according to Appendix 6, wherein the processor displays the individual frames in a fade-in manner and displays the object frames in a fade-out manner in the image.
- the processor is any one of Supplementary note 1 to Supplementary note 9 that displays the plurality of subject areas in a mode that can be distinguished from other image areas in the area defined according to a given instruction in the image.
- Appendix 12 Further includes an imaging optical system having a focus lens that can move in the optical axis direction.
- Appendix 13 The above processor Detecting the focus on the above multiple subjects, The image pickup apparatus according to Appendix 12, wherein focusing is performed based on the focus detection result.
- Appendix 14 The image processor according to Appendix 12 or Appendix 13, wherein the processor performs the focusing by moving the focus lens to an intermediate position between the near-field focusing position and the infinity-side focusing position with respect to the plurality of subjects.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Studio Devices (AREA)
Abstract
画像処理装置は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備える。プロセッサは、被写体群が撮像装置によって撮像されることで得られた画像データに基づいて被写体群に含まれる被写体を認識し、ディスプレイに対して、画像データにより示される画像を表示させ、画像内の複数の被写体領域であって、被写体群に含まれる複数の被写体に対応しており、既定条件を満たす複数の被写体領域を、被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で画像内に表示させる。
Description
本開示の技術は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
特開2018-097380号公報には、レンズユニットを通じて得られた画像から被写体を検出する検出手段と、検出手段が検出した複数の被写体から主被写体を選択する選択手段と、検出手段が検出した複数の被写体に応じた複数の焦点検出領域を設定する設定手段と、設定手段が設定した複数の焦点検出領域で焦点検出を行う焦点検出手段と、制御手段と、を有することを特徴とする撮像装置が開示されている。
特開2018-097380号公報に記載の撮像装置において、制御手段は、主被写体が合焦した場合、主被写体が、主被写体を選択するユーザ指示に基づいて選択手段により選択されていれば、主被写体に対応する焦点検出領域についての焦点検出の結果と、レンズユニットの予め定められた被写界深度内の、主被写体以外の被写体に対応する焦点検出領域についての焦点検出の結果の違いに関わらず、予め定められた被写界深度内の被写体についての合焦表示を、主被写体についての合焦表示の表示形態が主被写体以外の被写体についての合焦表示の表示形態とは異なるように表示するように制御する。また、制御手段は、主被写体が主被写体を選択するユーザ指示に基づいて選択手段により選択されていなければ、予め定められた被写界深度内の、主被写体を含む被写体についての合焦表示を、同じ表示形態で表示するように制御する。
特開2018-007082号公報には、画像データおよび、合焦面距離、主被写体および距離マップを示す付帯情報を含む画像ファイルを撮像装置から読み込む読み込み手段と、画像データを解析し、距離マップにしたがってその撮像素子からの距離と合焦面距離との差が所定値より小さな被写体を検出する検出手段と、主被写体の位置と検出手段により検出された被写体の位置の重なりの割合を算出する算出手段と、画像データに基づく画像を、重なりの割合に応じて選択的に所定の枠を検出手段により検出された被写体の位置に重畳して表示するよう制御する表示制御手段を備えたことを特徴とする画像再生装置が開示されている。
本開示の技術に係る一つの実施形態は、全ての被写体を認識した結果を全ての被写体の各々について個別に表示する場合に比べ、特定の複数の被写体を視覚的に把握し易くすることができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供する。
本開示の技術に係る第1の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサが、被写体群が撮像装置によって撮像されることで得られた画像データに基づいて被写体群に含まれる被写体を認識し、ディスプレイに対して、画像データにより示される画像を表示させ、画像内の複数の被写体領域であって、被写体群に含まれる複数の被写体に対応しており、既定条件を満たす複数の被写体領域を、被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で画像内に表示する画像処理装置である。
本開示の技術に係る第2の態様は、プロセッサが、既定条件を満たす複数の被写体領域をグループ化したグループ化画像領域を1つのオブジェクトとして識別可能な態様で画像内に表示する第1の態様に係る画像処理装置である。
本開示の技術に係る第3の態様は、プロセッサが、グループ化画像領域の境界を示す境界線を画像内に表示させることで、複数の被写体領域を1つのオブジェクトとして識別可能な態様で画像内に表示する第2の態様に係る画像処理装置である。
本開示の技術に係る第4の態様は、境界線が、グループ化画像領域の外輪郭を示す輪郭線である第3の態様に係る画像処理装置である。
本開示の技術に係る第5の態様は、輪郭線が、複数の被写体領域を取り囲むオブジェクト枠である第4の態様に係る画像処理装置である。
本開示の技術に係る第6の態様は、プロセッサが、既定条件を満たす複数の被写体領域を取り囲むオブジェクト枠を画像内に表示することで、複数の被写体領域を1つのオブジェクトとして識別可能な態様で画像内に表示する第1の態様に係る画像処理装置である。
本開示の技術に係る第7の態様は、プロセッサが、画像内において、外輪郭の外側又は内側から外輪郭にかけて枠の大きさを動的に変化させることでオブジェクト枠を作成する第5の態様に係る画像処理装置である。
本開示の技術に係る第8の態様は、プロセッサが、撮像装置から複数の被写体の各々までの距離を取得し、複数の被写体について取得した距離に応じてオブジェクト枠の表示態様を変化させる第5の態様から第7の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第9の態様は、オブジェクト枠が、画像内において、複数の被写体領域のうちの距離が最短側の被写体領域から、複数の被写体領域のうちの距離が最長側の被写体領域にかけて窄まる形状の枠である第8の態様に係る画像処理装置である。
本開示の技術に係る第10の態様は、画像が第1動画像であり、プロセッサが、第1動画像において、複数の被写体領域のうちの一部の被写体領域と残りの被写体領域との第1間隔が第1既定間隔以上空いた場合にオブジェクト枠を変形させる第5の態様から第9の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第11の態様は、プロセッサが、第1間隔が第1既定間隔以上空いた状態が既定時間以上維持されたことを条件にオブジェクト枠から一部の被写体領域を離脱させる形態にオブジェクト枠を変形させる第10の態様に係る画像処理装置である。
本開示の技術に係る第12の態様は、プロセッサが、被写体群を構成する複数の構成要素を示す複数の構成要素画像領域のうちの少なくとも既定条件を満たす複数の被写体領域を個別に取り囲む複数の個別枠と、オブジェクト枠とを画像内に表示する第5の態様から第11の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第13の態様は、プロセッサが、複数の構成要素の特性を取得し、取得した特性に応じて複数の個別枠の表示態様を変化させる第12の態様に係る画像処理装置である。
本開示の技術に係る第14の態様は、特性が、構成要素の個数、大きさ、種類、及び速度のうちの少なくとも1つを含む特性である第13の態様に係る画像処理装置である。
本開示の技術に係る第15の態様は、プロセッサが、撮像装置の撮像モードが起動した場合に、画像内において、個別枠よりも先にオブジェクト枠を表示する第12の態様から第14の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第16の態様は、プロセッサが、画像内に個別枠とオブジェクト枠とを並行して表示する並行表示処理と、画像内に個別枠とオブジェクト枠とを選択的に表示する選択表示処理とを選択的に行う第12の態様から第15の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第17の態様は、プロセッサが、複数の被写体の動き、撮像装置の動き、及び、被写界深度のうちの少なくとも1つに応じて並行表示処理と選択表示処理とを選択的に行う第16の態様に係る画像処理装置である。
本開示の技術に係る第18の態様は、プロセッサが、複数の被写体領域をピーキング方式で表示することで複数の被写体領域を1つのオブジェクトとして識別可能な態様で画像内に表示する第1の態様から第17の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第19の態様は、プロセッサが、複数の被写体領域をセグメンテーション方式で表示することで複数の被写体領域を1つのオブジェクトとして識別可能な態様で画像内に表示する第1の態様から第17の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第20の態様は、プロセッサが、複数の被写体領域のうち少なくとも1つの特定被写体領域の輪郭線を抽出し、抽出した輪郭線を画像上に表示する第1の態様から第19の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第21の態様は、プロセッサが、特定被写体領域により示される被写体と撮像装置との距離に応じて、輪郭線の表示態様を変化させる第20の態様に係る画像処理装置である。
本開示の技術に係る第22の態様は、プロセッサが、複数の被写体領域のうちの指定された対象被写体領域、及び対象被写体領域以外の被写体領域のうちの一方を他方よりも強調して表示する第1の態様から第21の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第23の態様は、プロセッサが、画像内での輪郭線の位置を示す位置情報を取得し、位置情報を記憶媒体に記憶する第20の態様又は第21の態様に係る画像処理装置である。
本開示の技術に係る第24の態様は、既定条件が、複数の被写体に対してピント合わせが行われた、というピント合わせ条件を含む条件である第1の態様から第23の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第25の態様は、既定条件が、複数の被写体領域間のサイズの相違度が既定範囲内である、という被写体サイズ条件を含む条件である第1の態様から第24の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第26の態様は、被写体領域が、顔を示す顔領域であり、サイズが、顔領域を取り囲む顔枠のサイズである第25の態様に係る画像処理装置である。
本開示の技術に係る第27の態様は、既定範囲が、複数の被写体領域間での顔枠のサイズの比に応じて異なる第26の態様に係る画像処理装置である。
本開示の技術に係る第28の態様は、既定条件が、複数の被写体間の第2間隔が第2既定間隔未満である、という被写体間隔条件を含む条件である第1の態様から第27の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第29の態様は、既定条件が、複数の被写体領域により表現されるジェスチャーが共通している、というジェスチャー共通条件を含む条件である第1の態様から第28の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第30の態様は、既定条件が、複数の被写体領域の移動方向が同一である、という移動方向同一条件を含む条件である第1の態様から第29の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第31の態様は、プロセッサが、与えられた指示に従って複数の被写体領域を1つのオブジェクトに入れるか否かを選択する第1の態様から第30の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第32の態様は、画像が第2動画像であり、プロセッサが、ディスプレイに第2動画像が表示されている状態で、既定条件を満たした場合に特定処理を実行する第1の態様から第31の態様の何れか1つの態様に係る画像処理装置である。
本開示の技術に係る第33の態様は、既定条件が、画像内において被写体群のうちの第1個別被写体を示す第1個別被写体領域と第2個別被写体を示す第2個別被写体領域との第3間隔が第3既定間隔以内になった、という個別被写体領域間隔条件を含む条件であり、プロセッサが、個別被写体領域間隔条件を満たした場合に特定処理を実行する第32の態様に係る画像処理装置である。
本開示の技術に係る第34の態様は、プロセッサが、第1個別被写体領域を取り囲む第1個別枠と第2個別被写体領域を取り囲む第2個別枠とを第2動画像内に表示し、第1個別枠と第2個別枠との重複領域の面積が既定面積以上の場合に、第3間隔が第3既定間隔以内になる第33の態様に係る画像処理装置である。
本開示の技術に係る第35の態様は、第1の態様から第34の態様の何れか1つの態様に係る画像処理装置と、被写体群を含む撮像領域を撮像するイメージセンサと、を備えた撮像装置である。
本開示の技術に係る第36の態様は、光軸方向に移動可能なフォーカスレンズを有する撮像光学系を更に含み、プロセッサが、フォーカスレンズを光軸方向に移動させることで複数の被写体に対するピント合わせを行う第35の態様に係る撮像装置である。
本開示の技術に係る第37の態様は、既定条件が、既定の被写界深度よりも至近側にピント合わせが行われた、という至近側ピント合わせ条件を含む条件である第36の態様に係る撮像装置である。
本開示の技術に係る第38の態様は、被写体群が撮像装置によって撮像されることで得られた画像データに基づいて被写体群に含まれる被写体を認識すること、ディスプレイに対して、画像データにより示される画像を表示させること、及び、画像内の複数の被写体領域であって、被写体群に含まれる複数の被写体に対応しており、既定条件を満たす複数の被写体領域を、被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で画像内に表示することを含む画像処理方法である。
本開示の技術に係る第39の態様は、コンピュータに、被写体群が撮像装置によって撮像されることで得られた画像データに基づいて被写体群に含まれる被写体を認識すること、ディスプレイに対して、画像データにより示される画像を表示させること、及び、画像内の複数の被写体領域であって、被写体群に含まれる複数の被写体に対応しており、既定条件を満たす複数の被写体領域を、被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で画像内に表示することを含む処理を実行させるためのプログラムである。
以下、添付図面に従って本開示の技術に係る画像処理装置、撮像装置、画像処理方法、及びプログラムの実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。I/Fとは、“Interface”の略称を指す。UIとは、“User Interface”の略称を指す。TOFとは、“Time of Flight”の略称を指す。fpsとは、“frame per second”の略称を指す。MFとは、“Manual Focus”の略称を指す。AFとは、“Auto Focus”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。以下では、説明の便宜上、本開示の技術に係る「プロセッサ」の一例として、CPUを例示しているが、本開示の技術に係る「プロセッサ」は、CPU及びGPU等のように複数の処理装置の組み合わせであってもよい。本開示の技術に係る「プロセッサ」の一例として、CPU及びGPUの組み合わせが適用される場合、GPUは、CPUの制御下で動作し、画像処理の実行を担う。
本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの一致を指す。
一例として図1に示すように、撮像装置10は、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラである。撮像装置10は、撮像装置本体12と、撮像装置本体12に交換可能に装着される交換レンズ14と、を備えている。なお、ここでは、撮像装置10の一例として、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラが挙げられているが、本開示の技術はこれに限定されず、レンズ固定式のデジタルカメラであってもよいし、レフレックスミラーが省略されていないデジタルカメラであってもよいし、モニタ(例えば、パーソナル・コンピュータ又はテレビ受像機に接続されているモニタ)、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。また、車内(例えば、電車又はバス等の車両内)、室内(例えば、会議室又はイベントホール)、通路、又は道路等の人口密度が変化する空間を撮像するデジタルカメラであってもよい。
撮像装置本体12には、イメージセンサ16が設けられている。イメージセンサ16は、CMOSイメージセンサである。イメージセンサ16は、被写体群を含む撮像領域を撮像する。交換レンズ14が撮像装置本体12に装着された場合に、被写体を示す被写体光は、交換レンズ14を透過してイメージセンサ16に結像され、被写体の画像を示す画像データがイメージセンサ16によって生成される。
なお、本実施形態では、イメージセンサ16としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ16がCCDイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
撮像装置本体12の上面には、レリーズボタン18及びダイヤル20が設けられている。ダイヤル20は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル20が操作されることによって、撮像装置10では、動作モードとして撮像モードと再生モードとが選択的に設定される。
レリーズボタン18は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との2段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置10の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン18に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン18に接触した状態から離れた状態に移行した状態であってもよい。
一例として図2に示すように、撮像装置本体12の背面には、タッチパネル・ディスプレイ22及び指示キー24が設けられている。
タッチパネル・ディスプレイ22は、ディスプレイ26及びタッチパネル28(図3も参照)を備えている。ディスプレイ26の一例としては、有機ELディスプレイが挙げられる。ディスプレイ26は、有機ELディスプレイではなく、液晶ディスプレイ又は無機ELディスプレイなどの他種類のディスプレイであってもよい。なお、ここでは、ディスプレイ26を例示しているが、本開示の技術はこれに限定されず、ディスプレイ26に代えて、又は、ディスプレイ26と共に、別体のディスプレイに画像(例えば、本開示の技術が適用されることで得られる画像)が表示されるようにしてもよい。
ディスプレイ26は、画像及び/又は文字情報等を表示する。ディスプレイ26は、撮像装置10が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ライブビュー画像用の撮像(以下、「ライブビュー画像用撮像」とも称する)は、例えば、60fpsのフレームレートに従って行われる。60fpsは、あくまでも一例に過ぎず、60fps未満のフレームレートであってもよいし、60fpsを超えるフレームレートであってもよい。
ここで、「ライブビュー画像」とは、イメージセンサ16によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。なお、ライブビュー画像は、本開示の技術に係る「第1動画像」及び「第2動画像」の一例である。
ディスプレイ26は、撮像装置10に対してレリーズボタン18を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。更に、ディスプレイ26は、撮像装置10が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。
タッチパネル28は、透過型のタッチパネルであり、ディスプレイ26の表示領域の表面に重ねられている。タッチパネル28は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、本実施形態では、ディスプレイ26に表示された撮像開始用のソフトキーをユーザがタッチパネル28を介してオンすることで、又は、後述のオブジェクト枠98(図16参照)に取り囲まれた領域がタッチパネル28を介してユーザによってタッチされることで、本露光を伴う撮像が開始される。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル28を介してオンした状態、及び、後述のオブジェクト枠98(図16参照)に取り囲まれた領域がタッチパネル28を介してユーザによってタッチされ状態も含める。
なお、本実施形態では、タッチパネル・ディスプレイ22の一例として、タッチパネル28がディスプレイ26の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ22として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
指示キー24は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、1つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル28によってされてもよい。
一例として図3に示すように、イメージセンサ16は、光電変換素子30を備えている。光電変換素子30は、受光面30Aを有する。光電変換素子30は、受光面30Aの中心と光軸OA(図1参照)とが一致するように撮像装置本体12(図1参照)内に配置されている。光電変換素子30は、マトリクス状に配置された複数の感光画素を有しており、受光面30Aは、複数の感光画素によって形成されている。感光画素は、フォトダイオードPDを有する画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。光電変換素子30に含まれている感光画素の種類は、いわゆる像面位相差画素と呼ばれる位相差画素Pと、位相差画素Pとは異なる画素である非位相差画素Nとの2種類である。
フォトダイオードPDには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するG(緑色)波長域に対応するGフィルタ、R(赤色)波長域に対応するRフィルタ、及びB(青色)波長域に対応するBフィルタを含む。
一般的に、非位相差画素Nは、通常画素とも称される。光電変換素子30は、非位相差画素Nとして、R画素、G画素、及びB画素の3種類の感光画素を有する。R画素、G画素、B画素、及び位相差画素Pは、行方向(例えば、撮像装置本体12の底面を水平面に接触させた状態での水平方向)及び列方向(例えば、水平方向に対して垂直な方向である垂直方向)の各々に既定の周期性で規則的に配置されている。R画素は、Rフィルタが配置されたフォトダイオードPDに対応する画素であり、G画素及び位相差画素Pは、Gフィルタが配置されたフォトダイオードPDに対応する画素であり、B画素は、Bフィルタが配置されたフォトダイオードPDに対応する画素である。
受光面30Aには、複数の位相差画素ライン32Aと複数の非位相差画素ライン32Bとが配列されている。位相差画素ライン32Aは、位相差画素Pを含む水平ラインである。具体的には、位相差画素ライン32Aは、位相差画素Pと非位相差画素Nとが混在している水平ラインである。非位相差画素ライン32Bは、複数の非位相差画素Nのみを含む水平ラインである。
受光面30Aには、位相差画素ライン32Aと、既定ライン数分の非位相差画素ライン32Bとが列方向に沿って交互に配置されている。ここで言う「既定ライン数」とは、例えば、2ラインを指す。なお、ここでは、既定ライン数として、2ラインを例示しているが、本開示の技術はこれに限らず、既定ライン数は、3ライン以上の数ラインであってもよいし、十数ライン、数十ライン、又は数百ライン等であってもよい。
位相差画素ライン32Aは、1行目から最終行にかけて列方向に2行飛ばしで配列されている。位相差画素ライン32Aの一部の画素が位相差画素Pである。具体的には、位相差画素ライン32Aは、位相差画素Pと非位相差画素Nとが周期的に配列された水平ラインである。位相差画素Pは、第1位相差画素Lと第2位相差画素Rとに大別される。位相差画素ライン32Aには、G画素として第1位相差画素Lと第2位相差画素Rとがライン方向に数画素間隔で交互に配置されている。
第1位相差画素L及び第2位相差画素Rは、列方向で交互に現れるように配置されている。図3に示す例では、4列目において、1行目から列方向に沿って第1位相差画素L、第2位相差画素R、第1位相差画素L、及び第2位相差画素Rの順に配置されている。すなわち、第1位相差画素Lと第2位相差画素Rとが1行目から列方向に沿って交互に配置されている。また、図3に示す例では、10列目において、1行目から列方向に沿って第2位相差画素R、第1位相差画素L、第2位相差画素R、及び第1位相差画素Lの順に配置されている。すなわち、第2位相差画素Rと第1位相差画素Lとが1行目から列方向に沿って交互に配置されている。
光電変換素子30は、2つの領域に区分される。すなわち、光電変換素子30は、非位相差画素区分領域30N及び位相差画素区分領域30Pを有する。位相差画素区分領域30Pは、複数の位相差画素Pによる位相差画素群であり、被写体光を受光して受光量に応じた電気信号として位相差画像データを生成する。位相差画像データは、例えば、測距に用いられる。非位相差画素区分領域30Nは、複数の非位相差画素Nによる非位相差画素群であり、被写体光を受光して受光量に応じた電気信号として非位相差画像データを生成する。非位相差画像データは、例えば、可視光画像としてディスプレイ26(図2参照)に表示される。
一例として図4に示すように、第1位相差画素Lは、遮光部材34A、マイクロレンズ36、及びフォトダイオードPDを備えている。第1位相差画素Lでは、マイクロレンズ36とフォトダイオードPDの受光面との間に遮光部材34Aが配置されている。フォトダイオードPDの受光面における行方向の左半分(受光面から被写体を臨む場合の左側(換言すると、被写体から受光面を臨む場合の右側))は、遮光部材34Aによって遮光されている。
第2位相差画素Rは、遮光部材34B、マイクロレンズ36、及びフォトダイオードPDを備えている。第2位相差画素Rでは、マイクロレンズ36とフォトダイオードPDの受光面との間に遮光部材34Bが配置されている。フォトダイオードPDの受光面における行方向の右半分(受光面から被写体を臨む場合の右側(換言すると、被写体から受光面を臨む場合の左側))は、遮光部材34Bによって遮光されている。なお、以下では、説明の便宜上、遮光部材34A及び34Bを区別して説明する必要がない場合、符号を付さずに「遮光部材」と称する。
交換レンズ14は、撮像レンズ40を備えている。撮像レンズ40の射出瞳を通過する光束は、左領域通過光38L及び右領域通過光38Rに大別される。左領域通過光38Lとは、撮像レンズ40の射出瞳を通過する光束のうち、位相差画素P側から被写体側を臨む場合の左半分の光束を指し、右領域通過光38Rとは、撮像レンズ40の射出瞳を通過する光束のうち、位相差画素P側から被写体側を臨む場合の右半分の光束を指す。撮像レンズ40の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ36、遮光部材34A、及び遮光部材34Bにより左右に分割され、第1位相差画素Lが被写体光として左領域通過光38Lを受光し、第2位相差画素Rが被写体光として右領域通過光38Rを受光する。この結果、左領域通過光38Lに対応する被写体像に相当する第1位相差画像データと、右領域通過光38Rに対応する被写体像に相当する第2位相差画像データとが光電変換素子30によって生成される。
撮像装置10では、例えば、同一の位相差画素ライン32Aにおいて、1ライン分の第1位相差画像データと1ライン分の第2位相差画像データとのずれ量α(以下、単に「ずれ量α」とも称する)に基づいて被写体までの距離、すなわち、被写体距離が測定される。なお、ずれ量αから被写体距離が導出される方法は公知技術であるので、ここでの詳細な説明は省略する。
一例として図5に示すように、非位相差画素Nは、位相差画素Pに比べ、遮光部材を有しない点が異なる。非位相差画素NのフォトダイオードPDは、被写体光として左領域通過光38L及び右領域通過光38Rを受光する。
一例として図6に示すように、撮像レンズ40は、本開示の技術に係る「撮像光学系」の一例であり、対物レンズ40A、フォーカスレンズ40B、及び絞り40Cを備えている。
対物レンズ40A、フォーカスレンズ40B、及び絞り40Cは、被写体側(物体側)から撮像装置本体12側(像側)にかけて、光軸OAに沿って、対物レンズ40A、フォーカスレンズ40B、及び絞り40Cの順に配置されている。
また、交換レンズ14は、スライド機構42、モータ44、及びモータ46を備えている。スライド機構42には、光軸OAに沿ってスライド可能にフォーカスレンズ40Bが取り付けられている。また、スライド機構42にはモータ44が接続されており、スライド機構42は、モータ44の動力を受けて作動することでフォーカスレンズ40Bを光軸OAに沿って移動させる。絞り40Cは、開口の大きさが可変な絞りである。絞り40Cにはモータ46が接続されており、絞り40Cは、モータ46の動力を受けて作動することで露出を調節する。なお、交換レンズ14の構成物及び/又は動作方法は、必要に応じて変更可能である。
モータ44及び46は、マウント(図示省略)を介して撮像装置本体12に接続されており、撮像装置本体12からの命令に従って駆動が制御される。なお、本実施形態では、モータ44及び46の一例として、ステッピングモータが採用されている。従って、モータ44及び46は、撮像装置本体12からの命令によりパルス信号に同期して動作する。また、図6に示す例では、モータ44及び46が交換レンズ14に設けられている例が示されているが、これに限らず、モータ44及び46のうちの一方が撮像装置本体12に設けられていてもよいし、モータ44及び46の双方が撮像装置本体12に設けられていてもよい。
撮像装置10では、撮像モードの場合に、撮像装置本体12に対して与えられた指示に従ってMFモードとAFモードとが選択的に設定される。MFモードは、手動でピントを合わせる動作モードである。MFモードでは、例えば、ユーザによって交換レンズ14のフォーカスリングが操作されることで、フォーカスリングの操作量に応じた移動量でフォーカスレンズ40Bが光軸OAに沿って移動し、これによってピントが調節される。
AFモードでは、撮像装置本体12が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ40Bを移動させることで、ピントを調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ40Bの光軸OA上での位置を指す。
なお、以下では、説明の便宜上、フォーカスレンズ40Bを合焦位置に合わせる制御を「AF制御」とも称する。また、以下では、説明の便宜上、合焦位置の演算を「AF演算」とも称する。撮像装置10では、後述のCPU48Aによって、AF演算が行われることで複数の被写体に対する焦点の検出が行われる。そして、後述のCPU48Aによって、AF演算の結果、すなわち、焦点の検出結果に基づいて、被写体に対するピント合わせが行われる。
撮像装置本体12は、イメージセンサ16、コントローラ48、画像メモリ50、UI系デバイス52、外部I/F54、光電変換素子ドライバ56、モータドライバ58、モータドライバ60、メカニカルシャッタドライバ62、及びメカニカルシャッタアクチュエータ64を備えている。また、撮像装置本体12は、メカニカルシャッタ72を備えている。また、イメージセンサ16は、信号処理回路74を備えている。
入出力インタフェース70には、コントローラ48、画像メモリ50、UI系デバイス52、外部I/F54、光電変換素子ドライバ56、モータドライバ58、モータドライバ60、メカニカルシャッタドライバ62、及び信号処理回路74が接続されている。
コントローラ48は、CPU48A、ストレージ48B、及びメモリ48Cを備えている。CPU48Aは、本開示の技術に係る「プロセッサ」の一例であり、メモリ48Cは、本開示の技術に係る「メモリ」の一例であり、コントローラ48は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例である。
CPU48A、ストレージ48B、及びメモリ48Cは、バス76を介して接続されており、バス76は入出力インタフェース70に接続されている。
なお、図6に示す例では、図示の都合上、バス76として1本のバスが図示されているが、複数本のバスであってもよい。バス76は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
ストレージ48Bは、各種パラメータ及び各種プログラムを記憶している。ストレージ48Bは、不揮発性の記憶装置である。ここでは、ストレージ48Bの一例として、EEPROMが採用されている。EEPROMはあくまでも一例に過ぎず、EEPROMに代えて、又は、EEPROMと共に、HDD、及び/又はSSD等をストレージ48Bとして適用してもよい。また、メモリ48Cは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ48Cの一例としては、RAMが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。
ストレージ48Bには、各種プログラムが記憶されている。CPU48Aは、ストレージ48Bから必要なプログラムを読み出し、読み出したプログラムをメモリ48C上で実行する。CPU48Aは、メモリ48C上で実行するプログラムに従って撮像装置本体12の全体を制御する。図6に示す例では、画像メモリ50、UI系デバイス52、外部I/F54、光電変換素子ドライバ56、モータドライバ58、モータドライバ60、及びメカニカルシャッタドライバ62がCPU48Aによって制御される。
光電変換素子30には、光電変換素子ドライバ56が接続されている。光電変換素子ドライバ56は、光電変換素子30によって行われる撮像のタイミングを規定する撮像タイミング信号を、CPU48Aからの指示に従って光電変換素子30に供給する。光電変換素子30は、光電変換素子ドライバ56から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。
交換レンズ14が撮像装置本体12に装着された場合、撮像レンズ40に入射された被写体光は、撮像レンズ40によって受光面30Aに結像される。光電変換素子30は、光電変換素子ドライバ56の制御下で、受光面30Aによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示すアナログ画像データとして信号処理回路74に出力する。具体的には、信号処理回路74が、露光順次読み出し方式で、光電変換素子30から1フレーム単位で且つ水平ライン毎にアナログ画像データを読み出す。アナログ画像データは、位相差画素Pによって生成されたアナログの位相差画像データと、非位相差画素Nによって生成されたアナログの非位相差画像データとに大別される。
信号処理回路74は、光電変換素子30から入力されたアナログ画像データをデジタル化することでデジタル画像データを生成する。信号処理回路74は、非位相差画像データ処理回路74A及び位相差画像データ処理回路74Bを備えている。非位相差画像データ処理回路74Aは、アナログの非位相差画像データをデジタル化することでデジタルの非位相差画像データを生成する。位相差画像データ処理回路74Bは、アナログの位相差画像データをデジタル化することでデジタルの位相差画像データを生成する。
なお、以下では、説明の便宜上、デジタルの非位相差画像データとデジタルの位相差画像データとを区別して説明する必要がない場合、「デジタル画像データ」と称する。また、以下では、説明の便宜上、アナログ画像データとデジタル画像データとを区別して説明する必要がない場合、「画像データ」と称する。
メカニカルシャッタ72は、フォーカルプレーンシャッタであり、絞り40Cと受光面30Aとの間に配置されている。メカニカルシャッタ72は、先幕(図示省略)及び後幕(図示省略)を備えている。先幕及び後幕の各々は、複数枚の羽根を備えている。先幕は、後幕よりも被写体側に配置されている。
メカニカルシャッタアクチュエータ64は、先幕用ソレノイド(図示省略)及び後幕用ソレノイド(図示省略)を有するアクチュエータである。先幕用ソレノイドは、先幕の駆動源であり、先幕に機械的に連結されている。後幕用ソレノイドは、後幕の駆動源であり、後幕に機械的に連結されている。メカニカルシャッタドライバ62は、CPU48Aからの指示に従って、メカニカルシャッタアクチュエータ64を制御する。
先幕用ソレノイドは、メカニカルシャッタドライバ62の制御下で動力を生成し、生成した動力を先幕に付与することで先幕の巻き上げ及び引き下ろしを選択的に行う。後幕用ソレノイドは、メカニカルシャッタドライバ62の制御下で動力を生成し、生成した動力を後幕に付与することで後幕の巻き上げ及び引き下ろしを選択的に行う。撮像装置10では、先幕の開閉と後幕の開閉とがCPU48Aによって制御されることで、光電変換素子30に対する露光量が制御される。
撮像装置10では、ライブビュー画像用撮像と、静止画像及び/又は動画像を記録するための記録画像用の撮像とが露光順次読み出し方式(ローリングシャッタ方式)で行われる。イメージセンサ16は、電子シャッタ機能を有しており、ライブビュー画像用撮像は、メカニカルシャッタ72を全開状態にしたまま作動させずに、電子シャッタ機能を働かせることで実現される。
これに対し、静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ72を先幕閉状態から後幕閉状態に遷移させるようにメカニカルシャッタ72を作動させることで実現される。
画像メモリ50には、デジタル画像データが記憶される。すなわち、非位相差画像データ処理回路74Aが画像メモリ50に対して非位相差画像データを記憶させ、位相差画像データ処理回路74Bが画像メモリ50に対して位相差画像データを記憶させる。CPU48Aは、画像メモリ50からデジタル画像データを取得し、取得したデジタル画像データを用いて各種処理を実行する。
UI系デバイス52は、ディスプレイ26を備えており、CPU48Aは、ディスプレイ26に対して各種情報を表示させる。また、UI系デバイス52は、受付デバイス80を備えている。受付デバイス80は、タッチパネル28及びハードキー部82を備えている。ハードキー部82は、指示キー24(図2参照)を含む複数のハードキーである。CPU48Aは、タッチパネル28によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部82がUI系デバイス52に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部82は、外部I/F54に接続されていてもよい。
外部I/F54は、撮像装置10の外部に存在する装置(以下、「外部装置」とも称する)との間の各種情報の授受を司る。外部I/F54の一例としては、USBインタフェースが挙げられる。USBインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等の外部装置(図示省略)が直接的又は間接的に接続される。
モータドライバ58は、モータ44に接続されており、CPU48Aからの指示に従ってモータ44を制御する。モータ44が制御されることによって、スライド機構42を介してフォーカスレンズ40Bの光軸OA上での位置が制御される。フォーカスレンズ40Bは、CPU48Aからの指示に従って、イメージセンサ16による本露光の期間を回避して移動する。
モータドライバ60は、モータ46に接続されており、CPU48Aからの指示に従ってモータ46を制御する。モータ46が制御されることによって絞り40Cの開口の大きさが制御される。
一例として図7に示すように、ストレージ48Bには、被写体認識処理プログラム84、個別枠表示処理プログラム86、オブジェクト枠表示処理プログラム88、及び撮像支援処理プログラム90が記憶されている。以下では、被写体認識処理プログラム84、個別枠表示処理プログラム86、オブジェクト枠表示処理プログラム88、撮像支援処理プログラム90、後述のオブジェクト枠変形処理プログラム(図示省略)、及び後述の表示方式設定処理プログラム(図示省略)を区別して説明する必要がない場合、符号を付さずに単に「画像処理プログラム」と称する。なお、画像処理プログラムは、本開示の技術に係る「プログラム」の一例である。
CPU48Aは、ストレージ48Bから画像処理プログラムを読み出し、読み出した画像処理プログラムをメモリ48C上で実行する。CPU48Aは、メモリ48C上で実行する被写体認識処理プログラム84に従って被写体認識処理を行う(図17も参照)。また、CPU48Aは、メモリ48C上で実行する個別枠表示処理プログラム86に従って個別枠表示処理を行う(図18も参照)。また、CPU48Aは、メモリ48C上で実行するオブジェクト枠表示処理プログラム88に従ってオブジェクト枠表示処理を行う(図19A及び図19Bも参照)。更に、CPU48Aは、メモリ48C上で実行する撮像支援処理プログラム90に従って撮像支援処理を行う(図20も参照)。なお、以下では、説明の便宜上、被写体認識処理、個別枠表示処理、オブジェクト枠表示処理、撮像支援処理、オブジェクト枠変形処理(図38参照)、及び表示方式設定処理(図47参照)を区別して説明する必要がない場合「画像処理」とも称する。
CPU48Aは、被写体認識処理を実行することで、被写体群が撮像装置10によって撮像されることで得られた画像データに基づいて被写体群に含まれる被写体を認識し、ディスプレイ26に対して、画像データにより示される画像を表示させる。また、CPU48Aは、オブジェクト枠表示処理を実行することで、画像内の複数の被写体領域であって、被写体群に含まれる複数の被写体に対応しており、既定条件を満たす複数の被写体領域を、被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で画像内に表示する。以下、処理内容について、より詳しく説明する。
一例として図8に示すように、CPU48Aは、被写体認識処理プログラム84を実行することで取得部48A1及び被写体認識部48A2として動作する。また、CPU48Aは、個別枠表示処理プログラム86を実行することで取得部48A1、作成部48A3、及び表示制御部48A4として動作する。また、CPU48Aは、オブジェクト枠表示処理プログラム88を実行することで作成部48A3、表示制御部48A4、算出部48A5、及び機構制御部48A6として動作する。更に、CPU48Aは、撮像支援処理プログラム90を実行することで実行部48A7として動作する。
一例として図9に示すように、取得部48A1は、画像メモリ50から非位相差画像データをライブビュー画像データとして取得する。ライブビュー画像データは、取得部48A1によって既定のフレームレート(例えば、60fps)で画像メモリ50から取得される。ライブビュー画像データは、イメージセンサ16によって、被写体群が含まれる撮像領域が撮像されることで得られた画像データである。本実施形態では、説明の便宜上、被写体群の一例として、複数の人物が適用されている。そのため、図9に示す例では、ライブビュー画像データとして、複数人分についての人物領域を含むライブビュー画像を示す画像データが示されている。ここで、人物領域とは、人物を示す画像領域を指す。
なお、ここでは、説明の便宜上、被写体群として複数の人物を例示しているが、本開示の技術はこれに限らず、被写体群には、人物の他に、車両、小動物、虫、植物、風景、生物の器官、及び/又は生物の細胞等が含まれていてもよい。また、被写体群には、人物が含まれていなくてもよく、イメージセンサ16によって撮像可能な被写体群であればよい。
表示制御部48A4は、取得部48A1によって1フレーム分のライブビュー画像データが取得される毎に、取得部48A1によって取得されたライブビュー画像データにより示されるライブビュー画像をディスプレイ26に表示させる。
一例として図10に示すように、被写体認識部48A2は、取得部48A1によって取得されたライブビュー画像データに基づいて、撮像領域内の被写体群に含まれる被写体を認識する。図10に示す例では、ストレージ48Bに学習済みモデル92が記憶されており、被写体認識部48A2は、学習済みモデル92を用いて被写体群に含まれる被写体を認識する。
学習済みモデル92の一例としては、カスケード分類器を用いた学習済みモデルが挙げられる。カスケード分類器を用いた学習済みモデルは、例えば、ニューラルネットワークに対して教師有り機械学習が行われることによって画像認識用の学習済みモデルとして構築される。なお、学習済みモデル92は、カスケード分類器を用いた学習済みモデルに限定される必要はなく、パターンマッチング用の辞書であってもよい。すなわち、学習済みモデル92は、被写体が認識される場合に行われる画像解析で用いられる学習済みモデルであれば如何なる学習済みモデルであってもよい。
被写体認識部48A2は、ライブビュー画像データに対して画像解析を行うことで、撮像領域に含まれる人物の顔を被写体として認識する。ここで、人物の顔は、本開示の技術に係る「被写体」の一例であり、人物の顔は、本開示の技術に係る「顔」の一例である。また、画像(例えば、ライビュー画像)内での人物の顔を示す顔領域は、本開示の技術に係る「被写体領域」の一例である。なお、ここでは、被写体認識部48A2によって人物の顔が被写体として認識される例を挙げているが、本開示の技術はこれに限らず、被写体認識部48A2によって人物の全体が被写体として認識されるようにしてもよい。
被写体認識部48A2は、撮像領域に含まれる人物の年齢層及び性別を特定する他に、いわゆる顔認証技術を用いて、登録済みの固有人物も特定する。
被写体認識部48A2は、人物の顔を認識した結果を示す認識結果情報94をメモリ48Cに記憶する。認識結果情報94は、1フレーム単位でメモリ48Cに上書き保存される。認識結果情報94は、被写体名と認識領域特定座標とが1対1で対応付けられた状態でメモリ48Cに記憶される。被写体名とは、被写体認識部48A2によって顔が認識された人物を特定可能な情報である。一般的な人物を特定可能な情報としては、例えば、年齢層及び性別が挙げられる。また、固有人物を特定可能な情報としては、例えば、氏名及び住所等が挙げられる。
認識領域特定座標とは、被写体認識部48A2によって認識された人物の顔を示す顔領域を取り囲む四角形枠(以下、「顔枠」とも称する)のライブビュー画像内での位置を示す座標を指す。図10に示す例では、認識領域特定座標の一例として、ライブビュー画像内での顔枠(図10に示す例では、破線の四角形枠)の対角線上の2頂点の座標(例えば、左上隅の座標と右下隅の座標)が示されている。
なお、顔枠の形状が四角形であれば、認識領域特定座標は、3頂点の座標であってもよいし、4頂点の座標であってもよい。また、顔枠の形状は、四角形に限らず、他形状であってもよい。この場合も、ライブビュー画像内での顔枠の位置を特定可能な座標が認識領域特定座標として用いられるようにすればよい。
一例として図11に示すように、作成部48A3は、ライブビュー画像に対して重畳させる個別枠96を作成する。個別枠96は、複数の顔領域を個別に取り囲む枠である。すなわち、個別枠96は、顔枠に相当する枠である。作成部48A3は、取得部48A1によって取得されたライブビュー画像データから、メモリ48Cに記憶されている最新の認識結果情報94に基づいて個別枠入りライブビュー画像データを生成する。個別枠入りライブビュー画像データは、個別枠96が重畳されたライブビュー画像(以下、「個別枠入りライブビュー画像」とも称する)を示す画像データである。作成部48A3は、ライブビュー画像に対して、認識結果情報94に含まれる認識領域特定座標により特定される位置に個別枠96が重畳されるように、ライブビュー画像データを生成する。
一例として図12に示すように、作成部48A3は、個別枠入りライブビュー画像データを表示制御部48A4及び算出部48A5に出力する。表示制御部48A4は、ライブビュー画像内に個別枠96を表示する。すなわち、表示制御部48A4は、作成部48A3から入力された個別枠入りライブビュー画像データにより示される個別枠入りライブビュー画像を、ディスプレイ26に対して表示させる。
ところで、図12に示す例では、ディスプレイ26に複数の個別枠96が表示されている。ここで、個別枠96の数が増えると、ユーザにとって重要な顔領域(例えば、ピント合わせの対象とされる人物の顔に対応する顔領域)の集合と、それ以外の顔領域とを視覚的に識別することが困難になる。
そこで、このような事情に鑑み、CPU48Aは、オブジェクト枠表示処理を実行することで、ディスプレイ26に対して、既定条件を満たす複数の顔領域を、認識結果情報94に基づいて1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示させる。ここで、既定条件は、ピント合わせ条件を含む条件である。ピント合わせ条件とは、複数の人物の顔に対してピント合わせが行われた、という条件を指す。
図13に示す例では、ハッチング領域が、ピント合わせ条件を満たす複数の顔領域として示されている。一例として図13に示すように、ピント合わせの対象とされる被写体は、既定の被写界深度(例えば、現時点で設定されている被写界深度)内に収まっている複数の人物の顔である。
算出部48A5は、認識結果情報94から注目顔領域を特定し、特定した注目顔領域により示される顔(以下、「注目顔」とも称する)に対する合焦位置を算出する。注目顔領域とは、例えば、ユーザによって注目すべき顔領域として予め登録された顔領域を指す。図13に示す例では、認識結果情報94により示される被写体名が「富士太郎」、「富士次郎」及び「富士三郎」の各々の顔領域が注目顔領域として示されている。算出部48A5は、「富士太郎」の顔、「富士次郎」の顔、及び「富士三郎」の顔の各々に対応する認識領域特定座標を参照して、画像メモリ50から、複数の注目顔領域の位置(図13に示す例では、「富士太郎」の顔領域の位置、「富士次郎」の顔領域の位置、及び「富士三郎」の顔領域の位置)に対応する位相差画像データを取得する。
算出部48A5は、画像メモリ50から取得した位相差画像データを用いて、複数の注目顔の各々についてのAF演算を行う。すなわち、算出部48A5は、位相差画像データを用いて、複数の注目顔領域により示される複数の顔(図13に示す例では、「富士太郎」の顔、「富士次郎」の顔、及び「富士三郎」の顔)の各々に対する合焦位置を算出する。
算出部48A5は、全ての顔、すなわち、「富士太郎」の顔、「富士次郎」の顔、及び「富士三郎」の顔に対してピントが合う合焦位置(以下、「代表合焦位置」とも称する)を算出する。代表合焦位置の一例としては、「富士太郎」の顔に対する合焦位置、「富士次郎」の顔に対する合焦位置、及び「富士三郎」の顔に対する合焦位置のうち、中間の合焦位置が挙げられる。
なお、代表合焦位置の第1変形例としては、「富士太郎」の顔、「富士次郎」の顔、及び「富士三郎」の顔に対する至近側合焦位置と無限遠側合焦位置との中間位置が挙げられる。また、代表合焦位置の第2変形例としては、「富士太郎」の顔に対する合焦位置、「富士次郎」の顔に対する合焦位置、及び「富士三郎」の顔に対する合焦位置の平均値が挙げられる。また、ここでは、「富士太郎」の顔、「富士次郎」の顔、及び「富士三郎」の顔という3つの被写体を例示しているが、本開示の技術はこれに限らず、ピント合わせが行われる被写体は2つであってもよいし、4つ以上であってもよい。
一例として図14に示すように、機構制御部48A6は、算出部48A5によって算出された代表合焦位置にフォーカスレンズ40Bを移動させるように、モータドライバ58を制御することでモータ44を作動させる。これにより、フォーカスレンズ40Bが、「富士太郎」の顔、「富士次郎」の顔、及び「富士三郎」の顔が既定の被写界深度に含まれる合焦位置(ここでは、一例として、代表合焦位置)に移動し、この結果、「富士太郎」の顔、「富士次郎」の顔、及び「富士三郎」の顔に対してピントが合う。
機構制御部48A6は、モータ44の作動状態を監視しており、モータ44の作動状態に基づいてフォーカスレンズ40Bの位置を特定する。ここで、機構制御部48A6は、フォーカスレンズ40Bが代表合焦位置に到達したか否かを判定することでピント合わせ条件を満たしたか否かを判定する。
ピント合わせ条件を満たした場合、一例として図15に示すように、作成部48A3は、ライブビュー画像に対して重畳させるオブジェクト枠98を作成する。オブジェクト枠98は、ピント合わせ条件を満たす複数の顔領域(図15に示す例では、「富士太郎」の顔領域、「富士次郎」の顔領域、及び「富士三郎」の顔領域)を取り囲む枠である。
作成部48A3は、個別枠入りライブビュー画像データから、個別枠96を消去し、かつ、オブジェクト枠98を追加することでオブジェクト枠入りライブビュー画像データを生成する。オブジェクト枠入りライブビュー画像データは、オブジェクト枠98が重畳されたライブビュー画像(以下、「オブジェクト枠入りライブビュー画像」とも称する)を示す画像データである。なお、図15に示す例では、オブジェクト枠入りライブビュー画像データ内において、消去された個別枠96の位置が破線矩形枠で示されており、「富士太郎」の顔領域、「富士次郎」の顔領域、及び「富士三郎」の顔領域が1つのオブジェクトとして、オブジェクト枠98で取り囲まれている。
作成部48A3は、オブジェクト枠98を作成する場合、先ず、ピント合わせ条件を満たす複数の顔領域(図15に示す例では、「富士太郎」の顔領域、「富士次郎」の顔領域、及び「富士三郎」の顔領域)をグループ化したグループ化画像領域(図15に示す例では、長方形領域)100を生成する。そして、作成部48A3は、グループ化画像領域100の境界を示す境界線、すなわち、グループ化画像領域100の外輪郭を示す輪郭線をオブジェクト枠98として作成する。
なお、図15に示す例では、グループ化画像領域100が長方形領域なので、オブジェクト枠98が長方形枠で形成されているが、グループ化画像領域100の輪郭線をオブジェクト枠98とする場合、グループ化画像領域100の形状次第で、オブジェクト枠98の形状も変わる。
一例として図16に示すように、表示制御部48A4は、作成部48A3によって生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像を、ディスプレイ26に対して表示させる。すなわち、表示制御部48A4は、ライブビュー画像内にオブジェクト枠98を表示することで、グループ化画像領域100を1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示する。換言すると、表示制御部48A4は、ライブビュー画像内にオブジェクト枠98を表示することで、ピント合わせ条件を満たす複数の顔領域(図15に示す例では、「富士太郎」の顔領域、「富士次郎」の顔領域、及び「富士三郎」の顔領域)を1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示する。
実行部48A7は、ディスプレイ26にオブジェクト枠入りライブビュー画像が表示されている状態で、ピント合わせ条件を満たした場合に特定処理を実行する。
図16に示す例では、表示制御部48A4は、ディスプレイ26に対して、オブジェクト枠入りライブビュー画像を表示させると、オブジェクト枠がディスプレイ26に表示されたことを示すオブジェクト枠表示信号を実行部48A7に出力する。実行部48A7は、表示制御部48A4からオブジェクト枠表示信号が入力され、かつ、本露光を伴う撮像を開始する指示(以下、「撮像開始指示」とも称する)がタッチパネル28によって受け付けられると、特定処理を実行する。なお、タッチパネル28に対する撮像開始指示は、あくまでも一例に過ぎず、例えば、上述した「全押し状態」にする操作であってもよい。また、ここで、特定処理とは、例えば、イメージセンサ16に対して本露光を伴う撮像を行わせる処理を指す。
図16に示す例では、撮像開始指示をトリガーにして特定処理が行われる形態例が示されているが、本開示の技術はこれに限定されない。例えば、実行部48A7は、表示制御部48A4からオブジェクト枠表示信号が入力されると、ディスプレイ26に対して、ユーザに本露光を伴う撮像の準備が整ったことを示す情報を表示させる処理、すなわち、ディスプレイ26に対して、ユーザに本露光を伴う撮像の開始を促す表示を行わせる処理が挙げられる。この処理の具体例としては、ディスプレイ26に対して、「撮像開始指示を行って下さい。」というメッセージ、「レリーズボタンを全押して下さい。」というメッセージ、又は、撮像開始指示を促すマーク(例えば、撮像開始指示を受け付けるソフトキー)を表示させる処理等が挙げられる。
なお、この場合、ディスプレイ26による可視表示のみに限らず、ディスプレイ26による可視表示に代えて、又は、ディスプレイ26による可視表示と共に、スピーカ(図示省略)から音声を出力させることで、ユーザに対して、本露光を伴う撮像の開始を促す処理、及びバイブレータ(図示省略)を用いた特定リズムの振動をユーザに伝達することで、ユーザに対して、本露光を伴う撮像の開始を促す処理のうちの少なくとも一方の処理が行われるようにしてもよい。
次に、撮像装置10の作用について図17~図20を参照しつつ説明する。
図17には、撮像装置10に対して撮像モードが設定された場合にCPU48Aによって実行される被写体認識処理の流れの一例が示されている。図18には、撮像装置10に対して撮像モードが設定された場合にCPU48Aによって実行される個別枠表示処理の流れの一例が示されている。図19A及び図19Bには、撮像装置10に対して撮像モードが設定された場合にCPU48Aによって実行されるオブジェクト枠表示処理の流れの一例が示されている。図20には、撮像装置10に対して撮像モードが設定された場合にCPU48Aによって実行される撮像支援処理の流れの一例が示されている。なお、以下では、説明の便宜上、撮像装置10によってライブビュー画像用の撮像が既定のフレームレートで行われていることを前提として説明する。
図17に示す被写体認識処理では、先ず、ステップST100で、取得部48A1は、画像メモリ50から、1フレーム分のライブビュー画像データを取得する。
次のステップST102で、表示制御部48A4は、ステップST100で取得部48A1によって取得されたライブビュー画像データにより示されるライブビュー画像を、ディスプレイ26に対して表示させる。
次のステップST104で、被写体認識部48A2は、ステップST100で取得部48A1によって取得されたライブビュー画像データに基づいて、撮像領域に含まれる人物の顔を被写体として認識する。
次のステップST106で、被写体認識部48A2は、ステップST104で撮像領域に含まれる人物の顔を被写体として認識した結果を示す認識結果情報94をメモリ48Cに上書き保存する。
次のステップST108で、被写体認識部48A2は、被写体認識処理を終了する条件(以下、「被写体認識処理終了条件」とも称する)を満足したか否かを判定する。被写体認識処理終了条件の一例としては、撮像装置10に対して設定されている撮像モードが解除された、との条件、又は、被写体認識処理を終了させる指示が受付デバイス80によって受け付けられた、との条件等が挙げられる。ステップST108において、被写体認識処理終了条件を満足していない場合は、判定が否定されて、被写体認識処理はステップST100へ移行する。ステップST108において、被写体認識処理終了条件を満足した場合は、判定が肯定されて、被写体認識処理が終了する。
図18に示す個別枠表示処理では、先ず、ステップST150で、作成部48A3は、1フレーム分のライブビュー画像データに基づいて、図17に示す被写体認識処理が実行されることによって、撮像領域に含まれる人物の顔が被写体として認識されたか否かを判定する。ステップST150において、撮像領域に含まれる人物の顔が被写体として認識されていない場合は、判定が否定されて、個別枠表示処理はステップST164へ移行する。ステップST150において、撮像領域に含まれる人物の顔が被写体として認識された場合は、判定が肯定されて、個別枠表示処理はステップST152へ移行する。
ステップST152で、作成部48A3は、メモリ48Cから最新の認識結果情報94を取得する。
次のステップST154で、作成部48A3は、ステップST152で取得した認識結果情報94に基づいて個別枠96を作成することで個別枠入りライブビュー画像データを生成する。
次のステップST156で、表示制御部48A4は、ディスプレイ26に対して、個別枠入りライブビュー画像データにより示される個別枠入りライブビュー画像を表示させる。すなわち、表示制御部48A4は、ステップST154で作成された個別枠96をライブビュー画像に対して重畳表示する。
次のステップST158で、表示制御部48A4は、図19Aに示すオブジェクト枠表示処理に含まれるステップST210の処理が実行されることでオブジェクト枠98が作成されたか否かを判定する。ステップST158において、オブジェクト枠98が作成されていない場合は、判定が否定されて、個別枠表示処理はステップST164へ移行する。ステップST158において、オブジェクト枠98が作成された場合は、判定が肯定されて、個別枠表示処理はステップST160へ移行する。
ステップST160で、表示制御部48A4は、個別枠入りライブビュー画像から個別枠96を消去する。
次のステップST162で、表示制御部48A4は、図19Bに示すオブジェクト枠表示処理に含まれるステップST218の処理が実行されることによってオブジェクト枠98が消去されたか否かを判定する。ステップST162において、オブジェクト枠98が消去されていない場合は、判定が否定されて、ステップST162の判定が再び行われる。ステップST162において、オブジェクト枠98が消去された場合は、判定が肯定されて、個別枠表示処理はステップST164へ移行する。
ステップST164で、表示制御部48A4は、個別枠表示処理を終了する条件(以下、「個別枠表示処理終了条件」とも称する)を満足したか否かを判定する。個別枠表示処理終了条件の一例としては、撮像装置10に対して設定されている撮像モードが解除された、との条件、又は、個別枠表示処理を終了させる指示が受付デバイス80によって受け付けられた、との条件等が挙げられる。ステップST164において、個別枠表示処理終了条件を満足していない場合は、判定が否定されて、個別枠表示処理はステップST150へ移行する。ステップST164において、個別枠表示処理終了条件を満足した場合は、判定が肯定されて、個別枠表示処理が終了する。
図19Aに示すオブジェクト枠表示処理では、先ず、ステップST200で、算出部48A5は、1フレーム分のライブビュー画像データに基づいて、図17に示す被写体認識処理が実行されることによって、撮像領域に含まれる複数の注目顔が複数の注目被写体として認識されたか否かを判定する。ステップST200において、撮像領域に含まれる複数の注目顔が複数の注目被写体として認識されていない場合は、判定が否定されて、オブジェクト枠表示処理は、図19Bに示すステップST220へ移行する。ステップST200において、撮像領域に含まれる複数の注目顔が複数の注目被写体として認識された場合は、判定が肯定されて、オブジェクト枠表示処理はステップST202へ移行する。
ステップST202で、算出部48A5は、メモリ48Cから最新の認識結果情報94を取得する。
次のステップST204で、算出部48A5は、ステップST200で複数の注目被写体として認識された複数の注目顔に対する合焦位置を算出する。
次のステップST206で、算出部48A5は、ステップST204で複数の注目顔について算出した複数の合焦位置に基づいて代表合焦位置を算出する。
次のステップST208で、機構制御部48A6は、モータドライバ58を介してモータ44を制御することで、ステップST206で算出された代表合焦位置にフォーカスレンズ40Bを移動させる。
次のステップST210で、作成部48A3は、複数の注目被写体として認識された複数の注目顔を示す複数の注目顔領域を、ピント合わせ条件を満足する複数の被写体領域として特定する。そして、作成部48A3は、ピント合わせ条件を満足する複数の被写体領域として特定した複数の顔領域を取り囲むオブジェクト枠98を作成する。すなわち、作成部48A3は、個別枠入りライブビュー画像データからオブジェクト枠入りライブビュー画像データを生成する。
次のステップST212で、表示制御部48A4は、ステップST210で作成されたオブジェクト枠98をライブビュー画像内に表示する。すなわち、表示制御部48A4は、ディスプレイ26に対して、ステップST210で生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像を表示させる。
ここで、表示制御部48A4は、オブジェクト枠98によって取り囲まれる複数の被写体領域の種類、複数の被写体領域の組み合わせ、及び/又は複数の被写体領域の様子等に応じてオブジェクト枠98の表示態様を全体的に又は部分的に変化させるようにしてもよい。オブジェクト枠98の表示態様を部分的に変化させる場合、オブジェクト枠98を構成する線のうち、特定種類の被写体領域の位置、特定の組み合わせの複数の被写体領域の位置、及び/又は特定の様子の被写体領域の位置に最も近い箇所のみの表示態様を変化させるようにしてもよい。オブジェクト枠98の表示態様としては、例えば、オブジェクト枠98の枠線の太さ、枠線の色、枠線の透明度、及び/又は点滅の時間間隔等が挙げられる。なお、オブジェクト枠98によって取り囲まれる複数の被写体領域の種類、複数の被写体領域の組み合わせ、及び/又は複数の被写体領域の様子等に応じてオブジェクト枠98の表示態様を全体的に又は部分的に変化させるという技術は、以降に示す形態例の全てに対して適用可能である。
図19Bに示すステップST214で、表示制御部48A4は、図20に示す撮像支援処理に含まれるステップ254の特定処理が行われたか否かを判定する。ステップST214において、特定処理が行われていない場合は、判定が否定されて、オブジェクト枠表示処理はステップST216へ移行する。ステップST214において、特定処理が行われた場合は、判定が肯定されて、オブジェクト枠表示処理はステップST218へ移行する。
ステップST216で、表示制御部48A4は、ディスプレイ26に表示されているオブジェクト枠入りライブビュー画像からオブジェクト枠98を消去するオブジェクト枠消去条件を満足したか否かを判定する。オブジェクト枠消去条件の一例としては、オブジェクト枠入りライブビュー画像からオブジェクト枠98を消去する指示が受付デバイス80によって受け付けられた、との条件、又は、ステップST214の否定判定が既定の回数だけ繰り返された、との条件が挙げられる。ステップST216において、オブジェクト枠消去条件を満足していない場合は、判定が否定されて、オブジェクト枠表示処理はステップST214へ移行する。ステップST216において、オブジェクト枠消去条件を満足した場合は、判定が肯定されて、オブジェクト枠表示処理はステップST218へ移行する。
ステップST218で、表示制御部48A4は、ディスプレイ26に表示されているオブジェクト枠入りライブビュー画像からオブジェクト枠98を消去する。
次のステップST220で、表示制御部48Aは、オブジェクト枠表示処理を終了する条件(以下、「オブジェクト枠表示処理終了条件」とも称する)を満足したか否かを判定する。オブジェクト枠表示処理終了条件の一例としては、撮像装置10に対して設定されている撮像モードが解除された、との条件、又は、オブジェクト枠表示処理を終了させる指示が受付デバイス80によって受け付けられた、との条件等が挙げられる。ステップST220において、オブジェクト枠表示処理終了条件を満足していない場合は、判定が否定されて、オブジェクト枠表示処理は、図19Aに示すステップST200へ移行する。ステップST220において、オブジェクト枠表示処理終了条件を満足した場合は、判定が肯定されて、オブジェクト枠表示処理が終了する。
図20に示す撮像支援処理では、先ず、ステップST250で、実行部48A7は、ディスプレイ26にオブジェクト枠98が表示されたか否かを判定する。ステップST250において、ディスプレイ26にオブジェクト枠98が表示されていない場合は、判定が否定されて、撮像支援処理はステップST256へ移行する。ステップST250において、ディスプレイ26にオブジェクト枠98が表示された場合は、判定が肯定されて、撮像支援処理はステップST252へ移行する。
ステップST252で、実行部48A7は、撮像開始指示が受け付けられたか否かを判定する。ステップST252において、撮像開始指示が受け付けられていない場合は、判定が否定されて、撮像支援処理はステップST256へ移行する。ステップST252において、撮像開始指示が受け付けられた場合は、判定が肯定されて、撮像支援処理はステップST254へ移行する。撮像開始指示は、例えば、タッチパネル28又はレリーズボタン18によって受け付けられる。
ステップST254で、実行部48A7は、特定処理として、イメージセンサ16に対して本露光を伴う撮像を行わせる処理を実行する。
次のステップST256で、実行部48A7は、撮像支援処理を終了する条件(以下、「撮像支援処理終了条件」とも称する)を満足したか否かを判定する。撮像支援処理終了条件の一例としては、撮像装置10に対して設定されている撮像モードが解除された、との条件、又は、撮像支援処理を終了させる指示が受付デバイス80によって受け付けられた、との条件等が挙げられる。ステップST256において、撮像支援処理終了条件を満足していない場合は、判定が否定されて、撮像支援処理は、ステップST250へ移行する。ステップST256において、撮像支援処理終了条件を満足した場合は、判定が肯定されて、撮像支援処理が終了する。
以上説明したように、本実施形態に係る撮像装置10では、既定条件を満たす複数の被写体領域が、認識結果情報94に基づいて1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示される。従って、本構成によれば、全ての被写体を認識した結果を全ての被写体の各々について個別に表示する場合に比べ、特定の複数の被写体を視覚的に把握し易くすることができる。なお、ここでは、ライブビュー画像を例示しているが、これに限らず、ライブビュー画像に代えて、又は、ライブビュー画像と共に、ポストビュー画像、静止画像、又は記録用動画像を用いてもよい。
また、本実施形態に係る撮像装置10では、既定条件を満たす複数の被写体領域がグループ化されたグループ化画像領域100が1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示される。従って、本構成によれば、複数の被写体領域をグループ化しない場合に比べ、特定の複数の被写体の塊を視覚的に把握し易くすることができる。
また、本実施形態に係る撮像装置10では、グループ化画像領域100の境界を示す境界線がライブビュー画像内に表示されることで、複数の被写体領域を1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示される。従って、本構成によれば、特定の複数の被写体が含まれる領域とそれ以外の領域との境界を視覚的に把握することができる。
また、本実施形態に係る撮像装置10では、グループ化画像領域100の境界を示す境界線が、グループ化画像領域100の外輪郭を示す輪郭線である。従って、本構成によれば、グループ化画像領域100と他の画像領域との境界を視覚的に把握することができる。
また、本実施形態に係る撮像装置10では、グループ化画像領域100の外輪郭を示す輪郭線が、複数の被写体領域を取り囲むオブジェクト枠98である。従って、本構成によれば、特定の複数の被写体が含まれる領域とそれ以外の領域との境界を視覚的に把握することができる。なお、オブジェクト枠98は、密集度条件を満たす複数の被写体領域を取り囲む枠であってもよい。すなわち、オブジェクト枠98は、画像内において、複数の被写体領域(例えば、被写体認識部48A2によってマスクを着用していない顔であると認識された複数の被写体に対応する複数の被写体領域)が既定密集度(例えば、単位面積当たりの被写体領域の密度)を超える密集度で密集している領域(例えば、上述したグループ化領域に相当する領域)を取り囲む枠であってもよい。また、オブジェクト枠98がディスプレイ(例えば、ディスプレイ26及び/又はディスプレイ26とは別のディスプレイ)に表示されると共に、密集度が既定密集度以上であることを報知するアラートがスピーカ又はディスプレイ(例えば、ディスプレイ26及び/又はディスプレイ26とは別のディスプレイ)を介して発せられるようにしてもよい。
また、本実施形態に係る撮像装置10では、既定条件を満たす複数の被写体領域を取り囲むオブジェクト枠98がライブビュー画像内に表示されることで、複数の被写体領域が1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示される。従って、本構成によれば、特定の複数の被写体が含まれる領域とそれ以外の領域とを視覚的に把握することができる。
また、本実施形態に係る撮像装置10では、ピント合わせ条件を満たす複数の被写体領域が、認識結果情報94に基づいて1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示される。従って、本構成によれば、ピント合わせが行われた複数の被写体とそれ以外の被写体とを視覚的に把握することができる。
また、本実施形態に係る撮像装置10では、ディスプレイ26にライブビュー画像が表示されている状態で、既定条件を満たした場合に特定処理が実行される。従って、本構成によれば、既定条件を満たしていないにも関わらず特定処理が実行される場合に比べ、不適切なタイミングで特定処理が実行されることを抑制することができる。
また、本実施形態に係る撮像装置10では、フォーカスレンズ40Bを光軸OA方向に移動させることで複数の被写体に対するピント合わせが行われる。従って、本構成によれば、特定の複数の被写体を、ピントが合った状態で撮像することができる。
また、本実施形態に係る撮像装置10では、ライビュー画像データ及び学習済みモデル92に基づいて被写体群に含まれる被写体が認識される。従って、本構成によれば、目視のみで被写体群を認識する場合に比べ、被写体群を短時間で認識することができる。
また、本実施形態に係る撮像装置10では、AF演算が行われることで複数の被写体に対する焦点の検出が行われ、焦点の検出結果に基づいてピント合わせが行われる。従って、本構成によれば、マニュアルフォーカスに比べ、迅速にピント合わせを行うことができる。
また、本実施形態に係る撮像装置10では、複数の被写体に対する至近側合焦位置と無限遠側合焦位置との中間位置にフォーカスレンズ40Bを移動させることでピント合わせが行われる。従って、本構成によれば、複数の被写体に対する至近側合焦位置又は無限遠側合焦位置にフォーカスレンズ40Bを移動させる場合に比べ、ユーザに対して、特定の複数の被写体領域の全てを鮮鋭に視認させることができる。
また、本実施形態に係る撮像装置10では、複数の被写体が被写界深度に含まれる合焦位置にフォーカスレンズ40Bを移動させることでピント合わせが行われる。従って、本構成によれば、複数の被写体が被写界深度に含まれる合焦位置以外の合焦位置にフォーカスレンズ40Bを移動させる場合に比べ、ユーザに対して、特定の複数の被写体領域の全てを鮮鋭に視認させることができる。
なお、上記実施形態では、オブジェクト枠98を例示したが、本開示の技術はこれに限定されない。例えば、ライブビュー画像が2分割されて得られた2つの分割領域のうちの一方のみに、ピント合わせ条件を満たす複数の顔領域が含まれている場合、2つの分割領域の境界を示す境界線が視覚的に認識可能な態様でライブビュー画像内に表示されるようにしてもよい。この場合、2つの分割領域のうちの何れかにピント合わせ条件を満たす複数の顔領域が含まれていることをユーザに認識させることができる。ここでは、2分割を例示しているが、これはあくまでも一例に過ぎず、3分割以上であってもよく、この場合も、分割領域間の境界を示す境界線を視覚的に認識可能な態様でライブビュー画像内に表示されるようにすればよい。
また、ライブビュー画像が2分割されて得られた2つの分割領域のうちの一方のみに、ピント合わせ条件を満たす複数の顔領域が含まれている場合、2つの分割領域のうちの他方のコントラストを一方のコントラストよりも低くすることで、2つの分割領域のうちの一方が他方よりも強調された状態で表示されるようにしてもよい。ここでは、2分割を例示しているが、これはあくまでも一例に過ぎず、3分割以上であってもよく、この場合、ピント合わせ条件を満たす複数の顔領域が含まれる1つ以上の分割領域とそれ以外の分割領域とで視覚的に認識可能なレベルでコントラストを異ならせるようにすればよい。また、コントラストを分割領域毎に異ならせる方法はあくまでも一例に過ぎず、ピント合わせ条件を満たす複数の顔領域を1つのオブジェクトとした画像領域とそれ以外の画像領域とが視覚的に認識可能な態様でライブビュー画像内に表示されるようにすればよい。
また、上記実施形態では、ピント合わせ条件を満たす複数の注目顔領域が1つのオブジェクトとしてグループ化されているが、本開示の技術はこれに限定されない。例えば、ピント合わせ条件を満たしていなくても、被写体認識部48A2によって複数の注目被写体(例えば、複数の注目顔)が認識されたことを条件に、被写体認識部48A2によって認識された複数の注目被写体を示す複数の注目被写体領域が1つのオブジェクトとしてグループ化されるようにしてもよい。
上記実施形態では、オブジェク枠入りライブビュー画像内に個別枠96が表示されない形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図21に示すように、表示制御部48A4は、オブジェクト枠入りライブビュー画像内に個別枠96も表示するようにしてもよい。図21に示す例では、オブジェクト枠98内の複数の顔領域(図21に示す例では、3つの顔領域)の各々が取り囲まれる個別枠96が示されている。このように、本構成によれば、既定条件を満たす複数の顔領域を個別に取り囲む複数の個別枠96と、オブジェクト枠98とがライブビュー画像内に表示されるので、特定の複数の被写体の塊と、特定に複数の被写体の各々との関係を視覚的に把握することができる。
上記実施形態では、ピント合わせ条件を満たす複数の顔領域をグループ化したグループ化画像領域100に対してオブジェクト枠98が作成される形態例を挙げて説明したが、本開示の技術はこれに限定されず、ピント合わせ条件を満たす複数の顔領域を更に絞ってからオブジェクト枠98が作成されるようにしてもよい。例えば、ピント合わせ条件を満たし、かつ、被写体サイズ条件を満たす複数の顔領域をグループ化したグループ化画像領域100に対してオブジェクト枠98が作成されるようにしてもよい。ここで、被写体サイズ条件とは、複数の被写体領域間のサイズの相違度が既定範囲内である、という条件を指す。ここでは、被写体領域のサイズとして、顔枠のサイズが用いられる。また、複数の被写体領域間のサイズの一例としては、ピント合わせ条件を満たす複数の顔領域間のサイズが挙げられるが、これに限らず、ピント合わせ条件を満たしていない複数の顔領域間のサイズであってもよい。
ピント合わせ条件を満たし、かつ、被写体サイズ条件を満たす複数の顔領域をグループ化したグループ化画像領域100に対してオブジェクト枠98が作成されるようにする場合、例えば、図22に示すオブジェクト枠表示処理がCPU48Aによって実行される。図22に示すフローチャートは、図19Aに示すフローチャートに比べ、ステップST206~ステップST210に代えて、ステップST300~ステップST308を有する点が異なる。そのため、ここでは、図22に示すオブジェクト枠表示処理のうち、図19Aに示すオブジェクト枠表示処理と異なる部分についてのみ説明する。なお、ここでは、説明の便宜上、ピント合わせ条件を満たし、かつ、被写体サイズ条件を満たす顔領域が複数残ること(ステップST306の処理が実行された場合に複数の顔領域が残ること)を前提として説明する。
図22に示すオブジェクト枠表示処理では、ステップST300で、算出部48A5は、合焦位置の算出対象とされた複数の注目被写体から、主要注目被写体に対する合焦位置から既定距離を超える合焦位置の注目被写体を除外する。すなわち、算出部48A5は、合焦位置の算出対象とされた複数の注目顔から、主要な注目顔(例えば、図15に示す「富士太郎」の顔)に対して算出された合焦位置から既定距離を超える合焦位置が算出された注目顔を除外する。既定距離は、固定値であってもよいし、受付デバイス80によって受け付けられた指示、又は、与えられた条件(例えば、撮像条件)に応じて変更される可変値であってもよい。
次のステップST302で、算出部48A5は、ステップST300で除外されることで残った複数の注目被写体の各々の顔枠の面積、すなわち、ステップST300で除外されることで残った複数の注目顔の各々の顔枠の面積を算出する。
次のステップST304で、算出部48A5は、複数の注目顔間での顔枠のサイズ比を算出する。顔枠のサイズ比は、ステップST302での算出結果、すなわち、複数の注目顔間での顔枠の面積の比(例えば、対比対象とされる2つの注目顔のうちの一方の注目顔に対応する顔枠の面積に対する他方の注目顔に対応する顔枠の面積の割合)である。なお、複数の注目顔間での顔枠の面積の比は、本開示の技術に係る「複数の被写体領域間のサイズの相違度」及び「複数の被写体領域間での顔枠のサイズの比」の一例である。
次のステップST306で、算出部48A5は、ステップST300で除外されることで残った複数の注目被写体から、ステップST304で算出したサイズ比が既定範囲を超える注目被写体を除外する。すなわち、算出部48A5は、ステップST300で除外されることで残った複数の注目顔から、ST304で算出したサイズ比が既定範囲を超える顔枠に取り囲まれている注目顔を除外する。ここで、既定範囲は、複数の注目顔間での顔枠のサイズ比に応じて定められている。すなわち、既定範囲は、複数の注目顔間での顔枠のサイズ比毎に異なっている。なお、これに限らず、既定範囲は、固定値であってもよいし、受付デバイス80によって受け付けられた指示、又は、与えられた条件(例えば、撮像条件)に応じて変更される可変値であってもよい。
次のステップST308で、作成部48A3は、ステップST306で除外されることで残った複数の注目被写体を示す複数の注目被写体領域を、ピント合わせ条件を満たし、かつ、被写体サイズ条件を満たす複数の注目被写体領域として特定する。すなわち、作成部48A3は、ステップST306で除外されることで残った複数の注目顔を示す複数の注目顔領域を、ピント合わせ条件を満たし、かつ、被写体サイズ条件を満たす複数の注目顔領域として特定する。そして、作成部48A3は、ピント合わせ条件を満たし、かつ、被写体サイズ条件を満たす複数の注目被写体領域として特定した複数の注目顔領域を、1つのオブジェックトとして取り囲むオブジェクト枠98を作成する。
このように、図22に示すオブジェクト枠表示処理が実行されることで、複数の被写体領域間のサイズの相違度(例えば、顔枠のサイズの相違度)が既定範囲内である複数の被写体領域を1つのオブジェクトとして識別可能な態様でディスプレイに表示されるので、ユーザが意図しない被写体が、ユーザが意図する特定の複数の被写体のグループに入らないようにすることができる。
また、複数の被写体領域間の顔枠のサイズ比に応じて既定範囲が異なっているので、既定範囲を常に一定の範囲にする場合に比べ、ユーザが意図しない被写体が、ユーザが意図する特定の複数の被写体のグループに入らないようにする精度を高めることができる。
上記実施形態では、既定の被写界深度に収まっている複数の注目被写体の各々に対する合焦位置が算出部48A5によって算出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、機構制御部48A6は、絞り40Cを作動させることで複数の注目被写体を被写界深度に収めるようにしてもよい。この場合、一例として図23に示すように、算出部48A5は、複数の注目被写体の各々に対する合焦位置、すなわち、複数の注目顔の各々に対する合焦位置を算出する。次に、算出部48A5は、複数の注目被写体について算出した複数の合焦位置に基づいて、複数の注目被写体を収める被写界深度を算出する。すなわち、算出部48A5は、複数の注目顔について算出した複数の合焦位置に基づいて、複数の注目顔を収める被写界深度を算出する。
算出部48A5は、第1演算式を用いて被写界深度を算出する。ここで用いる第1演算式は、例えば、複数の合焦位置のうちの最至近側の合焦位置と無限遠側の合焦位置とを独立変数とし、被写界深度を示す値を従属変数とした演算式である。なお、算出部48A5は、第1演算式に代えて、最至近側の合焦位置、無限遠側の合焦位置、及び被写界深度を示す値が対応付けられた第1テーブルを用いてよい。
算出部48A5は、算出した被写界深度を実現するF値を算出する。算出部48A5は、第2演算式を用いてF値を算出する。ここで用いる第2演算式は、例えば、被写界深度を示す値を独立変数とし、F値を従属変数とした演算式である。なお、算出部48A5は、第2演算式に代えて、被写界深度を示す値とF値とが対応付けられた第2テーブルを用いてもよい。
機構制御部48A6は、算出部48A5によって算出されたF値に従って、モータドライバ60を介してモータ46を制御することで、絞り40Cを作動させる。
複数の注目被写体を被写界深度に収める場合、例えば、図24に示すオブジェクト枠表示処理がCPU48Aによって実行される。図24に示すフローチャートは、図19Aに示すフローチャートに比べ、ステップST208とステップST210との間にステップST350及びステップST352を有する点が異なる。そのため、ここでは、図24に示すオブジェクト枠表示処理のうち、図19Aに示すオブジェクト枠表示処理と異なる部分についてのみ説明する。
図24に示すステップST350で、算出部48A5は、ステップST204で算出した複数の合焦位置に基づいて、複数の注目被写体を収める被写界深度として、複数の注目顔を収める被写界深度を算出する。
次のステップST352で、機構制御部48A6は、ピント合わせが行われた全被写体(例えば、ステップST204で合焦位置の算出対象とされた複数の注目被写体)を、ステップST350で算出した被写界深度に収めるように絞り40Cを調節する。
このように、絞り40Cを作動させることで複数の被写体が被写界深度に収められるので、絞り40Cを有しない場合に比べ、特定の複数の被写体を容易に被写界深度に含めることができる。
上記実施形態では、オブジェクト枠98がディスプレイ26に表示されることに先立って個別枠96がディスプレイ26に表示される形態例について説明したが、本開示の技術はこれに限定されず、個別枠96に先立ってオブジェクト枠98がディスプレイ26に表示されるようにしてもよい。例えば、表示制御部48A4は、撮像装置10の撮像モードが起動した場合に、ライブビュー画像内において、個別枠96よりも先にオブジェクト枠98を表示するようにしてもよい。
この場合、例えば、図25に示す個別枠表示処理がCPU48Aによって実行される。図25に示すフローチャートは、図18に示すフローチャートに比べ、ステップST150よりも前のステップとしてステップST400~ステップST404を有する点が異なる。そのため、ここでは、図25に示す個別枠表示処理のうち、図18に示す個別枠表示処理と異なる部分についてのみ説明する。
図25に示す個別枠表示処理では、ステップST400で、表示制御部48A4は、撮像装置10の撮像モードが起動したか否かを判定する。ステップST400において、撮像装置10の撮像モードが起動していない場合は、判定が否定されて、ステップST400の判定が再び行われる。ステップST400において、撮像装置10の撮像モードが起動した場合は、判定が肯定されて、個別枠表示処理はステップST402へ移行する。
ステップST402で、表示制御部48A4は、オブジェクト枠表示処理が実行されることによってオブジェクト枠98が作成されたか否かを判定する。ステップST402において、オブジェクト枠98が作成されていない場合は、判定が否定されて、ステップST402の判定が再び行われる。ステップST402において、オブジェクト枠98が作成された場合は、判定が肯定されて、個別枠表示処理はステップST404へ移行する。
ステップST404で、表示制御部48A4は、オブジェクト枠表示処理が実行されることによってオブジェクト枠98が消去されたか否かを判定する。ステップST404において、オブジェクト枠98が消去されていない場合は、判定が否定されて、ステップST404の判定が再び行われる。ステップST404において、オブジェクト枠98が消去された場合は、判定が肯定されて、個別枠表示処理はステップST150へ移行する。
このように、図25に示す個別枠表示処理が実行されることで、撮像装置10の撮像モードが起動した場合に、ライビュー画像内において、個別枠96よりも先にオブジェクト枠98が表示されるので、撮像装置10の撮像モードが起動した場合に、特定の複数の被写体の纏りを視覚的に把握することができる。
上記実施形態では、ピント合わせ条件を満足した場合に複数の注目顔領域を1つのオブジェクトとして、オブジェクト枠98で取り囲む形態例を挙げて説明したが、本開示の技術はこれに限定されず、ピント合わせ条件以外の既定条件を満足した場合に、複数の注目顔領域が1つのオブジェクトとして、オブジェクト枠98で取り囲まれるようにしてもよい。
この場合、例えば、図26に示すオブジェクト枠表示処理がCPU48Aによって実行される。図26に示すフローチャートは、図19Aに示すフローチャートに比べ、ステップST204~ステップST208に代えて、ステップST450を有する点が異なる。ステップST450で、CPU48Aは、既定条件を満足したか否かを判定する。ステップST450において、既定条件を満足していない場合は、判定が否定されて、オブジェクト枠表示処理は、図19Bに示すステップST220へ移行する。ステップST450において、既定条件を満足した場合は、判定が肯定されて、オブジェクト枠表示処理はステップST210へ移行する。以下では、ステップST450の既定条件として用いることが可能な各種条件について説明する。なお、後述する各種条件、上述したピント合わせ条件、及び上述した被写体サイズ条件のうちの少なくとも2つの条件の組み合わせをステップST450の既定条件として適用することも可能である。
ステップST450の既定条件として用いることが可能な条件の一例としては、至近側ピント合わせ条件が挙げられる。至近側ピント合わせ条件は、既定の被写界深度よりも至近側にピント合わせが行われた、という条件である。既定の被写界深度よりも至近側のピント合わせは、ソフトフォーカスとも称されている。
既定の被写界深度よりも至近側にピントを合わせる場合、一例として図27に示すように、機構制御部48A6は、物体側焦点が既定の被写界深度よりも至近側に位置するように、モータドライバ58を介してモータ44を制御することでフォーカスレンズ40Bを移動させる。図27に示す例では、3人の人物が複数の注目被写体として既定の被写界深度に収まっており、3人の人物のうち、フォーカスレンズ40Bに最も近い人物よりもフォーカスレンズ40B側に物体側焦点が位置している。この場合、至近側ピント合わせ条件が満たされ、作成部48A3は、既定の被写界深度に収まっている3人の人物の顔を示す3つの顔領域をグループ化したグループ化画像領域100を取り囲むオブジェクト枠98を作成することで、オブジェクト枠入りライブビュー画像データを生成する。表示制御部48A4は、作成部48A3によって生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像をディスプレイ26に対して表示させる。
図27に示す例によれば、ステップST450の既定条件として至近側ピント合わせ条件が用いられることで、常に既定の被写界深度内にピント合わせが行われる場合に比べ、既定の被写界深度に含まれる被写体を示す被写体領域の鮮鋭度を弱めることができる。この場合、被写体領域内において、物体側焦点の位置から距離が離れるほど先鋭度が低くなり、例えば、ディスプレイ26の図中正面視の中央下の人物、中央右の人物、及び中央左上の人物の順に先鋭度が低くなる。この先鋭度の順位は、物体側焦点の位置を変えることによって任意に又は選択的に変更することが可能である。そのため、物体側焦点の位置を変更する入力を受け付けて、鮮鋭度の順位を変更可能としてもよい。
ステップST450の既定条件として用いることが可能な条件の一例としては、上述した被写体サイズ条件が挙げられる。図22に示す例では、ピント合わせ条件と共に被写体サイズ条件を用いる形態例を示したが、被写体サイズ条件をピント合わせ条件と切り離して、独立した条件として用いてもよい。この場合、例えば、図28に示すように、算出部48A5は、個別枠入りライブビュー画像データに含まれる全ての個別枠96のサイズ(例えば、面積)を算出する。そして、算出部48A5は、個別枠96間のサイズの相違度が既定範囲内の顔領域を特定する。図28に示す例では、個別枠96間のサイズの相違度が既定範囲内の顔領域として、4つの顔領域が特定されている。表示制御部48A4は、算出部48A5によって特定された4つの顔領域を取り囲むオブジェクト枠98が重畳されたライブビュー画像を、オブジェクト枠入りライブビュー画像として、ディスプレイ26に対して表示させる。
このように、図28に示す例によれば、ステップST450の既定条件として被写体サイズ条件が用いられるので、ユーザが意図しない被写体が、ユーザが意図する特定の複数の被写体のグループに入らないようにすることができる。なお、図28に示す例、又は、その他の実施形態において、条件外と判定された被写体をオブジェクト枠98内に受け入れ可能としても良い。例えば、あるモード(条件外被写体追加モードなど)が設定されている場合に、条件外と判定された被写体のエリアにタッチすると、タッチされた被写体が含まれるオブジェクト枠98を生成する機能を追加しても良い。また、オブジェクト枠98内の被写体をタッチすると、その被写体を含まないオブジェクト枠98を生成するようにしてもよい。
ステップST450の既定条件として用いることが可能な条件の一例としては、被写体間隔条件が挙げられる。被写体間隔条件は、複数の被写体間の間隔(本開示の技術に係る「第2間隔」の一例)が既定間隔(本開示の技術に係る「第2既定間隔」の一例)未満である、という条件である。既定間隔は、固定値であってもよいし、受付デバイス80によって受け付けられた指示、又は、与えられた条件(例えば、撮像条件)に応じて変更される可変値であってもよい。
ステップST450の既定条件として被写体間隔条件を用いる場合、例えば、図29に示すように、算出部48A5は、個別枠入りライブビュー画像データに含まれる全ての個別枠96間の間隔(以下、「個別枠間隔」とも称する)を算出する。そして、算出部48A5は、個別枠間隔が既定間隔未満の関係を有する個別枠96で取り囲まれた顔領域を特定する。図29に示す例では、個別枠間隔が既定間隔未満の関係を有する個別枠96で取り囲まれた顔領域として、3つの顔領域が特定されている。表示制御部48A4は、算出部48A5によって特定された3つの顔領域を取り囲むオブジェクト枠98が重畳されたライブビュー画像を、オブジェクト枠入りライブビュー画像として、ディスプレイ26に対して表示させる。
このように、ステップST450の既定条件として被写体間隔条件が用いられることで、ユーザが意図しない被写体が、ユーザが意図する特定の複数の被写体のグループに入らないようにすることができる。
ステップST450の既定条件として用いることが可能な条件の一例としては、ジェスチャー共通条件が挙げられる。ジェスチャー共通条件は、複数の被写体領域により表現されるジェスチャーが共通している、という条件である。
ステップST450の既定条件としてジェスチャー共通条件を用いる場合、作成部48A3は、認識結果情報94に基づいて、ライブビュー画像データ(例えば、個別枠入りライブビュー画像データ)から、ジェスチャーが共通している複数の被写体領域を特定する。ここで用いる認識結果情報94には、例えば、図30に示すように、被写体名として「顔前で親指を立てている人」という情報が含まれている。すなわち、作成部48A3は、認識結果情報94を参照することで、「顔前で親指を立てる」というジェスチャーを行っている人物を示す被写体領域をライブビュー画像データから特定する。なお、「顔前で親指を立てる」というジェスチャーは、あくまでも一例に過ぎず、例えば、「飛び跳ねる」という行為、及び「両腕を上げる」というポーズ等もジェスチャーに含まれる。
作成部48A3は、ジェスチャーが共通している複数の被写体領域を1つのオブジェクトとして取り囲むオブジェクト枠98を作成することでオブジェクト枠入りライブビュー画像データを生成する。そして、表示制御部48A4は、作成部48A3によって生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像をディスプレイ26に対して表示させる。すなわち、表示制御部48A4は、ジェスチャーが共通している複数の被写体領域を1つのオブジェクトとして取り囲んだオブジェクト枠98が重畳されたライブビュー画像を、オブジェクト枠入りライブビュー画像として、ディスプレイ26に対して表示させる。
このように、ステップST450の既定条件としてジェスチャー共通条件が用いられることで、ユーザが意図しない被写体が、ユーザが意図する特定の複数の被写体のグループに入らないようにすることができる。
上記実施形態では、グループ化画像領域100が定まると、予兆動作なしで最初からグループ化画像領域100の外輪郭に合わせてオブジェクト枠98が表示される形態例が示されているが、本開示の技術はこれに限定されず、予兆動作を入れてからオブジェクト枠98の位置がライブビュー画像内で確定されるようにしてもよい。この場合、例えば、図31に示すように、表示制御部48A4は、ライブビュー画像内において、グループ化画像領域100の外輪郭の外側から、グループ化画像領域100の外輪郭にかけて枠の大きさを動的に変化させることでオブジェクト枠98を作成する。また、表示制御部48A4は、ライブビュー画像内において、グループ化画像領域100の外輪郭の内側から、グループ化画像領域100の外輪郭にかけて枠の大きさを動的に変化させることでオブジェクト枠98を作成するようにしてもよい。
このように、ライブビュー画像内において、グループ化画像領域100の外輪郭の外側又は内側から、グループ化画像領域100の外輪郭にかけて枠の大きさを動的に変化させることでオブジェクト枠98が作成されるので、グループ化画像領域100の外輪郭に対して予兆動作無しでオブジェクト枠98を突然当て嵌める場合に比べ、オブジェクト枠98の位置を把握し易くすることができる。
ステップST450の既定条件として用いることが可能な条件の一例としては、移動方向同一条件が挙げられる。移動方向同一条件は、複数の被写体領域の移動方向が同一である、という条件である。ステップST450の既定条件として移動方向同一条件を用いる場合、作成部48A3は、上述した認識結果情報94に基づいて、ライブビュー画像データ(例えば、個別枠入りライブビュー画像データ)から、移動方向が同一の複数の被写体領域を特定する。被写体領域の移動方向は、例えば、認識結果情報94を用いて動きベクトルが作成部48A3によって算出されることで特定される。
一例として図32に示すように、作成部48A3は、移動方向が同一の複数の被写体領域を1つのオブジェクトとしてグループ化し、グループ化して得たグループ化画像領域100の外輪郭を示す輪郭線をオブジェクト枠98として作成することでオブジェクト枠入りライブビュー画像データを生成する。そして、表示制御部48A4は、作成部48A3によって生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像として、ディスプレイ26に対して表示させる。すなわち、表示制御部48A4は、移動方向が同一の複数の被写体領域を1つのオブジェクトとして取り囲んだオブジェクト枠98が重畳されたライブビュー画像を、オブジェクト枠入りライブビュー画像として、ディスプレイ26に対して表示させる。
このように、ステップST450の既定条件として移動方向同一条件が用いられることで、ユーザが意図しない被写体が、ユーザが意図する特定の複数の被写体のグループに入らないようにすることができる。
なお、表示制御部48A4は、複数の被写体領域の移動方向、複数の被写体領域の移動速度(例えば、平均移動速度)、及び/又は複数の被写体領域間の間隔に応じてオブジェクト枠98の表示態様を変化させるようにしてもよい。オブジェクト枠98の表示態様としては、例えば、オブジェクト枠98の枠線の太さ、枠線の色、枠線の透明度、及び/又は点滅の時間間隔等が挙げられる。
ステップST450の既定条件として用いることが可能な条件の一例としては、個別被写体領域間隔条件が挙げられる。個別被写体領域間隔条件は、ライブビュー画像内において被写体群のうちの第1個別被写体を示す第1個別被写体領域と第2個別被写体を示す第2個別被写体領域との間隔(本開示の技術に係る「第3間隔」の一例)が既定間隔(本開示の技術に係る「第3既定間隔」の一例)以内になった、という条件である。
ステップST450の既定条件として用いることが可能な条件として個別被写体領域間隔条件を用いる場合、一例として図33に示すように、算出部48A5は、認識結果情報94に基づいて第1個別被写体領域と第2個別被写体領域とを特定する。図33に示す例では、第1個別被写体領域として、犬を示す画像領域が示されており、第2個別被写体領域として、人物を示す画像領域が示されている。なお、これはあくまでも一例に過ぎず、第1個別被写体領域及び第2個別被写体領域は、認識結果情報94に基づいて被写体を示す画像領域として特定可能な如何なる画像領域であってもよい。
また、図33に示す例では、第1個別被写体領域を取り囲む第1個別枠96A、及び第2個別被写体領域を取り囲む第2個別枠96Bが示されている。第1個別枠96Aは、第1個別被写体領域を1つのオブジェクト(図33に示す例では、長方形領域のオブジェクト)として取り囲む長方形枠であり、第2個別枠96Bは、第2個別被写体領域を1つのオブジェクト(図33に示す例では、長方形領域のオブジェクト)として取り囲む長方形枠である。第1個別枠96A及び第2個別枠96Bは、上述した個別枠入りライブビュー画像と同様に、表示制御部48A4によって、ライブビュー画像内に表示される。ここで、ライブビュー画像内に表示されるとは、例えば、ライブビュー画像に重畳させた状態でディスプレイ26に表示される、ということを意味する。
算出部48A5は、第1個別枠96Aと第2個別枠96Bとの重複領域(以下、単に「重複領域」とも称する)の面積を算出する。そして、算出部48A5は、算出した面積が既定面積以上であるか否かを判定することで第1個別被写体領域と第2個別被写体領域との間隔が既定間隔以内になったと判定する。既定面積は、固定値であってもよいし、受付デバイス80によって受け付けられた指示、又は、与えられた条件(例えば、撮像条件)に応じて変更される可変値であってもよい。
図33に示す例では、第1個別被写体領域により示される第1個別被写体として犬が、第2個別被写体領域により示される第2個別被写体としての人物に跳び付いて接触した場合に、重複領域の面積が既定面積以上となっている。重複領域の面積が既定面積以上の場合に、第1個別枠被写体領域と第2個別枠被写体領域との間隔が既定間隔以内になる。なお、ここでは、重複面積が算出される形態例を挙げているが、本開示の技術はこれに限定されず、第1個別被写体領域と第2個別被写体領域との間隔が算出され、算出された間隔と既定間隔との大小関係が判定されるようにしてもよい。
作成部48A3は、重複領域の面積が既定面積以上となった場合に、第1個別被写体領域及び第2個別被写体領域を1つのオブジェクト(図33に示す例では、長方形領域のオブジェクト)としてグループ化する。作成部48A3は、グループ化して得たグループ化画像領域100の外輪郭を示す外輪郭線をオブジェクト枠98として作成することでオブジェクト枠入りライブビュー画像データを生成する。そして、表示制御部48A4は、作成部48A3によって生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像をディスプレイ26に対して表示させる。すなわち、表示制御部48A4は、第1個別被写体領域及び第2個別被写体領域を1つのオブジェクトとして取り囲んだオブジェクト枠98が重畳されたライブビュー画像を、オブジェクト枠入りライブビュー画像として、ディスプレイ26に対して表示させる。
また、実行部48A7は、個別被写体領域間隔条件を満たした場合に、上述した特定処理を実行する。図33に示す例では、オブジェクト枠98が表示制御部48A4によってディスプレイ26に表示されたことを条件に、実行部48A7によって特定処理が実行される。
このように、図33に示す例によれば、ステップST450の既定条件として個別被写体領域間隔条件が用いられ、かつ、個別被写体領域間隔条件を満たした場合に特定処理が実行されるので、第1個別被写体と第2個別被写体との間隔をユーザが目測で決めてから特定処理が実行される場合に比べ、第1個別被写体と第2個別被写体との間隔が、ユーザが意図する間隔になったタイミングで特定処理が実行される精度を高めることができる。
また、図33に示す例によれば、重複領域の面積が既定面積以上の場合に個別被写体領域間隔条件を満たしたと判定されるので、第1個別枠96Aと第2個別枠96Bとの重複領域の面積をユーザが目測で決めてから特定処理が実行される場合に比べ、第1個別枠96Aと第2個別枠96Bとの重複領域の面積が、ユーザが意図する面積になったタイミングで特定処理が実行される精度を高めることができる。
上記実施形態では、被写体距離に関わらずオブジェクト枠98の表示態様(例えば、形状)が固定されているが、本開示の技術はこれに限定されず、表示制御部48A4は、複数の被写体の各々について取得した被写体距離に応じてオブジェクト枠98の表示態様を変化させるようにしてもよい。
この場合、一例として図34に示すように、算出部48A5は、個別枠入りライブビュー画像データから、上述した認識結果情報94を参照して、複数の注目被写体領域(図34に示す例では、複数の注目顔領域)を特定する。算出部48A5は、特定した複数の注目被写体領域により示される複数の注目被写体の各々までの距離(被写体距離)を取得する。この場合、先ず、算出部48A5は、特定した複数の注目被写体領域の各々の位置に対応する位相差画像データを画像メモリ50から取得する。そして、算出部48A5は、取得した位相差画像データに基づいて各注目被写体に対する被写体距離(例えば、受光面30A(図6参照)から各注目被写体までの距離)を算出する。
一例として図35に示すように、作成部48A3は、複数の注目被写体領域を1つのオブジェクト(図35に示す例では、1つの四角形領域)としてグループ化する。作成部48A3は、グループ化して得たグループ化画像領域100の外輪郭を示す外輪郭線をオブジェクト枠98として作成することでオブジェクト枠入りライブビュー画像データを生成する。ここで、オブジェクト枠98は、四角形枠であり、複数の注目被写体領域のうちの被写体距離が最短側(受光面30Aに近い側)から最長側(受光面30Aから遠い側)にかけて窄まる形状に形成されている。図35に示す例では、オブジェクト枠98が台形であり、複数の注目被写体領域のうちの被写体距離が最短側に下底が位置しており、複数の注目被写体領域のうちの被写体距離が最長側に、下底よりも短い上底が位置している。
なお、図35に示す例では、オブジェクト枠98の形状の一例として台形が示されているが、本開示の技術はこれに限定されるものではなく、三角形等の多角形であってもよいし、曲線状の幾何学形状枠であってもよく、被写体距離が最短側の被写体領域から被写体距離が最長側の被写体領域にかけて窄まる形状の枠であることが好ましい。
表示制御部48A4は、作成部48A3によって生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像をディスプレイ26に対して表示させる。すなわち、表示制御部48A4は、複数の注目被写体領域を1つのオブジェクトとして取り囲んだオブジェクト枠98が重畳されたライブビュー画像を、オブジェクト枠入りライブビュー画像として、ディスプレイ26に対して表示させる。
なお、図35に示す例では、注目被写体に対する被写体距離に応じてオブジェクト枠98の形状を変形させているが、本開示の技術はこれに限定されない。例えば、注目被写体に対する被写体距離に応じてオブジェクト枠98の枠線の太さを部分的に変えたり、枠線の色を部分的に変えたり、枠線の透明度を部分的に変えたり、枠線を部分的に点滅させたりするようにしてもよい。
このように、図34及び図35に示す例によれば、複数の被写体の各々に対する被写体距離に応じてオブジェクト枠98の表示態様を変化させるので、撮像装置10から特定の複数の被写体の各々までの距離をユーザに推測させることができる。
また、図34及び図35に示す例によれば、オブジェクト枠98の形状として、被写体距離が最短側の被写体領域から被写体距離が最長側の被写体領域にかけて窄まる形状が用いられているので、特定の複数の被写体のうち、何れが撮像装置10に近い側の被写体であり、何れが撮像装置10から遠い側の被写体であるかをユーザに推測させることができる。
表示制御部48A4は、複数の被写体領域のうちの指定された対象被写体領域、及び対象被写体領域以外の被写体領域のうちの一方を他方よりも強調して表示するようにしてもよい。表示の強調方法としては、輝度を変える、コントラストを変える、及び/又は枠で囲む等のように様々な方法が考えられるが、一例として図36に示すように、作成部48A3が、オブジェクト枠98内に十字マーク102を作成するようにしてもよい。なお、十字マーク102はあくまでも一例に過ぎず、星印又は矢印等の他種類のマークであってもよい。
一例として図36に示すように、作成部48A3は、十字マーク102の交差点が主要注目被写体領域内の基準点(例えば、被写体が人物であれば、顔領域の中心)に位置するように十字マーク102をオブジェクト枠98内に作成する。ここで、主要注目被写体領域とは、主要な注目被写体(以下、「主要注目被写体」とも称する)として予め登録された被写体を示す画像領域を指す。なお、主要注目被写体領域は、本開示の技術に係る「対象被写体領域」の一例である。また、オブジェクト枠98内の複数の被写体領域のうち、主要注目被写体領域以外の被写体領域は、本開示の技術に係る「対象被写体領域以外の被写体領域」の一例である。
作成部48A3は、メモリ48Cから認識結果情報94を取得し、取得した認識結果情報94を参照してオブジェクト枠98内の主要注目被写体領域を特定する。作成部48A3は、注目被写体を示す主要注目被写体領域(図36に示す例では、「富士太郎」という主要注目被写体を示す主要注目被写体領域)のうちの顔領域の中心の位置と十字マーク102の交差点の位置とが一致するように、十字マーク102をオブジェクト枠98内に配置したオブジェクト枠入りライブビュー画像データを生成する。そして、表示制御部48A4は、作成部48A3によって生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像をディスプレイ26に対して表示させる。すなわち、表示制御部48A4は、複数の注目被写体領域を1つのオブジェクトとして取り囲んだオブジェクト枠98が重畳されたライブユー画像であって、十字マーク102が主要注目被写体領域の顔領域に重畳されたライブビュー画像を、オブジェクト枠入りライブビュー画像として、ディスプレイ26に対して表示させる。
図36に示す例では、主要注目被写体領域がオブジェクト枠98内の残りの被写体領域よりも強調して表示される形態例が示されているが、本開示の技術はこれに限らず、オブジェクト枠98内の複数の被写体領域のうち主要注目被写体領域以外の被写体領域が主要注目被写体領域よりも強調して表示されるようにしてもよい。
このように、図36に示す例によれば、オブジェクト枠98内の複数の被写体領域のうちの主要注目被写体領域、及び主要注目被写体領域以外の被写体領域のうちの一方が他方よりも強調して表示されるので、主要注目被写体領域と主要注目被写体領域以外の被写体領域との視認性レベルを同程度にしている場合に比べ、複数の被写体からユーザが望む被写体を視覚的に特定し易くすることができる。
図35及び図36に示すオブジェクト枠98は、オブジェクト枠98内の注目被写体領域の移動に伴って変形されるようにしてもよい。この場合、例えば、CPU48Aが、オブジェクト枠入りライブビュー画像において、複数の被写体領域のうちの一部の被写体領域と残りの被写体領域との間隔(本開示の技術に係る「第1間隔」の一例)が既定間隔(本開示の技術に係る「第1既定間隔」の一例)以上に空いた場合にオブジェクト枠98を変形させる。また、CPU48Aは、複数の被写体領域のうちの一部の被写体領域と残りの被写体領域との間隔が既定間隔以上空いた状態で既定時間以上維持されたことを条件にオブジェクト枠98から一部の被写体領域を離脱させる形態にオブジェクト枠98を変形させる。
このようにオブジェクト枠98を変形させる場合、例えば、図37に示すように、作成部48A3は、オブジェクト枠98内の注目被写体領域(図37に示す例では、人物の顔を示す顔領域)が現状のオブジェクト枠98で画定された範囲から外れる程度に移動した場合に、移動した注目被写体領域(以下、「移動注目被写体領域」とも称する)がオブジェクト枠98内に収まるように、移動注目被写体領域の動きに追従させながらオブジェクト枠98を変形させる。作成部48A3は、オブジェクト枠98内の注目被写体領域間の間隔βを算出し、間隔βが既定間隔以上になったか否かを判定する。作成部48A3は、間隔βが既定間隔以上空いた状態が既定時間以上維持されたことを条件に、オブジェクト枠98から移動注目被写体領域を離脱させる形態にオブジェクト枠98を変形させる。ここで、既定時間は、固定値であってもよいし、受付デバイス80によって受け付けられた指示、又は、与えられた条件(例えば、撮像条件)に応じて変更される可変値であってもよい。
図37に示す例では、時刻t0~t3までのオブジェクト枠98の形状の変形過程が示されている。時刻t0~t3の間に作成部48A3によって生成されたオブジェクト枠入りライブビュー画像データにより示されるオブジェクト枠入りライブビュー画像は、表示制御部48A4によってディスプレイ26に表示される。
時刻t0から時刻t1にかけて、移動注目被写体領域は、オブジェクト枠98内の残りの注目被写体領域を1つのオブジェクトとした他画像領域104(図37に示す破線状ハッチング領域)から離れ、これに伴って、オブジェクト枠98は、移動注目被写体領域の動きに追従して伸延する。時刻t1から時刻t2にかけて、移動注目被写体領域と他画像領域104との間隔βが徐々に長くなり、これに伴って、オブジェクト枠98も伸延される。時刻t2では、間隔βが既定間隔に達し、時刻t2以降も間隔βが既定間隔以上に維持される。そして、間隔βが既定間隔以上である状態が既定時間以上、すなわち、時刻t2から時刻t3まで継続した場合に、作成部48A3は、他画像領域104の外輪郭を示す輪郭線を新たなオブジェクト枠98として作成することで、新たなオブジェクト枠98から移動注目被写体領域を離脱させる。
図38には、ストレージ48Bに記憶されているオブジェクト枠変形処理プログラム(図示省略)に従ってCPU48Aによって実行されるオブジェクト枠変形処理の流れの一例が示されている。
図38に示すオブジェクト枠変形処理では、先ず、ステップST500で、作成部48A3は、オブジェクト枠98内の注目被写体領域間の間隔βを算出する。
次のステップST502で、作成部48A3は、ステップST500で算出した間隔βが既定間隔以上であるか否かを判定する。ステップST502において、間隔βが既定間隔未満の場合は、判定が否定されて、オブジェクト枠変形処理はステップST510へ移行する。ステップST502において、間隔βが既定間隔以上の場合は、判定が肯定されて、オブジェクト枠変形処理はステップST504へ移行する。
ステップST504で、作成部48A3は、オブジェクト枠98を注目被写体領域間の間隔βに応じて変形させる。ステップST504の処理が実行されることによって変形されたオブジェクト枠98は、表示制御部48A4によってディスプレイ26にライブビュー画像に重畳された状態で表示される。
次のステップST506で、作成部48A3は、“間隔β≧既定間隔”の状態が既定時間以上継続したか否かを判定する。ステップST506において、“間隔β≧既定間隔”の状態が既定時間以上継続していない場合は、判定が否定されて、オブジェクト枠変形処理はステップST510へ移行する。ステップST506において、“間隔β≧既定間隔”の状態が既定時間以上継続した場合は、判定が肯定されて、オブジェクト枠変形処理はステップST508へ移行する。
ステップST508で、作成部48A3は、オブジェクト枠98から、一部の被写体領域、すなわち、上述した移動被写体領域を離脱させる形態にオブジェクト枠98を変形させる。ステップST508の処理が実行されることによって変形されたオブジェクト枠98は、表示制御部48A4によってディスプレイ26にライブビュー画像に重畳された状態で表示される。
次のステップST510で、作成部48A3は、オブジェクト枠消去条件(図19BのステップST216参照)を満足したか否かを判定する。ステップST510において、オブジェクト枠消去条件を満足していない場合は、判定が否定されて、オブジェクト枠変形処理はステップST500へ移行する。ステップST510において、オブジェクト枠消去条件を満足した場合は、判定が肯定されて、オブジェクト枠変形処理が終了する。
このように、図37及び図38に示す例によれば、間隔βが既定間隔以上空いた場合にオブジェクト枠98が変形されるので、特定の複数の被写体の間隔が変化したことを視覚的に把握することができる。
また、図37及び図38に示す例によれば、“間隔β≧既定間隔”の状態が既定時間以上継続した場合にオブジェクト枠98から移動注目被写体領域を離脱させる形態にオブジェクト枠98が変形されるので、特定の複数の被写体からなるグループから抜けた被写体とグループに残った被写体とを視覚的に把握することができる。
図37及び図38に示す例では、間隔βが既定間隔以上維持された状態が既定時間以上継続した場合にオブジェクト枠98から一部の被写体領域を離脱させる形態例が示されているが、CPU48Aは、与えられた指示に従って、複数の被写体領域を1つのオブジェクトに入れるかを選択するようにしてもよい。つまり、CPU48Aは、与えられた指示に従って、オブジェクト枠98から一部の被写体領域を離脱させたり、オブジェクト枠98内に追加したりするようにしてもよい。
一例として図39に示すように、表示制御部48A4は、ディスプレイ26に対して、オブジェクト枠入りライブビュー画像を表示させる。図39に示す例では、オブジェクト枠入りライブビュー画像内のオブジェクト枠98内に注目被写体領域(図48A4に示す例では、注目顔領域)を取り囲む個別枠96が表示されている。表示制御部48A4は、タッチパネル28によって受け付けられた指示に従って、オブジェクト枠98内の個別枠96を選択し、選択した個別枠96をオブジェクト枠98から外す。図39に示す例では、表示制御部48A4は、タッチパネル28に対して行われたタッチ操作に応じて個別枠96を選択し、タッチパネル28に対して行われたスワイプ操作に応じて個別枠96をオブジェクト枠98から外している。
このように、個別枠96がオブジェクト枠98から外されると、表示制御部48Aは、オブジェクト枠98内から個別枠96が外されることで空いた領域を回避するようにオブジェクト枠98を変形させる。
また、一例として図40に示すように、表示制御部48A4は、オブジェクト枠98から外れた個別枠96を、タッチパネル28によって受け付けられた指示(図30に示す例では、スワイプ操作)に従ってオブジェクト枠98内の元の位置に戻すことで、オブジェクト枠98を元の形態に戻す。なお、上記の指示の操作はスワイプ操作に限られず、例えば、個別枠96又は被写体をタッチすることにより、オブジェクト枠98に個別枠96を含むか否かを交互に変更できるようにしてもよい。
このように、図39及び図40に示す例によれば、与えられた指示に従って複数の被写体領域を1つのオブジェクトに入れるか否かが選択されるので、特定の複数の被写体のグループに入れたくない被写体と入れたい被写体とを意図的に選択することができる。
図36に示す例では、複数の注目被写体領域を1つのオブジェクトとして取り囲むオブジェクト枠98がライブビュー画像に重畳表示されることで、複数の注目被写体領域が1つのオブジェクトとして他の画像領域と識別可能な態様で表示されているが、本開示の技術はこれに限定されない。例えば、CPU48Aが、複数の注目被写体領域をピーキング方式で表示することで複数の注目被写体領域を1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示するようにしてもよい。この場合、例えば、図41に示すように、作成部48A3は、ライブビュー画像データ内の複数の注目被写体領域の各々の外輪郭がピーキング方式で表示される態様、すなわち、他の画像領域よりも強調した態様に加工し、かつ、主要注目被写体領域の特定領域(図41に示す例では、「富士太郎」という主要注目被写体を示す主要注目被写体領域の顔領域)に十字マーク106を重畳させることで、ピーキングライブビュー画像データを生成する。
表示制御部48A4は、作成部48A3によって生成されたピーキングライブビュー画像データにより示されるライブビュー画像(以下、「ピーキングライブビュー画像」とも称する)をディスプレイ26に対して表示させる。これにより、ディスプレイ26には、ライブビュー画像が表示され、かつ、ライブビュー画像内の複数の注目被写体領域の各々がピーキング方式で表示される。
このように、図41に示す例によれば、複数の注目被写体領域がピーキング方式で表示されることで複数の注目被写体領域が1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示されるので、複数の注目被写体領域と注目被写体領域以外の被写体領域とを視覚的に区別して把握することができる。
また、一例として図42に示すように、表示制御部48A4は、注目被写体領域により示される注目被写体と撮像装置10との距離、すなわち、被写体距離に応じて、注目被写体領域の輪郭線の表示態様を変化させるようにしてよい。ここで、注目被写体領域により示される注目被写体は、本開示の技術に係る「特定被写体領域により示される被写体」の一例である。
図42に示す例では、複数の注目被写体領域のうちの被写体距離が短い側、すなわち、受光面30Aに近い側の注目被写体を示す注目被写体領域がピントを合わせた状態で且つピーキング方式でディスプレイ26に表示されている。また、図42に示す例では、複数の注目被写体領域のうちの被写体距離が長い側、すなわち、受光面30Aから遠い側の注目被写体を示す注目被写体領域が、ピーキング方式で表示されている注目被写体領域よりもピントをずらした状態(ぼけた状態)でディスプレイ26に表示されている。
図42に示す例によれば、注目被写体領域により示される注目被写体と撮像装置10との距離に応じて、輪郭線の表示態様を変化させるので、注目被写体領域により示される注目被写体と撮像装置10との距離をユーザに推測させることができる。
また、一例として図43に示すように、主要注目被写体領域のみがピーキング方式で表示されるようにしてもよい。なお、この場合も、複数の注目被写体領域のうちの被写体距離が短い側、すなわち、受光面30Aに近い側の注目被写体を示す注目被写体領域はピントを合わせた状態でディスプレイ26に表示され、複数の注目被写体領域のうちの被写体距離が長い側、すなわち、受光面30Aから遠い側の注目被写体を示す注目被写体領域がピントをずらした状態(ぼけた状態)でディスプレイ26に表示される。
また、主要注目被写体領域以外の注目被写体領域がピーキング方式で表示されるようにしてもよい。この場合、例えば、図44に示すように、タッチパネル28に対して与えられた指示(図44に示す例では、タッチパネル28に対する指によるタッチ操作)に従って選択された注目被写体領域のみがピーキング方式でディスプレイ26に表示される。また、主要注目被写体領域と共に、タッチパネル28に対して与えられた指示に従って選択された注目被写体領域がピーキング方式でディスプレイ26に表示されるようにしてもよい。
図42~図44に示す例では、注目被写体領域がピーキング方式でディスプレイ26に表示される形態例を挙げたが、本開示の技術はこれに限定されず、CPU48Aは、複数の注目被写体領域をセグメンテーション方式で表示することで複数の注目被写体領域を1つのオブジェクトとして識別可能な態様でライブビュー画像内に表示するようにしてもよい。
一例として図45に示すように、作成部48A3は、ライブビュー画像データから、認識結果情報94を参照して、複数の注目被写体領域を特定する。そして、作成部48A3は、特定した複数の注目被写体領域を参照して、ライブビュー画像データからセグメンテーション方式のライブビュー画像データ(以下、「セグメンテーションライブビュー画像データ」とも称する)を生成する。作成部48A3は、セグメンテーションライブビュー画像データから、複数の注目被写体領域の輪郭線の位置を示す位置情報(例えば、座標)を取得し、取得した位置情報をストレージ48B(本開示の技術に係る「記憶媒体」の一例)に記憶する。
表示制御部48A4は、作成部48A3によって生成されたセグメンテーションライブビュー画像データにより示されるライブビュー画像(以下、「セグメンテーションライブビュー画像」とも称する)をディスプレイ26に対して表示させる。
図45に示す例によれば、複数の注目被写体領域がセグメンテーション方式で表示されるので、複数の注目被写体領域の各々とそれ以外とを視覚的に把握することができる。また、図45に示す例によれば、セグメンテーションライブビュー画像データから、複数の注目被写体領域の輪郭線の位置を示す位置情報が取得されてストレージ48Bに記憶されるので、位置情報が何らかの記憶媒体に記憶されていない場合に比べ、注目被写体領域の輪郭線が再現し易くなる。
また、CPU48Aは、複数の注目被写体領域のうち少なくとも1つの注目被写体領域の輪郭線を抽出し、抽出した輪郭線をライブビュー画像上に表示するようにしてもよい。この場合、一例として図46に示すように、表示制御部48A4は、ストレージ48Bから位置情報を取得する。そして、表示制御部48A4は、取得した位置情報により示される輪郭線(図46に示す破線で示した2つの注目被写体領域の輪郭線)が重畳された状態のライブビュー画像(図46に示す「輪郭線入りライブビュー画像」をディスプレイ26に対して表示させる。
このように、図46に示す例によれば、複数の注目被写体領域のうち少なくとも1つの注目被写体領域の輪郭線が抽出され、抽出された輪郭線がライブビュー画像上に表示されるので、ライブビュー画像と注目被写体領域との位置関係を視覚的に把握することができる。なお、ここでは、ライブビュー画像上に輪郭線が重畳表示される例を示しているが、ポストビュー画像、静止画像、又は記録用動画像等の各種画像上に輪郭線が重畳表示されるようにしてもよい。
上記実施形態では、個別枠96とオブジェクト枠98とがディスプレイ26に選択的に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、個別枠96とオブジェクト枠98とがディスプレイ26に選択的に表示される表示方式と、個別枠96とオブジェクト枠98とが並行して表示される表示方式とが選択的に切り替えられるようにしてもよい。
この場合、CPU48Aは、ライブビュー画像内に個別枠96とオブジェクト枠98とを並行して表示する並行表示処理と、ライブビュー画像内に個別枠96とオブジェクト枠98とを選択的に表示する選択表示処理とを選択的に行う。また、CPU48Aは、複数の被写体の動き、撮像装置10の動き、及び、被写界深度のうちの少なくとも1つに応じて並行表示処理と選択表示処理とを選択的に行う。
このように、CPU48Aが並行表示処理と選択表示処理とを選択的に行う場合、ストレージ48Bに記憶されている表示方式設定処理プログラム(図示省略)に従ってCPU48Aによって表示方式設定処理が実行される。図47には、表示方式設定処理の流れの一例が示されている。
図47に示す表示方式設定処理では、先ず、ステップST550で、CPU48Aは、撮像領域の単位時間当たりの変化量を算出する。撮像領域の単位時間当たりの変化量は、撮像領域に含まれる被写体の動き、及び/又は撮像装置10の動き(例えば、パン操作及び/又はチルト操作に伴う撮像装置10の動き)に応じて定まる。例えば、CPU48Aは、ライブビュー画像データのフレーム間の動きベクトルを算出し、算出した動きベクトル及びフレームレート等に基づいて、撮像領域の単位時間当たりの変化量を算出する。
次のステップST552で、CPU48Aは、ステップST550で算出した変化量が既定変化量以下であるか否かを判定する。既定変化量は、固定値であってもよいし、受付デバイス80によって受け付けられた指示、又は、与えられた条件(例えば、撮像条件)に応じて変更される可変値であってもよい。ステップST552において、ステップST550で算出した変化量が既定変化量を超えている場合は、判定が否定されて、表示方式設定処理はステップST562へ移行する。ステップST552において、ステップST550で算出した変化量が既定変化量以下の場合は、判定が肯定されて、表示方式設定処理はステップST554へ移行する。
ステップST554で、CPU48Aは、現時点で設定されている被写界深度を示す値が閾値を超えているか否かを判定する。ステップST554において、現時点で設定されている被写界深度を示す値が閾値を超えている場合は、判定が肯定されて、表示方式設定処理はステップST556へ移行する。ステップST554において、現時点で設定されている被写界深度を示す値が閾値以下の場合は、判定が肯定されて、表示方式設定処理はステップST558へ移行する。
ステップST556で、CPU48Aは、個別枠96をディスプレイ26に対して表示させ、かつ、オブジェクト枠98をディスプレイ26に対して表示させる表示方式を設定する。ステップST556の処理が実行された後、表示方式設定処理はステップST564へ移行する。
ステップST558で、CPU48Aは、撮像領域に含まれる被写体を認識してからの経過時間が既定時間以下であるか否かを判定する。ステップST558で用いられる既定時間は、固定値であってもよいし、受付デバイス80によって受け付けられた指示、又は、与えられた条件(例えば、撮像条件)に応じて変更される可変値であってもよい。ステップST558において、撮像領域に含まれる被写体を認識してからの経過時間が既定時間以下の場合は、判定が肯定されて、表示方式設定処理はステップST560へ移行する。ステップST558において、撮像領域に含まれる被写体を認識してからの経過時間が既定時間を超えている場合は、判定が否定されて、表示方式設定処理はステップST562へ移行する。
ステップST560で、CPU48Aは、個別枠96をディスプレイ26に対して表示させ、かつ、オブジェクト枠98をディスプレイ26に対して表示させない表示方式を設定する。ステップST560の処理が実行された後、表示方式設定処理はステップST564へ移行する。
ステップST562で、CPU48Aは、個別枠96をディスプレイ26に対して表示させず、かつ、オブジェクト枠98をディスプレイ26に対して表示させる表示方式を設定する。ステップST562の処理が実行された後、表示方式設定処理はステップST564へ移行する。
ステップST564で、CPU48Aは、表示方式設定処理を終了する条件(以下、「表示方式設定処理終了条件」とも称する)を満足したか否かを判定する。表示方式設定処理終了条件の一例としては、撮像装置10に対して設定されている撮像モードが解除された、との条件、又は、表示方式設定処理を終了させる指示が受付デバイス80によって受け付けられた、との条件等が挙げられる。ステップST564において、表示方式設定処理終了条件を満足していない場合は、判定が否定されて、表示方式設定処理はステップST550へ移行する。ステップST564において、表示方式設定処理終了条件を満足した場合は、表示方式設定処理が終了する。
このように、図47に示す例によれば、ライブビュー画像内に個別枠96とオブジェクト枠98とを並行して表示する並行表示処理と、ライブビュー画像内に個別枠96とオブジェクト枠98とを選択的に表示する選択表示処理とが選択的に行われるので、個別枠96又はオブジェクト枠98のみを常に表示する場合に比べ、個別枠96とオブジェクト枠98のうち、ユーザが意図する枠を表示させ易くすることができる。
また、図47に示す例によれば、複数の被写体の動き、撮像装置10の動き、及び、被写界深度のうちの少なくとも1つに応じて並行表示処理と選択表示処理とが選択的に行われるので、複数の被写体の動き、撮像装置10の動き、及び、複数の被写体の被写界深度の何れにも関わらず個別枠96又はオブジェクト枠98のみを常に表示する場合に比べ、個別枠96とオブジェクト枠98のうち、ユーザが意図する枠を表示させ易くすることができる。
上記実施形態では、個別枠96として四角形枠を例示したが、本開示の技術はこれに限定されない。例えば、CPU48Aは、複数の被写体の特性を取得し、取得した特性に応じて複数の個別枠96の表示態様を変化させるようにしてもよい。ここで、特性とは、例えば、被写体の個数、被写体の大きさ、被写体の種類、及び被写体の速度のうちの少なくとも1つを含む特性を指す。ここで、被写体は、本開示の技術に係る「構成要素」の一例である。
このように、複数の被写体の特性に応じて複数の個別枠96の表示態様を変化させる場合、例えば、図48に示す個別枠表示処理がCPU48Aによって実行される。図48に示すフローチャートは、図18に示すフローチャートに比べ、ステップST154に代えて、ステップST600~ステップST608を有する点が異なる。そのため、ここでは、図48に示す個別枠表示処理のうち、図18に示す個別枠表示処理と異なる部分についてのみ説明する。なお、以下の説明で個別枠96を形成する線として例示される通常線と太線と細線との間において、線の太さは、“細線<通常線<太線”である。
図48に示す個別枠表示処理では、ステップST600で、作成部48A3は、ステップST152で取得した認識結果情報94を参照して、被写体認識部48A2によって認識された被写体の個数(以下、「被写体数」とも称する)が既定被写体数以下であるか否かを判定する。既定被写体数は、固定値であってもよいし、受付デバイス80によって受け付けられた指示、又は、与えられた条件(例えば、撮像条件)に応じて変更される可変値であってもよい。ステップST600において、被写体数が既定被写体数以下の場合は、判定が肯定されて、個別枠表示処理はステップST602へ移行する。ステップST600において、被写体数が既定被写体数を超えている場合は、判定が否定されて、個別枠表示処理はステップST608へ移行する。
ステップST602で、作成部48A3は、ステップST152で取得した認識結果情報94を参照して、被写体領域の面積(例えば、複数の被写体領域の面積の平均値、中央値、又は最頻値)を算出し、算出した面積が既定面積以上であるか否かを判定する。ここで、既定面積は、固定値であってもよいし、受付デバイス80によって受け付けられた指示、又は、与えられた条件(例えば、撮像条件)に応じて変更される可変値であってもよい。ステップST602において、被写体領域の面積が既定面積未満の場合は、判定が否定されて、個別枠表示処理はステップST606へ移行する。ステップST602において、被写体領域の面積が既定面積以上の場合は、判定が肯定されて、個別枠表示処理はステップST604へ移行する。
ステップST604で、作成部48A3は、ステップST152で取得した認識結果情報94に基づいて個別枠96を通常線で作成することで個別枠入りライブビュー画像データを生成する。ステップST604の処理が実行された後、個別枠表示処理はステップST156へ移行する。
ステップST606で、作成部48A3は、ステップST152で取得した認識結果情報94に基づいて個別枠96を太線で作成することで個別枠入りライブビュー画像データを生成する。ステップST606の処理が実行された後、個別枠表示処理はステップST156へ移行する。
ステップST608で、作成部48A3は、ステップST152で取得した認識結果情報94に基づいて個別枠96を細線で作成することで個別枠入りライブビュー画像データを生成する。ステップST608の処理が実行された後、個別枠表示処理はステップST156へ移行する。
なお、枠線の種類が異なる複数の個別枠96が個別枠入りライブビュー画像内に混在した状態で表示されるようにしてもよい。この場合、例えば、被写体領域の面積毎に個別枠96の枠線の種類を変えるようにしてもよい。例えば、被写体領域の面積が小さい程、個別枠96の枠線の太さを太くするようにしてもよい。また、枠線の太さを無制限に太くするのではなく、被写体数に応じて個別枠の枠線の太さに制限を加えるようにしてもよい。例えば、1フレーム内において被写体認識部48A2によって認識された被写体の個数が一定数を超えた場合に、枠線の太さが維持されるようにすればよい。
また、図48に示す例では、個別枠96の枠線の太さが条件(例えば、被写体数及び被写体領域の面積)に応じて変更される形態例を示したが、これはあくまでも一例に過ぎず、個別枠96の枠線の形状、色、透明度、及び/又は点滅の時間間隔等が条件に応じて変更されるようにしてもよい。
また、被写体の種類に応じて、個別枠96の枠線の太さ、形状、色、透明度、及び/又は点滅の時間間隔等が変更されるようにしてもよい。また、被写体の速度に応じて、個別枠96の枠線の太さ、形状、色、透明度、及び/又は点滅の時間間隔等が変更されるようにしてもよい。
このように、複数の被写体の特性に応じて複数の個別枠96の表示態様を変化させることで、複数の被写体の特性を視覚的に把握することができる。また、被写体の個数、被写体の大きさ、被写体の種類、及び被写体の速度のうちの少なくとも1つを含む特性に応じて複数の個別枠96の表示態様を変化させることで、被写体の個数、被写体の大きさ、被写体の種類、及び被写体の速度のうちの少なくとも1つを視覚的に把握することができる。
上記実施形態では、個別枠96が表示又は非表示され、オブジェクト枠98が表示又は非表示される形態例を挙げたが、本開示の技術はこれに限定されず、個別枠96が徐々に表示されたり、徐々に非表示されるようにしてもよいし、オブジェクト枠98が徐々に表示されたり、徐々に非表示されるようにしてもよい。
この場合、例えば、図49に示すように、表示制御部48A4は、ライブビュー画像内において、個別枠96をフェードアウト方式で表示し、かつ、オブジェクト枠98をフェードイン方式で表示するようにしてもよい。逆に、一例として図50に示すように、表示制御部48A4は、ライブビュー画像内において、個別枠96をフェードイン方式で表示し、かつ、オブジェクト枠98をフェードアウト方式で表示するようにしてもよい。
このように、図49及び図50に示す例によれば、ライブビュー画像内において、個別枠96及びオブジェクト枠98の一方がフェードアウト方式で表示され、他方がフィードイン方式で表示されるので、個別枠96とオブジェクト枠98との両方を常に表示させておく場合に比べ、表示される画像に対する視認性を高めることができる。
上記実施形態では、撮像領域に含まれる複数の注目被写体を示す複数の注目被写体領域が1つのオブジェクトとして取り囲まれるオブジェクト枠98がディスプレイ26に表示される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、図51に示すように、ディスプレイ26にライブビュー画像が表示されている状態で、ライブビュー画像内で指定された制限領域に含まれる注目被写体領域に対してのみ、オブジェクト枠98が作成されて、ディスプレイ26に表示されるようにしてもよい。
この場合、表示制御部48A4は、ライブビュー画像内のうち、与えられた指示に従って定められた領域(図51に示す例で「制限領域」)内において、複数の注目被写体領域を他の画像領域と区別可能な態様で表示する。図51に示す例では、タッチパネル28によって受け付けられた指示(図51に示す例では、ユーザの指によるタッチ操作)に従って定められた制限領域内の複数の注目被写体領域(例えば、既定条件を満たす複数の顔領域)を1つのオブジェクトとして取り囲むオブジェクト枠98がライブビュー画像に重畳された状態でディスプレイ26に表示されている。
このように、図51に示す例によれば、ライブビュー画像内のうち、与えられた指示に従って定められた制限領域内において、複数の注目被写体領域が他の画像領域と区別可能な態様で表示されるので、特定の複数の被写体からグループに入れたくない被写体を意図的に排除することができる。
上記実施形態では、本開示の技術に係る「画像」の一例として、ライブビュー画像を挙げて説明したが、本開示の技術はこれに限定される必要はなく、ポストビュー画像又は記録用動画像等のように、ライブビュー画像以外の画像であってもよい。
上記実施形態では、撮像装置10として物理的なカメラ(以下、「物理カメラ」とも称する)を例示しているが、本開示の技術はこれに限定されず、物理カメラに代えて、異なる位置に設定された複数の物理カメラによって撮像されることで得られた撮像画像データに基づいて仮想的な視点から被写体を仮想的に撮像することで仮想視点画像データを生成する仮想カメラを適用してもよい。この場合、仮想視点画像データにより示される画像、すなわち、仮想視点画像内に個別枠96及びオブジェクト枠98が表示されるようにすればよい。
上記実施形態では、非位相差画素区分領域30Nと位相差画素区分領域30Pとを併用する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、非位相差画素区分領域30N及び位相差画素区分領域30Pに代えて、位相差画像データと非位相差画像データとが選択的に生成されて読み出されるエリアセンサとしてもよい。この場合、エリアセンサには、複数の感光画素が2次元状に配列されている。エリアセンサに含まれる感光画素には、例えば、遮光部材を有しない独立した一対のフォトダイオードが用いられる。非位相差画像データが生成されて読み出される場合、感光画素の全領域(一対のフォトダイオード)によって光電変換が行われ、位相差画像データが生成されて読み出される場合(例えば、パッシブ方式の測距を行う場合)、一対のフォトダイオードのうちの一方のフォトダイオードによって光電変換が行われる。ここで、一対のフォトダイオードのうちの一方のフォトダイオードは、上記実施形態で説明した第1位相差画素Lに対応するフォトダイオードであり、一対のフォトダイオードのうちの一方のフォトダイオードは、上記実施形態で説明した第2位相差画素Rに対応するフォトダイオードである。なお、エリアセンサに含まれる全ての感光画素によって位相差画像データと非位相差画像データとが選択的に生成されて読み出されるようにしてもよいが、これに限らず、エリアセンサに含まれる一部の感光画素によって位相差画像データと非位相差画像データとが選択的に生成されて読み出されるようにしてもよい。
上記実施形態では、位相差画素Pとして像面位相差画素が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子30に含まれている位相差画素Pに代えて非位相差画素Nが配置されるようにし、複数の位相差画素Pが含まれる位相差AF板が光電変換素子30とは別体で撮像装置本体12に設けられるようにしてもよい。
上記実施形態では、位相差画像データに基づく測距結果を利用したAF方式、すなわち、位相差AF方式を例示したが、本開示の技術はこれに限定されない。例えば、位相差AF方式に代えて、コントラストAF方式を採用してもよい。また、ステレオカメラから得られた一対の画像の視差を用いた測距結果に基づくAF方式、又は、レーザ光等によるTOF方式の測距結果を利用したAF方式を採用してもよい。
上記実施形態では、メカニカルシャッタ72の一例としてフォーカルプレーンシャッタを挙げて説明したが、本開示の技術はこれに限定されず、フォーカルプレーンシャッタに代えて、レンズシャッタ等の他種類のメカニカルシャッタを適用しても本開示の技術は成立する。
上記実施形態では、ストレージ48Bに画像処理プログラムが記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図52に示すように、画像処理プログラムが記憶媒体200に記憶されていてもよい。記憶媒体200は、非一時的記憶媒体である。記憶媒体200の一例としては、SSD又はUSBメモリなどの任意の可搬型の記憶媒体が挙げられる。
記憶媒体200に記憶されている画像処理プログラムは、コントローラ48にインストールされる。CPU48Aは、画像処理プログラムに従って画像処理を実行する。
また、通信網(図示省略)を介してコントローラ48に接続される他のコンピュータ又はサーバ装置等の記憶部に画像処理プログラムを記憶させておき、撮像装置10の要求に応じて画像処理プログラムがダウンロードされ、コントローラ48にインストールされるようにしてもよい。
なお、コントローラ48に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ48Bに画像処理プログラムの全てを記憶させておく必要はなく、画像処理プログラムの一部を記憶させておいてもよい。
図52に示す例では、撮像装置10にコントローラ48が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コントローラ48が撮像装置10の外部に設けられるようにしてもよい。
図52に示す例では、CPU48Aは、単数のCPUであるが、複数のCPUであってもよい。また、CPU48Aに代えてGPUを適用してもよい。
図52に示す例では、コントローラ48が例示されているが、本開示の技術はこれに限定されず、コントローラ48に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コントローラ48に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記実施形態で説明した画像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、画像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで画像処理を実行する。
画像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、画像処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、画像処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、画像処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、画像処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
プロセッサと、
上記プロセッサに接続又は内蔵されたメモリと、を備え、
上記プロセッサは、
被写体群が撮像装置によって撮像されることで得られた画像データに基づいて上記被写体群に含まれる被写体を認識し、
ディスプレイに対して、上記画像データにより示される画像を表示させ、
上記画像内の複数の被写体領域であって、上記被写体群に含まれる複数の被写体に対応しており、既定条件を満たす複数の被写体領域を、上記被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で上記画像内に表示する
画像処理装置。
プロセッサと、
上記プロセッサに接続又は内蔵されたメモリと、を備え、
上記プロセッサは、
被写体群が撮像装置によって撮像されることで得られた画像データに基づいて上記被写体群に含まれる被写体を認識し、
ディスプレイに対して、上記画像データにより示される画像を表示させ、
上記画像内の複数の被写体領域であって、上記被写体群に含まれる複数の被写体に対応しており、既定条件を満たす複数の被写体領域を、上記被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で上記画像内に表示する
画像処理装置。
(付記2)
上記プロセッサは、上記既定条件を満たす上記複数の被写体領域をグループ化したグループ化画像領域を上記1つのオブジェクトとして識別可能な態様で上記画像内に表示する付記1に記載の画像処理装置。
上記プロセッサは、上記既定条件を満たす上記複数の被写体領域をグループ化したグループ化画像領域を上記1つのオブジェクトとして識別可能な態様で上記画像内に表示する付記1に記載の画像処理装置。
(付記3)
上記プロセッサは、上記グループ化画像領域の境界を示す境界線を上記画像内に表示させることで、上記複数の被写体領域を上記1つのオブジェクトとして識別可能な態様で上記画像内に表示する付記2に記載の画像処理装置。
上記プロセッサは、上記グループ化画像領域の境界を示す境界線を上記画像内に表示させることで、上記複数の被写体領域を上記1つのオブジェクトとして識別可能な態様で上記画像内に表示する付記2に記載の画像処理装置。
(付記4)
上記境界線は、上記グループ化画像領域の外輪郭を示す輪郭線である付記3に記載の画像処理装置。
上記境界線は、上記グループ化画像領域の外輪郭を示す輪郭線である付記3に記載の画像処理装置。
(付記5)
上記輪郭線は、上記複数の被写体領域を取り囲むオブジェクト枠である付記4に記載の画像処理装置。
上記輪郭線は、上記複数の被写体領域を取り囲むオブジェクト枠である付記4に記載の画像処理装置。
(付記6)
上記プロセッサは、上記被写体群を構成する複数の構成要素を示す複数の構成要素画像領域のうちの少なくとも上記既定条件を満たす上記複数の被写体領域を個別に取り囲む複数の個別枠と、上記オブジェクト枠とを上記画像内に表示する付記5に記載の画像処理装置。
上記プロセッサは、上記被写体群を構成する複数の構成要素を示す複数の構成要素画像領域のうちの少なくとも上記既定条件を満たす上記複数の被写体領域を個別に取り囲む複数の個別枠と、上記オブジェクト枠とを上記画像内に表示する付記5に記載の画像処理装置。
(付記7)
上記プロセッサは、上記画像内において、上記個別枠をフェードアウト方式で表示し、かつ、上記オブジェクト枠をフェードイン方式で表示する付記6に記載の画像処理装置。
上記プロセッサは、上記画像内において、上記個別枠をフェードアウト方式で表示し、かつ、上記オブジェクト枠をフェードイン方式で表示する付記6に記載の画像処理装置。
(付記8)
上記プロセッサは、上記画像内において、上記個別枠をフェードイン方式で表示し、かつ、上記オブジェクト枠をフェードアウト方式で表示する付記6に記載の画像処理装置。
上記プロセッサは、上記画像内において、上記個別枠をフェードイン方式で表示し、かつ、上記オブジェクト枠をフェードアウト方式で表示する付記6に記載の画像処理装置。
(付記9)
上記プロセッサは、上記画像データ及び学習済みモデルに基づいて、上記被写体群に含まれる被写体を認識する付記1から付記8の何れか1つに記載の画像処理装置。
上記プロセッサは、上記画像データ及び学習済みモデルに基づいて、上記被写体群に含まれる被写体を認識する付記1から付記8の何れか1つに記載の画像処理装置。
(付記10)
上記プロセッサは、上記画像内のうち、与えられた指示に従って定められた領域内において、上記複数の被写体領域を他の画像領域と区別可能な態様で表示する付記1から付記9の何れか1つに記載の画像処理装置。
上記プロセッサは、上記画像内のうち、与えられた指示に従って定められた領域内において、上記複数の被写体領域を他の画像領域と区別可能な態様で表示する付記1から付記9の何れか1つに記載の画像処理装置。
(付記11)
付記1から付記10の何れか1つに記載の画像処理装置と、
上記被写体群を含む撮像領域を撮像するイメージセンサと、
を備えた撮像装置。
付記1から付記10の何れか1つに記載の画像処理装置と、
上記被写体群を含む撮像領域を撮像するイメージセンサと、
を備えた撮像装置。
(付記12)
光軸方向に移動可能なフォーカスレンズを有する撮像光学系を更に含み、
上記プロセッサは、上記フォーカスレンズを上記光軸方向に移動させることで上記複数の被写体に対するピント合わせを行う付記11に記載の撮像装置。
光軸方向に移動可能なフォーカスレンズを有する撮像光学系を更に含み、
上記プロセッサは、上記フォーカスレンズを上記光軸方向に移動させることで上記複数の被写体に対するピント合わせを行う付記11に記載の撮像装置。
(付記13)
上記プロセッサは、
上記複数の被写体に対する焦点の検出を行い、
上記焦点の検出結果に基づいて上記ピント合わせを行う付記12に記載の撮像装置。
上記プロセッサは、
上記複数の被写体に対する焦点の検出を行い、
上記焦点の検出結果に基づいて上記ピント合わせを行う付記12に記載の撮像装置。
(付記14)
上記プロセッサは、上記複数の被写体に対する至近側合焦位置と無限遠側合焦位置との中間位置に上記フォーカスレンズを移動させることで上記ピント合わせを行う付記12又は付記13に記載の撮像装置。
上記プロセッサは、上記複数の被写体に対する至近側合焦位置と無限遠側合焦位置との中間位置に上記フォーカスレンズを移動させることで上記ピント合わせを行う付記12又は付記13に記載の撮像装置。
(付記15)
上記プロセッサは、上記複数の被写体が被写界深度に含まれる合焦位置に上記フォーカスレンズを移動させることで上記ピント合わせを行う付記12から付記14の何れか1つに記載の撮像装置。
上記プロセッサは、上記複数の被写体が被写界深度に含まれる合焦位置に上記フォーカスレンズを移動させることで上記ピント合わせを行う付記12から付記14の何れか1つに記載の撮像装置。
(付記16)
上記撮像光学系は、絞りを含み、上記プロセッサは、上記絞りを作動させることで上記複数の被写体を被写界深度に収める付記12から付記15の何れか1つに記載の撮像装置。
上記撮像光学系は、絞りを含み、上記プロセッサは、上記絞りを作動させることで上記複数の被写体を被写界深度に収める付記12から付記15の何れか1つに記載の撮像装置。
Claims (39)
- プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
被写体群が撮像装置によって撮像されることで得られた画像データに基づいて前記被写体群に含まれる被写体を認識し、
ディスプレイに対して、前記画像データにより示される画像を表示させ、
前記画像内の複数の被写体領域であって、
前記被写体群に含まれる複数の被写体に対応しており、
既定条件を満たす複数の被写体領域を、
前記被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で前記画像内に表示する
画像処理装置。 - 前記プロセッサは、
前記既定条件を満たす前記複数の被写体領域をグループ化したグループ化画像領域を 前記1つのオブジェクトとして識別可能な態様で前記画像内に表示する
請求項1に記載の画像処理装置。 - 前記プロセッサは、
前記グループ化画像領域の境界を示す境界線を前記画像内に表示させることで、
前記複数の被写体領域を前記1つのオブジェクトとして識別可能な態様で前記画像内に表示する
請求項2に記載の画像処理装置。 - 前記境界線は、前記グループ化画像領域の外輪郭を示す輪郭線である
請求項3に記載の画像処理装置。 - 前記輪郭線は、前記複数の被写体領域を取り囲むオブジェクト枠である
請求項4に記載の画像処理装置。 - 前記プロセッサは、
前記既定条件を満たす前記複数の被写体領域を取り囲むオブジェクト枠を
前記画像内に表示することで、
前記複数の被写体領域を前記1つのオブジェクトとして識別可能な態様で
前記画像内に表示する
請求項1に記載の画像処理装置。 - 前記プロセッサは、前記画像内において、
前記外輪郭の外側又は内側から前記外輪郭にかけて枠の大きさを動的に変化させることで前記オブジェクト枠を作成する
請求項5に記載の画像処理装置。 - 前記プロセッサは、
前記撮像装置から前記複数の被写体の各々までの距離を取得し、
前記複数の被写体について取得した前記距離に応じて前記オブジェクト枠の表示態様を変化させる
請求項5から請求項7の何れか一項に記載の画像処理装置。 - 前記オブジェクト枠は、前記画像内において、
前記複数の被写体領域のうちの前記距離が最短側の前記被写体領域から、前記複数の被写体領域のうちの前記距離が最長側の前記被写体領域にかけて窄まる形状の枠である
請求項8に記載の画像処理装置。 - 前記画像は第1動画像であり、
前記プロセッサは、前記第1動画像において、
前記複数の被写体領域のうちの一部の被写体領域と残りの被写体領域との第1間隔が 第1既定間隔以上空いた場合に前記オブジェクト枠を変形させる
請求項5から請求項9の何れか一項に記載の画像処理装置。 - 前記プロセッサは、
前記第1間隔が前記第1既定間隔以上空いた状態が既定時間以上維持されたことを条件に前記オブジェクト枠から前記一部の被写体領域を離脱させる形態に前記オブジェクト枠を変形させる
請求項10に記載の画像処理装置。 - 前記プロセッサは、
前記被写体群を構成する複数の構成要素を示す複数の構成要素画像領域のうちの少なくとも前記既定条件を満たす前記複数の被写体領域を個別に取り囲む複数の個別枠と、前記オブジェクト枠とを前記画像内に表示する
請求項5から請求項11の何れか一項に記載の画像処理装置。 - 前記プロセッサは、
前記複数の構成要素の特性を取得し、
取得した前記特性に応じて前記複数の個別枠の表示態様を変化させる
請求項12に記載の画像処理装置。 - 前記特性は、前記構成要素の個数、大きさ、種類、及び速度のうちの少なくとも1つを含む特性である
請求項13に記載の画像処理装置。 - 前記プロセッサは、
前記撮像装置の撮像モードが起動した場合に、前記画像内において、
前記個別枠よりも先に前記オブジェクト枠を表示する
請求項12から請求項14の何れか一項に記載の画像処理装置。 - 前記プロセッサは、
前記画像内に前記個別枠と前記オブジェクト枠とを並行して表示する並行表示処理と、 前記画像内に前記個別枠と前記オブジェクト枠とを選択的に表示する選択表示処理とを 選択的に行う
請求項12から請求項15の何れか一項に記載の画像処理装置。 - 前記プロセッサは、
前記複数の被写体の動き、前記撮像装置の動き、及び、被写界深度のうちの少なくとも1つに応じて
前記並行表示処理と前記選択表示処理とを選択的に行う
請求項16に記載の画像処理装置。 - 前記プロセッサは、
前記複数の被写体領域をピーキング方式で表示することで
前記複数の被写体領域を前記1つのオブジェクトとして識別可能な態様で
前記画像内に表示する
請求項1から請求項17の何れか一項に記載の画像処理装置。 - 前記プロセッサは、
前記複数の被写体領域をセグメンテーション方式で表示することで
前記複数の被写体領域を前記1つのオブジェクトとして識別可能な態様で
前記画像内に表示する
請求項1から請求項17の何れか一項に記載の画像処理装置。 - 前記プロセッサは、
前記複数の被写体領域のうち少なくとも1つの特定被写体領域の輪郭線を抽出し、
抽出した前記輪郭線を前記画像上に表示する請求項1から請求項19の何れか一項に記載の画像処理装置。 - 前記プロセッサは、
前記特定被写体領域により示される被写体と前記撮像装置との距離に応じて、
前記輪郭線の表示態様を変化させる
請求項20に記載の画像処理装置。 - 前記プロセッサは、
前記複数の被写体領域のうちの指定された対象被写体領域、及び
前記対象被写体領域以外の被写体領域のうちの一方を他方よりも強調して表示する
請求項1から請求項21の何れか一項に記載の画像処理装置。 - 前記プロセッサは、
前記画像内での前記輪郭線の位置を示す位置情報を取得し、
前記位置情報を記憶媒体に記憶する
請求項20又は請求項21に記載の画像処理装置。 - 前記既定条件は、
前記複数の被写体に対してピント合わせが行われた、
というピント合わせ条件を含む条件である
請求項1から請求項23の何れか一項に記載の画像処理装置。 - 前記既定条件は、
前記複数の被写体領域間のサイズの相違度が既定範囲内である、
という被写体サイズ条件を含む条件である
請求項1から請求項24の何れか一項に記載の画像処理装置。 - 前記被写体領域は、顔を示す顔領域であり、
前記サイズは、前記顔領域を取り囲む顔枠のサイズである
請求項25に記載の画像処理装置。 - 前記既定範囲は、前記複数の被写体領域間での前記顔枠のサイズの比に応じて異なる請求項26に記載の画像処理装置。
- 前記既定条件は、
前記複数の被写体間の第2間隔が第2既定間隔未満である、
という被写体間隔条件を含む条件である
請求項1から請求項27の何れか一項に記載の画像処理装置。 - 前記既定条件は、
前記複数の被写体領域により表現されるジェスチャーが共通している、
というジェスチャー共通条件を含む条件である
請求項1から請求項28の何れか一項に記載の画像処理装置。 - 前記既定条件は、
前記複数の被写体領域の移動方向が同一である、
という移動方向同一条件を含む条件である
請求項1から請求項29の何れか一項に記載の画像処理装置。 - 前記プロセッサは、
与えられた指示に従って前記複数の被写体領域を前記1つのオブジェクトに入れるか否かを選択する
請求項1から請求項30の何れか一項に記載の画像処理装置。 - 前記画像は第2動画像であり、
前記プロセッサは、
前記ディスプレイに前記第2動画像が表示されている状態で、
前記既定条件を満たした場合に特定処理を実行する
請求項1から請求項31の何れか一項に記載の画像処理装置。 - 前記既定条件は、
前記画像内において前記被写体群のうちの第1個別被写体を示す第1個別被写体領域と第2個別被写体を示す第2個別被写体領域との第3間隔が第3既定間隔以内になった、
という個別被写体領域間隔条件を含む条件であり、
前記プロセッサは、
前記個別被写体領域間隔条件を満たした場合に前記特定処理を実行する
請求項32に記載の画像処理装置。 - 前記プロセッサは、
前記第1個別被写体領域を取り囲む第1個別枠と
前記第2個別被写体領域を取り囲む第2個別枠と、を前記第2動画像内に表示し、
前記第1個別枠と前記第2個別枠との重複領域の面積が既定面積以上の場合に、
前記第3間隔が前記第3既定間隔以内になる
請求項33に記載の画像処理装置。 - 請求項1から請求項34の何れか一項に記載の画像処理装置と、
前記被写体群を含む撮像領域を撮像するイメージセンサと、
を備えた撮像装置。 - 光軸方向に移動可能なフォーカスレンズを有する撮像光学系を更に含み、
前記プロセッサは、前記フォーカスレンズを前記光軸方向に移動させることで前記複数の被写体に対するピント合わせを行う請求項35に記載の撮像装置。 - 前記既定条件は、既定の被写界深度よりも至近側に前記ピント合わせが行われた、という至近側ピント合わせ条件を含む条件である請求項36に記載の撮像装置。
- 被写体群が撮像装置によって撮像されることで得られた画像データに基づいて前記被写体群に含まれる被写体を認識すること、
ディスプレイに対して、前記画像データにより示される画像を表示させること、及び、
前記画像内の複数の被写体領域であって、前記被写体群に含まれる複数の被写体に対応しており、既定条件を満たす複数の被写体領域を、前記被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で前記画像内に表示することを含む
画像処理方法。 - コンピュータに、
被写体群が撮像装置によって撮像されることで得られた画像データに基づいて前記被写体群に含まれる被写体を認識すること、
ディスプレイに対して、前記画像データにより示される画像を表示させること、及び、
前記画像内の複数の被写体領域であって、前記被写体群に含まれる複数の被写体に対応しており、既定条件を満たす複数の被写体領域を、前記被写体を認識した結果に基づいて1つのオブジェクトとして識別可能な態様で前記画像内に表示することを含む処理を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022533784A JP7550223B2 (ja) | 2020-06-30 | 2021-06-08 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
CN202180045854.XA CN115812177A (zh) | 2020-06-30 | 2021-06-08 | 图像处理装置、摄像装置、图像处理方法及程序 |
US18/146,451 US20230127668A1 (en) | 2020-06-30 | 2022-12-26 | Image processing device, imaging apparatus, image processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020113521 | 2020-06-30 | ||
JP2020-113521 | 2020-06-30 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/146,451 Continuation US20230127668A1 (en) | 2020-06-30 | 2022-12-26 | Image processing device, imaging apparatus, image processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022004302A1 true WO2022004302A1 (ja) | 2022-01-06 |
Family
ID=79315235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/021753 WO2022004302A1 (ja) | 2020-06-30 | 2021-06-08 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230127668A1 (ja) |
JP (1) | JP7550223B2 (ja) |
CN (1) | CN115812177A (ja) |
WO (1) | WO2022004302A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4387254A1 (en) * | 2022-12-14 | 2024-06-19 | Connaught Electronics Ltd. | Focal adjustment of an automotive camera for different regions of interest |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252713A (ja) * | 2007-03-30 | 2008-10-16 | Nikon Corp | 撮像装置 |
JP2012253723A (ja) * | 2011-06-07 | 2012-12-20 | Panasonic Corp | 画像表示装置及び画像表示方法 |
JP2014192770A (ja) * | 2013-03-28 | 2014-10-06 | Denso Corp | 車両用周辺監視制御装置 |
JP2015023512A (ja) * | 2013-07-22 | 2015-02-02 | オリンパスイメージング株式会社 | 撮影装置、撮影方法及び撮影装置の撮影プログラム |
JP2019201387A (ja) * | 2018-05-18 | 2019-11-21 | 株式会社ザクティ | 追尾制御装置 |
JP2020013220A (ja) * | 2018-07-13 | 2020-01-23 | 株式会社神戸製鋼所 | 建設機械用の物体検出装置及び物体検出方法 |
JP2020078058A (ja) * | 2014-06-30 | 2020-05-21 | 日本電気株式会社 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105574006A (zh) * | 2014-10-10 | 2016-05-11 | 阿里巴巴集团控股有限公司 | 建立拍照模板数据库、提供拍照推荐信息的方法及装置 |
JP2018163365A (ja) * | 2018-06-07 | 2018-10-18 | 株式会社ニコン | 画像処理装置 |
-
2021
- 2021-06-08 JP JP2022533784A patent/JP7550223B2/ja active Active
- 2021-06-08 CN CN202180045854.XA patent/CN115812177A/zh active Pending
- 2021-06-08 WO PCT/JP2021/021753 patent/WO2022004302A1/ja active Application Filing
-
2022
- 2022-12-26 US US18/146,451 patent/US20230127668A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252713A (ja) * | 2007-03-30 | 2008-10-16 | Nikon Corp | 撮像装置 |
JP2012253723A (ja) * | 2011-06-07 | 2012-12-20 | Panasonic Corp | 画像表示装置及び画像表示方法 |
JP2014192770A (ja) * | 2013-03-28 | 2014-10-06 | Denso Corp | 車両用周辺監視制御装置 |
JP2015023512A (ja) * | 2013-07-22 | 2015-02-02 | オリンパスイメージング株式会社 | 撮影装置、撮影方法及び撮影装置の撮影プログラム |
JP2020078058A (ja) * | 2014-06-30 | 2020-05-21 | 日本電気株式会社 | 画像処理装置、監視システム、画像処理方法、及びプログラム |
JP2019201387A (ja) * | 2018-05-18 | 2019-11-21 | 株式会社ザクティ | 追尾制御装置 |
JP2020013220A (ja) * | 2018-07-13 | 2020-01-23 | 株式会社神戸製鋼所 | 建設機械用の物体検出装置及び物体検出方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4387254A1 (en) * | 2022-12-14 | 2024-06-19 | Connaught Electronics Ltd. | Focal adjustment of an automotive camera for different regions of interest |
Also Published As
Publication number | Publication date |
---|---|
JP7550223B2 (ja) | 2024-09-12 |
US20230127668A1 (en) | 2023-04-27 |
CN115812177A (zh) | 2023-03-17 |
JPWO2022004302A1 (ja) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9456141B2 (en) | Light-field based autofocus | |
US9280223B2 (en) | Imaging apparatus and continuous shooting imaging methods using a continuous touch user input | |
US9888182B2 (en) | Display apparatus | |
KR101347644B1 (ko) | 화상처리장치 및 그 제어 방법 | |
CN107087099B (zh) | 摄像装置、图像再现装置及其控制方法 | |
JP2014197824A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP6061816B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JPWO2015049899A1 (ja) | 画像表示装置および画像表示方法 | |
JP6202910B2 (ja) | 映像処理装置およびその制御方法、プログラム | |
US10109036B2 (en) | Image processing apparatus, control method for same, and program that performs image processing for image data having a focus state that is changeable | |
CN103220463A (zh) | 摄影装置和摄影装置的控制方法 | |
JP2014007580A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP5936358B2 (ja) | 画像表示装置、画像表示方法、撮像装置およびその制御方法、プログラムおよびそれを記憶する記憶媒体 | |
JP2005277813A (ja) | 電子撮像装置 | |
JP2014078826A (ja) | 撮像装置、その制御方法、および制御プログラム、並びに記録媒体 | |
WO2022004302A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US9912858B2 (en) | Image capturing apparatus and control method thereof | |
JP2017201818A (ja) | 領域抽出装置 | |
JP7346051B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2022145294A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2008139658A (ja) | 焦点調節装置、撮像装置、及びその制御方法 | |
JP5316083B2 (ja) | カメラ | |
WO2021065176A1 (ja) | 処理装置、電子機器、処理方法、及びプログラム | |
JP2013242408A (ja) | 撮像装置およびその制御方法 | |
WO2022004305A1 (ja) | 撮像支援装置、撮像装置、撮像支援方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21832080 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022533784 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21832080 Country of ref document: EP Kind code of ref document: A1 |