WO2022070938A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

撮像装置、撮像方法、およびプログラム Download PDF

Info

Publication number
WO2022070938A1
WO2022070938A1 PCT/JP2021/034034 JP2021034034W WO2022070938A1 WO 2022070938 A1 WO2022070938 A1 WO 2022070938A1 JP 2021034034 W JP2021034034 W JP 2021034034W WO 2022070938 A1 WO2022070938 A1 WO 2022070938A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
region
subject
focusing
area
Prior art date
Application number
PCT/JP2021/034034
Other languages
English (en)
French (fr)
Inventor
高弘 佐藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022553806A priority Critical patent/JPWO2022070938A1/ja
Publication of WO2022070938A1 publication Critical patent/WO2022070938A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present technology relates to an image pickup device, an image pickup method, and a program, and more particularly to an image pickup device, an image pickup method, and a program capable of acquiring an image of a quality desired by a user.
  • Patent Document 1 a face region, which is a human face region, is detected, and when a pupil region, which is a pupil region, can be detected from the detected face region, the pupil region is focused.
  • An imaging device that focuses on the face region when the pupil region cannot be detected has been proposed.
  • the pupil region is detected without detecting the animal's face region. Therefore, in this image pickup device, when the pupil region of the animal cannot be detected, there is no target for focusing, and it is difficult to obtain an image of the quality desired by the user.
  • This technology was made in view of such a situation, and enables the user to acquire an image of the desired quality.
  • the image pickup apparatus on one aspect of the present technology includes a setting unit that sets a first region including a first specific portion of the subject as a focusing region to be focused on, and the setting unit is the first specific portion. If is not detected, a second region including the second specific portion of the subject, which is a specific portion of the same type as the first specific portion, is set as the in-focus region.
  • the first region including the first specific portion of the subject is set as the focusing region to be focused.
  • the second region including the second specific part of the subject which is the same type of specific part as the first specific part, is used as the in-focus area.
  • FIG. 11 is a flowchart illustrating an image pickup process of an animal pupil detection mode following FIG.
  • FIG. 12 is a flowchart illustrating an image pickup process in an animal pupil detection mode following FIG. It is a figure which shows the selection example of the pupil area when the left-right pupil selection is an auto setting. It is a flowchart explaining the pupil area selection process of a bird.
  • FIG. 11 is a flowchart illustrating an image pickup process of an animal pupil detection mode following FIG.
  • FIG. 12 is a flowchart illustrating an image pickup process in an animal pupil detection mode following FIG. It is a figure which shows the selection example of the pupil area when the left-right pupil selection is an auto setting. It is a flowchart explaining the pupil area selection process of a bird.
  • FIG. 15 is a flowchart illustrating a bird's pupil region selection process following FIG.
  • FIG. 16 is a flowchart illustrating a bird's pupil region selection process following FIG. It is a figure which shows the example of the detection target switching setting screen. It is a figure which shows the example of the display screen when the detection target is switched. It is a figure which shows the hierarchical structure in the type of a subject.
  • FIG. 1 is a block diagram showing a configuration example of an image pickup apparatus according to an embodiment of the present technology.
  • the image pickup apparatus 100 of FIG. 1 has a detection mode for each specific part that detects a region that focuses on a specific part of a subject such as a person, an animal, or a bird.
  • Specific parts are the face and eyes.
  • Examples of the detection mode for each specific part of the subject include a human pupil detection mode, an animal pupil detection mode, and a bird pupil detection mode.
  • the image pickup apparatus 100 it is possible to provide a detection mode according to a specific part, not limited to the pupil of a person or the pupil of an animal.
  • the user can select and set a desired detection mode from each detection mode of the subject or a specific part of the subject.
  • the image pickup device 100 is configured to include a lens 101, an aperture 102, an image pickup element 103, an analog signal processing unit 104, an A / D conversion unit 105, and a digital signal processing unit 106.
  • the image pickup apparatus 100 is configured to include a lens driver 121, a TG (Timing Generator) 122, a gyro (sensor) 123, and a system controller 131.
  • the image pickup apparatus 100 is configured to include a display unit 141, a storage unit 142, an input unit 143, an output unit 144, a communication unit 145, an operation unit 146, and a drive 147.
  • the lens 101 adjusts the focus on the subject and collects the light from the subject.
  • the aperture 102 adjusts the exposure.
  • the image sensor 103 captures a subject and obtains a captured image. That is, the image sensor 103 photoelectrically converts the light from the subject and outputs it as an image signal to the analog signal processing unit 104.
  • the image pickup device 103 can capture a still image or a moving image by such photoelectric conversion.
  • the analog signal processing unit 104 performs analog signal processing on the image signal obtained by the image sensor 103.
  • the A / D conversion unit 105 A / D-converts the analog signal processed image signal to obtain image data which is a digital signal.
  • the digital signal processing unit 106 performs digital signal processing on the image data obtained by the A / D conversion unit 105.
  • the digital signal processing unit 106 detects at least a region of a subject or a specific portion of the subject from a moving image supplied as image data, and sets a focusing region which is a region to be focused. conduct.
  • the specific part of the subject is simply referred to as a specific part.
  • one of the areas is set as the in-focus area based on the detection result of the area of the subject or the specific part, and the area to be set as the in-focus area before the start of focusing. It is also performed to control the display of the focusing notice frame for notifying the focus and the focusing frame indicating the focusing area after the start of focusing.
  • the content of digital signal processing is arbitrary, and processing other than the above may be performed.
  • the digital signal processing unit 106 may perform color mixing correction, black level correction, white balance adjustment, demosaic processing, matrix processing, gamma correction, YC conversion, and the like as digital signal processing.
  • the digital signal processing unit 106 may perform codec processing, which is processing related to coding and decoding of image data, as digital signal processing.
  • the lens driver 121 drives the lens 101 and the aperture 102 to control the focal length, exposure, and the like.
  • the TG 122 drives the image pickup device 103 by generating a synchronization signal and supplying it to the image pickup device 103, and controls the image pickup.
  • the gyro 123 is a sensor that detects the position and orientation of the image pickup apparatus 100. The gyro 123 outputs information indicating the position and orientation of the image pickup apparatus 100 to the A / D conversion unit 105.
  • the system controller 131 is composed of, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and executes a program or processes data to each of the image pickup devices 100. Controls the processing unit. Further, the system controller 131 receives an operation input by the user based on the signal supplied from the operation unit 146, and performs processing or control corresponding to the operation input.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the system controller 131 can control the focal length, exposure, and the like based on the information indicating the focusing region supplied from the digital signal processing unit 106 and the like.
  • the display unit 141 is configured by, for example, a liquid crystal display or the like, and displays an image corresponding to the image data stored in the memory of the digital signal processing unit 106.
  • the display unit 141 can display the captured image obtained by the image sensor 103, the saved captured image, and the like.
  • the storage unit 142 stores the image data stored in the memory of the digital signal processing unit 106. At that time, the storage unit 142 stores the coded data encoded by the digital signal processing unit 106 in order to reduce the amount of data.
  • the coded data stored in the storage unit 142 is read out by the digital signal processing unit 106, decoded, and displayed on the display unit 141, for example.
  • the input unit 143 has an external input interface such as an external input terminal, and various data (for example, image data or coded data) supplied from the outside of the image pickup apparatus 100 to the digital signal processing unit 106 via the external input interface. Output.
  • various data for example, image data or coded data
  • the output unit 144 has an external output interface such as an external output terminal, and outputs various data supplied via the digital signal processing unit 106 to the outside of the image pickup apparatus 100 via the external output interface.
  • the communication unit 145 performs predetermined communication with another device, which is at least one of wired communication and wireless communication, and exchanges data with the other device via the predetermined communication. For example, the communication unit 145 transmits various data (for example, image data and coded data) supplied from the digital signal processing unit 106 to another device via predetermined communication. Further, the communication unit 145 receives various data from other devices via predetermined communication, and outputs the received data to the digital signal processing unit 106.
  • various data for example, image data and coded data supplied from the digital signal processing unit 106 to another device via predetermined communication.
  • the communication unit 145 receives various data from other devices via predetermined communication, and outputs the received data to the digital signal processing unit 106.
  • the operation unit 146 is composed of an arbitrary input device such as a key, a button, or a touch panel.
  • the operation unit 146 includes, for example, a shutter button.
  • the operation unit 146 receives an operation input by the user and outputs a signal corresponding to the operation input to the system controller 131.
  • the drive 147 reads out information (programs, data, etc.) stored in the removable recording medium 148, for example, a semiconductor memory, which is attached to the drive 147.
  • the drive 147 supplies the information read from the removable recording medium 148 to the system controller 131. Further, when the writable removable recording medium 148 is attached, the drive 147 can store the information (image data, coded data, etc.) supplied via the system controller 131 in the removable recording medium 148. ..
  • the lens 101, the aperture 102, and the lens driver 121 described above are formed as an interchangeable lens 151 that can be attached to and detached from the image pickup device 100 in a housing separate from the image pickup device 100. You may.
  • FIG. 2 is a block diagram showing a configuration example of the digital signal processing unit 106.
  • the digital signal processing unit 106 has a memory 211, a subject detection unit 212, a subject tracking unit 213, an area setting unit 214, a display control unit 215, and a codec processing unit 216.
  • the memory 211 stores the image data supplied from the A / D conversion unit 105.
  • the image data is, for example, image data of each frame of a moving image or image data of a still image.
  • the subject detection unit 212 detects the subject or the area of a specific portion from the image data stored in the memory 211 based on the signal corresponding to the user's operation input supplied from the system controller 131.
  • the subject detection unit 212 outputs the detection result of the region of the subject or a specific portion to the region setting unit 214 and the display control unit 215.
  • the subject detection unit 212 is composed of a person detection unit 212-1, an animal detection unit 212-2, and a bird detection unit 212-3.
  • the person detection unit 212-1 detects a person's face area when the detection mode for each specific part of the subject is set to the person's pupil detection mode, and sets the detection result of the detected face area as the area setting unit. It is output to 214 and the display control unit 215.
  • the person detection unit 212-1 detects the pupil area of the person based on the detection result of the face area, and sets the detection result of the pupil area as the area setting unit. It is output to 214 and the display control unit 215.
  • the animal detection unit 212-2 detects the animal pupil region when the detection mode for each specific part of the subject is set to the animal pupil detection mode, and detects the detected animal pupil region as a region. Output to the setting unit 214 and the display control unit 215.
  • a method such as deep learning using an animal dictionary is used.
  • animal dictionaries There are two types of animal dictionaries, one for front facing and one for landscape facing.
  • the animal detection unit 212-2 detects the animal pupil region according to the focus frame, and sets the detection result of the detected animal pupil region. Output to unit 214 and display control unit 215.
  • the focus frame is a frame used by the user to set an approximate focus position.
  • the area detection process is preferentially performed from the inside of the focus frame.
  • the types of animals include, but are not limited to, dogs, cats, lions, etc.
  • an animal detection unit may be provided for each type of animal having the same detection characteristics.
  • the bird detection unit 212-3 detects the bird's pupil region when the detection mode for each specific part of the subject is set to the bird's pupil detection mode, and detects the detected bird's pupil region as an area. Output to the setting unit 214 and the display control unit 215.
  • the bird detection unit 212-3 detects the bird's pupil region according to the focus frame, and sets the detection result of the detected bird's pupil region as an area. Output to unit 214 and display control unit 215.
  • the subject tracking unit 213 tracks the in-focus area set by the area setting unit 214. For example, tracking is performed for each area set as a focusing area by the area setting unit 214 (a face area detected or tracked, a pupil area, or an area designated by a normal AF (autofocus) frame described later). Is done.
  • the subject tracking unit 213 outputs information indicating the tracked in-focus area to the area setting unit 214 and the display control unit 215 as the tracking result.
  • the area setting unit 214 sets the area of the specific part of the subject detected by the subject detection unit 212 as the in-focus area according to the detection mode for each specific part of the subject.
  • the area setting unit 214 uses the tracking result of the specific part of the subject tracked by the subject tracking unit 213 instead.
  • the area setting unit 214 focuses in the normal AF (autofocus) mode instead of the detection mode for each specific part of the subject.
  • the area set as the area is set as the in-focus area. This area can be moved by the user and can be designated by an AF frame in a normal AF mode (hereinafter referred to as a normal AF frame).
  • the area setting unit 214 supplies the information of the set focusing area to the system controller 131.
  • the display control unit 215 generates a focus frame according to the signal corresponding to the user's operation input supplied from the system controller 131, superimposes it on the image from the memory 211, and displays it on the display unit 141.
  • the information of the focus frame is output to the subject detection unit 212.
  • the display control unit 215 generates a focusing notice frame, a focusing frame, a focus frame, a normal AF frame, and the like based on the signal corresponding to the user's operation input supplied from the system controller 131.
  • the display control unit 215 superimposes the generated focusing advance notice frame, focusing frame, focus frame, and normal AF frame on the image from the memory 211 and displays them on the display unit 141.
  • Information on the in-focus advance notice frame, the in-focus frame, the focus frame, and the normal AF frame is output to the subject detection unit 212 as needed.
  • the display control unit 215 generates GUI (Graphical User Interface) images such as menus, buttons, or cursors, and displays them together with captured images and captured images.
  • GUI Graphic User Interface
  • the codec processing unit 216 performs processing related to coding and decoding of image data of moving images and still images stored in the memory 211.
  • FIG. 3 is a diagram showing a display example when the pupil detection mode of each subject is set.
  • FIG. 3 in order from the top, when the human pupil detection mode, the animal pupil detection mode, and the bird pupil detection mode of the image pickup apparatus 11 are set, they are displayed on the display unit 141. A screen example is shown.
  • the screens A1 to A3 in the center of FIG. 3 are screens displayed before the operation for instructing the start of focusing is performed by the user.
  • the screens B1 to B3 on the right side are screens displayed after the operation for instructing the start of focusing is performed by the user.
  • the user switches between the human pupil detection mode, the animal pupil detection mode, and the bird pupil detection mode.
  • Focusing notice frame PF is displayed.
  • the focusing notice frame PF is displayed so as to partially overlap the focus frame F.
  • the pupil region which is the pupil region
  • the detected pupil region is in focus.
  • the focusing frame AF is displayed in the focusing area instead of the focusing advance notice frame PF, and focusing is performed on the focusing area surrounded by the focusing frame AF.
  • the detected face region is set as the gassho region and the gassho frame is displayed.
  • the animal pupil detection mode is set, as shown on the screen A2, the animal pupil region is detected inside and outside the focus frame F, and the detected pupil region is notified of focusing.
  • the frame PF is displayed. At this time, the detection of the pupil region is performed with priority given to the inside of the focus frame F.
  • the pupil area is set to the focusing area as shown in screen B2, and the focusing frame AF is set instead of the focusing advance notice frame PF. Displayed in the focus area.
  • focusing is performed on the pupil area surrounded by the focusing frame AF.
  • the animal pupil detection mode when one pupil region is not detected, the other pupil region that has been detected is set as the gassho region and the gassho frame is displayed.
  • the bird's pupil detection mode is set, as shown on the screen A3, the bird's pupil region is detected inside and outside the focus frame F, and the detected pupil region is focused.
  • the notice frame PF is displayed.
  • the detection of the pupil region is performed with priority given to the inside of the focus frame F.
  • the pupil area is set to the focusing area as shown in screen B3, and the focusing frame AF is set instead of the focusing advance notice frame PF. Displayed in the focus area. In addition, focusing is performed on the pupil area surrounded by the focusing frame AF.
  • the focusing notice frame PF is displayed in the front pupil area near the image pickup device, set in the focusing area, and the focusing frame AF is displayed. Will be done.
  • the region preset by the user is set as the gassho area and the gassho frame is displayed.
  • the focusing frame AF is displayed in a white frame and the focusing frame AF is displayed in a green frame.
  • the focusing frame AF is displayed in a different display method from the focusing notice frame PF. To.
  • the face area is detected before the operation for instructing the start of focusing is performed by the user, and the detection notice frame for focusing on the detected face area. PF is displayed.
  • the pupil region is detected before the operation for instructing the start of focusing is performed by the user, and the detection notice frame PF is used for the detected pupil region. Is displayed.
  • FIG. 4 is a diagram showing a part of settings related to the pupil detection mode of the image pickup apparatus 11.
  • FIG. 4 it is shown that a person, an animal, a bird, and an auto can be set as the detection target of the pupil detection mode.
  • the face or eyes of the person are detected in the pupil detection mode.
  • the animal's pupil is detected in the pupil detection mode.
  • the bird's pupil is detected in the pupil detection mode.
  • the pupil of the subject is detected in the order of priority set separately. For example, if the priority order of person, animal, and bird is set, the pupil of the person is detected, and if the pupil of the person is not detected, the pupil of the animal is detected and the pupil of the person and the animal is detected. If not, the pupils are detected in the set priority order, such as the bird's pupil being detected.
  • auto, the right pupil, and the left pupil can be set as the left and right pupil selection in the pupil detection mode.
  • the pupil to be focused is left to the image pickup device 111.
  • the right pupil is set as the left / right pupil selection in the pupil detection mode, the right pupil is targeted for focusing.
  • the left pupil is set as the left / right pupil selection in the pupil detection mode, the left pupil is targeted for focusing.
  • left and right pupil selection is executed in the case of the human pupil detection mode.
  • left and right pupil priority selection is performed in the animal pupil detection mode.
  • the meaning of "priority" here is that "if both the right pupil and the left pupil can be selected, the specified pupil is targeted for focusing".
  • the left and right pupil (priority) selection of these pupil detection modes is set, it is possible to temporarily switch the pupil to be focused according to the manual specification of the user.
  • the animal pupil detection mode if both the right pupil and the left pupil can be selected, the designated pupil can be focused.
  • the operation related to the left and right pupil selection differs between the human pupil detection mode and the animal pupil detection mode.
  • the animal pupil detection mode will be described in detail below.
  • FIG. 5 is a diagram showing an example of internal processing in the pupil detection mode of an animal.
  • the animal pupil (region) detection process and the tracking process are performed in parallel.
  • the display screen displayed on the display unit 141, the detection result of the animal pupil, and the tracking result of the animal pupil are shown in order from the top over time.
  • the animal (fox) to be detected by the pupil is displayed facing forward, and the focusing frame AF when the focusing area is set based on the result of detecting or tracking the pupil of the fox at each timing. Is displayed.
  • detection OK indicates that the pupil can be detected by the detection process
  • detection NG indicates that the pupil is detected by the detection process due to various reasons such as the size of the movement of the subject, blurring, and insufficient detection performance. Show that it is not done.
  • Tracking OK indicates that the pupil can be tracked by the tracking process.
  • the frame P shown in either the detection result or the tracking result indicates whether the focusing area is set based on the detection result or the tracking result at that timing, and the focusing frame AF is displayed. show.
  • the focusing frame AF is displayed in the left pupil of the fox on the display screen.
  • the left pupil of the fox is OK to detect and OK to track. That is, the focusing frame AF displayed at the timing t1 is displayed with the focusing area set based on the detection result of the pupil on the left side of the fox.
  • the in-focus frame AF is displayed in the left pupil of the fox on the display screen.
  • the left pupil of the fox is detection NG and tracking is OK. That is, the focusing frame AF displayed at the timing t2 is displayed with the focusing area set based on the tracking result of the pupil on the left side of the fox.
  • the in-focus frame AF is displayed in the left pupil of the fox on the display screen.
  • the left pupil of the fox is detection NG and tracking is OK. That is, the focusing frame AF displayed at the timing t3 is displayed with the focusing area set based on the tracking result of the pupil on the left side of the fox.
  • the in-focus frame AF is displayed in the left pupil of the fox on the display screen.
  • the left pupil of the fox is OK to detect and OK to track. That is, the focusing frame AF displayed at the timing t4 is displayed with the focusing area set based on the detection result of the pupil on the left side of the fox.
  • the focusing area is set based on the detection result, the focusing frame AF is displayed, and the animal's pupil is detected NG. If tracking is OK, the focusing area is set based on the tracking result and the focusing frame AF is displayed.
  • the focusing frame AF is displayed with the focusing area set based on the tracking result, not the detection result of the animal's pupil. .. At these timings, the detection accuracy of the pupil on the opposite (right) side where the focusing frame AF is displayed is not guaranteed.
  • the user does not know whether the focusing frame AF is displayed based on the detection result or the tracking result because it is an internal process.
  • FIG. 6 shows an example of internal processing when the left / right pupil selection setting of the human pupil detection mode is applied in the animal pupil detection mode.
  • FIG. 6 similarly to FIG. 5, the display screen displayed on the display unit 141, the detection result of the animal pupil, and the tracking result of the animal pupil are shown in order from the top over time. .. Further, in FIG. 6, the setting of left / right pupil selection is added under the tracking result.
  • the pupil to be focused can be set in advance as the left / right pupil selection.
  • the pupil to be focused can be switched during the imaging process according to the manual specification by the user.
  • the focusing frame AF is displayed in the left pupil of the fox on the display screen.
  • the left pupil is selected as the focusing target, and the left pupil of the fox is OK for detection and OK for tracking. That is, the focusing frame AF displayed at the timing t11 is displayed with the focusing area set based on the detection result of the pupil on the left side of the fox.
  • the image pickup apparatus 11 switches the focusing target to the right pupil according to the manual designation by the user.
  • the focusing frame E is displayed near the fox's nose on the display screen.
  • the focus target is switched to the right pupil.
  • the pupil on the right side is NG for detection and NG for tracking.
  • the left pupil, which is being tracked, is OK to track.
  • the left pupil of the fox is tracking OK, but the switched right pupil is NG for both detection and tracking, so the in-focus area is set as the in-focus area in normal AF mode as described above.
  • the area that is, in the focusing frame E displayed at timings t12 and t13, the area set as the focusing area in normal AF (the area located near the nose of the fox in FIG. 6) is set as the focusing area. , Is displayed.
  • the in-focus frame AF is displayed in the right pupil of the fox on the display screen.
  • the right pupil is selected as the focusing target, the detection processing and tracking processing of the right pupil are restored, and the right pupil of the fox is detection OK and tracking OK. That is, the focusing frame AF displayed at the timing t14 is displayed with the focusing area set based on the detection result of the right pupil.
  • the tracking process in the animal pupil detection mode cannot correspond to the pupil switching.
  • the human pupil detection mode if the pupil cannot be detected, it is set to focus on the detected face, but in the animal pupil detection mode, the face is not detected. Therefore, the AF operation is normal.
  • the depth of field is shallow, once the nose is in focus, the pupil becomes blurred and it becomes difficult to return the focus to the pupil.
  • the left and right pupil "priority" selection is executed.
  • FIG. 7 shows an example of internal processing when the setting of left / right pupil priority selection in the animal pupil detection mode of the present technology is applied.
  • the display screen displayed on the display unit 141, the detection result of the animal pupil, the tracking result of the animal pupil, and the setting contents of the left and right pupil priority selection are set in order from the top. Shown over time.
  • the focusing frame AF is displayed in the left pupil of the fox on the display screen.
  • the left pupil is preferentially selected as the focusing target, and the left pupil of the fox is OK for detection and OK for tracking. That is, the focusing frame AF displayed at the timing t21 is displayed with the focusing area set based on the detection result of the left pupil.
  • the image pickup apparatus 11 switches the focusing target to the right pupil according to the manual designation by the user.
  • the in-focus frame AF is displayed in the left pupil of the fox on the display screen.
  • the focus target is switched to the right pupil.
  • the timing is not switchable, for example, the right pupil is not detected, or if it is detected but the detection accuracy is not good, the left pupil before switching is detected and The tracked result is used.
  • the focusing frame AF displayed at the timings t22 and t23 is displayed with the focusing area set based on the tracking result of the left pupil.
  • the in-focus frame AF is displayed in the right pupil of the fox on the display screen.
  • the focus target is switched to the right pupil according to the manual specification by the user.
  • the pupil on the right side of the fox is OK to detect and track, and it is the timing when the focus target can be switched. Therefore, the focusing frame AF displayed at the timing t24 is displayed with the focusing area set based on the detection result of the right pupil.
  • the animal pupil detection mode when it is the timing to switch to the pupil of the side where the priority selection is set or the side designated manually, the side where the priority selection is set, Alternatively, the pupil on the side specified manually is used for focusing.
  • the pupil on the side where priority selection is set or the side specified manually is specified. Is used for focusing.
  • the imaging process of the pupil detection mode of the person of FIGS. 8 to 10 is started, for example, when the power is turned on by operating the power button.
  • the detection mode for each specific part of the subject is preset as the pupil detection mode of the person from the setting screen or the like.
  • the image pickup apparatus 11 acquires and displays an image. Specifically, the image pickup device 103 acquires an electric signal of each pixel by photoelectrically converting the light collected from the subject through the lens 101 and the diaphragm 102 on a pixel-by-pixel basis.
  • the image signal composed of the electric signal of each pixel is generated as digital image data via the analog signal processing unit 104 and the A / D conversion unit 105, and is stored in the memory 211 of the digital signal processing unit 106.
  • the display control unit 215 causes the display unit 141 to display an image based on the image data stored in the memory 211 as a live view image.
  • step S12 the person detection unit 212-1 detects the face area from the image data stored in the memory 211.
  • the person detection unit 212-1 supplies the detected face area information to the area setting unit 214 and the display control unit 215.
  • step S13 the person detection unit 212-1 detects the pupil region with respect to the face region in the focus frame according to the control of the system controller 131, and displays the detection result (information on the pupil region) with the region setting unit 214. Output to the control unit 215.
  • step S14 the area setting unit 214 determines whether or not the pupil can be detected. If it is determined in step S14 that the pupil can be detected, the process proceeds to step S15.
  • step S15 the area setting unit 214 uses the pupil detection result to perform subsequent processing for setting the in-focus area.
  • step S16 the area setting unit 214 determines whether or not the left / right pupil selection setting is automatic. If it is determined in step S16 that the left / right pupil selection setting is auto, the process proceeds to step S17.
  • step S17 the area setting unit 214 sets the face area as the in-focus area. After step S17, the process proceeds to step S18 in FIG.
  • step S18 the subject tracking unit 213 tracks the in-focus area set by the area setting unit 214, and outputs the tracking result to the area setting unit 214 and the display control unit 215.
  • the tracking process in step S18 is performed on the face area set as the in-focus area.
  • the user instructs to start focusing by pressing a predetermined button or half-pressing the shutter button.
  • the instruction to start focusing is given for each image imaging unit (frame).
  • the operation unit 146 receives an operation input by the user and outputs a signal corresponding to the operation input to the system controller 131.
  • step S19 the system controller 131 determines whether or not the focus start is instructed. If it is determined in step S19 that the in-focus start is instructed, the process proceeds to step S20.
  • step S20 the system controller 131 controls the lens driver 121 and drives the optical system such as the lens 101 and the aperture 102 so as to focus on the front pupil in the in-focus region. That is, the left and right pupils may be detected in the in-focus area. In this case, in the human pupil detection mode, the focus is controlled on the pupil in front of the image pickup apparatus 100.
  • the area setting unit 214 determines the pupil in the foreground.
  • step S21 the area setting unit 214 determines whether or not the pupil in front can be determined. If it is determined in step S21 that the front pupil can be determined, the process proceeds to step S22.
  • step S22 the area setting unit 214 changes the in-focus area to the front pupil. After step S22, the process proceeds to step S35.
  • step S21 If it is determined in step S21 that the pupil in front cannot be determined, the process proceeds to step S35. That is, the in-focus area remains the face area and is not changed.
  • step S19 If it is determined in step S19 that the start of focusing is not instructed, the process proceeds to step S36.
  • step S16 if it is determined in step S16 that the left / right pupil selection setting is not auto, the process proceeds to step S23.
  • step S23 the area setting unit 214 determines whether or not the pupil designated by the user can be selected.
  • the pupils designated by the user include the pupils set by selecting the left and right pupils and the pupils manually designated. For example, if the pupil designated by the user is detected and the detection accuracy is high, it is determined in step S23 that the pupil designated by the user can be selected, and the process proceeds to step S24.
  • step S24 the area setting unit 214 sets the pupil area designated by the user as the focusing area.
  • step S23 If it is determined in step S23 that the pupil designated by the user is not selectable, the process proceeds to step S26.
  • step S14 If it is determined in step S14 that the pupil cannot be detected, the process proceeds to step S25.
  • step S25 the area setting unit 214 determines whether or not the face can be detected. If it is determined in step S25 that the face can be detected, the process proceeds to step S26.
  • step S26 the area setting unit 214 sets the face area as the in-focus area.
  • step S25 If it is determined in step S25 that the face is not detected, the process proceeds to step S27.
  • step S27 the area setting unit 214 determines whether or not the in-focus area can be tracked. If it is determined in step S27 that the in-focus area can be tracked, the process proceeds to step S28.
  • step S28 the area setting unit 214 sets the focusing area based on the tracking result.
  • step S24 After step S24, step S26, and step S28, the process proceeds to step S32 in FIG.
  • step S27 determines whether the in-focus area cannot be tracked. If it is determined in step S27 that the in-focus area cannot be tracked, the process proceeds to step S29 in FIG.
  • step S29 the area setting unit 214 determines whether or not AF is set in the normal AF frame. If it is determined in step S29 that the AF is set to be performed in the normal AF frame, the process proceeds to step S30.
  • step S30 the area setting unit 214 sets the area designated by the normal AF frame as the focusing area.
  • step S31 the area setting unit 214 determines whether or not the tracking is set in the normal AF frame. If it is determined in step S31 that the tracking is set in the area designated by the normal AF frame, the process proceeds to step S32.
  • step S32 the subject tracking unit 213 tracks the in-focus area and outputs the tracking result to the area setting unit 214 and the display control unit 215.
  • the tracking is for the regions set as the focusing regions in steps S24, S26, S28, and S30 (the pupil region, the face region, and the region designated by the normal AF frame, which are detected or tracked). Is done.
  • step S32 the process proceeds to step S33.
  • step S31 If it is determined in step S31 that tracking is not set in the normal AF frame, the process proceeds to step S33.
  • step S33 the system controller 131 determines whether or not the focus start is instructed. If it is determined in step S33 that the in-focus start is instructed, the process proceeds to step S34.
  • step S34 the system controller 131 controls the lens driver 121 and drives the optical system such as the lens 101 and the aperture 102 so as to focus on the in-focus region. After that, the process proceeds to step S35.
  • step S35 the display control unit 215 causes the display unit 141 to display an image based on the image data stored in the memory 211 as a live view image. Further, the display control unit 215 superimposes the focusing frame indicating the set focusing area on the live view image and displays it on the display unit 141.
  • step S33 If it is determined in step S33 that the start of focusing is not instructed, the process proceeds to step S36.
  • step S36 the display control unit 215 generates an in-focus notice frame indicating an area to be set in the in-focus area, superimposes the in-focus notice frame on the live view image, and displays it on the display unit 141.
  • step S29 If it is determined in step S29 that AF is not set in the normal AF frame, the process proceeds to step S37 in FIG. In this case, the frame indicating the in-focus area is not displayed on the live view image.
  • step S37 the system controller 131 determines whether or not the shutter button has been fully pressed based on the signal corresponding to the operation input from the operation unit 146. If it is determined in step S37 that the shutter button has been fully pressed, the process proceeds to step S38.
  • step S38 the image pickup element 103 acquires the electric signal of each pixel of the image by photoelectrically converting the light collected from the subject through the optical system such as the lens 101 and the diaphragm 102 on a pixel-by-pixel basis.
  • Digital image data is generated from the image signal, which is an electric signal of each pixel of the image, via the analog signal processing unit 104 and the A / D conversion unit 105, and is stored in the memory 211 of the digital signal processing unit 106 as captured image data. It will be remembered.
  • step S39 the display control unit 215 causes the display unit 141 to display an image based on the captured image data stored in the memory 211 as a captured image.
  • step S40 the codec processing unit 216 encodes the captured image data stored in the memory 211.
  • the codec processing unit 216 supplies the encoded image data to the storage unit 142.
  • step S41 the codec processing unit 216 stores the encoded image data in the storage unit 142.
  • step S42 the system controller 131 determines whether or not the process is terminated, for example, whether or not the power button has been operated.
  • step S42 If it is determined in step S42 that the process is finished, the imaging process is finished.
  • step S42 If it is determined in step S42 that the process is not completed, the process returns to step S11 in FIG. 8, and the subsequent processes are repeated.
  • the face region is set as the in-focus region.
  • ⁇ Animal pupil detection mode imaging process> 11 to 13 are flowcharts illustrating an image pickup process in the animal pupil detection mode of the image pickup apparatus 100.
  • the imaging process of the animal pupil detection mode of FIGS. 11 to 13 is started, for example, when the power is turned on by operating the power button.
  • the animal pupil detection mode is preset on the setting screen or the like. 11 to 13, an example in which the animal pupil is detected by the animal detection unit 212-2 that detects the pupil of a cat or a dog will be described.
  • step S61 of FIG. 11 an image is acquired and displayed in the same manner as the process of step S11 of FIG.
  • step S62 the animal detection unit 212-2 detects the pupil region from the image data stored in the memory 211 using the animal dictionary.
  • the animal detection unit 212-2 supplies the detection result (information on the detected pupil region) to the region setting unit 214 and the display control unit 215.
  • step S63 the area setting unit 214 determines whether or not the pupil area can be detected. If it is determined in step S63 that the pupil region can be detected, the process proceeds to step S64.
  • step S64 the area setting unit 214 uses the pupil detection result to perform subsequent processing for setting the in-focus area.
  • step S65 the area setting unit 214 determines whether or not the left / right pupil selection setting is automatic. If it is determined in step S65 that the left / right pupil selection setting is auto, the process proceeds to step S66.
  • step S66 the area setting unit 214 automatically selects the pupil area and sets it as the in-focus area.
  • FIG. 14 is a diagram showing an example of selecting a pupil region when the left / right pupil selection in step S66 of FIG. 11 is set to auto.
  • FIG. 14 shows images P1 to P7 with a fox as a subject.
  • the foxes shown in images P1 to P7 have different face orientations (angles).
  • the solid rectangle indicates the front pupil region detected in each image, and the broken line rectangle indicates the back pupil region detected in each image.
  • Image P1 shows a fox facing to the left.
  • Image P2 shows a fox facing diagonally forward to the left.
  • Image P3 shows a fox with his face facing diagonally forward to the left.
  • Image P4 shows a fox facing forward.
  • Image P5 shows a fox with his face facing diagonally forward to the right.
  • Image P6 shows a fox facing diagonally forward to the right.
  • Image P7 shows a fox facing to the right.
  • the images P1, image P2, image P6, and image P7 showing the fox facing diagonally forward or laterally (left and right) are in the foreground when viewed from the image pickup apparatus 100, respectively. It shows the case where only the position pupil area is detected.
  • Two pupil regions are detected in each of the image P3 and the image P5 in which the fox facing the face slightly diagonally forward is shown, and one of the pupil regions is in front of the image pickup device 100. It is easy to determine whether the other pupil region is located in the back.
  • the pupil region located in front of the image pickup apparatus 100 and close to the center of the focus frame is selected, and the focus advance notice frame or the focus frame is displayed in the selected pupil region. ..
  • step S65 if it is determined in step S65 that the left / right pupil selection setting is not auto, the process proceeds to step S67.
  • step S67 the area setting unit 214 determines whether or not the pupil designated by the user can be selected. For example, it is determined in step S67 that the manually specified pupil can be selected, such as when the specified pupil region can be detected or the detection accuracy of the specified pupil region is higher than a predetermined threshold value. The process proceeds to step S68.
  • step S68 the area setting unit 214 sets one of the pupil areas designated by the user as the in-focus area.
  • step S67 If it is determined in step S67 that one of the pupil regions designated by the user is not selectable, the process proceeds to step S69.
  • step S69 the area setting unit 214 sets the other pupil as the in-focus area.
  • step S63 If it is determined in step S63 that the pupil region cannot be detected, the process proceeds to step S70.
  • step S70 the area setting unit 214 determines whether or not the in-focus area can be tracked. If it is determined in step S70 that the in-focus area can be tracked, the process proceeds to step S71.
  • step S71 the area setting unit 214 sets the focusing area based on the tracking result.
  • step S70 If it is determined in step S70 that the in-focus area cannot be tracked, the process proceeds to step S72 in FIG.
  • step S72 the area setting unit 214 determines whether or not AF is set in the normal AF frame. If it is determined in step S72 that the AF is set to be performed in the normal AF frame, the process proceeds to step S73.
  • step S73 the area setting unit 214 sets the area designated by the normal AF frame as the focusing area.
  • step S74 the area setting unit 214 determines whether or not the tracking is set in the normal AF frame. If it is determined in step S74 that the tracking is set in the normal AF frame, the process proceeds to step S75.
  • step S75 the subject tracking unit 213 tracks the in-focus area.
  • the tracking is a region set as an in-focus region in steps S66, S68, S69, S71, and S73, respectively (a region designated by a detected or tracked pupil region, a face region, and a normal AF frame). Is done against. After that, the process proceeds to step S76.
  • step S74 If it is determined in step S74 that tracking is not set in the normal AF frame, step S75 is skipped and the process proceeds to step S76.
  • step S72 If it is determined in step S72 that AF is not set in the normal AF frame, the process proceeds to step S80 in FIG.
  • step S76 to FIG. 13 in FIG. 12 is basically the same process as step S33 in FIG. 9 to step S42 in FIG. 10, and the description thereof will be repeated and will be omitted.
  • the other pupil region is set as the in-focus region.
  • FIG. 15 is a flowchart illustrating an image pickup process in the bird pupil detection mode of the image pickup apparatus 100.
  • the image pickup process in the bird pupil detection mode of FIG. 15 is started, for example, when the power is turned on by operating the power button.
  • the bird's eye detection mode is preset on the setting screen or the like.
  • FIG. 15 an example in which a bird's pupil is detected by a bird detection unit 212-3 that detects a bird's pupil will be described.
  • step S101 of FIG. 15 an image is acquired and displayed in the same manner as the process of step S11 of FIG.
  • step S102 the bird detection unit 212-3 detects the pupil region from the image data stored in the memory 211 using the bird dictionary.
  • the bird detection unit 212-3 supplies the detected detection result to the area setting unit 214 and the display control unit 215.
  • step S103 the area setting unit 214 determines whether or not the pupil area can be detected. If it is determined in step S103 that the pupil region can be detected, the process proceeds to step S104.
  • step S104 the area setting unit 214 uses the pupil detection result to perform subsequent processing for setting the in-focus area.
  • step S105 the area setting unit 214 automatically selects the pupil area and sets it as the in-focus area.
  • step S103 If it is determined in step S103 that the pupil region cannot be detected, the process proceeds to step S106.
  • step S106 the area setting unit 214 determines whether or not the in-focus area can be tracked. If it is determined in step S106 that the in-focus area can be tracked, the process proceeds to step S107.
  • step S107 the area setting unit 214 sets the focusing area based on the tracking result.
  • step S106 If it is determined in step S106 that the in-focus area cannot be tracked, the process proceeds to step S108 in FIG.
  • step S108 the area setting unit 214 determines whether or not AF is set in the normal AF frame. If it is determined in step S108 that the AF is set to be performed in the normal AF frame, the process proceeds to step S109.
  • step S109 the area setting unit 214 sets the area designated by the normal AF frame as the focusing area.
  • step S110 the area setting unit 214 determines whether or not the tracking is set in the normal AF frame. If it is determined in step S110 that the tracking is set in the normal AF frame, the process proceeds to step S111.
  • step S111 the subject tracking unit 213 tracks the in-focus area.
  • the tracking is performed for the areas set as the in-focus areas (the detected or tracked pupil area, the face area, and the area specified by the normal AF frame) in steps S105, S107, and S109, respectively. Will be. After that, the process proceeds to step S112.
  • step S111 is skipped and the process proceeds to step S112.
  • step S108 If it is determined in step S108 that AF is not set in the normal AF frame, the process proceeds to step S116 in FIG.
  • step S112 to FIG. 17 of FIG. 16 is basically the same process as step S33 of FIG. 9 to step S42 of FIG. 10, and the description thereof will be repeated and will be omitted.
  • the area set as the in-focus area in the normal AF mode that is, the area specified by the normal AF frame is in focus. Set as the focus area.
  • FIG. 18 is a diagram showing an example of a detection target switching setting screen.
  • the detection target switching setting screen is a screen for setting a detection mode that can be switched by a predetermined operation among the detection modes of a specific part of the subject.
  • FIG. 18 from left to right, a person icon, a check box under the person icon, an animal icon, a check box under the animal icon, and a bird icon and a check box under the bird icon. Is displayed.
  • the icon of each subject can be selected by moving the cursor C. Then, it is possible to switch whether or not to check the check box under the icon of the selected subject.
  • the detection mode in which the check is input is set to the detection mode that can be selected according to the user's operation.
  • the subject detection mode that the user does not need can be disabled by unchecking the check box. That is, the detection mode of the subject whose check box is unchecked can be excluded from the selection target. As a result, it is possible to use them properly according to the user's preference.
  • the person's pupil detection mode is enabled and can be selected.
  • the animal pupil detection mode that detects the animal's pupil is enabled and can be selected.
  • the detection mode of the image pickup device 11 is enabled and the bird's pupil detection mode for detecting the bird's pupil is enabled, and the state becomes selectable.
  • the detection target switching screen not only the setting for detecting the eyes of animals and the eyes of birds, but also the identification of subjects such as the eyes, face, part of the face, neck, and head of all living things such as fish, reptiles, and amphibians. It may be possible to set the detection of a part or the whole body (subject).
  • the subject to be detected is not limited to living things, but detection of specific parts of the subject such as vehicle headlights, front emblems, windshields, handles, drivers, or driver's seats, or motorcycle headlights or helmets. May be set.
  • the detection mode of the image pickup apparatus 11 can be switched to one of a human pupil detection mode, an animal pupil detection mode, and a bird pupil detection mode according to the user's operation. can.
  • FIG. 19 is a diagram showing an example of a display screen when the detection target is switched.
  • the display screen Mode_H when the human pupil detection mode is switched to is shown on the left side.
  • the display screen Mode_A when the animal pupil detection mode is switched to is shown.
  • the display screen Mode_B when the bird's pupil detection mode is switched to is shown. People, animals, and birds are displayed on each display screen.
  • the focusing notice frame PF displayed before the start of focusing is instructed is displayed around the face of the person to be detected.
  • the focusing notice frame PF displayed before the start of focusing is instructed is displayed around the pupil of the animal to be detected.
  • the detection target is a bird
  • the focusing notice frame PF displayed before the focus start is instructed is displayed around the pupil of the bird to be detected.
  • the detection mode is the human pupil detection mode and the display screen Mode_H is displayed and the user operates a predetermined button
  • the detection mode is switched to the animal pupil detection mode.
  • the display screen Mode_H changes to the display screen Mode_A.
  • the detection mode is the animal pupil detection mode and the display screen Mode_A is displayed and the user operates a predetermined button
  • the detection mode is switched to the bird pupil detection mode.
  • the display screen Mode_A changes to the display screen Mode_B.
  • the detection mode is the bird's eye detection mode and the display screen Mode_B is displayed
  • the detection mode is switched to the animal's eye detection mode.
  • the display screen Mode_B changes to the display screen Mode_H.
  • the human pupil detection mode, the animal pupil detection mode, and the bird detection mode are managed in the same hierarchy.
  • the bird detection mode is the animal pupil detection mode. It may be managed in the lower hierarchy.
  • FIG. 20 is a diagram showing a hierarchical structure of subject types.
  • the operation when the pupil region is not detected is not limited to the above processing, and may be used properly according to the setting by the user or the like. At that time, depending on the target subject or the specific part that was not detected, the operation when the detection is not detected is changed to the "second best means".
  • the place where the user wants to focus differs depending on the type of subject and the user's preference.
  • the recognizable part may differ depending on the subject.
  • the "face”, “right eye”, and “left eye” can be recognized.
  • the "right pupil”, “left pupil”, and “nose” are recognizable.
  • the "pupil (the pupil in the foreground)” is recognizable.
  • "headlights”, “front windows”, and “drivers” can be recognized.
  • the second best means is to focus on the "face”. Even if you try to match it, you will focus on the high "nose”. However, it is preferable to focus on the visible "left pupil” rather than focusing on the "nose” as the second best means.
  • the subject When the subject is a person, even if the image pickup device 11 is instructed to focus on the "right pupil", when the "right pupil” cannot be seen, the person is not as tall as the animal. In addition, it is more natural for users to focus on the "face”. Further, when the subject is a person and the focus is on the visible “pupil” like an animal, the user feels that the image pickup apparatus 11 is ignoring the user's instruction. Therefore, when the subject is a person, the "face” is preferable as the second best means.
  • the "second best means” As described above, by individually controlling the “second best means” according to the subject, it is possible to automatically focus closer to the user's intention. In addition, the "second best means” that can be provided to the user can be automatically selected according to the different characteristics.
  • the area of the first specific part of the subject is set as the focusing area to be focused according to the operation of the user.
  • the region of the second specific portion of the subject which is the same type of specific portion as the first specific portion, is set as the in-focus region.
  • the area of the first specific part when the area of the first specific part is not detected, the area corresponding to the type of the subject is set as the in-focus area.
  • this technology can be applied not only to living things but also to specific parts of the subject such as vehicle headlights, front emblems, windshields, or driver's seats, or motorcycle headlights or helmets.
  • the detection mode for detecting a specific part of the subject is preset and used.
  • the user's intention such as which detection result or detection method is prioritized among multiple detection results or detection methods, or which subject is prioritized among multiple subjects is captured. Can tell the device.
  • the hair on the pupil may be focused instead of the pupil.
  • the position of the focal point is adjusted backward, or the subject is set in advance that the subject is likely to focus on the hair, and the image pickup device focuses based on the setting, depending on the user's intention. It is possible to obtain a suitable imaging result.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed from a network or a recording medium.
  • This recording medium is composed of, for example, as shown in FIG. 1, a removable recording medium 148 on which a program is recorded, which is distributed to distribute a program to a user separately from the main body of the device.
  • the removable recording medium 148 includes a magnetic disk (including a flexible disk) and an optical disk (including a CD-ROM and a DVD). Further, a magneto-optical disk (including MD (MiniDisc)) and a semiconductor memory are also included.
  • the program can be installed in the storage unit 142 by mounting the removable recording medium 148 in the drive 147.
  • the program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received via the communication unit 145 and installed in the storage unit 142.
  • this program can also be installed in advance in the ROM (Read Only Memory) in the storage unit 142 or the system controller 131.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, or processing is performed in parallel or at a necessary timing such as when a call is made. It may be a program to be performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a setting unit for setting a first area including a first specific part of the subject as an in-focus area to be focused is provided. When the first specific part is not detected, the setting unit sets a second region including a second specific part of the subject, which is a specific part of the same type as the first specific part.
  • An image pickup device set as the focal area.
  • the imaging device according to (2) above, wherein the first specific portion can be set to the left pupil or the right pupil of the subject by the user.
  • the setting unit sets the second region as the focusing region when the detection accuracy of the first specific portion is lower than a predetermined threshold value.
  • the image pickup apparatus according to any one of 1) to (4).
  • the setting unit sets a region corresponding to the type of the subject as the focusing region when the first specific portion is not detected.
  • the setting unit includes the second region or the first specific part according to the type of the subject, and is more than the first specific part.
  • the image pickup apparatus wherein a third region including a third specific portion of the subject, which is also large, is set as the focusing region.
  • the first specific part is one of the left and right pupils, the second specific part is the other pupil, and the third specific part is the face.
  • the imaging device described. When the first specific portion is not detected, the setting unit includes the second region and the first specific portion according to the type of the subject, and is larger than the first specific portion.
  • a third region including a third specific portion of the subject or a fourth region designated by a user's operation is set as the focusing region.
  • the imaging device according to any one of (6) to (9) above, wherein the type of the subject is a person, an animal, or a bird.
  • the image pickup apparatus according to any one of (1) to (10) above, wherein the type of the subject to be detected can be set in advance.
  • the image pickup apparatus according to any one of (1) to (11), further comprising a region detection unit for detecting at least the first region using a dictionary according to the type of the subject.
  • a tracking unit for tracking at least the first region.
  • the imaging device according to any one of (1) to (12) above, wherein the setting unit sets the second region as the focusing region when the first region cannot be tracked.
  • Focusing instruction unit that instructs the start of focusing in the image imaging unit.
  • Focusing instruction unit that instructs the start of focusing in the image imaging unit.
  • the imaging device according to any one of (1) to (13) above, further comprising a display control unit that controls the display of information indicating the focusing region when the start of focusing is instructed.
  • An imaging instruction unit that instructs imaging, and an imaging instruction unit (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1) to (1).
  • the image pickup apparatus according to any one of 14).
  • the image pickup device The first area including the first specific part of the subject is set as the focusing area to be focused.
  • a second region including the second specific part of the subject which is a specific part of the same type as the first specific part, is set as the in-focus area.
  • the computer is made to function as a setting unit for setting the first area including the first specific part of the subject as the focusing area to be focused.
  • the setting unit sets a second region including a second specific part of the subject, which is a specific part of the same type as the first specific part.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、ユーザが所望する品質の画像を取得することができるようにする撮像装置、撮像方法、およびプログラムに関する。 撮像装置は、被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定する。また、撮像装置は、第１の特定部位が検出されなかった場合、第１の特定部位と同じ種類の特定部位である、被写体の第２の特定部位を含む第２の領域を合焦領域として設定する。本技術は、撮像装置に適用することができる。

Description

撮像装置、撮像方法、およびプログラム
　本技術は、撮像装置、撮像方法、およびプログラムに関し、特に、ユーザが所望する品質の画像を取得することができるようにした撮像装置、撮像方法、およびプログラムに関する。
　特許文献１においては、人物の顔の領域である顔領域を検出し、検出した顔領域の中から、瞳の領域である瞳領域が検出できた場合、瞳領域に対して合焦を行い、瞳領域が検出できなかった場合、顔領域に対して合焦を行う撮像装置が提案されている。
国際公開第２０１５／０４５９１１号
　しかしながら、撮像装置においては、動物の撮像を行う場合、動物の顔領域を検出せずに、瞳領域の検出が行われる。したがって、この撮像装置においては、動物の瞳領域が検出できなかった場合、合焦の対象が存在せず、ユーザが所望する品質の画像を取得することが難しかった。
　本技術はこのような状況に鑑みてなされたものであり、ユーザが所望する品質の画像を取得することができるようにするものである。
　本技術の一側面の撮像装置は、被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定する設定部を備え、前記設定部は、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する。
　本技術の一側面においては、被写体の第１の特定部位を含む第１の領域が、焦点を合わせる合焦領域として設定される。また、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域が前記合焦領域として設定される。
本技術の一実施形態に係る撮像装置の構成例を示すブロック図である。 デジタル信号処理部の構成例を示すブロック図である。 各被写体の瞳検出モード時の表示例を示す図である。 撮像装置１１の瞳検出モードに関わる設定の一部を示す図である。 動物の瞳検出モードにおける内部処理の例を示す図である。 人物の瞳検出モードの左右瞳選択の設定が適用された場合の内部処理の例を示す図である。 動物の瞳検出モードにおいて、本技術の左右瞳選択の設定が適用された場合の内部処理の例を示す図である。 人物の瞳検出モードの撮像処理を説明するフローチャートである。 図８に続く、人物の瞳検出モードの撮像処理を説明するフローチャートである。 図９に続く、人物の瞳検出モードの撮像処理を説明するフローチャートである。 動物の瞳検出モードの撮像処理を説明するフローチャートである。 図１１に続く、動物の瞳検出モードの撮像処理を説明するフローチャートである。 図１２に続く、動物の瞳検出モードの撮像処理を説明するフローチャートである。 左右瞳選択がオートの設定である場合の瞳領域の選択例を示す図である。 鳥の瞳領域選択処理を説明するフローチャートである。 図１５に続く、鳥の瞳領域選択処理を説明するフローチャートである。 図１６に続く、鳥の瞳領域選択処理を説明するフローチャートである。 検出対象切換設定画面の例を示す図である。 検出対象が切り換えられた場合の表示画面の例を示す図である。 被写体の種類における階層構造を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．撮像装置
　２．各被写体の瞳検出モード
　３．動物の瞳検出モード
　４．撮像装置の動作
　５．その他
＜１．撮像装置＞
　＜撮像装置の構成例＞
　図１は、本技術の一実施形態に係る撮像装置の構成例を示すブロック図である。
　図１の撮像装置１００は、人物、動物、鳥などの被写体の特定部位に焦点を合わせる領域を検出する特定部位毎の検出モードを有している。特定部位は、顔や瞳などである。被写体の特定部位毎の検出モードとしては、例えば、人物の瞳検出モード、動物の瞳検出モード、および鳥の瞳検出モードなどがある。
　なお、撮像装置１００においては、人物の瞳または動物の瞳に限らず、特定部位に応じた検出モードを設けることが可能である。ユーザは、被写体や被写体の特定部位の各検出モードから、所望の検出モードを選択して、設定することができる。
　図１に示されるように、撮像装置１００は、レンズ１０１、絞り１０２、撮像素子１０３、アナログ信号処理部１０４、A/D変換部１０５、およびデジタル信号処理部１０６を含むように構成される。撮像装置１００は、レンズドライバ１２１、TG（Timing Generator）１２２、ジャイロ（センサ）１２３、およびシステムコントローラ１３１を含むように構成される。
　また、撮像装置１００は、表示部１４１、記憶部１４２、入力部１４３、出力部１４４、通信部１４５、操作部１４６、およびドライブ１４７を含むように構成される。
　レンズ１０１は、被写体に対する焦点を調整し、被写体からの光を集光する。絞り１０２は、露出の調整を行う。
　撮像素子１０３は、被写体を撮像して撮影画像を得る。すなわち、撮像素子１０３は、被写体からの光を光電変換して画像信号としてアナログ信号処理部１０４に出力する。撮像素子１０３は、このような光電変換により、静止画像を取り込むこともできるし、動画像を取り込むこともできる。
　アナログ信号処理部１０４は、撮像素子１０３により得られた画像信号に対してアナログ信号処理を行う。A/D変換部１０５は、アナログ信号処理された画像信号をA/D変換し、デジタル信号である画像データを得る。
　デジタル信号処理部１０６は、A/D変換部１０５において得られた画像データに対してデジタル信号処理を行う。デジタル信号処理部１０６は、デジタル信号処理として、少なくとも、画像データとして供給される動画像から被写体または被写体の特定部位の領域を検出し、焦点を合わせる領域である合焦領域を設定する処理などを行う。以下、被写体の特定部位を、単に特定部位と称する。
　また、デジタル信号処理部１０６においては、被写体または特定部位の領域の検出結果に基づいて、いずれかの領域を合焦領域に設定し、合焦開始前に合焦領域に設定される予定の領域を予告する合焦予告枠や、合焦開始後に合焦領域を示す合焦枠などの表示を制御する処理なども行われる。
　なお、デジタル信号処理の内容は任意であり、上述した以外の処理も行われるようにしてもよい。例えば、デジタル信号処理部１０６が、混色補正、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換などをデジタル信号処理として行うようにしてもよい。また、デジタル信号処理部１０６が、デジタル信号処理として、画像データの符号化や復号に関する処理であるコーデック処理を行うようにしてもよい。
　レンズドライバ１２１は、レンズ１０１および絞り１０２を駆動し、焦点距離または露出などを制御する。TG１２２は、同期信号を生成して撮像素子１０３に供給することにより撮像素子１０３を駆動し、撮像を制御する。ジャイロ１２３は、撮像装置１００の位置および姿勢を検知するセンサである。ジャイロ１２３は、撮像装置１００の位置および姿勢を示す情報をA/D変換部１０５に出力する。
　システムコントローラ１３１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などよりなり、プログラムを実行したり、データを処理したりして撮像装置１００の各処理部の制御を行う。また、システムコントローラ１３１は、操作部１４６から供給された信号に基づいて、ユーザによる操作入力を受け、操作入力に対応する処理または制御を行う。
　例えば、システムコントローラ１３１は、デジタル信号処理部１０６から供給される合焦領域を示す情報などに基づいて、焦点距離または露出などを制御することができる。
　表示部１４１は、例えば、液晶ディスプレイなどにより構成され、デジタル信号処理部１０６のメモリに記憶されている画像データに対応する画像を表示する。例えば、表示部１４１は、撮像素子１０３において得られた取り込み画像や保存した撮影画像などを表示することができる。
　記憶部１４２は、デジタル信号処理部１０６のメモリに記憶されている画像データを記憶する。その際、記憶部１４２は、データ量を低減させるために、デジタル信号処理部１０６により符号化された符号化データを記憶する。記憶部１４２に記憶されている符号化データは、デジタル信号処理部１０６により読み出され、復号されて、例えば、表示部１４１に表示される。
　入力部１４３は、外部入力端子などの外部入力インタフェースを有し、外部入力インタフェースを介して撮像装置１００の外部から供給される各種データ（例えば画像データや符号化データ）をデジタル信号処理部１０６に出力する。
　出力部１４４は、外部出力端子などの外部出力インタフェースを有し、デジタル信号処理部１０６を介して供給される各種データを、外部出力インタフェースを介して撮像装置１００の外部に出力する。
　通信部１４５は、他の装置と、有線通信および無線通信の少なくとも一方である所定の通信を行い、所定の通信を介して他の装置とデータの授受を行う。例えば、通信部１４５は、デジタル信号処理部１０６から供給される各種データ（例えば画像データや符号化データ）を、所定の通信を介して他の装置に送信する。また、通信部１４５は、所定の通信を介して他の装置から各種データを受信し、受信したデータをデジタル信号処理部１０６に出力する。
　操作部１４６は、例えば、キー、ボタン、またはタッチパネルなどの任意の入力デバイスにより構成される。操作部１４６には、例えば、シャッタボタンが含まれる。操作部１４６は、ユーザによる操作入力を受け、操作入力に対応する信号をシステムコントローラ１３１に出力する。
　ドライブ１４７は、自身に装着された、例えば、半導体メモリなどのリムーバブル記録媒体１４８に記憶されている情報（プログラムやデータなど）を読み出す。ドライブ１４７は、リムーバブル記録媒体１４８から読み出した情報をシステムコントローラ１３１に供給する。また、ドライブ１４７は、書き込み可能なリムーバブル記録媒体１４８が装着された場合、システムコントローラ１３１を介して供給される情報（画像データや符号化データなど）を、リムーバブル記録媒体１４８に記憶させることができる。
　なお、以上に説明したレンズ１０１、絞り１０２、およびレンズドライバ１２１は、撮像装置１００とは別筐体で、撮像装置１００に着脱可能な（交換可能な）交換式レンズ１５１として形成されるようにしてもよい。
　＜デジタル信号処理部の構成例＞
　図２は、デジタル信号処理部１０６の構成例を示すブロック図である。
　デジタル信号処理部１０６は、メモリ２１１、被写体検出部２１２、被写体追尾部２１３、領域設定部２１４、表示制御部２１５、およびコーデック処理部２１６を有する。
　メモリ２１１は、A/D変換部１０５から供給される画像データを記憶する。画像データは、例えば、動画像の各フレームの画像データまたは静止画像の画像データである。
　被写体検出部２１２は、システムコントローラ１３１から供給されるユーザの操作入力に対応する信号に基づいて、メモリ２１１に記憶されている画像データから被写体または特定部位の領域を検出する。被写体検出部２１２は、被写体または特定部位の領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。
　被写体検出部２１２は、人物検出部２１２－１、動物検出部２１２－２、および鳥検出部２１２－３から構成される。
　人物検出部２１２－１は、被写体の特定部位毎の検出モードが人物の瞳検出モードに設定されている場合に、人物の顔領域を検出し、検出した顔領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。人物検出部２１２－１は、合焦開始を指示する操作がユーザにより行われた場合、顔領域の検出結果に基づいて、人物の瞳領域を検出し、瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。
　動物検出部２１２－２は、被写体の特定部位毎の検出モードが動物の瞳検出モードに設定されている場合に、動物の瞳領域を検出し、検出した動物の瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。
　動物の瞳の検出には、例えば、動物辞書を用いたディープラーニングなどの手法が用いられる。動物辞書には、正面向き用と横向き用の２種類の辞書がある。動物検出部２１２－２は、合焦開始を指示する操作がユーザにより行われた場合、フォーカス枠に応じて、動物の瞳領域を検出し、検出した動物の瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。
　フォーカス枠とは、ユーザがおおよその焦点合わせの位置を設定するために用いられる枠である。フォーカス枠が設定されている場合、フォーカス枠の内側から優先的に領域の検出処理が行われる。
　動物の種類は、例えば、犬、猫、ライオンなどがあげられるが、それらに限定されない。なお、例えば、検出する特徴が同様の動物の種類毎にそれぞれ異なる動物検出部が設けられてもよい。
　鳥検出部２１２－３は、被写体の特定部位毎の検出モードが鳥の瞳検出モードに設定されている場合に、鳥の瞳領域を検出し、検出した鳥の瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。
　鳥の瞳の検出には、例えば、鳥辞書を用いたディープラーニングなどの手法が用いられる。鳥検出部２１２－３は、合焦開始を指示する操作がユーザにより行われた場合、フォーカス枠に応じて、鳥の瞳領域を検出し、検出した鳥の瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。
　被写体追尾部２１３は、領域設定部２１４により設定された合焦領域を追尾する。例えば、追尾は、領域設定部２１４により合焦領域として設定された各領域（検出または追尾された顔領域、瞳領域、または後述する通常のAF(オートフォーカス)枠により指定される領域）に対して行われる。被写体追尾部２１３は、追尾した合焦領域を示す情報を、追尾結果として、領域設定部２１４および表示制御部２１５に出力する。
　領域設定部２１４は、被写体の特定部位毎の検出モードに応じて、被写体検出部２１２により検出された被写体の特定部位の領域を合焦領域に設定する。領域設定部２１４は、被写体検出部２１２により被写体の特定部位の領域が検出されなかった場合、代わりに、被写体追尾部２１３により追尾された被写体の特定部位の追尾結果を用いる。
　なお、領域設定部２１４は、被写体の特定部位の領域が検出されず、かつ、追尾できなかった場合、被写体の特定部位ごとの検出モードではなく、通常のAF(オートフォーカス)モードにおいて、合焦領域に設定される領域を合焦領域に設定する。この領域は、ユーザにより移動可能であり、通常のAFモードのAF枠（以下、通常のAF枠と称する）により指定することができる。領域設定部２１４は、設定した合焦領域の情報をシステムコントローラ１３１に供給する。
　表示制御部２１５は、システムコントローラ１３１から供給されるユーザの操作入力に対応する信号に応じて、フォーカス枠を生成し、メモリ２１１からの画像に重畳して表示部１４１に表示させる。フォーカス枠の情報は、被写体検出部２１２に出力される。
　また、表示制御部２１５は、システムコントローラ１３１から供給されるユーザの操作入力に対応する信号に基づいて、合焦予告枠、合焦枠、フォーカス枠、通常のAF枠などを生成する。表示制御部２１５は、生成した合焦予告枠、合焦枠、フォーカス枠、通常のAF枠をメモリ２１１からの画像に重畳して表示部１４１に表示させる。合焦予告枠、合焦枠、フォーカス枠、通常のAF枠の情報は、必要に応じて、被写体検出部２１２に出力される。
　なお、表示制御部２１５は、メニュー、ボタン、またはカーソルなどのGUI（Graphical User Interface）の画像を生成して、取り込み画像や撮影画像などとともに表示する。
　コーデック処理部２１６は、メモリ２１１に記憶されている動画像や静止画像の画像データの符号化や復号に関する処理を行う。
＜２．各被写体の瞳検出モード＞
　＜各被写体の瞳検出モードの概要＞
　図３は、各被写体の瞳検出モード設定時の表示例を示す図である。
　図３においては、上から順に、撮像装置１１が有している、人物の瞳検出モード、動物の瞳検出モード、および鳥の瞳検出モードが設定されている場合に表示部１４１に表示される画面例が示されている。
　図３の中央の画面Ａ１乃至画面Ａ３は、合焦開始を指示する操作がユーザにより行われる前に表示される画面である。右側の画面Ｂ１乃至画面Ｂ３は、合焦開始を指示する操作がユーザにより行われた後に表示される画面である。
　人物の瞳検出モード、動物の瞳検出モード、および鳥の瞳検出モードの切り換えは、ユーザにより行われる。
　人物の瞳検出モードが設定されている場合、画面Ａ１に示すように、人物の顔の領域である顔領域のうち、フォーカス枠Ｆに重なる顔領域の検出が行われ、検出された顔領域に、合焦予告枠PFが表示される。画面Ａ１の例においては、フォーカス枠Ｆに一部重なる形で合焦予告枠PFが表示されている。
　この状態において合焦開始を指示する操作がユーザにより行われた場合、画面Ｂ１に示すように、顔領域を対象として瞳の領域である瞳領域の検出が行われ、検出された瞳領域が合焦領域に設定される。そして、合焦領域に、合焦枠AFが合焦予告枠PFに代えて表示され、合焦枠AFにより囲まれる合焦領域を対象として合焦が行われる。なお、詳しくは後述するが、人物の瞳検出モードにおいては、瞳領域が検出されなかった場合、検出されている顔領域が合掌領域に設定され、合掌枠が表示される。
　動物の瞳検出モードが設定されている場合、画面Ａ２に示されるように、フォーカス枠Ｆの内と外を対象として、動物の瞳領域の検出が行われ、検出された瞳領域に合焦予告枠PFが表示される。なお、このとき、瞳領域の検出は、フォーカス枠Ｆ内を優先して行われる。
　この状態において合焦開始を指示する操作がユーザにより行われた場合、画面Ｂ２に示すように、瞳領域が合焦領域に設定され、合焦予告枠PFに代えて、合焦枠AFが合焦領域に表示される。また、合焦枠AFにより囲まれる瞳領域を対象として合焦が行われる。なお、詳しくは後述するが、動物の瞳検出モードにおいては、一方の瞳領域が検出されなかった場合、検出されている他方の瞳領域が合掌領域に設定され、合掌枠が表示される。
　鳥の瞳検出モードが設定されている場合、画面Ａ３に示されるように、フォーカス枠Ｆの内と外を対象として、鳥の瞳領域の検出が行われ、検出された瞳領域に、合焦予告枠PFが表示される。なお、瞳領域の検出は、フォーカス枠Ｆ内を優先して行われる。
　この状態において合焦開始を指示する操作がユーザにより行われた場合、画面Ｂ３に示すように、瞳領域が合焦領域に設定され、合焦予告枠PFに代えて、合焦枠AFが合焦領域に表示される。また、合焦枠AFにより囲まれる瞳領域を対象として合焦が行われる。
　鳥の瞳検出モードにおいては、左右の瞳領域が検出された場合、撮像装置に近い、手前の瞳領域に合焦予告枠PFが表示され、合焦領域に設定され、合焦枠AFが表示される。なお、詳しくは後述するが、鳥の瞳検出モードにおいては、瞳領域が検出されなかった場合、ユーザにより予め設定された領域が合掌領域に設定され、合掌枠が表示される。
　また、例えば、合焦予告枠PFが白い枠で表示され、合焦枠AFが緑色の枠で表示されるというように、合焦枠AFは、合焦予告枠PFと異なる表示方法で表示される。
　以上のように、人間の瞳検出モードが設定されている場合、合焦開始を指示する操作がユーザにより行われる前に、顔領域の検出が行われ、検出された顔領域に合焦予告枠PFが表示される。
　一方、動物や鳥の瞳検出モードが設定されている場合、合焦開始を指示する操作がユーザにより行われる前に、瞳領域の検出が行われ、検出された瞳領域に合焦予告枠PFが表示される。
　合焦開始を指示する操作がユーザにより行われる前に合焦予告枠が表示されることにより、ユーザが意図する位置、または、意図しない位置が検出されていることが事前にわかるため、ユーザが自動合焦を行わないことを選択することが可能である。これにより、被写体の特定部位に着目した撮像を容易に行うことができるようになる。
　＜瞳検出モードに関連する設定＞
　図４は、撮像装置１１の瞳検出モードに関連する設定の一部を示す図である。
　図４においては、瞳検出モードの検出対象として、人物、動物、鳥、オートが設定可能であることが示されている。
　人物が検出対象として設定される場合、瞳検出モードにおいては、人物の顔または瞳が検出される。動物が検出対象として設定される場合、瞳検出モードにおいては、動物の瞳が検出される。鳥が検出対象として設定される場合、瞳検出モードにおいては、鳥の瞳が検出される。
　オートが検出対象として設定される場合、別途設定される優先順に被写体の瞳が検出される。例えば、人物、動物、鳥の優先順が設定されている場合には、人物の瞳が検出され、人物の瞳が検出されなければ、動物の瞳が検出され、人物および動物の瞳が検出されなければ、鳥の瞳が検出されるというように、設定されている優先順に瞳が検出される。
　また、図４においては、瞳検出モードの左右瞳選択として、オート、右側の瞳、左側の瞳が設定可能であることが示されている。
　オートが瞳検出モードの左右瞳選択として設定される場合、焦点を合わせる合焦対象の瞳が撮像装置１１１に任せられる。右側の瞳が瞳検出モードの左右瞳選択として設定される場合、右側の瞳が合焦対象とされる。左側の瞳が瞳検出モードの左右瞳選択として設定される場合、左側の瞳が合焦対象とされる。
　これらの瞳検出モードの左右瞳選択が設定されている場合でも、ユーザが所定のボタンなどの操作を行うことで、合焦対象の瞳を一時的に切り換えることが可能である。なお、以下、ユーザが合焦対象の瞳を一時的に切り換える操作を、マニュアル指定と称する。
　なお、上記の左右瞳選択は、人物の瞳検出モードの場合に実行される。動物の瞳検出モードの場合は、左右瞳優先選択が実行される。ここでの「優先」の意味は、「右側の瞳と左側の瞳を両方選べる状態であるならば、指定された瞳を合焦対象とする」ことである。
　また、これらの瞳検出モードの左右瞳（優先）選択が設定されている場合でも、ユーザのマニュアル指定に応じて、合焦対象の瞳を一時的に切り換えることが可能である。なお、動物の瞳検出モードの場合、右側の瞳と左側の瞳を両方選べる状態であるならば、指定された瞳の方を合焦対象とすることができる。
　以上のように、人物の瞳検出モードと動物の瞳検出モードでは、左右瞳選択に係る動作が異なっている。
　以下、動物の瞳検出モードについて詳しく説明する。
＜３．動物の瞳検出モード＞
　＜内部処理の概要＞
　図５は、動物の瞳検出モードにおける内部処理の例を示す図である。
　動物の瞳検出モードにおいては、動物の瞳（領域）の検出処理と追尾処理が並行して行われている。
　図５においては、上から順に、表示部１４１に表示される表示画面、動物の瞳の検出結果、および動物の瞳の追尾結果が時間の経過に沿って示されている。各表示画面には、瞳の検出対象である動物（キツネ）が正面向きで表示され、各タイミングにおいてキツネの瞳を検出または追尾した結果に基づいて合焦領域を設定したときの合焦枠AFが表示されている。
　ここで、検出OKは、検出処理により瞳が検出できていることを示し、検出NGは、被写体の動きの大きさやボケ、検出の性能不足など様々な理由のために、検出処理により瞳が検出できていないことを示す。追尾OKは、追尾処理により瞳を追尾できていることを示す。
　また、検出結果または追尾結果のどちらかに示される枠Pは、そのタイミングで検出結果と追尾結果のどちらの結果に基づいて合焦領域が設定され、合焦枠AFが表示されているのかを示す。
　以下、時間に沿って説明する。図５のタイミングt1において、表示画面においてキツネの左側の瞳に合焦枠AFが表示されている。タイミングt1においては、キツネの左側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt1において表示される合焦枠AFは、キツネの左側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものである。
　タイミングt2において、表示画面においてキツネの左側の瞳に合焦枠AFが表示されている。タイミングt2においては、キツネの左側の瞳が検出NGであり、追尾OKである。すなわち、タイミングt2において表示される合焦枠AFは、キツネの左側の瞳の追尾結果に基づいて合焦領域が設定されて表示されたものである。
　タイミングt3において、表示画面においてキツネの左側の瞳に合焦枠AFが表示されている。タイミングt3においては、キツネの左側の瞳が検出NGであり、追尾OKである。すなわち、タイミングt3において表示される合焦枠AFは、キツネの左側の瞳の追尾結果に基づいて合焦領域が設定されて表示されたものである。
　タイミングt4において、表示画面においてキツネの左側の瞳に合焦枠AFが表示される。タイミングt4においては、キツネの左側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt4において表示される合焦枠AFは、キツネの左側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものである。
　以上のように、動物の瞳検出モードにおいては、動物の瞳が検出OKの場合、検出結果に基づいて合焦領域が設定されて合焦枠AFが表示され、動物の瞳が検出NGで、追尾OKである場合、追尾結果に基づいて合焦領域が設定されて合焦枠AFが表示される。
　すなわち、表示画面上はほとんど変わらないが、タイミングt2およびタイミングt3においては、合焦枠AFが、動物の瞳の検出結果ではなく、追尾結果に基づいて合焦領域が設定されて表示されている。なお、これらのタイミングにおいては、合焦枠AFが表示されている反対（右）側の瞳の検出精度は保証されていない。
　しかしながら、合焦枠AFが、検出結果および追尾結果のどちらに基づいて表示されるかは、内部的な処理であるため、ユーザにはわからない。
　＜人物の瞳検出モードの左右瞳選択の設定が適用された場合の内部処理＞
　図６は、動物の瞳検出モードにおいて、人物の瞳検出モードの左右瞳選択の設定が適用された場合の内部処理の例が示されている。
　図６においては、図５と同様に、上から順に、表示部１４１に表示される表示画面、動物の瞳の検出結果、および動物の瞳の追尾結果が時間の経過に沿って示されている。さらに、図６においては、追尾結果の下に、左右瞳選択の設定が追加されている。
　撮像装置１１においては、上述したように、左右瞳選択として、合焦対象の瞳を予め設定することができる。また、ユーザによるマニュアル指定に応じて、撮像処理中に、合焦対象の瞳を切り換えることもできる。
　図６のタイミングt11において、表示画面においてキツネの左側の瞳に合焦枠AFが表示される。タイミングt11においては、合焦対象として、左側の瞳が選択されており、キツネの左側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt11において表示される合焦枠AFは、キツネの左側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものである。
　ここで、撮像装置１１は、ユーザによるマニュアル指定に応じて、合焦対象を右側の瞳に切り換える。
　タイミングt12およびt13において、表示画面においてキツネの鼻付近に合焦枠Eが表示されている。タイミングt12およびt13においては、合焦対象が右側の瞳に切り換えられる。しかしながら、右側の瞳は検出NGかつ追尾NGである。なお、追尾が継続されている左側の瞳は追尾OKである。
　キツネの左側の瞳は追尾OKであるものの、切り換えられた右側の瞳が検出も追尾もNGであるため、合焦領域は、上述したように、通常のAFモードにおける合焦領域として設定される領域に設定される。すなわち、タイミングt12およびt13において表示される合焦枠Eは、通常のAFにおいて合焦領域として設定される領域（図６においては、キツネの鼻付近に位置する領域）が合焦領域に設定され、表示されたものである。
　つまり、右側の瞳に切り換えるタイミングによって、右側の瞳の検出や追尾に対応できない場合、通常AFモードの動作となり、瞳検出モードの動作が実行されなくなる。
　その後、タイミングt14において、表示画面においてキツネの右側の瞳に合焦枠AFが表示される。タイミングt14においては、合焦対象として、右側の瞳が選択されており、右側の瞳の検出処理および追尾処理が復帰し、キツネの右側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt14において表示される合焦枠AFは、右側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものとなる。
　以上のように、動物の瞳検出モードにおける追尾処理は、瞳の切り換えに対応できないタイミングが多い。また、人物の瞳検出モードの場合は、瞳検出ができない場合、検出されている顔に合焦するように設定されているが、動物の瞳検出モードにおいては、顔の検出が行われていないため、通常AFの動作となってしまう。なお、被写界深度が浅い時、鼻に一度合焦が行われると、瞳がぼけてしまい、瞳に焦点を復帰させ難くなる。
　以上により、動物の瞳検出モードにおいては、合焦対象である瞳を、反対側の瞳に切り換えるタイミングが難しい。
　そこで、本技術においては、動物の瞳検出モードにおいて左右瞳選択が行われた場合、左右瞳“優先”選択が実行される。
　＜左右瞳優先選択における内部処理＞
　図７は、本技術の動物の瞳検出モードにおける左右瞳優先選択の設定が適用された場合の内部処理の例が示されている。
　図７においては、図６と同様に、上から順に、表示部１４１に表示される表示画面、動物の瞳の検出結果、動物の瞳の追尾結果、および左右瞳優先選択の設定内容が時間の経過に沿って示されている。
　図７のタイミングt21において、表示画面においてキツネの左側の瞳に合焦枠AFが表示される。タイミングt21においては、合焦対象として、左側の瞳が優先選択されており、キツネの左側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt21において表示される合焦枠AFは、左側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものである。
　ここで、撮像装置１１は、ユーザによるマニュアル指定に応じて、合焦対象を右側の瞳に切り換える。
　タイミングt22およびt23において、表示画面においてキツネの左側の瞳に合焦枠AFが表示される。タイミングt22およびt23において、合焦対象は、右側の瞳に切り換えられている。しかしながら、優先選択であるので、例えば、右側の瞳が検出されていない、または、検出されていても検出精度がよくないなど、切り換え可能なタイミングではない場合、切り換える前の左側の瞳を検出および追尾した結果が用いられる。
　すなわち、タイミングt22およびt23において、キツネの右側の瞳が検出NGかつ追尾NGであり、左側の瞳が検出NGであり、追尾OKである。したがって、タイミングt22およびt23において表示される合焦枠AFは、左側の瞳の追尾結果に基づいて合焦領域が設定されて表示されたものとなる。
　タイミングt24において、表示画面においてキツネの右側の瞳に合焦枠AFが表示される。タイミングt24において、合焦対象は、ユーザによるマニュアル指定に応じて右側の瞳に切り換えられている。
　すなわち、タイミングt24において、キツネの右側の瞳が検出OKかつ追尾OKであり、合焦対象を切り換えられるタイミングである。したがって、タイミングt24において表示される合焦枠AFは、右側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものとなる。
　以上のように、動物の瞳検出モードにおいては、優先選択が設定されている側、またはマニュアル指定されている側の瞳に切り換えられるタイミングである場合には、優先選択が設定されている側、または、マニュアル指定されている側の瞳が合焦に用いられる。
　一方、優先選択が設定されている側、またはマニュアル指定されている側の瞳に切り換えられないタイミングである場合には、優先選択が設定されていない側、または、マニュアル指定されていない側の瞳が合焦に用いられる。
　これにより、ユーザの操作を考慮しつつ、品質のよい画像を得ることができる。
＜４．撮像装置の動作＞
　＜人物の瞳検出モードの撮像処理＞
　図８乃至図１０は、撮像装置１００の人物の瞳検出モードの撮像処理を説明するフローチャートである。
　図８乃至図１０の人物の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などから人物の瞳検出モードとして予め設定されている。
　図８のステップＳ１１において、撮像装置１１は、画像を取得し、表示させる。具体的には、撮像素子１０３は、レンズ１０１および絞り１０２を介して集光された被写体からの光を画素単位で光電変換することにより各画素の電気信号を取得する。各画素の電気信号からなる画像信号は、アナログ信号処理部１０４およびA/D変換部１０５を介して、デジタルの画像データが生成され、デジタル信号処理部１０６のメモリ２１１に記憶される。
　表示制御部２１５は、メモリ２１１に記憶されている画像データに基づく画像をライブビュー画像として表示部１４１に表示させる。
　ステップＳ１２において、人物検出部２１２－１は、メモリ２１１に記憶されている画像データから顔領域を検出する。人物検出部２１２－１は、検出した顔領域の情報を領域設定部２１４および表示制御部２１５に供給する。
　ステップＳ１３において、人物検出部２１２－１は、システムコントローラ１３１の制御に従って、フォーカス枠内の顔領域に対して瞳領域を検出し、検出結果（瞳領域の情報）を、領域設定部２１４および表示制御部２１５に出力する。
　ステップＳ１４において、領域設定部２１４は、瞳を検出できているか否かを判定する。瞳を検出できているとステップＳ１４において判定された場合、処理は、ステップＳ１５に進む。
　ステップＳ１５において、領域設定部２１４は、瞳検出結果を使用し、合焦領域を設定するための以降の処理を行う。
　ステップＳ１６において、領域設定部２１４は、左右瞳選択の設定がオートであるか否かを判定する。左右瞳選択の設定がオートであるとステップＳ１６において判定された場合、処理は、ステップＳ１７に進む。
　ステップＳ１７において、領域設定部２１４は、顔領域を合焦領域として設定する。ステップＳ１７の後、処理は、図９のステップＳ１８に進む。
　ステップＳ１８において、被写体追尾部２１３は、領域設定部２１４により設定された合焦領域を追尾し、追尾結果を、領域設定部２１４および表示制御部２１５に出力する。ステップＳ１８における追尾処理は、合焦領域として設定された顔領域に対して行われる。
　ユーザは、所定ボタンの押下、またはシャッタボタンの半押しなどの操作を行うことにより、合焦開始を指示する。なお、合焦開始の指示は、画像の撮像単位（フレーム）毎に行われる。操作部１４６は、ユーザによる操作入力を受け、操作入力に対応する信号をシステムコントローラ１３１に出力する。
　ステップＳ１９において、システムコントローラ１３１は、合焦開始が指示されたか否かを判定する。合焦開始が指示されたとステップＳ１９において判定された場合、処理はステップＳ２０に進む。
　ステップＳ２０において、システムコントローラ１３１は、レンズドライバ１２１を制御し、合焦領域内の手前の瞳に焦点が合うように、レンズ１０１および絞り１０２などの光学系を駆動する。すなわち、合焦領域内に左右の瞳が検出されている場合がある。この場合、人物の瞳検出モードにおいては、撮像装置１００から見て手前の瞳に焦点が合うように制御される。領域設定部２１４は、手前の瞳を判別する。
　ステップＳ２１において、領域設定部２１４は、手前の瞳を判別できたか否かを判定する。手前の瞳を判別できたとステップＳ２１において判定された場合、処理はステップＳ２２に進む。
　ステップＳ２２において、領域設定部２１４は、合焦領域を手前の瞳に変更する。ステップＳ２２の後、処理は、ステップＳ３５に進む。
　ステップＳ２１において、手前の瞳が判別できなかったと判定された場合、処理は、ステップＳ３５に進む。すなわち、合焦領域は、顔領域のままであり、変更されない。
　また、ステップＳ１９において、合焦開始が指示されていないと判定された場合、処理は、ステップＳ３６に進む。
　図８に戻って、ステップＳ１６において、左右瞳選択の設定がオートではないと判定された場合、処理はステップＳ２３に進む。
　ステップＳ２３において、領域設定部２１４は、ユーザにより指定された瞳が選択可能であるか否かを判定する。なお、ユーザにより指定された瞳には、上述したように、左右瞳選択により設定された瞳、およびマニュアル指定された瞳が含まれる。例えば、ユーザにより指定された瞳が検出されており、検出の精度も高い場合、ユーザにより指定された瞳が選択可能であるとステップＳ２３において判定され、処理は、ステップＳ２４に進む。
　ステップＳ２４において、領域設定部２１４は、ユーザにより指定された瞳領域を合焦領域として設定する。
　ステップＳ２３において、ユーザにより指定された瞳が選択可能ではないと判定された場合、処理は、ステップＳ２６に進む。
　ステップＳ１４において、瞳を検出できていないと判定された場合、処理は、ステップＳ２５に進む。
　ステップＳ２５において、領域設定部２１４は、顔を検出できているか否かを判定する。顔が検出できているとステップＳ２５において判定された場合、処理は、ステップＳ２６に進む。
　ステップＳ２６において、領域設定部２１４は、顔領域を合焦領域として設定する。
　ステップＳ２５において、顔が検出されていないと判定された場合、処理は、ステップＳ２７に進む。
　ステップＳ２７において、領域設定部２１４は、合焦領域を追尾できているか否かを判定する。合焦領域を追尾できているとステップＳ２７において判定された場合、処理は、ステップＳ２８に進む。
　ステップＳ２８において、領域設定部２１４は、追尾結果に基づいて合焦領域を設定する。
　ステップＳ２４、ステップＳ２６、およびステップＳ２８の後、処理は、図９のステップＳ３２に進む。
　一方、ステップＳ２７において、合焦領域を追尾できていないと判定された場合、処理は、図９のステップＳ２９に進む。
　ステップＳ２９において、領域設定部２１４は、通常のAF枠でAFを行う設定になっているか否かを判定する。通常のAF枠でAFを行う設定になっているとステップＳ２９において判定された場合、処理は、ステップＳ３０に進む。
　ステップＳ３０において、領域設定部２１４は、通常のAF枠により指定されている領域を合焦領域として設定する。
　ステップＳ３１において、領域設定部２１４は、通常のAF枠で追尾を行う設定となっているか否かを判定する。通常のAF枠により指定されている領域で追尾を行う設定となっているとステップＳ３１において判定された場合、処理は、ステップＳ３２に進む。
　ステップＳ３２において、被写体追尾部２１３は、合焦領域を追尾し、追尾結果を、領域設定部２１４および表示制御部２１５に出力する。ここでの追尾は、ステップＳ２４、Ｓ２６、Ｓ２８、およびＳ３０において合焦領域としてそれぞれ設定された領域（検出または追尾された瞳領域、顔領域、通常のAF枠により指定されている領域）に対して行われる。ステップＳ３２の後、処理は、ステップＳ３３に進む。
　ステップＳ３１において、通常のAF枠で追尾を行う設定となっていないと判定された場合、処理は、ステップＳ３３に進む。
　ステップＳ３３において、システムコントローラ１３１は、合焦開始が指示されたか否かを判定する。合焦開始が指示されたとステップＳ３３において判定された場合、処理はステップＳ３４に進む。
　ステップＳ３４において、システムコントローラ１３１は、レンズドライバ１２１を制御し、合焦領域に焦点が合うように、レンズ１０１および絞り１０２などの光学系を駆動する。その後、処理は、ステップＳ３５に進む。
　ステップＳ３５において、表示制御部２１５は、メモリ２１１に記憶されている画像データに基づく画像をライブビュー画像として表示部１４１に表示させる。また、表示制御部２１５は、設定された合焦領域を示す合焦枠をライブビュー画像に重畳して表示部１４１に表示させる。
　ステップＳ３３において、合焦開始が指示されていないと判定された場合、処理はステップＳ３６に進む。
　ステップＳ３６において、表示制御部２１５は、合焦領域に設定される予定の領域を示す合焦予告枠を生成し、ライブビュー画像に合焦予告枠を重畳して、表示部１４１に表示させる。
　ステップＳ３５およびＳ３６の後、処理は、図１０のステップＳ３７に進む。
　また、ステップＳ２９において、通常のAF枠でAFを行う設定となっていないと判定された場合、処理は、図１０のステップＳ３７に進む。この場合、ライブビュー画像に合焦領域を示す枠の表示は行われない。
　ステップＳ３７において、システムコントローラ１３１は、操作部１４６からの操作入力に対応する信号に基づいて、シャッタボタンの全押しが行われたか否かを判定する。シャッタボタンの全押しが行われたとステップＳ３７において判定された場合、処理はステップＳ３８に進む。
　ステップＳ３８において、撮像素子１０３は、レンズ１０１および絞り１０２などの光学系を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部１０４およびA/D変換部１０５を介して、デジタルの画像データが生成され、デジタル信号処理部１０６のメモリ２１１に撮影画像データとして記憶される。
　ステップＳ３９において、表示制御部２１５は、メモリ２１１に記憶されている撮影画像データに基づく画像を撮影画像として表示部１４１に表示させる。
　ステップＳ４０において、コーデック処理部２１６は、メモリ２１１に記憶されている撮影画像データを符号化する。コーデック処理部２１６は、符号化後の画像データを記憶部１４２に供給する。
　ステップＳ４１において、コーデック処理部２１６は、記憶部１４２に、符号化後の撮影画像データを記憶させる。
　ステップＳ４２において、システムコントローラ１３１は、処理を終了するか否か、例えば、電源ボタンが操作されたか否かを判定する。
　ステップＳ４２において処理を終了すると判定された場合、撮像処理は終了される。
　ステップＳ４２において処理を終了しないと判定された場合、処理は、図８のステップＳ１１に戻り、それ以降の処理が繰り返される。
　以上のように、人物の瞳検出モードにおいては、瞳の領域が検出できなかった場合、顔領域が、合焦領域として設定される。
　＜動物の瞳検出モードの撮像処理＞
　図１１乃至図１３は、撮像装置１００の動物の瞳検出モードの撮像処理を説明するフローチャートである。
　図１１乃至図１３の動物の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などで動物の瞳検出モードが予め設定されている。図１１乃至図１３においては、猫または犬の瞳を検出する動物検出部２１２－２により動物の瞳が検出される例が説明される。
　図１１のステップＳ６１において、図８のステップＳ１１の処理と同様に、画像が取得され、表示される。
　ステップＳ６２において、動物検出部２１２－２は、メモリ２１１に記憶されている画像データから、動物辞書を用いて瞳領域を検出する。動物検出部２１２－２は、検出結果（検出した瞳領域の情報）を、領域設定部２１４および表示制御部２１５に供給する。
　ステップＳ６３において、領域設定部２１４は、瞳領域を検出できているか否かを判定する。瞳領域を検出できているとステップＳ６３において判定された場合、処理は、ステップＳ６４に進む。
　ステップＳ６４において、領域設定部２１４は、瞳検出結果を使用して、合焦領域を設定するための以降の処理を行う。
　ステップＳ６５において、領域設定部２１４は、左右瞳選択の設定がオートであるか否かを判定する。左右瞳選択の設定がオートであるとステップＳ６５において判定された場合、処理は、ステップＳ６６に進む。
　ステップＳ６６において、領域設定部２１４は、瞳領域を自動選択して、合焦領域に設定する。
　＜オートの設定の場合の瞳領域の選択＞
　図１４は、図１１のステップＳ６６における左右瞳選択がオートの設定である場合の瞳領域の選択例を示す図である。
　図１４には、キツネを被写体とした画像Ｐ１乃至画像Ｐ７が示されている。画像Ｐ１乃至画像Ｐ７に写っているキツネは、顔の向き（角度）が異なる。実線の矩形は、各画像において検出された手前の瞳領域を示しており、破線の矩形は、各画像において検出された奥の瞳領域を示している。
　画像Ｐ１には、左方向に顔を向けているキツネが写っている。画像Ｐ２には、左斜め前方向に顔を向けているキツネが写っている。画像Ｐ３には、ごく僅かに左斜め前方向に顔を向けているキツネが写っている。画像Ｐ４には、正面方向に顔を向けているキツネが写っている。画像Ｐ５には、ごく僅かに右斜め前方向に顔を向けているキツネが写っている。画像Ｐ６には、右斜め前方向に顔を向けているキツネが写っている。画像Ｐ７には、右方向に顔を向けているキツネが写っている。
　これらの画像のうち、斜め前方向乃至横（左右）方向に顔を向けているキツネが写っている画像Ｐ１、画像Ｐ２、画像Ｐ６、および画像Ｐ７では、それぞれ、撮像装置１００から見て手前に位置する瞳領域しか検出されなかった場合を示している。
　ごく僅かに斜め前方向に顔を向けているキツネが写っている画像Ｐ３と画像Ｐ５では、それぞれ２つの瞳領域が検出され、かつ、どちらか一方の瞳領域が撮像装置１００から見て手前に位置し、どちらか他方の瞳領域が奥に位置するかを判定しやすい。
　正面方向に顔を向けているキツネが写っている画像Ｐ４では、左の瞳領域と右の瞳領域のうち、どちらの瞳領域が手前であるのかを判定するのが難しい。この場合、上述したように、撮像装置１００から見て手前に位置し、フォーカス枠の中心に近い瞳領域が選択され、選択された瞳領域に、合焦予告枠または合焦枠が表示される。
　図１１に戻って、ステップＳ６５において、左右瞳選択の設定がオートではないと判定された場合、処理は、ステップＳ６７に進む。
　ステップＳ６７において、領域設定部２１４は、ユーザにより指定された瞳が選択可能であるか否かを判定する。例えば、指定された瞳領域が検出できている、または、指定された瞳領域の検出精度が所定の閾値よりも高い場合など、マニュアル指定された瞳が選択可能であるとステップＳ６７において判定され、処理は、ステップＳ６８に進む。
　ステップＳ６８において、領域設定部２１４は、ユーザにより指定された一方の瞳領域を合焦領域として設定する。
　ステップＳ６７において、ユーザにより指定された一方の瞳領域が選択可能ではないと判定された場合、処理は、ステップＳ６９に進む。
　ステップＳ６９において、領域設定部２１４は、もう一方の瞳を合焦領域として設定する。
　ステップＳ６３において、瞳領域を検出できていないと判定された場合、処理は、ステップＳ７０に進む。
　ステップＳ７０において、領域設定部２１４は、合焦領域を追尾できているか否かを判定する。合焦領域を追尾できているとステップＳ７０において判定された場合、処理は、ステップＳ７１に進む。
　ステップＳ７１において、領域設定部２１４は、追尾結果に基づいて合焦領域を設定する。
　ステップＳ６６、Ｓ６８、Ｓ６９、およびＳ７１の後、処理は、図１２のステップＳ７５に進む。
　ステップＳ７０において、合焦領域を追尾できていないと判定された場合、処理は、図１２のステップＳ７２に進む。
　ステップＳ７２において、領域設定部２１４は、通常のAF枠でAFを行う設定になっているか否かを判定する。通常のAF枠でAFを行う設定になっているとステップＳ７２において判定された場合、処理は、ステップＳ７３に進む。
　ステップＳ７３において、領域設定部２１４は、通常のAF枠により指定されている領域を合焦領域として設定する。
　ステップＳ７４において、領域設定部２１４は、通常のAF枠で追尾を行う設定になっているか否かを判定する。通常のAF枠で追尾を行う設定になっているとステップＳ７４において判定された場合、処理は、ステップＳ７５に進む。
　ステップＳ７５において、被写体追尾部２１３は、合焦領域を追尾する。ここでの追尾は、ステップＳ６６、Ｓ６８、Ｓ６９、Ｓ７１、およびＳ７３において合焦領域としてそれぞれ設定された領域（検出または追尾された瞳領域、顔領域、通常のAF枠により指定されている領域）に対して行われる。その後、処理は、ステップＳ７６に進む。
　ステップＳ７４において、通常のAF枠で追尾を行う設定になっていないと判定された場合、ステップＳ７５はスキップされ、処理は、ステップＳ７６に進む。
　ステップＳ７２において通常のAF枠でAFを行う設定となっていないと判定された場合、処理は、図１３のステップＳ８０に進む。
　なお、図１２のステップＳ７６乃至図１３のステップＳ８５は、図９のステップＳ３３乃至図１０のステップＳ４２と基本的に同様の処理であるので、その説明は繰り返しになるので、省略する。
　以上のように、動物の瞳検出モードにおいては、選択されている一方の瞳領域が検出できなかった場合、もう一方の瞳領域が、合焦領域として設定される。
　＜鳥の瞳検出モードの撮像処理＞
　図１５は、撮像装置１００の鳥の瞳検出モードの撮像処理を説明するフローチャートである。
　図１５の鳥の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などで鳥の瞳検出モードが予め設定されている。図１５においては、鳥の瞳を検出する鳥検出部２１２－３により鳥の瞳が検出される例が説明される。
　図１５のステップＳ１０１において、図８のステップＳ１１の処理と同様に、画像が取得され、表示される。
　ステップＳ１０２において、鳥検出部２１２－３は、メモリ２１１に記憶されている画像データから、鳥辞書を用いて瞳領域を検出する。鳥検出部２１２－３は、検出した検出結果を、領域設定部２１４および表示制御部２１５に供給する。
　ステップＳ１０３において、領域設定部２１４は、瞳領域を検出できているか否かを判定する。瞳領域を検出できているとステップＳ１０３において判定された場合、処理は、ステップＳ１０４に進む。
　ステップＳ１０４において、領域設定部２１４は、瞳検出結果を使用して、合焦領域を設定するための以降の処理を行う。
　ステップＳ１０５において、領域設定部２１４は、瞳領域を自動選択して、合焦領域に設定する。
　ステップＳ１０３において、瞳領域を検出できていないと判定された場合、処理は、ステップＳ１０６に進む。
　ステップＳ１０６において、領域設定部２１４は、合焦領域を追尾できているか否かを判定する。合焦領域を追尾できているとステップＳ１０６において判定された場合、処理は、ステップＳ１０７に進む。
　ステップＳ１０７において、領域設定部２１４は、追尾結果に基づいて合焦領域を設定する。
　ステップＳ１０５およびＳ１０７の後、処理は、図１６のステップＳ１１１に進む。
　ステップＳ１０６において、合焦領域を追尾できていないと判定された場合、処理は、図１６のステップＳ１０８に進む。
　ステップＳ１０８において、領域設定部２１４は、通常のAF枠でAFを行う設定になっているか否かを判定する。通常のAF枠でAFを行う設定になっているとステップＳ１０８において判定された場合、処理は、ステップＳ１０９に進む。
　ステップＳ１０９において、領域設定部２１４は、通常のAF枠により指定されている領域を合焦領域として設定する。
　ステップＳ１１０において、領域設定部２１４は、通常のAF枠で追尾を行う設定になっているか否かを判定する。通常のAF枠で追尾を行う設定になっているとステップＳ１１０において判定された場合、処理は、ステップＳ１１１に進む。
　ステップＳ１１１において、被写体追尾部２１３は、合焦領域を追尾する。ここでの追尾は、ステップＳ１０５、Ｓ１０７、およびＳ１０９において合焦領域としてそれぞれ設定された領域（検出または追尾された瞳領域、顔領域、通常のAF枠により指定されている領域）に対して行われる。その後、処理は、ステップＳ１１２に進む。
　ステップＳ１１０において、通常のAF枠で追尾を行う設定になっていないと判定された場合、ステップＳ１１１をスキップし、処理は、ステップＳ１１２に進む。
　ステップＳ１０８において通常のAF枠でAFを行う設定となっていないと判定された場合、処理は、図１７のステップＳ１１６に進む。
　なお、図１６のステップＳ１１２乃至図１７のステップＳ１２１は、図９のステップＳ３３乃至図１０のステップＳ４２と基本的に同様の処理であるので、その説明は繰り返しになるので、省略する。
　以上のように、鳥の瞳検出モードにおいては、瞳の領域が検出できなかった場合、通常のAFモードにおいて合焦領域に設定される、すなわち、通常のAF枠により指定される領域が、合焦領域として設定される。
＜５．その他＞
　＜検出対象切り換え設定画面＞
　図１８は、検出対象切換設定画面の例を示す図である。
　検出対象切換設定画面は、被写体の特定部位の検出モードのうち、所定の操作により切り換え可能な検出モードを設定する画面である。
　図１８においては、左から順に、人物のアイコンと、人物アイコンの下のチェックボックス、動物のアイコンと、動物のアイコンの下のチェックボックス、および鳥のアイコンと、鳥のアイコンの下のチェックボックスが表示されている。
　検出対象切換画面においては、カーソルＣを移動させることにより、各被写体のアイコンを選択することができる。そして、選択された被写体のアイコンの下にあるチェックボックスへのチェックの有無を切り替えることができる。
　そして、画面の右下に設けられている実行ボタンが押下されると、チェックが入力されている検出モードが、ユーザの操作に応じて選択可能な検出モードに設定される。
　また、ユーザが必要としない被写体の検出モードは、チェックボックスのチェックを外すことにより、無効にすることができる。すなわち、チェックボックスのチェックが外された被写体の検出モードは、選択対象から外すことができる。これにより、ユーザの嗜好に応じた使い分けを行うことができる。
　すなわち、人物のアイコンの下のチェックボックスにチェックが入力されている場合、人物の瞳検出モードが有効になり、選択可能な状態になる。
　動物のアイコンの下のチェックボックスにチェックが入力されている場合、動物の瞳を検出する動物の瞳検出モードが有効になり、選択可能な状態になる。
　鳥のアイコンの下のチェックボックスにチェックが入力されている場合、撮像装置１１の検出モードを、鳥の瞳を検出する鳥の瞳検出モードが有効になり、選択可能な状態になる。
　なお、検出対象切換画面において、動物の瞳や鳥の瞳の検出の設定に限らず、魚、爬虫類、両生類などあらゆる生物の瞳、顔、顔の一部、首、頭部などの被写体の特定部位または全身（被写体）などの検出を設定できるようにしてもよい。
　また、検出対象の被写体は、生物に限らず、車両のヘッドライト、フロントエンブレム、フロントガラス、ハンドル、運転手、または運転席、あるいは、バイクのヘッドライトまたはヘルメットなど、被写体の特定部位などの検出を設定できるようにしてもよい。
　＜検出対象が切り換えられた場合の表示画面＞
　図１８においては、人物のアイコンの下のチェックボックス、動物のアイコンの下のチェックボックス、および鳥のアイコンの下のチェックボックスにチェックが入っている。したがって、図１９に示されるように、撮像装置１１の検出モードを、ユーザの操作に応じて、人物の瞳検出モード、動物の瞳検出モード、および鳥の瞳検出モードのいずれかに切り換えることができる。
　図１９は、検出対象が切り換えられた場合の表示画面の例を示す図である。
　図１９において、左側には、人物の瞳検出モードに切り換えられた場合の表示画面Mode_Hが示されている。中央には、動物の瞳検出モードに切り換えられた場合の表示画面Mode_Aが示されている。右側には、鳥の瞳検出モードに切り換えられた場合の表示画面Mode_Bが示されている。なお、各表示画面には、人物、動物、鳥が表示されている。
　表示画面Mode_Hにおいては、合焦開始が指示される前に表示される合焦予告枠PFが、検出対象となる人物の顔の周りに表示されている。
　表示画面Mode_Aにおいては、合焦開始が指示される前に表示される合焦予告枠PFが、検出対象となる動物の瞳の周りに表示されている。
　表示画面Mode_Bにおいては、検出対象が鳥であり、合焦開始が指示される前に表示される合焦予告枠PFが、検出対象となる鳥の瞳の周りに表示されている。
　撮像装置１１において、検出モードが人物の瞳検出モードであり、表示画面Mode_Hが表示されている場合に、ユーザの所定のボタンの操作が行われると、検出モードが動物の瞳検出モードに切り換えられ、表示画面Mode_Hが表示画面Mode_Aに変わる。
　撮像装置１１において、検出モードが動物の瞳検出モードであり、表示画面Mode_Aが表示されている場合に、ユーザの所定のボタンの操作が行われると、検出モードが鳥の瞳検出モードに切り換えられ、表示画面Mode_Aが表示画面Mode_Bに変わる。
　撮像装置１１において、検出モードが鳥の瞳検出モードであり、表示画面Mode_Bが表示されている場合に、ユーザの所定のボタンの操作が行われると、検出モードが動物の瞳検出モードに切り換えられ、表示画面Mode_Bが表示画面Mode_Hに変わる。
　＜被写体の種類の階層構造例＞
　なお、上記説明においては、人物の瞳検出モード、動物の瞳検出モード、および鳥の検出モードを同じ階層で管理されるようにしたが、例えば、鳥の検出モードは、動物の瞳検出モードの下の階層で管理されるようにしてもよい。
　図２０は、被写体の種類の階層構造を示す図である。
　図２０の例においては、人物と動物とは同じ階層で管理される。犬や猫、小動物、鳥は、動物の下の階層において管理される。
　このように、各被写体の種類を、階層構造で管理することも可能である。
　＜各検出モードの次善の手段＞
　なお、上述した各処理において、瞳領域が検出されなかった場合、顔領域で合焦処理を実行したり、もう一方の瞳領域で合焦処理を実行したり、通常のAF枠などの他の条件で合焦処理を実行したりするように説明した。
　瞳領域が検出されなかった場合の動作は、上記処理に限定されず、ユーザによる設定などで使い分けられるようにしてもよい。その際、検出されなかった対象被写体や特定部位に応じて、検出されなかった場合の動作が「次善の手段」に変更される。
　例えば、被写体の種類やユーザの好みによって、ユーザが焦点を合わせたい場所は異なる。また、被写体によって、認識できる部位が異なることもある。
　具体的には、人物においては、「顔」、「右側の瞳」、「左側の瞳」が認識可能とされる。動物においては、「右側の瞳」、「左側の瞳」、「鼻」（内部的）が認識可能とされる。鳥においては、「瞳（手前の瞳）」が認識可能とされる。クルマにおいては、「ヘッドライト」、「フロントウィンドウ」、「ドライバ」が認識可能とされる。
　また、瞳は、「右側の瞳」と「左側の瞳」が存在する。焦点を「右側の瞳」に合わせるように撮像装置１１に指示していても、「右側の瞳」が見えない（検出できない）場合、被写体の種類によって、「次善」の手段が異なる。
　例えば、被写体が動物であり、焦点を「右側の瞳」に合わせるように撮像装置１１に指示した場合に、「右側の瞳」が見えないとき、次善の手段として、「顔」にピントを合わせようとしても、高い「鼻」に焦点が合ってしまうことになる。ただし、「鼻」に焦点を合わせるよりも、見えている「左側の瞳」に合わせるほうが次善の手段として好ましい。
　被写体が人物である場合、焦点を「右側の瞳」に合わせるように撮像装置１１に指示していても、「右側の瞳」が見えないとき、人物が、動物ほど「鼻」が高くないために、「顔」に焦点を合わせる方が、ユーザは自然に感じる。また、被写体が人物である場合、動物のように、見えている「瞳」に焦点を合わせた場合、ユーザは、撮像装置１１が、ユーザの指示を無視しているように感じてしまう。したがって、被写体が人物である場合、「顔」が次善の手段として好ましい。
　また、クルマなど、被写体の構成部位がそもそもクルマ毎に異なるような被写体も存在する。
　鳥のように、「手前の瞳」しか認識できないなどの、認識手段の制約や特性の差異がある場合も考えられる。この場合、ユーザにより予め設定されている領域が次善の手段となる。
　以上のように、被写体に応じて「次善の手段」を個別に制御することで、ユーザの意図により寄り添って自動的に焦点を合わせることができる。また、異なった特性に応じて、ユーザに提供できる「次善の手段」を自動的に選択することができる。
　以上、本技術においては、ユーザの操作に応じて、被写体の第１の特定部位の領域が、焦点を合わせる合焦領域として設定される。また、第１の特定部位の領域が検出されなかった場合、第１の特定部位と同じ種類の特定部位である、被写体の第２の特定部位の領域が合焦領域として設定される。
　また、本技術においては、第１の特定部位の領域が検出されなかった場合、被写体の種類に応じた領域が合焦領域として設定される。
　したがって、ユーザの意図により寄り添って自動的に焦点を合わせることができる。
　なお、上記説明においては、犬や猫などの動物の瞳を検出する処理について説明したが、本技術は、鳥、魚、爬虫類、両生類などあらゆる生物の瞳、顔、顔の一部、首、頭部などの被写体の特定部位または全身（被写体）に適用することができる。また、本技術は、これらの被写体の特定部位や被写体の組み合わせにも適用することができる。
　さらに、本技術は、生物に限らず、車両のヘッドライト、フロントエンブレム、フロントガラス、または運転席、あるいは、バイクのヘッドライトまたはヘルメットなど、被写体の特定部位にも適用することができる。
　これらの場合、被写体の特定部位を検出するための検出モードが予め設定されて用いられる。このようにすることで、複数ある検出結果や検出方法のうち、どの検出結果や検出方法を優先するか、あるいは、複数ある被写体の中で、どの被写体を優先するかなどのユーザの意図を撮像装置に伝えることができる。
　なお、人物の場合と異なり、毛が長い動物などの場合、瞳に焦点を合わせようとすると、瞳ではなく、瞳にかかる毛に焦点が合ってしまうことがある。この場合、焦点の位置を後ろに調整したり、毛に合焦しやすい被写体であることを撮像装置に予め設定し、設定に基づいて撮像装置が合焦したりすることで、ユーザの意図により即した撮像結果を得ることができる。
　なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、ソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　この記録媒体は、例えば、図１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブル記録媒体１４８により構成される。このリムーバブル記録媒体１４８には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリなども含まれる。
　この場合、プログラムは、リムーバブル記録媒体１４８をドライブ１４７に装着することにより、記憶部１４２にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。この場合、プログラムは、通信部１４５を介して受信し、記憶部１４２にインストールすることができる。
　その他、このプログラムは、記憶部１４２やシステムコントローラ１３１内のROM（Read Only Memory）などに、あらかじめインストールしておくこともできる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定する設定部を備え、
　前記設定部は、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する
　撮像装置。
（２）
　前記第１の特定部位は、前記被写体の左右の瞳のうち一方の瞳であり、前記第２の特定部位は、他方の瞳である
　前記（１）に記載の撮像装置。
（３）
　ユーザにより前記第１の特定部位を前記被写体の左の瞳または右の瞳に設定することが可能である
　前記（２）に記載の撮像装置。
（４）
　前記被写体は、動物である
　前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
　前記設定部は、前記第１の特定部位が検出された場合でも、前記第１の特定部位の検出精度が所定の閾値より低いとき、前記第２の領域を前記合焦領域として設定する
　前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
　前記設定部は、前記第１の特定部位が検出されなかった場合、前記被写体の種類に応じた領域を前記合焦領域として設定する
　前記（１）に記載の撮像装置。
（７）
　前記設定部は、前記第１の特定部位が検出されなかった場合、前記被写体の種類に応じて、前記第２の領域、または、前記第１の特定部位を含み、前記第１の特定部位よりも大きい前記被写体の第３の特定部位を含む第３の領域を前記合焦領域として設定する
　前記（６）に記載の撮像装置。
（８）
　前記第１の特定部位は、左右の瞳のうち一方の瞳であり、および前記第２の特定部位は、他方の瞳であり、前記第３の特定部位は、顔である
　前記（７）に記載の撮像装置。
（９）
　前記設定部は、前記第１の特定部位が検出されなかった場合、前記被写体の種類に応じて、前記第２の領域、前記第１の特定部位を含み、前記第１の特定部位よりも大きい前記被写体の第３の特定部位を含む第３の領域、または、ユーザの操作により指定された第４の領域を前記合焦領域に設定する
　前記（６）に記載の撮像装置。
（１０）
　前記被写体の種類は、人、動物、または鳥である
　前記（６）乃至（９）のいずれかに記載の撮像装置。
（１１）
　検出対象となる前記被写体の種類は、予め設定可能である
　前記（１）乃至（１０）のいずれかに記載の撮像装置。
（１２）
　前記被写体の種類に応じた辞書を用いて、少なくとも前記第１の領域を検出する領域検出部をさらに備える
　前記（１）乃至（１１）のいずれかに記載の撮像装置。
（１３）
　少なくとも前記第１の領域を追尾する追尾部をさらに備え、
　前記設定部は、前記第１の領域が追尾できなかった場合、前記第２の領域を前記合焦領域として設定する
　前記（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）
　画像の撮像単位で、合焦の開始を指示する合焦指示部画像の撮像単位で、合焦の開始を指示する合焦指示部と、
　前記合焦の開始が指示された場合、前記合焦領域を示す情報の表示を制御する表示制御部と
　をさらに備える前記（１）乃至（１３）のいずれかに記載の撮像装置。
（１５）
　撮像を指示する撮像指示部と、
　前記撮像が指示された場合、前記設定部により設定された前記合焦領域に焦点を合わせて前記撮像を行うように、撮像部を制御する合焦制御部と
　をさらに備える前記（１）乃至（１４）のいずれかに記載の撮像装置。
（１６）
　撮像装置が、
　被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定し、
　前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する
　撮像方法。
（１７）
　被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定する設定部として、コンピュータを機能させ、
　前記設定部は、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する
　プログラム。
　１００　撮像装置，　１０１　レンズ，　１０２　絞り，　１０３　撮像素子，　１０４　アナログ信号処理部，　１０５　A/D変換部，　１０６　デジタル信号処理部，　１２１　レンズドライバ，　１３１　システムコントローラ，　１４１　表示部，　１４２　記憶部，　１４６　操作部，　２１１　メモリ，　２１２　被写体検出部，　２１２－１　人物検出部，　２１２－２　動物検出部，２１２－３　鳥検出部，　２１３　被写体追尾部，　２１４　領域設定部，　２１５　表示制御部，　２１６　コーデック処理部

Claims (17)

  1. 　被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定する設定部を備え、
    　前記設定部は、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する
    　撮像装置。
  2. 　前記第１の特定部位は、前記被写体の左右の瞳のうち一方の瞳であり、前記第２の特定部位は、他方の瞳である
    　請求項１に記載の撮像装置。
  3. 　ユーザにより前記第１の特定部位を前記被写体の左の瞳または右の瞳に設定することが可能である
    　請求項２に記載の撮像装置。
  4. 　前記被写体は、動物である
    　請求項１に記載の撮像装置。
  5. 　前記設定部は、前記第１の特定部位が検出された場合でも、前記第１の特定部位の検出精度が所定の閾値より低いとき、前記第２の領域を前記合焦領域として設定する
    　請求項１に記載の撮像装置。
  6. 　前記設定部は、前記第１の特定部位が検出されなかった場合、前記被写体の種類に応じた領域を前記合焦領域として設定する
    　請求項１に記載の撮像装置。
  7. 　前記設定部は、前記第１の特定部位が検出されなかった場合、前記被写体の種類に応じて、前記第２の領域、または、前記第１の特定部位を含み、前記第１の特定部位よりも大きい前記被写体の第３の特定部位を含む第３の領域を前記合焦領域として設定する
    　請求項６に記載の撮像装置。
  8. 　前記第１の特定部位は、左右の瞳のうち一方の瞳であり、および前記第２の特定部位は、他方の瞳であり、前記第３の特定部位は、顔である
    　請求項７に記載の撮像装置。
  9. 　前記設定部は、前記第１の特定部位が検出されなかった場合、前記被写体の種類に応じて、前記第２の領域、前記第１の特定部位を含み、前記第１の特定部位よりも大きい前記被写体の第３の特定部位を含む第３の領域、または、ユーザの操作により指定された第４の領域を前記合焦領域に設定する
    　請求項６に記載の撮像装置。
  10. 　前記被写体の種類は、人、動物、または鳥である
    　請求項６に記載の撮像装置。
  11. 　検出対象となる前記被写体の種類は、予め設定可能である
    　請求項１に記載の撮像装置。
  12. 　前記被写体の種類に応じた辞書を用いて、少なくとも前記第１の領域を検出する領域検出部をさらに備える
    　請求項１に記載の撮像装置。
  13. 　少なくとも前記第１の領域を追尾する追尾部をさらに備え、
    　前記設定部は、前記第１の領域が追尾できなかった場合、前記第２の領域を前記合焦領域として設定する
    　請求項１に記載の撮像装置。
  14. 　画像の撮像単位で、合焦の開始を指示する合焦指示部と、
    　前記合焦の開始が指示された場合、前記合焦領域を示す情報の表示を制御する表示制御部と
    　をさらに備える請求項１に記載の撮像装置。
  15. 　撮像を指示する撮像指示部と、
    　前記撮像が指示された場合、前記設定部により設定された前記合焦領域に焦点を合わせて前記撮像を行うように、撮像部を制御する合焦制御部と
    　をさらに備える請求項１に記載の撮像装置。
  16. 　撮像装置が、
    　被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定し、
    　前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する
    　撮像方法。
  17. 　被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定する設定部として、コンピュータを機能させ、
    　前記設定部は、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する
    　プログラム。
PCT/JP2021/034034 2020-09-30 2021-09-16 撮像装置、撮像方法、およびプログラム WO2022070938A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022553806A JPWO2022070938A1 (ja) 2020-09-30 2021-09-16

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020164650 2020-09-30
JP2020-164650 2020-09-30

Publications (1)

Publication Number Publication Date
WO2022070938A1 true WO2022070938A1 (ja) 2022-04-07

Family

ID=80950237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034034 WO2022070938A1 (ja) 2020-09-30 2021-09-16 撮像装置、撮像方法、およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2022070938A1 (ja)
WO (1) WO2022070938A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130043A (ja) * 2009-12-16 2011-06-30 Sanyo Electric Co Ltd 電子カメラ
JP2012123301A (ja) * 2010-12-10 2012-06-28 Olympus Imaging Corp 撮像装置
JP2019075771A (ja) * 2017-10-17 2019-05-16 キヤノン株式会社 電子機器およびその制御方法
WO2020137602A1 (ja) * 2018-12-28 2020-07-02 ソニー株式会社 撮像装置、撮像方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130043A (ja) * 2009-12-16 2011-06-30 Sanyo Electric Co Ltd 電子カメラ
JP2012123301A (ja) * 2010-12-10 2012-06-28 Olympus Imaging Corp 撮像装置
JP2019075771A (ja) * 2017-10-17 2019-05-16 キヤノン株式会社 電子機器およびその制御方法
WO2020137602A1 (ja) * 2018-12-28 2020-07-02 ソニー株式会社 撮像装置、撮像方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2022070938A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
US8553134B2 (en) Imager processing a captured image
CN102439966B (zh) 图像处理设备和方法
US8175447B2 (en) Image pickup apparatus and control method therefor
US10367990B2 (en) Photographing apparatus, photographing method and recording medium on which photographing/display program is recorded
US8570429B2 (en) Image processing method and apparatus and digital photographing apparatus using the same
JP4562182B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4970716B2 (ja) 電子カメラ
KR20090085989A (ko) 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
US20120121129A1 (en) Image processing apparatus
KR20140047533A (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
JP4799366B2 (ja) 撮像装置及び画像再生装置
JP5200821B2 (ja) 撮像装置及びそのプログラム
JP4853707B2 (ja) 撮像装置及びそのプログラム
JP2024019284A (ja) 撮像装置、撮像方法、およびプログラム
WO2022070938A1 (ja) 撮像装置、撮像方法、およびプログラム
JP6970945B1 (ja) 撮像装置
JP7342883B2 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP7538647B2 (ja) 視線位置処理装置、撮像装置、学習装置、視線位置処理方法、学習方法、及びプログラム
JP6602093B2 (ja) 撮像装置、撮像方法、撮影システムおよびプログラム
WO2023189367A1 (ja) 撮像装置、撮像制御方法、プログラム
WO2024203796A1 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置及び撮像装置の制御方法
US11665438B2 (en) Electronic device capable of acquiring line-of-sight information
WO2021251298A1 (ja) 画像処理装置およびその制御方法
JP2022027826A (ja) 撮像装置
KR20150078125A (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875240

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553806

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21875240

Country of ref document: EP

Kind code of ref document: A1