WO2017130521A1 - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2017130521A1
WO2017130521A1 PCT/JP2016/083437 JP2016083437W WO2017130521A1 WO 2017130521 A1 WO2017130521 A1 WO 2017130521A1 JP 2016083437 W JP2016083437 W JP 2016083437W WO 2017130521 A1 WO2017130521 A1 WO 2017130521A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
control device
control
region
area
Prior art date
Application number
PCT/JP2016/083437
Other languages
English (en)
French (fr)
Inventor
直 松村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/061,056 priority Critical patent/US10560635B2/en
Priority to JP2017563706A priority patent/JP6834988B2/ja
Priority to CN201680079392.2A priority patent/CN108474996A/zh
Publication of WO2017130521A1 publication Critical patent/WO2017130521A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/16—Viewfinders combined with focusing aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Definitions

  • Patent Document 1 discloses an example of a technique for automatically controlling exposure, strobe light emission, and the like in order to obtain a proper exposure image.
  • the subject specified by the imaging device for automatic control that is, the subject recognized as more preferable
  • the subject that the user is going to shoot do not match.
  • automatic control by the imaging device works so that a subject different from the subject that the user is trying to shoot is captured in a more preferable manner, and the content of the automatic control is It may not be the intended control.
  • the user performs a complicated operation such as manually adjusting (changing) the focus, white balance, exposure, etc. in order to capture the image intended by the user, and then the desired image is obtained.
  • a situation in which an image of the subject is taken can also be assumed.
  • the processor sets an area corresponding to at least a part of the image according to display information for assisting shooting that is displayed together with the image captured by the imaging unit; Controlling an operation related to imaging by the imaging unit based on the at least one region is provided.
  • the computer sets an area corresponding to at least a part of the image according to display information for assisting shooting that is displayed together with the image captured by the imaging unit. Based on the at least one region, there is provided a program for executing an operation related to imaging by the imaging unit.
  • FIG. 3 is a block diagram illustrating an exemplary configuration of a camera module according to an embodiment of the present disclosure. It is explanatory drawing for demonstrating the technical feature of the control apparatus which concerns on the same embodiment. It is the flowchart shown about an example of the flow of a series of processes of the control apparatus which concerns on the same embodiment. It is explanatory drawing for demonstrating the outline
  • FIG. 1 is a block diagram illustrating an example of a configuration of a camera module according to the present embodiment.
  • an imaging unit or an imaging device
  • it indicates an action of shooting an image by the user using an imaging device such as a camera module.
  • the camera module is configured integrally with the lens barrel 11.
  • the camera module may be configured such that the lens barrel 11 can be removed.
  • the optical filter 12 is an optical element for reducing false colors and moire generated in a captured image captured by the image sensor 13. That is, the optical filter 12 is an optical low-pass filter, attenuates a part of the light component from the imaging optical system 11A, and outputs the attenuated component to the image sensor 13.
  • the image sensor 13 is an image pickup device that picks up a picked-up image by receiving light (subject light) incident through the optical filter 12 from the image pickup optical system 11A.
  • CMOS Complementary Metal Oxide Semiconductor
  • a detection pixel for detecting a phase difference used for the phase difference AF and a normal pixel (a captured image and other pixels) that are not used for detection of the phase difference other than the detection pixel For the purpose of obtaining an image).
  • another sensor different from the detection pixel may be separately provided outside the light receiving surface of the image sensor 13.
  • the image sensor 13 supplies a captured image (image signal) obtained by imaging to the sensor driving unit 16.
  • the flash memory 22 is detachable from the camera module. A captured image supplied from the main processing unit 14 is recorded (stored) in the flash memory 22.
  • the illumination unit 24 for example, a flash illumination device using a xenon tube, an LED illumination device having a light emitting diode (LED) capable of continuous light emission, or the like can be employed.
  • a flash illumination device using a xenon tube an LED illumination device having a light emitting diode (LED) capable of continuous light emission, or the like can be employed.
  • LED light emitting diode
  • the camera module is mounted on a portable device such as a smartphone, a relatively small LED illumination device can be employed as the illumination unit 24.
  • the illuminating unit 24 projects light onto a subject field through a projection lens (not shown) in which a groove having a predetermined pattern is formed, thereby improving AF accuracy for a dark subject or a low-contrast subject. Improve.
  • the main processing unit 14 controls each block constituting the camera module.
  • the main processing unit 14 includes, for example, a CPU (Central Processing Unit) 31, a memory 32, an ADC (Analog to Digital Converter) 33, a DAC (Digital to Analog Converter) 34, a communication I / F (Interface) 35, and the like. including.
  • a CPU Central Processing Unit
  • ADC Analog to Digital Converter
  • DAC Digital to Analog Converter
  • I / F Interface
  • the CPU 31 implements various functions of the camera module by executing a program stored in the memory 32.
  • the CPU 31 controls the illumination control unit 15 or the flash memory 22 and the like, and performs various processes such as AF, AWB, and AE, captured image capturing, various image processing, captured image recording, and the like. Is executed.
  • the CPU 31 controls operations related to image capturing such as AF, AWB, AE, and the like according to display information (for example, grid lines, histograms, icons, etc.) displayed together with the captured image (for example, preview image). To do. Specifically, the CPU 31 estimates that there is a subject that the user is shooting in the captured image according to the display position and display range (size) of the display information displayed together with the captured image. At least one region (hereinafter also referred to as “target region”) is set. Then, the CPU 31 controls an operation relating to image capturing using at least a part of the set at least one target area. The details of this operation will be described later. Further, in the CPU 31, a part for setting a target area corresponds to an example of a “setting part”, and a part for controlling an operation related to image capturing using the set target area corresponds to an example of a “control part”. .
  • the ADC 33 AD converts an analog signal into a digital signal.
  • the communication I / F 35 controls communication with the Internet or the like.
  • the illumination control unit 15 causes the illumination unit 24 to emit (light) an electronic flash that is light for illuminating the subject in synchronization with the imaging operation of the image sensor 13. Further, the illumination control unit 15 causes the illumination unit 24 to emit torch auxiliary light in synchronization with the AF operation.
  • the phase difference AF processing unit 17 uses the pixel value of the detected pixel in the image signal of the captured image from the sensor driving unit 16 to determine the lens position of the imaging optical system 11A (the lens group) by phase difference AF. A lens movement amount to be moved is calculated and supplied to the main processing unit 14.
  • the image processing unit 18 captures an image captured by the image sensor 13 and is supplied via the sensor driving unit 16 and the main processing unit 14, such as ⁇ conversion, color interpolation, and JPEG (Joint Photographic Experts Group). Image processing such as compression / decompression by a predetermined compression / decompression method is performed. Further, the image processing unit 18 calculates a contrast evaluation value representing the contrast of the captured image and supplies it to the main processing unit 14. The main processing unit 14 performs contrast AF (control) using the contrast evaluation value from the image processing unit 18.
  • the focus drive unit 19 performs focus adjustment by driving the focus actuator 23 according to the control of the main processing unit 14 and moving the lens position of the imaging optical system 11A in the optical axis L direction.
  • phase difference AF processing unit 17 can be included (built in) in the image sensor 13.
  • the processing performed by the CPU 31 according to the program is not necessarily performed sequentially as a series of operations. That is, the processing performed by the CPU 31 according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program can be stored (recorded) in a removable recording medium such as the flash memory 22 and provided as so-called package software.
  • the program is downloaded to the main processing unit 14 via a communication network such as the Internet or a broadcasting network such as terrestrial and installed in the built-in memory 32. be able to.
  • the configuration described with reference to FIG. 1 is merely an example, and is not necessarily limited to the example shown in FIG.
  • at least a part of the configuration of the camera module may be provided outside the camera module.
  • the main control unit such as the main processing unit 14 is provided in an external device such as a so-called smartphone, and controls the operation of each component in the camera module via communication. May be.
  • at least a part of the functions executed by each configuration of the camera module may be executed by a configuration provided outside the camera module.
  • FIG. 2 is an explanatory diagram for explaining the technical features of the control device according to the present embodiment, and shows an example of an operation screen for a user to take an image.
  • the control device controls an operation related to AF (that is, an operation for focusing on a subject) will be described as an example.
  • information for assisting the user in capturing an image such as information indicating settings related to image capturing by the image capturing unit, may be displayed as display information.
  • the control device displays display information presented in a region where a captured image (for example, a preview image) is presented (that is, a region corresponding to the angle of view of the imaging unit), such as the grid line 111.
  • a region where a captured image for example, a preview image
  • the grid line 111 a region corresponding to the angle of view of the imaging unit.
  • the control device for example, the position of the intersection of the grid line 111 extending in the vertical direction and the grid line 111 extending in the horizontal direction (that is, the position of the subject that is preferable in the three-division method). Then, it is estimated that there is a subject to be photographed by the user, and the target area 150 is set so as to include the intersection. In other words, in the example illustrated in FIG. 2, the control device sets the four target regions 150 so as to include each intersection of the grid lines 111.
  • control device executes various recognition processes such as face recognition on each of the set at least one target region 150, and uses it for controlling operations related to image capturing according to the recognition result.
  • the target area 150 may be specified.
  • the control device specifies the target region 150 including a person as a subject among the set at least one target region 150, and performs AF for the imaging unit so as to focus on the person. This operation can be controlled.
  • control device may determine the orientation of the imaging unit (either vertical or horizontal), the angle of the imaging unit (whether it is horizontal, etc.), whether the imaging unit is on a tripod, etc.
  • the target region 150 used for controlling the operation related to image capturing may be specified according to the state of the image capturing unit. As a more specific example, when the imaging unit is on a tripod and the imaging unit is supported horizontally, it is highly likely that the user is shooting a landscape. Therefore, in this case, the imaging device may use the target area 150 indicating the subject for controlling the operation related to image capturing by the imaging unit so that the subject located at infinity is given priority.
  • control device can identify at least a part of the target area 150 among the set at least one target area 150 based on a predetermined condition.
  • the method is not particularly limited.
  • the control device can control the operation related to image capturing by the image capturing unit based on the set target area 150
  • the content of the operation is not particularly limited.
  • the control device may control the exposure according to the brightness of the image in at least a part of the target area 150 (in other words, the pixel value of the pixel corresponding to the target area 150). (In other words, the operation related to AE may be controlled).
  • the control device may control the white balance according to the color temperature of the image in at least a part of the target region 150, that is, may control the operation related to AWB.
  • control device may use the set target area 150 for controlling a plurality of operations (for example, AF, AE, AWB, etc.).
  • the control device may individually specify the target area 150 used for the control.
  • the control apparatus may use different target areas 150 in the control of each of a plurality of operations (for example, AF, AE, AWB, etc.).
  • the control device uses the target area 150 indicating the near-side subject in the depth direction for AF control, and the target area 150 indicating the back-side subject. May be used for AE control.
  • the technical feature of the control device according to the present embodiment is applied to an imaging device that captures an image while the user confirms a subject using a preview image captured by the imaging unit.
  • the application destination or application destination is not particularly limited.
  • the technical feature of the control device according to the present embodiment is that the user captures an image while checking the optical image of the subject through the finder, like an imaging device such as a so-called single-lens reflex camera or a range finder camera. You may apply to the imaging device which does.
  • a so-called transmissive display is provided in the finder, and display information such as grid lines is displayed on the transmissive display so that the display information is superimposed on the optical image of the subject. You may let them.
  • the optical image of the subject visually recognized by the user through the viewfinder (ie, corresponding to the angle of view of the imaging device) according to the display mode of display information for assisting the user's shooting such as a grid line. It is possible to estimate the subject that the user intends to shoot from the optical image).
  • the control unit of the imaging apparatus sets at least one target region 150 according to display information such as a grid line superimposed on the optical image of the subject, What is necessary is just to use at least one part for imaging of an image.
  • the target region is estimated according to the display information displayed together with the captured image, and the estimated target region is used.
  • the description has been given focusing on the part that controls the operation related to the image capturing by the image capturing unit.
  • control device when the control device detects a trigger of an operation related to AF, such as when the user half-presses the shutter button, the control device determines whether the target region is in accordance with the grid line mode presented to the user. At least one 150 is set (S101).
  • the control device controls the operation related to AF by the imaging unit based on the identified target region 150. More specifically, the control device takes an imaging optical system (for example, as shown in FIG. 1) based on operations related to various AFs such as phase difference AF and contrast AF so as to focus on the subject in the specified target region 150.
  • the lens position of the imaging optical system 11A) is controlled (S107). By such control, a captured image focused on the subject in the specified target region 150 is captured by the imaging unit.
  • the control device sets at least one target region according to display information displayed together with the captured image such as a grid line. Then, the control device uses at least a part of the set at least one target area for control of an operation related to image capturing by the imaging unit. With such control, the control device according to the present embodiment performs an operation related to image capturing by the imaging unit so that a subject closer to the user's intention is preferentially imaged among subjects captured by the imaging unit. It becomes possible to control.
  • control device can exclude regions other than the set target region from the target of the region used for controlling the operation related to image capturing by the imaging unit. Therefore, for example, it is possible to further reduce the probability of occurrence of a situation in which an image is captured with priority on a subject unintended by the user.
  • control device controls the operation related to AF by the imaging unit, so that the subject is not intended by the user even in a situation where subjects exist at different positions along the depth direction. It is possible to reduce the probability of focusing.
  • control device controls the operation related to the AE by the imaging unit, so that the user's intention can be achieved even in a situation where there are a plurality of subjects having different brightness within the angle of view of the imaging unit. It is possible to reduce the probability that a captured subject is captured darker (or the probability that a subject not intended by the user is captured brighter).
  • control device controls the operation related to AWB by the imaging unit, so that there are a plurality of regions illuminated by light sources having different color temperatures within the angle of view of the imaging unit.
  • the subject can be imaged with a color closer to the user's intention.
  • control device may use the target region setting result for various recognition processes such as so-called face recognition.
  • various recognition processes such as so-called face recognition.
  • Modification 1 Example of setting target area according to display information> First, as Modification 1, an example of display information displayed together with a captured image, such as a grid line, and an example of setting of a target area according to the display information will be described.
  • FIGS. 4 to 8 are explanatory diagrams for explaining the outline of the control device according to the first modification, and show an example of grid lines displayed superimposed on the captured image.
  • FIG. 4 shows an example in which the grid line 111 is presented along the diagonal line of the display area 100 (in other words, the angle of view) where the captured image is displayed.
  • the control device estimates that the subject that the user is going to shoot exists at the position of the intersection of the grid lines 111 (that is, the center of the display area 100).
  • the target area 150 may be set so as to include the intersection.
  • FIG. 5 shows an example in which the grid line 111 is presented so as to divide the display area 100 where the captured image is displayed into two parts in each of the vertical direction and the horizontal direction.
  • the control device according to the modification 1 estimates that the subject that the user is going to shoot exists at the position of the intersection of the grid lines 111 (that is, the center of the display area 100).
  • the target area 150 may be set so as to include the intersection.
  • FIG. 6 shows an example in which the grid line 111 is presented so that the display area 100 on which the captured image is displayed is divided into four parts in each of the vertical direction and the horizontal direction.
  • the control device according to the first modification is photographed by the user at the position of the intersection of the grid lines 111, as in the example described with reference to FIGS. 2, 4, and 5.
  • the target region 150 may be set so as to include the intersection point by estimating that the subject to be present exists.
  • control device may set the target area 150 so as to include the position of the intersection only for some of the intersections of the grid lines 111.
  • the control device is based on a so-called quadrant method, and among the grid lines indicated by reference numerals 111 a and 111 b, the grid line 111 a extending in the vertical direction and the grid line extending in the horizontal direction.
  • the target area 150 is set so as to include only the intersection with the 111a.
  • FIG. 7 shows an example of a case where the grid line 111 is presented based on a so-called Fibonacci spiral (that is, a spiral consisting of a Fibonacci sequence) that divides the display area 100 where the captured image is displayed into golden ratios. .
  • the control device estimates that the subject that the user is about to shoot exists at a position where the Fibonacci spiral converges, and sets the target region 150 to include the position. It may be set.
  • FIG. 8 shows an example of a case where a square photograph is cut out by trimming or the like and a grid line 111 indicating a square area is presented in the display area 100 where the captured image is displayed.
  • the control device according to the first modification estimates that the subject is present in a square area indicated by the grid line 111 (for example, the center of the square area), and The target area 150 may be set in the area.
  • each grid line 111 as shown in FIGS. 2 and 4 to 8 may be selectively switched based on an instruction from the user via the operation I / F.
  • the control device may change the size of the target region 150 to be set according to the grid line 111 that is selectively presented. For example, in the examples shown in FIGS. 2, 5, and 6, the widths of the partial areas divided by the grid lines 111 are different. Therefore, for example, the control device may set the width of the target area 150 according to the width of the partial area divided by the grid line 111.
  • the control device sets an exclusion area to be excluded from the target area setting target in the captured image (in other words, the angle of view) according to the display information displayed together with the captured image, and sets the exclusion area.
  • An example of setting the target area according to the result will be described together with an example of the display information.
  • FIG. 9 is an explanatory diagram for explaining an outline of the control device according to the first modification. Specifically, FIG. 9 presents an area to be displayed in an identifiable manner when outputting a captured image to an external display device (for example, an external display) (or an area that is not displayed can be identified). An example of a case where a safety area for presenting) is displayed superimposed on the captured image is shown.
  • an external display device for example, an external display
  • control device may set the area 103 corresponding to the outside of the safety area in the display area 100 where the captured image is displayed as the excluded area.
  • FIG. 10 is an explanatory diagram for explaining the outline of the control device according to the first modification. Specifically, FIG. 10 assumes an example in which a captured image is displayed with an aspect ratio different from that at the time of imaging after imaging, and an example in which the difference in the aspect ratio is displayed on the preview image as display information at the time of imaging. Show.
  • an area 103 corresponding to the outside of the auxiliary line 113 corresponds to an area that is not displayed due to a difference in aspect ratio and corresponds to the inside of the auxiliary line 113.
  • the area 105 to be displayed corresponds to the area to be displayed.
  • the control device may set, as the exclusion region, the region 103 that corresponds to a region that is not displayed due to a difference in aspect ratio in the display region 100 where the captured image is displayed.
  • the subsequent operation is the same as the example described with reference to FIG.
  • FIG. 11 is an explanatory diagram for explaining an overview of the control device according to the first modification, and illustrates an example in which display information indicating a state, settings, and the like related to image capturing is superimposed on the captured image.
  • an auxiliary window 141 in which a histogram of the captured image is presented is presented in a part of the display area 100 where the captured image is displayed.
  • an icon 143 that indicates a state, settings, and the like related to image capturing is presented in a part of the display area 100. That is, in the example shown in FIG. 11, display information such as the auxiliary window 141 and the icon 143 is displayed in a superimposed manner on the captured image (for example, a preview image).
  • the control apparatus estimates that the subject that the user is going to shoot does not exist in the region where the display information such as the auxiliary window 141 and the icon 143 is superimposed.
  • the target area 150 may be set in another area.
  • the example described above is merely an example, and if the control device can set the target area 150 according to the display information presented together with the captured image, the type of display information and the display A method for setting the target area 150 based on the information is not particularly limited.
  • region 150 may be set by combining a some example among each example mentioned above.
  • the control device may set the target area 150 so as to include an intersection existing in an area where the auxiliary window 141, the icon 143, and the like are not displayed among the intersections of the grid lines 111.
  • FIG. 12 is an explanatory diagram for explaining an overview of the control device according to the second modification.
  • the control device presents the grid lines 111 so that the display area 100 on which the captured image is displayed is divided into three parts in the vertical direction and the horizontal direction.
  • the control device sets the four target regions 150 so as to include the intersections of the grid lines 111, for example, as in the example described with reference to FIG.
  • reference numerals 155a to 155d schematically indicate target areas used for capturing an image by the imaging unit in the set target area 150. That is, in the example illustrated in FIG. 12, the control device recognizes that the subject located in each of the target regions 155a to 155d is a subject that is likely to be photographed by the user.
  • the control device has a plurality of subjects that are likely to be taken by the user (in other words, when a plurality of target areas 150 are set). Then, the image capturing unit is caused to capture an image of each subject while sequentially switching settings relating to image capturing so that each of the plurality of subjects is targeted.
  • the control device captures a plurality of images by sequentially using each of the set target regions 150 for an operation related to image capturing by the imaging unit.
  • the content of the operation related to the imaging of an image by the imaging unit which is a control target of the control device, is not particularly limited.
  • the control apparatus may sequentially use each of the set target areas 150 for operations related to AE and AWB by the imaging unit.
  • the control device sequentially captures the subject and the image while switching the target area 150 used for controlling the operation related to image capturing by the image capturing unit and the content of the operation (for example, setting of focus, exposure, white balance, and the like). An image corresponding to each combination with the setting may be captured by the imaging unit.
  • Modification 2 an example has been described in which the setting result of the target region 150 is used for so-called bracket shooting in which a plurality of images are captured while sequentially switching settings related to image capturing.
  • Example 3 Example of Changing Area Used for Control in Time Series>
  • the subject or the imaging unit itself may move, and the position of the subject within the angle of view may change.
  • control unit causes the imaging unit to capture a subject moving along a time series
  • the motion of the subject is estimated, and an image such as AF, AE, or AWB is captured according to the estimation result.
  • the position of the area is changed in time series so that the area used for controlling the movement follows the subject.
  • a method for estimating the movement of the subject for example, a method using an image recognition technique and a method using a measurement result of the distance between the imaging unit and the subject are generally known.
  • the control device according to the modified example 3 uses display information such as grid lines for estimation of the movement of the subject.
  • FIG. 13 is an explanatory diagram for explaining the outline of the control device according to the third modification, and shows an example in which an image of a moving subject is taken in time series.
  • reference numeral 155 schematically indicates a target area used for capturing an image by the imaging unit in the set target area 150.
  • the grid line 111 is presented along the diagonal line of the display area 100 (in other words, the angle of view) where the captured image is displayed. In such a case, for example, it is presumed that the user is shooting a subject that moves in the direction D11 along the grid line 111 while using the presented grid line 111.
  • the control device can use, for example, the target region 155 (in other words, “attention”, which is used for controlling operations related to image capturing such as AF, AE, AWB, and the like.
  • the position of the target region 155 ") may be changed along the time series.
  • the control device preferentially executes the analysis of the movement in the direction D11 along the grid line 111, and the analysis result Accordingly, the position of the target region 155 may be changed along the time series.
  • FIG. 14 is an explanatory diagram for explaining the outline of the control device according to the modified example 3, and shows another example in which an image of a moving subject is taken in time series.
  • FIG. 14 shows an example of a case where an area to be displayed such as a safety area is identifiable in the display area 100 where the captured image is displayed, as in the example described with reference to FIG. 9. Show.
  • the control device displays display information such as grid lines when the position of the target region 155 is changed in time series so as to follow the moving subject. Used to estimate the movement of With such a configuration, the control device according to the modified example 3 can reduce the processing amount related to the estimation of the movement of the moving subject, and can cause the subject region 155 to follow the subject more accurately. Become.
  • Modification 3 an example has been described in which an area used for controlling operations related to image capturing such as AF, AE, AWB, and the like is changed in time series.
  • control device uses the setting result of the target area 150 based on display information such as grid lines to selectively switch the operation related to image capturing. An example will be described.
  • Some imaging apparatuses are configured to be able to selectively switch and execute a plurality of types of operations with different detection ranges of sensors used as phase difference AF operations.
  • an image plane phase difference AF using a phase difference sensor included in the image sensor and a separate phase difference AF using a phase difference sensor provided outside the image sensor are selectively used.
  • the detection ranges of the phase difference sensors may be different from each other.
  • the control device according to the modification 4 selects a more preferable operation from a plurality of types of operations that can be selectively switched based on the setting result of the target region 150.
  • FIG. 15 is an explanatory diagram for explaining an overview of the control device according to the fourth modification.
  • reference numerals 131 and 133 each schematically indicate a region indicating a detection range of a sensor used for the phase difference AF operation. It is assumed that the phase difference sensor having the region 131 as a detection range and the phase difference sensor having the region 133 as a detection range are used in operations of different phase differences AF. In the example illustrated in FIG. 15, the phase difference sensor having the detection range of the region 131 can detect the phase difference with higher accuracy than the phase difference sensor having the detection range of the region 133.
  • the grid line 111 is presented so as to divide the display area 100 (in other words, within the angle of view) where the captured image is displayed into three parts in both the vertical direction and the horizontal direction. Therefore, in the example illustrated in FIG. 15, the control device sets the four target areas 150 so as to include each intersection of the grid lines 111.
  • each of the set four target areas 150 is set to be located inside the area 133 and outside the area 131.
  • the control device according to the modification 4 may select the operation of the phase difference AF using the phase difference sensor as the region 133 detection range.
  • control device may selectively switch AE and AWB operations, various recognition processes such as face recognition, and the like based on the setting result of the target region 150. Needless to say.
  • control device can capture the subject located in the target region 150 in a more preferable manner by using the setting result of the target region 150.
  • FIG. 16 is an explanatory diagram for describing an example of a UI presented by the control device according to the fifth modification.
  • the control device sets a plurality of target areas 150 based on the grid lines 111 presented in the display area 100 where the captured image is displayed, and relates to image capturing from the plurality of target areas 150.
  • a state is shown in which one target region 150 used for operation control is selected.
  • the target area indicated by reference numeral 150a indicates the target area 150 (that is, the target area 150 selected by the control device) used for the operation related to image capturing.
  • a target area indicated by reference numeral 150b indicates a target area 150 that is not used for an operation related to image capturing.
  • the control device causes the target area 150 a selected for use in controlling the operation related to image capturing and the other target areas 150 b to have different modes (for example, different colors). Presents).
  • the user recognizes the target area 150a used for the operation related to image capturing by the imaging unit (for example, AF, AE, AWB, etc.) among the plurality of target areas 150 set by the control device. It becomes possible to do.
  • the method is not particularly limited as long as the selected target region 150a and the other target regions 150b are presented in different modes.
  • the control device may present the target area 150a and the target area 150b in different colors.
  • the control device may blink only the selected target area 150a among the target areas 150a and 150b.
  • the control device includes the grid line 111 c used for setting the target area 155 used for controlling the operation related to image capturing by the imaging unit, and the other grid lines 111 d among the grid lines 111.
  • the grid line 111 c used for setting the target area 155 used for controlling the operation related to image capturing by the imaging unit
  • the other grid lines 111 d among the grid lines 111 are presented in different ways. By such control, the user can recognize the grid line 111 used for controlling the operation related to image capturing by the imaging unit.
  • the method is not particularly limited as long as the grid line 111c and the other grid lines 111d are presented in different modes, and is similar to the example shown in FIG.
  • FIG. 18 is an explanatory diagram for explaining another example of the UI presented by the control device according to the fifth modification.
  • FIG. 18 shows an example in which an area to be displayed such as a safety area is identifiable in the display area 100 where the captured image is displayed, as in the example described with reference to FIG. Show. That is, in the example shown in FIG. 18, the subject located in the target area 155 is likely to move in the direction D13a or D13b away from the auxiliary line 113a located in the vicinity of the target area 155 (in other words, the auxiliary area The possibility of moving toward the line 113a is low).
  • the control device presents the auxiliary line 113 a in a manner different from the auxiliary line 113 a and the other auxiliary line 113 b, thereby moving the auxiliary line 113 a in the moving direction D ⁇ b> 13 a of the subject located in the target region 155.
  • D13b are used for estimation to the user.
  • FIG. 19 is an explanatory diagram for explaining another example of the UI presented by the control device according to the fifth modification.
  • FIG. 19 shows an example in which an area to be displayed such as a safety area is identifiable in the display area 100 where the captured image is displayed, as in the example described with reference to FIG. Show.
  • the control device can set the region 103 in the display region 100 where the captured image is not displayed as an excluded region. Therefore, in the example illustrated in FIG. 19, the control device presents the area 103 set as the excluded area in a different form from the other areas 105 (that is, areas to be displayed). By such control, the user can recognize the excluded area (that is, the area where the target area 150 is not set).
  • the method is not particularly limited as long as the region 103 set as the excluded region and the other region 105 are presented in different modes, and the example described with reference to FIGS. It is the same.
  • the automatic control function according to the present embodiment may be implemented so as to be selectively enabled and disabled as an independent function.
  • FIG. 20 is an explanatory diagram for explaining an example of a method for implementing the automatic control function according to the first embodiment, and illustrates an example of an operation menu when the automatic control function is implemented as an independent function. .
  • an operation menu M11 for turning on or off that is, enabling or disabling the function of “automatic control based on grid lines” is provided as an operation menu for operating the imaging apparatus. It has been.
  • the control device for example, the imaging device
  • the control device has a function of automatic control based on the grid line (that is, the imaging device).
  • the automatic control function according to the present embodiment is enabled.
  • the setting of the type of grid line to be presented may be configured based on the existing operation menu.
  • an operation menu M13 for setting the type of grid line is separately provided as the operation menu M11.
  • the control device may set the target area based on the grid line type set in the operation menu M13. .
  • the operation menu M13 may be configured so that the display of the grid line can be set to OFF (that is, the setting can be made so that the grid line is not displayed).
  • the control device according to the present embodiment restricts the operation menu M11 from being set to “ON” when the display of the grid line by the operation menu M13 is set to “OFF”. Also good.
  • the control device according to the present embodiment is configured when the display of the grid line is set to “OFF” by the operation menu M13 even if the operation menu M11 is set to “ON”. May substantially disable the automatic control function according to the present embodiment.
  • the example shown in FIG. 21 is an example in which an operation mode item M151 for automatically controlling AF based on grid lines is added to the operation menu M15 for setting an “autofocus area” as an operation setting related to AF.
  • the control device according to the present embodiment has a function of automatically controlling AF based on the grid line when the item M151 is selected in the operation menu M15 (that is, the automatic control function according to the present embodiment). Activate.
  • the setting of the type of grid line to be presented may be configured based on the operation menu M13 as in the example shown in FIG.
  • the control device sets the operation menu M13.
  • the target area may be set based on the type of the grid line that has been set.
  • each operation menu described with reference to FIGS. 20 and 21 is configured by the imaging apparatus so that, for example, a part of buttons (for example, function buttons) provided in the imaging apparatus is assigned. May be.
  • Example 2 Application Example> Next, as Example 2, an application example of the control device according to the present embodiment will be described.
  • the control device according to the present embodiment has been described focusing on the case where the control device is applied to an imaging device such as a so-called digital camera.
  • the control device according to the present embodiment has been described focusing on the case where the control device is applied to an imaging device such as a so-called digital camera.
  • the control device according to the present embodiment has been described focusing on the case where the control device is applied to an imaging device such as a so-called digital camera.
  • at least one target area is set based on display information presented together with a captured image such as a grid line, and at least one of the set target areas can be used for control of various operations
  • the application destination of the control device according to the present embodiment is not necessarily limited to the imaging device.
  • control device may be applied to a device used in the medical field such as an endoscope or a surgical microscope.
  • the control device according to the present embodiment may be applied to an in-vehicle device provided in a vehicle such as an automobile like a so-called navigation device.
  • the operation I / F for operating the UI provided by the control device according to the present embodiment may be changed according to the usage mode of various devices to which the control device according to the present embodiment is applied.
  • an operation I / F for operating a UI provided by the control device As a specific example, as an operation I / F for operating a UI provided by the control device according to the present embodiment, an operation I / F that uses a detection result of a user's gaze direction based on an eye tracking technique or the like as a user input. F (so-called operation I / F based on line-of-sight input) may be applied.
  • an apparatus that can be used during surgery, such as an endoscope or a surgical microscope, in order to avoid a situation in which a user's (for example, an operator) hand gets dirty due to the operation of the apparatus.
  • the control device in order to set and present to the user at least one target area based on display information such as a grid line, the user A desired target region may be selected from the presented target regions. That is, in the UI provided by the control device according to the present embodiment, the position in the presented captured image need not be specified in detail. For this reason, the control device according to the present embodiment is a situation in which an operation I / F in which the detection accuracy of the position designated by the user is relatively low is applied, such as the operation I / F based on the line-of-sight input. Even under the control, it is possible to execute control closer to the user's intention.
  • control device may control the operation of each imaging unit in a system in which a plurality of imaging units (imaging devices) operate in cooperation with each other.
  • the control device sets the target region 150 based on display information (for example, a grid line) superimposed on a captured image captured by some of the imaging units. The result may be used for controlling operations related to image capturing by other image capturing units.
  • Example 2 The application example of the control device according to the present embodiment has been described above as Example 2.
  • the control device sets at least one target region according to display information displayed together with the captured image such as a grid line. Then, the control device uses at least a part of the set at least one target area for control of an operation related to image capturing by the imaging unit. Through such control, the control device according to the present embodiment performs an operation related to imaging of an image by the imaging unit so that a subject closer to the user's intention is preferentially imaged among subjects captured by the imaging unit. Can be controlled.
  • a setting unit that sets an area corresponding to at least a part of the image in accordance with display information for assisting shooting displayed together with the image captured by the imaging unit;
  • a control unit that controls an operation related to imaging by the imaging unit based on the at least one region;
  • a control device comprising: (2)
  • the display information is information for dividing the captured image into a plurality of partial areas,
  • the setting unit sets the area according to a mode in which the image is divided into the partial areas based on the display information.
  • the control device wherein the setting unit controls the width of the region in accordance with an aspect in which the image is divided into a plurality of partial regions.
  • the display information is based on a display setting for displaying an image captured by the imaging unit on an external display device, and the image is displayed on the partial area to be displayed on the display device and the other part. Information divided into areas, The setting unit sets at least one of the regions from among the partial regions to be displayed; The control device according to (2).
  • the display information is display information that presents the state relating to image capturing by the imaging unit in an identifiable manner, The setting unit sets at least one of the regions in another region different from the region occupied by the display information in the image; The control device according to (1) above.
  • the control unit selects at least a part of a plurality of operations having different modes according to the set region, any one of (1) to (9).
  • the control unit selects, as the operation, at least a part of the plurality of operations having different regions in the image used for control according to the set region.
  • the control device described. (12) The control device according to any one of (1) to (11), wherein the control unit controls the operation based on each of two or more of the plurality of set regions.
  • the control unit as the operation, individually controls each of a plurality of operations having different modes based on at least a part of the set at least one of the regions. ).
  • the control device presents each of the set at least one of the regions so as to be selectable, and controls the operation based on the selected region, according to any one of (1) to (13).
  • Control device determines any one of the set at least one region to be used for controlling the operation according to a state of the imaging unit, any one of (1) to (14).
  • the control device according to item The control device according to item.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】ユーザの意図により近い態様での画像の撮像をより簡便な操作により実現する。 【解決手段】撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定する設定部と、前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御する制御部と、を備える、制御装置。

Description

制御装置、制御方法、及びプログラム
　本開示は、制御装置、制御方法、及びプログラムに関する。
　近年では、デジタルスチルカメラやデジタルビデオカメラ（以降では、これらを総じて「デジタルカメラ」とも称する）等のように静止画像や動画像等の画像を撮像可能な撮像装置の機能として、ユーザによる画像の撮影を補助するための機能が各種提案されている。このような機能の中には、オートフォーカス（ＡＦ：Auto　Focus）、オートホワイトバランス（ＡＷＢ：Auto　White　Balance）、及び自動露出（ＡＥ：Auto　Exposure）等のように、フォーカス、ホワイトバランス、露出の調整等のような画像の撮像に関する動作を自動で制御する機能も提案されている。例えば、特許文献１には、適正露出画像を取得するために、露出やストロボの発光等を自動で制御するための技術の一例が開示されている。
特許第４４０８７７９号公報
　このように、撮像装置が、フォーカス、ホワイトバランス、露出の調整等のような画像の撮像に関する動作を自動で制御すること（以降では、単に「自動制御」とも称する）で、ユーザは、煩雑な操作を行わなくとも、より好適な態様で画像を撮影することが可能となる。
　一方で、撮像装置が自動制御を行うために特定した被写体（即ち、より好ましいと認識した被写体）と、ユーザが撮影しようとしている被写体とが一致しない場合がある。このような状況下においては、例えば、ユーザが撮影しようとしている被写体とは異なる被写体がより好適な態様で撮像されるように、撮像装置による自動制御が働き、当該自動制御の内容が、ユーザの意図した制御とはならない場合がある。このような場合には、ユーザが、自身の意図する画像を撮影するために、例えば、フォーカス、ホワイトバランス、露出等を手動で調整する（変更する）といった煩雑な操作を行った上で、所望の被写体の画像を撮影するといった状況も想定され得る。
　そこで、本開示では、ユーザの意図により近い態様での画像の撮像をより簡便な操作により実現することが可能な、制御装置、制御方法、及びプログラムを提案する。
　本開示によれば、撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定する設定部と、前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御する制御部と、を備える、制御装置が提供される。
　また、本開示によれば、プロセッサが、撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、を含む、制御方法が提供される。
　また、本開示によれば、コンピュータに、撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、を実行させる、プログラムが提供される。
　以上説明したように本開示によれば、ユーザの意図により近い態様での画像の撮像をより簡便な操作により実現することが可能な、制御装置、制御方法、及びプログラムが提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るカメラモジュールの構成の一例を示したブロック図である。 同実施形態に係る制御装置の技術的特徴について説明するための説明図である。 同実施形態に係る制御装置の一連の処理の流れの一例について示したフローチャートである。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例１に係る制御装置の概要について説明するための説明図である。 変形例２に係る制御装置の概要について説明するための説明図である。 変形例３に係る制御装置の概要について説明するための説明図である。 変形例３に係る制御装置の概要について説明するための説明図である。 変形例４に係る制御装置の概要について説明するための説明図である。 変形例５に係る制御装置により提示されるＵＩの一例について説明するための説明図である。 変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。 変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。 変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。 実施例１に係る自動制御機能の実装方法の一例について説明するための説明図である。 実施例１に係る自動制御機能の実装方法の他の一例について説明するための説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．カメラモジュールの構成例
　　１．２．技術的特徴
　　１．３．処理
　　１．４．作用効果
　２．変形例
　　２．１．変形例１：表示情報に応じた対象領域の設定例
　　２．２．変形例２：ブラケット撮影への適用例
　　２．３．変形例３：制御に利用する領域を時系列に沿って変化させる場合の一例
　　２．４．変形例４：対象領域の設定結果を利用した制御の一例
　　２．５．変形例５：ＵＩの提示例
　３．実施例
　　３．１．実施例１：対象領域の設定に基づく自動制御機能の実装例
　　３．２．実施例２：適用例
　４．むすび
　＜＜１．実施形態＞＞
　　＜１．１．カメラモジュールの構成例＞
　まず、図１を参照して、本開示の一実施形態に係るカメラモジュールの構成の一例について説明する。図１は、本実施形態に係るカメラモジュールの構成の一例を示したブロック図である。なお、以降の説明では、特に説明が無い限りは、「撮像」と記載した場合には、カメラモジュール等の撮像部（または、撮像装置）が、画像を撮像する動作を示すものとする。またに、「撮影」と記載した場合においては、ユーザがカメラモジュール等の撮像装置を使用することで、画像を撮影する行為を示すものとする。
　図１に示すように、本実施形態に係るカメラモジュールは、レンズ鏡筒１１と、光学フィルタ１２と、イメージセンサ１３と、メイン処理部１４と、照明制御部１５と、センサ駆動部１６と、位相差ＡＦ処理部１７と、画像処理部１８と、フォーカス駆動部１９と、表示部２０と、操作部２１と、フラッシュメモリ２２と、フォーカスアクチュエータ２３と、照明部２４とを含む。
　なお、図１において、カメラモジュールは、レンズ鏡筒１１と一体的に構成されている。但し、カメラモジュールは、レンズ鏡筒１１を取り外し可能なように構成されていてもよい。
　レンズ鏡筒１１は、レンズ群や絞り等の撮像光学系１１Ａを有し、そこに入射する光を、光学フィルタ１２を介して、イメージセンサ１３上に集光する。
　なお、撮像光学系１１Ａのレンズ群のレンズ位置（ひいては焦点位置）は、光軸Ｌ方向に移動可能になっており、これにより、フォーカスの調整を行うことができるようになっている。
　光学フィルタ１２は、イメージセンサ１３により撮像される撮像画像に生じる偽色やモアレを軽減するための光学素子である。すなわち、光学フィルタ１２は、光学的なローパスフィルタであり、撮像光学系１１Ａからの光の一部の成分を減衰して、イメージセンサ１３に出射する。
　イメージセンサ１３は、撮像光学系１１Ａから、光学フィルタ１２を介して入射する光（被写体光）を受光することにより、撮像画像を撮像する撮像素子である。イメージセンサ１３としては、例えば、ＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)イメージセンサ等を採用することができる。
　なお、イメージセンサ１３の受光面には、例えば、位相差ＡＦに用いる位相差を検出するための検出画素と、当該検出画素以外の、位相差の検出には用いられない通常画素（撮像画像となる画像を得る目的の画素）とが含まれていてもよい。また、位相差ＡＦに用いる位相差を検出するための構成として、当該検出画素とは異なる他のセンサが、イメージセンサ１３の受光面の外部に別途設けられていてもよい。
　イメージセンサ１３は、撮像により得られる撮像画像（の画像信号）を、センサ駆動部１６に供給する。
　表示部２０は、例えば、ＬＣＤ(Liquid　Crystal　Display)パネル等で構成され、カメラモジュールの撮像モードに関する情報や、撮像前のプレビュー画像、撮像後の確認用画像、ＡＦ時の合焦状態の画像等を表示する。
　操作部２１は、ユーザによって操作されるスイッチ群であり、電源スイッチや、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。
　フラッシュメモリ２２は、カメラモジュールに着脱可能になっている。フラッシュメモリ２２には、メイン処理部１４から供給される撮像画像が記録（記憶）される。
　フォーカスアクチュエータ２３は、フォーカス駆動部１９により駆動され、撮像光学系１１Ａのレンズ位置を、光軸Ｌ方向に移動させる。
　照明部２４は、照明制御部１５の制御に従って、被写体を照明する光や、ＡＦ用のトーチ補助光となる光を発光する。
　照明部２４としては、例えば、キセノン管を用いた閃光照明装置や、連続発光が可能なＬＥＤ(Light Emitting Diode)を有するＬＥＤ照明装置等を採用することができる。カメラモジュールが、スマートフォン等の携帯機器に搭載される場合には、照明部２４としては、比較的小型のＬＥＤ照明装置を採用することができる。
　照明部２４は、所定のパターンの溝が形成された投光レンズ（図示せず）を介して、光を、被写界に投光し、暗い被写体や、低コントラストの被写体に対するＡＦの精度を向上させる。
　メイン処理部１４は、カメラモジュールを構成する各ブロックを制御する。
　メイン処理部１４は、例えば、ＣＰＵ(Central　Processing　Unit)３１と、メモリ３２と、ＡＤＣ(Analog　to　Digital　Converter)３３と、ＤＡＣ(Digital　to　Analog　Converter)３４と、通信Ｉ／Ｆ(Interface)３５とを含む。
　ＣＰＵ３１は、メモリ３２に記憶されたプログラムを実行することにより、カメラモジュールの各種機能を実現する。具体的な一例として、ＣＰＵ３１は、照明制御部１５ないしフラッシュメモリ２２等を制御し、ＡＦ、ＡＷＢ、及びＡＥ等や、撮像画像の撮像、各種の画像処理、撮像画像の記録等の各種の処理を実行させる。
　また、ＣＰＵ３１は、ユーザによる画像の撮影を補助するための情報を、表示部２０等のような出力Ｉ／Ｆを介して当該ユーザに提示してもよい。具体的な一例として、ＣＰＵ３１は、所謂グリッドライン等のように、ユーザが撮影する画像の構図を決定するための指標として利用可能な情報を、プレビュー画像等の撮像画像上に重畳表示させてもよい。また、他の一例として、ＣＰＵ３１は、所謂ヒストグラムや各種アイコン等のように、カメラモジュールによる画像の撮像に関する状態や設定等を識別可能に提示するための表示情報を、撮像画像上に重畳表示させてもよい。
　また、ＣＰＵ３１は、撮像画像（例えば、プレビュー画像）と共に表示される表示情報（例えば、グリッドライン、ヒストグラム、アイコン等）に応じて、ＡＦ、ＡＷＢ、ＡＥ等のような画像の撮像に関する動作を制御する。具体的には、ＣＰＵ３１は、撮像画像と共に表示される表示情報の表示位置や表示範囲（大きさ）等に応じて、当該撮像画像中において、ユーザが撮影しようとしている被写体が存在すると推定される領域（以降では、「対象領域」とも称する）を少なくとも１つ設定する。そして、ＣＰＵ３１は、設定した少なくとも１つの対象領域のうち、少なくとも一部の対象領域を利用して、画像の撮像に関する動作を制御する。なお、本動作の詳細については、別途後述する。また、ＣＰＵ３１のうち、対象領域を設定する部分が「設定部」の一例に相当し、設定した対象領域を利用して画像の撮像に関する動作を制御する部分が「制御部」の一例に相当する。
　メモリ３２は、ＲＡＭ(Random　Access　Memory)等の揮発性メモリや、ＥＥＰＲＯＭ(Electrically　Erasable　Programmable　Read　Only　Memory)等の不揮発性メモリ等で構成され、ＣＰＵ３１が実行するプログラムや、ＣＰＵ３１の動作上必要なデータを記憶する。
　ＡＤＣ３３は、アナログ信号をディジタル信号にＡＤ変換する。ＤＡＣ３４は、ディジタル信号をアナログ信号にＤＡ変換する。通信Ｉ／Ｆ３５は、インターネット等との間の通信を制御する。
　照明制御部１５は、照明部２４を制御し、被写体を照明する光や、ＡＦ用のトーチ補助光となる光を発光させる。
　すなわち、照明制御部１５は、イメージセンサ１３の撮像動作に同期して、照明部２４に、被写体を照明する光となる電子フラッシュを発光（点灯）させる。また、照明制御部１５は、ＡＦの動作に同期して、照明部２４に、トーチ補助光を発光させる。
　センサ駆動部１６は、イメージセンサ１３を制御することにより、撮像画像を撮像させる。また、センサ駆動部１６は、イメージセンサ１３で撮像された撮像画像の画像信号を、必要に応じて、AD変換して、メイン処理部１４や位相差ＡＦ処理部１７に供給する。
　位相差ＡＦ処理部１７は、センサ駆動部１６からの撮像画像の画像信号のうちの、検出画素の画素値を用いて、位相差ＡＦにより、撮像光学系１１Ａ（のレンズ群）のレンズ位置を移動させるレンズ移動量を算出して、メイン処理部１４に供給する。
　画像処理部１８は、イメージセンサ１３で撮像され、センサ駆動部１６、及び、メイン処理部１４を介して供給される撮像画像について、γ変換や、カラー補間、ＪＰＥＧ(Joint　Photographic　Experts　Group)等の所定の圧縮伸張方式による圧縮伸張等の画像処理を行う。また、画像処理部１８は、撮像画像のコントラストを表すコントラスト評価値を算出し、メイン処理部１４に供給する。メイン処理部１４では、画像処理部１８からのコントラスト評価値を用いて、コントラストＡＦ（の制御）が行われる。
　フォーカス駆動部１９は、メイン処理部１４の制御に従って、フォーカスアクチュエータ２３を駆動し、撮像光学系１１Ａのレンズ位置を、光軸Ｌ方向に移動させることで、フォーカス調節を行う。
　なお、位相差ＡＦ処理部１７は、イメージセンサ１３に含める（内蔵させる）ことができる。
　また、位相差ＡＦ処理部１７は、ハードウェアにより実現することもできるし、ソフトウェアにより実現することもできる。位相差ＡＦ処理部１７を、ソフトウェアによって実現する場合には、そのソフトウェアを構成するプログラムが、例えば、メイン処理部１４等のコンピュータにインストールされ、メイン処理部１４のＣＰＵ３１によって実行される。
　この場合、ＣＰＵ３１がプログラムに従って行う処理は、必ずしも、一連の動作としてシーケンシャルに行われる必要はない。すなわち、ＣＰＵ３１がプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　ここで、プログラムは、コンピュータとしてのメイン処理部１４に内蔵されている記録媒体としてのメモリ３２にあらかじめ記録しておくことができる。
　あるいはまた、プログラムは、リムーバブルな記録媒体である、例えば、フラッシュメモリ２２に格納（記録）し、いわゆるパッケージソフトウエアとして提供することができる。
　なお、プログラムは、フラッシュメモリ２２からメイン処理部１４にインストールする他、インターネット等の通信網や、地上波等の放送網を介して、メイン処理部１４にダウンロードし、内蔵するメモリ３２にインストールすることができる。
　また、図１を参照して説明した構成はあくまで一例であり、必ずしも図１に示す例には限定されない。具体的な一例として、カメラモジュールの各構成のうち、少なくとも一部の構成がカメラモジュールの外部に設けられていてもよい。具体的な一例として、メイン処理部１４等のような制御の主体となる構成が、所謂スマートフォン等のような外部装置に設けられており、通信を介してカメラモジュール内の各構成の動作を制御してもよい。また、カメラモジュールの各構成により実行されている機能のうち、少なくとも一部の機能が、カメラモジュールの外部に設けられた構成により実行されてもよい。
　以上、図１を参照して、本開示の一実施形態に係るカメラモジュールの構成の一例について説明した。なお、図１に示したカメラモジュールのうち、メイン処理部１４のように、カメラモジュールを構成する各ブロックを制御する構成が、本実施形態に係る「制御装置」の一例に相当する。そこで、以降の説明では、本実施形態の特徴をよりわかりやすくするために、図１に示すカメラモジュールのうち、撮像光学系１１Ａ、光学フィルタ１２、及びイメージセンサ１３のように、画像を撮像するための構成を「撮像部」と称し、メイン処理部１４のように、撮像部の動作を制御する構成を「制御装置」と称するものとする。
　　＜１．２．技術的特徴＞
　次いで、図２を参照して、本実施形態に係る制御装置の技術的特徴について、特に、撮像画像と共に表示された表示情報に応じて対象領域を推定し、推定した当該対象領域を利用して、撮像部による画像の撮像に関する動作を制御する部分に着目して説明する。図２は、本実施形態に係る制御装置の技術的特徴について説明するための説明図であり、ユーザが画像を撮影するための操作画面の一例を示している。なお、本説明では、制御装置が、ＡＦに係る動作（即ち、被写体に焦点を合わせる動作）を制御する場合を例に説明する。
　図２に示す例では、参照符号１００は、本実施形態に係る制御装置により、ＵＩ（ＵＩ：User　Interface）が提示される表示領域の一例を示している。表示領域１００には、例えば、撮像部により撮像された撮像画像がプレビュー画像として表示される。
　また、参照符号１０１は、ＡＦにより焦点を合わせる位置（即ち、焦点位置）が設定される領域を示している。例えば、制御装置は、領域１０１内からより好ましい被写体を探索し、探索された当該被写体に合焦するように、位相差ＡＦやコントラストＡＦ等の各種ＡＦに係る動作に基づき撮像光学系（例えば、図１に示す撮像光学系１１Ａ）のレンズ位置を制御する。
　また、表示領域１００には、撮像部による画像の撮像に関する設定を示す情報等のように、ユーザによる画像の撮影を補助するための情報が表示情報として表示されてもよい。このとき、表示領域１００中に表示される表示情報のうち少なくとも一部の表示情報は、当該表示領域１００に表示されるプレビュー画像上に重畳表示されてもよい。
　例えば、図２に示す例では、表示領域１００中に表示されるプレビュー画像が表示される領域（即ち、撮像部の画角に相当する領域）に、ユーザによる構図の決定を補助するための表示情報としてグリッドライン１１１が提示されている。より具体的には、図２に示す例では、グリッドライン１１１は、表示領域１００の縦方向及び横方向のそれぞれを三分割するように提示されている。
　本実施形態に係る制御装置は、グリッドライン１１１等のように撮像画像（例えば、プレビュー画像）が提示される領域（即ち、撮像部の画角に相当する領域）中に提示された表示情報の態様に応じて、ユーザが撮影しようとしている被写体が存在すると推定される対象領域を少なくとも１つ設定する。
　具体的な一例として、図２に示す例のように表示領域１００（換言すると、画角内）を縦方向及び横方向の双方について三分割するようにグリッドライン１１１が提示されている場合には、ユーザは、所謂三分割法に基づき、撮影しようとして画像の構図を決定しているものと推定される。そのため、この場合には、制御装置は、例えば、縦方向に延伸するグリッドライン１１１と横方向に延伸するグリッドライン１１１との交点の位置（即ち、三分割法において好ましいとされる被写体の位置）に、ユーザが撮影しようとしている被写体が存在するものと推定し、当該交点を含むように対象領域１５０を設定する。即ち、図２に示す例では、制御装置は、グリッドライン１１１の交点それぞれを含むように、４つの対象領域１５０を設定することとなる。
　そして、本実施形態に係る制御装置は、設定した少なくとも１つの対象領域１５０のうち、少なくとも一部の対象領域１５０を、ＡＦ等のような撮像部による画像の撮像に関する動作の制御に利用する。
　具体的な一例として、制御装置は、設定した少なくとも１つの対象領域１５０を、ユーザに対して選択可能に提示してもよい。この場合には、制御装置は、ボタンやダイヤル等のような操作Ｉ／Ｆを介したユーザからの操作を受けて、当該ユーザにより選択された対象領域１５０を特定し、特定した対象領域１５０を、撮像部による画像の撮像に関する動作の制御に利用してもよい。
　また、他の一例として、制御装置は、設定した少なくとも１つの対象領域１５０それぞれに対して顔認識等の各種認識処理を実行し、認識結果に応じて、画像の撮像に関する動作の制御に利用する対象領域１５０を特定してもよい。このような制御により、制御装置は、例えば、設定した少なくとも１つの対象領域１５０のうち、被写体として人物が含まれる対象領域１５０を特定し、当該人物に合焦するように、撮像部によるＡＦに係る動作を制御することが可能となる。
　また、他の一例として、制御装置は、撮像部の向き（縦向き及び横向きのいずれか等）、撮像部の角度（水平か否か等）、撮像部が三脚に乗っているか否か等のような、撮像部の状態に応じて、画像の撮像に関する動作の制御に利用する対象領域１５０を特定してもよい。より具体的な一例として、撮像部が三脚に乗っており、かつ、当該撮像部が水平に支持されている場合には、ユーザが風景を撮影している可能性が高い。そのため、この場合には、撮像装置は、無限遠に位置する被写体が優先されるように、当該被写体を示す対象領域１５０を、撮像部による画像の撮像に関する動作の制御に利用してもよい。
　もちろん、上記に説明した例はあくまで一例であり、制御装置が、設定した少なくとも１つの対象領域１５０のうち、少なくとも一部の対象領域１５０を、所定の条件に基づき特定することが可能であれば、その方法は特に限定されない。
　また、制御装置が、設定した対象領域１５０に基づき、撮像部による画像の撮像に関する動作を制御することが可能であれば、当該動作の内容は特に限定はされない。具体的な一例として、制御装置は、少なくとも一部の対象領域１５０中の画像の明るさ（換言すると、当該対象領域１５０に対応する画素の画素値）に応じて、露出を制御してもよい（即ち、ＡＥに係る動作を制御してもよい）。また、他の一例として、制御装置は、少なくとも一部の対象領域１５０中の画像の色温度に応じて、ホワイトバランスを制御してもよい即ち、ＡＷＢに係る動作を制御してもよい）。
　また、制御装置は、設定した対象領域１５０は、複数の動作（例えば、ＡＦ、ＡＥ、及びＡＷＢ等）の制御に利用してもよい。この場合には、制御装置は、複数の動作それぞれの制御において、当該制御に利用する対象領域１５０を個別に特定してもよい。なお、このとき制御装置は、複数の動作（例えば、ＡＦ、ＡＥ、及びＡＷＢ等）それぞれの制御において、互いに異なる対象領域１５０を利用してもよい。具体的な一例として、制御装置は、複数の対象領域１５０を設定した場合に、奥行き方向の手前側の被写体を示す対象領域１５０をＡＦの制御に利用し、奥側の被写体を示す対象領域１５０をＡＥの制御に利用してもよい。
　なお、上記説明では、本実施形態に係る制御装置の技術的特徴を、ユーザが撮像部により撮像されたプレビュー画像により被写体を確認しながら画像を撮像するような撮像装置に対して適用する場合を例に説明した。一方で、本実施形態に係る制御装置の技術的特徴を適用または応用可能であれば、その適用先または応用先は特に限定されない。具体的な一例として、本実施形態に係る制御装置の技術的特徴を、所謂一眼レフカメラやレンジファインダーカメラ等の撮像装置のように、ユーザがファインダーを通して被写体の光学像を確認しながら画像を撮像する撮像装置に応用してもよい。
　この場合には、例えば、ファインダー内に所謂透過型のディスプレイを設けることで、当該透過型のディスプレイにグリッドライン等の表示情報を表示させることで、被写体の光学像に対して当該表示情報を重畳させてもよい。このような構成により、グリッドライン等のようなユーザの撮影を補助するための表示情報の表示態様に応じて、ファインダーを通してユーザに視認される被写体の光学像（即ち、撮像装置の画角に対応する光学像）の中から、ユーザが撮影しようとしている被写体を推定することが可能となる。このような特性を利用して、撮像装置の制御部は、被写体の光学像に重畳されるグリッドライン等の表示情報に応じて、少なくとも１つの対象領域１５０を設定し、当該対象領域１５０のうち少なくとも一部を画像の撮像に利用すればよい。
　以上、図２を参照して、本実施形態に係る制御装置の技術的特徴について、特に、撮像画像と共に表示された表示情報に応じて対象領域を推定し、推定した当該対象領域を利用して、撮像部による画像の撮像に関する動作を制御する部分に着目して説明した。
　　＜１．３．処理＞
　次いで、図３を参照して、本実施形態に係る制御装置の一連の処理の流れの一例について、特に、撮像画像と共に表示された表示情報に応じて対象領域を推定し、推定した当該対象領域を利用して、撮像部による画像の撮像に関する動作を制御する部分に着目して説明する。図３は、本実施形態に係る制御装置の一連の処理の流れの一例について示したフローチャートである。なお、本説明では、制御装置が、ＡＦに係る動作（即ち、被写体に焦点を合わせる動作）を制御する場合を例に説明する。
　例えば、制御装置は、ユーザがシャッターボタンを半押しした場合等のように、ＡＦに係る動作のトリガを検出した場合に、ユーザに対して提示しているグリッドラインの態様に応じて、対象領域１５０を少なくとも１つ設定する（Ｓ１０１）。
　次いで、制御装置は、例えば、設定した少なくとも１つの対象領域１５０を、ＵＩ上に提示したプレビュー画像上に重畳表示させることで、当該対象領域１５０をユーザに提示する（Ｓ１０３）。また、制御装置は、ボタンやダイヤル等のような操作Ｉ／Ｆを介したユーザからの操作を受けて、ユーザに対して提示した少なくとも１つの対象領域１５０のうち、当該ユーザにより選択された対象領域１５０を特定する（Ｓ１０５）。
　そして、制御装置は、特定した対象領域１５０に基づき、撮像部によるＡＦに係る動作を制御する。より具体的には、制御装置は、特定した対象領域１５０中の被写体に合焦するように、位相差ＡＦやコントラストＡＦ等の各種ＡＦに係る動作に基づき撮像光学系（例えば、図１に示す撮像光学系１１Ａ）のレンズ位置を制御する（Ｓ１０７）。このような制御により、特定された対象領域１５０中の被写体に焦点が合った撮像画像が、撮像部により撮像されることとなる。
　以上、図３を参照して、本実施形態に係る制御装置の一連の処理の流れの一例について、特に、撮像画像と共に表示された表示情報に応じて対象領域を推定し、推定した当該対象領域を利用して、撮像部による画像の撮像に関する動作を制御する部分に着目して説明した。
　　＜１．４．作用効果＞
　以上、説明したように、本実施形態に係る制御装置は、グリッドライン等のように撮像画像と共に表示される表示情報に応じて、少なくとも１つの対象領域を設定する。そして、制御装置は、設定した少なくとも１つの対象領域のうち、少なくとも一部の対象領域を、撮像部による画像の撮像に係る動作の制御に利用する。このような制御により、本実施形態に係る制御装置は、撮像部により撮像される被写体のうち、ユーザの意図により近い被写体が優先して撮像されるように、撮像部による画像の撮像に関する動作を制御することが可能となる。
　また、本実施形態に係る制御装置は、設定した対象領域以外の他の領域を、撮像部による画像の撮像に係る動作の制御に利用する領域の対象から除外することが可能となる。そのため、例えば、ユーザの意図しない被写体を優先して画像を撮像するといった事態が発生する確率をより低減することが可能となる。
　具体的な一例として、制御装置は、撮像部によりＡＦに係る動作を制御することで、奥行き方向に沿って互いに異なる位置それぞれに被写体が存在するような状況下においても、ユーザの意図しない被写体に合焦する確率を低減することが可能となる。
　また、他の一例として、制御装置は、撮像部によりＡＥに係る動作を制御することで、撮像部の画角内に明るさの異なる被写体が複数存在するような状況下においても、ユーザの意図した被写体がより暗く撮像される確率（または、ユーザの意図しない被写体がより明るく撮像される確率）を低減することが可能となる。
　また、他の一例として、制御装置は、撮像部によりＡＷＢに係る動作を制御することで、撮像部の画角内に色温度の異なる光源によって照明された領域が複数存在するような状況下においても、ユーザの意図により近い色味で被写体を撮像することが可能となる。
　また、本実施形態に係る制御装置は、対象領域の設定結果を所謂顔認識等のような各種認識処理に利用してもよい。これにより、制御装置は、例えば、設定された対象領域以外の他の領域を、各種認識処理の対象から除外することが可能なため、当該認識処理の計算量を低減し、認識結果の提示に関するレスポンスをより向上させることも可能となる。
　＜＜２．変形例＞＞
　次いで、本実施形態の変形例について説明する。
　　＜２．１．変形例１：表示情報に応じた対象領域の設定例＞
　まず、変形例１として、グリッドライン等のように、撮像画像と共に表示される表示情報の一例と、当該表示情報に応じた対象領域の設定の一例とについて説明する。
　（グリッドラインに基づく設定例）
　まず、図４～図８を参照して、制御装置が、撮像画像に重畳表示される表示情報としてグリッドラインを表示する場合における、対象領域の設定の一例について説明する。図４～図８は、変形例１に係る制御装置の概要について説明するための説明図であり、撮像画像に重畳表示されるグリッドラインの一例を示している。
　例えば、図４は、撮像画像が表示される表示領域１００（換言すると、画角）の対角線に沿ってグリッドライン１１１が提示されている場合の一例を示している。図４に示す例では、変形例１に係る制御装置は、例えば、グリッドライン１１１の交点の位置（即ち、表示領域１００の中心）に、ユーザが撮影しようとしている被写体が存在するものと推定し、当該交点を含むように対象領域１５０を設定してもよい。
　また、図５は、撮像画像が表示される表示領域１００を縦方向及び横方向のそれぞれについて二分割するようにグリッドライン１１１が提示されている場合の一例を示している。図５に示す例では、変形例１に係る制御装置は、例えば、グリッドライン１１１の交点の位置（即ち、表示領域１００の中心）に、ユーザが撮影しようとしている被写体が存在するものと推定し、当該交点を含むように対象領域１５０を設定してもよい。
　また、図６は、撮像画像が表示される表示領域１００を縦方向及び横方向のそれぞれについて四分割するようにグリッドライン１１１が提示されている場合の一例を示している。図６に示す例では、変形例１に係る制御装置は、例えば、図２、図４、及び図５を参照して説明した例と同様に、グリッドライン１１１の交点の位置に、ユーザが撮影しようとしている被写体が存在するものと推定し、当該交点を含むように対象領域１５０を設定してもよい。
　なお、制御装置は、グリッドライン１１１の交点のうち、一部の交点についてのみ、当該交点の位置を含むように対象領域１５０を設定してもよい。例えば、図６に示す例では、制御装置は、所謂四分割法に基づき、参照符号１１１ａ及び１１１ｂで示されたグリッドラインのうち、縦方向に延伸するグリッドライン１１１ａと横方向に延伸するグリッドライン１１１ａとの交点についてのみ、当該交点を含むように対象領域１５０を設定している。
　また、図７は、撮像画像が表示される表示領域１００を黄金比に分割する所謂フィボナッチ螺旋（即ち、フィボナッチ数列からなる螺旋）に基づきグリッドライン１１１が提示されている場合の一例を示している。図７に示す例では、変形例１に係る制御装置は、例えば、フィボナッチ螺旋が収束する位置にユーザが撮影しようとしている被写体が存在するものと推定し、当該位置を含むように対象領域１５０を設定してもよい。
　また、図８は、トリミング等により正方形の写真を切り出す場合を想定し、撮像画像が表示される表示領域１００中に正方形の領域を示すグリッドライン１１１が提示されている場合の一例を示している。図８に示す例では、変形例１に係る制御装置は、例えば、グリッドライン１１１により示される正方形の領域内（例えば、正方形の領域の中心）に被写体が存在するものと推定し、当該正方形の領域内に対象領域１５０を設定してもよい。
　また、図２及び図４～図８に示すような各グリッドライン１１１は、操作Ｉ／Ｆを介したユーザからの指示に基づき、選択的に切り替えられてもよいことは言うまでもない。なお、このとき制御装置は、選択的に提示されるグリッドライン１１１に応じて、設定する対象領域１５０の広さを変更してもよい。例えば、図２、図５、及び図６それぞれに示す例では、グリッドライン１１１により分割された部分領域の広さがそれぞれ異なる。そのため、例えば、制御装置は、グリッドライン１１１により分割される部分領域の広さに応じて、対象領域１５０の広さを設定してもよい。
　以上説明したように、グリッドライン等のような、ユーザによる構図の決定を補助するための表示情報は、例えば、撮像画像（換言すると、画角）を複数の部分領域に分割する態様に応じて、当該ユーザの意図する構図を推定することが可能である。変形例１に係る制御装置は、このような特性を利用して、ユーザが撮影しようとしている被写体を推定し、当該被写体がより好適な態様で撮像されるように、撮像部による画像の撮像に係る動作（例えば、ＡＦ、ＡＥ、及びＡＷＢ等）を制御する。これにより、変形例１に係る制御装置は、ユーザが、フォーカス、露出、ホワイトバランス等の調整のための煩雑な操作を行わなくとも、当該ユーザの意図により近い態様での画像を、撮像部に撮像させることが可能となる。
　（除外領域の設定例）
　次いで、制御装置が、撮像画像と共に表示される表示情報に応じて、当該撮像画像（換言すると、画角）中に、対象領域の設定対象から除外する除外領域を設定し、当該除外領域の設定結果に応じて対象領域を設定する場合の一例について、当該表示情報の例とあわせて説明する。
　例えば、図９は、変形例１に係る制御装置の概要について説明するための説明図である。具体的には、図９は、撮像画像を外部の表示装置（例えば、外部ディスプレイ等）に出力する場合に、表示対象となる領域を識別可能に提示する（または、表示されない領域を識別可能に提示する）ための安全領域を、当該撮像画像に重畳表示させた場合の一例を示している。
　図９において、参照符号１１３は、安全領域等のような表示対象となる領域を示す補助線である。図９に示す例では、撮像画像が表示される表示領域１００のうち、補助線１１３の内側に相当する領域１０５が安全領域（即ち、表示対象となる領域）に相当し、補助線１１３の外側に相当する領域１０３が安全領域の外部（即ち、表示されない領域）に相当する。
　このような特性から、図９に示す例では、制御装置は、撮像画像が表示される表示領域１００のうち、安全領域の外部に相当する領域１０３を除外領域として設定してもよい。
　具体的には、制御装置は、外部の表示装置に対して撮像画像を出力するための表示設定に基づき、表示領域１００中の安全領域の位置及び範囲を認識し、当該認識結果に応じて、安全領域を示す補助線１１３を撮像画像（例えば、プレビュー画像）に重畳表示させる。そして、制御装置は、例えば、表示領域１００のうち、除外領域以外の他の領域内（即ち、安全領域に相当する領域１０５内）に被写体が存在するものと推定し、当該除外領域以外の他の領域内に対象領域１５０を設定してもよい。
　また、図１０は、変形例１に係る制御装置の概要について説明するための説明図である。具体的には、図１０は、撮像後に撮像画像を撮像時とは異なるアスペクト比で表示させる場合を想定し、撮像時に当該アスペクト比の違いを表示情報としてプレビュー画像に重畳表示させる場合の一例を示している。
　図１０に示す例では、撮像画像が表示される表示領域１００のうち、補助線１１３の外側に相当する領域１０３がアスペクト比の違いに伴い表示されない領域に相当し、補助線１１３の内側に相当する領域１０５が表示対象となる領域に相当する。即ち、図１０に示す例において、制御装置は、撮像画像が表示される表示領域１００のうち、アスペクト比の違いに伴い表示されない領域に相当する領域１０３を除外領域として設定してもよい。なお、以降の動作については、図９を参照して説明した例と同様である。
　（画像の撮像に関する状態や設定を示す表示情報が提示されている場合の設定例）
　次いで、図１１を参照して、ヒストグラムや各種アイコン等のように、画像の撮像に関する状態や設定等を示す表示情報が撮像画像に重畳表示されている場合における、対象領域１５０の設定例について説明する。図１１は、変形例１に係る制御装置の概要について説明するための説明図であり、画像の撮像に関する状態や設定等を示す表示情報が撮像画像に重畳表示する場合の一例を示している。
　例えば、図１１に示す例では、撮像画像が表示される表示領域１００の一部に、撮像画像のヒストグラムが提示された補助ウィンドウ１４１が提示されている。また、図１１に示す例では、表示領域１００の一部に、画像の撮像に関する状態や設定等を示すアイコン１４３が提示されている。即ち、図１１に示す例では、補助ウィンドウ１４１やアイコン１４３等のような表示情報が、撮像画像（例えば、プレビュー画像）に重畳表示されることとなる。
　このような場合においては、例えば、表示領域１００中に提示されたプレビュー画像のうち、補助ウィンドウ１４１やアイコン１４３等の表示情報が重畳表示された領域は、当該表示情報により遮蔽され一時的に見えなくなる。そのため、図１１に示すような状況下においては、制御装置は、補助ウィンドウ１４１やアイコン１４３等の表示情報が重畳表示された領域には、ユーザが撮影しようとしている被写体が存在しないものと推定し、他の領域中に対象領域１５０を設定してもよい。
　なお、上域に説明した例はあくまで一例であり、制御装置が、撮像画像と共に提示される表示情報に応じて対象領域１５０を設定することが可能であれば、表示情報の種別や、当該表示情報に基づく対象領域１５０の設定方法は特に限定されない。また、上述した各例のうち、複数の例を組み合わせることで対象領域１５０が設定されてもよい。例えば、制御装置は、グリッドライン１１１の交点のうち、補助ウィンドウ１４１やアイコン１４３等が表示されていない領域に存在する交点を含むように対象領域１５０を設定してもよい。
　以上、変形例１として、グリッドライン等のように、撮像画像と共に表示される表示情報の一例と、当該表示情報に応じた対象領域の設定の一例とについて説明する。
　　＜２．２．変形例２：ブラケット撮影への適用例＞
　次に、変形例２として、対象領域１５０の設定結果を、画像の撮像に関する設定を逐次切り替えながら複数の画像を撮像する所謂ブラケット撮影に利用する場合の一例について説明する。例えば、図１２は、変形例２に係る制御装置の概要について説明するための説明図である。
　図１２に示す例では、制御装置は、撮像画像が表示される表示領域１００が縦方向及び横方向のそれぞれに三分割されるようにグリッドライン１１１を提示している。この場合には、制御装置は、例えば、図２を参照して説明した例と同様に、グリッドライン１１１の交点それぞれを含むように、４つの対象領域１５０を設定することとなる。例えば、図１２において、参照符号１５５ａ～１５５ｄは、設定された対象領域１５０のうち、撮像部による画像の撮像に利用される対象領域を模式的に示している。即ち、図１２に示す例では、制御装置は、対象領域１５５ａ～１５５ｄそれぞれに位置する被写体が、ユーザが撮影しようとしている可能性が高い被写体であるものと認識している場合を示している。
　そこで、変形例２に係る制御装置は、図１２に示すように、ユーザが撮影しようとしている可能性が高い被写体が複数存在する場合（換言すると、対象領域１５０が複数設定された場合）には、複数の被写体それぞれが対象となるように、撮像部に、画像の撮像に関する設定を逐次切り替えながら各被写体の画像を撮像させる。
　より具体的な一例として、図１２に示す例の場合には、制御装置は、例えば、対象領域１５５ａ～１５５ｄのそれぞれに位置する被写体に合焦した複数の画像を、撮像部に撮像させてもよい。この場合には、制御装置は、例えば、対象領域１５５ａ～１５５ｄの中で注目する領域を順次切り替えながら、当該注目する領域に位置する被写体に合焦するように撮像部によるＡＦに係る動作を制御して、当該撮像部に画像を撮像させる。これにより、ユーザは、対象領域１５５ａ～１５５ｄのそれぞれに位置する被写体に対してフォーカスをあわせるような煩雑な操作を伴わずに、より簡便な操作で、当該対象領域１５５ａ～１５５ｄのそれぞれに位置する被写体に合焦した複数の画像を撮影することが可能となる。
　このように、変形例２に係る制御装置は、設定された複数の対象領域１５０それぞれを、撮像部による画像の撮像に関する動作に順次利用することで複数の画像を撮像する。なお、前述した実施形態と同様に、制御装置が制御の対象とする、撮像部による画像の撮像に関する動作の内容は特に限定されない。具体的な一例として、制御装置は、設定された複数の対象領域１５０それぞれを、撮像部によるＡＥやＡＷＢに係る動作に順次利用してもよい。また、制御装置は、撮像部による画像の撮像に関する動作の制御に利用する対象領域１５０と、当該動作の内容（例えば、フォーカス、露出、ホワイトバランス等の設定）とを順次切り替えながら、被写体と撮像に関する設定との組み合わせそれぞれに対応する画像を撮像部に撮像させてもよい。
　以上、変形例２として、対象領域１５０の設定結果を、画像の撮像に関する設定を逐次切り替えながら複数の画像を撮像する所謂ブラケット撮影に利用する場合の一例について説明した。
　　＜２．３．変形例３：制御に利用する領域を時系列に沿って変化させる場合の一例＞
　静止画像を連続して撮像する場合や、動画像を撮像する場合には、被写体または撮像部自体が動くことで、画角内における被写体の位置が変化する場合がある。このような場合には、例えば、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する領域を、画角内における被写体の位置の変化にあわせて移動させることが望ましい場合がある。そこで、変形例３として、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する領域を、時系列に沿って変化させる場合の一例について説明する。
　制御装置は、時系列に沿って移動する被写体を撮像部に撮像させる場合には、例えば、被写体の動きを推定し、推定結果に応じて、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する領域が被写体に追従するように、当該領域の位置を時系列に沿って変化させる。このとき、被写体の動きを推定する方法としては、例えば、画像認識技術を利用した方法や、撮像部と被写体との間の距離の測定結果を利用する方法が一般的に知られている。これに対して、変形例３に係る制御装置は、例えば、グリッドライン等のような表示情報を、被写体の動きの推定に利用する。
　例えば、図１３は、変形例３に係る制御装置の概要について説明するための説明図であり、移動する被写体の画像を時系列に沿って撮像する場合の一例を示している。図１３において、参照符号１５５は、設定された対象領域１５０のうち撮像部による画像の撮像に利用される対象領域を模式的に示している。図１３に示す例では、例えば、撮像画像が表示される表示領域１００（換言すると、画角）の対角線に沿ってグリッドライン１１１が提示されている。このような場合には、例えば、ユーザは、提示されたグリッドライン１１１を利用しながら、当該グリッドライン１１１に沿った方向Ｄ１１に向けて移動する被写体を撮影しているものと推定される。
　このような特性を利用することで、変形例３に係る制御装置は、例えば、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する対象領域１５５（換言すると、「注目している対象領域１５５」）の位置を時系列に沿って変化させてもよい。この場合には、制御装置は、例えば、注目している対象領域１５５に位置する被写体の動きの解析時に、グリッドライン１１１に沿った方向Ｄ１１への移動の解析を優先して実行し、解析結果に応じて対象領域１５５の位置を時系列に沿って変化させてもよい。
　また、図１４は、変形例３に係る制御装置の概要について説明するための説明図であり、移動する被写体の画像を時系列に沿って撮像する場合の他の一例を示している。図１４は、図９を参照して説明した例と同様に、撮像画像が表示される表示領域１００中に、安全領域等のような表示対象となる領域を識別可能に提示した場合の一例を示している。
　例えば、図１４に示す例のように、表示対象となる領域と表示されない領域の境界を示す補助線１１３の近傍に設定された対象領域１５０が、画像の撮像に関する動作の制御に利用する対象領域１５５として選択されたものとする。このような場合には、例えば、ユーザは、補助線１１３の外側（即ち、表示されない領域）を撮影する可能性は低く、当該補助線１１３から離間する方向Ｄ１３ａまたはＤ１３ｂ（換言すると、補助線１１３から離間する方向）に移動する被写体を撮影している可能性が高い。
　このような特性を利用することで、変形例３に係る制御装置は、画像の撮像に関する動作の制御に利用する対象領域１５５の位置を時系列に沿って変化させてもよい。この場合には、制御装置は、例えば、対象領域１５５に位置する被写体の動きの解析時に、補助線１１３から離間する方向Ｄ１３ａまたはＤ１３ｂへの移動の解析を優先して実行し、解析結果に応じて対象領域１５５の位置を時系列に沿って変化させてもよい。また、制御装置は、対象領域１５５に位置する被写体の動きの解析時に、補助線１１３側に向けた移動については、解析の優先度をより下げてもよいし、解析の対象から除外してもよい。
　以上のような制御により、変形例３に係る制御装置は、移動する被写体に追従するように、対象領域１５５の位置を時系列に沿って変化させる場合に、グリッドライン等の表示情報を、被写体の動きの推定に利用する。このような構成により、変形例３に係る制御装置は、移動する被写体の動きの推定に係る処理量を低減し、かつ、当該被写体に対してより精度良く対象領域１５５を追従させることが可能となる。
　以上、変形例３として、ＡＦ、ＡＥ、ＡＷＢ等のような画像の撮像に関する動作の制御に利用する領域を、時系列に沿って変化させる場合の一例について説明した。
　　＜２．４．変形例４：対象領域の設定結果を利用した制御の一例＞
　次いで、変形例４として、本実施形態に係る制御装置が、グリッドライン等の表示情報に基づく対象領域１５０の設定結果を利用することで、画像の撮像に関する動作を選択的に切り替える場合の動作の一例について説明する。
　撮像装置の中には、例えば、位相差ＡＦの動作として、利用されるセンサの検出範囲が互いに異なる複数種類の動作を、選択的に切り替えて実行可能に構成されたものがある。より具体的な一例として、イメージセンサ内に含まれた位相差センサを利用する像面位相差ＡＦと、イメージセンサの外部に設けられた位相差センサを利用した別体位相差ＡＦとを選択的に切り替えて実行可能な場合に、各位相差センサの検出範囲が互いに異なるような場合がある。変形例４に係る制御装置は、このような場合を想定して、選択的に切り替え可能な複数種類の動作の中から、より好適な動作を、対象領域１５０の設定結果に基づき選択する。
　例えば、図１５は、変形例４に係る制御装置の概要について説明するための説明図である。図１５において、参照符号１３１及び１３３のそれぞれは、位相差ＡＦの動作に利用されるセンサの検出範囲を示す領域を模式的に示したものである。なお、領域１３１を検出範囲とする位相差センサと、領域１３３を検出範囲とする位相差センサとは、互いに異なる位相差ＡＦの動作で利用されるものとする。また、図１５に示す例では、領域１３１を検出範囲とする位相差センサは、領域１３３を検出範囲とする位相差センサよりも高い精度で、位相差を検出可能であるものとする。
　また、図１５に示す例では、撮像画像が表示される表示領域１００（換言すると、画角内）を縦方向及び横方向の双方について三分割するようにグリッドライン１１１が提示されている。そのため、図１５に示す例では、制御装置は、グリッドライン１１１の交点それぞれを含むように、４つの対象領域１５０を設定している。
　ここで、図１５に示す例では、設定された４つの対象領域１５０のそれぞれは、領域１３３の内部に位置し、かつ領域１３１の外部に位置するように設定されている。このような場合には、領域１３１を検出範囲とする位相差センサを利用した位相差ＡＦの動作を選択したとしても、設定された対象領域１５０に位置する被写体に合焦するようにフォーカスを制御することは困難である。そのため、図１５に示す例では、変形例４に係る制御装置は、領域１３３検出範囲とする位相差センサを利用した位相差ＡＦの動作を選択してもよい。
　一方で、設定された対象領域１５０が、領域１３１の内部に位置するように設定されている場合に着目する。この場合には、領域１３１を検出範囲とする位相差センサを利用した位相差ＡＦの動作を利用して、当該対象領域１５０に位置する被写体に合焦するようにフォーカスを制御することが可能である。そのため、制御装置は、例えば、領域１３１を検出範囲とする位相差センサと、領域１３３を検出範囲とする位相差センサとのうち、より精度の高い位相差センサ（即ち、領域１３１を検出範囲とする位相差センサ）を利用した位相差ＡＦの動作を選択してもよい。
　なお、上記では、位相差ＡＦの動作を切り替える場合を例に説明したが、必ずしも上記に説明した例には限定されない。具体的な一例として、変形例４に係る制御装置は、対象領域１５０の設定結果に基づき、ＡＥやＡＷＢの動作や、顔認識のような各種認識処理等を選択的に切り替えてもよいことは言うまでもない。
　このような構成により、変形例４に係る制御装置は、対象領域１５０の設定結果を利用することで、当該対象領域１５０に位置する被写体をより好適な態様で撮像することが可能となる。
　以上、変形例４として、本実施形態に係る制御装置が、グリッドライン等の表示情報に基づく対象領域１５０の設定結果を利用することで、画像の撮像に関する動作を選択的に切り替える場合の動作の一例について説明した。
　　＜２．５．変形例５：ＵＩの提示例＞
　次いで、変形例５として、本実施形態に係るＵＩの一例として、ユーザによる画像の撮影をより好適な態様で補助するためのＵＩの一例について説明する。
　例えば、図１６は、変形例５に係る制御装置により提示されるＵＩの一例について説明するための説明図である。図１６は、制御装置が、撮像画像が表示される表示領域１００に提示されたグリッドライン１１１に基づき、複数の対象領域１５０を設定し、当該複数の対象領域１５０の中から、画像の撮像に関する動作の制御に利用する１つの対象領域１５０を、選択した状態を示している。なお、参照符号１５０ａで示された対象領域は、画像の撮像に関する動作に利用される対象領域１５０（即ち、制御装置により選択された対象領域１５０）を示している。また、参照符号１５０ｂで示された対象領域は、画像の撮像に関する動作に利用されない対象領域１５０を示している。
　即ち、図１６に示す例では、制御装置は、画像の撮像に関する動作の制御に利用するために選択した対象領域１５０ａと、その他の対象領域１５０ｂとを、互いに異なる態様で（例えば、互いに異なる色で）提示している。このような制御により、ユーザは、制御装置により設定された複数の対象領域１５０のうち、撮像部による画像の撮像に関する動作（例えば、ＡＦ、ＡＥ、ＡＷＢ等）に利用される対象領域１５０ａを認識することが可能となる。
　なお、選択された対象領域１５０ａと、その他の対象領域１５０ｂとが、互いに異なる態様で提示されれば、その方法は特に限定されない。具体的な一例として、制御装置は、対象領域１５０ａと、対象領域１５０ｂとを、互いに異なる色で提示してもよい。また、他の一例として、制御装置は、対象領域１５０ａ及び１５０ｂのうち、選択した対象領域１５０ａのみを点滅させてもよい。
　また、図１７は、変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。図１７は、撮像画像が表示される表示領域１００に提示されたグリッドライン１１１に基づき設定した複数の対象領域１５０のうち、１つの対象領域１５０が、撮像部による画像の撮像に関する動作の制御に利用する対象領域１５５として選択された状態を示している。なお、参照符号１１１ｃで示されたグリッドラインは、少なくとも一部が対象領域１５５に含まれるグリッドラインであり、即ち、当該対象領域１５５の設定に利用されたグリッドラインを示している。また、参照符号１１１ｄで示されたグリッドラインは、対象領域１５５の設定には利用されていないグリッドラインを示している。
　即ち、図１７に示す例では、制御装置は、グリッドライン１１１のうち、撮像部による画像の撮像に関する動作の制御に利用する対象領域１５５の設定に利用したグリッドライン１１１ｃと、その他のグリッドライン１１１ｄとを、互いに異なる態様で提示してもいる。このような制御により、ユーザは、撮像部による画像の撮像に関する動作の制御に利用されるグリッドライン１１１を認識することが可能となる。
　なお、グリッドライン１１１ｃと、その他のグリッドライン１１１ｄとが、互いに異なる態様で提示されれば、その方法は特に限定されない点については、図１６に示す例と同様である。
　また、図１８は、変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。図１８は、図１４を参照して説明した例と同様に、撮像画像が表示される表示領域１００中に、安全領域等のような表示対象となる領域を識別可能に提示した場合の一例を示している。即ち、図１８に示す例では、対象領域１５５に位置する被写体が、当該対象領域１５５の近傍に位置する補助線１１３ａから離間する方向Ｄ１３ａまたはＤ１３ｂに移動する可能性が高い（換言すると、当該補助線１１３ａに向けて移動する可能性が低い）。
　そこで、図１８に示す例では、制御装置は、補助線１１３ａと、他の補助線１１３ｂと互いに異なる態様で提示することで、当該補助線１１３ａを、対象領域１５５に位置する被写体の移動方向Ｄ１３ａ及びＤ１３ｂの推定に利用したことをユーザに通知している。
　なお、補助線１１３ａと、他の補助線１１３ｂとが、互いに異なる態様で提示されれば、その方法は特に限定されない点については、図１６及び図１７に示す例と同様である。
　また、図１９は、変形例５に係る制御装置により提示されるＵＩの他の一例について説明するための説明図である。図１９は、図９を参照して説明した例と同様に、撮像画像が表示される表示領域１００中に、安全領域等のような表示対象となる領域を識別可能に提示した場合の一例を示している。
　前述したように、制御装置は、撮像画像を外部の表示装置に出力する場合に、表示領域１００のうち、撮像画像が表示されない領域１０３を除外領域として設定することが可能である。そこで、図１９に示す例では、制御装置は、除外領域として設定した領域１０３を、他の領域１０５（即ち、表示対象となる領域）とは異なる態様で提示している。このような制御により、ユーザは、除外領域（即ち、対象領域１５０が設定されない領域）を認識することが可能となる。なお、除外領域として設定した領域１０３と、他の領域１０５とが、互いに異なる態様で提示されれば、その方法は特に限定されない点については、図１６～図１８を参照して説明した例と同様である。
　以上、変形例５として、本実施形態に係るＵＩの一例として、ユーザによる画像の撮影をより好適な態様で補助するためのＵＩの一例について説明した。
　＜＜３．実施例＞＞
　次いで、本実施形態に係る制御装置の実施例について説明する。
　　＜３．１．実施例１：対象領域の設定に基づく自動制御機能の実装例＞
　まず、実施例１として、上記に説明した、撮像画像と共に提示される表情情報（例えば、グリッドライン）に基づき対象領域を設定し、当該対象領域を、撮像部による画像の撮像に関する動作（例えば、ＡＦ、ＡＥ、ＡＷＢ等）の制御に利用する機能（本説明では、「本実施形態に係る自動制御機能」とも称する）を、所謂デジタルカメラ等の撮像装置に実装する場合の一例について説明する。
　具体的な一例として、本実施形態に係る自動制御機能が、独立した機能として選択的に有効化及び無効化できるように実装されていてもよい。例えば、図２０は、実施例１に係る自動制御機能の実装方法の一例について説明するための説明図であり、当該自動制御機能を独立した機能として実装した場合における操作メニューの一例を示している。
　図２０に示す例では、撮像装置を操作するための操作メニューとして、「グリッドラインに基づく自動制御」の機能をＯＮまたはＯＦＦする（即ち、有効化または無効化する）ための操作メニューＭ１１が設けられている。この場合には、本実施例に係る制御装置（例えば、撮像装置）は、ユーザからの操作に基づき操作メニューＭ１１が「ＯＮ」に設定された場合に、グリッドラインに基づく自動制御の機能（即ち、本実施形態に係る自動制御機能）を有効化する。
　なお、提示するグリッドラインの種別の設定については、既存の操作メニューに基づき設定できるように構成されていてもよい。例えば、図２０に示す例では、グリッドラインの種別を設定するための操作メニューＭ１３が、操作メニューＭ１１として別途設けられている。この場合には、本実施例に係る制御装置は、操作メニューＭ１１が「ＯＮ」に設定された場合には、操作メニューＭ１３で設定されたグリッドラインの種別に基づき、対象領域を設定すればよい。
　なお、操作メニューＭ１３は、グリッドラインの表示をＯＦＦに設定できる（即ち、グリッドラインが表示されないように設定できる）ように構成されていてもよい。この場合には、本実施例に係る制御装置は、操作メニューＭ１３によるグリッドラインの表示が「ＯＦＦ」に設定されている場合には、操作メニューＭ１１を「ＯＮ」に設定できないように制限してもよい。また、他の一例として、本実施例に係る制御装置は、操作メニューＭ１１が「ＯＮ」に設定されていたとしても、操作メニューＭ１３によりグリッドラインの表示が「ＯＦＦ」に設定されている場合には、本実施形態に係る自動制御の機能を実質的に無効化してもよい。
　また、他の一例として、本実施形態に係る自動制御機能が、既存の機能が提供する動作モードの１つとして実装されていてもよい。例えば、図２１は、実施例１に係る自動制御機能の実装方法の他の一例について説明するための説明図であり、当該自動制御機能が、既存の機能が提供する動作モードの１つとして実装されている場合における操作メニューの一例を示している。
　図２１に示す例では、ＡＦに関する動作設定として「オートフォーカスエリア」を設定する操作メニューＭ１５中に、グリッドラインに基づきＡＦを自動制御する動作モードの項目Ｍ１５１を追加した場合の一例である。この場合には、本実施例に係る制御装置は、操作メニューＭ１５中において項目Ｍ１５１が選択された場合に、グリッドラインに基づきＡＦを自動制御する機能（即ち、本実施形態に係る自動制御機能）を有効化する。
　なお、提示するグリッドラインの種別の設定については、図２０に示した例と同様に、操作メニューＭ１３に基づき設定できるように構成されていてもよい。この場合には、本実施例に係る制御装置は、操作メニューＭ１５において項目Ｍ１５１が選択されることで、グリッドラインに基づきＡＦを自動制御する機能を有効化した場合には、操作メニューＭ１３で設定されたグリッドラインの種別に基づき、対象領域を設定すればよい。
　また、図２１に示す例においても、本実施例に係る制御装置は、図２０に示す例と同様に、操作メニューＭ１３によるグリッドラインの表示が「ＯＦＦ」に設定されている場合には、操作メニューＭ１５における項目Ｍ１５１が選択できないように制限してもよい。また、他の一例として、本実施例に係る制御装置は、操作メニューＭ１５において項目Ｍ１５１が選択されていたとしても、操作メニューＭ１３によりグリッドラインの表示が「ＯＦＦ」に設定されている場合には、グリッドラインに基づきＡＦを自動制御する機能を実質的に無効化してもよい。
　なお、図２０及び図２１を参照して説明した各操作メニューに対する操作は、例えば、撮像装置に設けられた一部のボタン（例えば、ファンクションボタン）等に割り当てられるように、当該撮像装置が構成されていてもよい。
　以上、実施例１として、撮像画像と共に提示される表情情報に基づき対象領域を設定し、当該対象領域を、撮像部による画像の撮像に関する動作の制御に利用する機能を、所謂デジタルカメラ等の撮像装置に実装する場合の一例について説明した。
　　＜３．２．実施例２：適用例＞
　次いで、実施例２として、本実施形態に係る制御装置の適用例について説明する。上述した実施形態及び各変形例では、本実施形態に係る制御装置を、所謂デジタルカメラ等のような撮像装置に適用する場合に着目して説明した。一方で、グリッドライン等のような撮像画像と共に提示される表示情報に基づき少なくとも１つの対象領域を設定し、設定された対象領域のうち少なくとも１つを各種動作の制御に利用可能であれば、本実施形態に係る制御装置の適用先は、必ずしも撮像装置には限定されない。
　具体的な一例として、本実施形態に係る制御装置は、内視鏡や手術用顕微鏡等のように
医療の分野で利用される装置に適用されてもよい。また、他の一例として、本実施形態に係る制御装置は、所謂ナビゲーション装置のように自動車等の車両に設けられる車載装置に適用されてもよい。
　また、本実施形態の制御装置の適用先となる各種装置の利用形態に応じて、本実施形態に係る制御装置が提供するＵＩを操作するための操作Ｉ／Ｆが変更されていてもよい。
　具体的な一例として、本実施形態に係る制御装置が提供するＵＩを操作するための操作Ｉ／Ｆとして、アイトラッキング技術等に基づくユーザの視線方向の検出結果をユーザ入力として使用する操作Ｉ／Ｆ（所謂、視線入力に基づく操作Ｉ／Ｆ）が適用されていてもよい。より具体的な一例として、内視鏡や手術用顕微鏡等のように、手術中に使用され得る装置については、装置の操作によりユーザ（例えば、術者）の手が汚れるような事態を避けるために、タッチパネル等の操作Ｉ／Ｆに替えて、上述したような視線入力に基づく操作Ｉ／Ｆが適用されている場合もある。一方で、視線入力に基づく操作Ｉ／Ｆは、例えば、ユーザに対して提示された撮像画像中において、当該ユーザが指定している位置を検出するような状況下では、その検出精度が、タッチパネル等の操作Ｉ／Ｆを介して指定される場合に比べて低くなる場合がある。
　これに対して、本実施形態に係る制御装置が提供するＵＩでは、前述したように、グリッドライン等の表示情報に基づき少なくとも１つの対象領域を設定してユーザに提示するため、当該ユーザは、提示された対象領域の中から、所望の対象領域を選択すればよい。即ち、本実施形態に係る制御装置が提供するＵＩでは、提示された撮像画像中の位置を細かく指定しなくてもよい。そのため、本実施形態に係る制御装置は、視線入力に基づく操作Ｉ／Ｆのように、ユーザが指定している位置の検出精度が比較的低いような操作Ｉ／Ｆが適用されるような状況下においても、ユーザの意図により近い制御を実行することが可能となる。
　また、本実施形態に係る制御装置は、複数の撮像部（撮像装置）が互いに連携して動作するようなシステムにおいて、各撮像部の動作を制御してもよい。この場合には、例えば、制御装置は、複数の撮像部のうち、一部の撮像部により撮像された撮像画像に重畳表示された表示情報（例えば、グリッドライン等）に基づき対象領域１５０の設定結果を、他の撮像部による画像の撮像に関する動作の制御に利用してもよい。
　なお、上記に説明した本実施形態に係る制御装置の適用例はあくまで一例である。即ち、撮像画像と共に提示される表示情報に基づき少なくとも１つの対象領域を設定し、設定された対象領域のうち少なくとも１つを各種動作の制御に利用可能であれば、本実施形態に係る制御装置の適用先は特に限定されない。
　以上、実施例２として、本実施形態に係る制御装置の適用例について説明した。
　＜＜４．むすび＞＞
　以上、説明したように、本実施形態に係る制御装置は、グリッドライン等のように撮像画像と共に表示される表示情報に応じて、少なくとも１つの対象領域を設定する。そして、制御装置は、設定した少なくとも１つの対象領域のうち、少なくとも一部の対象領域を、撮像部による画像の撮像に係る動作の制御に利用する。このような制御により、本実施形態に係る制御装置は、撮像部により撮像される被写体のうち、ユーザの意図により近い被写体が優先して撮像されるように、撮像部による画像の撮像に係る動作を制御することが可能となる。
　また、本実施形態に係る制御装置は、設定した対象領域以外の他の領域を、撮像部による画像の撮像に係る動作の制御に利用する領域の対象から除外することが可能となる。そのため、例えば、ユーザの意図しない被写体を優先して画像を撮像するといった事態が発生する確率をより低減することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定する設定部と、
　前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御する制御部と、
　を備える、制御装置。
（２）
　前記表示情報は、前記撮像された画像を複数の部分領域に分割する情報であり、
　前記設定部は、前記表示情報により前記画像が前記部分領域に分割される態様に応じて前記領域を設定する、
　前記（１）に記載の制御装置。
（３）
　前記領域は、前記複数の部分領域の境界の交点を含むように設定される、前記（２）に記載の制御装置。
（４）
　前記設定部は、前記画像を複数の前記部分領域に分割する態様に応じて、前記領域の広さを制御する、、前記（３）に記載の制御装置。
（５）
　前記表示情報は、前記撮像部により撮像された画像を外部の表示装置に表示するための表示設定に基づき、前記画像を、前記表示装置への表示対象となる前記部分領域と、他の前記部分領域とに分割する情報であり、
　前記設定部は、表示対象となる前記部分領域中から、少なくともと１つの前記領域を設定する、
　前記（２）に記載の制御装置。
（６）
　前記表示情報は、前記撮像部による画像の撮像に関する状態を識別可能に提示する表示情報であり、
　前記設定部は、前記画像中の、前記表示情報が占める領域とは異なる他の領域中に、少なくとも１つの前記領域を設定する、
　前記（１）に記載の制御装置。
（７）
　前記制御部は、設定された複数の前記領域のうち、前記動作の制御に利用する前記領域に応じて、前記表示情報のうち少なくとも一部の表示態様を制御する、前記（１）～（６）のいずれか一項に記載の制御装置。
（８）
　前記表示情報は、前記画像中を複数の部分領域に分割する情報であり、
　前記制御部は、前記画像中を複数の前記部分領域に分割する複数の境界のうち、前記動作の制御に利用する前記領域中に少なくとも一部が含まれる前記境界が、他の前記境界とは異なる態様で提示されるように制御する、
　前記（７）に記載の制御装置。
（９）
　前記動作は焦点を合わせる動作であり、
　前記制御部は、設定された少なくとも１つの前記領域に対応する被写体に合焦するように制御する、前記（１）～（８）のいずれか一項に記載の制御装置。
（１０）
　前記制御部は、前記動作として、互いに態様の異なる複数の動作のうち、少なくとも一部の動作を、設定された前記領域に応じて選択する、前記（１）～（９）のいずれか一項に記載の制御装置。
（１１）
　前記制御部は、前記動作として、制御に利用する前記画像中の領域が互いに異なる複数の動作のうち、少なくとも一部の動作を、設定された前記領域に応じて選択する、前記（１０）に記載の制御装置。
（１２）
　前記制御部は、設定された複数の前記領域のうち２以上の前記領域それぞれに基づき前記動作を制御する、前記（１）～（１１）のいずれか一項に記載の制御装置。
（１３）
　前記制御部は、前記動作として、互いに態様の異なる複数の動作それぞれを個別に、設定された少なくとも１つの前記領域のうち、少なくとも一部の前記領域に基づき制御する、前記（１）～（１２）のいずれか一項に記載の制御装置。
（１４）
　前記制御部は、設定された少なくとも１つの前記領域のそれぞれを選択可能に提示し、選択された前記領域に基づき前記動作を制御する、前記（１）～（１３）のいずれか一項に記載の制御装置。
（１５）
　前記制御部は、設定された少なくとも１つの前記領域のうち、前記動作の制御に利用する前記領域を、前記撮像部の状態に応じて決定する、前記（１）～（１４）のいずれか一項に記載の制御装置。
（１６）
　前記表示情報は、前記画像に対して重畳表示される情報である、前記（１）に記載の制御装置。
（１７）
　プロセッサが、
　撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、
　前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、
　を含む、制御方法。
（１８）
　コンピュータに、
　撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、
　前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、
　を実行させる、プログラム。
　１１　　レンズ鏡筒
　１１Ａ　撮像光学系
　１２　　光学フィルタ
　１３　　イメージセンサ
　１４　　メイン処理部
　１５　　照明制御部
　１６　　センサ駆動部
　１７　　処理部
　１８　　画像処理部
　１９　　フォーカス駆動部
　２０　　表示部
　２１　　操作部
　２２　　フラッシュメモリ
　２３　　フォーカスアクチュエータ
　２４　　照明部
　３１　　ＣＰＵ
　３２　　メモリ
　３３　　ＡＤＣ
　３４　　ＤＡＣ
　３５　　通信Ｉ／Ｆ

Claims (18)

  1. 　撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定する設定部と、
    　前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御する制御部と、
    　を備える、制御装置。
  2. 　前記表示情報は、前記撮像された画像を複数の部分領域に分割する情報であり、
    　前記設定部は、前記表示情報により前記画像が前記部分領域に分割される態様に応じて前記領域を設定する、
    　請求項１に記載の制御装置。
  3. 　前記領域は、前記複数の部分領域の境界の交点を含むように設定される、請求項２に記載の制御装置。
  4. 　前記設定部は、前記画像を複数の前記部分領域に分割する態様に応じて、前記領域の広さを制御する、請求項３に記載の制御装置。
  5. 　前記表示情報は、前記撮像部により撮像された画像を外部の表示装置に表示するための表示設定に基づき、前記画像を、前記表示装置への表示対象となる前記部分領域と、他の前記部分領域とに分割する情報であり、
    　前記設定部は、表示対象となる前記部分領域中から、少なくともと１つの前記領域を設定する、
    　請求項２に記載の制御装置。
  6. 　前記表示情報は、前記撮像部による画像の撮像に関する状態を識別可能に提示する表示情報であり、
    　前記設定部は、前記画像中の、前記表示情報が占める領域とは異なる他の領域中に、少なくとも１つの前記領域を設定する、
    　請求項１に記載の制御装置。
  7. 　前記制御部は、設定された複数の前記領域のうち、前記動作の制御に利用する前記領域に応じて、前記表示情報のうち少なくとも一部の表示態様を制御する、請求項１に記載の制御装置。
  8. 　前記表示情報は、前記画像中を複数の部分領域に分割する情報であり、
    　前記制御部は、前記画像中を複数の前記部分領域に分割する複数の境界のうち、前記動作の制御に利用する前記領域中に少なくとも一部が含まれる前記境界が、他の前記境界とは異なる態様で提示されるように制御する、
    　請求項７に記載の制御装置。
  9. 　前記動作は焦点を合わせる動作であり、
    　前記制御部は、設定された少なくとも１つの前記領域に対応する被写体に合焦するように制御する、請求項１に記載の制御装置。
  10. 　前記制御部は、前記動作として、互いに態様の異なる複数の動作のうち、少なくとも一部の動作を、設定された前記領域に応じて選択する、請求項１に記載の制御装置。
  11. 　前記制御部は、前記動作として、制御に利用する前記画像中の領域が互いに異なる複数の動作のうち、少なくとも一部の動作を、設定された前記領域に応じて選択する、請求項１０に記載の制御装置。
  12. 　前記制御部は、設定された複数の前記領域のうち２以上の前記領域それぞれに基づき前記動作を制御する、請求項１に記載の制御装置。
  13. 　前記制御部は、前記動作として、互いに態様の異なる複数の動作それぞれを個別に、設定された少なくとも１つの前記領域のうち、少なくとも一部の前記領域に基づき制御する、請求項１に記載の制御装置。
  14. 　前記制御部は、設定された少なくとも１つの前記領域のそれぞれを選択可能に提示し、選択された前記領域に基づき前記動作を制御する、請求項１に記載の制御装置。
  15. 　前記制御部は、設定された少なくとも１つの前記領域のうち、前記動作の制御に利用する前記領域を、前記撮像部の状態に応じて決定する、請求項１に記載の制御装置。
  16. 　前記表示情報は、前記画像に対して重畳表示される情報である、請求項１に記載の制御装置。
  17. 　プロセッサが、
    　撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、
    　前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、
    　を含む、制御方法。
  18. 　コンピュータに、
    　撮像部により撮像された画像と共に表示された撮影を補助するための表示情報に応じて、前記画像の少なくとも一部に対応する領域を設定することと、
    　前記少なくとも１つの領域に基づいて、前記撮像部による撮像に関する動作を制御することと、
    　を実行させる、プログラム。
PCT/JP2016/083437 2016-01-26 2016-11-10 制御装置、制御方法、及びプログラム WO2017130521A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/061,056 US10560635B2 (en) 2016-01-26 2016-11-10 Control device, control method, and program
JP2017563706A JP6834988B2 (ja) 2016-01-26 2016-11-10 制御装置
CN201680079392.2A CN108474996A (zh) 2016-01-26 2016-11-10 控制设备、控制方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016012193 2016-01-26
JP2016-012193 2016-01-26

Publications (1)

Publication Number Publication Date
WO2017130521A1 true WO2017130521A1 (ja) 2017-08-03

Family

ID=59397767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/083437 WO2017130521A1 (ja) 2016-01-26 2016-11-10 制御装置、制御方法、及びプログラム

Country Status (4)

Country Link
US (1) US10560635B2 (ja)
JP (1) JP6834988B2 (ja)
CN (1) CN108474996A (ja)
WO (1) WO2017130521A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US11503206B2 (en) * 2020-07-15 2022-11-15 Sony Corporation Techniques for providing photographic context assistance

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259163A (ja) * 2002-02-28 2003-09-12 Minolta Co Ltd デジタルカメラ及びプログラム
JP2006135873A (ja) * 2004-11-09 2006-05-25 Matsushita Electric Ind Co Ltd 撮像装置および撮像システム
JP2010087956A (ja) * 2008-10-01 2010-04-15 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP2012044604A (ja) * 2010-08-23 2012-03-01 Sony Corp 撮像装置、プログラムおよび撮像方法
JP2013011811A (ja) * 2011-06-30 2013-01-17 Nikon Corp 撮像装置およびレンズ鏡筒
WO2013161424A1 (ja) * 2012-04-23 2013-10-31 ソニー株式会社 画像処理装置、画像処理方法及び記録媒体
JP2014013398A (ja) * 2013-08-06 2014-01-23 Sony Corp 撮像装置および方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4408779B2 (ja) 2004-09-15 2010-02-03 キヤノン株式会社 画像処理装置
JP2009010777A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置、撮影制御方法、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259163A (ja) * 2002-02-28 2003-09-12 Minolta Co Ltd デジタルカメラ及びプログラム
JP2006135873A (ja) * 2004-11-09 2006-05-25 Matsushita Electric Ind Co Ltd 撮像装置および撮像システム
JP2010087956A (ja) * 2008-10-01 2010-04-15 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP2012044604A (ja) * 2010-08-23 2012-03-01 Sony Corp 撮像装置、プログラムおよび撮像方法
JP2013011811A (ja) * 2011-06-30 2013-01-17 Nikon Corp 撮像装置およびレンズ鏡筒
WO2013161424A1 (ja) * 2012-04-23 2013-10-31 ソニー株式会社 画像処理装置、画像処理方法及び記録媒体
JP2014013398A (ja) * 2013-08-06 2014-01-23 Sony Corp 撮像装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP6834988B2 (ja) 2021-02-24
JPWO2017130521A1 (ja) 2018-11-15
CN108474996A (zh) 2018-08-31
US10560635B2 (en) 2020-02-11
US20180367741A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
US9172866B2 (en) Electronic device, driving method of the same, and computer readable recording medium
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
KR101594295B1 (ko) 촬영 장치 및 촬영 방법
JP5914364B2 (ja) オートフォーカスシステム
JPWO2006082967A1 (ja) 撮像装置
EP2007135B1 (en) Imaging apparatus
JP2009199049A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2011027847A (ja) Ａｆ枠自動追尾システム
US20120262623A1 (en) Optical apparatus
JP6834988B2 (ja) 制御装置
JP2015014672A (ja) カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム
US9699385B2 (en) Imaging apparatus and storage medium, and exposure amount control method
JP2008005110A (ja) 被写体追尾装置、被写体追尾方法およびカメラ
US8749688B2 (en) Portable device, operating method, and computer-readable storage medium
JP5928016B2 (ja) 撮像装置及び撮像方法
JP6603892B2 (ja) 撮像装置
JP6661912B2 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
JP6279120B2 (ja) 電子機器、駆動方法およびプログラム
JP2015167308A (ja) 顔検出オートフォーカス制御に適する測光方法
JP5407538B2 (ja) カメラ、およびフォーカス検出領域表示プログラム
JP2014236284A (ja) 撮像装置
JP2019101106A (ja) 撮像装置及びその制御方法
GB2614592A (en) Electronic device, method of controlling the same, and program
JP5387048B2 (ja) テレビジョンカメラシステム、テレビジョンカメラの制御方法、及びプログラム
JP2009038613A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16888106

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017563706

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16888106

Country of ref document: EP

Kind code of ref document: A1