WO2020246317A1 - 撮像装置、および撮像制御方法 - Google Patents

撮像装置、および撮像制御方法 Download PDF

Info

Publication number
WO2020246317A1
WO2020246317A1 PCT/JP2020/020762 JP2020020762W WO2020246317A1 WO 2020246317 A1 WO2020246317 A1 WO 2020246317A1 JP 2020020762 W JP2020020762 W JP 2020020762W WO 2020246317 A1 WO2020246317 A1 WO 2020246317A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
framing
subject
zoom
adjustment
Prior art date
Application number
PCT/JP2020/020762
Other languages
English (en)
French (fr)
Inventor
大輔 中尾
翔平 野口
二郎 高鳥
紘彰 海老
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP20817615.6A priority Critical patent/EP3982623A4/en
Priority to US17/613,786 priority patent/US20220232160A1/en
Priority to CN202080039141.8A priority patent/CN113875225A/zh
Priority to JP2021524780A priority patent/JPWO2020246317A1/ja
Publication of WO2020246317A1 publication Critical patent/WO2020246317A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming

Definitions

  • the present disclosure relates to an imaging device capable of zooming and framing, and an imaging control method.
  • the imaging apparatus includes an imaging unit, a zoom unit, a framing unit, and a zoom unit and a framing unit when one of the zoom unit and the framing unit is operated by a user. It is provided with a control unit that controls the one that is not operated by the user operation according to the movement of the subject.
  • the zoom unit And, of the framing units, the one that is not operated by the user operation is controlled according to the movement of the subject.
  • the zoom unit and the framing unit are operated by the user operation.
  • the one without it is controlled according to the movement of the subject.
  • FIG. 1 shows an outline of the configuration of the image pickup apparatus according to the first embodiment of the present disclosure.
  • the imaging apparatus includes an imaging unit 1, a zoom unit 2, a framing unit 3, a zoom operation unit 4, a framing operation unit 5, a prediction processing unit 6, and a framing adjustment control unit 7.
  • a lens unit 8 and a framing adjustment setting unit 9 are provided.
  • the image pickup unit 1 includes an image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging unit 1 captures a subject and outputs an imaging signal.
  • the zoom unit 2 performs zooming on the subject.
  • the subject may be the entire subject or a specific part of the subject.
  • the zoom unit 2 can be operated by a user operation via the zoom operation unit 4.
  • the zoom unit 2 performs processing according to the movement of the subject.
  • the zoom unit 2 includes, for example, at least one of a lens driving unit that drives the lens unit 8 to perform optical zooming and an image processing unit that performs electronic zooming based on an image pickup signal from the image pickup unit 1. You may be.
  • the framing unit 3 performs framing on the subject.
  • the framing unit 3 can be operated by a user operation via the framing operation unit 5.
  • the framing unit 3 performs processing according to the movement of the subject when the zoom unit 2 is operated by a user operation.
  • the framing unit 3 includes, for example, at least one of a camera shake correction unit that drives at least one of the image pickup unit 1 and the lens unit 8 to perform camera shake correction, and a posture adjustment mechanism that can adjust the posture of the entire image pickup apparatus. You may.
  • the posture adjustment mechanism may be a pan head, a tripod, or the like provided with the adjustment mechanism.
  • the zoom operation unit 4 performs a zooming operation on the zoom unit 2.
  • the zoom operation unit 4 is a portion operated by the user.
  • at least a zoom ring that drives the lens unit 8 to enable the user operation of the zoom unit 2 and an operation button provided on the lens unit 8 are provided.
  • One may be included.
  • the framing operation unit 5 is a part operated by the user, and performs a framing operation on the framing unit 3.
  • the prediction processing unit 6 recognizes the movement of the subject and predicts whether or not the subject deviates from the predetermined shooting range.
  • the framing adjustment control unit 7 corresponds to a specific example of the "control unit" in the technology of the present disclosure.
  • the framing adjustment control unit 7 moves the subject in the zoom unit 2 and the framing unit 3 which is not operated by the user operation. Control according to.
  • the framing adjustment control unit 7 controls the zoom unit 2 and the framing unit 3 which are not operated by the user operation according to the movement of the subject so that the subject does not deviate from the predetermined shooting range.
  • the framing adjustment control unit 7 is an example of control according to the movement of the subject. Specifically, when the prediction processing unit 6 predicts that the subject is out of the predetermined shooting range, the zoom unit 2 is operated by the user.
  • the framing unit 3 When zooming is performed based on the operation, the framing unit 3 is controlled to adjust the framing so that the subject does not deviate from the predetermined shooting range.
  • the operation mode in which the framing adjustment is performed by giving priority to the zooming operation by the user in this way is also referred to as a “zooming priority mode”.
  • the framing adjustment control unit 7 specifically, when the prediction processing unit 6 predicts that the subject is out of a predetermined shooting range, the framing unit 3 is used by the user.
  • the zoom unit 2 is controlled to adjust the framing so that the subject does not deviate from the predetermined shooting range.
  • the operation mode in which the framing operation by the user is prioritized and the framing adjustment is performed in this way is also referred to as a “framing priority mode”.
  • the framing adjustment control unit 7 controls the zoom unit 2 to determine when the framing unit 3 is operated by a user operation and the prediction processing unit 6 predicts that the subject does not deviate from the predetermined shooting range. You may want to control to maintain the zoom position of.
  • the imaging device may further include a shutter button that instructs the imaging unit 1 to operate the shutter.
  • the framing adjustment control unit 7 may perform framing adjustment, which is a control according to the movement of the subject, when the shutter button is half-pressed.
  • the lens unit 8 forms an optical image of the subject.
  • the lens unit 8 preferably has a zoom lens capable of zooming. Further, it is preferable that the lens unit 8 has a lens configuration capable of adjusting the aperture and the focus.
  • the framing adjustment setting unit 9 includes, for example, a mode dial for setting an operation mode at the time of shooting, a main body operation button, and the like.
  • the framing adjustment setting unit 9 sets, for example, an operation mode for performing framing adjustment, which is a control according to the movement of the subject.
  • the imaging device may have a configuration in which some of the components shown in FIG. 1 are provided externally.
  • the prediction processing unit 6 may be provided outside the imaging device.
  • FIG. 2 shows a specific example of the configuration of the camera to which the image pickup apparatus according to the first embodiment is applied.
  • the camera according to the first embodiment includes a camera body 100 and an angle of view adjusting unit 50 that controls the posture of the camera body 100.
  • the camera according to the first embodiment may further include a separate sensor 60.
  • the camera body 100 includes an image sensor unit 10, a lens unit 20, a lens IF (interface) 23, a processing unit 30, a trigger IF (interface) 41, a display unit 42, and a recording medium 43. ..
  • the display unit 42 and the recording medium 43 may be configured separately from the camera body 100.
  • the image sensor unit 10 includes an exposure unit 11, an image sensor actuator 12, and an image stabilization control unit 13.
  • the exposure unit 11 corresponds to a specific example of the imaging unit 1 in the configuration of FIG.
  • the exposure unit 11 includes an image pickup element such as a CCD or CMOS, captures a subject, and outputs an image pickup signal.
  • the image sensor actuator 12 corresponds to a specific example of the framing unit 3 in the case of performing image stabilization in the configuration of FIG.
  • the image sensor actuator 12 performs optical image stabilization by driving (moving) the image sensor of the exposure unit 11 under the control of the image stabilization control unit 13.
  • the lens unit 20 corresponds to a specific example of the lens unit 8 in the configuration of FIG.
  • the lens unit 20 has a zoom lens capable of zooming. Further, the lens unit 20 has a lens configuration capable of adjusting the aperture and the focus. Further, the lens unit 20 has a lens configuration capable of optically correcting camera shake.
  • the lens unit 20 includes a lens actuator 21 and a lens actuator control unit 22.
  • the lens actuator 21 corresponds to a specific example of the zoom unit 2 in the case of performing optical zooming in the configuration of FIG. Further, the lens actuator 21 corresponds to a specific example of the framing unit 3 in the case of performing image stabilization in the configuration of FIG.
  • the lens actuator 21 drives (moves) the lens of the lens unit 20 according to the control of the lens actuator control unit 22, thereby performing optical zooming, focus adjustment, and the like. Further, the lens actuator 21 performs optical image stabilization by driving (moving) the lens of the lens unit 20 according to the control by the image stabilization control unit 13 and the lens actuator control unit 22.
  • the lens actuator control unit 22 controls the lens actuator 21 to drive the lenses constituting the lens unit 20 to perform zooming, focus adjustment, optical camera shake correction, and the like.
  • the lens IF23 includes, for example, an operation button, a zoom ring, a zoom ring contact detection sensor, and the like.
  • the lens IF23 corresponds to a specific example of the zoom operation unit 4 and the framing operation unit 5 in the configuration of FIG.
  • the camera shake correction control unit 13 controls the image sensor actuator 12 to move the image sensor of the exposure unit 11 (optical axis shift, etc.) to perform optical camera shake correction. Further, the camera shake correction control unit 13 controls the lens actuator 21 together with the lens actuator control unit 22 to move the lens of the lens unit 20 (optical axis shift, etc.) to perform optical camera shake correction.
  • the processing unit 30 includes a recognition / prediction processing unit 31, a processing execution determination unit 32, and an image development processing unit 33.
  • the recognition / prediction processing unit 31 corresponds to a specific example of the prediction processing unit 6 in the configuration of FIG.
  • the recognition / prediction processing unit 31 recognizes the movement of the entire subject or a specific portion of the subject, and predicts whether or not the entire subject or the specific portion of the subject deviates from the predetermined shooting range.
  • the recognition / prediction processing unit 31 performs recognition / prediction processing based on the image pickup signal from the exposure unit 11, but it is desirable that the recognition / prediction processing be high-speed. Therefore, it is desirable that the image data read at high speed by thinning out pixels or the like is input to the recognition / prediction processing unit 31.
  • the recognition / prediction processing unit 31 may perform recognition / prediction processing based on the sensor signal from the separate sensor 60.
  • the recognition / prediction processing unit 31 has a camera shake correction control unit 13, a lens actuator control unit 22, and an attitude control actuator so that control is performed according to the operation mode set from the trigger IF 41 or the like based on the recognition and prediction results. Controls the control unit 52.
  • the processing execution determination unit 32 causes the recognition / prediction processing unit 31 and the image development processing unit 33 to execute various processes according to the operation mode set by the trigger IF 41 based on the trigger signal from the trigger IF 41.
  • the image development processing unit 33 corresponds to a specific example of the zoom unit 2 in the case of performing electronic zooming in the configuration of FIG.
  • the image development processing unit 33 generates image data suitable for recording on the recording medium 43 based on the image pickup signal from the exposure unit 11. Further, the image development processing unit 33 generates image data suitable for display on the display unit 42 based on the image pickup signal from the exposure unit 11. In addition, the image development processing unit 33 performs image enlargement processing and the like when performing electronic zooming.
  • the image pickup signal input from the exposure unit 11 to the image development processing unit 33 is normal image data read out for all pixels.
  • the trigger IF 41 includes, for example, a shutter button, a mode dial, and the like.
  • the trigger IF 41 corresponds to a specific example of the framing adjustment setting unit 9 in the configuration of FIG.
  • the display unit 42 is composed of, for example, a liquid crystal display, an organic (Electro Luminescence) display, or the like, and displays captured image data. Further, the display unit 42 may display a warning that the adjustment limit of the framing adjustment by the framing adjustment control unit 7 is approaching.
  • the recording medium 43 is a recording medium such as a semiconductor recording element capable of recording captured image data.
  • the recording medium 43 may be a built-in type built in the camera body 100, or an external recording medium such as a card type that can be removed from the inside of the camera body 100.
  • the angle of view adjusting unit 50 includes an attitude control actuator 51 and an attitude control actuator control unit 52.
  • the angle of view adjusting unit 50 includes, for example, a pan head, a tripod, and the like.
  • the attitude control actuator 51 corresponds to a specific example of the framing unit 3 when adjusting the attitude of the entire camera in the configuration of FIG.
  • the attitude control actuator 51 moves the camera body 100 by driving (moving) a pan head, a tripod, or the like in accordance with control by the attitude control actuator control unit 52, and performs framing.
  • the attitude control actuator control unit 52 controls the attitude control actuator 51 to drive a pan head, a tripod, or the like to perform framing.
  • the recognition / prediction processing unit 31, the image stabilization control unit 13, the lens actuator control unit 22, and the attitude control actuator control unit 52 each correspond to a specific example of the framing adjustment control unit 7 in the configuration of FIG.
  • the prediction processing unit 6 automatically recognizes the movement of the subject, and the framing adjustment control unit 7 automatically adjusts either the zoom unit 2 or the framing unit 3. Keep the subject within the specified shooting range.
  • the predetermined shooting range may be the entire shooting angle of view range, or may be a preset designated area as shown in the operation example of FIG. 8 described later.
  • the framing adjustment control unit 7 controls the framing unit 3 to perform framing adjustment so that the subject does not frame out.
  • the framing priority mode the user manually adjusts the framing, and the framing adjustment control unit 7 controls the zoom unit 2 to perform framing adjustment so that the subject does not frame out.
  • the target of the framing adjustment may be the entire subject such as a person or an animal, or may be a specific part of the subject.
  • it may be a face, eyes, or the like in a subject such as a person or an animal.
  • the subject or a plurality of specific parts of the subject may exist.
  • FIG. 3 shows an outline of framing adjustment in the zooming priority mode in the image pickup apparatus according to the first embodiment.
  • FIG. 4 shows an outline of framing adjustment in the framing priority mode in the image pickup apparatus according to the first embodiment.
  • the case where the subject 70 is a bird is taken as an example.
  • the framing adjustment control unit 7 controls the framing unit 3 to automatically perform framing adjustment so that the subject 70 does not frame out (FIG. 3 (C)).
  • the subject is divided into a plurality of parts.
  • it is a scene of playing soccer, and a subject 71 (player) and a subject 72 (ball) exist.
  • the prediction processing unit 6 recognizes that the subject 72 is out of the shooting angle of view range (FIG. 4 (B)) when the user manually adjusts the framing (FIG. 4 (A)).
  • the framing adjustment control unit 7 controls the zoom unit 2 to zoom out so that the subject 72 is within the shooting angle of view range, thereby automatically performing the framing adjustment (FIG. 4 (C)).
  • the technique of the present disclosure is effective even if the subject is divided into a plurality of parts.
  • FIG. 5 shows a comparison between an outline of general automatic exposure control (FIG. 5 (A)) and an outline of framing adjustment by an imaging device according to the first embodiment (FIG. 5 (B)). ..
  • the image pickup apparatus is a technique in which the user operates one of framing and zooming, and the image pickup apparatus automatically adjusts the other.
  • the framing priority mode is set, and when the user operates the zooming, the framing priority mode is set.
  • FIG. 6 shows an example of a basic operation flow when framing adjustment is performed in the zooming priority mode by the image pickup apparatus according to the first embodiment.
  • the prediction processing unit 6 automatically identifies the subject (step S101). Further, the user may manually specify the subject by the framing adjustment setting unit 9. Next, the imaging device starts the operation in the zooming priority mode (step S102).
  • the prediction processing unit 6 determines whether or not the subject is likely to deviate from the shooting angle of view. It recognizes and predicts whether or not it is present (step S104). When there are a plurality of subjects, the subjects may approach or move away from each other. When the prediction processing unit 6 recognizes and predicts that the subject is unlikely to deviate from the shooting angle of view or does not deviate from the shooting angle of view (step S104; N), the process returns to step S103.
  • the framing adjustment control unit 7 controls the framing unit 3 to adjust the optical axis. Then, the framing is adjusted in the direction in which the subject does not deviate from the shooting angle of view (basically, the direction in which the subject comes toward the center of the screen) (step S105).
  • the framing adjustment control unit 7 determines whether or not it is within the adjustment limit of the framing adjustment (step S106).
  • the framing adjustment control unit 7 determines that the framing adjustment is not within the adjustment limit (step S106; N)
  • the framing adjustment control unit 7 releases (stops) the control of the framing adjustment in the zooming priority mode (step S109).
  • the framing adjustment control unit 7 may use the display unit 42 (step S106; Y) as necessary.
  • a display warning that the adjustment limit of the framing adjustment is approaching, the degree of the adjustment limit, the framing direction for relaxing the framing adjustment, and the like are displayed (step S107).
  • the framing adjustment control unit 7 causes the display unit 42 (FIG. 2) to display, for example, in which direction the user shifts the framing to create an adjustment margin by using colors, texts, images, or the like.
  • the framing adjustment control unit 7 controls the lens actuator 21 (FIG. 2) and the like as necessary to reduce the aperture. And focus are automatically adjusted (step S108), and the process returns to step S103.
  • FIG. 7 shows an example of an operation flow when the framing adjustment in the zooming priority mode is performed on a specific part by the imaging device according to the first embodiment.
  • the framing adjustment control unit 7 performs framing adjustment so as to keep a specific part (object) such as eyes or face within the shooting angle of view range instead of the entire subject. In this case, it does not matter if the entire subject is out of the shooting angle of view range, and close-up photography can be performed.
  • the prediction processing unit 6 automatically identifies a specific part of the subject (step S121). Further, the user may manually specify a specific part of the subject by the framing adjustment setting unit 9. Next, the image pickup apparatus starts the operation in the zooming priority mode (step S122).
  • step S123 when the position of the specific part changes due to the zooming operation by the user, the framing operation by the user, or the movement of the specific part (step S123), the prediction processing unit 6 determines whether or not the specific part is likely to deviate from the shooting angle of view. , Or whether or not it is out of alignment is recognized and predicted (step S124). When the prediction processing unit 6 recognizes and predicts that the specific portion is not likely to deviate from the shooting angle of view or does not deviate from the shooting angle of view (step S124; N), the process returns to the process of step S123.
  • the framing adjustment control unit 7 controls the framing unit 3 to adjust the optical axis.
  • the framing is adjusted in a direction in which the specific portion does not deviate from the shooting angle of view (basically, the direction in which the specific portion comes toward the center of the screen).
  • the framing adjustment control unit 7 determines whether or not it is within the adjustment limit of the framing adjustment (step S126).
  • the framing adjustment control unit 7 determines that the framing adjustment is not within the adjustment limit (step S126; N)
  • the framing adjustment control unit 7 releases (stops) the control of the framing adjustment in the zooming priority mode (step S129).
  • the framing adjustment control unit 7 may use the display unit 42 (step S126; Y) as necessary.
  • a display warning that the adjustment limit of the framing adjustment is approaching, the degree of the adjustment limit, the framing direction for relaxing the framing adjustment, and the like are displayed (step S127).
  • the framing adjustment control unit 7 causes the display unit 42 (FIG. 2) to display, for example, in which direction the user shifts the framing to create an adjustment margin by using colors, texts, images, or the like.
  • the framing adjustment control unit 7 controls the lens actuator 21 (FIG. 2) and the like as necessary to reduce the aperture. And focus are automatically adjusted (step S128), and the process returns to step S123.
  • FIG. 8 shows an example of an operation flow in the case where the framing adjustment in the zooming priority mode is performed on a specific part and a designated area by the imaging device according to the first embodiment.
  • the framing adjustment control unit 7 does not maintain the specific part within the shooting angle of view range, but maintains the specific part in the designated area preset by the framing adjustment setting unit 9. I do.
  • a more precise composition can be maintained.
  • the prediction processing unit 6 automatically identifies a specific part of the subject (step S131). Further, the user may manually specify a specific part of the subject by the framing adjustment setting unit 9. Next, the image pickup apparatus starts the operation in the zooming priority mode (step S132).
  • step S133 when the position of the specific part changes due to the zooming operation by the user, the framing operation by the user, or the movement of the specific part (step S133), the prediction processing unit 6 determines whether or not the specific part is likely to deviate from the designated area. Alternatively, it recognizes and predicts whether or not it has come off (step S134). When the prediction processing unit 6 recognizes and predicts that the specific portion is unlikely to deviate from the designated area or does not deviate from the designated area (step S134; N), the process returns to the process of step S133.
  • the framing adjustment control unit 7 controls the framing unit 3 to adjust the optical axis. Then, the framing is adjusted in the direction in which the specific part does not deviate from the designated area (basically, the direction in which the specific part comes toward the center of the screen) (step S135).
  • the framing adjustment control unit 7 determines whether or not it is within the adjustment limit of the framing adjustment (step S136).
  • the framing adjustment control unit 7 determines that the framing adjustment is not within the adjustment limit (step S136; N)
  • the framing adjustment control unit 7 releases (stops) the control of the framing adjustment in the zooming priority mode (step S139).
  • the framing adjustment control unit 7 may use the display unit 42 (step S136; Y) as necessary.
  • a display warning that the adjustment limit of the framing adjustment is approaching, the degree of the adjustment limit, the framing direction for relaxing the framing adjustment, and the like are displayed (step S137).
  • the framing adjustment control unit 7 causes the display unit 42 (FIG. 2) to display, for example, in which direction the user shifts the framing to create an adjustment margin by using colors, texts, images, or the like.
  • the framing adjustment control unit 7 controls the lens actuator 21 (FIG. 2) and the like as necessary to reduce the aperture. And focus are automatically adjusted (step S138), and the process returns to step S133.
  • FIG. 9 shows an example of a basic operation flow when framing adjustment is performed in the framing priority mode by the image pickup apparatus according to the first embodiment.
  • the prediction processing unit 6 automatically identifies the subject (step S201). Further, the user may manually specify the subject by the framing adjustment setting unit 9. Next, the image pickup apparatus starts the operation in the framing priority mode (step S202).
  • step S203 when the position of the subject changes due to the framing operation by the user or the movement of the subject (step S203), the prediction processing unit 6 recognizes whether or not the subject is likely to deviate from the shooting angle of view. , Predict (step S204). When there are a plurality of subjects, the subjects may approach or move away from each other. When the prediction processing unit 6 recognizes and predicts that the subject is unlikely to deviate from the shooting angle of view or does not deviate from the shooting angle of view (step S204; N), the process returns to the process of step S203.
  • the framing adjustment control unit 7 controls the zoom unit 2 to zoom by driving the lens. Framing adjustment is performed by performing out and adjusting the zoom position so that the subject does not deviate from the shooting angle of view (step S205).
  • the framing adjustment control unit 7 determines whether or not it is within the adjustment limit of the framing adjustment (step S206).
  • the framing adjustment control unit 7 determines that the framing adjustment is within the adjustment limit (step S206; Y), the process returns to the process of step S203. On the other hand, if it is determined that the framing adjustment is not within the adjustment limit (step S206; N), the brightness, focus, and the like may change due to the framing operation by the user. Therefore, the framing adjustment control unit 7: After controlling the lens actuator 21 (FIG. 2) and the like to automatically adjust the aperture and focus (step S207) as necessary, the control of the framing adjustment in the framing priority mode is released (stopped) (step S208). ..
  • FIG. 10 shows an example of an operation flow in the case where the framing adjustment in the framing priority mode is performed while maintaining the designated zoom position by the imaging device according to the first embodiment.
  • the designated zoom position is specified in advance by the framing adjustment setting unit 9, or the predetermined designated zoom position is stored in advance.
  • the framing adjustment control unit 7 maintains the zoom position as much as possible as long as the subject does not deviate from the shooting angle of view range, but even after zooming out due to the possibility of deviating from the angle of view, the framing adjustment control unit 7 returns to the shooting angle of view range. If there is a margin, zoom in and control to maintain the original specified zoom position.
  • the prediction processing unit 6 automatically identifies the subject (step S221). Further, the user may manually specify the subject by the framing adjustment setting unit 9. Further, the framing adjustment setting unit 9 specifies the designated zoom position in advance, or stores the predetermined designated zoom position in advance. Next, the image pickup apparatus starts the operation in the framing priority mode (step S222).
  • the prediction processing unit 6 recognizes whether or not the subject is likely to deviate from the shooting angle of view. , Predict (step S224).
  • the subjects may approach or move away from each other.
  • the framing adjustment control unit 7 When the prediction processing unit 6 recognizes and predicts that the subject is unlikely to deviate from the shooting angle of view or does not deviate from the shooting angle of view (step S224; N), the framing adjustment control unit 7 then moves to the designated zoom position. It is determined whether or not they match (step S229). When the framing adjustment control unit 7 determines that the position is in the designated zoom position (step S229; N), the process returns to the process of step S223. On the other hand, when it is determined that the zoom position is not in the designated zoom position (step S229; Y), the framing adjustment control unit 7 controls the zoom unit 2 to zoom in or out by driving the lens to obtain the designated zoom position. After adjusting the zoom position so as to be (step S230), the process returns to the process of step S223.
  • the framing adjustment control unit 7 controls the zoom unit 2 to drive the lens.
  • the framing is adjusted by adjusting the zoom position so that the subject does not deviate from the shooting angle of view (step S225).
  • the framing adjustment control unit 7 determines whether or not it is within the adjustment limit of the framing adjustment (step S226).
  • the framing adjustment control unit 7 determines that the framing adjustment is within the adjustment limit (step S226; Y), the process returns to the process of step S223.
  • the framing adjustment control unit 7 After controlling the lens actuator 21 (FIG. 2) and the like to automatically adjust the aperture and focus (step S227) as necessary, the control of the framing adjustment in the framing priority mode is released (stopped) (step S228). ..
  • FIG. 11 shows an example of an operation flow when the framing adjustment in the framing priority mode is performed on a specific portion by the imaging device according to the first embodiment while maintaining the designated zoom position.
  • the framing adjustment setting unit 9 performs framing adjustment so as to keep a specific part (object) such as eyes or face within the shooting angle of view range instead of the entire subject.
  • the prediction processing unit 6 automatically identifies a specific part of the subject (step S231). Further, the user may manually specify a specific part of the subject by the framing adjustment setting unit 9. Further, the framing adjustment setting unit 9 specifies the designated zoom position in advance, or stores the predetermined designated zoom position in advance. Next, the image pickup apparatus starts the operation in the framing priority mode (step S232).
  • the prediction processing unit 6 determines whether or not the specific part is likely to deviate from the shooting angle of view. Is recognized and predicted (step S234). When there are a plurality of specific parts, the specific parts may approach or separate from each other.
  • the framing adjustment control unit 7 determines the designated zoom position. It is determined whether or not the conditions are met (step S239).
  • the framing adjustment control unit 7 determines that the position is in the designated zoom position (step S239; N)
  • the process returns to the process of step S233.
  • the framing adjustment control unit 7 controls the zoom unit 2 to zoom in or out by driving the lens to obtain the designated zoom position. After adjusting the zoom position so as to be (step S240), the process returns to the process of step S233.
  • the framing adjustment control unit 7 controls the zoom unit 2 to control the lens.
  • the framing is adjusted by zooming out by driving and adjusting the zoom position so that the specific portion does not deviate from the shooting angle of view (step S235).
  • the framing adjustment control unit 7 determines whether or not it is within the adjustment limit of the framing adjustment (step S236).
  • the framing adjustment control unit 7 determines that the framing adjustment is within the adjustment limit (step S236; Y), the process returns to the process of step S233.
  • the framing adjustment control unit 7 After controlling the lens actuator 21 (FIG. 2) and the like as necessary to automatically adjust the aperture and focus (step S237), the control of the framing adjustment in the framing priority mode is released (stopped) (step S238). ..
  • the image pickup apparatus and the image pickup control method according to the first embodiment it is possible to add an operation such as automatically releasing the shutter during the operation of the framing adjustment.
  • an operation such as automatically releasing the shutter during the operation of the framing adjustment.
  • the shutter may be automatically released at the timing when the subject is about to deviate from the shooting angle of view.
  • the subject during the operation of framing adjustment, in order to improve convenience at the time of moving image editing, the subject enters the shooting angle of view and then exits. It is also possible to set a trimming flag in the image data at the moment of going.
  • the image pickup apparatus and the image pickup control method according to the first embodiment it is possible to perform framing adjustment so as to match the composition of the template registered in advance.
  • a plurality of template compositions may be prepared so that the user can select an arbitrary template from the operation buttons of the camera body 100 or the like.
  • the framing adjustment technique in the framing priority mode in the imaging device and the imaging control method according to the first embodiment may be used for automating the dolly zoom at the time of moving image shooting.
  • Dolly zoom is a shooting method that changes only the perspective of the background while keeping the size of the subject constant.
  • the imaging device and the imaging control method according to the first embodiment one of zooming and framing is performed by the user, and the other is automatically controlled by the imaging device side to reflect the intention of human composition determination. , The burden can be reduced.
  • object recognition and object tracking technology for automatic control of zooming and framing on the image pickup apparatus side, it is possible to realize stabilization as a composition, not just image stabilization.
  • the still image leads to an increase in shooting opportunities, and the moving image shooting realizes a stable angle of view, thereby reducing the burden on the photographer. At the same time, it can contribute to improving the quality of photographs or videos.
  • the imaging device and the imaging control method by setting the target of framing adjustment to a specific part (eyes, face, etc.) instead of the entire subject, the attention position is within the shooting angle of view range. You can keep paying. In this case, even if the user performs zooming exceeding the subject size, the framing adjustment operation continues. For example, by targeting the eyes for framing adjustment, it can be applied to bust-up and face-up. The benefits are great even in the eyes of animals. Further, by setting the optical axis maintenance range by framing adjustment to a designated area within the angle of view instead of the entire angle of view, it is possible to obtain more stable photographs and moving images as a composition.
  • zooming or framing becomes possible without moving the framing adjustment target from the screen.
  • the animal's eyes are zoomed in the zooming priority mode as the target of framing adjustment, if the animal's eyes are within the adjustment range of the optical axis, the animal's eyes will zoom without moving at one point of the angle of view. You will be able to do it easily. This has great merits not only in the zooming priority mode but also in the framing priority mode.
  • the basic configuration of the imaging device according to the second embodiment of the present disclosure may be substantially the same as the configuration shown in FIGS. 1 and 2.
  • the framing adjustment setting unit 9 may include, for example, a mode dial, a main body operation button, and the like.
  • the framing adjustment setting unit 9 controls either the framing unit 3 or the zoom unit 2 for framing adjustment, which is control according to the movement of the subject by the framing adjustment control unit 7. It may include a first setting unit for setting whether or not to perform the operation. Further, the framing adjustment setting unit 9 may include a second setting unit for setting whether or not to perform framing adjustment by the framing adjustment control unit 7.
  • the imaging device it is possible to automatically switch between the zooming priority mode and the framing priority mode. For example, it is automatic while the user moves the zoom ring on the zoom operation unit 4 (FIG. 1) or the lens IF23 (FIG. 2) or presses a specific button on the zoom operation unit 4 (FIG. 1) or the lens IF23 (FIG. 2). It is also possible to set the zooming priority mode with, and in other cases, set the framing priority mode.
  • FIG. 12 shows an example of an operation flow in the case where the imaging device according to the second embodiment automatically switches the framing adjustment ON / OFF and selects the operation mode of the framing adjustment.
  • "zooming priority” setting, "framing priority” setting, and “framing priority” setting are performed by the mode dial or menu provided in the framing adjustment setting unit 9 (FIG. 1) and the trigger IF 41 (FIG. 2). You can select each setting of "Zooming priority / Framing priority automatic switching" setting and "Framing adjustment ON / OFF" setting.
  • the framing adjustment function itself can be turned ON / OFF independently by other interfaces.
  • ON / OFF can be instantly switched by a button on the lens IF23 (FIG. 2) or the trigger IF41 (FIG. 2). It is also conceivable that the framing adjustment is turned on while the shutter button is half-pressed, and turned off when the half-press is released.
  • the "Zooming priority / Framing priority automatic switching" setting the "Zooming priority” setting and the “Framing priority” setting are automatically switched according to the user's operation, and there is no need to operate with the mode dial or menu button. For example, “Zooming priority mode while the zoom ring is operating, framing priority mode after a certain period of time has passed” and “Zooming priority mode when the finger is touching the zoom ring, not touching” In some cases, the framing priority mode is used.
  • zooming in and out are automatically operated by controlling the zooming unit 2 by the framing adjustment control unit 7.
  • the zoom ring operates, the user's usability deteriorates, so it is possible not to give feedback on the zoom operation to the zoom lens when framing is prioritized.
  • the prediction processing unit 6 automatically identifies the subject (step S301). Further, the user may manually specify the subject by the framing adjustment setting unit 9.
  • the framing adjustment control unit 7 determines whether or not the "zooming priority" is set (step S302). When the framing adjustment control unit 7 determines that the "zooming priority" setting has been made (step S302; Y), then whether or not the current setting of the "framing adjustment ON / OFF" is ON. Is determined (step S306). When the framing adjustment control unit 7 determines that the current setting of "framing adjustment ON / OFF" is not ON (step S306; N), the framing adjustment control unit 7 cancels (stops) the zooming priority mode (step S308). Further, when the framing adjustment control unit 7 determines that the current setting of "framing adjustment ON / OFF" is ON (step S306; Y), the framing adjustment control unit 7 starts the operation in the zooming priority mode (step S309).
  • step S303 determines whether or not "framing priority” has been set.
  • step S303 determines whether or not "framing priority” has been set.
  • step S303 determines whether or not the current setting of the "framing adjustment ON / OFF" is ON.
  • step S307 determines that the current setting of "framing adjustment ON / OFF" is not ON.
  • step S307; N the framing adjustment control unit 7 cancels (stops) the zooming priority mode.
  • step S307; Y the framing adjustment control unit 7 starts the operation in the framing priority mode (step S310).
  • step S303; N If it is determined that "framing priority” has not been set (step S303; N), the framing adjustment control unit 7 next has "zooming priority / framing priority automatic switching" set. It is determined whether or not (step S304). When the framing adjustment control unit 7 determines that the "zooming priority / framing priority automatic switching" has not been set (step S304; N), the framing adjustment control unit 7 cancels (stops) the zooming priority mode (step S308). If the framing adjustment control unit 7 determines that "zooming priority / framing priority automatic switching" has been set (step S304; Y), then the zoom ring is operating or the zoom ring It is determined whether or not the finger is in contact with the (step S305).
  • step S305; Y When the framing adjustment control unit 7 determines that the zoom ring is operating or the finger is in contact with the zoom ring (step S305; Y), the framing adjustment control unit 7 proceeds to the process of step S306. If the framing adjustment control unit 7 determines that the zoom ring is in operation or the finger is not in contact with the zoom ring (step S305; N), the framing adjustment control unit 7 proceeds to the process of step S307.
  • the basic configuration of the imaging device according to the third embodiment of the present disclosure may be substantially the same as the configuration shown in FIGS. 1 and 2.
  • the zoom unit 2 is operated by a user operation when the subject is predicted to be out of a predetermined shooting range by the prediction processing unit 6.
  • the framing unit 3 may be controlled to adjust the framing so that the subject does not deviate from the predetermined shooting range, and the zoom-in operation by the user operation may be invalidated.
  • FIG. 13 shows an example of a basic operation flow when the zooming operation is invalidated in a specific case while performing framing adjustment in the zooming priority mode by the imaging device according to the third embodiment.
  • steps S110 and S111 are added to the operation flow of FIG.
  • steps S110 and S111 are added to the operation flow of FIG.
  • a part different from the operation flow of FIG. 6 will be described.
  • step S104 When the prediction processing unit 6 recognizes and predicts that the subject is likely to deviate from the shooting angle of view or is predicted (step S104; Y), the framing adjustment control unit 7 then invalidates the zoom-in operation by the user. (The zoom-out operation remains valid) (step S110), and then the process proceeds to step S105.
  • the invalidation of the zoom-in operation for example, the zoom ring and the operation button are invalidated.
  • step S104 when the prediction processing unit 6 recognizes and predicts that the subject is unlikely to deviate from the shooting angle of view or does not deviate from the shooting angle of view (step S104; N), the framing adjustment control unit 7 then moves the framing adjustment control unit 7. If zoom-in is disabled, the zoom-in operation is enabled (step S111), and then the process proceeds to step S103.
  • the basic configuration of the imaging device according to the fourth embodiment of the present disclosure may be substantially the same as the configuration shown in FIGS. 1 and 2.
  • the prediction processing unit 6 predicts whether or not the entire subject or a specific part of the subject is out of the predetermined shooting range according to the ratio of the entire subject to the predetermined shooting range. You may want to change the size of.
  • the prediction processing unit 6 When it is determined that the ratio of the entire subject or a specific part of the subject to the predetermined shooting range is sufficiently small, the prediction processing unit 6 currently predicts the target for predicting whether or not the subject is out of the predetermined shooting range. It may be changed to a larger target than the target. Further, when it is determined that the specific part of the subject does not fall within the predetermined shooting range, the prediction processing unit 6 predicts whether or not the target is out of the predetermined shooting range. It may be changed to a smaller target.
  • FIG. 14 shows an example of an operation flow in the case where the image pickup apparatus according to the fourth embodiment performs framing adjustment in the framing priority mode and gradually switches a specific portion to be framing adjustment. ..
  • An example will be described in which the specific parts to be adjusted for framing are "whole subject", "face", and "eyes" in descending order.
  • the specific portion to be adjusted for framing can be arbitrarily set from the framing adjustment setting unit 9 or the like.
  • the prediction processing unit 6 automatically identifies a specific part of the subject (step S401). Further, the user may manually specify a specific part of the subject by the framing adjustment setting unit 9. Next, the image pickup apparatus starts the operation in the zooming priority mode (step S402).
  • the prediction processing unit 6 changes the specific part with respect to the shooting angle of view. It is determined whether or not it is sufficiently small (step S404).
  • the prediction processing unit 6 determines that the specific part is sufficiently small with respect to the shooting angle of view (step S404; Y)
  • the prediction processing unit 6 changes the specific part (for example, if the specific part is "eyes", it is changed to "face”. If it is a "face”, it is changed to "the whole subject") (step S405), and then the process returns to the process of step S403.
  • step S404 when the prediction processing unit 6 determines that the specific part is not sufficiently small with respect to the shooting angle of view (step S404; N), it is likely that the specific part will not fit within the shooting angle of view next. Whether or not it is determined (step S406).
  • step S406 determines that the specific part is unlikely to fit within the shooting angle of view (step S406; Y)
  • the change of the specific part for example, if the specific part is "the entire subject", " After performing (change to "eyes” if "face” for "face) (step S407), the process returns to step S403.
  • step S406 determines that the specific part is unlikely to fit within the shooting angle of view (step S406; N)
  • step S408; N the process returns to step S423.
  • the framing adjustment control unit 7 controls the framing unit 3 to adjust the optical axis. Is performed, and framing adjustment is performed in a direction in which the specific portion does not deviate from the shooting angle of view (basically, the direction in which the specific portion comes toward the center of the screen) (step S409).
  • the framing adjustment control unit 7 determines whether or not it is within the adjustment limit of the framing adjustment (step S410).
  • the framing adjustment control unit 7 determines that the framing adjustment is not within the adjustment limit (step S410; N)
  • the framing adjustment control unit 7 releases (stops) the control of the framing adjustment in the zooming priority mode (step S413).
  • the framing adjustment control unit 7 may use the display unit 42 (step S410; Y) as necessary.
  • a display warning that the adjustment limit of the framing adjustment is approaching, the degree of the adjustment limit, the framing direction for relaxing the framing adjustment, and the like are displayed (step S411).
  • the framing adjustment control unit 7 causes the display unit 42 (FIG. 2) to display, for example, in which direction the user shifts the framing to create an adjustment margin by using colors, texts, images, or the like.
  • the framing adjustment control unit 7 controls the lens actuator 21 (FIG. 2) and the like as necessary to reduce the aperture. And focus are automatically adjusted (step S412), and the process returns to step S403.
  • the present technology may have the following configuration. According to the present technology having the following configuration, framing adjustment can be easily performed.
  • Imaging unit and Zoom part and Framing part When one of the zoom unit and the framing unit is operated by a user operation, control is performed to control which of the zoom unit and the framing unit is not operated by the user operation according to the movement of the subject.
  • An image pickup device equipped with a unit. (2) The image pickup apparatus according to (1) above, wherein the framing unit performs processing according to the movement of the subject when the zoom unit is operated by the user operation. (3) The imaging device according to (1) or (2) above, wherein the zoom unit performs processing according to the movement of the subject when the framing unit is operated by the user operation. (4) When the zoom unit is operated by the user operation, the framing unit performs processing according to the movement of the subject.
  • the imaging device according to any one of (1) to (3) above, wherein the zoom unit performs processing according to the movement of the subject when the framing unit is operated by the user operation.
  • the imaging device according to any one of (1) to (4) above, further comprising a prediction processing unit that predicts whether or not the subject deviates from a predetermined shooting range based on the movement of the subject.
  • the control unit controls which of the zoom unit and the framing unit, which is not operated by the user operation, is controlled according to the movement of the subject so that the subject does not deviate from the predetermined shooting range (1).
  • the imaging apparatus according to any one of (5).
  • the zoom unit includes at least one of a lens driving unit that drives the lens unit to perform optical zooming and an image processing unit that performs electronic zooming based on an imaging signal (1) to (1).
  • the imaging device according to any one of 6).
  • the framing unit includes at least one of a camera shake correction unit that drives at least one of the image pickup unit and the lens unit to perform camera shake correction, and a posture adjustment mechanism that can adjust the posture of the entire image pickup apparatus ( The imaging device according to any one of 1) to (7). (9) The imaging according to any one of (1) to (8) above, further comprising a display unit for warning that the adjustment limit of the framing adjustment according to the movement of the subject by the zoom unit or the framing unit is approaching. apparatus.
  • the above (1) further includes a zoom ring that enables the user operation of the zoom unit by driving the lens unit, and a zoom operation unit that includes at least one operation button provided on the lens unit (1).
  • the imaging apparatus according to any one of (9).
  • (11) Also equipped with a shutter button, The imaging device according to any one of (1) to (10) above, wherein the control unit controls according to the movement of the subject when the shutter button is half-pressed.
  • (12) When the framing unit is operated by the user operation, the control unit controls the zoom unit to maintain a predetermined zoom position when it is predicted that the subject does not deviate from a predetermined shooting range.
  • the imaging apparatus according to any one of (1) to (11) above.
  • the imaging apparatus according to any one of. (14)
  • the control unit controls the framing unit when the subject is predicted to deviate from the predetermined shooting range, and when the zoom unit is operated by the user operation, the subject takes the predetermined shooting.
  • the imaging device according to any one of (1) to (14) above, wherein the framing is adjusted so as not to deviate from the range, and the zoom-in operation by the user operation is invalidated.
  • the image pickup apparatus according to (5) above, wherein the prediction processing unit changes the size of an object for predicting whether or not the subject deviates from the predetermined shooting range according to the ratio of the subject to the predetermined shooting range. .. (17) The prediction processing unit If it is determined that the entire subject or a specific part of the subject occupies a sufficiently small proportion of the predetermined shooting range, the target for predicting whether or not the subject is out of the predetermined shooting range is currently predicted. Change to a larger target than you have When it is determined that the specific part of the subject does not fall within the predetermined shooting range, the target for predicting whether or not it deviates from the predetermined shooting range is set to a smaller target than the currently predicted target.
  • the imaging device according to (16) above.
  • an imaging device including an imaging unit, a zoom unit, and a framing unit
  • an imaging control method that controls the one that is not used according to the movement of the subject.

Abstract

本開示のカメラは、撮像部と、ズーム部と、フレーミング部と、ズーム部およびフレーミング部のうちの一方がユーザ操作により操作される場合は、ズーム部およびフレーミング部のうちユーザ操作により操作されていない方を、被写体の動きに応じて制御する制御部とを備える。

Description

撮像装置、および撮像制御方法
　本開示は、ズーミングおよびフレーミングを行うことが可能な撮像装置、および撮像制御方法に関する。
　一般に、撮像装置ではユーザによる操作によって手動でズーミングおよびフレーミングを行うことが可能となっている。また、最適な構図で撮影されるように、撮像装置側でズーミングおよびフレーミングを自動で行う技術がある（特許文献１参照）。
特開２００９－１００３０１号公報
　ユーザが手動でズーミングまたはフレーミングの操作を行ってフレーミング調整を行うことは困難である。
　フレーミング調整を容易に行うことが可能な撮像装置、および撮像制御方法を提供することが望ましい。
　本開示の一実施の形態に係る撮像装置は、撮像部と、ズーム部と、フレーミング部と、ズーム部およびフレーミング部のうちの一方がユーザ操作により操作される場合は、ズーム部およびフレーミング部のうちユーザ操作により操作されていない方を、被写体の動きに応じて制御する制御部とを備える。
　本開示の一実施の形態に係る撮像制御方法は、撮像部、ズーム部、およびフレーミング部を備える撮像装置において、ズーム部およびフレーミング部のうちの一方がユーザ操作により操作される場合は、ズーム部およびフレーミング部のうちユーザ操作により操作されていない方を、被写体の動きに応じて制御する。
　本開示の一実施の形態に係る撮像装置、または撮像制御方法では、ズーム部およびフレーミング部のうちの一方がユーザ操作により操作される場合は、ズーム部およびフレーミング部のうちユーザ操作により操作されていない方が、被写体の動きに応じて制御される。
本開示の第１の実施の形態に係る撮像装置の構成の概要を示すブロック図である。 第１の実施の形態に係る撮像装置が適用されるカメラの構成の一具体例を示すブロック図である。 第１の実施の形態に係る撮像装置における、ズーミング優先モードによるフレーミング調整の概要を示す説明図である。 第１の実施の形態に係る撮像装置における、フレーミング優先モードによるフレーミング調整の概要を示す説明図である。 一般的な自動露出制御の概要と第１の実施の形態に係る撮像装置によるフレーミング調整の概要とを比較して示す説明図である。 第１の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行う場合の基本的な動作フローの一例を示す流れ図である。 第１の実施の形態に係る撮像装置によって、特定部位に対してズーミング優先モードによるフレーミング調整を行う場合の動作フローの一例を示す流れ図である。 第１の実施の形態に係る撮像装置によって、特定部位、かつ指定領域に対してズーミング優先モードによるフレーミング調整を行う場合の動作フローの一例を示す流れ図である。 第１の実施の形態に係る撮像装置によって、フレーミング優先モードによるフレーミング調整を行う場合の基本的な動作フローの一例を示す流れ図である。 第１の実施の形態に係る撮像装置によって、フレーミング優先モードによるフレーミング調整を、指定ズーム位置を維持しつつ行う場合の動作フローの一例を示す流れ図である。 第１の実施の形態に係る撮像装置によって、特定部位に対してフレーミング優先モードによるフレーミング調整を、指定ズーム位置を維持しつつ行う場合の動作フローの一例を示す流れ図である。 第２の実施の形態に係る撮像装置によって、フレーミング調整のオン／オフ切替とフレーミング調整の動作モードの選択とを自動で行う場合の動作フローの一例を示す流れ図である。 第３の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行いつつ、特定の場合にズームイン操作を無効化する場合の基本的な動作フローの一例を示す流れ図である。 第４の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行いつつ、フレーミング調整の対象となる特定部位の段階的切替を行う場合の動作フローの一例を示す流れ図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（図１～図１１）
　　１．１　第１の実施の形態に係る撮像装置の構成
　　１．２　第１の実施の形態に係る撮像装置、および撮像制御方法の動作
　　１．３　効果および変形例
　２．第２の実施の形態（図１２）
　３．第３の実施の形態（図１３）
　４．第４の実施の形態（図１４）
　５．その他の実施の形態
＜１．第１の実施の形態＞
［１．１　第１の実施の形態に係る撮像装置の構成］
（撮像装置の構成の概要）
　図１は、本開示の第１の実施の形態に係る撮像装置の構成の概要を示している。
　第１の実施の形態に係る撮像装置は、撮像部１と、ズーム部２と、フレーミング部３と、ズーム操作部４と、フレーミング操作部５と、予測処理部６と、フレーミング調整制御部７と、レンズ部８と、フレーミング調整設定部９とを備えている。
　撮像部１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含んでいる。撮像部１は、被写体を撮影して撮像信号を出力する。
　ズーム部２は、被写体に対するズーミングを行う。なお、第１の実施の形態に係る撮像装置において、被写体とは、被写体全体または被写体の特定部位であってもよい。ズーム部２は、ズーム操作部４を介してユーザ操作により操作することが可能となっている。ズーム部２は、フレーミング部３がユーザ操作により操作される場合に、被写体の動きに応じた処理を行う。ズーム部２は例えば、レンズ部８を駆動して光学的なズーミングを行うレンズ駆動部と、撮像部１からの撮像信号に基づいて電子的なズーミングを行う画像処理部との少なくとも１つを含んでいてもよい。
　フレーミング部３は、被写体に対するフレーミングを行う。フレーミング部３は、フレーミング操作部５を介してユーザ操作により操作することが可能となっている。フレーミング部３は、ズーム部２がユーザ操作により操作される場合に、被写体の動きに応じた処理を行う。フレーミング部３は例えば、撮像部１およびレンズ部８のうち少なくとも一方を駆動して手振れ補正を行う手振れ補正部と、撮像装置全体の姿勢を調整可能な姿勢調整機構との少なくとも１つを含んでいてもよい。姿勢調整機構は、調整機構を備えた雲台や三脚等であってもよい。
　ズーム操作部４は、ズーム部２に対してズーミングの操作を行う。ズーム操作部４は、ユーザによって操作される部分であり、例えば、レンズ部８を駆動してズーム部２のユーザ操作を可能にするズームリングと、レンズ部８に設けられた操作ボタンとの少なくとも１つを含んでいてもよい。
　フレーミング操作部５は、ユーザによって操作される部分であり、フレーミング部３に対してフレーミングの操作を行う。
　予測処理部６は、被写体の動きを認識し、被写体が所定の撮影範囲から外れるか否かを予測する。
　フレーミング調整制御部７は、本開示の技術における「制御部」の一具体例に相当する。フレーミング調整制御部７は、ズーム部２およびフレーミング部３のうちの一方がユーザ操作により操作される場合は、ズーム部２およびフレーミング部３のうちユーザ操作により操作されていない方を、被写体の動きに応じて制御する。フレーミング調整制御部７は、被写体が所定の撮影範囲から外れないように、ズーム部２およびフレーミング部３のうちユーザ操作により操作されていない方を、被写体の動きに応じて制御する。フレーミング調整制御部７は、被写体の動きに応じた制御の一例として、具体的には、予測処理部６によって被写体が所定の撮影範囲から外れると予測された場合において、ズーム部２がユーザ操作による操作に基づいてズーミングを行っている場合に、フレーミング部３を制御して被写体が所定の撮影範囲から外れないようにフレーミング調整を行う。以下、このように、ユーザによるズーミング操作を優先してフレーミング調整を行う動作モードを「ズーミング優先モード」ともいう。
　また、フレーミング調整制御部７は、被写体の動きに応じた制御の一例として、具体的には、予測処理部６によって被写体が所定の撮影範囲から外れると予測された場合において、フレーミング部３がユーザ操作による操作に基づいてフレーミングを行っている場合に、ズーム部２を制御して被写体が所定の撮影範囲から外れないようにフレーミング調整を行う。以下、このように、ユーザによるフレーミング操作を優先してフレーミング調整を行う動作モードを「フレーミング優先モード」ともいう。
　フレーミング調整制御部７は、フレーミング部３がユーザ操作により操作される場合において、予測処理部６によって被写体が所定の撮影範囲から外れないと予測された場合には、ズーム部２を制御して所定のズーム位置を維持する制御を行うようにしてもよい。
　第１の実施の形態に係る撮像装置は、撮像部１に対してシャッタ動作を指示するシャッタボタン、をさらに備えていてもよい。フレーミング調整制御部７は、シャッタボタンが半押しされた場合に、被写体の動きに応じた制御であるフレーミング調整を行うようにしてもよい。
　レンズ部８は、被写体の光学像を形成する。レンズ部８は、ズーミングが可能なズームレンズを有することが好ましい。また、レンズ部８は、絞り調整、およびフォーカス調整が可能なレンズ構成であることが好ましい。
　フレーミング調整設定部９は例えば、撮影時の動作モードの設定等を行うためのモードダイヤルや本体操作ボタン等を含んでいる。フレーミング調整設定部９は、例えば、被写体の動きに応じた制御であるフレーミング調整を行う際の動作モード等の設定を行う。
　なお、第１の実施の形態に係る撮像装置は、図１に示した一部の構成要素が外部に設けられた構成であってもよい。例えば予測処理部６が撮像装置に対して外部に設けられていてもよい。
（撮像装置が適用されるカメラの構成の一具体例）
　図２は、第１の実施の形態に係る撮像装置が適用されるカメラの構成の一具体例を示している。
　第１の実施の形態に係るカメラは、カメラ本体１００と、カメラ本体１００の姿勢を制御する画角調整ユニット５０とを備えている。第１の実施の形態に係るカメラは、別体センサ６０をさらに備えていてもよい。
　カメラ本体１００は、撮像素子部１０と、レンズ部２０と、レンズＩＦ（インタフェース）２３と、処理部３０と、トリガーＩＦ（インタフェース）４１と、表示部４２と、記録媒体４３とを備えている。表示部４２や記録媒体４３は、カメラ本体１００とは別体として構成されていてもよい。
　撮像素子部１０は、露光部１１と、撮像素子アクチュエータ１２と、手振れ補正制御部１３とを備えている。
　露光部１１は、図１の構成における撮像部１の一具体例に相当する。露光部１１は、ＣＣＤやＣＭＯＳ等の撮像素子を含み、被写体を撮影して撮像信号を出力する。
　撮像素子アクチュエータ１２は、図１の構成における手振れ補正を行う場合のフレーミング部３の一具体例に相当する。撮像素子アクチュエータ１２は、手振れ補正制御部１３による制御に従って、露光部１１の撮像素子を駆動（移動）させることにより光学的な手振れ補正を行う。
　レンズ部２０は、図１の構成におけるレンズ部８の一具体例に相当する。レンズ部２０は、ズーミングが可能なズームレンズを有する。また、レンズ部２０は、絞り調整、およびフォーカス調整が可能なレンズ構成となっている。また、レンズ部２０は、光学的な手振れ補正が可能なレンズ構成となっている。
　レンズ部２０は、レンズアクチュエータ２１と、レンズアクチュエータ制御部２２とを備えている。
　レンズアクチュエータ２１は、図１の構成における光学的なズーミングを行う場合のズーム部２の一具体例に相当する。また、レンズアクチュエータ２１は、図１の構成における手振れ補正を行う場合のフレーミング部３の一具体例に相当する。レンズアクチュエータ２１は、レンズアクチュエータ制御部２２による制御に従って、レンズ部２０のレンズを駆動（移動）させることにより光学的なズーミングやフォーカス調整等を行う。また、レンズアクチュエータ２１は、手振れ補正制御部１３およびレンズアクチュエータ制御部２２による制御に従って、レンズ部２０のレンズを駆動（移動）させることにより光学的な手振れ補正を行う。
　レンズアクチュエータ制御部２２は、レンズアクチュエータ２１を制御してレンズ部２０を構成するレンズを駆動して、ズーミング、フォーカス調整、および光学的な手振れ補正等を行わせる。
　レンズＩＦ２３は例えば、操作ボタン、ズームリング、およびズームリング接触感知センサ等を含んでいる。レンズＩＦ２３は、図１の構成におけるズーム操作部４およびフレーミング操作部５の一具体例に相当する。
　手振れ補正制御部１３は、撮像素子アクチュエータ１２を制御して露光部１１の撮像素子を移動（光軸シフト等）させることにより光学的な手振れ補正を行わせる。また、手振れ補正制御部１３は、レンズアクチュエータ制御部２２と共にレンズアクチュエータ２１を制御してレンズ部２０のレンズを移動（光軸シフト等）させることにより光学的な手振れ補正を行わせる。
　処理部３０は、認識・予測処理部３１と、処理実施判定部３２と、画像現像処理部３３とを含んでいる。
　認識・予測処理部３１は、図１の構成における予測処理部６の一具体例に相当する。認識・予測処理部３１は、被写体全体または被写体の特定部位の動きを認識し、被写体全体または被写体の特定部位が所定の撮影範囲から外れるか否かを予測する。認識・予測処理部３１は、露光部１１からの撮像信号に基づいて、認識、予測処理を行うが、認識、予測処理は高速であることが望ましい。このため、認識・予測処理部３１には、画素の間引きなどにより高速に読み出された画像データが入力されることが望ましい。認識・予測処理部３１は、別体センサ６０からのセンサ信号に基づいて認識、予測処理を行うようにしてもよい。別体センサ６０による撮影画角範囲は撮像素子部１０による撮影画角範囲よりも広角であることが望ましい。これにより、より広い撮影画角範囲の認識、予測処理を行うことが可能となる。認識・予測処理部３１は、認識、予測した結果に基づいて、トリガーＩＦ４１等から設定された動作モードによる制御がなされるように、手振れ補正制御部１３、レンズアクチュエータ制御部２２、および姿勢制御アクチュエータ制御部５２を制御する。
　処理実施判定部３２は、トリガーＩＦ４１からのトリガー信号に基づいて、トリガーＩＦ４１で設定された動作モードによる各種処理を認識・予測処理部３１および画像現像処理部３３に対して実施させる。
　画像現像処理部３３は、図１の構成における電子的なズーミングを行う場合のズーム部２の一具体例に相当する。画像現像処理部３３は、露光部１１からの撮像信号に基づいて、記録媒体４３への記録に適した画像データを生成する。また、画像現像処理部３３は、露光部１１からの撮像信号に基づいて、表示部４２への表示に適した画像データを生成する。また、画像現像処理部３３は、電子的なズーミングを行う場合には、画像の拡大処理等を行う。露光部１１から画像現像処理部３３に入力される撮像信号は、全画素読み出しされた通常の画像データである。
　トリガーＩＦ４１は、例えばシャッタボタンやモードダイヤル等を含んでいる。トリガーＩＦ４１は、図１の構成におけるフレーミング調整設定部９の一具体例に相当する。
　表示部４２は例えば、液晶ディスプレイや有機（Electro Luminescence）ディスプレイ等で構成され、撮影された画像データを表示する。また、表示部４２は、フレーミング調整制御部７によるフレーミング調整の調整限界が近づいたことを警告するような表示を行うようにしてもよい。
　記録媒体４３は、撮影された画像データを記録可能な、例えば半導体記録素子等の記録媒体である。記録媒体４３は、カメラ本体１００内に内蔵される内蔵形式のものであってもよいし、カメラ本体１００内に対して取り外し可能なカード形式等の外部記録媒体であってもよい。
　画角調整ユニット５０は、姿勢制御アクチュエータ５１と、姿勢制御アクチュエータ制御部５２とを含んでいる。画角調整ユニット５０は、例えば雲台や三脚等を含んでいる。
　姿勢制御アクチュエータ５１は、図１の構成におけるカメラ全体の姿勢を調整する場合のフレーミング部３の一具体例に相当する。姿勢制御アクチュエータ５１は、姿勢制御アクチュエータ制御部５２による制御に従って、雲台や三脚等を駆動（移動）させることによりカメラ本体１００を移動させてフレーミングを行う。
　姿勢制御アクチュエータ制御部５２は、姿勢制御アクチュエータ５１を制御して雲台や三脚等を駆動してフレーミングを行わせる。
　認識・予測処理部３１、手振れ補正制御部１３、レンズアクチュエータ制御部２２、および姿勢制御アクチュエータ制御部５２はそれぞれ、図１の構成におけるフレーミング調整制御部７の一具体例に相当する。
［１．２　第１の実施の形態に係る撮像装置、および撮像制御方法の動作］
　ここでは、第１の実施の形態に係る撮像装置、および撮像制御方法による動作として、主として被写体の動きに応じた制御であるフレーミング調整を行う動作に係る動作例を説明する。また、主として図１に示した構成を例にして説明する。
　第１の実施の形態に係る撮像装置では、予測処理部６で被写体の動きを自動で認識し、フレーミング調整制御部７が、ズーム部２またはフレーミング部３のどちらかを自動で調整することで被写体を所定の撮影範囲内に維持し続ける。所定の撮影範囲とは、撮影画角範囲全体であってもよいし、後述する図８の動作例に示すような、あらかじめ設定された指定領域であってもよい。
　ズーミング優先モードの場合には、ユーザが手動でズーミングを調整し、フレーミング調整制御部７はフレーミング部３を制御して被写体がフレームアウトしないようなフレーミング調整を行う。フレーミング優先モードでは、ユーザが手動でフレーミングを調整し、フレーミング調整制御部７はズーム部２を制御して被写体がフレームアウトしないようなフレーミング調整を行う。
　フレーミング調整の対象は、図３および図４に示したように、例えば人や動物等の被写体の全体であってもよいし、被写体の特定部位であってもよい。例えば人や動物等の被写体における顔や目等であってもよい。また、被写体または被写体の特定部位が複数、存在してもよい。
　図３は、第１の実施の形態に係る撮像装置における、ズーミング優先モードによるフレーミング調整の概要を示している。図４は、第１の実施の形態に係る撮像装置における、フレーミング優先モードによるフレーミング調整の概要を示している。
　図３の場合、被写体７０が鳥である場合を例にしている。図３の場合、ユーザが手動でズーミングを調整している場合（図３（Ａ））において、被写体７０が撮影画角範囲から外れそうになる（図３（Ｂ））ことを予測処理部６が予測すると、フレーミング調整制御部７がフレーミング部３を制御して被写体７０がフレームアウトしないようなフレーミング調整を自動で行っている（図３（Ｃ））。
　図４の場合、被写体が複数の部位に別れている。図４の場合、サッカーをしている場面であり、被写体７１（選手）と被写体７２（ボール）とが存在する。図４の場合、ユーザが手動でフレーミングを調整している場合（図４（Ａ））において、被写体７２が撮影画角範囲から外れた（図４（Ｂ））ことを予測処理部６が認識し、フレーミング調整制御部７がズーム部２を制御して被写体７２が撮影画角範囲内に入るようにズームアウトすることによって、フレーミング調整を自動で行っている（図４（Ｃ））。このように、本開示の技術は、被写体が複数の部位に別れていても有効である。
　図５は、一般的な自動露出制御の概要（図５（Ａ））と第１の実施の形態に係る撮像装置によるフレーミング調整の概要（図５（Ｂ））とを比較して示している。
　シャッタスピードとアパーチャとのいずれか一方をユーザが操作し、他方を撮像装置側が自動で調節する自動露出制御の技術がある。ユーザがシャッタスピードを操作する場合はシャッタ優先モード、ユーザがアパーチャを操作する場合はアパーチャ優先モードとなる。これに対して、第１の実施の形態に係る撮像装置では、フレーミングとズーミングとのいずれか一方をユーザが操作し、他方を撮像装置側が自動で調節する技術である。ユーザがフレーミングを操作する場合はフレーミング優先モード、ユーザがズーミングを操作する場合はズーミング優先モードとなる。
　一般に、ユーザがズーミングとフレーミングとを同時に操作することは難しい。例えば、ユーザがズーミングしている場合において、被写体自身が早く動くとき、被写体がフレームアウトしやすい。また、第１の被写体を追っかけているときに第２の被写体が出現した場合に両方を撮影することは難しい。第１の実施の形態に係る撮像装置では、ズーミングとフレーミングとのいずれか一方を自動で制御することにより、そのような場合であっても、フレーミング調整を容易に行うことが可能となる。
（ズーミング優先モードの動作例）
　図６は、第１の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行う場合の基本的な動作フローの一例を示している。
　まず、予測処理部６が被写体を自動で特定する（ステップＳ１０１）。また、フレーミング調整設定部９によってユーザが被写体を手動で指定してもよい。次に、撮像装置は、ズーミング優先モードによる動作を開始する（ステップＳ１０２）。
　次に、ユーザによるズーミング操作、ユーザによるフレーミング操作、または被写体の移動によって被写体の位置が変化する（ステップＳ１０３）と、予測処理部６は、被写体が撮影画角から外れそうか否か、または外れたか否かを認識、予測する（ステップＳ１０４）。なお、被写体が複数の場合は、被写体同士が近づいたり離れたりすることがある。予測処理部６が被写体が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合（ステップＳ１０４；Ｎ）には、ステップＳ１０３の処理に戻る。
　予測処理部６によって、被写体が撮影画角から外れそう、または外れたと認識、予測された場合（ステップＳ１０４；Ｙ）には、フレーミング調整制御部７はフレーミング部３を制御して光軸調整を行い、撮影画角から被写体が外れない方向（基本的には画面中心方向に被写体が来る方向）にフレーミング調整を行う（ステップＳ１０５）。
　次に、フレーミング調整制御部７はフレーミング調整の調整限界の範囲内であるか否かを判断する（ステップＳ１０６）。
　フレーミング調整制御部７は、フレーミング調整の調整限界の範囲内ではないと判断した場合（ステップＳ１０６；Ｎ）には、ズーミング優先モードによるフレーミング調整の制御を解除（停止）する（ステップＳ１０９）。
　一方、フレーミング調整の調整限界の範囲内であると判断した場合（ステップＳ１０６；Ｙ）であっても、調整限界が近い場合には、フレーミング調整制御部７は、必要に応じて表示部４２（図２）に、フレーミング調整の調整限界が近づいたことを警告するような表示や、調整限界の度合い、フレーミング調整を緩和するフレーミング方向等を表示させる（ステップＳ１０７）。フレーミング調整制御部７は、例えば、どの方向にユーザがフレーミングをずらせば調整の余裕が生まれるか等を、色やテキスト、画像等で知らせるような表示を表示部４２（図２）に行わせる。また、ユーザによるズーミング操作やユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部７は、必要に応じてレンズアクチュエータ２１（図２）等を制御して、絞りやフォーカスなどを自動で調整（ステップＳ１０８）し、ステップＳ１０３の処理に戻る。
　図７は、第１の実施の形態に係る撮像装置によって、特定部位に対してズーミング優先モードによるフレーミング調整を行う場合の動作フローの一例を示している。この動作フローでは、フレーミング調整制御部７は、被写体全体ではなく、目や顔などの特定部位（物体）を撮影画角範囲内に納め続けるようなフレーミング調整を行う。この場合、被写体全体は撮影画角範囲から外れても問題ではなく、アップ写真なども可能となる。
　まず、予測処理部６が被写体の特定部位を自動で特定する（ステップＳ１２１）。また、フレーミング調整設定部９によってユーザが被写体の特定部位を手動で指定してもよい。次に、撮像装置は、ズーミング優先モードによる動作を開始する（ステップＳ１２２）。
　次に、ユーザによるズーミング操作、ユーザによるフレーミング操作、または特定部位の移動によって特定部位の位置が変化する（ステップＳ１２３）と、予測処理部６は、特定部位が撮影画角から外れそうか否か、または外れたか否かを認識、予測する（ステップＳ１２４）。予測処理部６が特定部位が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合（ステップＳ１２４；Ｎ）には、ステップＳ１２３の処理に戻る。
　予測処理部６によって、特定部位が撮影画角から外れそう、または外れたと認識、予測された場合（ステップＳ１２４；Ｙ）には、フレーミング調整制御部７はフレーミング部３を制御して光軸調整を行い、撮影画角から特定部位が外れない方向（基本的には画面中心方向に特定部位が来る方向）にフレーミング調整を行う（ステップＳ１２５）。
　次に、フレーミング調整制御部７はフレーミング調整の調整限界の範囲内であるか否かを判断する（ステップＳ１２６）。
　フレーミング調整制御部７は、フレーミング調整の調整限界の範囲内ではないと判断した場合（ステップＳ１２６；Ｎ）には、ズーミング優先モードによるフレーミング調整の制御を解除（停止）する（ステップＳ１２９）。
　一方、フレーミング調整の調整限界の範囲内であると判断した場合（ステップＳ１２６；Ｙ）であっても、調整限界が近い場合には、フレーミング調整制御部７は、必要に応じて表示部４２（図２）に、フレーミング調整の調整限界が近づいたことを警告するような表示や、調整限界の度合い、フレーミング調整を緩和するフレーミング方向等を表示させる（ステップＳ１２７）。フレーミング調整制御部７は、例えば、どの方向にユーザがフレーミングをずらせば調整の余裕が生まれるか等を、色やテキスト、画像等で知らせるような表示を表示部４２（図２）に行わせる。また、ユーザによるズーミング操作やユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部７は、必要に応じてレンズアクチュエータ２１（図２）等を制御して、絞りやフォーカスなどを自動で調整（ステップＳ１２８）し、ステップＳ１２３の処理に戻る。
　図８は、第１の実施の形態に係る撮像装置によって、特定部位、かつ指定領域に対してズーミング優先モードによるフレーミング調整を行う場合の動作フローの一例を示している。この動作フローでは、フレーミング調整制御部７は、特定部位を撮影画角範囲内に維持するのではなく、特定部位を、フレーミング調整設定部９によってあらかじめ設定された指定領域に維持するようなフレーミング調整を行う。この動作フローでは、より精密な構図を維持することができる。
　まず、予測処理部６が被写体の特定部位を自動で特定する（ステップＳ１３１）。また、フレーミング調整設定部９によってユーザが被写体の特定部位を手動で指定してもよい。次に、撮像装置は、ズーミング優先モードによる動作を開始する（ステップＳ１３２）。
　次に、ユーザによるズーミング操作、ユーザによるフレーミング操作、または特定部位の移動によって特定部位の位置が変化する（ステップＳ１３３）と、予測処理部６は、特定部位が指定領域から外れそうか否か、または外れたか否かを認識、予測する（ステップＳ１３４）。予測処理部６が特定部位が指定領域から外れそうではない、または外れてはいないと認識、予測する場合（ステップＳ１３４；Ｎ）には、ステップＳ１３３の処理に戻る。
　予測処理部６によって、特定部位が指定領域から外れそう、または外れたと認識、予測された場合（ステップＳ１３４；Ｙ）には、フレーミング調整制御部７はフレーミング部３を制御して光軸調整を行い、指定領域から特定部位が外れない方向（基本的には画面中心方向に特定部位が来る方向）にフレーミング調整を行う（ステップＳ１３５）。
　次に、フレーミング調整制御部７はフレーミング調整の調整限界の範囲内であるか否かを判断する（ステップＳ１３６）。
　フレーミング調整制御部７は、フレーミング調整の調整限界の範囲内ではないと判断した場合（ステップＳ１３６；Ｎ）には、ズーミング優先モードによるフレーミング調整の制御を解除（停止）する（ステップＳ１３９）。
　一方、フレーミング調整の調整限界の範囲内であると判断した場合（ステップＳ１３６；Ｙ）であっても、調整限界が近い場合には、フレーミング調整制御部７は、必要に応じて表示部４２（図２）に、フレーミング調整の調整限界が近づいたことを警告するような表示や、調整限界の度合い、フレーミング調整を緩和するフレーミング方向等を表示させる（ステップＳ１３７）。フレーミング調整制御部７は、例えば、どの方向にユーザがフレーミングをずらせば調整の余裕が生まれるか等を、色やテキスト、画像等で知らせるような表示を表示部４２（図２）に行わせる。また、ユーザによるズーミング操作やユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部７は、必要に応じてレンズアクチュエータ２１（図２）等を制御して、絞りやフォーカスなどを自動で調整（ステップＳ１３８）し、ステップＳ１３３の処理に戻る。
（フレーミング優先モードの動作例）
　図９は、第１の実施の形態に係る撮像装置によって、フレーミング優先モードによるフレーミング調整を行う場合の基本的な動作フローの一例を示している。
　まず、予測処理部６が被写体を自動で特定する（ステップＳ２０１）。また、フレーミング調整設定部９によってユーザが被写体を手動で指定してもよい。次に、撮像装置は、フレーミング優先モードによる動作を開始する（ステップＳ２０２）。
　次に、ユーザによるフレーミング操作、または被写体の移動によって被写体の位置が変化する（ステップＳ２０３）と、予測処理部６は、被写体が撮影画角から外れそうか否か、または外れたか否かを認識、予測する（ステップＳ２０４）。なお、被写体が複数の場合は、被写体同士が近づいたり離れたりすることがある。予測処理部６が被写体が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合（ステップＳ２０４；Ｎ）には、ステップＳ２０３の処理に戻る。
　予測処理部６によって、被写体が撮影画角から外れそう、または外れたと認識、予測された場合（ステップＳ２０４；Ｙ）には、フレーミング調整制御部７はズーム部２を制御してレンズ駆動によってズームアウトを行い、撮影画角から被写体が外れないようにズーム位置を調整することによって、フレーミング調整を行う（ステップＳ２０５）。
　次に、フレーミング調整制御部７はフレーミング調整の調整限界の範囲内であるか否かを判断する（ステップＳ２０６）。
　フレーミング調整制御部７は、フレーミング調整の調整限界の範囲内であると判断した場合（ステップＳ２０６；Ｙ）には、ステップＳ２０３の処理に戻る。一方、フレーミング調整の調整限界の範囲内ではないと判断した場合（ステップＳ２０６；Ｎ）には、ユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部７は、必要に応じてレンズアクチュエータ２１（図２）等を制御して、絞りやフォーカスなどを自動で調整（ステップＳ２０７）した後、フレーミング優先モードによるフレーミング調整の制御を解除（停止）する（ステップＳ２０８）。
　図１０は、第１の実施の形態に係る撮像装置によって、フレーミング優先モードによるフレーミング調整を、指定ズーム位置を維持しつつ行う場合の動作フローの一例を示している。この動作フローでは、フレーミング調整設定部９によってあらかじめ指定ズーム位置を指定するか、所定の指定ズーム位置をあらかじめ記憶しておく。フレーミング調整制御部７は、被写体が撮影画角範囲から外れない限りは、そのズーム位置を可能な限り維持するが、画角から外れそうになりズームアウトした後も、再度、撮影画角範囲に余裕ができればズームインし、元の指定ズーム位置の維持に努める制御を行う。
　まず、予測処理部６が被写体を自動で特定する（ステップＳ２２１）。また、フレーミング調整設定部９によってユーザが被写体を手動で指定してもよい。また、フレーミング調整設定部９によってあらかじめ指定ズーム位置を指定するか、所定の指定ズーム位置をあらかじめ記憶しておく。次に、撮像装置は、フレーミング優先モードによる動作を開始する（ステップＳ２２２）。
　次に、ユーザによるフレーミング操作、または被写体の移動によって被写体の位置が変化する（ステップＳ２２３）と、予測処理部６は、被写体が撮影画角から外れそうか否か、または外れたか否かを認識、予測する（ステップＳ２２４）。なお、被写体が複数の場合は、被写体同士が近づいたり離れたりすることがある。
　予測処理部６が被写体が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合（ステップＳ２２４；Ｎ）には、次に、フレーミング調整制御部７は、指定ズーム位置にあっていないか否かを判断する（ステップＳ２２９）。フレーミング調整制御部７は、指定ズーム位置にあっていると判断した場合（ステップＳ２２９；Ｎ）には、ステップＳ２２３の処理に戻る。一方、指定ズーム位置にあっていないと判断した場合（ステップＳ２２９；Ｙ）には、フレーミング調整制御部７はズーム部２を制御してレンズ駆動によってズームイン、またはズームアウトを行い、指定ズーム位置となるようにズーム位置を調整（ステップＳ２３０）した後、ステップＳ２２３の処理に戻る。
　また、予測処理部６によって、被写体が撮影画角から外れそう、または外れたと認識、予測された場合（ステップＳ２２４；Ｙ）には、フレーミング調整制御部７はズーム部２を制御してレンズ駆動によってズームアウトを行い、撮影画角から被写体が外れないようにズーム位置を調整することによって、フレーミング調整を行う（ステップＳ２２５）。
　次に、フレーミング調整制御部７はフレーミング調整の調整限界の範囲内であるか否かを判断する（ステップＳ２２６）。
　フレーミング調整制御部７は、フレーミング調整の調整限界の範囲内であると判断した場合（ステップＳ２２６；Ｙ）には、ステップＳ２２３の処理に戻る。一方、フレーミング調整の調整限界の範囲内ではないと判断した場合（ステップＳ２２６；Ｎ）には、ユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部７は、必要に応じてレンズアクチュエータ２１（図２）等を制御して、絞りやフォーカスなどを自動で調整（ステップＳ２２７）した後、フレーミング優先モードによるフレーミング調整の制御を解除（停止）する（ステップＳ２２８）。
　図１１は、第１の実施の形態に係る撮像装置によって、特定部位に対してフレーミング優先モードによるフレーミング調整を、指定ズーム位置を維持しつつ行う場合の動作フローの一例を示している。この動作フローでは、フレーミング調整設定部９は、被写体全体ではなく、目や顔などの特定部位（物体）を撮影画角範囲内に納め続けるようなフレーミング調整を行う。
　まず、予測処理部６が被写体の特定部位を自動で特定する（ステップＳ２３１）。また、フレーミング調整設定部９によってユーザが被写体の特定部位を手動で指定してもよい。また、フレーミング調整設定部９によってあらかじめ指定ズーム位置を指定するか、所定の指定ズーム位置をあらかじめ記憶しておく。次に、撮像装置は、フレーミング優先モードによる動作を開始する（ステップＳ２３２）。
　次に、ユーザによるフレーミング操作、または特定部位の移動によって特定部位の位置が変化する（ステップＳ２３３）と、予測処理部６は、特定部位が撮影画角から外れそうか否か、または外れたか否かを認識、予測する（ステップＳ２３４）。なお、特定部位が複数の場合は、特定部位同士が近づいたり離れたりすることがある。
　予測処理部６が特定部位が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合（ステップＳ２３４；Ｎ）には、次に、フレーミング調整制御部７は、指定ズーム位置にあっていないか否かを判断する（ステップＳ２３９）。フレーミング調整制御部７は、指定ズーム位置にあっていると判断した場合（ステップＳ２３９；Ｎ）には、ステップＳ２３３の処理に戻る。一方、指定ズーム位置にあっていないと判断した場合（ステップＳ２３９；Ｙ）には、フレーミング調整制御部７はズーム部２を制御してレンズ駆動によってズームイン、またはズームアウトを行い、指定ズーム位置となるようにズーム位置を調整（ステップＳ２４０）した後、ステップＳ２３３の処理に戻る。
　また、予測処理部６によって、特定部位が撮影画角から外れそう、または外れたと認識、予測された場合（ステップＳ２３４；Ｙ）には、フレーミング調整制御部７はズーム部２を制御してレンズ駆動によってズームアウトを行い、撮影画角から特定部位が外れないようにズーム位置を調整することによって、フレーミング調整を行う（ステップＳ２３５）。
　次に、フレーミング調整制御部７はフレーミング調整の調整限界の範囲内であるか否かを判断する（ステップＳ２３６）。
　フレーミング調整制御部７は、フレーミング調整の調整限界の範囲内であると判断した場合（ステップＳ２３６；Ｙ）には、ステップＳ２３３の処理に戻る。一方、フレーミング調整の調整限界の範囲内ではないと判断した場合（ステップＳ２３６；Ｎ）には、ユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部７は、必要に応じてレンズアクチュエータ２１（図２）等を制御して、絞りやフォーカスなどを自動で調整（ステップＳ２３７）した後、フレーミング優先モードによるフレーミング調整の制御を解除（停止）する（ステップＳ２３８）。
［１．３　効果および変形例］
　以上説明したように、第１の実施の形態に係る撮像装置、および撮像制御方法によれば、フレーミング調整を容易に行うことが可能となる。
　第１の実施の形態に係る撮像装置、および撮像制御方法では、フレーミング調整の動作中に、自動でシャッタを切るような動作を追加することも可能である。例えば、ズーミング優先モードによる動作中に、被写体が撮影画角から外れそうとなったタイミングで自動でシャッタを切るような動作を行うようにしてもよい。
　また、第１の実施の形態に係る撮像装置、および撮像制御方法では、フレーミング調整の動作中に、動画編集時の利便性向上のために、被写体が撮影画角範囲内に入った後、出ていく瞬間に画像データ中にトリミングフラグを立てるようなことも可能である。
　また、第１の実施の形態に係る撮像装置、および撮像制御方法では、あらかじめ登録されたテンプレートの構図に合わせるようなフレーミング調整を行うことも可能である。この場合、テンプレートの構図を複数、用意しておき、ユーザがカメラ本体１００の操作ボタン等から任意のテンプレートを選択可能にしてもよい。
　また、第１の実施の形態に係る撮像装置、および撮像制御方法における、フレーミング優先モードによるフレーミング調整の技術を、動画撮影時のドリーズームの自動化に使うようにしてもよい。ドリーズームとは、被写体のサイズは一定としながらも、背景の遠近感だけを変化させるという撮影手法である。
　従来は構図を行う上で、ユーザがズーミングとフレーミングとを同時に制御する必要があった。しかしながら、被写体の動きが早い、または予測が難しい動きをしている場合には画角が安定せず、場合によってはフレームアウトを起こしてしまうことがある。第１の実施の形態に係る撮像装置、および撮像制御方法によれば、ズーミングとフレーミングとの一方をユーザが行い、他方を撮像装置側が自動制御することで人間の構図決定の意図を反映しつつ、負担を軽減することができる。この際、撮像装置側でのズーミングとフレーミングとの自動制御には物体認識や物体追尾技術を用いることで、単なる手振れ補正ではなく、構図としての安定化を実現することができる。
　第１の実施の形態に係る撮像装置、および撮像制御方法によれば、静止画では撮影機会の増大につながり、動画撮影においては画角の安定化を実現することで、撮影者の負担を低減すると共に写真または映像の質的向上に寄与することができる。
　第１の実施の形態に係る撮像装置、および撮像制御方法によれば、フレーミング調整の対象を被写体全体ではなく特定部位（目・顔など）にすることで、注目位置を撮影画角範囲内に納め続けることができる。この場合、被写体サイズを超えるズーミングをユーザが行っても、フレーミング調整の動作はし続ける。例えば、目をフレーミング調整の対象にすることで、バストアップや顔のアップなどにも適用可能となる。動物の目などでもその恩恵は大きい。また、フレーミング調整による光軸維持範囲を画角全体ではなく、画角内の指定領域にすることで、さらに構図として安定した写真や動画を得ることができる。指定領域を限りなく狭くした場合、フレーミング調整の対象を画面から動かすことなくズーミングまたはフレーミングが可能となる。例えば動物の目をフレーミング調整の対象としてズーミング優先モードでズーミングした場合、光軸の調整範囲内であれば、動物の目が画角の１点で動くことなくズームする連写画像や動画を撮影することが簡単にできるようになる。これはズーミング優先モードだけでなく、フレーミング優先モードでも同様にメリットが大きい。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施の形態に係る撮像装置、および撮像制御方法について説明する。なお、以下では、上記第１の実施の形態に係る撮像装置、および撮像制御方法の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　本開示の第２の実施の形態に係る撮像装置の基本的な構成は、図１および図２に示した構成と略同様であってもよい。
　第２の実施の形態に係る撮像装置において、フレーミング調整設定部９は例えば、モードダイヤルや本体操作ボタン等を含んでいてもよい。
　第２の実施の形態に係る撮像装置において、フレーミング調整設定部９は、フレーミング調整制御部７による被写体の動きに応じた制御であるフレーミング調整を、フレーミング部３およびズーム部２のうちいずれを制御して行うかを設定する第１の設定部を含んでいてもよい。また、フレーミング調整設定部９は、フレーミング調整制御部７によるフレーミング調整を行うか否かを設定する第２の設定部を含んでいてもよい。
　第２の実施の形態に係る撮像装置では、ズーミング優先モードとフレーミング優先モードとを自動的に切り替え可能である。例えばユーザがズーム操作部４（図１）またはレンズＩＦ２３（図２）におけるズームリングを動かす、またはズーム操作部４（図１）またはレンズＩＦ２３（図２）における特定のボタンを押している間は自動でズーミング優先モードとし、他の場合はフレーミング優先モードとするようなことも可能である。
　図１２は、第２の実施の形態に係る撮像装置によって、フレーミング調整のＯＮ／ＯＦＦ切替とフレーミング調整の動作モードの選択とを自動で行う場合の動作フローの一例を示している。
　第２の実施の形態に係る撮像装置では、フレーミング調整設定部９（図１）やトリガーＩＦ４１（図２）に設けられたモードダイヤルまたはメニューによって、「ズーミング優先」設定、「フレーミング優先」設定、「ズーミング優先／フレーミング優先自動切替」設定、「フレーミング調整　ＯＮ／ＯＦＦ」設定の各設定を選択することができる。
　「ズーミング優先」設定、「フレーミング優先」設定、「ズーミング優先／フレーミング優先自動切替」設定を選択していても、他のインタフェースによって独立にフレーミング調整の機能自体をＯＮ／ＯＦＦすることができる。例として、「フレーミング調整　ＯＮ／ＯＦＦ」設定のインタフェースとしてレンズＩＦ２３（図２）またはトリガーＩＦ４１（図２）におけるボタンによってＯＮ／ＯＦＦを瞬時に切り替えることが挙げられる。また、シャッタボタンを半押ししている間はフレーミング調整がＯＮとなり、半押しを解除するとＯＦＦにすることなども考えられる。
　「ズーミング優先／フレーミング優先自動切替」設定では、ユーザの動作によって「ズーミング優先」設定と「フレーミング優先」設定とが自動で切り替わり、モードダイヤルやメニューボタンによる操作を必要としない。例としては「ズームリングを動作中はズーミング優先モード、離して一定時間が経過するとフレーミング優先モード」とすることや、「ズームリングに指が接触しているときはズーミング優先モード、接触していないときはフレーミング優先モード」とすることなどが挙げられる。
　「フレーミング優先」設定時にはフレーミング調整制御部７によるズーム部２の制御によって、ズームイン、ズームアウトが自動で動作する。それによってズームリングが動作するとユーザの使用感が落ちるため、フレーミング優先時にはズーム動作のフィードバックをズームレンズには行わないこともできる。
　以下、図１２の動作フローを例に説明する。まず、予測処理部６が被写体を自動で特定する（ステップＳ３０１）。また、フレーミング調整設定部９によってユーザが被写体を手動で指定してもよい。
　次に、フレーミング調整制御部７は、「ズーミング優先」の設定がなされているか否かを判断する（ステップＳ３０２）。フレーミング調整制御部７は、「ズーミング優先」の設定がなされていると判断した場合（ステップＳ３０２；Ｙ）には、次に、「フレーミング調整　ＯＮ／ＯＦＦ」の現在設定がＯＮであるか否かを判断する（ステップＳ３０６）。フレーミング調整制御部７は、「フレーミング調整　ＯＮ／ＯＦＦ」の現在設定がＯＮではないと判断した場合（ステップＳ３０６；Ｎ）には、ズーミング優先モードを解除（停止）する（ステップＳ３０８）。また、フレーミング調整制御部７は、「フレーミング調整　ＯＮ／ＯＦＦ」の現在設定がＯＮであると判断した場合（ステップＳ３０６；Ｙ）には、ズーミング優先モードによる動作を開始する（ステップＳ３０９）。
　一方、「ズーミング優先」の設定がなされていないと判断した場合（ステップＳ３０２；Ｎ）には、フレーミング調整制御部７は、次に、「フレーミング優先」の設定がなされているか否かを判断する（ステップＳ３０３）。フレーミング調整制御部７は、「フレーミング」の設定がなされていると判断した場合（ステップＳ３０３；Ｙ）には、次に、「フレーミング調整　ＯＮ／ＯＦＦ」の現在設定がＯＮであるか否かを判断する（ステップＳ３０７）。フレーミング調整制御部７は、「フレーミング調整　ＯＮ／ＯＦＦ」の現在設定がＯＮではないと判断した場合（ステップＳ３０７；Ｎ）には、ズーミング優先モードを解除（停止）する（ステップＳ３０８）。また、フレーミング調整制御部７は、「フレーミング調整　ＯＮ／ＯＦＦ」の現在設定がＯＮであると判断した場合（ステップＳ３０７；Ｙ）には、フレーミング優先モードによる動作を開始する（ステップＳ３１０）。
　また、「フレーミング優先」の設定がなされていないと判断した場合（ステップＳ３０３；Ｎ）には、フレーミング調整制御部７は、次に、「ズーミング優先／フレーミング優先自動切替」の設定がなされているか否かを判断する（ステップＳ３０４）。フレーミング調整制御部７は、「ズーミング優先／フレーミング優先自動切替」の設定がなされていないと判断した場合（ステップＳ３０４；Ｎ）には、ズーミング優先モードを解除（停止）する（ステップＳ３０８）。また、フレーミング調整制御部７は、「ズーミング優先／フレーミング優先自動切替」の設定がなされていると判断した場合（ステップＳ３０４；Ｙ）には、次に、ズームリングが動作中か、またはズームリングに指が接触しているか否かを判断する（ステップＳ３０５）。フレーミング調整制御部７は、ズームリングが動作中か、またはズームリングに指が接触していると判断した場合（ステップＳ３０５；Ｙ）には、上記ステップＳ３０６の処理に進む。また、フレーミング調整制御部７は、ズームリングが動作中か、またはズームリングに指が接触していないと判断した場合（ステップＳ３０５；Ｎ）には、上記ステップＳ３０７の処理に進む。
　その他の構成、動作および効果は、上記第１の実施の形態に係る撮像装置、および撮像制御方法と略同様であってもよい。
＜３．第３の実施の形態＞
　次に、本開示の第３の実施の形態に係る撮像装置、および撮像制御方法について説明する。なお、以下では、上記第１または第２の実施の形態に係る撮像装置、および撮像制御方法の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　本開示の第３の実施の形態に係る撮像装置の基本的な構成は、図１および図２に示した構成と略同様であってもよい。
　第３の実施の形態に係る撮像装置において、フレーミング調整制御部７は、予測処理部６によって被写体が所定の撮影範囲から外れると予測された場合において、ズーム部２がユーザ操作により操作されている場合にはフレーミング部３を制御して被写体が所定の撮影範囲から外れないようにフレーミング調整を行い、かつ、ユーザ操作によるズームイン操作を無効化するようにしてもよい。
　図１３は、第３の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行いつつ、特定の場合にズームイン操作を無効化する場合の基本的な動作フローの一例を示している。
　図１３の動作フローは、図６の動作フローに対して、ステップＳ１１０とステップＳ１１１とが追加されている。以下、図６の動作フローとは異なる部分について説明する。
　予測処理部６によって、被写体が撮影画角から外れそう、または外れたと認識、予測された場合（ステップＳ１０４；Ｙ）には、フレーミング調整制御部７は、次に、ユーザによるズームイン操作を無効化（ズームアウト操作は有効のまま）（ステップＳ１１０）した後、ステップＳ１０５の処理に進む。ズームイン操作の無効化としては、例えばズームリングや操作ボタンを無効化する。
　一方、予測処理部６によって、被写体が撮影画角から外れそうではない、または外れてはいないと認識、予測された場合（ステップＳ１０４；Ｎ）には、フレーミング調整制御部７は、次に、ズームインが無効化されていればズームイン操作を有効化（ステップＳ１１１）した後、ステップＳ１０３の処理に進む。
　その他の構成、動作および効果は、上記第１または第２の実施の形態に係る撮像装置、および撮像制御方法と略同様であってもよい。
＜４．第４の実施の形態＞
　次に、本開示の第４の実施の形態に係る撮像装置、および撮像制御方法について説明する。なお、以下では、上記第１ないし第３のいずれかの実施の形態に係る撮像装置、および撮像制御方法の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　本開示の第４の実施の形態に係る撮像装置の基本的な構成は、図１および図２に示した構成と略同様であってもよい。
　第４の実施の形態に係る撮像装置において、予測処理部６は、被写体全体または被写体の特定部位が所定の撮影範囲に占める割合に応じて、所定の撮影範囲から外れるか否かを予測する対象の大きさを変更するようにしてもよい。
　予測処理部６は、被写体全体または被写体の特定部位が所定の撮影範囲に占める割合が十分に小さいと判断される場合には、所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも大きい対象に変更するようにしてもよい。また、予測処理部６は、被写体の特定部位が所定の撮影範囲内に納まらないと判断される場合には、所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも小さい対象に変更するようにしてもよい。
　図１４は、第４の実施の形態に係る撮像装置によって、ズーミング優先モードによるフレーミング調整を行いつつ、フレーミング調整の対象となる特定部位の段階的切替を行う場合の動作フローの一例を示している。フレーミング調整の対象となる特定部位が、大きい順に、「被写体全体」、「顔」、「目」となる場合を例に説明する。なお、フレーミング調整の対象となる特定部位は、フレーミング調整設定部９などから任意に設定可能である。
　まず、予測処理部６が被写体の特定部位を自動で特定する（ステップＳ４０１）。また、フレーミング調整設定部９によってユーザが被写体の特定部位を手動で指定してもよい。次に、撮像装置は、ズーミング優先モードによる動作を開始する（ステップＳ４０２）。
　次に、ユーザによるズーミング操作、ユーザによるフレーミング操作、または特定部位の移動によって特定部位の位置が変化する（ステップＳ４０３）と、次に、予測処理部６は、特定部位が撮影画角に対して十分に小さいか否かを判断する（ステップＳ４０４）。予測処理部６は、特定部位が撮影画角に対して十分に小さいと判断した場合（ステップＳ４０４；Ｙ）には、特定部位の変更（例えば特定部位が「目」であれば「顔」に、「顔」であれば「被写体全体」に変更）（ステップＳ４０５）を行った後、ステップＳ４０３の処理に戻る。
　一方、予測処理部６は、特定部位が撮影画角に対して十分に小さくはないと判断した場合（ステップＳ４０４；Ｎ）には、次に、特定部位が撮影画角内に納まり切らなくなりそうか否かを判断する（ステップＳ４０６）。予測処理部６は、特定部位が撮影画角内に納まり切らなくなりそうであると判断した場合（ステップＳ４０６；Ｙ）には、特定部位の変更（例えば特定部位が「被写体全体」であれば「顔」に、「顔」であれば「目」に変更）（ステップＳ４０７）を行った後、ステップＳ４０３の処理に戻る。
　予測処理部６は、特定部位が撮影画角内に納まり切らなくなりそうではないと判断した場合（ステップＳ４０６；Ｎ）には、次に、特定部位が撮影画角から外れそうか否か、または外れたか否かを認識、予測する（ステップＳ４０８）。予測処理部６が特定部位が撮影画角から外れそうではない、または外れてはいないと認識、予測する場合（ステップＳ４０８；Ｎ）には、ステップＳ４２３の処理に戻る。
　予測処理部６によって、特定部位が撮影画角から外れそう、または外れたと認識、予測された場合（ステップＳ４０８；Ｙ）には、フレーミング調整制御部７はフレーミング部３を制御して光軸調整を行い、撮影画角から特定部位が外れない方向（基本的には画面中心方向に特定部位が来る方向）にフレーミング調整を行う（ステップＳ４０９）。
　次に、フレーミング調整制御部７はフレーミング調整の調整限界の範囲内であるか否かを判断する（ステップＳ４１０）。
　フレーミング調整制御部７は、フレーミング調整の調整限界の範囲内ではないと判断した場合（ステップＳ４１０；Ｎ）には、ズーミング優先モードによるフレーミング調整の制御を解除（停止）する（ステップＳ４１３）。
　一方、フレーミング調整の調整限界の範囲内であると判断した場合（ステップＳ４１０；Ｙ）であっても、調整限界が近い場合には、フレーミング調整制御部７は、必要に応じて表示部４２（図２）に、フレーミング調整の調整限界が近づいたことを警告するような表示や、調整限界の度合い、フレーミング調整を緩和するフレーミング方向等を表示させる（ステップＳ４１１）。フレーミング調整制御部７は、例えば、どの方向にユーザがフレーミングをずらせば調整の余裕が生まれるか等を、色やテキスト、画像等で知らせるような表示を表示部４２（図２）に行わせる。また、ユーザによるズーミング操作やユーザによるフレーミング操作によって、明るさやフォーカスなどが変化することがあるので、フレーミング調整制御部７は、必要に応じてレンズアクチュエータ２１（図２）等を制御して、絞りやフォーカスなどを自動で調整（ステップＳ４１２）し、ステップＳ４０３の処理に戻る。
　その他の構成、動作および効果は、上記第１ないし第３のいずれかの実施の形態に係る撮像装置、および撮像制御方法と略同様であってもよい。
＜５．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、フレーミング調整を容易に行うことが可能となる。
（１）
　撮像部と、
　ズーム部と、
　フレーミング部と、
　前記ズーム部および前記フレーミング部のうちの一方がユーザ操作により操作される場合は、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、被写体の動きに応じて制御する制御部と
　を備える
　撮像装置。
（２）
　前記フレーミング部は、前記ズーム部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
　上記（１）に記載の撮像装置。
（３）
　前記ズーム部は、前記フレーミング部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
　上記（１）または（２）に記載の撮像装置。
（４）
　前記フレーミング部は、前記ズーム部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行い、
　前記ズーム部は、前記フレーミング部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
　上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（５）
　前記被写体の動きに基づいて、前記被写体が所定の撮影範囲から外れるか否かを予測する予測処理部、をさらに備える
　上記（１）ないし（４）のいずれか１つに記載の撮像装置。
（６）
　前記制御部は、前記被写体が所定の撮影範囲から外れないように、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、前記被写体の動きに応じて制御する
　上記（１）ないし（５）のいずれか１つに記載の撮像装置。
（７）
　レンズ部をさらに備え、
　前記ズーム部は、前記レンズ部を駆動して光学的なズーミングを行うレンズ駆動部と、撮像信号に基づいて電子的なズーミングを行う画像処理部との少なくとも１つを含む
　上記（１）ないし（６）のいずれか１つに記載の撮像装置。
（８）
　レンズ部をさらに備え、
　前記フレーミング部は、前記撮像部および前記レンズ部のうち少なくとも一方を駆動して手振れ補正を行う手振れ補正部と、撮像装置全体の姿勢を調整可能な姿勢調整機構との少なくとも１つを含む
　上記（１）ないし（７）のいずれか１つに記載の撮像装置。
（９）
　前記ズーム部または前記フレーミング部による前記被写体の動きに応じたフレーミング調整の調整限界が近づいたことを警告する表示部、をさらに備える
　上記（１）ないし（８）のいずれか１つに記載の撮像装置。
（１０）
　レンズ部と、
　前記レンズ部を駆動することによって前記ズーム部の前記ユーザ操作を可能にするズームリングと、前記レンズ部に設けられた操作ボタンとの少なくとも１つを含むズーム操作部と
　をさらに備える
　上記（１）ないし（９）のいずれか１つに記載の撮像装置。
（１１）
　シャッタボタン、をさらに備え、
　前記制御部は、前記シャッタボタンが半押しされた場合に前記被写体の動きに応じた制御を行う
　上記（１）ないし（１０）のいずれか１つに記載の撮像装置。
（１２）
　前記制御部は、前記フレーミング部が前記ユーザ操作により操作される場合において、前記被写体が所定の撮影範囲から外れないと予測される場合には、前記ズーム部を制御して所定のズーム位置を維持する制御を行う
　上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１３）
　前記制御部による前記被写体の動きに応じた制御を、前記フレーミング部および前記ズーム部のうちいずれを制御して行うかを設定する第１の設定部、をさらに備える
　上記（１）ないし（１２）のいずれか１つに記載の撮像装置。
（１４）
　前記制御部による前記被写体の動きに応じた制御を行うか否かを設定する第２の設定部、をさらに備える
　上記（１）ないし（１３）のいずれか１つに記載の撮像装置。
（１５）
　前記制御部は、前記被写体が所定の撮影範囲から外れると予測された場合において、前記ズーム部が前記ユーザ操作により操作されている場合には前記フレーミング部を制御して前記被写体が前記所定の撮影範囲から外れないようにフレーミング調整を行い、かつ、前記ユーザ操作によるズームイン操作を無効化する
　上記（１）ないし（１４）のいずれか１つに記載の撮像装置。
（１６）
　前記予測処理部は、前記被写体が前記所定の撮影範囲に占める割合に応じて、前記所定の撮影範囲から外れるか否かを予測する対象の大きさを変更する
　上記（５）に記載の撮像装置。
（１７）
　前記予測処理部は、
　前記被写体全体または前記被写体の特定部位が前記所定の撮影範囲に占める割合が十分に小さいと判断される場合には、前記所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも大きい対象に変更し、
　前記被写体の特定部位が前記所定の撮影範囲内に納まらないと判断される場合には、前記所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも小さい対象に変更する
　上記（１６）に記載の撮像装置。
（１８）
　撮像部、ズーム部、およびフレーミング部を備える撮像装置において、前記ズーム部および前記フレーミング部のうちの一方がユーザ操作により操作される場合は、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、被写体の動きに応じて制御する
　撮像制御方法。
　本出願は、日本国特許庁において２０１９年６月４日に出願された日本特許出願番号第２０１９－１０４６１３号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (18)

  1. 　撮像部と、
    　ズーム部と、
    　フレーミング部と、
    　前記ズーム部および前記フレーミング部のうちの一方がユーザ操作により操作される場合は、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、被写体の動きに応じて制御する制御部と
    　を備える
    　撮像装置。
  2. 　前記フレーミング部は、前記ズーム部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
    　請求項１に記載の撮像装置。
  3. 　前記ズーム部は、前記フレーミング部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
    　請求項１に記載の撮像装置。
  4. 　前記フレーミング部は、前記ズーム部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行い、
    　前記ズーム部は、前記フレーミング部が前記ユーザ操作により操作される場合に、前記被写体の動きに応じた処理を行う
    　請求項１に記載の撮像装置。
  5. 　前記被写体の動きに基づいて、前記被写体が所定の撮影範囲から外れるか否かを予測する予測処理部、をさらに備える
    　請求項１に記載の撮像装置。
  6. 　前記制御部は、前記被写体が所定の撮影範囲から外れないように、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、前記被写体の動きに応じて制御する
    　請求項１に記載の撮像装置。
  7. 　レンズ部をさらに備え、
    　前記ズーム部は、前記レンズ部を駆動して光学的なズーミングを行うレンズ駆動部と、撮像信号に基づいて電子的なズーミングを行う画像処理部との少なくとも１つを含む
    　請求項１に記載の撮像装置。
  8. 　レンズ部をさらに備え、
    　前記フレーミング部は、前記撮像部および前記レンズ部のうち少なくとも一方を駆動して手振れ補正を行う手振れ補正部と、撮像装置全体の姿勢を調整可能な姿勢調整機構との少なくとも１つを含む
    　請求項１に記載の撮像装置。
  9. 　前記ズーム部または前記フレーミング部による前記被写体の動きに応じたフレーミング調整の調整限界が近づいたことを警告する表示部、をさらに備える
    　請求項１に記載の撮像装置。
  10. 　レンズ部と、
    　前記レンズ部を駆動することによって前記ズーム部の前記ユーザ操作を可能にするズームリングと、前記レンズ部に設けられた操作ボタンとの少なくとも１つを含むズーム操作部と
    　をさらに備える
    　請求項１に記載の撮像装置。
  11. 　シャッタボタン、をさらに備え、
    　前記制御部は、前記シャッタボタンが半押しされた場合に前記被写体の動きに応じた制御を行う
    　請求項１に記載の撮像装置。
  12. 　前記制御部は、前記フレーミング部が前記ユーザ操作により操作される場合において、前記被写体が所定の撮影範囲から外れないと予測される場合には、前記ズーム部を制御して所定のズーム位置を維持する制御を行う
    　請求項１に記載の撮像装置。
  13. 　前記制御部による前記被写体の動きに応じた制御を、前記フレーミング部および前記ズーム部のうちいずれを制御して行うかを設定する第１の設定部、をさらに備える
    　請求項１に記載の撮像装置。
  14. 　前記制御部による前記被写体の動きに応じた制御を行うか否かを設定する第２の設定部、をさらに備える
    　請求項１に記載の撮像装置。
  15. 　前記制御部は、前記被写体が所定の撮影範囲から外れると予測された場合において、前記ズーム部が前記ユーザ操作により操作されている場合には前記フレーミング部を制御して前記被写体が前記所定の撮影範囲から外れないようにフレーミング調整を行い、かつ、前記ユーザ操作によるズームイン操作を無効化する
    　請求項１に記載の撮像装置。
  16. 　前記予測処理部は、前記被写体が前記所定の撮影範囲に占める割合に応じて、前記所定の撮影範囲から外れるか否かを予測する対象の大きさを変更する
    　請求項５に記載の撮像装置。
  17. 　前記予測処理部は、
    　前記被写体全体または前記被写体の特定部位が前記所定の撮影範囲に占める割合が十分に小さいと判断される場合には、前記所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも大きい対象に変更し、
    　前記被写体の特定部位が前記所定の撮影範囲内に納まらないと判断される場合には、前記所定の撮影範囲から外れるか否かを予測する対象を、現在予測している対象よりも小さい対象に変更する
    　請求項１６に記載の撮像装置。
  18. 　撮像部、ズーム部、およびフレーミング部を備える撮像装置において、前記ズーム部および前記フレーミング部のうちの一方がユーザ操作により操作される場合は、前記ズーム部および前記フレーミング部のうち前記ユーザ操作により操作されていない方を、被写体の動きに応じて制御する
    　撮像制御方法。
PCT/JP2020/020762 2019-06-04 2020-05-26 撮像装置、および撮像制御方法 WO2020246317A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20817615.6A EP3982623A4 (en) 2019-06-04 2020-05-26 IMAGE FORMING DEVICE AND IMAGE FORMING CONTROL METHOD
US17/613,786 US20220232160A1 (en) 2019-06-04 2020-05-26 Imaging apparatus and imaging control method
CN202080039141.8A CN113875225A (zh) 2019-06-04 2020-05-26 成像设备和成像控制方法
JP2021524780A JPWO2020246317A1 (ja) 2019-06-04 2020-05-26

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019104613 2019-06-04
JP2019-104613 2019-06-04

Publications (1)

Publication Number Publication Date
WO2020246317A1 true WO2020246317A1 (ja) 2020-12-10

Family

ID=73652109

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020762 WO2020246317A1 (ja) 2019-06-04 2020-05-26 撮像装置、および撮像制御方法

Country Status (5)

Country Link
US (1) US20220232160A1 (ja)
EP (1) EP3982623A4 (ja)
JP (1) JPWO2020246317A1 (ja)
CN (1) CN113875225A (ja)
WO (1) WO2020246317A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256836A (ja) * 2001-07-10 2003-09-12 Hewlett Packard Co <Hp> 知的特徴選択およびパンズーム制御
JP2009100301A (ja) 2007-10-17 2009-05-07 Sony Corp 構図判定装置、構図判定方法、プログラム
JP2015043558A (ja) * 2013-07-24 2015-03-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2016048864A (ja) * 2014-08-28 2016-04-07 キヤノン株式会社 撮影システム
JP2019104613A (ja) 2017-12-14 2019-06-27 不二サッシ株式会社 搬送機

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5446546B2 (ja) * 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
JP5538865B2 (ja) * 2009-12-21 2014-07-02 キヤノン株式会社 撮像装置およびその制御方法
JP5950492B2 (ja) * 2010-08-05 2016-07-13 キヤノン株式会社 制御装置および制御方法
US9661232B2 (en) * 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
US9253410B2 (en) * 2013-04-25 2016-02-02 Canon Kabushiki Kaisha Object detection apparatus, control method therefor, image capturing apparatus, and storage medium
JP6429454B2 (ja) * 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP6366395B2 (ja) * 2014-07-16 2018-08-01 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
JP6370140B2 (ja) * 2014-07-16 2018-08-08 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP6327995B2 (ja) * 2014-07-28 2018-05-23 キヤノン株式会社 撮像装置、制御装置及びそれらの制御方法、プログラム、並びに記憶媒体
JP6618255B2 (ja) * 2014-12-24 2019-12-11 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
JP6436760B2 (ja) * 2014-12-24 2018-12-12 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
US10701274B2 (en) * 2014-12-24 2020-06-30 Canon Kabushiki Kaisha Controlling zoom magnification based on image size
JP6512897B2 (ja) * 2015-03-30 2019-05-15 キヤノン株式会社 ズーム制御装置、ズーム制御装置の制御方法
KR102352681B1 (ko) * 2015-07-27 2022-01-18 삼성전자주식회사 동영상 안정화 방법 및 이를 위한 전자 장치
JP6590628B2 (ja) * 2015-10-09 2019-10-16 キヤノン株式会社 撮像装置、その制御方法、およびプログラム、並びに記憶媒体
JP6611585B2 (ja) * 2015-12-15 2019-11-27 キヤノン株式会社 ズーム制御装置およびズーム制御方法、撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256836A (ja) * 2001-07-10 2003-09-12 Hewlett Packard Co <Hp> 知的特徴選択およびパンズーム制御
JP2009100301A (ja) 2007-10-17 2009-05-07 Sony Corp 構図判定装置、構図判定方法、プログラム
JP2015043558A (ja) * 2013-07-24 2015-03-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2016048864A (ja) * 2014-08-28 2016-04-07 キヤノン株式会社 撮影システム
JP2019104613A (ja) 2017-12-14 2019-06-27 不二サッシ株式会社 搬送機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3982623A4

Also Published As

Publication number Publication date
JPWO2020246317A1 (ja) 2020-12-10
EP3982623A4 (en) 2022-07-27
CN113875225A (zh) 2021-12-31
US20220232160A1 (en) 2022-07-21
EP3982623A1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
JP5855862B2 (ja) 撮像装置、撮像方法およびプログラム
US10136068B2 (en) Imaging apparatus
US20110267526A1 (en) Camera
JP2009251658A (ja) 携帯型電子装置及びその制御方法
JP2010124120A (ja) オートフォーカスシステム
US10587809B2 (en) Continuous shooting device, continuous shooting method and continuous shooting control method using preliminary and calculated parameter values
US8792018B2 (en) Image capturing apparatus, image capturing method, and computer-readable recording medium
US8649675B2 (en) Interchangeable lens and camera body
JP2006086586A (ja) 撮像装置、およびフラッシュ同調速度の設定方法
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
JP4941141B2 (ja) 撮像装置
WO2020246317A1 (ja) 撮像装置、および撮像制御方法
JPWO2020158008A1 (ja) 撮像装置
JP5081133B2 (ja) オートフォーカスシステム
US9195027B2 (en) Zoom lens barrel
JP4525333B2 (ja) カメラ装置、表示設定制御プログラム及び表示設定制御方法
JP2003319237A (ja) ディジタルカメラおよびその自動焦点調節方法
JP2016065998A (ja) 撮像装置及び撮像プログラム
JP6270508B2 (ja) 撮像装置および撮像装置の画像表示方法
JP6231768B2 (ja) 撮像装置及びその制御方法
JP2009015184A (ja) 撮像装置
JP2010164637A (ja) Ａｆ枠自動追尾システム
JP6109282B2 (ja) 電子機器、撮像方法およびプログラム
JP6494544B2 (ja) 撮影レンズおよび表示制御プログラム
JP2023178602A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20817615

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021524780

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020817615

Country of ref document: EP

Effective date: 20220104