WO2021053967A1 - 撮影装置、及び撮影方法 - Google Patents

撮影装置、及び撮影方法 Download PDF

Info

Publication number
WO2021053967A1
WO2021053967A1 PCT/JP2020/028240 JP2020028240W WO2021053967A1 WO 2021053967 A1 WO2021053967 A1 WO 2021053967A1 JP 2020028240 W JP2020028240 W JP 2020028240W WO 2021053967 A1 WO2021053967 A1 WO 2021053967A1
Authority
WO
WIPO (PCT)
Prior art keywords
extraction range
image
movement
moving
angle
Prior art date
Application number
PCT/JP2020/028240
Other languages
English (en)
French (fr)
Inventor
和田　哲
田中　康一
幸徳 西山
祐也 西尾
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021546533A priority Critical patent/JP7385667B2/ja
Publication of WO2021053967A1 publication Critical patent/WO2021053967A1/ja
Priority to US17/689,718 priority patent/US11696033B2/en
Priority to US18/317,373 priority patent/US12058444B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to a photographing device for photographing a moving image and a photographing method using the photographing device.
  • a range specified from the shooting angle of view is extracted from the photographing device for photographing a moving image, and the image of the extracted range is recorded.
  • the photographing apparatus described in Patent Documents 1 and 2 has a function of changing the position of the extraction range within the angle of view and the like at a predetermined speed. By using this function, for example, it is possible to track a subject in an image or slide the angle of a recorded image in a certain direction without manually moving the photographing device during shooting.
  • An object of the present invention is to solve the following object.
  • An object of the present invention is to solve the above-mentioned problems of the prior art and to provide a photographing device and a photographing method that make it easier to record an image within the extraction range while moving the extraction range within the angle of view. To do.
  • the photographing apparatus of the present invention includes an image sensor that captures a reference image that is a moving image, a housing that houses the image sensor, and a detector for detecting the movement of the housing. , And a processor, the processor sets an extraction range smaller than the angle of view within the angle of view when shooting the reference image, and extracts the extracted image within the extraction range from the reference image.
  • a movement process that moves the extraction range at the angle of view over time according to the movement detected by the detector, and a recording process that records the extracted video while the extraction range is moving by the movement process on a recording medium.
  • it is characterized by executing. According to the photographing apparatus of the present invention described above, since the extraction range can be moved according to the movement of the housing detected by the detection unit, the extracted image is recorded while moving the extraction range within the angle of view. But it will be easier.
  • the photographing apparatus of the present invention may further include a display for displaying the extracted image.
  • the processor moves the extraction range in the movement process and displays the extracted image on the display while the extraction range is moving.
  • the processor executes a determination process for determining whether or not the end of the extraction range has reached the end of the angle of view when the detector detects motion, and the processor executes a determination process for determining whether or not the end of the extraction range has reached the end of the angle of view.
  • the movement process may be executed when it is determined that the end of the angle of view has been reached.
  • the processor performs the determination process at the end of the extraction range located on the second side opposite to the first side.
  • the processor determines in the determination process that the end of the extraction range has reached the end of the angle of view, the extraction range is moved to the first side. It is more preferable to move.
  • the processor moves the extraction range at a movement speed according to the time from the start of movement to the end of the extraction range to the end of the angle of view.
  • the processor selects the subject to be tracked in the extracted image before and after the motion is detected, and moves the extraction range so that the subject falls within the extraction range in the movement process. You may let me. Further, if the subject deviates from the angle of view during the execution of the movement process, it is more preferable that the processor finishes the movement process.
  • the processor moves the extraction range while changing the size based on the ratio of the size of the image of the subject to the size of the extraction range in the movement process.
  • the processor when the detector detects the movement of the housing during the execution of the movement process, the processor further executes the image stabilization process that corrects the camera shake for the extracted video while the extraction range is moving. May be good.
  • the processor may end the moving process.
  • the processor further executes a zoom process that zooms the image of the subject in the extracted image, and if the zoom process is executed during the execution of the move process, the movement speed of the extraction range is set to zoom in the move process. It may be adjusted accordingly.
  • an image sensor for capturing a reference image which is a moving image and a processor are provided, and the processor sets an extraction range smaller than the angle of view within the angle of view when capturing the reference image.
  • the setting process to set, the extraction process to extract the extracted image of the extraction range from the reference image, the zoom process to zoom the image of the subject in the extracted image, and the extraction range at the angle of view are performed by the zoom process. It is also possible to realize a photographing device that executes a movement process of moving the extraction range over time at a movement speed according to the zoom and a recording process of recording the extracted image on a recording medium while the extraction range is moving by the movement process. Is.
  • the above-mentioned photographing device may further include a display for displaying the extracted image.
  • the processor moves the extraction range in the movement process and displays the extracted image on the display while the extraction range is moving.
  • the zoom process is a process of electronically zooming the image of the subject by changing the size of the extraction range according to the distance between the photographing device and the subject in the extracted image, and is a processor. May move the extraction range at a moving speed according to the electronic zoom in the moving process.
  • the zoom process is a process of optically zooming the image of the subject in the extracted image by moving the lens of the photographing device along the optical axis, and the processor performs the moving process.
  • the extraction range may be moved at a moving speed corresponding to the optical zoom.
  • it is a shooting method using a shooting device having an image sensor for shooting a reference image which is a moving image, and extraction is performed within the angle of view when shooting the reference image, which is smaller than the image angle.
  • the photographing apparatus and the photographing method of the present invention it becomes easier to record an image within the extraction range while moving the extraction range within the angle of view.
  • the first embodiment a preferred embodiment of the present invention (hereinafter, referred to as the first embodiment) will be described in detail with reference to the attached drawings.
  • the embodiments described below are merely examples for facilitating the understanding of the present invention, and do not limit the present invention. That is, the present invention may be modified or improved from the embodiments described below as long as it does not deviate from the gist thereof. Further, the present invention includes an equivalent thereof.
  • the moving image is a moving image
  • the moving image means a set of a plurality of images (frame images) continuously taken at a constant frame rate.
  • the photographing device 10 is a portable photographing device, specifically, a digital camera having the appearance shown in FIGS. 1 and 2, and is used for photographing a still image and a moving image.
  • a portable photographing device specifically, a digital camera having the appearance shown in FIGS. 1 and 2, and is used for photographing a still image and a moving image.
  • the function of photographing a moving image in real time will be mainly described.
  • the photographing device 10 is composed of a photographing device main body 12 and a housing 14.
  • the photographing device main body 12 is a portion of the photographing device 10 excluding the housing 14.
  • the housing 14 has substantially the same structure as the housing of a general digital camera, and houses the photographing unit 20 and the processing unit 30 shown in FIG. 3 inside.
  • the photographing unit 20 captures an image and has a lens unit 110, a lens driving unit 120, an aperture unit 130, a shutter 140, an image sensor 150, and an A / D (Analog / Digital) converter 160 as shown in FIG. ..
  • the lens unit 110 includes a zoom lens 112 and a focus lens 114, and in the first embodiment, the zoom lens 112 is equipped with an anamorphic lens. Therefore, in the first embodiment, it is possible to shoot an image with a wide angle of view in the horizontal direction (for example, an angle of view with an aspect ratio of 2.35: 1).
  • the lens is not limited to an anamorphic lens, and a wide-angle lens, an ultra-wide-angle lens, a 360-degree lens, or the like may be used.
  • the lens unit 110 may be configured to be interchangeable with another lens unit.
  • the photographing unit 20 may include a plurality of lens units 110 having different angles of view.
  • the angle of view when the image sensor 150 captures an image is determined according to the specifications of the lens unit 110 and the image sensor 150, and the image captured at that angle of view is the "reference image" of the present invention. Equivalent to.
  • the lens drive unit 120 includes a drive motor (not shown) and a drive mechanism (not shown), and moves the lens of the lens unit 110 along the optical axis.
  • the aperture 130 adjusts the size of the opening according to the user's setting or automatically, and adjusts the amount of light passing through the opening.
  • the shutter 140 blocks the transmitted light to the image sensor 150.
  • the image sensor 150 is composed of, for example, a CCD (Charged Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor Image Sensor), and receives light from a subject via a lens unit 110 to form an image and obtains image data. Generate. Specifically, the image sensor 150 converts an optical signal received through a color filter into an electric signal by a light receiving element, amplifies the electric signal by an AGC (Auto Gain Controller), and analog image data from the amplified signal. To generate.
  • CMOS Complementary Metal Oxide Semiconductor Image Sensor
  • the A / D converter 160 converts the analog image data generated by the image sensor 150 into digital image data.
  • This digital image data corresponds to the data of the frame image constituting the reference image which is a moving image.
  • the number of pixel data (that is, the number of pixels) constituting the digital image data is not particularly limited, but in the first embodiment, the number of pixels is 10 million or more, and the lower limit of the number of pixels is preferably 60 million or more. It is good to be. Further, the preferable upper limit of the number of pixels in the first embodiment is 1 billion or less, more preferably 500 million or less. If the number of pixels exceeds the lower limit, the visibility of the extracted video extracted from the reference video (the extracted video will be described later) can be guaranteed. Further, if the number of pixels is less than the upper limit, the amount of pixel information of the reference image can be reduced, and the processing speed of the processing unit 30 is increased.
  • the processing unit 30 executes various processes related to the photographing device 10, and in the first embodiment, the processing unit 30 includes a control processing unit 210 and a video processing unit 220 as shown in FIG.
  • the processing unit 30 is composed of, for example, one or a plurality of processors, specifically, a CPU (Central Processing Unit) and a control program.
  • processors are not limited to this, and the above processors are FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), GPU (Graphics Processing Unit), MPU (Micro- It may be configured by a Processing Unit) or another IC (Integrated Circuit), or may be configured by combining these.
  • SoC System on Chip :
  • the functions of the entire system including the control processing unit 210 and the video processing unit 220 are configured by one IC (Integrated Circuit) chip. May be good.
  • the hardware configuration of each processor described above may be realized by an electric circuit (Circuitry) in which circuit elements such as semiconductor elements are combined.
  • the control processing unit 210 can control each part of the photographing device main body 12 according to the user's operation or automatically, for example, control the photographing unit 20 to cause the photographing unit 20 to take (acquire) a reference image. Further, the control processing unit 210 can control the video processing unit 220 so that the video (specifically, the extracted video described later) is recorded on the recording medium. Further, the control processing unit 210 focuses the lens unit 110 on the subject in the image based on the contrast of the entire image or a part of the image indicated by the digital image data generated by the photographing unit 20. The drive unit 120 can be controlled. Further, the control processing unit 210 controls the aperture unit 130 based on the brightness of all or a part of the image indicated by the digital image data generated by the photographing unit 20, and automatically adjusts the exposure amount at the time of photographing. be able to.
  • the video processing unit 220 performs processing such as gamma correction, white balance correction, and scratch correction on the digital image data generated by the photographing unit 20, and further compresses the digital image data in a compression format conforming to a predetermined standard. Then, the image processing unit 220 acquires a reference image from the compressed digital image data sequentially generated during shooting, and executes various processes on the acquired reference image.
  • the image processing unit 220 can set an extraction range smaller than the angle of view of the shooting unit 20 and extract the extracted image (so-called crop image) reflected in the extraction range from the reference image. (See, for example, FIGS. 6 and 8). Further, the video processing unit 220 can record (record) the extracted video on a recording medium under the control of the control processing unit 210. The extracted video will be described in detail in a later section.
  • each processing of the control processing unit 210 and the video processing unit 220 will be described as processing by the processing unit 30 which is the processor of the present invention.
  • the processing by the processing unit 30 will be described in detail in a later section.
  • the housing 14 further houses a built-in memory 230 built in the photographing device main body 12, a memory card 240 that can be attached to and detached from the photographing device main body 12 via the card slot 260, and a buffer 250. ..
  • the built-in memory 230 and the memory card 240 are recording media on which the above-mentioned extracted video is recorded, and are composed of a flash memory, a ferroelectric memory, or the like.
  • the recording medium may be located in a place other than the photographing apparatus main body 12, and the processing unit 30 may record video on an external recording medium via wired or wireless communication.
  • the buffer 250 functions as a work memory of the processing unit 30, and is composed of, for example, a DRAM (Dynamic Random Access Memory), a ferroelectric memory, or the like.
  • a display 40 is attached to the back surface of the housing 14.
  • the display 40 is composed of an LCD (Liquid Crystal Display) or an organic EL (Organic Electroluminescence) display, an LED (Light Emitting Diode) display, electronic paper, or the like.
  • the above-mentioned extracted video is displayed on the display 40, and a setting screen for shooting conditions and the like, a screen for mode selection, and the like are also displayed as appropriate.
  • the housing 14 is provided with an operation unit 50, and the user performs various operations related to shooting through the operation unit 50.
  • the operation unit 50 includes, for example, a release button 310, a zoom lever 320, operation dials 330, 340, and a cross button 350 arranged on the outer surface of the housing 14.
  • these devices transmit various control signals to the processing unit 30.
  • a control signal for changing the zoom magnification is transmitted to the processing unit 30, and the processing unit 30 moves the zoom lens 112 according to the control signal. Controls and drives the lens driving unit 120.
  • the display 40 is a touch panel display and is also used as the operation unit 50.
  • a control signal corresponding to the touch position is transmitted to the processing unit 30.
  • a mode selection screen (see FIG. 9), which will be described later, is displayed on the display 40, and when the user touches one of the plurality of mode selection buttons drawn on the screen, the selected mode is set.
  • a control signal for setting is transmitted to the processing unit 30.
  • the user can instruct the processing unit 30 to execute the zoom processing or the shutter processing (shooting processing) through the operation of touching a predetermined position on the screen of the display 40.
  • the detector 60 is attached to the housing 14.
  • the detector 60 detects the movement of the photographing device 10 including the housing 14, and more specifically, detects the horizontal movement of the housing 14.
  • the horizontal movement of the housing 14 means that the photographing device 10 is centered on the vertical axis C so that the front direction of the photographing device 10 is changed so that the user can change the angle of view of the photographing. This is the movement of the housing 14 when the housing 14 is moved (strictly speaking, rotated).
  • FIG. 4 is a view of the photographing device 10 as viewed from above.
  • the detector 60 is composed of, for example, a gyro sensor attached to the housing 14, and has an angular velocity and a rotation amount (symbol ⁇ in FIG. 4) when the housing 14 moves in the horizontal direction.
  • the movement of the housing 14 is detected based on the measurement result.
  • the detector 60 is not limited to the gyro sensor, and may be composed of a motion sensor other than the gyro sensor, for example, an acceleration sensor or the like. Further, the movement of the housing 14 may be detected by using the image processing device as the detector 60 and analyzing the reference image to determine whether or not there is a change in the angle of view.
  • the extracted image is an image set smaller than the angle of view, is extracted from the reference image, and is displayed on the display 40.
  • the reference image is a high-quality image composed of 10 million or more (preferably 60 million or more) pixels
  • the extracted image extracted from the reference image is also a sufficiently high-quality image.
  • the outer edge of the extracted image has a rectangular shape, but the shape of the outer edge is not particularly limited, and is square, parallelogram, trapezoidal, rhombic, circular, or It may be an ellipse, a triangle, a polygon more than a pentagon, or an indefinite shape.
  • the position, size, aspect ratio, etc. of the extraction range are initially set, and usually, a predetermined range within the angle of view is set as the extraction range.
  • the position, size, aspect ratio, etc. of the extraction range may be set and changed on the user side. For example, a setting screen (not shown) is displayed on the display 40, and the user sets and changes through the setting screen. You may.
  • the processing unit 30 moves the extraction range over time within the angle of view.
  • moving with time means moving the extraction range relative to the angle of view so that the position of the extraction range gradually changes, and the movement is stopped (interrupted) in the middle. It may also include the case of doing.
  • a subject reflected in the extraction range can be set as a tracking target, and as shown in FIG. 5, the subject can be tracked within the angle of view. That is, the function of the processing unit 30 can automatically move the extraction range so that the subject fits within the extraction range in conjunction with the movement of the subject within the angle of view.
  • the size of the image of the subject changes as shown in FIG. That is, the ratio of the size of the subject image to the size of the extraction range (hereinafter, referred to as the subject image ratio) changes. Therefore, in the first embodiment, as shown in FIG. 5, the size of the extraction range is changed according to the movement of the subject in the depth direction, that is, the change in the subject image ratio. Specifically, the size of the extraction range is adjusted so that the subject image ratio is maintained substantially constant. This size adjustment corresponds to the electronic zoom process described later.
  • the display 40 can always display the extracted image including the subject to be tracked as shown in FIG. Further, in the displayed extracted video, the size of the subject to be tracked is kept substantially constant. Further, the user does not have to move the photographing device 10 by himself / herself to track the subject to be tracked, and therefore there is no manual change of the angle of view, and the image is disturbed (image blur, etc.) that occurs when the angle of view is changed manually. Can also be avoided. Such an effect is particularly effective when the angle of view is relatively widened by using an anamorphic lens or the like.
  • the extraction range is from one end to the other end in the horizontal direction of the angle of view. Automatically slides (panning).
  • the display 40 can display an image in which the shooting angle as shown in FIG. 8 is continuously changed in the horizontal direction, that is, a panoramic moving image.
  • the user does not have to move the shooting device 10 by himself / herself to change the shooting angle, and therefore there is no manual change of the angle of view, and the distortion of the image (image blur, etc.) that occurs when the angle of view is changed manually is avoided. You can also do it.
  • Such an effect is particularly effective when the angle of view is relatively widened by using an anamorphic lens or the like.
  • the moving speed of the extraction range may be set in advance, and may be changed to an arbitrary speed by the user performing, for example, a button operation while moving the extraction range. Further, the time from the start of movement of the extraction range to the end of the extraction range reaching the end of the angle of view, that is, the time required for movement may be obtained. In this case, the remaining movement time tr based on the difference between the obtained required time and the elapsed time from the start of movement may be displayed on the display 40 as shown in FIG.
  • the automatic movement (panning) of the extraction range based on the function of the processing unit 30 and the movement operation (operation for changing the angle of view) of the photographing device 10 by the user may be performed at the same time.
  • the extraction range movement modes are a first mode in which the extraction range is moved so as to track the subject to be tracked (hereinafter referred to as a tracking mode) and a second mode in which the extraction range is moved in a fixed direction. (Hereinafter referred to as panning mode) and.
  • the user can select any one of the modes on the mode selection screen shown in FIG. 9, for example, and the processing unit 30 moves the extraction range within the angle of view according to the mode selected by the user.
  • the movement mode of the extraction range may be specified based on the user's intention, specifically, the selection result on the mode selection screen shown in FIG.
  • the photographing device 10 may analyze the reference image, automatically determine the presence or absence of the tracking target, and automatically specify the movement mode based on the determination result.
  • the tracking mode is selected when the subject to be tracked exists, and the panning mode is selected when the subject to be tracked does not exist.
  • the detector 60 may detect the moving speed (specifically, the angular velocity) and the like, and automatically specify the moving mode based on the detection result.
  • the tracking mode is selected when the movement speed is random
  • the panning mode is selected when the movement speed is constant.
  • processing of the processing unit 30 is roughly classified into a processing executed by the control processing unit 210 and a processing executed by the video processing unit 220.
  • Examples of the former processing include shooting processing, autofocus processing, optical zoom processing, optical image stabilization, and the like.
  • Examples of the latter process include electronic zoom processing, electronic image stabilization processing, setting processing, extraction processing, determination processing, movement processing, recording processing, warning processing, and the like. The outline of each of the above processes will be described below.
  • the shooting process is a process in which the processing unit 30 controls the shooting unit 20 to shoot an image at the angle of view of the photographing unit 20, that is, a reference image.
  • the shooting process is automatically started, for example, when the shooting device 10 is activated.
  • the autofocus process is a process in which the processing unit 30 controls the lens driving unit 120 so that the focus lens 114 of the lens unit 110 moves along the optical axis.
  • the autofocus process is executed in a timely manner, for example, while the extraction range is moving. This makes it possible to focus on a subject within the moving extraction range.
  • the optical zoom process is an example of the zoom process, and is a process of performing optical zoom on the image of the subject in the extracted image. Specifically, when the user operates the zoom lever 320 as the zoom operation unit, the optical zoom process is executed, and the processing unit 30 controls the lens drive unit 120 to move the zoom lens 112 along the optical axis. ..
  • Another example of the zoom operation unit includes a rotating ring for zoom operation in the lens unit 110.
  • the optical zoom process is used in combination with the electronic zoom process. For example, when the image quality of the extracted image deteriorates (coarse) due to frequent execution of the electronic zoom process during shooting, the optical zoom process is appropriately executed in order to improve the image quality.
  • the optical image stabilization process is an example of the image stabilization process, and is a process for stabilizing the extracted image by suppressing the influence of vibration or the like applied to the photographing device 10 during photographing.
  • the processing unit 30 controls the lens driving unit 120 to move the lens unit 110 to shift the optical axis.
  • the optical image stabilization is realized by a known technique, and for example, the optical image stabilization technique described in Japanese Patent No. 5521518 can be used.
  • the electronic zoom process is an example of the zoom process, and is a process of performing an electronic zoom (digital zoom) on the image of the subject in the extracted image.
  • the processing unit 30 changes the size of the extraction range within the angle of view (in other words, the number of pixels of the extracted video).
  • the electronic zoom process is executed in a timely manner, for example, while the extraction range is moving. For example, when the subject within the extraction range moves in the depth direction of the photographing device 10 and the size of the image of the subject to be tracked changes, the electronic zoom process is executed in order to adjust the subject image ratio described above. ..
  • the size of the extraction range is changed according to the distance between the photographing device 10 and the subject in the extracted image.
  • the distance between the photographing device 10 and the subject in the extracted image can be measured by using a distance measuring technique mounted on a general digital camera.
  • a distance measurement method using a phase difference method using retardation pixels a method of measuring the distance to a subject based on the flight time of light by a TOF (Time of Flight) method, and the like can be used.
  • the size (display size) of the subject to be tracked can be kept constant by analyzing the extracted video while the extraction range is moving.
  • the electronic image stabilization process is an example of the image stabilization process, and is a process in which the processing unit 30 shifts the position of the extraction range in order to suppress the influence of vibration or the like applied to the photographing device 10 during photographing and stabilize the extracted image.
  • the electronic image stabilization is realized by a known technique, for example, the technique of electronic image stabilization (EIS) described in Japanese Patent No. 5521518 or International Publication No. 2016/181717.
  • EIS electronic image stabilization
  • the immediately preceding frame image among the frame images constituting the reference image is stored in the buffer 250 during shooting.
  • the processing unit 30 compares the frame image with the immediately preceding frame image stored in the buffer 250 to obtain the amount of deviation of the image within the extraction range. Then, when the obtained deviation amount exceeds the threshold value, the electronic image stabilization process is executed.
  • the setting process is a process in which the processing unit 30 sets the extraction range within the angle of view in the reference image. Normally, the setting process is executed when the photographing device 10 is activated, and in the setting process at this time, the position, size, aspect ratio, and the like of the extraction range are set as initial values. However, the present invention is not limited to this, and the user may set the position, size, aspect ratio, etc. of the extraction range through the operation unit 50, and may change the extraction range as appropriate after the setting.
  • the extraction range is set based on the subject to be tracked.
  • the user moves the photographing device 10 so that one subject existing within the angle of view is displayed on the display 40 for a certain period of time or longer, and specifically, the angle of view is changed or zoomed.
  • the processing unit 30 recognizes the subject as a subject to be tracked and sets the extraction range so that the subject fits.
  • the procedure for setting the extraction range based on the subject may be a procedure other than the procedure described above. For example, the entire screen of the reference image may be displayed on the display 40, and the user may touch a subject reflected in the reference image to set the extraction range so that the subject fits.
  • the extraction process is a process in which the processing unit 30 extracts (that is, cuts out) the extracted video that appears within the extraction range from the reference video. For example, when the tracking mode is selected, a certain range of images including the image of the subject to be tracked is extracted as the extracted image. When the panning mode is selected, the extracted video is extracted so that the subject changes (slides) sequentially. The extracted video is displayed on the display 40 as shown in FIGS. 6 and 8, and the user can check the extracted video through the display 40.
  • the determination process is a process in which, when the detector 60 detects the movement of the housing 14, the processing unit 30 determines whether or not the end of the extraction range reaches the end of the angle of view due to the movement.
  • the determination process is executed.
  • the determination process will be specifically described with reference to FIG.
  • the detector 60 detects the movement of the housing 14 at that time.
  • the side facing the photographing device 10 when moving in the horizontal direction is the first side, and the opposite side is the second side.
  • the left side corresponds to the first side
  • the right side corresponds to the second side.
  • the processing unit 30 extracts the amount corresponding to the movement amount of the housing 14 by the electronic image stabilization process (EIS) described above. Shift the range to the second side in the horizontal direction.
  • EIS electronic image stabilization process
  • the extraction range moves to the second side relative to the angle of view.
  • the processing unit 30 executes the determination process and determines whether or not the end of the extraction range located on the second side has reached the end of the angle of view located on the second side by the above relative movement. The judgment result in the judgment result is reflected in whether or not the movement process is executed.
  • the movement process is a process that is executed during shooting and the processing unit 30 moves the extraction range at the angle of view over time.
  • the movement process is executed according to the detected movement. The relationship between the movement of the housing 14 detected by the detector 60 and the execution of the movement process will be described in detail in a later section.
  • the processing unit 30 causes the display 40 to display the extracted image while the extraction range is moving.
  • the housing 14 moves (vibrates) due to vibration from the user or the ground being transmitted to the photographing device 10 during the execution of the movement process
  • the extracted image while the extraction range is moving is referred to.
  • the electronic image stabilization process or the optical image stabilization process described above is executed. As a result, the blurring of the extracted image displayed on the display 40 is reduced, and the displayed image becomes stable.
  • the method of moving the extraction range in the movement process differs depending on the selected mode of the tracking mode and the panning mode.
  • the processing unit 30 sets the subject reflected in the extraction range as the tracking target. Then, in the movement process, the processing unit 30 moves the extraction range so that the subject to be tracked falls within the extraction range (strictly speaking, it falls within the extraction range).
  • the subject to be tracked is searched within the angle of view, and the extraction range is moved in conjunction with the movement of the subject to be tracked.
  • the algorithm for searching the subject to be tracked within the angle of view is not particularly limited.
  • the image of the subject set as the tracking target is stored in the buffer 250 as a template image, and a known template matching technique is applied to compare the above template image with the reference image.
  • the image of the part that matches the template image may be specified.
  • the moving speed of the extraction range is set to a speed corresponding to the moving speed of the subject so that the subject to be tracked can be tracked.
  • the moving speed of the extraction range is the number of pixels that the moving extraction range passes through in a unit time when the angle of view is divided in pixel units.
  • the extraction range is moved from one end in the horizontal direction of the angle of view to the other end.
  • the moving speed of the extraction range at this time may be a constant speed, for example, depending on the moving speed (specifically, the angular velocity) in the horizontal movement of the housing 14 detected by the detector 60. It may be speed.
  • the movement speed of the extraction range can be changed by the user operating the operation unit 50 or the like while the movement process is being executed (that is, while the extraction range is being moved). You may.
  • the processing unit 30 zooms the moving speed of the extraction range in the move process (specifically, after the change). Adjust according to the zoom magnification of. Specifically, the processing unit 30 reduces the moving speed in the case of zooming up and increases the moving speed in the case of zooming out. This makes it possible to eliminate the abnormal appearance of the extracted video described above.
  • the processing unit 30 ends the move process when any of the following end conditions (J1) to (J5) is satisfied.
  • (J1) When the user instructs the end of the move process through the operation unit 50 during the execution of the move process.
  • J2 When the user moves the housing 14 in the direction opposite to the moving direction of the extraction range during the execution of the moving process, and the detector 60 detects the movement.
  • J3 When the tracking mode is selected and the subject to be tracked deviates from the angle of view during the execution of the movement process.
  • J4 When the tracking mode is selected and the subject to be tracked is stopped (still) for a certain period of time or longer during the execution of the movement process.
  • the end condition of the movement process is not limited to the above five conditions, and conditions other than the above five conditions may be further included, and one to four of the above five conditions are not included. May be good.
  • the recording process is a process in which the processing unit 30 records the extracted video on a recording medium including a built-in memory 230, a memory card 240, and the like.
  • the recording process starts when, for example, the release button 310 is pressed once, and ends when the release button 310 is pressed again.
  • the processing unit 30 records the extracted video on the recording medium while the extraction range is moving due to the moving process in the recording process. If at least one of optical zoom processing, electronic zoom processing, optical image stabilization processing, and electronic camera shake processing is executed during execution of the movement processing, the recording processing records the extracted video after the processing. ..
  • the recording process is completed in conjunction with the movement process.
  • the present invention is not limited to this, and both the extracted video and the reference video may be recorded on the recording medium.
  • the warning process is a process in which the processing unit 30 issues a warning to the user when a predetermined situation is reached during the execution of the move process. For example, when the movement process is being executed in the tracking mode, when the moving extraction range approaches the area near the edge of the angle of view within the angle of view, a warning process is performed to notify the user to that effect. As shown in FIG. 11, the area near the angle of view edge corresponds to the range from the position to the end of the angle of view, which is separated by a predetermined distance from the edge of the angle of view, and is the hatched range in FIG. Is.
  • the warning method in the warning process is not particularly limited, and examples thereof include displaying a warning message or changing the outer frame of the extracted video to a predetermined color (specifically, red or the like). ..
  • the image is photographed using the photographing method of the present invention. Then, when the detector 60 detects the movement of the housing 14 during shooting, the processing unit 30 executes the movement processing according to the detected movement of the housing 14. More specifically, in the first embodiment, when the user moves the photographing device 10 for the purpose of changing the angle of view or the like, the detector 60 detects the movement of the housing 14 at that time, and the processing unit 30 moves with that as an opportunity. Execute the process.
  • the extraction range automatically moves so as to track the subject or toward the edge of the angle of view.
  • the detector 60 detects the movement of the housing 14
  • the user does not need to move the photographing device 10 again to change the angle of view, and as a result, the user can concentrate on photographing. That is, it becomes easier for the user to record the extracted video while moving the extraction range.
  • the processing unit 30 executes the setting process (S001), and sets the extraction range within the angle of view according to the initial value, the input value of the user, or the like.
  • This step S001 corresponds to the setting process.
  • shooting of the reference image is started at the angle of view of the photographing device 10, and the processing unit 30 executes the extraction process to extract the extracted image from the reference image (S002).
  • This step S002 corresponds to the extraction step. Further, by executing the extraction step, the extracted image is displayed on the display 40 (S003).
  • the processing unit 30 executes the recording process and starts recording the extracted video (S004).
  • the recording process is started by pressing the release button 310.
  • the user moves (moves) the photographing device 10 in order to track a certain subject.
  • the subject J shown in FIG. 14 moves, the user moves the photographing device 10 so that the subject J continues to be within the extraction range as shown in the figure.
  • the detector 60 detects the movement of the housing 14 at this time (S005).
  • the upper figure in FIG. 14 shows the angle of view immediately before moving the photographing device 10, and the lower figure in FIG. 14 shows the angle of view immediately after moving the photographing device 10.
  • the processing unit 30 compares the extracted images before and after the motion is detected by the detector 60, and selects the subject J that is commonly reflected in both extracted images as the tracking target. (S006). At this time, the processing unit 30 can recognize the subject J reflected in the extracted image before and after the motion is detected by the detector 60 by using the template matching technique or the like described above.
  • the method for selecting the tracking target is not limited to the above method, and the user may specify the subject by touching the image of the subject on the display 40, and the tracking target may be selected based on the designation operation.
  • the extracted images before and after the motion is detected by the detector 60 may be compared, and the subject with the smallest amount of movement may be selected as the tracking target among the subjects displayed in each extracted image.
  • the processing unit 30 executes the movement process and moves the extraction range within the angle of view so that the subject J is within the extraction range as shown in FIG. 5 (S007).
  • This step S007 corresponds to the moving step.
  • the processing unit 30 may move the extraction range at a preset moving speed, or the moving speed according to the speed of the subject J calculated by analyzing the extracted video (for example, the subject J).
  • the extraction range may be moved at the same speed as).
  • the processing unit 30 moves the extraction range in the movement process, and displays the extracted image on the display 40 while the extraction range is moving (see FIG. 6). Further, in the recording process executed at the same time as the move process, the processing unit 30 records the extracted video on the recording medium while the extraction range is moving due to the move process. That is, the recording step of recording the extracted video while the extraction range is moving by the moving step is executed.
  • the processing unit 30 (S008), the electronic image stabilization process or the optical image stabilization described above
  • the correction process is executed (S009).
  • camera shake correction is performed on the extracted video while the extraction range is moving.
  • the processing unit 30 executes the electronic zoom process and changes the size of the extraction range according to the distance between the photographing device 10 and the subject J (S011). In this way, the processing unit 30 moves the extraction range while changing the size of the extraction range based on the change in the subject image ratio in the movement process. Thereby, for example, the extraction range can be moved while maintaining the subject image ratio. As a result, while tracking the subject J, the image of the subject J can be displayed on the display 40 in a substantially constant size as shown in FIG.
  • the processing unit 30 executes the above-mentioned optical zoom process to perform optical zoom on the image of the subject in the extracted image (S013). As a result, it is possible to recover the image quality of the extracted video that has deteriorated due to the execution of the electronic zoom processing.
  • a notification urging the user to perform optical zoom processing may be displayed on the display 40.
  • the processing unit 30 adjusts the moving speed of the extraction range according to the electronic zoom or the optical zoom (S014).
  • the processing unit 30 moves the extraction range at the adjusted movement speed, that is, the movement speed according to the electronic zoom or the optical zoom.
  • the processing unit 30 determines whether or not the extraction range during movement is approaching the above-mentioned area near the end of the angle of view in terms of angle of view (S015). Then, when the extraction range is approaching the area near the end of the angle of view, the processing unit 30 executes warning processing (S016). As a result, it is possible to notify the user that the extraction range is approaching the vicinity of the edge of the angle of view, and prompt the user to perform an operation for changing the angle of view, an operation for instructing the end of shooting, and the like.
  • steps S007 to S016 are repeatedly executed during the move process. Then, during the execution of the move process, the processing unit 30 ends the move process when any of the above-mentioned end conditions (J1) to (J4) is satisfied (S017). At this time, the recording process may be terminated at the end of the move process, or the recording process may be continued after the end of the move process.
  • the user moves the photographing device 10 so as to follow the subject J again, and when the detector 60 detects the movement of the housing 14 at that time, the movement process is executed again, and the above-mentioned series of processes ( S006 to S017) are repeated.
  • the procedure (S021 to S024) from when the user activates the photographing device 10 to when the release button 310 is pressed to execute the recording process is the same as when the tracking mode is selected. .. That is, even when the panning mode is selected, the setting step and the extraction step are executed, and the recording step is started by pressing the release button 310.
  • the user moves the photographing device 10 to the first side in the horizontal direction.
  • the detector 60 detects the movement of the housing 14 at that time, that is, the movement to the first side in the horizontal direction (S025).
  • the processing unit 30 uses the above-mentioned EIS to shift the extraction range to the second side in the horizontal direction by the amount corresponding to the movement amount of the housing 14 (S026). ).
  • the processing unit 30 executes a determination process and determines whether or not the second end of the extraction range has reached the second end of the angle of view (S027).
  • the processing unit 30 executes a movement process and sets the extraction range horizontally as shown in FIG. It is moved toward the first side in the direction (S028). This step S028 corresponds to the moving step.
  • the processing unit 30 sets the moving speed of the extraction range when executing the moving process, and in the moving process, moves the extraction range at the set moving speed.
  • the moving speed of the extraction range is set according to the horizontal moving time tx.
  • the horizontal movement time tx is the time from the start of the horizontal movement of the housing 14 detected by the detector 60 to the end of the second side of the extraction range reaching the second end of the angle of view.
  • the horizontal movement time tx is, for example, the angular velocity in the horizontal movement of the housing 14 detected by the detector 60, or the second end of the extraction range is moving toward the second end of the angle of view. It can be calculated from the moving speed.
  • the speed of the extraction range during execution of the movement process may be constant or may be changed, and may be changed to an arbitrary speed by, for example, the user operating the operation unit 50.
  • the processing unit 30 moves the extraction range in the movement process, and displays the extracted image on the display 40 while the extraction range is moving (see FIG. 8). At this time, the processing unit 30 may obtain the time from the start of movement until the end of the extraction range reaches the end of the angle of view (that is, the time required for movement) from the movement speed of the extraction range. Further, the processing unit 30 may display the remaining movement time tr based on the difference between the obtained required time and the elapsed time from the start of movement on the display 40. Further, in the recording process executed at the same time as the move process, the processing unit 30 records the extracted video on the recording medium while the extraction range is moving due to the move process. That is, the recording step of recording the extracted video while the extraction range is moving by the moving step is executed.
  • the processing unit 30 performs the electronic image stabilization process or the optical image stabilization process. Execute (S030). In this step S030, camera shake correction is performed on the extracted video while the extraction range is moving. As a result, the extracted image that changes with the movement of the extraction range can be stabilized, and the extracted image can be smoothly changed even when camera shake or the like occurs.
  • the processing unit 30 determines whether or not the extraction range during movement is approaching the area near the end of the angle of view within the angle of view (S031). Then, when the extraction range is approaching the area near the end of the angle of view, the processing unit 30 executes warning processing (S032). As a result, it is possible to notify the user that the extraction range is approaching the vicinity of the edge of the angle of view.
  • the processing unit 30 ends the movement process.
  • the recording process may be terminated at the end of the move process, or the recording process may be continued after the end of the move process.
  • step S027 is executed again. Then, when it is determined by the determination process that the end on the second side of the extraction range has reached the end on the second side of the angle of view, the movement process is executed again, and the series of processes (S028 to S034) described above are repeated. Is done.
  • the image of the subject in the extracted image is zoomed (specifically, electronic) during the execution of the movement process. Zoom and optical zoom) may be performed. In that case, it is preferable to adjust the moving speed of the extraction range according to the zoom, and then move the extraction range at the moving speed adjusted according to the subsequent movement processing and zoom.
  • the photographing apparatus of the present invention has been described above with specific embodiments, the above-described first embodiment is merely an example, and other embodiments are also conceivable.
  • the image pickup apparatus main body 12X of the photographing apparatus and the external monitor 70 may be connected by a wired system or a wireless system.
  • the external monitor 70 is composed of a display device such as a liquid crystal monitor, a recorder with a monitor, or an information processing terminal with a monitor such as a personal computer, a smartphone, and a tablet terminal.
  • the processing unit 30 transmits the video signal of the extracted video to the external monitor 70, and the extracted video is displayed on the external monitor 70 side.
  • the extracted image may be displayed on the external monitor 70.
  • the extracted image may be displayed on both the display 40 of the photographing device and the external monitor 70.
  • the processing unit 30 may move the extraction range according to the movement of the housing 14 in the vertical direction detected by the detector 60 in the movement processing.
  • the extraction range is slid and moved in the horizontal direction in the movement process when the panning mode is selected, but the present invention is not limited to this.
  • the extraction range may be slid up and down in the movement process.
  • the processing unit 30 automatically executes the movement process in conjunction with the detection of the movement of the photographing device 10, and moves the extraction range so as to track the subject.
  • the present invention is not limited to this, and the subject in the extracted image is set as the tracking target by the user operating the touch panel or the like, and the movement process is executed based on the operation of the process start instruction by the user. May be good. Such a case will be described in detail below as a second embodiment of the present invention.
  • the basic configuration of the photographing apparatus according to the second embodiment is substantially the same as that of the photographing apparatus 10 described above, and is as shown in FIG. That is, the photographing apparatus according to the second embodiment includes a photographing unit 20 and a processing unit 30 (processor).
  • the processing unit 30 executes setting processing, extraction processing, movement processing, zoom processing, and recording processing.
  • the extraction range is set within the angle of view based on the contents of the initial setting or the operation instructed by the user.
  • the extraction process is the same process as the above-mentioned extraction process, and in this process, the extracted video reflected in the extraction range is extracted.
  • the user specifies, for example, by moving the photographing device to change the angle of view, tracking the subject in the extracted image, and touching the subject on the touch panel. As a result, the designated subject is set as the tracking target.
  • the extraction range is moved over time so that the subject to be tracked is within the extraction range.
  • the image of the subject is always included in the extracted image while the extraction range is moving.
  • the extraction range is moved, and the extraction image while the extraction range is moving is displayed on the display 40.
  • the processing unit 30 executes the movement process with this as an opportunity.
  • the zoom processing is an electronic zoom processing and an optical zoom processing, and in either of the zoom processings, the image of the subject in the extracted image is zoomed.
  • the processing unit 30 executes electronic zoom processing in order to change the size of the extraction range according to the distance between the subject and the photographing device.
  • the processing unit 30 executes the optical zoom processing in order to improve the deteriorated image quality, or notifies the user to perform the optical zoom processing. Is displayed on the display 40. In the recording process, the extracted video is recorded on the recording medium while the extraction range is moving due to the moving process.
  • the size of the extraction range that is, the number of pixels of the extracted video changes before and after the zoom.
  • the moving speed of the extraction range that is, the number of pixels that the extraction range passes through per unit time is the same before and after zooming. In that case, to the user who confirms the extracted image through the display 40, the moving speed of the extraction range seems to have changed suddenly.
  • the processing unit 30 when the zoom process is executed during the move process, in the move process after the zoom process, the processing unit 30 responds to the zoom (specifically, electronic zoom or optical zoom) performed in the zoom process. Move the extraction range at the same moving speed. This makes it possible to avoid a situation in which the moving speed of the extraction range seems to change suddenly due to the zoom described above.
  • the movement process of the second embodiment is not limited to the case where the extraction range is moved in order to track the subject described above.
  • it may be a case where the extraction range is slid from one end to the other end of the angle of view, that is, a movement process when the panning mode is selected.
  • the zoom process can be executed even during the execution of such a move process, and in the move process after the zoom process, it is preferable that the processing unit 30 moves the extraction range at a move speed corresponding to the zoom.
  • a setting step an extraction range smaller than the angle of view is set within the angle of view when the reference image is captured by the image sensor 150.
  • the extraction step the extracted video of the extraction range is extracted from the reference video.
  • zoom step zooming (optical zoom or electronic zoom) is performed on the image of the subject in the extracted image.
  • moving step the extraction range at the angle of view is moved over time at a moving speed corresponding to the zoom performed in the zoom step.
  • the recording step the extracted video is recorded on the recording medium while the extraction range is moving due to the moving step.
  • Imaging device 10 Imaging device 12, 12X Imaging device body 14 Housing 20 Imaging unit 30 Processing unit 40 Display 50 Operation unit 60 Detector 70 External monitor 110 Lens unit 112 Zoom lens 114 Focus lens 120 Lens drive unit 130 Aperture unit 140 Shutter 150 Image Sensor 160 A / D converter 210 Control processing unit 220 Video processing unit 230 Built-in memory 240 Memory card 250 Buffer 260 Card slot 310 Release button 320 Zoom lever 330, 340 Operation dial 350 Cross button C Vertical axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

画角内において抽出範囲を移動させながら抽出範囲内の映像を記録することを、より容易にする撮影装置及び撮影方法を提供する。　本発明の撮影装置は、動画像である基準映像を撮影するイメージセンサと、イメージセンサを収容する筐体と、筐体の動きを検出するための検出部と、プロセッサと、を備える。プロセッサは、基準映像を撮影する際の画角内に、画角よりも小さい抽出範囲を設定する設定処理と、抽出範囲内の抽出映像を基準映像から抽出する抽出処理と、検出部により検出された動きに応じて、画角における抽出範囲を経時的に移動させる移動処理と、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する記録処理と、を実行する。

Description

撮影装置、及び撮影方法
　本発明は、動画像である映像を撮影する撮影装置、及び、撮影装置を用いた撮影方法に関する。
　動画像である映像を撮影する撮影装置の中には、特許文献１及び２に記載された撮影装置のように、撮影画角から指定された範囲を抽出し、その抽出範囲の映像を記録するものが存在する。
　特許文献１及び２に記載された撮影装置は、画角内における抽出範囲の位置等を所定の速度にて変化させる機能を備える。この機能を利用すれば、例えば、撮影中に撮影装置を人手で動かさなくとも、映像中の被写体を追尾したり、記録映像のアングルを一定方向にスライド移動させたりすることができる。
特開２０１７－４６３５５号公報 特開２０１９－２２０２６号公報
　抽出範囲を移動させながら抽出範囲内の映像を記録する場合には、ユーザの入力操作等の手間を極力省き、より簡単に抽出範囲の位置等を変化させることが求められる。
　しかし、特許文献１及び２に記載された撮影装置では、抽出範囲の移動開始前、又は抽出範囲の移動中に種々の設定事項を入力する等の操作が必要となる。
　本発明は、上記の事情に鑑みてなされたものであり、以下に示す目的を解決することを課題とする。
　本発明は、上記従来技術の問題点を解決し、画角内において抽出範囲を移動させながら抽出範囲内の映像を記録することをより容易にする撮影装置及び撮影方法を提供することを目的とする。
　上記の目的を達成するために、本発明の撮影装置は、動画像である基準映像を撮影するイメージセンサと、イメージセンサを収容する筐体と、筐体の動きを検出するための検出器と、プロセッサと、を備え、プロセッサは、基準映像を撮影する際の画角内に、画角よりも小さい抽出範囲を設定する設定処理と、抽出範囲内の抽出映像を基準映像から抽出する抽出処理と、検出器により検出された動きに応じて、画角における抽出範囲を経時的に移動させる移動処理と、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する記録処理と、を実行することを特徴とする。
　上述した本発明の撮影装置によれば、検出部によって検出された筐体の動きに応じて抽出範囲を移動させることができるため、画角内において抽出範囲を移動させながら抽出映像を記録することが、より容易になる。
　また、本発明の撮影装置は、抽出映像を表示する表示器をさらに備えてもよい。この場合、プロセッサは、移動処理において、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器に表示させると、より好ましい。
　また、プロセッサは、検出器が動きを検出した場合に、抽出範囲の端が画角の端に至ったか否かを判定する判定処理を実行し、プロセッサは、判定処理にて抽出範囲の端が画角の端に至ったと判定した場合に移動処理を実行してもよい。
　さらに、検出器が動きとして筐体の水平方向の第１側への移動を検出した場合に、プロセッサは、判定処理にて、第１側とは反対の第２側に位置する抽出範囲の端が、第２側に位置する画角の端に至ったか否かを判定し、プロセッサは、判定処理にて抽出範囲の端が画角の端に至ったと判定した場合、第１側へ抽出範囲を移動させると、より好ましい。
　また、プロセッサは、移動処理において、移動の開始から抽出範囲の端が画角の端に至るまでの時間に応じた移動速度で抽出範囲を移動させると、より好ましい。
　また、検出器が動きを検出した場合に、プロセッサは、動きの検出前後で抽出映像内に映る被写体を追尾対象として選定し、移動処理において、被写体が抽出範囲内に入るように抽出範囲を移動させてもよい。
　さらに、移動処理の実行中、被写体が画角から外れた場合、プロセッサは、移動処理を終了すると、より好ましい。
　また、プロセッサは、移動処理において、抽出範囲のサイズに対する被写体の映像の大きさの割合に基づいてサイズを変えながら、抽出範囲を移動させると、より好ましい。
　また、プロセッサは、移動処理の実行中に検出器が筐体の動きを検出した場合に、抽出範囲が移動している間の抽出映像に対して手振れ補正を行う手振れ補正処理をさらに実行してもよい。
　また、移動処理の実行中、抽出範囲の移動方向とは逆方向への筐体の動きを検出器が検出した場合、プロセッサは、移動処理を終了してもよい。
　また、プロセッサは、抽出映像内の被写体の映像に対してズームを行うズーム処理をさらに実行し、移動処理の実行中にズーム処理を実行した場合、移動処理において、抽出範囲の移動速度をズームに応じて調整してもよい。
　また、本発明によれば、動画像である基準映像を撮影するイメージセンサと、プロセッサと、を備え、プロセッサは、基準映像を撮影する際の画角内に、画角よりも小さい抽出範囲を設定する設定処理と、抽出範囲の抽出映像を基準映像から抽出する抽出処理と、抽出映像内の被写体の映像に対してズームを行うズーム処理と、画角における抽出範囲を、ズーム処理で行われたズームに応じた移動速度にて経時的に移動させる移動処理と、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する記録処理と、を実行する撮影装置も実現可能である。
　また、上記の撮影装置は、抽出映像を表示する表示器をさらに備えてもよい。この場合、プロセッサは、移動処理において、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器に表示させると、より好ましい。
　また、上記の撮影装置において、ズーム処理は、撮影装置と抽出映像内の被写体との距離に応じて抽出範囲のサイズを変えることにより、被写体の映像に対して電子ズームを行う処理であり、プロセッサは、移動処理において、電子ズームに応じた移動速度にて抽出範囲を移動させてもよい。
　また、上記の撮影装置において、ズーム処理は、撮影装置のレンズを光軸に沿って移動させることにより、抽出映像内の被写体の映像に対して光学ズームを行う処理であり、プロセッサは、移動処理において、光学ズームに応じた移動速度にて抽出範囲を移動させてもよい。
　また、本発明によれば、動画像である基準映像を撮影するイメージセンサを有する撮影装置を用いた撮影方法であって、基準映像を撮影する際の画角内に、画角よりも小さい抽出範囲を設定する設定工程と、抽出範囲内の抽出映像を基準映像から抽出する抽出工程と、検出器により検出された撮影装置の動きに応じて、画角における抽出範囲を経時的に移動させる移動工程と、移動工程により抽出範囲が移動している間の抽出映像を記録媒体に記録する記録工程と、を含むことを特徴とする撮影方法も実現可能である。
　本発明の撮影装置及び撮影方法によれば、画角内において抽出範囲を移動させながら抽出範囲内の映像を記録することが、より容易になる。
本発明の一つの実施形態に係る撮影装置の外観を正面側から見た図である。 本発明の一つの実施形態に係る撮影装置の外観を背面側から見た図である。 本発明の一つの実施形態に係る撮影装置が備える撮影装置本体の構成を示す図である。 撮影装置の動きについての説明図である。 追尾対象の被写体が存在するケースで抽出範囲が移動する様子を示す図である。 図５に示すケースでの抽出映像の遷移を示す図である。 追尾対象の被写体が存在しないケースで抽出範囲が移動する様子を示す図である。 図７に示すケースでの抽出映像の遷移を示す図である。 抽出範囲の移動モードの選択画面の一例を示す図である。 判定処理についての説明図である。 画角端近傍エリアについての説明図である。 追尾モードが選択された場合の処理フローを示す図である（その１）。 追尾モードが選択された場合の処理フローを示す図である（その２）。 ユーザが撮影装置を動かした場合の画角変化を示す図である。 パニングモードが選択された場合の処理フローを示す図である（その１）。 パニングモードが選択された場合の処理フローを示す図である（その２）。 本発明の他の実施形態に係る撮影装置本体の構成を示す図である。
　以下、本発明の好適な実施形態（以下、第１実施形態と呼ぶ。）について、添付の図面を参照しながら詳細に説明する。ただし、以下に説明する実施形態は、本発明の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。
　なお、本明細書において、映像とは、動画像であり、動画像は、一定のフレームレートにて連続的に撮影される複数の画像（フレーム画像）の集合を意味する。
　＜＜撮影装置の基本構成＞＞
　第１実施形態に係る撮影装置（以下、撮影装置１０と呼ぶ。）の基本構成について、図１～４を参照しながら説明する。
　撮影装置１０は、携帯可能な撮影装置であり、具体的には、図１及び２に示す外観を有するデジタルカメラであり、静止画像及び動画像を撮影するために用いられる。本明細書では、撮影装置１０の機能のうち、動画像をリアルタイムに撮影する機能について主に説明する。
　撮影装置１０は、撮影装置本体１２と筐体１４とによって構成されている。撮影装置本体１２とは、撮影装置１０のうち、筐体１４を除く部分である。筐体１４は、一般的なデジタルカメラの筐体と略同じ構造であり、その内部に、図３に示す撮影部２０及び処理部３０を収容する。
　撮影部２０は、映像を撮影し、図３に示すように、レンズユニット１１０、レンズ駆動部１２０、絞り部１３０、シャッタ１４０、イメージセンサ１５０、及びＡ／Ｄ（Analog／Digital）コンバータ１６０を有する。
　レンズユニット１１０は、ズームレンズ１１２及びフォーカスレンズ１１４を有し、第１実施形態では、ズームレンズ１１２がアナモフィックレンズを搭載している。そのため、第１実施形態では、横方向に広い画角（例えば、縦横比２．３５：１の画角）で映像を撮影することが可能である。ただし、アナモフィックレンズに限定されず、広角レンズ、超広角レンズ及び３６０度レンズ等の撮影レンズが用いられてもよい。また、レンズユニット１１０は、他のレンズユニットに交換可能に構成されてもよい。また、撮影部２０は、画角が異なる複数のレンズユニット１１０を備えてもよい。
　ここで、イメージセンサ１５０によって映像を撮影する際の画角は、レンズユニット１１０及びイメージセンサ１５０の仕様等に応じて決まり、その画角で撮影される映像は、本発明の「基準映像」に相当する。
　レンズ駆動部１２０は、不図示の駆動モータと、不図示の駆動機構とによって構成され、レンズユニット１１０のレンズを光軸に沿って移動させる。
　絞り部１３０は、ユーザの設定に応じて、あるいは自動的に開口部の大きさを調整し、開口部を通過する光の量を調整する。
　シャッタ１４０は、イメージセンサ１５０への透過光を遮断する。
　イメージセンサ１５０は、例えばＣＣＤ（Charged Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）等で構成されており、レンズユニット１１０を介して被写体からの光を受光して結像し、画像データを生成する。具体的には、イメージセンサ１５０は、カラーフィルタを通じて受光した光信号を受光素子にて電気信号に変換し、その電気信号をＡＧＣ（Auto Gain Controller）によって増幅し、増幅後の信号からアナログ画像データを生成する。
　Ａ／Ｄコンバータ１６０は、イメージセンサ１５０で生成されたアナログ画像データをデジタル画像データに変換する。このデジタル画像データは、動画像である基準映像を構成するフレーム画像のデータに該当する。
　なお、デジタル画像データを構成する画素データの数（すなわち、画素数）は、特に限定されないが、第１実施形態では１０００万以上の画素数であり、好ましくは、画素数の下限が６０００万以上であるとよい。また、第１実施形態における画素数の好ましい上限は、１０億以下であり、より好ましくは５億以下。画素数が下限を上回っていれば、基準映像から抽出される抽出映像（抽出映像については後述する）の視認性が担保できる。また、画素数が上限を下回っていれば、基準映像の画素情報量が低減させることができ、処理部３０の処理が高速化する。
　処理部３０は、撮影装置１０に関する各種の処理を実行し、第１実施形態では、図３に示すように制御処理部２１０及び映像処理部２２０を含む。
　処理部３０は、例えば１つ又は複数のプロセッサからなり、具体的にはＣＰＵ（Central Processing Unit）と制御プログラムから構成される。ただし、これに限定されるものではなく、上記のプロセッサは、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又はその他のＩＣ（Integrated Circuit）によって構成されてもよく、若しくは、これらを組み合わせて構成されてもよい。また、上記のプロセッサは、ＳｏＣ（System on Chip：）等に代表されるように、制御処理部２１０及び映像処理部２２０を含むシステム全体の機能を一つのＩＣ（Integrated Circuit）チップで構成してもよい。さらに、以上に挙げた各プロセッサのハードウェア構成は、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）で実現してもよい。
　制御処理部２１０は、ユーザの操作に従って、あるいは自動的に撮影装置本体１２の各部を制御し、例えば、撮影部２０を制御して撮影部２０に基準映像を撮影（取得）させることができる。また、制御処理部２１０は、映像（詳しくは、後述する抽出映像）が記録媒体に記録されるように映像処理部２２０を制御することができる。また、制御処理部２１０は、撮影部２０によって生成されたデジタル画像データが示す画像の全体又は一部のコントラスト等に基づいて、レンズユニット１１０の焦点を画像中の被写体に合焦させるようにレンズ駆動部１２０を制御することができる。また、制御処理部２１０は、撮影部２０によって生成されたデジタル画像データが示す画像の全体又は一部の輝度に基づいて、絞り部１３０を制御し、撮影時の露光量を自動的に調整することができる。
　映像処理部２２０は、撮影部２０によって生成されたデジタル画像データに対してガンマ補正、ホワイトバランス補正、及び傷補正等の処理を行い、さらに、所定の規格に準拠した圧縮形式にて圧縮する。そして、映像処理部２２０は、撮影中に順次生成される圧縮デジタル画像データから基準映像を取得し、取得した基準映像に対して種々の処理を実行する。
　また、映像処理部２２０は、撮影部２０の画角内において当該画角よりも小さい抽出範囲を設定し、その抽出範囲内に映る抽出映像（いわゆるクロップ画像）を基準映像から抽出することができる（例えば、図６及び８参照）。また、映像処理部２２０は、制御処理部２１０の制御の下、抽出映像を記録媒体に記録（録画）することができる。抽出映像については、後の項で詳しく説明する。
　なお、以降の説明では、特に断る場合を除き、制御処理部２１０及び映像処理部２２０の各々の処理を、本発明のプロセッサである処理部３０による処理として説明することとする。処理部３０による処理については、後の項で詳しく説明する。
　筐体１４内には、さらに、撮影装置本体１２に内蔵された内蔵メモリ２３０、カードスロット２６０を介して撮影装置本体１２に対して着脱可能なメモリカード２４０、及び、バッファ２５０が収容されている。内蔵メモリ２３０及びメモリカード２４０は、前述の抽出映像が記録される記録媒体であり、フラッシュメモリ又は強誘電体メモリ等で構成されている。なお、記録媒体は、撮影装置本体１２以外の場所にあってもよく、処理部３０は、有線又は無線による通信を介して外部の記録媒体に対して映像の記録を行ってもよい。
　バッファ２５０は、処理部３０のワークメモリとして機能し、例えば、ＤＲＡＭ（Dynamic Random Access Memory）又は強誘電体メモリ等で構成されている。
　筐体１４の背面には、図２に示すように、表示器４０が取り付けられている。表示器４０は、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）又は有機ＥＬ（Organic Electroluminescence）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ又は電子ペーパー等で構成されている。表示器４０には前述の抽出映像が表示され、また、撮影条件等の設定画面、及び、モード選択用の画面等も適宜表示される。
　筐体１４には操作部５０が備わっており、ユーザは、操作部５０を通じて撮影に関する各種の操作を行う。操作部５０は、例えば、図１及び２に示すように、筐体１４の外面に配設されたレリーズボタン３１０、ズームレバー３２０、操作ダイヤル３３０，３４０、及び十字ボタン３５０等を含む。これらの機器は、ユーザに操作されると、処理部３０に向けて種々の制御信号を送信する。例えば、ズームレバー３２０が操作されると、その操作に応じてズーム倍率を変更する制御信号が処理部３０に向けて送信され、処理部３０は、その制御信号に従い、ズームレンズ１１２を移動させるためにレンズ駆動部１２０を制御して駆動させる。
　また、第１実施形態では、表示器４０がタッチパネルディスプレイであり、操作部５０として兼用される。ユーザが表示器４０の画面をタッチすると、そのタッチ位置に応じた制御信号が処理部３０に向けて送信される。例えば、後述するモード選択画面（図９参照）が表示器４０に表示され、ユーザが画面中に描画された複数のモード選択ボタンのうち、対応する一つのボタンをタッチすると、選択されたモードに設定するための制御信号が処理部３０に向けて送信される。また、ユーザは、表示器４０の画面中の所定箇所をタッチする操作を通じて、処理部３０にズーム処理又はシャッタ処理（撮影処理）の実行を指示することができる。
　第１実施形態では、筐体１４に検出器６０が取り付けられている。検出器６０は、筐体１４を含む撮影装置１０の動きを検出し、詳しくは、筐体１４の水平方向の移動を検出する。筐体１４の水平方向の移動とは、図４に示すように、ユーザが撮影の画角を変えるために、撮影装置１０の正面の向きが変わるように鉛直軸Ｃを中心にして撮影装置１０を移動（厳密には回動）させたときの筐体１４の動きである。なお、図４は、撮影装置１０を上方から見た図である。
　第１実施形態に係る検出器６０は、例えば、筐体１４に取り付けられたジャイロセンサによって構成されており、筐体１４が水平方向に移動した場合の角速度、回転量（図４中、記号θで表す）、及び移動方向等を測定し、その測定結果に基づいて筐体１４の動きを検出する。なお、検出器６０は、ジャイロセンサのみに限定されず、ジャイロセンサ以外のモーションセンサ、例えば加速度センサ等で構成されてもよい。また、画像処理装置を検出器６０として利用し、基準映像を解析して画角の変化の有無を判定することで筐体１４の動きを検出してもよい。
　＜＜抽出映像について＞＞
　次に、前述した抽出映像について図５～８を参照しながら詳しく説明する。
　なお、図５、６及び８の各図が示す様子は、いずれも、上段の図の状態、中段の図の状態、及び下段の図の状態の順に移り変わる。また、図５以降の図では、基準映像撮影時の画角に対して記号Ａ１を付し、抽出範囲に対して記号Ａ２を付し、基準映像に対して記号Ｐ１を付し、抽出映像に対して記号Ｐ２を付している。
　抽出映像は、画角よりも小さく設定された映像であり、基準映像から抽出されて表示器４０に表示される。第１実施形態では、基準映像が、１０００万以上（好ましくは６０００万以上）の画素からなる高画質映像であるため、その中から抽出される抽出映像も十分に高画質な映像となる。第１実施形態では、図６及び８に示すように、抽出映像の外縁が長方形の形状であるが、外縁の形状については特に限定されず、正方形、平行四辺形、台形、菱形、円状又は楕円状、三角形又は五角形以上の多角形、あるいは不定形であってもよい。
　抽出範囲の位置、サイズ及び縦横比（アスペクト比）等は、初期設定されており、通常は、画角内において予め決められた範囲が抽出範囲として設定されている。なお、抽出範囲の位置、サイズ及び縦横比等については、ユーザ側で設定及び変更してもよく、例えば不図示の設定画面を表示器４０に表示し、ユーザが設定画面を通じて設定及び変更を行ってもよい。
　第１実施形態では、撮影中に所定の条件が満たされると、処理部３０が抽出範囲を画角内で経時的に移動させる。ここで、「経時的に移動させる」とは、抽出範囲の位置が漸次的に変化するように抽出範囲を画角に対して相対的に動かすことを意味し、途中で移動が停止（中断）する場合も含み得る。
　撮影中に抽出範囲を経時的に移動させることにより、例えば、抽出範囲内に映る被写体を追尾対象として設定し、図５に示すように、画角内でその被写体を追尾することができる。つまり、処理部３０の機能により、画角内における被写体の移動に連動させて、抽出範囲内にその被写体が収まるように抽出範囲を自動的に移動させることができる。
　また、追尾対象の被写体が奥行き方向（つまり、撮影装置１０に対して近接及び離間する方向）に移動すると、図５に示すように、被写体の映像の大きさが変化する。つまり、抽出範囲のサイズに対する被写体の映像の大きさの割合（以下、被写体映像比率と呼ぶ。）が変化する。そのため、第１実施形態では、図５に示すように、奥行き方向における被写体の移動、すなわち、被写体映像比率の変化に応じて抽出範囲のサイズを変える。具体的には、被写体映像比率が略一定に維持されるように抽出範囲のサイズを調整する。このサイズ調整は、後述する電子ズーム処理に該当する。
　以上により、追尾対象の被写体が画角内に存在している限り、表示器４０には、図６に示すように追尾対象の被写体を含む抽出映像を常時表示することができる。また、表示される抽出映像では、追尾対象の被写体の大きさが略一定に維持される。また、追尾対象の被写体を追尾するためにユーザが撮影装置１０を自ら動かす必要がなく、それ故に手動での画角変更がなく、手動での画角変更時に生じる映像の乱れ（映像ブレ等）を回避することもできる。こうした効果は、アナモフィックレンズ等を用いて画角が比較的広くなる場合に特に有効である。
　他方、抽出範囲内に映る被写体が追尾対象でない場合（例えば、風景のように静止したものを被写体とする場合）、図７に示すように、画角の横方向の一端から他端まで抽出範囲が自動的にスライド移動（パニング）する。これにより、表示器４０には、図８に示すような撮影アングルを水平方向に連続的に変化させたような映像、言わばパノラマ動画像を表示することができる。また、撮影アングル変更のためにユーザが撮影装置１０を自ら動かす必要がなく、それ故に手動での画角変更がなく、手動での画角変更時に生じる映像の乱れ（映像ブレ等）を回避することもできる。こうした効果は、アナモフィックレンズ等を用いて画角が比較的広くなる場合に特に有効である。
　なお、抽出範囲の移動速度は、予め設定されてもよく、抽出範囲の移動中にユーザが例えばボタン操作等を行うことで任意の速度に変更できてもよい。また、抽出範囲の移動開始から抽出範囲の端が画角の端に到達するまでの時間、すなわち移動の所要時間を求めてもよい。この場合、求めた所要時間と移動開始からの経過時間との差分に基づく残り移動時間ｔｒを、図８に示すように表示器４０に表示させてもよい。
　また、処理部３０の機能に基づく抽出範囲の自動移動（パニング）と、ユーザによる撮影装置１０の移動動作（画角変更用の操作）とが同時に行われてもよい。
　以上のように抽出範囲の移動モードは、追尾対象の被写体を追尾するように抽出範囲を移動させる第１モード（以下、追尾モードと呼ぶ。）と、一定方向に抽出範囲を移動させる第２モード（以下、パニングモードと呼ぶ。）と、を含む。ユーザは、例えば図９に示すモード選択画面にていずれか一つのモードを選択することができ、処理部３０は、ユーザによって選択されたモードに則って抽出範囲を画角内で移動させる。
　抽出範囲の移動モードの指定は、ユーザの意思、詳しくは、図９に示すモード選択画面での選択結果に基づいて行われてもよい。
　あるいは、撮影装置１０が基準映像を解析して追尾対象の有無を自動的に判定し、その判定結果に基づいて移動モードを自動的に指定してもよい。このケースでは、例えば、追尾対象の被写体が存在した場合には追尾モードを選択し、追尾対象の被写体が存在しない場合にはパニングモードを選択する。
　あるいは、ユーザが撮影装置１０を移動させた場合に検出器６０が移動速度（具体的には、角速度）等を検出し、その検出結果に基づいて移動モードを自動的に指定してもよい。このケースでは、例えば、ランダムな移動速度である場合には追尾モードを選択し、一定の移動速度である場合にはパニングモードを選択する。
　＜＜処理部による処理について＞＞
　次に、処理部３０の処理について説明する。処理部３０の処理は、制御処理部２１０によって実行される処理と、映像処理部２２０によって実行される処理と、に大別される。前者の処理には、例えば、撮影処理、オートフォーカス処理、光学ズーム処理、及び光学手振れ補正等が挙げられる。後者の処理には、電子ズーム処理、電子手振れ補正処理、設定処理、抽出処理、判定処理、移動処理、記録処理、及び警告処理等が挙げられる。以下、上記の各処理の概要について説明する。
　［撮影処理］
　撮影処理は、処理部３０が撮影部２０を制御して撮影部２０の画角での映像、すなわち基準映像を撮影する処理である。撮影処理は、例えば撮影装置１０が起動すると、それに伴って自動的に開始される。
　［オートフォーカス処理］
　オートフォーカス処理は、レンズユニット１１０のフォーカスレンズ１１４が光軸に沿って移動するように処理部３０がレンズ駆動部１２０を制御する処理である。オートフォーカス処理は、例えば抽出範囲が移動している間に適時実行される。これにより、移動中の抽出範囲内の被写体に対して合焦することができる。
　［光学ズーム処理］
　光学ズーム処理は、ズーム処理の一例であり、抽出映像内の被写体の映像に対して光学ズームを行う処理である。具体的には、ユーザがズーム操作部としてのズームレバー３２０を操作した際に光学ズーム処理が実行され、処理部３０がレンズ駆動部１２０を制御してズームレンズ１１２を光軸に沿って移動させる。ズーム操作部の他の例としては、レンズユニット１１０におけるズーム操作用の回転リング等が挙げられる。光学ズーム処理は、電子ズーム処理と併用される。例えば、撮影中に電子ズーム処理を頻繁に実行することで抽出映像の画質が劣化（粗く）なった場合に、画質を改善するために光学ズーム処理が適宜実行される。
　［光学手振れ補正］
　光学手振れ補正処理は、手振れ補正処理の一例であり、撮影中に撮影装置１０に加わる振動等の影響を抑えて抽出映像を安定させるための処理である。具体的には、処理部３０がレンズ駆動部１２０を制御してレンズユニット１１０を移動させて光軸をシフトさせる。光学手振れ補正は、公知の技術によって実現され、例えば、特許第５５２１５１８号公報に記載された光学手振れ補正の技術を利用することができる。
　［電子ズーム処理］
　電子ズーム処理は、ズーム処理の一例であり、抽出映像内の被写体の映像に対して電子ズーム（デジタルズーム）を行う処理である。具体的には、処理部３０が画角内に対する抽出範囲のサイズ（換言すると、抽出映像の画素数）を変更する。電子ズーム処理は、例えば抽出範囲が移動している間に適時実行される。例えば、抽出範囲内の被写体が撮影装置１０の奥行き方向に移動して追尾対象の被写体の映像の大きさが変化した場合に、前述した被写体映像比率を調整するために電子ズーム処理が実行される。
　電子ズーム処理では、撮影装置１０と抽出映像内の被写体との距離に応じて抽出範囲のサイズを変える。撮影装置１０と抽出映像内の被写体との距離は、一般的なデジタルカメラに搭載される距離計測技術を用いて計測することが可能である。例えば、位相差画素を用いた位相差方式による距離計測方法、若しくは、ＴＯＦ（Time of Flight）方式により光の飛行時間に基づいて被写体までの距離を計測する方法等が利用可能である。
　また、電子ズーム処理によれば、抽出範囲が移動している間、抽出映像の解析によって、追尾対象の被写体の大きさ（表示サイズ）を一定に維持することができる。
　［電子手振れ補正処理］
　電子手振れ補正処理は、手振れ補正処理の一例であり、撮影中に撮影装置１０に加わる振動等の影響を抑えて抽出映像を安定させるために処理部３０が抽出範囲の位置をずらす処理である。電子手振れ補正は、公知の技術、例えば、特許第５５２１５１８号公報又は国際公開第２０１６／１８１７１７号等に記載された電子手振れ補正（Electric Image Stabilization；ＥＩＳ）の技術によって実現される。電子手振れ補正処理の実行にあたり、撮影中、バッファ２５０には、基準映像を構成するフレーム画像のうち、直前のフレーム画像が格納される。処理部３０は、新たなフレーム画像が撮影された段階で、そのフレーム画像と、バッファ２５０に格納された直前のフレーム画像とを比較して、抽出範囲内の画像のずれ量を求める。そして、求めたずれ量が閾値を超える場合に電子手振れ補正処理が実行される。
　［設定処理］
　設定処理は、処理部３０が基準映像内の画角内に抽出範囲を設定する処理である。通常の場合、撮影装置１０が起動したときに設定処理が実行され、このときの設定処理では、抽出範囲の位置、サイズ及び縦横比（アスペクト比）等が初期値に設定される。ただし、これに限定されるものではなく、ユーザが操作部５０を通じて抽出範囲の位置、サイズ及び縦横比等を設定し、また設定後に適宜変更してもよい。
　また、追尾モードが選択された場合には、追尾対象の被写体を基準として抽出範囲が設定される。例えば、画角内に存在する一つの被写体が表示器４０に一定時間以上表示されるようにユーザが撮影装置１０を動かし、具体的には、画角を変えたりズームを行ったりする。この場合、処理部３０は、上記の被写体を追尾対象の被写体として認識し、その被写体が収まるように抽出範囲を設定する。被写体を基準とした抽出範囲の設定手順としては、上述した手順以外の手順であってもよい。例えば基準映像の全画面を表示器４０に表示させ、ユーザが基準映像中に映る被写体をタッチする等し、その被写体が収まるように抽出範囲を設定してもよい。
　［抽出処理］
　抽出処理は、処理部３０が抽出範囲内に映る抽出映像を基準映像から抽出する（すなわち、切り出す）処理である。例えば、追尾モードが選択された場合には、追尾対象の被写体の映像を含む一定範囲の映像が抽出映像として抽出される。また、パニングモードが選択された場合には、被写体が逐次変化する（スライドする）ように抽出映像が抽出される。抽出映像は、図６及び８に示すように表示器４０に表示され、ユーザは、表示器４０を通じて抽出映像を確認することができる。
　［判定処理］
　判定処理は、検出器６０が筐体１４の動きを検出した場合に、その動きによって抽出範囲の端が画角の端に至ったか否かを処理部３０が判定する処理である。第１実施形態では、パニングモードが選択された状態で、検出器６０が筐体１４の動きとして筐体１４の水平方向の移動を検出した場合に、判定処理が実行される。
　判定処理について図１０を参照しながら具体的に説明する。判定処理に際して、ユーザが撮影装置１０を水平方向（図１０中、太線の矢印にて示す方向）に移動させると、検出器６０がその時の筐体１４の移動を検出する。このとき、水平方向において撮影装置１０が移動時に向かう側を第１側とし、その反対側を第２側とする。なお、図１０に示すケースでは、左側が第１側に該当し、右側が第２側に該当する。
　検出器６０が筐体１４の水平方向の第１側への移動を検出した場合、処理部３０は、前述した電子手振れ補正処理（ＥＩＳ）により、筐体１４の移動量に応じた分だけ抽出範囲を水平方向の第２側にずらす。これにより、図１０に示すように、抽出範囲が画角に対して相対的に第２側へ移動する。そして、処理部３０は、判定処理を実行し、第２側に位置する抽出範囲の端が上記の相対移動によって第２側に位置する画角の端に至ったか否かを判定する。判定結果における判定結果は、移動処理の実行の有無に反映される。
　［移動処理］
　移動処理は、撮影中に実行され、処理部３０が画角における抽出範囲を経時的に移動させる処理である。第１実施形態では、筐体１４の動きが検出器６０によって検出されると、検出された動きに応じて移動処理が実行される。検出器６０によって検出される筐体１４の動きと、移動処理の実行との関係については、後の項で詳しく説明することとする。
　また、移動処理の実行中、処理部３０は、抽出範囲が移動している間の抽出映像を表示器４０に表示させる。移動処理の実行中、ユーザ又は地面からの振動が撮影装置１０に伝達される等して筐体１４が動いた（振動した）場合、抽出範囲が移動している間の抽出映像に対して、前述した電子手振れ補正処理又は光学手振れ補正処理が実行される。これにより、表示器４０に表示される抽出映像のブレが減り、表示される映像が安定するようになる。
　移動処理における抽出範囲の移動方式は、追尾モード及びパニングモードのうち、選択されたモードに応じて異なる。追尾モードが選択された場合、処理部３０は、抽出範囲内に映る被写体を追尾対象として設定する。そして、移動処理では、処理部３０は、追尾対象の被写体が抽出範囲内に入るように（厳密には、抽出範囲内に収まるように）抽出範囲を移動させる。このように追尾モードが選択された場合の移動処理では、画角内で追尾対象の被写体が探索され、追尾対象の被写体の移動に連動させて抽出範囲を移動させる。
　なお、画角内で追尾対象の被写体を探索するアルゴリズムは、特に制限されるものではない。アルゴリズムの一例を挙げると、追尾対象として設定された被写体の画像をテンプレート画像としてバッファ２５０に記憶しておき、公知のテンプレートマッチング技術を適用して、上記のテンプレート画像と基準映像とを比較し、テンプレート画像とマッチングする部分の映像を特定すればよい。
　また、追尾モードが選択された場合の移動処理において、抽出範囲の移動速度は、追尾対象の被写体を追尾できるように当該被写体の移動速度に応じた速度に設定されるのが好ましい。抽出範囲の移動速度は、画角を画素単位で区画したときに、移動中の抽出範囲が単位時間において通過する画素数である。
　他方、パニングモードが選択された場合の移動処理では、画角の横方向の一端から他端に向けて抽出範囲を移動させる。このときの抽出範囲の移動速度は、一定の速度であってもよく、例えば、検出器６０により検出された筐体１４の水平方向の移動における移動速度（具体的には、角速度）に応じた速度であってもよい。なお、パニングモードが選択された場合の移動処理では、移動処理の実行中（すなわち、抽出範囲の移動中）にユーザが操作部５０を操作する等して抽出範囲の移動速度を変えることができてもよい。
　抽出範囲の移動速度について付言しておくと、移動処理の実行中に電子ズーム処理又は光学ズーム処理が実行されると、抽出範囲のサイズ（すなわち、抽出映像の画素数）が変化する。そのため、上記のズーム処理の前後で抽出範囲の移動速度が同一であると、表示器４０を通じて抽出映像を見るユーザにとって、抽出範囲の移動速度が急変したように見えてしまう。そこで、第１実施形態では、移動処理の実行中に上記のいずれかのズーム処理が実行された場合、処理部３０は、移動処理において抽出範囲の移動速度をズーム（具体的には、変更後のズーム倍率）に応じて調整する。詳しくは、処理部３０は、ズームアップの場合には移動速度を減少させ、ズームアウトの場合には移動速度を増加させる。これにより、上述した抽出映像の異常な見え方を解消することができる。
　移動処理の説明に戻ると、処理部３０は、下記の終了条件（Ｊ１）～（Ｊ５）のうちのいずれかが成立したときに移動処理を終了する。
（Ｊ１）移動処理の実行中にユーザが操作部５０を通じて移動処理の終了を指示したとき。
（Ｊ２）移動処理の実行中、ユーザが抽出範囲の移動方向とは逆方向に筐体１４を動かし、検出器６０がその動きを検出したとき。
（Ｊ３）追尾モードが選択された場合において、移動処理の実行中に追尾対象の被写体が画角から外れたとき。
（Ｊ４）追尾モードが選択された場合において、移動処理の実行中に追尾対象の被写体が一定時間以上止まっている（静止している）とき。
（Ｊ５）パニングモードが選択された場合において、移動処理の実行中に抽出範囲の端が画角の端に到達したとき。
　なお、移動処理の終了条件は、上記５つの条件に限定されず、上記５つの条件以外の条件がさらに含まれてもよく、また、上記５つの条件のうちの１～４つが含まれなくてもよい。
　［記録処理］
　記録処理は、処理部３０が抽出映像を内蔵メモリ２３０及びメモリカード２４０等を含む記録媒体に記録する処理である。記録処理は、例えばレリーズボタン３１０が一度押された時点で開始され、レリーズボタン３１０が再び押された時点で終了する。第１実施形態では、移動処理が実行されると、処理部３０が、記録処理において、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する。また、移動処理の実行中に光学ズーム処理、電子ズーム処理、光学手振れ補正処理及び電子手振れ処理の少なくとも一つが実行された場合、記録処理では、その処理がなされた後の抽出映像が記録される。なお、第１実施形態では、移動処理が終了すると、これに連動する形で記録処理が終了する。
　ちなみに、第１実施形態では、記録処理において抽出映像のみが記録媒体に記録され、それ以外の映像（具体的には、基準映像）については記録されずに破棄される。これにより、基準映像を記録しない分だけ、記録媒体における使用容量を削減することができる。ただし、これに限定されず、抽出映像及び基準映像の両方を記録媒体に記録してもよい。
　［警告処理］
　警告処理は、移動処理の実行中に所定の状況に至った場合に処理部３０がユーザに向けて警告を発する処理である。例えば、追尾モードで移動処理が実行されているとき、移動中の抽出範囲が画角内の画角端近傍エリアに差し掛かると、その旨をユーザに知らせるために警告処理が行われる。画角端近傍エリアとは、図１１に示すように、画角のうち、画角の端から所定距離だけ離れた位置から端までの範囲が該当し、図１１中のハッチングが施された範囲である。
　なお、警告処理における警告方法は、特に限定されないが、例えば、警告メッセージを表示すること、又は抽出映像の外縁枠を所定の色（具体的には、赤など）に変更すること等が挙げられる。
　＜＜移動処理の流れについて＞＞
　第１実施形態では、本発明の撮影方法を用いて映像の撮影が行われる。そして、撮影中に検出器６０が筐体１４の動きを検出した場合に、処理部３０が、検出された筐体１４の動きに応じて移動処理を実行する。詳しく説明すると、第１実施形態では、ユーザが画角変更等の目的で撮影装置１０を動かすと、検出器６０がその時の筐体１４の動きを検出し、それを契機として処理部３０が移動処理を実行する。
　移動処理では、抽出範囲が被写体を追尾するように、あるいは画角の端に向かって自動的に移動する。これにより、検出器６０が筐体１４の動きを検出した後にはユーザが改めて画角変更のために撮影装置１０を動かす必要がなく、この結果、ユーザは、撮影に集中することができる。つまり、ユーザにとって、抽出範囲を移動させながら抽出映像を記録することがより容易になる。
　ところで、移動処理を含む各種処理の流れは、追尾モード及びパニングモードのうち、選択されたモードに応じて異なる。以下では、処理の流れについてモード毎に説明する。
　（追尾モードが選択された場合の処理の流れ）
　追尾モードが選択された場合の処理の流れについて、図１２～１４を参照しながら説明する。
　移動処理の実行に際して、ユーザは、先ず、撮影装置１０を起動する。装置起動後には処理部３０が設定処理を実行し（Ｓ００１）、画角内の抽出範囲を初期値又はユーザの入力値等に応じて設定する。このステップＳ００１が設定工程に該当する。
　その後、撮影装置１０の画角で基準映像の撮影が開始され、処理部３０が抽出処理を実行して抽出映像を基準映像から抽出する（Ｓ００２）。このステップＳ００２が抽出工程に該当する。また、抽出工程の実行により、表示器４０には抽出映像が表示される（Ｓ００３）。
　ユーザは、抽出映像の記録を開始するためにレリーズボタン３１０を押す。これにより、処理部３０が記録処理を実行し、抽出映像の記録を開始する（Ｓ００４）。換言すると、レリーズボタン３１０の押下げにより記録工程が開始される。
　さらに、追尾モードが選択された場合には、ユーザが、ある被写体を追尾するために撮影装置１０を動かす（移動させる）。例えば、図１４に示す被写体Ｊが移動した場合、ユーザは、同図に示す通り、その被写体Ｊが抽出範囲内に入り続けるように撮影装置１０を動かす。検出器６０は、この時の筐体１４の動きを検出する（Ｓ００５）。図１４中の上図は、撮影装置１０を動かす直前の画角を示し、図１４中の下図は、撮影装置１０を動かした直後の画角を示している。
　検出器６０が筐体１４の動きを検出すると、処理部３０は、検出器６０による動きの検出前後の抽出映像を比較し、両方の抽出映像内に共通して映る被写体Ｊを追尾対象として選定する（Ｓ００６）。このとき、処理部３０は、前述したテンプレートマッチング技術等を利用することで、検出器６０による動きの検出前後において抽出映像に映る被写体Ｊを認識することができる。追尾対象の選定方法は、上記の方法に限定されず、ユーザが表示器４０において被写体の映像をタッチする等して被写体を指定し、その指定操作に基づいて追尾対象が選定されてもよい。あるいは、検出器６０による動きの検出前後の抽出映像を比較し、それぞれの抽出映像に映る被写体のうち、移動量が最も少ない被写体が追尾対象として選定されてもよい。
　その後、処理部３０は、移動処理を実行し、図５に示すように上記の被写体Ｊが抽出範囲内に入るように抽出範囲を画角内で移動させる（Ｓ００７）。このステップＳ００７が移動工程に該当する。移動工程において、処理部３０は、事前に設定された移動速度にて抽出範囲を移動させてもよいし、抽出映像を解析して算出した被写体Ｊの速度に応じた移動速度（例えば、被写体Ｊと同じ速度）にて抽出範囲を移動させてもよい。
　処理部３０は、移動処理において、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器４０に表示させる（図６参照）。また、処理部３０は、移動処理と同時に実行される記録処理において、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する。つまり、移動工程により抽出範囲が移動している間の抽出映像を記録する記録工程が実行される。
　また、処理部３０は、移動処理の実行中に検出器６０が筐体１４の動き（具体的には、振動伝達等による動き）を検出すると（Ｓ００８）、前述した電子手振れ補正処理又は光学手振れ補正処理を実行する（Ｓ００９）。このステップＳ００９では、抽出範囲が移動している間の抽出映像に対して手振れ補正を行う。これにより、抽出範囲の移動に伴って変化する抽出映像を安定化させることができ、手振れ等が生じた場合にも抽出映像をスムーズに変化させることができる。
　また、被写体Ｊが奥行き方向に移動して抽出範囲のサイズに対する被写体Ｊの映像の大きさの割合（すなわち、被写体映像比率）が変化したとき、その変化量が閾値を超える場合（Ｓ０１０）がある。この場合、処理部３０は、電子ズーム処理を実行し、撮影装置１０と被写体Ｊとの間の距離に応じて抽出範囲のサイズを変える（Ｓ０１１）。このように、処理部３０は、移動処理において、被写体映像比率の変化に基づいて抽出範囲のサイズを変えながら抽出範囲を移動させる。これにより、例えば、被写体映像比率を維持しながら抽出範囲を移動させることができる。この結果、被写体Ｊを追尾している間、図６に示すように被写体Ｊの映像を略一定の大きさで表示器４０に表示することができる。
　なお、電子ズーム処理の実行（特に、ズームアップの実行）により抽出範囲のサイズが所定の大きさ未満になった場合、又は抽出範囲に含まれる画素数が所定数未満になった場合には（Ｓ０１２）、抽出映像の画質が粗くなるため、処理部３０は、前述の光学ズーム処理を実行し、抽出映像内の被写体の映像に対して光学ズームを行う（Ｓ０１３）。これにより、電子ズーム処理の実行によって低下した抽出映像の画質を回復することができる。なお、上述のステップＳ０１３では、ユーザに光学ズーム処理を促すような通知を表示器４０に表示してもよい。
　また、処理部３０は、移動処理の実行中に電子ズーム処理又は光学ズーム処理を実行した場合、抽出範囲の移動速度を電子ズーム又は光学ズームに応じて調整する（Ｓ０１４）。処理部３０は、Ｓ０１４以降の移動処理では、調整済みの移動速度、すなわち、電子ズーム又は光学ズームに応じた移動速度にて抽出範囲を移動させる。これにより、ズーム処理の実行に伴う不具合（具体的には、表示器４０を通じて抽出映像を見るユーザにとって、抽出範囲の移動速度が急変したように見える状況）を回避することができる。
　また、処理部３０は、移動処理において、移動中の抽出範囲が画角において前述の画角端近傍エリアに差し掛かっているかどうかを判定する（Ｓ０１５）。そして、抽出範囲が画角端近傍エリアに差し掛かっている場合、処理部３０は、警告処理を実行する（Ｓ０１６）。これにより、抽出範囲が画角の端近傍に近付いていることをユーザに知らせ、画角変更のための操作、又は撮影終了の指示のための操作等をユーザに促すことができる。
　以上までに説明してきた処理のうち、ステップＳ００７～Ｓ０１６は、移動処理中に繰り返し実行される。そして、移動処理の実行中に、前述した終了条件（Ｊ１）～（Ｊ４）のいずれかが成立した時点で（Ｓ０１７）、処理部３０が移動処理を終了する。このとき、移動処理の終了に合わせて記録処理を終了させてもよく、あるいは移動処理の終了後に記録処理を続行させてもよい。
　移動処理の終了後、ユーザが再び被写体Ｊを追従するように撮影装置１０を動かし、検出器６０がその時の筐体１４の動きを検出すると、移動処理が再度実行され、上述した一連の処理（Ｓ００６～Ｓ０１７）が繰り返される。
　（パニングモードが選択された場合の処理の流れ）
　パニングモードが選択された場合の処理の流れについて、図１５及び１６を参照しながら説明する。
　パニングモードが選択された場合において、ユーザが撮影装置１０を起動してからレリーズボタン３１０を押して記録処理を実行するまでの手順（Ｓ０２１～Ｓ０２４）は、追尾モードが選択された場合と同様である。つまり、パニングモードが選択された場合にも、設定工程及び抽出工程が実行され、レリーズボタン３１０の押下げにより記録工程が開始される。
　パニングモードが選択された場合には、ユーザが、撮影装置１０を水平方向の第１側に移動させる。検出器６０は、その時の筐体１４の動き、すなわち水平方向の第１側への移動を検出する（Ｓ０２５）。検出器６０が筐体１４の移動を検出すると、処理部３０は、前述のＥＩＳを利用して、筐体１４の移動量に応じた分だけ抽出範囲を水平方向の第２側にずらす（Ｓ０２６）。
　その後、処理部３０は、判定処理を実行し、抽出範囲の第２側の端が画角の第２側の端に至ったか否かを判定する（Ｓ０２７）。処理部３０は、判定処理にて抽出範囲の第２側の端が画角の第２側の端に至ったと判定した場合に、移動処理を実行し、図７に示すように抽出範囲を水平方向に第１側に向けて移動させる（Ｓ０２８）。このステップＳ０２８が移動工程に該当する。
　第１実施形態において、処理部３０は、移動処理の実行に際して抽出範囲の移動速度を設定し、移動処理では、設定された移動速度にて抽出範囲を移動させる。抽出範囲の移動速度は、水平移動時間ｔｘに応じて設定される。水平移動時間ｔｘは、検出器６０により検出された筐体１４の水平移動の開始時点から、抽出範囲の第２側の端が画角の第２側の端に至るまでの時間である。水平移動時間ｔｘは、例えば、検出器６０により検出された筐体１４の水平移動における角速度、若しくは、抽出範囲の第２側の端が画角の第２側の端に向かって移動していた際の移動速度から算出することができる。移動処理の実行中における抽出範囲の速度は、一定であってもよく、あるいは変更されてもよく、例えばユーザが操作部５０を操作する等して任意の速度に変えられてもよい。
　処理部３０は、移動処理において、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器４０に表示させる（図８参照）。このとき、処理部３０は、移動開始から抽出範囲の端が画角の端に到達するまでの時間（すなわち移動の所要時間）を抽出範囲の移動速度から求めてもよい。さらに、処理部３０は、求めた所要時間と移動開始からの経過時間との差分に基づく残り移動時間ｔｒを表示器４０に表示してもよい。また、処理部３０は、移動処理と同時に実行される記録処理において、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する。つまり、移動工程により抽出範囲が移動している間の抽出映像を記録する記録工程が実行される。
　また、パニングモードにおいて、移動処理の実行中に検出器６０が筐体１４の動き（具体的には振動等）を検出すると（Ｓ０２９）、処理部３０が電子手振れ補正処理又は光学手振れ補正処理を実行する（Ｓ０３０）。このステップＳ０３０では、抽出範囲が移動している間の抽出映像に対して手振れ補正が行われる。これにより、抽出範囲の移動に伴って変化する抽出映像を安定化させることができ、手振れ等が生じた場合にも抽出映像をスムーズに変化させることができる。
　また、処理部３０は、移動処理において、移動中の抽出範囲が画角内の画角端近傍エリアに差し掛かっているかどうかを判定する（Ｓ０３１）。そして、抽出範囲が画角端近傍エリアに差し掛かっている場合、処理部３０は、警告処理を実行する（Ｓ０３２）。これにより、抽出範囲が画角の端近傍に近付いていることをユーザに知らせることができる。
　そして、抽出範囲の水平移動によって抽出範囲の第１側の端が画角の第１側の端に到達した場合、または、前述の終了条件（Ｊ１）及び（Ｊ２）のいずれかが成立した場合（Ｓ０３３、Ｓ０３４）、処理部３０が移動処理を終了する。このとき、移動処理の終了に合わせて記録処理を終了させてもよく、あるいは移動処理の終了後に記録処理を続行させてもよい。
　移動処理の終了後、ユーザが再び撮影装置１０を第１側に水平移動させて、検出器６０がその時の筐体１４の動きを検出すると、ステップＳ０２７の判定処理が再度実行される。そして、判定処理にて抽出範囲の第２側の端が画角の第２側の端に至ったと判定されると、移動処理が再度実行され、上述した一連の処理（Ｓ０２８～Ｓ０３４）が繰り返される。
　なお、図１５及び１６に示すケースでは説明を省略したが、パニングモードが選択された場合において、移動処理の実行中に、抽出映像内の被写体の映像に対してズーム（具体的には、電子ズーム及び光学ズーム）を行ってもよい。その場合には、抽出範囲の移動速度をズームに応じて調整し、それ以降の移動処理、ズームに応じて調整された移動速度にて抽出範囲を移動させるとよい。
　＜＜その他の実施形態＞＞
　以上までに本発明の撮影装置について具体的な実施形態を挙げて説明してきたが、上述の第１実施形態は、あくまでも一例に過ぎず、その他の実施形態も考えられる。一例を挙げると、図１７に示すように、撮影装置の撮像装置本体１２Ｘと外部モニタ７０とが有線方式又は無線方式で接続されてもよい。
　外部モニタ７０は、液晶モニタ等のディスプレイ装置、モニタ付きのレコーダ、若しくは、パソコン、スマートフォン及びタブレット端末等のようなモニタ付きの情報処理端末で構成されている。
　図１７に示す構成では、処理部３０が抽出映像の映像信号を外部モニタ７０に伝送し、外部モニタ７０側で抽出映像が表示される。この場合には、撮影装置の表示器４０（ディスプレイ）に抽出映像を表示する代わりに、外部モニタ７０で抽出映像を表示してもよい。あるいは、撮影装置の表示器４０及び外部モニタ７０の両方に抽出映像を表示してもよい。
　また、第１実施形態では、筐体１４が水平方向に移動し、検出器６０が筐体１４の動きとして筐体１４の水平方向の移動を検出するケースを例に挙げて説明した。ただし、これに限定されるものではなく、検出器６０が筐体１４の上下方向の移動を検出してもよい。この場合、処理部３０は、移動処理において、検出器６０が検出した上下方向の筐体１４の移動に応じて抽出範囲を移動させてもよい。
　また、第１実施形態では、パニングモードが選択された場合の移動処理において抽出範囲を水平方向にスライド移動させることとしたが、これに限定されるものではない。例えば、移動処理において抽出範囲を上下方向にスライド移動させてもよい。
　また、第１実施形態では、追尾モードが選択された場合においてユーザが被写体を追尾するために撮影装置１０を動かすと、検出器６０が、その時の筐体１４の動きを検出する。そして、処理部３０が、撮影装置１０の動きの検出に連動して移動処理を自動的に実行し、被写体を追尾するように抽出範囲を移動させることとした。ただし、これに限定されるものではなく、ユーザがタッチパネル等を操作することで抽出映像内の被写体を追尾対象として設定し、また、ユーザによる処理開始指示の操作に基づいて移動処理が実行されてもよい。かかるケースを本発明の第２実施形態として、以下に詳しく説明する。
　第２実施形態に係る撮影装置の基本構成は、前述した撮影装置１０と略同様であり、図３に示す通りである。すなわち、第２実施形態に係る撮影装置は、撮影部２０と処理部３０（プロセッサ）とを備える。処理部３０は、設定処理、抽出処理、移動処理、ズーム処理、及び記録処理を実行する。
　設定処理では、初期設定の内容又はユーザの指示操作に基づき、抽出範囲を画角内に設定する。抽出処理は、前述した抽出処理と同様の処理であり、この処理では、抽出範囲に映る抽出映像を抽出する。第２実施形態では、ユーザが、例えば撮影装置を動かして画角を変更させながら抽出映像内の被写体を追尾し、その被写体をタッチパネル上でタッチする等して指定する。これにより、指定された被写体が追尾対象として設定される。
　移動処理では、追尾対象の被写体が抽出範囲内に入るように抽出範囲を経時的に移動させる。このような移動処理が実行されることで、抽出範囲が移動している間の抽出映像には、常に被写体の映像が含まれることになる。また、移動処理では、抽出範囲を移動させ、且つ、抽出範囲が移動している間の抽出映像を表示器４０に表示させる。なお、第２実施形態では、ユーザが追尾対象の被写体を指定した後に所定のボタン操作等を行うと、これを契機として処理部３０が移動処理を実行する。
　ズーム処理は、電子ズーム処理及び光学ズーム処理であり、いずれのズーム処理においても、抽出映像内の被写体の映像に対してズームを行う。例えば、被写体が奥行き方向に移動することで被写体映像比率が変化した場合、処理部３０は、被写体と撮影装置との距離に応じて抽出範囲のサイズを変えるために電子ズーム処理を実行する。また、電子ズーム処理によって抽出映像の画質が粗くなって画質が低下した場合、処理部３０は、低下した画質を改善するために光学ズーム処理を実行し、若しくは、ユーザに光学ズーム処理を促す通知を表示器４０に表示する。
　記録処理では、移動処理により抽出範囲が移動している間の抽出映像を記録媒体に記録する。
　ところで、ズーム処理が移動処理中に実行された場合、ズームの前後で抽出範囲のサイズ、つまり、抽出映像の画素数が変化する。一方、抽出範囲の移動速度、つまり、単位時間あたりに抽出範囲が通過する画素数がズーム前後で同一であるとする。その場合、表示器４０を通じて抽出映像を確認するユーザには、抽出範囲の移動速度が急変したように見えてしまう。
　第２実施形態では、移動処理中にズーム処理が実行された場合、ズーム処理後の移動処理では、処理部３０が、ズーム処理で行われたズーム（詳しくは、電子ズーム又は光学ズーム）に応じた移動速度にて抽出範囲を移動させる。これにより、上述したズームに起因して抽出範囲の移動速度が急変するように見えてしまう状況を回避することができる。
　なお、第２実施形態の移動処理は、上述した被写体を追尾するために抽出範囲を移動させるケースに限定されない。例えば、抽出範囲を画角の一端から他端までスライド移動させるケース、つまり、パニングモードが選択された場合の移動処理であってもよい。このような移動処理の実行中にもズーム処理を実行することができ、ズーム処理後の移動処理では、処理部３０がズームに応じた移動速度にて抽出範囲を移動させるとよい。
　以上までに説明してきた第２実施形態によれば、動画像である基準映像を撮影する撮影部２０を有する撮影装置を用いた撮影方法として、設定工程と抽出工程とズーム工程と移動工程と記録工程とを含む撮影方法が実現可能である。設定工程では、イメージセンサ１５０によって基準映像を撮影する際の画角内に、その画角よりも小さい抽出範囲を設定する。抽出工程では、抽出範囲の抽出映像を基準映像から抽出する。ズーム工程では、抽出映像内の被写体の映像に対してズーム（光学的ズーム又は電子的ズーム）を行う。移動工程では、画角における抽出範囲を、ズーム工程で行われたズームに応じた移動速度にて経時的に移動させる。記録工程では、移動工程により抽出範囲が移動している間の抽出映像を記録媒体に記録する。
　１０　撮影装置
　１２，１２Ｘ　撮影装置本体
　１４　筐体
　２０　撮影部
　３０　処理部
　４０　表示器
　５０　操作部
　６０　検出器
　７０　外部モニタ
１１０　レンズユニット
１１２　ズームレンズ
１１４　フォーカスレンズ
１２０　レンズ駆動部
１３０　絞り部
１４０　シャッタ
１５０　イメージセンサ
１６０　Ａ／Ｄコンバータ
２１０　制御処理部
２２０　映像処理部
２３０　内蔵メモリ
２４０　メモリカード
２５０　バッファ
２６０　カードスロット
３１０　レリーズボタン
３２０　ズームレバー
３３０，３４０　操作ダイヤル
３５０　十字ボタン
Ｃ　鉛直軸

Claims (16)

  1. 　動画像である基準映像を撮影するイメージセンサと、
    　前記イメージセンサを収容する筐体と、
    　前記筐体の動きを検出するための検出器と、
    　プロセッサと、を備え、
    　前記プロセッサは、
    　前記基準映像を撮影する際の画角内に、前記画角よりも小さい抽出範囲を設定する設定処理と、
    　前記抽出範囲内の抽出映像を前記基準映像から抽出する抽出処理と、
    　前記検出器により検出された前記動きに応じて、前記画角における前記抽出範囲を経時的に移動させる移動処理と、
    　前記移動処理により前記抽出範囲が移動している間の前記抽出映像を記録媒体に記録する記録処理と、を実行することを特徴とする撮影装置。
  2. 　前記抽出映像を表示する表示器をさらに備え、
    　前記プロセッサは、前記移動処理において、前記抽出範囲を移動させ、且つ、前記抽出範囲が移動している間の前記抽出映像を前記表示器に表示させる、請求項１に記載の撮影装置。
  3. 　前記プロセッサは、前記検出器が前記動きを検出した場合に、前記抽出範囲の端が前記画角の端に至ったか否かを判定する判定処理を実行し、
    　前記プロセッサは、前記判定処理にて前記抽出範囲の端が前記画角の端に至ったと判定した場合に前記移動処理を実行する、請求項１又は２に記載の撮影装置。
  4. 　前記検出器が前記動きとして前記筐体の水平方向の第１側への移動を検出した場合に、前記プロセッサは、前記判定処理にて、前記第１側とは反対の第２側に位置する前記抽出範囲の端が、前記第２側に位置する前記画角の端に至ったか否かを判定し、
    　前記プロセッサは、前記判定処理にて前記抽出範囲の端が前記画角の端に至ったと判定した場合、前記第１側へ前記抽出範囲を移動させる、請求項３に記載の撮影装置。
  5. 　前記プロセッサは、前記移動処理において、前記移動の開始から前記抽出範囲の端が前記画角の端に至るまでの時間に応じた移動速度で前記抽出範囲を移動させる、請求項４に記載の撮影装置。
  6. 　前記検出器が前記動きを検出した場合に、前記プロセッサは、前記動きの検出前後で前記抽出映像内に映る被写体を追尾対象として選定し、前記移動処理において、前記被写体が前記抽出範囲内に入るように前記抽出範囲を移動させる、請求項１乃至５のいずれか一項に記載の撮影装置。
  7. 　前記移動処理の実行中、前記被写体が前記画角から外れた場合、前記プロセッサは、前記移動処理を終了する、請求項６に記載の撮影装置。
  8. 　前記プロセッサは、前記移動処理において、前記抽出範囲のサイズに対する前記被写体の映像の大きさの割合に基づいて前記サイズを変えながら、前記抽出範囲を移動させる、請求項６又は７に記載の撮影装置。
  9. 　前記プロセッサは、前記移動処理の実行中に前記検出器が前記筐体の動きを検出した場合に、前記抽出範囲が移動している間の前記抽出映像に対して手振れ補正を行う手振れ補正処理をさらに実行する、請求項１～８のいずれか一項に記載の撮影装置。
  10. 　前記移動処理の実行中、前記抽出範囲の移動方向とは逆方向への前記筐体の動きを前記検出器が検出した場合、前記プロセッサは、前記移動処理を終了する、請求項１～９のいずれか一項に記載の撮影装置。
  11. 　前記プロセッサは、前記抽出映像内の被写体の映像に対してズームを行うズーム処理をさらに実行し、前記移動処理の実行中に前記ズーム処理を実行した場合、前記移動処理において、前記抽出範囲の移動速度を前記ズームに応じて調整する、請求項１～１０のいずれか一項に記載の撮影装置。
  12. 　動画像である基準映像を撮影するイメージセンサと、
    　プロセッサと、を備え、
    　前記プロセッサは、
    　前記基準映像を撮影する際の画角内に、前記画角よりも小さい抽出範囲を設定する設定処理と、
    　前記抽出範囲内の抽出映像を前記基準映像から抽出する抽出処理と、
    　前記抽出映像内の被写体の映像に対してズームを行うズーム処理と、
    　前記画角における前記抽出範囲を、前記ズーム処理で行われた前記ズームに応じた移動速度にて経時的に移動させる移動処理と、
    　前記移動処理により前記抽出範囲が移動している間の前記抽出映像を記録媒体に記録する記録処理と、を実行することを特徴とする撮影装置。
  13. 　前記抽出映像を表示する表示器をさらに備え、
    　前記プロセッサは、前記移動処理において、前記抽出範囲を移動させ、且つ、前記抽出範囲が移動している間の前記抽出映像を前記表示器に表示させる、請求項１２に記載の撮影装置。
  14. 　前記ズーム処理は、前記撮影装置と前記抽出映像内の被写体との距離に応じて前記抽出範囲のサイズを変えることにより、前記被写体の映像に対して電子ズームを行う処理であり、
    　前記プロセッサは、前記移動処理において、前記電子ズームに応じた移動速度にて前記抽出範囲を移動させる、請求項１２又は１３に記載の撮影装置。
  15. 　前記ズーム処理は、前記撮影装置のレンズを光軸に沿って移動させることにより、前記抽出映像内の被写体の映像に対して光学ズームを行う処理であり、
    　前記プロセッサは、前記移動処理において、前記光学ズームに応じた移動速度にて前記抽出範囲を移動させる、請求項１２又は１３に記載の撮影装置。
  16. 　動画像である基準映像を撮影するイメージセンサを有する撮影装置を用いた撮影方法であって、
    　前記基準映像を撮影する際の画角内に、前記画角よりも小さい抽出範囲を設定する設定工程と、
    　前記抽出範囲内の抽出映像を前記基準映像から抽出する抽出工程と、
    　検出器により検出された撮影装置の動きに応じて、前記画角における前記抽出範囲を経時的に移動させる移動工程と、
    　前記移動工程により前記抽出範囲が移動している間の前記抽出映像を記録媒体に記録する記録工程と、を含むことを特徴とする撮影方法。
PCT/JP2020/028240 2019-09-20 2020-07-21 撮影装置、及び撮影方法 WO2021053967A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021546533A JP7385667B2 (ja) 2019-09-20 2020-07-21 撮影装置、及び撮影方法
US17/689,718 US11696033B2 (en) 2019-09-20 2022-03-08 Imaging apparatus and imaging method
US18/317,373 US12058444B2 (en) 2019-09-20 2023-05-15 Imaging apparatus and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-171661 2019-09-20
JP2019171661 2019-09-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/689,718 Continuation US11696033B2 (en) 2019-09-20 2022-03-08 Imaging apparatus and imaging method

Publications (1)

Publication Number Publication Date
WO2021053967A1 true WO2021053967A1 (ja) 2021-03-25

Family

ID=74884193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028240 WO2021053967A1 (ja) 2019-09-20 2020-07-21 撮影装置、及び撮影方法

Country Status (3)

Country Link
US (2) US11696033B2 (ja)
JP (1) JP7385667B2 (ja)
WO (1) WO2021053967A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015179988A (ja) * 2014-03-19 2015-10-08 日本テレビ放送網株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP2020122883A (ja) * 2019-01-31 2020-08-13 キヤノン株式会社 カメラ雲台装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389749B2 (ja) * 2004-10-15 2009-12-24 株式会社ニコン パンニング撮影可能なカメラおよび動画像編集用プログラム
JP2008011497A (ja) * 2006-06-01 2008-01-17 Canon Inc カメラ装置
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
JP2009077363A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
US8149285B2 (en) * 2007-09-12 2012-04-03 Sanyo Electric Co., Ltd. Video camera which executes a first process and a second process on image data
US8253812B2 (en) * 2008-02-23 2012-08-28 Sanyo Electric Co., Ltd. Video camera which adopts a focal-plane electronic shutter system
JP2011066877A (ja) * 2009-08-21 2011-03-31 Sanyo Electric Co Ltd 画像処理装置
JP2011188225A (ja) * 2010-03-09 2011-09-22 Sanyo Electric Co Ltd 電子カメラ
JP6557451B2 (ja) * 2014-05-07 2019-08-07 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
JP2016027704A (ja) 2014-07-04 2016-02-18 パナソニックＩｐマネジメント株式会社 撮像装置
JP6657684B2 (ja) 2015-09-04 2020-03-04 Jsr株式会社 硬化膜形成用組成物、硬化膜、発光表示素子及び硬化膜の形成方法
JP2019022026A (ja) 2017-07-14 2019-02-07 キヤノン株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015179988A (ja) * 2014-03-19 2015-10-08 日本テレビ放送網株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP2020122883A (ja) * 2019-01-31 2020-08-13 キヤノン株式会社 カメラ雲台装置

Also Published As

Publication number Publication date
JPWO2021053967A1 (ja) 2021-03-25
US11696033B2 (en) 2023-07-04
US12058444B2 (en) 2024-08-06
JP7385667B2 (ja) 2023-11-22
US20220191400A1 (en) 2022-06-16
US20230283904A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
US8284257B2 (en) Image pick-up apparatus and tracking method therefor
WO2016119301A1 (zh) 一种终端、图像拍摄方法及装置
JP5331128B2 (ja) 撮像装置
US20080181460A1 (en) Imaging apparatus and imaging method
WO2006038577A1 (ja) プロジェクタ装置を有する電子機器
WO2017037978A1 (ja) 検出装置、検出方法、検出プログラムおよび撮像装置
CN109714533B (zh) 电子设备
JP2012065173A5 (ja) 撮影機器、画像表示方法及びプログラム
EP2645700A1 (en) Method and device for motion enhanced image capture
US20230276017A1 (en) Video creation method
US20240305891A1 (en) Display method and video recording method
JP2006246354A (ja) 撮影装置及び撮影プログラム
JP2024083407A (ja) 映像作成方法
JP2014107750A (ja) 撮影機器
JP6516426B2 (ja) 撮像装置、画像処理方法及びプログラム
WO2021053967A1 (ja) 撮影装置、及び撮影方法
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
KR101589498B1 (ko) 디지털 카메라 및 그 제어방법
JP6831473B2 (ja) 撮影装置とその制御方法および制御プログラム
JP7215414B2 (ja) 表示制御装置、撮像装置及び表示制御方法
US11245830B2 (en) Image capture apparatus and control method for same, and storage medium
WO2011052120A1 (ja) 撮影制御装置および撮影制御方法
JP5504741B2 (ja) 撮像装置
JP2008244805A (ja) デジタルカメラ
JP2016032193A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20866856

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021546533

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20866856

Country of ref document: EP

Kind code of ref document: A1